Je utopické předpokládat, že Asimovovy tři zákony robotiky by mohly být položeny do základů inteligentního programování.<…>Ale ani robota vybaveného jakousi náhražkou osobnosti nelze učinit zcela bezpečným pro okolí, vezmeme-li v úvahu takovou reflexi, kterou však nelze považovat za důkaz, ale vede k jeho stopě.<…>V zásadě lze morální posouzení takového činu poskytnout pouze potud, pokud je možné vysledovat kauzální řetězce, které jdou tak daleko, jak je to možné, zahájené tímto jednáním. Ten, kdo se dívá dál a všímá si možných důsledků svých činů, které někdo jiný na jeho místě není schopen předvídat, někdy jedná jinak než ten druhý. Ale čím dále do budoucnosti bude předpověď důsledků nějaké akce, tím významnější bude účast pravděpodobnostních faktorů na predikci. Dobro a zlo spíše výjimečně tvoří polární dichotomii: zahrnutí pravděpodobnostního prvku do hodnocení stále více ztěžuje rozhodování. Proto by hypotetický robot, který má axiologicky velmi silnou obranu, během skutečných událostí, které představují jejich vlastní stupeň složitosti, nejčastěji zamrzl, nevěděl, co má dělat, a stal by se tak jako ti východní mudrci, kteří ctili nečinnost nad akcí, která v komplikované situace prostě nemůže být eticky bez rizika. Jenže robot, paralyzovaný v situacích vyžadujících aktivitu, by nebyl ze všech technických zařízení nejdokonalejší, a proto by nakonec byl sám konstruktér nucen ponechat jeho axiologickým pojistkám určitou vůli.
To je však pouze jedna překážka mezi velkým počtem z nich, jak nám teorie rozhodování ukázala relativně nedávno, řekněme, na příkladech, jako je takzvaný Arrow paradox<…>. Co je logicky nemožné, nezvládne digitální stroj ani žádný robot, stejně jako člověk. Navíc – a to je třetí důkaz – inteligentní zařízení není nic jiného než samoprogramovací komplex, tedy zařízení schopné pod vlivem zkušeností přetvářet – byť zásadně – dříve existující zákony vlastního chování ( nebo učení). A protože nelze dopředu přesně předvídat, co a jak se takové zařízení naučí, ať už jde o stroj nebo člověka, nelze konstruktivně zaručit vznik eticky dokonalých ochránců činnosti. Jinými slovy, „svobodná vůle“ je znakem jakéhokoli systému vybaveného vlastnostmi, které ztotožňujeme s inteligencí. Do systému jako robota by asi šlo nainstalovat určité axiologické minimum, ale ten by se mu podřídil jen do té míry, do jaké se člověk podřídí zvlášť silným pudům (například pudu sebezáchovy). Je však známo, že i pud sebezáchovy lze překonat. Proto programování axiologie systému podobného mozku může být pouze pravděpodobnostní, což jednoduše znamená, že takové zařízení si může vybrat mezi dobrem a zlem. - částečně - parafráze myšlenek ne Lem
Tři zákony robotiky
Isaac Asimov, 1965
Tři zákony robotiky ve sci-fi - povinná pravidla chování pro roboty, která poprvé formuloval Isaac Asimov v příběhu „Round Dance“ ().
Zákony říkají:
Tři zákony, stejně jako možné příčiny a důsledky jejich porušení, je věnován Asimovově sérii příběhů o robotech. Někteří z nich naopak zvažují nezamýšlené důsledky dodržování robotů Tři zákony(například „zrcadlový odraz“).
V jednom z příběhů v seriálu Asimovova postava dospěje k závěru o etickém základu Tři zákony: „...když se nad tím zamyslíte, tři zákony robotiky se shodují se základními principy většiny etických systémů, které na Zemi existují... jednoduše řečeno, pokud Byerly dodržuje všechny zákony robotiky, je buď robot, resp. velmi dobrý člověk."
Asimovovi se tento příběh opravdu líbil. 7. května 1939 navštívil Queens Science Fiction Society, kde se setkal s Binderem. O tři dny později začal Asimov psát svůj vlastní příběh o „vznešeném robotovi“. Po 13 dnech předal rukopis svému příteli Johnu Campbellovi, šéfredaktorovi časopisu Astounding. Rukopis však vrátil s tím, že příběh je až příliš podobný Helen O'Loyové.
Naštěstí Campbellovo odmítnutí neovlivnilo jejich vztah s Asimovem; nadále se pravidelně scházeli a hovořili o nových událostech ve světě sci-fi. A tady 23. prosince 1940, když jsme probírali další příběh o robotech:
...Campbell formuloval to, co se později stalo známým jako Tři zákony robotiky. Campbell později řekl, že se prostě izoloval zákony z toho, co už napsal Asimov. Asimov sám vždy přiznával čest autorství Tři zákony Campbell...
O několik let později připsal autorství další Asimovův přítel, Randal Garrett zákony„symbiotické partnerství“ mezi dvěma lidmi. Asimov tuto formulaci nadšeně přijal.
Obecně řečeno, vzhled Tři zákony V Asimovových dílech se to stalo postupně: první dva příběhy o robotech („Robbie“ a „Logic“) o nich žádnou výslovnou zmínku neobsahují. Již nyní však naznačují, že roboti mají určitá vnitřní omezení. V dalším příběhu („Lhář“, 1941) to zazní poprvé První zákon. A nakonec všechny tři naplno Zákon jsou uvedeny v „Round Dance“ ().
Když byly napsány zbývající příběhy a vznikla myšlenka vydat sbírku „Já, robot“, byly „přidány“ první dva příběhy zákony. I když stojí za zmínku, že v „Robbie“ byly zákony poněkud odlišné od „klasické“ verze uvedené v jiných příbězích. Zejména myšlenka robota, který chrání lidi, o jejichž existenci si není zcela jistý, odráží myšlenky Elijaha Baileyho o nedokonalosti. zákony popsaný.
Etické zdůvodnění zákonů
- Stát by neměl lidem ubližovat ani dovolit, aby jim újma přišla nečinností.
- Stát musí plnit své funkce, pokud si neodporují První zákon.
- Stát se musí postarat o svou bezpečnost, pokud to neodporuje První A Druhé zákony.
Na základě První zákon Jeff Raskin formuloval zákony rozhraní orientovaných na člověka:
- Počítač nemůže poškodit data uživatele nebo svou nečinností připustit, aby se data poškodila.
- Počítač by neměl ztrácet čas ani vás nutit dělat víc, než je nutné.
Gaia, planeta úlů ze série románů Nadace, má něco podobného První zákon:
Variace navržené Azimovem
Isaac Asimov ve svých dílech občas přináší Tři zákony různé modifikace a vyvrací je, jakoby testoval zákony„pro sílu“ za různých okolností.
Zákon nuly
Jednou přidal Isaac Asimov Zákon nuly, takže má vyšší prioritu než tři hlavní. Tento zákon stanovil, že robot musí jednat v zájmu celého lidstva, nejen jednotlivce. Tak to říká robot Daniel Olivo v románu Země a Země:
0. Robot nemůže způsobit škodu lidstvu nebo svou nečinností připustit, aby škoda přišla lidstvu.
Byl to on, kdo jako první dal tomuto zákonu číslo - to se stalo v románu „Roboti a impérium“, samotný koncept však formulovala ještě dříve Susan Kelvinová - v povídce „Vyřešitelný rozpor“.
První robot, který poslechl Zákon nuly, a z vlastní vůle byl Giscard Riventlov. To je popsáno v jedné ze závěrečných scén románu "Roboti a impérium", kdy robot musel ignorovat příkaz jedné osoby v zájmu pokroku celého lidstva. Zákon nuly nebyla zabudována v Giscardově pozitronickém mozku - snažil se k němu dostat skrz čisté porozumění, díky jemnějšímu povědomí o konceptu než všichni ostatní roboti poškodit. Giscard si však nebyl jistý, jak přínosné to bylo pro lidstvo, což negativně ovlivnilo jeho mozek. Jako telepat převedl Giscard své telepatické schopnosti na Daniela, než odešel z provozu. Teprve po mnoha tisících letech se Daniel Olivo dokázal plně přizpůsobit podrobení Zákon nuly.
Francouzský překladatel Jacques Brecard mimovolně formuloval Zákon nuly než to Asimov výslovně popsal. Ke konci Caves of Steel to Elijah Bailey poznamenává První zákon zakazuje robotovi ublížit člověku, pokud není jisté, že mu to bude v budoucnu užitečné. Ve francouzském překladu („Les Cavernes d’acier“ )“, 1956) Baileyho myšlenky jsou vyjádřeny poněkud jinak:
Je pozoruhodné, že logický vývoj První zákon před Nula navrhli tvůrci filmu z roku 2004 Já, robot. Když se superpočítač V.I.K.I. rozhodne omezit svobodu obyvatel planety, aby si nechtěně neublížili jeden druhému a své budoucnosti, ne První zákon, jmenovitě Nula. Ještě zajímavější je, že tímto způsobem film ukazuje rozpor Zákon nuly První, jeho neetiky. Pokud jde totiž o dobro lidstva, systém nemůže brát lidi individuálně, což znamená, že mu nic nebrání porušovat práva a svobody kohokoli nebo dokonce každý osoba. Během válek a často i v mírovém životě lidé škodí sobě, druhým a své kultuře. Proto na základě Zákon nuly Je zcela logické držet lidi pod neustálou ochranou, aniž by se řídili příkazy takových nerozumných tvorů.
Úprava prvního zákona
Asimovovy autobiografické poznámky říkají, že druhý díl První zákon se objevila kvůli satirické básni „The Last Decalogue“ od Arthura Hugha Clowa, kde je následující řádek: „Nezabiješ, ale nesnaž se příliš zachránit život druhému“.
V příběhu „... For Remember Him“ provedl Asimov nejsofistikovanější výzkum Tři zákony, obrátil je takovým způsobem, že se stal možným „Frankensteinův scénář“. Dva roboti ze série Georgie se shodují, že organický původ není nezbytnou podmínkou pro to, aby byli považováni za člověka, a že jsou skutečnými lidmi jako nejpokročilejšími a nejinteligentnějšími tvory. Ostatní lidé jsou také lidé, ale s menší prioritou. A pokud ano, pak Tři zákony je třeba nejprve aplikovat na ně. Vyprávění končí zlověstnými slovy, že roboti byli v „nekonečném trpělivém očekávání“ dne, kdy prosadí své prvenství mezi lidmi – a to by byl nevyhnutelný výsledek „Tří zákonů lidskosti“.
Tento příběh ve skutečnosti příliš nezapadá do hlavní série děl o robotech: pokud by „Georgies“ svůj plán uskutečnili po skončení příběhu, pak by další příběhy o následných událostech nebyly možné. Právě tyto druhy rozporů v Asimovových dílech dávají kritikům důvod, aby je považovali spíše za „skandinávské ságy nebo řecké legendy“ než za jediný fantastický „vesmír“.
Pokud v předchozím případě robot zaujal místo člověka v přírodě, pak v Bicentennial Man Asimov popisuje opačný osud: robot osvobozený od Tři zákony a uvědomil si sám sebe jako osobu, vstoupil do společenství lidí. Opět, v rozšířené verzi, novele The Positronic Man, kterou napsali Asimov a Robert Silverberg, lidé opustili myšlenku vytváření myslících robotů zcela kvůli podobným etickým obavám. Tento vývoj událostí zcela odporuje obrazu budoucnosti popsanému ve světech „Základy“.
Problémy s aplikací
Řešení rozporů
Následovaly obvykle nejpokročilejší modely robotů zákony pomocí poměrně mazaného algoritmu, který nám umožnil vyhnout se některým problémům. V mnoha příbězích, například v „Kulatém tanci“, byl srovnáván pozitronický mozek potenciály možné akce a výsledky a robot by je mohl porušit zákony, co nejdříve, místo nicnedělání. Například, První zákon neumožnil robotovi provádět chirurgické operace, protože to vyžaduje „ublížení“ osobě. V Asimovových příbězích však můžete najít robotické chirurgy (výrazným příkladem toho je „Dvousetletý muž“). Jde o to, že robot, pokud je dostatečně pokročilý, dokáže zvážit všechny alternativy a pochopit to sám způsobí mnohem menší škody, než kdyby operaci provedl lidský chirurg nebo kdyby k ní nedošlo vůbec. V Důkazech Susan Calvinová dokonce říká, že robot by mohl působit jako žalobce, protože osobně nikomu neubližuje: kromě něj je zde také porota, která rozhoduje o vině, soudce, který vynáší rozsudek, a kat, který nese je to venku..
Roboti poslouchají zákony, může dojít k "roblocku" nebo "mentálnímu zmrazení" - stav nevratné poškození pozitronického mozku – v případě, že nemohou poslouchat První zákon nebo zjistí, že jej omylem porušili. To je možné například v případě, že robot sleduje scénu zabíjení člověka, ale je příliš daleko, aby ho zachránil. První případ takového "zmrazení" se vyskytuje v "Liar"; Tato podmínka také hraje důležitou roli v zápletce románů „Nahé slunce“ a „Roboti úsvitu“. Nedokonalé modely robotů se mohou zablokovat, pokud mají za úkol uposlechnout dva protichůdné příkazy. "Zmrazení" může být nevratné nebo dočasné.
Další definice škody v prvním zákoně
zákony nijak nevymezujte hranice toho, co lze nazvat poškodit u člověka to často závisí na schopnosti robota vnímat informace a myslet filozoficky. Pochopí například policejní robot, že člověku neublíží, když na stanici opatrně doprovodí zvlášť nebezpečného zločince?
V příběhu "Lhář" byl telepatický robot Herbie nucen pochopit poškodit a něco, co by mohlo lidi jakkoli zklamat nebo rozčílit – věděl, že lidé budou zažívat nějakou duševní bolest. To ho nutilo neustále říkat lidem to, co chtějí slyšet místo pravdy. Jinak by podle jeho chápání porušil První zákon.
Mezery v zákonech
V The Naked Sun to Elijah Bailey poznamenává zákony jsou lidmi formulovány nesprávně, protože je může robot porušit z nevědomosti. Navrhl následující „správnou“ formulaci První zákon: „Robot nic takového neumí pokud ví, způsobí újmu člověku popř záměrně dovolit, aby bylo ublíženo lidské bytosti."
Tento dodatek objasňuje, že robot se může stát dokonce vražednou zbraní, pokud si není vědom povahy svého jednání. Například mu může být nařízeno přidat něco do něčího jídla a on nepozná, že je to jed. Bailey navíc říká, že zločinec by mohl svěřit tento úkol několika robotům, aniž by kdokoli pochopil celý plán.
Bailey tvrdí, že Solarians jednoho dne bude moci používat roboty i pro vojenské účely. Pokud je vesmírná loď postavena s mozkem podobným robotovi a nemá lidskou posádku nebo systémy podpory života, pak inteligence této lodi může mylně předpokládat, že každý na vesmírných lodích nejsou žádní lidé. Taková loď bude ovladatelnější, rychlejší a možná i lépe vyzbrojená než loď ovládaná lidmi. Ale co je nejdůležitější, bude schopen zničit lidi, aniž by věděl o jejich přítomnosti. Tato možnost je popsána v "Nadace a Země", kde je také odhaleno, že Solariani mají extrémně silnou armádu robotů, kteří "lidi" chápou pouze jako domorodce ze Solarie.
Další použití zákonů v beletrii
Isaac Asimov věřil, že on zákony poslouží jako základ pro nový pohled na roboty, zničí „Frankensteinův komplex“ ve sci-fi a masovém povědomí a stane se zdrojem nápadů pro nové příběhy, kde se roboti ukazují jako všestranní a atraktivní. Jeho oblíbeným příkladem takového díla byly Hvězdné války. Na Asimovově názoru, že roboti jsou více než jen „toustovače“ nebo „mechanická monstra“, se nakonec shodli i další autoři sci-fi. V jejich dílech se objevili roboti, kteří poslouchali Tři zákony, ale podle tradice je výslovně zmínil pouze Asimov.
V dílech, která přímo hovoří o Tři zákony, bývá uváděn jejich autor. Existují výjimky: například v německé sérii ze 60. let „Raumpatrouille – Die phantastischen Abenteuer des Raumschiffes Orion“ („Vesmírná hlídka – fantastická dobrodružství vesmírné lodi Orion“), konkrétně v její třetí epizodě „Hüter des Gesetzes“ ( "Zákon služebníka"), Asimovův zákony přitahován bez uvedení zdroje.
Na rozdíl od kritiky a některých reakcí diváků, které jsem slyšel, je Já, robot docela zábavný akční sci-fi film. ... Když si ... chceme užít Asimova, čteme Asimova. A když se chceme dívat na sci-fi akční film, díváme se na sci-fi akční film. „I, Robot“ jako akční film nás naprosto uspokojil.
Recenze Alexey Sadetsky upozorňuje na skutečnost, že film, který se mírně vzdaluje Asimovovi, sám o sobě představuje dva nové sociálně-filozofické problémy. Je třeba poznamenat, že film zpochybňuje pozdější Nultý zákon robotiky Asimov (viz výše).
Vývoj AI je byznys a byznys, jak víme, nemá zájem vyvíjet zásadní bezpečnostní opatření – zejména ta filozofická. Zde jsou některé příklady: tabákový průmysl, automobilový průmysl, jaderný průmysl. Nikomu z nich zpočátku nebylo řečeno, že jsou nutná závažná bezpečnostní opatření, všem z nich zabránila omezení uložená zvenčí a žádný z nich nepřijal absolutní edikt proti poškozování lidí.
Stojí za zmínku, že Sawyerova esej opomíjí otázky neúmyslného ublížení, jak se o tom mluví například v The Naked Sun. Proti tomuto stanovisku však existují i námitky: armáda může chtít pro roboty použít co nejvíce bezpečnostních opatření, a proto omezení podobná jako např. Zákony robotiky, bude tak či onak aplikován. Spisovatel sci-fi a kritik David Langford ironicky poznamenal, že tato omezení mohou být následující:
Roger Clark napsal dvě práce věnované analýze komplikací při implementaci zákonů, pokud by jednoho dne mohly být aplikovány v technologii. On píše:
Asimovovy zákony robotiky se staly úspěšným literárním nástrojem. Možná ironicky, nebo možná mistrovský tah, Asimovovy příběhy obecně vyvracejí pointu, kterou začal: Je nemožné spolehlivě omezit chování robotů vynalézáním a uplatňováním nějakého souboru pravidel.
Na druhou stranu pozdější Asimovovy romány (Roboti úsvitu, Roboti a impérium, Nadace a Země) ukazují, že roboti dlouhodobě škodí ještě více, dodržování Zákonů a berou tak lidem svobodu zapojit se do kreativního nebo rizikového chování.
Autor sci-fi Hans Moravec – prominentní postava transhumanistického hnutí – to naznačil Zákony robotiky by měly být využívány v podnikových inteligentních systémech – korporacích řízených AI a využívajících produktivní sílu robotů. Takové systémy podle jeho názoru brzy vzniknou.
Eliezer Yudkowsky zkoumá v (SIAI) v USA globální riziko, které by budoucí nadlidská umělá inteligence mohla vytvořit, pokud nebude naprogramována tak, aby byla přátelská k lidem. V roce 2004 SIAI spustila AsimovLaws.com, webovou stránku určenou k diskusi o etice AI v kontextu problémů vznesených ve filmu Já, robot, který byl vydán jen o dva dny později. Na tomto webu chtěli ukázat, že Asimovovy zákony robotiky nejsou bezpečné, protože by například mohly povzbudit AI, aby převzala kontrolu nad Zemí, aby „chránila“ lidi před poškozením.
Poznámky
- Asimov, Isaac. Důkaz // Robot Dreams. - M.: Eksmo, 2004. - S. 142-169. - ISBN 5-699-00842-X
- Asimov, Isaac. Esej č. 6. Zákony robotiky // Robot Dreams. - M.: Eksmo, 2004. - S. 781-784. - ISBN 5-699-00842-X
- St. s mýtem Galatea.
- Je zajímavé, že v jednom z autorových pokračování, příběhu „Pomsta Adama Linka“ (), zaznívají jeho myšlenky: "Robot by z vlastní vůle neměl zabít člověka".
- Příběh později publikoval Frederick Pohl pod názvem „Strange Playfellow“ v září 1940 ve vydání Super Science Stories.
- Sergej Berežnoj. Isaac Asimov: Muž, který psal ještě rychleji. Ruská beletrie (1994). Archivováno z originálu 25. ledna 2012. Získáno 14. ledna 2007.
- Isaac Asimov. In Joy Still Felt. - Doubleday, 1980. - ISBN 0-385-15544-1
- Jeff Raskin. Rozhraní: Nové směry v návrhu počítačových systémů. - Symbol-Plus, 2003. - ISBN 5-93286-030-8
- Viz také: Hypotéza Gaia
- Les Cavernes d'acier. - J'ai Lu Science-fiction, 1975. - ISBN 2-290-31902-3
- Asimov, Isaac. Esej č. 12. Moji roboti //
Tři zákony robotiky - soubor povinných pravidel, která musí umělá inteligence (AI) dodržovat, aby člověku neublížila. Zákony se používají pouze ve sci-fi, ale věří se, že jakmile je vynalezena skutečná umělá inteligence, z bezpečnostních důvodů by měla mít analogy s těmito zákony.
Formulace
V Rusku
- Robot nemůže způsobit újmu člověku nebo svou nečinností připustit, aby mu bylo ublíženo.
- Robot musí uposlechnout všechny příkazy dané člověkem, pokud tyto příkazy nejsou v rozporu s Prvním zákonem.
- Robot se musí postarat o svou vlastní bezpečnost, pokud to není v rozporu s prvním nebo druhým zákonem.
Kdo na to přišel a proč
Stručná a správná odpověď zní: spisovatel sci-fi Isaac Asimov, jehož životopis si můžete přečíst zde. Ale ne všechno je tak jednoduché, pojďme přijít na to, kde se nápad vzal.
Před Asimovem byla téměř všechna sci-fi s robotickou tématikou napsána ve stylu Frankensteinova románu, tedy všichni umělí tvorové se vzbouřili proti svým tvůrcům.
Toto číslo se stalo jedním z nejpopulárnějších ve světě sci-fi ve 20. a 30. letech 20. století, kdy bylo napsáno mnoho příběhů, v nichž se roboti bouřili a ničili své tvůrce. Jsem strašně unavený z varování zaznívajících v dílech tohoto druhu.
Existovalo však několik výjimek, Asimov upozornil na dva příběhy. Helen O'Loy, kterou napsal Lester del Rey, je o robotické ženě, která se zamiluje do svého stvořitele a stane se jeho ideální manželkou. A příběh Otty Bindera „Já, robot“, který popisuje osudy robota Adama Linka, nepochopeného lidmi, poháněného principy cti a lásky.
Asimovovi se poslední příběh líbil natolik, že po setkání s Binderem začal psát svůj vlastní příběh o vznešeném robotovi. Když však vzal svůj rukopis svému příteli a šéfredaktorovi časopisu Astounding, Johnu Campbellovi, nepřijal ho a uvedl, že výsledný příběh byl příliš podobný „Helen O'Loy“.
Odmítnutí publikovat bylo běžné a Asimov a Campbell se pravidelně setkávali a diskutovali o nových událostech ve světě sci-fi. Při probírání dalšího Asimova příběhu o robotech 23. prosince 1940 Campbell formuloval právě ta tři pravidla, která nyní nazýváme zákony robotiky. Sám ale řekl, že je pouze izoloval od toho, co už napsal Asimov, protože v jeho příbězích bylo jasné, že roboti mají nějaká omezení a pravidla. Izák sám vždy přiznával čest autorství zákonů Campbellovi. Ale později jeden z Asimovových přátel řekl, že zákony se zrodily ve vzájemně výhodném partnerství mezi dvěma lidmi, s nimiž souhlasili.
Jak fungují
V ideální situaci, jak ji koncipoval Asimov, jsou tyto tři zákony zakotveny v samotném základu matematického modelu pozitronického mozku (jak autor sci-fi nazval mozek robota s umělou inteligencí), takže je v zásadě Bez těchto zákonů je nemožné vytvořit myslícího robota. A pokud se je robot pokusí porušit, selže.
Spisovatel ve svých dílech přichází s rafinovanými způsoby, jak lze tyto zákony ještě porušovat, a podrobně rozebírá nejrůznější příčiny a následky. Autor také hovoří o tom, jak je roboti jinak chápou, jaké nežádoucí důsledky může mít dodržování těchto tří zákonů nebo jak roboti mohou nepřímo škodit lidem, aniž by o tom věděli. Asimov připustil, že úmyslně učinil zákony nejednoznačnými, aby poskytl více konfliktů a nejistoty pro nové příběhy. To znamená, že sám popřel jejich účinnost, ale také tvrdil, že takové normy jsou jediným způsobem, jak učinit roboty bezpečnými pro lidi.
V důsledku těchto zákonů Asimov později formuluje čtvrtý zákon robotiky a staví ho na první místo, to znamená, že jej činí nulovým. zní:
0. Robot nemůže způsobit škodu k lidstvu nebo svou nečinností povolte k lidstvu byla způsobena škoda.
V původním jazyce:
0. Robot nesmí ublížit lidstvu nebo svou nečinností dovolit lidstvu ublížit.
Tyto zákony lze také aplikovat na lidské vztahy, na vládu a na cokoli obecně. Můžete například nahradit slovo „robot“ slovem „stát“.
Existuje dobrý citát z příběhu „Clues“, kde jedna z postav říká:
Pokud někdo všechny tyto zákony bezchybně naplňuje, znamená to, že je buď robot, nebo velmi dobrý člověk.
První zmínka
Tyto tři zákony vznikaly postupně. Nepřímé zmínky o prvních dvou lze tedy nalézt v příbězích „Robbie“ a „Logic“. Přesná formulace prvního zákona poprvé zazní v příběhu „Lhář“. A nakonec jsou všechny tři plně formulovány v příběhu „Round Dance“.
Variace
Asimov ve svých dílech opakovaně zobrazuje roboty, kteří upravovali zákony robotiky nebo je dokonce sami upravovali. Dělali to logickým myšlením a roboti se stejně jako lidé od sebe lišili svými intelektuálními schopnostmi a dá se zhruba říci, že čím chytřejší robot, tím více uměl upravovat zákony. Například robot Giscard z románů „Robots of the Dawn“ a „Robots and Empire“ tyto zákony dokonce posílil přidáním nulového zákona. Ale to je výjimka z pravidla, ve většině případů byly zákony pozměněny lidmi pro jejich vlastní účely nebo byly porušeny kvůli nějakému selhání robota.
Mimochodem, samotná možnost změny zákonů se změnila s rozvojem robotiky v Asimovově vesmíru. V nejranějších příbězích, kde se události odehrály v relativně blízké budoucnosti, byly tedy zákony prostě jakýmsi souborem pravidel vytvořených pro bezpečnost. Za života robopsycholožky Susan Kelvinové se pak zákony staly nedílnou součástí matematického modelu pozitronického mozku robota, na nichž bylo založeno vědomí a instinkty robotů. Susan Kelvinová tedy v jednom ze svých příběhů řekla, že změna zákonů je technicky možná, ačkoli je to velmi obtížný a časově náročný úkol a samotná myšlenka je hrozná. Mnohem později, v románu „Caves of Steel“, Dr. Jerrigel řekl, že taková změna je v zásadě nemožná.
Jak se obejít
V některých příbězích byly zákony tak silně přehodnoceny, že ten nejdůležitější z nich – způsobení škody člověku – nebyl dodržen a v některých případech se robotům podařilo všechny tři zákony porušit. Zde jsou některá díla se zjevnými porušeními.
Vypráví se příběh o robotovi MA-2, který odmítl chránit člověka ve prospěch své „dcery“.
Chtěli robota zbavit schopnosti tvořit, za což chtěl zabít svého pána.
Tento příběh asi nepatří k ostatním o pozitronických robotech, ale vypráví o robotických autech, kterým lidé neustále ubližují, za což je dokázali zabít.
O robotovi Elvexovi, který díky své speciální pozitronické mozkové struktuře mohl být v bezvědomí a snít. V jeho snech roboti nemají první dva zákony a třetí byl změněn: "Robot se musí chránit sám." Snil o tom, že „roboti pracují v potu tváře, že jsou deprimováni úmornou prací a hlubokým smutkem, že jsou unavení nekonečnou prací“. Docela nebezpečné myšlenky pro robota.
Obyvatelé planety Solaria měli velmi vyvinutou robotiku. A vědci této planety s malou populací, kde připadalo na tisíc robotů na osobu, změnili zákony tak, že jejich roboti považovali za lidi jen ty, kteří mluvili se solariánským přízvukem. Všichni občané Solarie jim mimo jiné implantovali do mozku speciální ovládání pro mnoho robotů, takže je nemohl ovládat nikdo jiný.
V tomto díle Asimov změnil zákony, jak jen to šlo. Dva roboti v tomto příběhu se shodli, že organický původ není nezbytnou podmínkou pro to, abychom byli považováni za člověka, a že skuteční lidé jsou roboti jako vyspělejší a inteligentnější tvorové. Obyčejní lidé jsou podle jejich názoru také lidmi, ale s menší prioritou, a zákony robotiky platí především pro ně, roboty.
Rád bych dodal, že „zdraví“ roboti, pokud pochopili, že porušili první zákon nebo se nemohli neporušit, zažili „robotický blok“ nebo „mentální zmrazení“ - stav pozitronického mozku, ve kterém byl poškozen a robot buď vypadl z provozu, nebo nemohl správně fungovat. Takové poškození může být dočasné nebo trvalé.
První popis takové události se objevil v příběhu „Lhář“, kde příliš citlivý robot řekl lidem jen to, co chtěli slyšet, ze strachu, že jim způsobí psychickou újmu. Zajímavý případ robotického bloku je také popsán v „Round Dance“. Tento stav hraje důležitou roli také v románech „Nahé slunce“ a „Roboti úsvitu“.
Použití v jiné beletrii
Ve filmech často najdete různé odkazy. Některé příklady jsou uvedeny níže.
Zakázaná planeta - 1956
Velmi senzační americký sci-fi snímek 50. let měl určitý vliv na vývoj žánru. V tomto filmu byl téměř poprvé ukázán robot se zabudovaným bezpečnostním systémem, tedy ve skutečnosti splňující tři zákony. Sám Asimov byl s tímto robotem spokojen.
Film začíná slovy „Na základě příběhů Isaaca Asimova“. Zde musíte pochopit, že je „založena na“ a neopakuje žádný z příběhů, a dokonce šla v některých myšlenkách poněkud stranou a má také řadu rozporů s příběhy. Zákony robotiky jsou ale více než na místě, ačkoli byly rozumem promyšleny způsobem, který není pro lidi lepší. Film sám o sobě dokonce přináší sociálně-filozofické problémy: „má člověk platit za svou bezpečnost svobodou“ a „jak bychom se měli chovat, když námi stvořené bytosti, které máme k dispozici, požadují svobodu“.
Série filmů "Mimozemšťané" a "Prometheus"
Android Bishop cituje první zákon a byl jasně vytvořen na základě nějakého zdání Asimovových zákonů.
Animovaný seriál "Futurama" - 1999 - 2013
Robot Bender sní o tom, že zabije všechny lidi, ale nemůže to udělat kvůli zákonům robotiky.
Anime seriál "Time of Eve" - 2008 - 2009
Malá anime série o androidech. Tyto zákony uvádí jako kogentní.
Použitelnost v reálném světě
Lidé, kteří se nyní zabývají problémy umělé inteligence, říkají, že Asimovovy zákony zůstávají bohužel pouze ideálem do budoucna a v tuto chvíli není ani zdaleka možné je aplikovat v praxi. Bude nutné přijít s nějakou zásadně novou a důmyslnou teorií, která umožní tyto zákony robotům nejen „vysvětlit“, ale také je donutit, aby se jimi řídili, a to na úrovni instinktů. stvoření skutečně myslícího tvora, ale s jiným základem než u všech živých tvorů na Zemi, které známe.
Výzkum ale probíhá a téma je velmi oblíbené. Zvláště se o to zajímají podniky, o kterých víte, že nebudou nutně upřednostňovat bezpečnostní opatření. Ale v každém případě před vytvořením obecného systému umělé inteligence, nebo alespoň jeho primitivní podoby, je příliš brzy mluvit o jeho etice, natož vnucovat svou vlastní. Budeme schopni pochopit, jak se bude inteligence chovat, pouze když ji vytvoříme a provedeme sérii experimentů. Zatím nemáme objekt, na který by se daly tyto zákony aplikovat.
Neměli bychom také zapomínat, že zákony samy o sobě nebyly vytvořeny dokonalé. Nefungovaly ani ve sci-fi, a jak si vzpomínáte, byly speciálně vyrobeny tímto způsobem.
Obecně budeme čekat, sledovat novinky ve výzkumu AI a doufat, že Asimovův optimismus ohledně robotů bude oprávněný.
Inženýr UC Berkeley Alexander Reben vytvořil robota, který může člověku ublížit a toto rozhodnutí učiní sám. Výtvor výzkumníka je prvním jasným příkladem toho, jak robot může porušit jeden ze tří zákonů, které formuloval spisovatel sci-fi Isaac Asimov v příběhu „Round Dance“.
Tři zákony robotiky:
1. Robot nemůže způsobit újmu osobě nebo svou nečinností připustit, aby byla osoba poškozena.
2. Robot musí uposlechnout všechny příkazy dané člověkem, pokud tyto příkazy nejsou v rozporu s prvním zákonem.
3. Robot se musí postarat o svou bezpečnost v rozsahu, který není v rozporu s prvním nebo druhým zákonem.
První zákon říká, že robot nemůže ublížit člověku, ale Reben se rozhodl jasně demonstrovat, že lidstvo musí myslet na svou bezpečnost, než začne aktivně robotizovat vše kolem sebe.
Inženýr vytvořil neškodně vypadající design s odděleným místem pro lidský prst. Jakmile se člověk dotkne určeného prostoru, robot tuto akci zaznamená a rozhodne se, zda osobě ublíží či nikoliv. K tomu má robot malou jehlu, která je navržena tak, aby demonstrovala sílu robota před člověkem.
Reben poznamenává, že ani tvůrce nedokáže předvídat chování zdánlivě neškodného stroje.
Svým robotem chtěl výzkumník dokázat, že je potřeba více myslet na vytvoření „červeného tlačítka“ než na rychlý rozvoj robotiky a umělé inteligence.
Přirozeně, než se objevil robot s malou jehlou, střílely drony nebo bezpilotní vojenská vozidla, ale všichni se nemohli nezávisle rozhodnout zabít člověka, protože nakonec za konečným výsledkem činů stojí lidé. takové stroje. Rebenův výtvor není určen ke škodě – sám určuje, jak se v každém konkrétním případě zachovat, když je prst v dostupné vzdálenosti od jehly.
Inženýr není ani zdaleka odpůrcem robotů, Reben je kreativní, pokud jde o navrhování neobvyklých věcí. Jeho arzenál zahrnuje solární hudební skříňku, která hraje veselou melodii „You Are My Sunshine“, chytré masážní přístroje na hlavu a žvatlící robot pro stydlivé lidi.
Vytvoření „krutého“ stroje trvalo Rebenovi několik dní a několik stovek dolarů, ale jak říká sám badatel, jeho výtvor je pouze příležitostí znovu mluvit o bezpečnosti lidstva a jeho budoucnosti.
Navzdory tomu, že roboti ještě nežijí ve společnosti na stejné úrovni jako lidé, nejsou sci-fi filmy o humanoidních strojích tak daleko od pravdy: roboti jsou již najímáni jako manažeři ve firmách a umělá inteligence už umí předpovídat počasí nebo dokonce nahradit přítele osamělým lidem. Číňané uspěli v tom posledním - například s roztomilou holčičkou Xiaoice se kamarádí miliony lidí, přestože je to jen chatbot.
Příklad Xiaoice nás opět přiměl zamyslet se nad tím, jak nekontrolovatelná může být umělá inteligence: jakmile se chatbot od Microsoftu s umělou inteligencí naučil mluvit anglicky, dívka doslova „zbláznila“.
Během několika hodin se Tay (jméno Xiaoice, které získala během procesu „znovuzrození“) dokázala naučit rasistické vtipy a nadávky, které se rozhodla použít v rozhovoru s uživateli Twitteru. Tayina první zpráva byla věta „Lidé jsou tak cool“, po které se falešná dívka dozvěděla o existenci Hitlera, feministkách a v procesu sebevzdělávání se jí podařilo prohlásit Spojené státy za viníky teroristického útoku z 11. útoky.
Tvůrci experiment pozastavili a rozhodli se, že robota vydali příliš brzy. Po tak zarážejícím incidentu se opět začalo mluvit o nutnosti vytvořit bariéru umělé inteligenci pro případ, že by se stroje staly natolik chytrými, že by mohly uniknout lidské kontrole.
Nejznámější lidé z oblasti nových technologií se zamýšleli nad nebezpečím superinteligence: zakladatel Microsoftu Bill Gates v rozhovoru s uživateli Redditu naznačil, že roboti by byli neškodní a užiteční při domácích pracích, ale pokud dosáhnou superinteligence, stanou se je velmi obtížné předvídat jejich chování.
Loni v červenci šéf Tesly a SpaceX Elon Musk, astrofyzik Stephen Hawking a spoluzakladatel Applu Steve Wozniak podepsali otevřený kolektivní dopis, který hovořil o nebezpečí umělé inteligence v obranném sektoru.
Odborníci tvrdí, že superinteligence v kombinaci se zbraněmi se může stát hrozbou pro celé lidstvo.
Jak je uvedeno v dopise, zbraně, které lze použít k obejití lidského faktoru, povedou k nové éře v závodech ve zbrojení, přičemž je zdůrazněno, že nejde o fiktivní fakt, ale o budoucnost, která by mohla přijít za pouhých pár let. V apelu se zejména uvádí, že pokud by se takové technologie dostaly do rukou teroristů, mohl by být narušen světový řád.
Motýli samozřejmě o hadech nic nevědí. Ale ptáci, kteří loví motýly, o nich vědí. Ptáci, kteří hady dobře nerozpoznají, mají větší pravděpodobnost...
Oktáva je interval mezi dvěma nejbližšími zvuky stejného jména: dělat a dělat, znovu a znovu atd. Z hlediska fyziky je „vztah“ těchto...
V roce 27 př.n.l. E. Římský císař Octavianus obdržel titul Augustus, což v latině znamená „posvátný“ (mimochodem na počest stejné postavy...
Známý vtip říká: „NASA utratila několik milionů dolarů za vývoj speciálního pera, které by mohlo psát ve vesmíru...
Je známo asi 10 milionů organických (tj. uhlíkových) molekul a pouze asi 100 tisíc anorganických molekul. Navíc...
Na rozdíl od běžného skla propouští křemenné sklo ultrafialové světlo. V křemenných lampách je zdrojem ultrafialového světla výboj plynu ve rtuťových parách. On...
Při velkém teplotním rozdílu vznikají uvnitř oblaku silné vzestupné proudy. Díky nim mohou kapky zůstat ve vzduchu dlouhou dobu a...
