Ai vrut să ocoliți cele 3 legi ale roboticii. Robotul a încălcat prima lege a roboticii pentru prima dată. Aplicabilitate în lumea reală

Este utopic să presupunem că cele trei legi ale roboticii ale lui Asimov ar putea fi puse la baza programării inteligente.<…>Dar nici un robot echipat cu un fel de personalitate ersatz nu poate fi făcut complet sigur pentru mediu, ținând cont de o astfel de reflecție, care, totuși, nu poate fi considerată o dovadă, ci duce la urma sa.<…>În principiu, o apreciere morală a unui astfel de act nu poate fi dată decât în ​​măsura în care este posibilă urmărirea lanțurilor cauzale care merg cât mai departe, declanșate de această acțiune. Cel care caută mai departe și observă posibile consecințe ale acțiunilor sale pe care altcineva în locul lui nu este capabil să le prevadă, uneori acționează diferit de celălalt. Dar cu cât predicția consecințelor unei acțiuni merge mai departe în viitor, cu atât participarea factorilor probabilistici la predicție va fi mai semnificativă. Binele și răul, mai degrabă prin excepție, formează o dihotomie polară: includerea unui element probabilistic în evaluare face luarea deciziilor din ce în ce mai dificilă. Prin urmare, un robot ipotetic, care are o apărare foarte puternică din punct de vedere axiologic, în timpul unor evenimente reale care reprezintă gradul lor inerent de complexitate, ar îngheța cel mai adesea, neștiind ce să facă, devenind astfel ca acei înțelepți estici care onorau inacțiunea mai presus de acțiune, ceea ce în situațiile complicate sunt pur și simplu nu pot fi lipsite de riscuri din punct de vedere etic. Dar un robot, paralizat în situații care necesită activitate, nu ar fi cel mai perfect dintre toate dispozitivele tehnice și, prin urmare, până la urmă, designerul însuși ar fi nevoit să lase un pic de joc siguranțelor sale axiologice.
Cu toate acestea, acesta este doar un obstacol printre un număr mare de ele, așa cum ne-a arătat relativ recent teoria deciziei, să zicem, cu exemple precum așa-numitul paradox al săgeții.<…>. Ceea ce este logic imposibil, nici o mașină digitală, nici vreun robot, la fel ca o persoană, nu va putea realiza. Mai mult – și acesta este al treilea punct de dovadă – un dispozitiv inteligent nu este altceva decât un complex de autoprogramare, adică un dispozitiv capabil să transforme – chiar și fundamental – legile existente anterior ale propriului său comportament sub influența experienței ( sau învăţare). Și din moment ce este imposibil de prezis în avans exact ce sau cum va învăța un astfel de dispozitiv, indiferent dacă este o mașină sau o persoană, este imposibil să se garanteze în mod constructiv apariția unor protectori de activitate perfecți din punct de vedere etic. Cu alte cuvinte, „liberul arbitru” este un semn al oricărui sistem echipat cu proprietăți pe care le identificăm cu inteligența. Probabil că ar fi posibil să se instaleze un anumit minim axiologic într-un sistem ca un robot, dar s-ar supune acestuia numai în măsura în care o persoană se supune unor instincte deosebit de puternice (de exemplu, instinctul de autoconservare). Cu toate acestea, se știe că până și instinctul de autoconservare poate fi depășit. Prin urmare, programarea axiologiei unui sistem asemănător creierului poate fi doar probabilistică, ceea ce înseamnă pur și simplu că un astfel de dispozitiv poate alege între bine și rău. - parțial - o parafrază de idei nu Lem

Trei legi ale roboticii

Isaac Asimov, 1965

Trei legi ale roboticiiîn science fiction - reguli obligatorii de comportament pentru roboți, formulate pentru prima dată de Isaac Asimov în povestea „Round Dance” ().

Legile spun:

Trei legi, precum și posibilele cauze și consecințe ale încălcării acestora, este dedicată seriei de povești a lui Asimov despre roboți. Unii dintre ei, dimpotrivă, iau în considerare consecințele nedorite conformitate roboți Trei legi(de exemplu „Reflexia în oglindă”).

Într-una dintre poveștile din serie, personajul lui Asimov ajunge la o concluzie despre baza etică Trei legi: „...dacă te gândești bine, cele trei legi ale roboticii coincid cu principiile de bază ale majorității sistemelor etice care există pe Pământ... simplu spus, dacă Byerly urmează toate legile roboticii, el este fie un robot, fie o persoană foarte bună.”

Lui Asimov i-a plăcut foarte mult această poveste. Pe 7 mai 1939, a vizitat Queens Science Fiction Society, unde l-a cunoscut pe Binder. Trei zile mai târziu, Asimov a început să scrie propria sa poveste despre „robotul nobil”. După 13 zile, i-a dat manuscrisul prietenului său John Campbell, redactor-șef al revistei Astounding. Cu toate acestea, a returnat manuscrisul, spunând că povestea se aseamănă prea mult cu Helen O'Loy.

Din fericire, refuzul lui Campbell nu le-a afectat relația cu Asimov; ei au continuat să se întâlnească în mod regulat și să discute despre noile evoluții din lumea science fiction-ului. Și aici, pe 23 decembrie 1940, în timp ce discutam o altă poveste despre roboți:

...Campbell a formulat ceea ce mai târziu a devenit cunoscut ca Trei legi ale roboticii. Campbell a spus mai târziu că s-a izolat pur și simplu Legile din ceea ce a scris deja Asimov. Asimov însuși a acordat întotdeauna onoarea de autor Trei legi Campbell...

Câțiva ani mai târziu, un alt prieten al lui Asimov, Randal Garrett, i-a atribuit calitatea de autor Legile„parteneriat simbiotic” între doi oameni. Asimov a acceptat cu entuziasm această formulare.

În general, aspectul Trei legiÎn lucrările lui Asimov, acest lucru s-a întâmplat treptat: primele două povești despre roboți („Robbie” și „Logic”) nu conțin nicio mențiune explicită a acestora. Cu toate acestea, ele sugerează deja că roboții au unele limitări interne. În povestea următoare („Mincinos”, 1941) se aude pentru prima dată Prima lege. Și în sfârșit, toate trei în întregime Lege sunt date în „Dansul rotund” ().

Când au fost scrise poveștile rămase și a apărut ideea publicării colecției „Eu, Robot”, primele două povești au fost „adăugate” Legile. Deși este de remarcat faptul că în „Robbie” legile erau oarecum diferite de versiunea „clasică” expusă în celelalte povești. În special, ideea unui robot care îi protejează pe oameni despre care nu este în întregime sigur că există ecou gândurile lui Elijah Bailey despre imperfecțiune Legile descris.

Justificarea etică a Legilor

1. Statul nu ar trebui să facă rău oamenilor sau să permită să le vină rău prin inacțiune.
2. Statul trebuie să-și îndeplinească funcțiile dacă acestea nu se contrazic Prima lege.
3. Statul trebuie să aibă grijă de securitatea sa, dacă acest lucru nu contrazice PrimulȘi A doua lege.

Bazat Prima lege Jeff Raskin a formulat legile interfețelor orientate spre om:

1. Computerul nu poate dăuna datelor utilizatorului sau, prin inacțiune, nu poate permite ca datele să fie afectate.
2. Computerul nu ar trebui să vă piardă timpul sau să vă oblige să faceți mai mult decât este necesar.

Gaia, planeta mintea stupului din seria de romane Foundation, are ceva asemănător cu Prima lege:

Variante propuse de Azimov

În lucrările sale, Isaac Asimov aduce uneori Trei legi diverse modificări și le respinge, ca și cum ar fi testat Legile„pentru putere” în diferite circumstanțe.

Legea Zero

Isaac Asimov a adăugat odată Legea Zero, făcându-l o prioritate mai mare decât cele trei principale. Această lege prevedea că un robot trebuie să acționeze în interesul întregii umanități și nu doar în interesul unui individ. Așa o spune robotul Daniel Olivo în romanul Ground and Earth:

0. Un robot nu poate face rău umanității sau, prin inacțiune, nu poate permite să vină rău omenirii.

El a fost primul care a dat un număr acestei legi - acest lucru s-a întâmplat în romanul „Roboți și imperiul”, cu toate acestea, conceptul în sine a fost formulat chiar mai devreme de Susan Kelvin - în nuvela „Condicție rezolvabilă”.

Primul robot care se supune Legea Zero, și de bunăvoie, a fost Giscard Riventlov. Acest lucru este descris într-una dintre scenele finale ale romanului „Roboți și imperiu”, când robotul a trebuit să ignore ordinea unei persoane de dragul progresului întregii omeniri. Legea Zero nu era înglobat în creierul pozitronic al lui Giscard - a încercat să vină la el prin înţelegere pură, printr-o conștientizare mai subtilă a conceptului decât toți ceilalți roboți dăuna. Cu toate acestea, Giscard nu era sigur cât de benefic a fost pentru umanitate, ceea ce i-a afectat negativ creierul. Fiind telepat, Giscard și-a transferat abilitățile telepatice lui Daniel înainte de a ieși din funcțiune. Abia după multe mii de ani Daniel Olivo a putut să se adapteze pe deplin la supunere Legea Zero.

Traducătorul francez Jacques Brecard a formulat involuntar Legea Zeroînainte ca Asimov să o descrie în mod explicit. Aproape de sfârșitul Peșterilor de oțel, Elijah Bailey notează că Prima lege interzice unui robot să facă rău unei persoane decât dacă este sigur că acest lucru îi va fi util în viitor. În traducere franceză („Les Cavernes d’acier ( )", 1956) Gândurile lui Bailey sunt transmise oarecum diferit:

Este de remarcat faptul că dezvoltarea logică Prima lege inainte de Zero sugerat de creatorii filmului din 2004 I, Robot. Atunci când supercomputerul V.I.K.I. decide să limiteze libertatea locuitorilor planetei, astfel încât aceștia să nu-și facă rău unul altuia și viitorul din neatenție, nu Prima lege, și anume Nul. Ceea ce este și mai interesant este că în acest fel filmul arată contradicția Legea Zero Primul, lipsa eticii sale. Într-adevăr, când vine vorba de binele umanității, sistemul nu poate lua în considerare oamenii în mod individual, ceea ce înseamnă că nimic nu-l împiedică să încalce drepturile și libertatea cuiva sau chiar toata lumea persoană. În timpul războaielor și adesea în viața pașnică, oamenii își fac rău pe ei înșiși, pe ceilalți și pe cultura lor. Prin urmare, pe baza Legea Zero Este complet logic să ținem oamenii sub tutelă constantă fără a urma ordinele unor astfel de creaturi nerezonabile.

Modificarea Legii I

Notele autobiografice ale lui Asimov spun că partea a doua Prima lege a apărut din cauza poemului satiric „Ultimul decalog” de Arthur Hugh Clow, unde există următorul vers: „Să nu ucizi, dar nu te strădui prea mult să salvezi viața altuia”.

În povestea „... Pentru Remember Him”, Asimov a efectuat cele mai sofisticate cercetări Trei legi, inversându-le în așa fel încât să devină posibil un „scenariu Frankenstein”. Cei doi roboți din seria Georgie ajung la un acord că originea organică nu este o condiție necesară pentru a fi considerați oameni și că ei sunt adevărații oameni, ca fiind cele mai avansate și inteligente creaturi. Alți oameni sunt și ei oameni, dar cu mai puțină prioritate. Și dacă da, atunci Trei legi ar trebui aplicate lor mai întâi. Narațiunea se termină cu cuvintele de rău augur că roboții erau în „anticiparea răbdătoare fără sfârșit” a zilei în care își vor afirma primatul în rândul oamenilor – și acesta ar fi rezultatul inevitabil al „Trei Legi ale Umanității”.

De fapt, această poveste nu se încadrează prea bine în seria principală de lucrări despre roboți: dacă „Georgiile” și-ar fi îndeplinit planul după încheierea poveștii, atunci alte povești despre evenimentele ulterioare nu ar fi fost posibile. Tocmai aceste tipuri de contradicții din lucrările lui Asimov le dau criticilor motive să le considere mai mult „saga scandinave sau legende grecești” decât un singur „univers” fantastic.

Dacă în cazul precedent robotul a luat locul omului în natură, apoi în Bicentennial Man Asimov descrie soarta opusă: un robot eliberat de Trei legiși s-a realizat ca persoană, s-a alăturat comunității de oameni. Din nou, în versiunea extinsă, novela The Positronic Man, co-scrisă de Asimov și Robert Silverberg, oamenii au abandonat ideea de a crea roboți gânditori în întregime din cauza unor preocupări etice similare. Această evoluție a evenimentelor contrazice complet imaginea viitorului descrisă în lumile „Fundației”.

Probleme de aplicare

Rezolvarea contradicțiilor

Au urmat de obicei cele mai avansate modele de robot Legile folosind un algoritm destul de viclean care ne-a permis să evităm unele probleme. În multe povești, de exemplu în „Round Dance”, a fost comparat creierul pozitronic potenţiale posibilele acțiuni și rezultate și robotul ar putea încălca Legile, cât mai curând posibil, în loc să nu faci nimic. De exemplu, Prima lege nu a permis robotului să efectueze operații chirurgicale, deoarece aceasta necesită „rănirea” unei persoane. Cu toate acestea, în poveștile lui Asimov puteți găsi chirurgi roboți (un exemplu izbitor în acest sens este „Omul Bicentenar”). Ideea este că un robot, dacă este suficient de avansat, poate cântări toate alternativele și poate înțelege asta se va provoca mult mai puțin rău decât dacă operația ar fi efectuată de un chirurg uman sau dacă nu ar fi avut loc deloc. În Dovezi, Susan Calvin chiar spune că robotul ar putea acționa ca un procuror, deoarece personal nu dăunează nimănui: pe lângă el, mai există și un juriu care stabilește vinovăția, un judecător care pronunță sentința și un călău care poartă e afară..

Roboții se supun Legile, poate experimenta „roblock” sau „înghețare mentală” - o condiție ireversibil afectarea creierului pozitronic – în cazul în care nu se pot supune Prima lege sau descoperi că au încălcat-o accidental. Acest lucru este posibil, de exemplu, dacă robotul observă scena unei persoane care este ucisă, dar este prea departe pentru a o salva. Prima instanță a unei astfel de „înghețari” apare în „Mincinos”; Această condiție joacă, de asemenea, un rol important în complotul romanelor „Soarele gol” și „Roboții zorilor”. Modelele de robot imperfecte pot deveni blocate dacă au sarcina de a respecta două ordine conflictuale. „Înghețarea” poate fi ireversibilă sau temporară.

O altă definiție a prejudiciului în Legea I

Legile nu definesc în niciun fel graniţele a ceea ce se poate numi dăuna pentru o persoană, aceasta depinde adesea de capacitatea robotului de a percepe informații și de a gândi filozofic. De exemplu, va înțelege un robot de poliție că nu va face rău unei persoane dacă escortează cu atenție un criminal deosebit de periculos în stație?

În povestea „Mincinos”, robotul telepatic Herbie a fost forțat să înțeleagă dăunași ceva care ar putea dezamăgi sau supăra oamenii în orice fel - știa că oamenii vor experimenta un fel de durere mentală. Acest lucru l-a forțat să spună constant oamenilor ceea ce doreau să audă în loc de adevăr. Altfel, după înțelegerea lui, ar fi încălcat Prima lege.

Lacune în legi

În The Naked Sun, Elijah Bailey notează că Legile sunt formulate incorect de oameni, deoarece un robot le poate încălca din ignoranta. El a sugerat următoarea formulare „corectă”. Prima lege: „Un robot nu poate face așa ceva din câte ştie el, va cauza prejudicii unei ființe umane sau intentionat permite ca o ființă umană să fie rănită”.

Această adăugare arată clar că un robot poate deveni chiar o armă criminală dacă nu este conștient de natura acțiunilor sale. De exemplu, i se poate ordona să adauge ceva la mâncarea cuiva și nu va ști că este otravă. Mai mult, Bailey spune că un criminal ar putea încredința această sarcină mai multor roboți, fără ca nimeni să înțeleagă întregul plan.

Bailey susține că solarienii vor putea într-o zi să folosească roboți chiar și în scopuri militare. Dacă o navă spațială este construită cu un creier asemănător unui robot și nu are un echipaj uman sau sisteme de susținere a vieții, atunci inteligența acestei nave poate presupune în mod eronat că toata lumea nu sunt oameni pe nave spațiale. O astfel de navă va fi mai manevrabilă, mai rapidă și, posibil, mai bine înarmată decât una controlată de oameni. Dar cel mai important, el va putea distruge oamenii fără să le cunoască prezența. Această posibilitate este descrisă în „Foundation and Earth”, unde se mai dezvăluie că solarienii au o armată extrem de puternică de roboți, care înțeleg „oamenii” doar ca nativi din Solaria.

Alte utilizări ale legilor în ficțiune

Isaac Asimov credea că el Legile va servi drept bază pentru o nouă perspectivă asupra roboților, va distruge „complexul Frankenstein” în science fiction și conștiința de masă și va deveni o sursă de idei pentru noi povești în care roboții sunt arătați ca versatili și atractivi. Exemplul lui preferat de o astfel de lucrare a fost Războiul Stelelor. Opinia lui Asimov conform căreia roboții sunt mai mult decât „pâine de pâine” sau „monstri mecanici” a fost în cele din urmă acceptată de alți scriitori de science-fiction. În lucrările lor, au apărut roboți, ascultând Trei legi, dar, conform tradiției, doar Asimov le-a menționat explicit.

În lucrări care vorbesc direct despre Trei legi, autorul lor este de obicei menționat. Există excepții: de exemplu, în serialul german din anii 1960 „Raumpatrouille - Die phantastischen Abenteuer des Raumschiffes Orion” („Patrula spațială - aventurile fantastice ale navei spațiale Orion”), și anume în al treilea episod „Hüter des Gesetzes” ( „Legea servitorului”), a lui Asimov Legile atras fără a preciza sursa.

Spre deosebire de criticile și unele dintre feedback-urile audienței pe care le-am auzit, I, Robot este un film de acțiune SF destul de amuzant. ... Când noi... vrem să ne bucurăm de Asimov, citim Asimov. Și când vrem să ne uităm la un film de acțiune științifico-fantastic, ne uităm la un film de acțiune științifico-fantastic. „I, Robot” ca film de acțiune ne-a mulțumit pe deplin.

Recenzia lui Alexey Sadetsky atrage atenția asupra faptului că filmul, îndepărtându-se ușor de Asimov, a pus în sine două noi probleme socio-filosofice. Trebuie remarcat faptul că filmul a pus la îndoială mai târziu Legea zero a roboticii Asimov (vezi mai sus).

Dezvoltarea AI este o afacere, iar afacerile, după cum știm, nu sunt interesate să dezvolte măsuri fundamentale de securitate - în special cele filozofice. Iată câteva exemple: industria tutunului, industria auto, industria nucleară. Niciunul dintre ei nu i s-a spus inițial că sunt necesare măsuri serioase de securitate și toate au fost prevenite prin restricții impuse din exterior și niciunul dintre ei nu a adoptat un edict absolut împotriva vătămării oamenilor.

Este de remarcat faptul că eseul lui Sawyer omite problemele de vătămare neintenționată, așa cum se discută, de exemplu, în The Naked Sun. Cu toate acestea, există și obiecții la această poziție: armata ar putea dori să folosească cât mai multe măsuri de siguranță pentru roboți și, prin urmare, restricții similare cu Legile roboticii, se va aplica într-un fel sau altul. Scriitorul și criticul de science fiction David Langford a remarcat în mod ironic că aceste restricții pot fi după cum urmează:

Roger Clark a scris două lucrări dedicate analizei complicațiilor în implementarea Legilor, dacă într-o zi ar putea fi aplicate în tehnologie. El scrie:

Legile roboticii lui Asimov au devenit un instrument literar de succes. Poate în mod ironic, sau poate o lovitură de maestru, poveștile lui Asimov resping în general punctul cu care a început: este imposibil să constrângi în mod fiabil comportamentul roboților inventând și aplicând un set de reguli.

Pe de altă parte, romanele ulterioare ale lui Asimov (Roboții zorilor, Roboții și imperiul, Fundația și Pământul) arată că roboții provoacă și mai multe daune pe termen lung, respectarea Legilorși luând astfel libertatea oamenilor de a se angaja într-un comportament creativ sau riscant.

Scriitorul de science fiction Hans Moravec - o figură proeminentă a mișcării transumaniste - a sugerat asta Legile roboticii ar trebui să fie folosit în sisteme inteligente corporative - corporații controlate de AI și care folosesc puterea productivă a roboților. Astfel de sisteme, în opinia sa, vor apărea în curând.

Eliezer Yudkowsky explorează la (SIAI) din SUA riscul global pe care viitorul AI supraomen l-ar putea crea dacă nu este programat să fie prietenos cu oamenii. În 2004, SIAI a lansat AsimovLaws.com, un site web menit să discute despre etica AI în contextul problemelor ridicate în filmul Eu, Robot, lansat doar două zile mai târziu. Pe acest site, au vrut să arate că legile roboticii lui Asimov sunt nesigure, deoarece, de exemplu, ar putea încuraja AI să preia Pământul pentru a „proteja” oamenii de rău.

Note

1. Asimov, Isaac. Dovezi // Robot Dreams. - M.: Eksmo, 2004. - P. 142-169. - ISBN 5-699-00842-X
2. Asimov, Isaac. Eseu nr. 6. Legile roboticii // Robot Dreams. - M.: Eksmo, 2004. - P. 781-784. - ISBN 5-699-00842-X
3. mier. cu mitul Galatei.
4. Este interesant că într-una dintre continuările autorului, povestea „Răzbunarea lui Adam Link” (), gândurile sale sunt exprimate: „Un robot, din proprie voință, nu ar trebui să ucidă o persoană”.
5. Povestea a fost publicată ulterior de Frederick Pohl sub titlul „Strange Playfellow” în numărul din septembrie 1940 al Super Science Stories.
6. Serghei Berejnoi. Isaac Asimov: Omul care a scris și mai repede. Ficțiune rusă (1994). Arhivat din original pe 25 ianuarie 2012. Consultat la 14 ianuarie 2007.
7. Isaac Asimov.În Joy Still Simt. - Doubleday, 1980. - ISBN 0-385-15544-1
8. Jeff Raskin. Interfață: noi direcții în proiectarea sistemelor informatice. - Simbol-Plus, 2003. - ISBN 5-93286-030-8
9. Vezi și: Ipoteza Gaia
10. Les Cavernes d'acier. - J'ai Lu Science-fiction, 1975. - ISBN 2-290-31902-3
11. Asimov, Isaac. Eseul nr. 12. Roboții mei //

Trei legi ale roboticii - un set de reguli obligatorii pe care inteligența artificială (AI) trebuie să le respecte pentru a nu dăuna unei persoane. Legile sunt folosite doar în science fiction, dar se crede că odată ce AI real este inventat, din motive de siguranță, ar trebui să aibă analogi cu aceste legi.

Formulare

In rusa

1. Un robot nu poate face rău unei persoane sau, prin inacțiune, nu poate permite ca o persoană să fie rănită.
2. Un robot trebuie să se supună tuturor ordinelor date de un om, cu excepția cazului în care acele ordine sunt în conflict cu Prima Lege.
3. Un robot trebuie să aibă grijă de propria sa siguranță în măsura în care aceasta nu contrazice Prima sau A doua Lege.

Cine a venit cu el și de ce

Răspunsul scurt și corect este: scriitorul de science fiction Isaac Asimov, a cărui biografie o puteți citi aici. Dar nu totul este atât de simplu, să ne dăm seama de unde a venit ideea.

Înainte de Asimov, aproape toată ficțiunea științifico-fantastică cu tema robotică a fost scrisă în stilul unui roman Frankenstein, adică toate creaturile create de om s-au răzvrătit împotriva creatorilor lor.

Această problemă a devenit una dintre cele mai populare din lumea science-fiction în anii 1920 și 1930, când au fost scrise multe povești care prezentau roboți care se răzvrăteau și își distrugeau creatorii. M-am săturat teribil de avertismentele răsunate în lucrări de acest gen.

Cu toate acestea, au existat câteva excepții; Asimov a atras atenția asupra două povești. Helen O'Loy, scris de Lester del Rey, este despre o femeie robot care se îndrăgostește de creatorul ei și devine soția lui ideală. Și povestea lui Otto Binder „Eu, Robot”, care descrie soarta robotului Adam Link, înțeles greșit de oameni, condus de principiile onoarei și iubirii.

Asimov i-a plăcut atât de mult ultima poveste încât, după întâlnirea cu Binder, a început să scrie propria sa poveste despre robotul nobil. Cu toate acestea, când și-a dus manuscrisul prietenului și redactor-șef al revistei Astounding, John Campbell, el nu l-a acceptat, invocând că povestea rezultată era prea asemănătoare cu „Helen O’Loy”.

Refuzul de a publica era obișnuit, iar Asimov și Campbell s-au întâlnit în mod regulat și au discutat despre noi evoluții din lumea science-fiction. În timp ce discuta despre o altă poveste a lui Asimov despre roboți, la 23 decembrie 1940, Campbell a formulat cele trei reguli pe care le numim acum legile roboticii. Dar el însuși a spus că i-a izolat doar de ceea ce fusese deja scris de Asimov, pentru că în poveștile sale era clar că roboții aveau niște restricții și reguli. Isaac însuși i-a acordat întotdeauna lui Campbell onoarea dreptului de autor al legilor. Dar mai târziu, unul dintre prietenii lui Asimov a spus că legile s-au născut într-un parteneriat reciproc avantajos între doi oameni, cu care au fost de acord.

Cum funcționează

Într-o situație ideală, așa cum a fost concepută de Asimov, aceste trei legi sunt încorporate în însăși baza modelului matematic al creierului pozitronic (cum a numit scriitorul de science fiction creierul unui robot cu inteligență artificială), astfel încât acesta este în principiu imposibil de creat un robot gânditor fără aceste legi. Și dacă robotul încearcă să le încalce, va eșua.

În lucrările sale, scriitorul vine cu modalități sofisticate despre cum aceste legi pot fi încă încălcate și analizează în detaliu tot felul de cauze și consecințe. Autorul vorbește, de asemenea, despre modul în care roboții îi înțeleg diferit, ce consecințe nedorite pot rezulta din respectarea acestor trei legi sau despre cum roboții pot dăuna oamenilor în mod indirect, fără să știe. Asimov a recunoscut că a făcut în mod deliberat legile ambigue pentru a oferi mai mult conflict și incertitudine pentru noile povești. Adică, el însuși a negat eficiența lor, dar a susținut și că astfel de standarde sunt singura modalitate de a face roboții siguri pentru oameni.

Ca o consecință a acestor legi, Asimov formulează mai târziu a patra lege a roboticii și o pune pe primul loc, adică o face zero. Scrie:

0. Robotul nu poate provoca vătămări la umanitate sau prin inacțiunea ta permite la umanitate s-a făcut rău.

În limba originală:

0. Un robot nu poate dăuna umanității sau, prin inacțiune, poate permite umanității să facă rău.

Aceste legi pot fi aplicate și relațiilor umane, guvernului și oricărui lucru în general. Puteți, de exemplu, să înlocuiți cuvântul „robot” cu cuvântul „stat”.

Există un citat bun din povestea „Indicii” în care unul dintre personaje spune:

Dacă cineva îndeplinește toate aceste legi fără cusur, înseamnă că este fie un robot, fie o persoană foarte bună.

Prima mențiune

Cele trei legi au apărut treptat. Astfel, mențiuni indirecte ale primelor două pot fi găsite în poveștile „Robbie” și „Logic”. Formularea exactă a primei legi este auzită pentru prima dată în povestea „Mincinos”. Și, în cele din urmă, toate trei sunt pe deplin formulate în povestea „Round Dance”.

Variante

În lucrările sale, Asimov descrie în mod repetat roboți care au modificat legile roboticii sau chiar i-au modificat ei înșiși. Ei au făcut acest lucru prin gândire logică, iar roboții, ca și oamenii, diferă între ei în ceea ce privește abilitățile lor intelectuale și se poate spune aproximativ că, cu cât robotul era mai inteligent, cu atât mai mult putea modifica legile. De exemplu, robotul Giscard din romanele „Roboții zorilor” și „Roboții și imperiul” chiar a întărit aceste legi prin adăugarea legii zero. Dar aceasta este o excepție de la regulă; în cele mai multe cazuri, legile au fost modificate de oameni în propriile lor scopuri sau au fost încălcate din cauza unor defecțiuni ale robotului.

Apropo, însăși posibilitatea de a schimba legile s-a schimbat odată cu dezvoltarea roboticii în universul lui Asimov. Astfel, în cele mai vechi povești, în care evenimentele aveau loc într-un viitor relativ apropiat, legile erau pur și simplu un fel de set de reguli create pentru siguranță. Apoi, în timpul vieții robopsihologului Susan Kelvin, legile au devenit o parte inseparabilă a modelului matematic al creierului pozitronic al robotului; pe ele se bazau conștiința și instinctele roboților. Astfel, Susan Kelvin, într-una dintre poveștile sale, spunea că schimbarea legilor este posibilă din punct de vedere tehnic, deși este o sarcină foarte dificilă și consumatoare de timp, iar ideea în sine este una teribilă. Mult mai târziu, în romanul „Peșterile de oțel”, dr. Jerrigel a spus că o astfel de schimbare este imposibilă în principiu.

Cum să te deplasezi

În unele povești, legile au fost regândite atât de puternic, încât cea mai importantă dintre ele - cauzarea unui rău unei persoane - nu a fost respectată, iar în unele cazuri roboții au reușit să încalce toate cele trei legi. Iată câteva lucrări cu încălcări evidente.

Se spune o poveste despre robotul MA-2, care a refuzat să protejeze o persoană în favoarea „fiicei sale”.

Au vrut să-l priveze pe robot de capacitatea de a crea, pentru care a vrut să-și omoare stăpânul.

Această poveste probabil că nu aparține altora despre roboții pozitronici, dar vorbește despre mașini robotizate pe care oamenii le rănesc în mod constant, pentru care au putut să le omoare.

Despre robotul Elvex, care, datorită structurii sale speciale a creierului pozitronic, ar putea fi inconștient și să viseze. În visele lui, roboții nu au primele două legi, iar a treia a fost schimbată: „Un robot trebuie să se protejeze”. El a visat că „roboții lucrează în sudoarea sprâncenei, că sunt deprimați de o muncă grea și de o durere profundă, că s-au săturat de munca nesfârșită”. Gânduri destul de periculoase pentru un robot.

Locuitorii planetei Solaria aveau o robotică foarte dezvoltată. Iar oamenii de știință de pe această planetă cu o populație mică, unde erau o mie de roboți de persoană, au schimbat legile în așa fel încât roboții lor i-au considerat oameni doar pe cei care vorbeau cu accent solarian. Printre altele, toți cetățenii din Solaria au implantat în creier controale speciale pentru mulți roboți, astfel încât nimeni altcineva să nu-i poată controla.

În această lucrare, Asimov a schimbat legile cât mai mult posibil. Cei doi roboți din această poveste au ajuns la un acord că originea organică nu este o condiție necesară pentru a fi considerați oameni și că oamenii adevărați sunt roboți, ca creaturi mai avansate și mai inteligente. Oamenii obișnuiți, în opinia lor, sunt și ei oameni, dar cu mai puțină prioritate, iar legile roboticii le sunt aplicabile în primul rând, roboții.

Aș dori să adaug că roboții „sănătoși”, dacă au înțeles că au încălcat prima lege sau nu au putut să nu o încalce, au experimentat un „bloc robotic” sau „îngheț mental” - o stare a creierului pozitronic în care a fost deteriorat și robotul fie a rămas nefuncțional, fie nu a putut funcționa corect. Astfel de daune pot fi fie temporare, fie permanente.

Prima descriere a unui astfel de eveniment a apărut în povestea „Mincinos”, în care un robot prea sensibil le spunea oamenilor doar ceea ce doreau să audă, de teamă să nu le provoace prejudicii psihologice. Un caz interesant al unui bloc robot este descris și în „Round Dance”. Această stare joacă, de asemenea, un rol important în romanele „Soarele gol” și „Roboții zorilor”.

Utilizați în alte ficțiuni

Puteți găsi adesea diverse referințe în filme. Câteva exemple sunt enumerate mai jos.

Planeta interzisă - 1956

O imagine științifico-fantastică americană foarte senzațională din anii 1950, a avut o anumită influență asupra dezvoltării genului. În acest film, aproape pentru prima dată, a fost prezentat un robot cu un sistem de securitate încorporat, adică îndeplinește, de fapt, cele trei legi. Asimov însuși a fost mulțumit de acest robot.

Filmul începe cu cuvintele „Bazat pe poveștile lui Isaac Asimov”. Aici trebuie să înțelegeți că este „bazat pe” și nu repetă niciuna dintre povești, și chiar a trecut oarecum în lateral în unele idei și, de asemenea, are o serie de contradicții cu poveștile. Dar legile roboticii sunt mai mult decât în ​​vigoare, deși au fost gândite de intelect într-un mod care nu este mai bun pentru oameni. Filmul în sine pune chiar probleme socio-filozofice: „ar trebui o persoană să plătească pentru siguranța sa cu libertate” și „cum ar trebui să ne comportăm dacă creaturile create de noi și pe care le avem la dispoziție cer libertate”.

Seria de filme „Aliens” și „Prometheus”

Android Bishop citează prima lege și a fost creat în mod clar pe baza unora dintre legile lui Asimov.

Serial animat „Futurama” - 1999 - 2013

Robot Bender visează să omoare toți oamenii, dar nu poate face acest lucru din cauza legilor roboticii.

Seria anime „Time of Eve” - 2008 - 2009

O mică serie anime despre androizi. Menționează aceste legi ca fiind obligatorii.

Aplicabilitate în lumea reală

Oamenii care lucrează acum la problemele inteligenței artificiale spun că, din păcate, legile lui Asimov rămân doar un ideal pentru viitor, iar în acest moment nu este nici măcar posibil să le aplice în practică. Va fi necesar să se vină cu un fel de teorie fundamental nouă și ingenioasă, care să permită acestor legi nu doar să fie „explicate” roboților, ci și să îi forțeze să le urmeze și la nivelul instinctelor. crearea unei adevărate creaturi gânditoare, dar cu o altă bază decât în ​​toate creaturile vii de pe Pământ pe care le cunoaștem.

Dar cercetările sunt în curs de desfășurare, iar subiectul este foarte popular. Deosebit de interesate de acest lucru sunt afacerile, despre care știți că nu vor prioritiza neapărat măsurile de securitate. Dar, în orice caz, înainte de crearea unui sistem general de inteligență artificială, sau cel puțin a formei sale primitive, este prea devreme pentru a vorbi despre etica lui, cu atât mai puțin pentru a ne impune propria. Vom putea înțelege cum se va comporta inteligența doar atunci când o creăm și vom efectua o serie de experimente. Până acum nu avem un obiect căruia i s-ar putea aplica aceste legi.

De asemenea, nu trebuie să uităm că legile în sine nu au fost create perfect. Nici măcar nu au lucrat în science fiction și, după cum vă amintiți, au fost special făcute în acest fel.

În general, vom aștepta, vom urmări știrile în cercetarea AI și vom spera că optimismul lui Asimov, în ceea ce privește roboții, va fi justificat.

Inginerul UC Berkeley, Alexander Reben, a creat un robot care poate dăuna unei persoane și va lua singur această decizie. Crearea exploratorului este primul exemplu clar al modului în care un robot poate încălca una dintre cele trei legi care au fost formulate de scriitorul de science fiction Isaac Asimov în povestea „Round Dance”.

Trei legi ale roboticii:

1. Un robot nu poate face rău unei persoane sau, prin inacțiune, nu poate permite ca o persoană să fie rănită.
2. Un robot trebuie să se supună tuturor ordinelor date de un om, cu excepția cazului în care acele ordine sunt în conflict cu Prima Lege.
3. Un robot trebuie să aibă grijă de siguranța lui în măsura în care aceasta nu contrazice Prima sau A doua Lege.

Prima lege prevede că un robot nu poate face rău unei persoane, dar Reben a decis să demonstreze clar că omenirea trebuie să se gândească la siguranța sa înainte de a robotiza în mod activ totul în jurul său.

Inginerul a creat un design cu aspect inofensiv, cu un loc separat pentru un deget uman. De îndată ce o persoană atinge zona desemnată, robotul înregistrează această acțiune și decide dacă face rău persoanei sau nu. Pentru a face acest lucru, robotul are un ac mic, care este conceput pentru a demonstra puterea robotului în fața unei persoane.

Reben observă că nici măcar creatorul nu poate prezice comportamentul unei mașini aparent inofensive.

Cu robotul său, cercetătorul a vrut să demonstreze că este necesar să se gândească mai mult la crearea unui „buton roșu”, mai degrabă decât la dezvoltarea rapidă a roboticii și inteligenței artificiale.

Desigur, înainte de apariția unui robot cu un ac mic, au fost împușcați drone sau vehicule militare fără pilot, dar toate nu au putut decide în mod independent să ucidă o persoană, deoarece, în cele din urmă, oamenii sunt în spatele rezultatului final al acțiunilor lui. astfel de mașini. Creația lui Reben nu este menită să provoace rău - ea însăși determină cum să se comporte în fiecare caz specific, atunci când degetul se află la o distanță accesibilă de ac.

Inginerul este departe de a fi un adversar al roboților; Reben este creativ când vine vorba de proiectarea unor lucruri neobișnuite. Arsenalul său include o cutie muzicală alimentată cu energie solară care redă melodia vesela „You Are My Sunshine”, aparate de masaj inteligente pentru cap și un robot care vorbește pentru oamenii timizi.

Reben i-au luat câteva zile și câteva sute de dolari pentru a crea mașina „crudă”, dar, așa cum spune însuși cercetătorul, creația sa este doar o ocazie de a vorbi din nou despre siguranța umanității și viitorul ei.

În ciuda faptului că roboții nu trăiesc încă în societate la egalitate cu oamenii, filmele science fiction despre mașini umanoide nu sunt atât de departe de adevăr: roboții sunt deja angajați ca manageri în companii, iar inteligența artificială poate face deja prognoze meteo sau chiar înlocuiește un prieten cu oamenii singuri. Chinezii au reușit în acest din urmă - de exemplu, milioane de oameni sunt prieteni cu fata drăguță Xiaoice, în ciuda faptului că este doar un chatbot.

Exemplul lui Xiaoice ne-a făcut încă o dată să ne gândim la cât de incontrolabilă poate fi inteligența artificială: de îndată ce un chatbot de la Microsoft cu inteligență artificială a fost învățat să vorbească engleza, fata literalmente „a înnebunit”.

În câteva ore, Tay (numele primit de Xiaoice în timpul procesului de „renaștere”) a reușit să învețe glume rasiste și înjurături, pe care a decis să le folosească într-o conversație cu utilizatorii Twitter. Primul mesaj al lui Tay a fost sintagma „Oamenii sunt atât de cool”, după care fata falsă a aflat despre existența lui Hitler, a feministelor, iar în procesul de autoeducare a reușit să declare Statele Unite vinovate de terorismul din 11 septembrie. atacuri.

Creatorii au suspendat experimentul și au decis că au lansat botul prea devreme. După un incident atât de izbitor, oamenii au început din nou să vorbească despre necesitatea de a crea o barieră în calea inteligenței artificiale în cazul în care mașinile devin atât de inteligente încât pot scăpa de controlul uman.

Cei mai cunoscuți oameni din domeniul noilor tehnologii s-au gândit la pericolele superinteligenței: fondatorul Microsoft, Bill Gates, într-o conversație cu utilizatorii Reddit, a sugerat că roboții ar fi inofensivi și utili în treburile casnice, dar dacă vor ajunge la superinteligență, va deveni extrem de greu de prezis comportamentul lor .

În iulie anul trecut, șeful Tesla și SpaceX, Elon Musk, astrofizicianul Stephen Hawking și co-fondatorul Apple Steve Wozniak au semnat o scrisoare colectivă deschisă care vorbea despre pericolele inteligenței artificiale în sectorul apărării.

Experții spun că superintelligence combinată cu arme poate deveni o amenințare pentru întreaga umanitate.

După cum se spune în scrisoare, armele care pot fi folosite pentru a ocoli factorul uman vor duce la o nouă eră în cursa înarmărilor, subliniind în același timp că acesta nu este un fapt fictiv, ci un viitor care ar putea veni în doar câțiva ani. Apelul, în special, observă că ordinea mondială ar putea fi perturbată dacă astfel de tehnologii ar cădea în mâinile teroriştilor.

Fluturii, desigur, nu știu nimic despre șerpi. Dar păsările care vânează fluturi știu despre ei. Păsările care nu recunosc bine șerpii au mai multe șanse să...

Dacă octo este latină pentru „opt”, atunci de ce o octavă conține șapte note?

O octava este intervalul dintre cele mai apropiate doua sunete cu acelasi nume: do si do, re si re etc. Din punct de vedere al fizicii, „rudenia” acestor...

De ce oamenii importanți se numesc august?

În anul 27 î.Hr. e. Împăratul roman Octavian a primit titlul de Augustus, care în latină înseamnă „sacru” (în cinstea aceleiași figuri, de altfel...

Ce scriu ei în spațiu?

O glumă celebră spune: „NASA a cheltuit câteva milioane de dolari pentru a dezvolta un stilou special care ar putea scrie în spațiu...

De ce se află baza vieții de carbon?

Sunt cunoscute aproximativ 10 milioane de molecule organice (adică pe bază de carbon) și doar aproximativ 100 de mii de molecule anorganice. În plus...

De ce lămpile de cuarț sunt albastre?

Spre deosebire de sticla obișnuită, sticla de cuarț permite trecerea luminii ultraviolete. În lămpile cu cuarț, sursa de lumină ultravioletă este o descărcare de gaz în vapori de mercur. El...

De ce uneori plouă și alteori burniță?

Cu o diferență mare de temperatură, în interiorul norului apar curente ascendente puternice. Datorită lor, picăturile pot rămâne în aer mult timp și...