Existenčné riziká a nekontrolovaný digitálny vývoj

[Nie som špecialista na AI. Kniha, o ktorej sa diskutuje, neponúka žiadne konkrétne riešenia, ale patrí skôr do kategórie #speculative journalism and science fiction. Ako sa často stáva v takýchto prípadoch, diskusie vytvorené v knihe sú oveľa zaujímavejšie a užitočnejšie ako samotná kniha. Táto téma sa stala rozšírenejšou v angličtine. na internete. V Runet dotaz @ superintelect, @ supermind dáva ~ 189 výsledkov za mesiac (Yandex)]

"Čo keby sme uspeli?"
Stuart Russell

Zajtra I. apokalypsa

Vo svojej knihe Superintelligence: príležitosti, riziká, stratégie Nick Bostrom čerpá pesimistický scenár vývoja umelej inteligencie: akonáhle sa AI javí ako ľudská inteligencia, superinteligence bude jedným z jeho prvých vynálezov. A potom "huslista nie je potrebný", superinteligentné informačné systémy môžu samo-vzdelávať a reprodukovať ešte zložitejšie systémy, kontrolovať výrobu a distribúciu konkurenčných AI, dopriať si agresívnu maltézsku rasu s ďalšími inteligentnými agentmi v lone umelej prírody.

Existenčné riziká zo susedstva superminda a človeka rastú mnohokrát. Nick Bostrom varuje, že superinteligence je schopná učiť sa rýchlejšie a efektívnejšie zo svojich tvorcov, a ak v nej neuvoľníte ľudské hodnoty, všetko sa môže skončiť zle, pretože superintelligence bude nielen schopná regulovať ďalšiu výrobu inteligentných strojov, ale úspešne zabráni tomu, aby sa ľudia pokúšali o nápravu svojej práce alebo do nej zasahovali.

Autobiografický ústup: Nick Bostrom medzi vedcami a filozofmi je známy ako hororový milenec - vedie inštitút, ktorý sa zaoberá vyhľadávaním a zverejňovaním existenčných rizík, má takú prácu. Niektorí kolegovia ho dokonca nazývajú Donald Trump z AI, Nick Bostrom je urazený, ale rýchlo odpúšťa. Drsný svet vedeckej diskusie. Koniec autobiografického ústupu.

II. Čo si odborníci myslia?

Už AI má "obmedzenú racionalitu" - môže si vybrať optimálnu stratégiu na dosiahnutie výsledkov. Čo sa stane, ak sa naučí zmeniť a zmeniť hierarchiu svojich cieľov?

Ako hlavný argument na podporu ich obáv, Bostrom cituje túžbu po optimalizácii. Ak superinteligent potrebuje vyriešiť Riemannovu vetu a na to potrebuje previesť polovicu živých bytostí na počítače, urobí to bez váhania, Bostrom tvrdí. Ak superintelligence bude musieť vyliečiť rakovinu, potom to urobí, aj keď potrebuje zničiť všetkých ľudí, ktorí nemajú rakovinu. Autor kladie problém kontroly super-inteligencie na prvé miesto vo vývoji AI. Medzi vedcami sa volá takýto scenár paradigmami bostromu roku 2000. A nedávny pokrok v oblasti strojového učenia upriamili pozornosť na túto problematiku dokonca aj technicko-oligarchovia a podnikatelia, ktorí znejú na poplach a úprimne vyjadrili obavy z vývoja umelej inteligencie.

Ramez Naam pochybuje, že názory B.Gates, I.Maska ("super-inteligencia je nová atómová bomba")S. Hawking o rizikách AI má akúkoľvek váhu. "# Potreba. V tejto oblasti nikto z nich nepracoval.""Cituje názory významných expertov na AI / strojové učenie:

  • Michael Litman, profesor na Brown University a bývalý zamestnanec AI Association: "Takéto obavy sú jednoducho nereálne. AI sa nemôže len prebudiť a urobiť apokalypsu."
  • Jan LeKun, špecialista Facebook na neurónové siete: "Niektorí ľudia si myslia, že AI sa bude môcť naprogramovať jeden deň. Obvykle takéto predpoklady nevykonávajú odborníci."
  • Andrew Eun, Curser / Google / Baidu Strojový učiteľ: "Áno, počítače sú stále múdrejší. Ale toto je len myseľ, nie myseľ a sebavedomie, a väčšina expertov neverí, že týmto spôsobom si môžete vytvoriť vedomú inteligenciu. Obavy z nebezpečenstva superinteligence sú rovnaké ako starosti o nadmernej populácie marsu."
  • Iné, nie menej vážni experti veria inak:
  • Richard Sutton, profesor informatiky na univerzite v Albert, vo svojom prejave na konferencii o bezpečnej AI povedal, že: „existuje určitá pravdepodobnosť úrovne AI osoby“ a potom "budeme nútení s ním spolupracovať", a "od rozumného otroka sa AI môže stať rozumným uchádzačom."
  • Jürgen Schmidhuber, profesor AI na univerzite v Lugane a bývalý profesor kognitívnej vedy robotov na univerzite v Mníchove, uvádza, že: "Ak tempo rozvoja vedy zostane na rovnakej úrovni ako predtým, potom v nadchádzajúcich desaťročiach môžeme očakávať skutočný prielom v uplatňovaní AI." Na reddite si všimol, že: „Na prvý pohľad môže rekurzívne samo-vylepšenie v strojoch Gödel pomôcť vyvinúť superinteligenciu. Stroje Gödel si môžu vybrať a vykonať zmeny vo svojom kóde, ktorý pravdepodobne prinesie pozitívne výsledky podľa počiatočného súboru funkcií. Parametre a stroj ich sám vyvinie, iní výskumníci sa môžu opýtať svojich strojov na odlišnú sadu parametrov a začne sa strojová rasa vývoja, ktorý nie je možné predpovedať, kto vyhrá tento závod a čo nám prinesie. Viac o tom."
  • Murray Shenehen, profesor informatiky na Cambridge, vo svojej knihe "Technologická singularita" píše, že: "Od vytvorenia úrovne AI človeka (teoreticky možné, ale veľmi ťažké) vytvoriť superinteligenciu, to môže trvať dosť času a tento prielom môže byť porovnaný s bodom singularity, kde sa udalosti budú vyvíjať rýchlejšie, než predpokladáme. Nadmerná inteligencia nadradená ľudským schopnostiam bude spojená so zvýšenými existenčnými rizikami a zvýšenými výhodami.

Alan Turing, ktorý nepotrebuje žiadne predstavenie, vo svojej práci "Je digitálny stroj schopný myslieť?" píše: "Predpokladajme, že sa nám podarí vytvoriť mysliace stroje. To bude mať za následok rezonanciu a stretne sa s odporom intelektuálov a vedcov, ktorí sa budú obávať o svoju pozíciu a prácu. A z dobrého dôvodu. Pretože keď stroje dosahujú ľudskú úroveň myslenia, ľudia sa budú musieť snažiť veľmi tvrdo Je to tiež dosť pravdepodobné, že rozumná schopnosť stroja vytvoriť si vlastnú podobnosť alebo ešte inteligentnejší stroj, takže sa dá očakávať, že keď bude rozumný stroj schopný rozumné pod kontrolou ľudstva. "

III. Prečo umelá inteligencia?

Pretože ľudský mozog je najbližším analógom toho, čo sa deje v strojovom učení: informačné systémy, ktoré prechádzajú strojovým učením, sa nazývajú neurónové siete a pozostávajú z oddelených vrstiev, z ktorých každá je zodpovedná za spracovanie určitých informácií. Ak vrstvy nižších úrovní môžu prijímať informácie, potom vrstvy vyšších úrovní ich môžu spracovávať, prenášať a používať na vlastné školenie. Veľmi podobný samoštúdiu v ľudskej hlave.

Neurónové siete sú už schopné rozlišovať medzi ľudskou rečou a tvárami lepšie ako ľudia. To nie je také neškodné, ako sa zdá na prvý pohľad. Sme prekvapení víťazstvom počítača nad človekom v šachu alebo ísť, hoci človek nemá špeciálne časti mozgovej kôry na riešenie šachových problémov. Uznanie a kategorizácia tvárí je však už špeciálnou zónou kôry, ktorá sa vyvinula evolučne a je zodpovedná za prežitie. A v tejto oblasti je dnes AI lepšia ako človek.

AI je teda schopná abstraktne a kategoricky chápať vzdelávacie informácie: rozlišovať medzi obrazmi bielych psov, čiernych psov, španielov, jazvečíkov, šteniatok, dospelých psov a pripisovať to všetkým "psovi". AI môže vytvárať a označovať pornografické motívy v obrazoch. (Pozor: skutočná digitálna pornografia v zmysle AI). Tieto schopnosti AI (kategorizácia / generalizácia / klasifikácia) naznačujú najjednoduchšiu rozumnú aktivitu informačného systému.

Čo bude ďalej?

IV. Porovnajte tieto dva prístupy:

1. mechanistické: klasifikácia / kategorizácia je určite jedným zo znakov rozumného agenta. Ale len jeden z nich. To je užitočná a nádherná vlastnosť, ale nie hlavná. Skutočná inteligencia vyžaduje viac ako schopnosť kliknúť na hádanky - túžba kliknúť na hádanky. Rozlišovanie medzi obrázkami psov a volania psa je v pohode, bezpochyby. Súčasná AI musí byť primárne spojená s túžbou, motivačným úsilím riešiť problémy a dokázať vety. Vytvorenie racionálneho informačného systému je viac než len schopnosť vykonávať veľmi rýchle a efektívne aj veľmi zložité úlohy podľa inštrukcií inžiniera tohto systému. A túžby inteligentného stroja sa môžu líšiť od cieľov ľudského tvorcu. Tento prístup je roztomilý Nick Bostrom.

2. biologický (opatrnosť: hrubé zjednodušenie): väčšina mozgu sa skladá z rovnakých alebo mierne odlišných buniek, ktoré sa vyvinuli počas evolúcie. Ak dokážeme pochopiť, ako jedna časť mozgu funguje, potom bude oveľa ľahšie pochopiť, ako fungujú iné oblasti. motivačný procesy ľudskej racionálnej aktivity prebiehajú v rovnakých alebo podobných oblastiach mozgovej kôry ako vnímanie / kategorizácia / klasifikácia informácie. Ak sa vedci domnievajú, že informačné systémy pre vnímanie-kategorizácia-klasifikácia môžu byť reprodukované pomocou príkladu ľudského mozgu, potom na reprodukciu motivačných inteligentných systémov, vedci skôr mierne zmenia existujúce vzorky neurónovej siete na kategorizáciu / klasifikáciu. Takéto systémy nebudú vyzerať ako úplne motivované a cielené prototypy (ľudský mozog je tiež trochu podobný takýmto systémom). S najväčšou pravdepodobnosťou sa to prejaví v mnohých malých, rôznorodých vnímaniach, túžbach a motiváciách, ako sa to zvyčajne deje v ľudských hlavách. Takýto prístup spochybňuje celkovú silu tvorcu - človeka nad AI, pretože naprogramované motívy / ciele stroja nemusia vzniknúť alebo sa výrazne zmenia.

Biologický ústup. Evolučnú históriu biologického prístupu je ťažké vysledovať a potvrdiť s veľkou presnosťou. Oddelenie kognitívneho vnímania / spracovania zmyslových informácií (prefrontálna kôra) a pamäťových / emocionálnych / behaviorálnych centier (hypotalamus a hipokampus) sa vyskytlo v skorých štádiách vývoja stavovcov alebo dokonca skôr. Tieto rozdielne systémy si však zachovávajú spojenia a narúšajú vzájomnú funkčnosť. Niektoré časti kortexu sú viazané na hypotalamus a patria do limbického systému. Ďalšie časti talamu (jašterica jašterica, limbický systém) sa podieľajú na spracovaní informácií (colliculi).

Zdá sa, že mozgové oblasti zodpovedné za zmyslové vnímanie a motivačno-emocionálne zóny sú prítomné v rôznych častiach kortexu. Navyše, pred frontálny kortex, ktorý je považovaný za kolísku ľudskej osobnosti (vyššia kognitívna aktivita, hodnotenie, plánovanie, atď.), Sa pravdepodobne vyvinul z kôry prvých rýb, z jediného mozgu týchto rýb. Ktorý, podľa poradia, pochádzal z tých niekoľko stoviek neurónov, ktoré boli zodpovedné za vnímanie a spracovanie zmyslových informácií v prvých červoch. Koniec biologického ústupu.

Ani anatómia ani evolúcia neznamenajú čisto autonómne oddelenie vnímania, spracovania a motivácie primeranej aktivity. Tie isté systémy môžu vnímať informácie na jednom mieste as menšími zmenami ich spracovávať a motivovať k ďalšej činnosti v iných častiach mozgu. Všetko jedno. S rizikom ponorenia sa do metafyziky a mysticizmu, povedzme, že kognitívne skreslenia (spracovanie informácií) a vizuálne ilúzie (vnímanie) majú viac spoločného, ​​než sa pôvodne myslelo (ďalšie zjednodušenie: tieto deformácie sa vyskytujú v technicky identických oblastiach, Brodmannových poliach).

V. O pôvode druhov

Kategorizácia / klasifikácia je základom morálnej výchovy. Možno je to morálka. Vezmime si napríklad mentálne kategórie: každý vie, čo je vták, ale s presnou definíciou "vtáka" o niečo ťažšie (bocian je vták, tučniak je zvláštny vták, Archeopteryx ... polo-vták?).

Každý si pamätá, ako tieto kategórie vznikajú. Trocha učenia, matka ukazuje dieťaťu kurča a hovorí "vták", po niekoľkých rokoch sa dieťa dozvie, že netopier je "nie vták" a že váš mozog voľne pracuje s kategóriami / triedami a komplexnými abstrakciami a po ďalších dvetisíc rokoch prichádza Darwin a hovorí, že existuje taká trieda "stavovcov" stavovcov, čo je veľmi dobré, ale vedeli ste to bez neho.

Podobným spôsobom sa ľudia učia etike a morálke. Keď niekoho zahryzneme, matka / otec / učiteľ / rabín / kňaz / šaman nám povie, že je to „zlé“, keď sa delíme o koláč, hovoríme, že je to „dobré“. Na základe práce s takýmito príkladmi informačný systém pracuje s kategóriami a triedami, aj keď nedokáže poskytnúť presné definície týchto kategórií a tried.

Umelá inteligencia môže rozvíjať svoju umelú morálku na základe údajov, ktoré jej vedci poskytujú. Morálka nastáva počas výcviku AI o vzdelávacích informáciách. Bostrom verí, že morálka / etika AI je oddelený alebo radu informácií o výcviku.

Zvyčajný Bostromovský protiargument je pravdepodobnosť, že AI urobí nesprávne závery z informácií o vzdelávaní a vytvorí systém hodnôt, ktorý je nebezpečný pre ľudí. Napríklad, AI by sa mohla rozhodnúť, že všetky veci, ktoré robia osobu šťastnou, sú dobré. A on sa začne optimalizovať na maximum - začne podávať heroínové injekcie po celú dobu, aby osoba zostala šťastná.

Neviem prečo, ale ľudské hodnotenie činností nefunguje tak priamočiaro a vo vzácnych prípadoch prináša nejakú myšlienku na kritické množstvo. Možno je to kvôli zvláštnostiam klasifikácie / kategorizácie alebo cudzím faktorom, ktoré sú zahrnuté v konečnom rozhodnutí, a nie len dobrej zlej dichotómii. To môže byť zaujímavá úloha pre vývojárov AI - určiť, čo presne robí informačné systémy klasifikovať informácie ako ľudská bytosť *.

Vo všeobecnosti je ťažké si predstaviť, že človek má špecifický morálny gén, morálny segment mozgovej kôry, nejaký druh morálnej adaptácie. Je nepravdepodobné, že etika a morálka sú biologické, evolučné konštrukty, neurobiologické mechanizmy - s najväčšou pravdepodobnosťou sú etika a morálka nevyhnutnými podmienkami prosociálneho správania. Etika je ako strecha domu, ktorý prirodzene rastie vďaka správnej práci nižších divízií, vyučovanie umelej inteligencie etike a morálke je nemožné okrem bežného učenia (ak hovoríme o AI založenej na neurónových sieťach, ktoré opakujú štruktúry mozgu).

Motivačná sféra človeka pracuje na dopamínoch a systéme odmien. Zostáva dúfať, že najbližšie ľudské schopnosti klasifikovať možno implementovať do modelov AI. Ľudia môžu chcieť sex bez túžby oplodniť všetky živé a neživé, kým planéta nevybuchne. AI založená na ľudskom modeli vnímania a klasifikácie dát, vôľa chcem riešiť problémy bez manických túžob podrobiť všetky ostatné ciele pre túto túžbu. Nie vždy a nie všetci ľudia sú bezmyšlienkoví optimalizátori: stanovenie hierarchického cieľa je spoločné pre ľudí, každý chápe, že byť morálkou je z dlhodobého hľadiska prospešný. To znamená, že superinteligencia sa s najväčšou pravdepodobnosťou nestane fatálnym optimátorom terminátora pre ľudstvo.

Najbežnejším predpokladom (ktorý podporuje Nick Bostrom): umelá inteligencia bude stelesnením čistej logiky, úplne bez podobností emócií / pochybností / zaváhania a my budeme musieť tento matematický golem obmedziť **. Ak si spomíname na takéto príklady z ľudskej vzorky, potom sa tieto obavy trochu zveličujú - väčšina ľudí, ktorí majú nízku empatiu, ktorí majú zlú etiku a morálku, demonštrujú antisociálne správanie, je pre nich ťažké naučiť sa, prispôsobiť sa, jednoducho preto, že je pre nich ťažké pochopiť iných ľudí. (autisti, ľudia so schizoidnými poruchami), aj keď môžu extrahovať korene päťciferných čísel. Je ťažké pre takýchto ľudí, aby neplánovali zabíjanie komára, sotva vydržia pocity novej topánky na nohách, o čom sa svet rozpráva? Už existuje zrejmá súvislosť s procesmi mentalizácie, ktorá hovorí o neoddeliteľnosti inteligencie od etiky. Zdá sa mi, že je možný aj iný scenár, kde AI bude myslieť nielen matematickými vzorcami / programovým kódom. Bude to oveľa komplikovanejšie a nebude tak desivé, ako to naznačuje Bostrom. A potom ľudia budú potrebovať ďalšie stratégie pre koexistenciu s AI.


* Dňa 4. marca 2016, MIRI Machine Learning Institute program "zladenie hodnôt pre pokročilé systémy strojového učenia" (stanovenie cieľov pre zložité systémy strojového učenia). Úlohou tohto programu je vytvorenie informačno-komunikačných systémov s obmedzenou autonómiou.

**Формальная логика, специалистом по которой является Ник Бостром, не всегда адекватно описывает реальность (или не стремится). Так что эти опасения немного преувеличены и логико-математический терминатор может оказаться не таким опасным, как видится Бострому.


O autorovi recenzovanej knihy: švédsky filozof Nick Bostrom, autor viac ako 200 publikácií o globálnych rizikách, sekvencionalizme, antropickom princípe, vedeckej etike. Riaditeľ Inštitútu pre budúcnosť ľudstva, profesor na Oxfordskej univerzite. Víťaz titulov z matematickej logiky, fyziky, výpočtovej neurológie, filozofie.

Originál: Bostromianova paradigma a nedávny pokrok v AI

Zanechajte Svoj Komentár