Budem hovoriť o zlyhaní intuície,
ktorým trpí mnoho z nás.
Vlastne ide o zlyhanie odhalenia určitého druhu nebezpečia.
Popíšem vám situáciu,
o ktorej si myslím, že je desivá
a zároveň pravdepodobná,
čo, ako vieme,
nie je dobrá kombinácia.
A aj tak, mnohí z vás nebudú vystrašení, ale budú
si myslieť, že to, o čom hovorím, je cool.
Budem hovoriť o tom, ako nás pokrok,
ktorý dosahujeme v umelej inteligencii,
môže nakoniec úplne zničiť.
A vskutku si myslím, že je ťažké nevidieť, že nás zničí, alebo nás
inšpiruje, aby sme sa zničili sami.
A pokiaľ ste ako ja,
je pre vás zábavou zamýšľať sa nad tým.
Naše reakcie sú súčasťou toho problému.
Tieto reakcie by vás mali trápiť.
Ak by som vás teraz presvedčoval,
že ľudstvo pravdepodobne zasiahne globálny hladomor,
buď kvôli klimatickým zmenám, alebo z dôvodu inej katastrofy,
a že vaše vnúčatá a ich vnúčatá
budú pravdepodobne žiť takto,
určite si nepomyslíte,
"Zaujímavé.
To je pekná prednáška."
Hladomor nie je zábava.
Na druhú stranu, smrť v sci-fi zábavná je,
jedna z vecí, ktorá ma na vývoji umelej inteligencie trápi najviac, je, že nie sme
schopní primerane emocionálne reagovať
na nebezpečie, ktoré leží pred nami.
Ja sám nie som toho schopný a sám o tom teraz prednášam.
Pomyslite si, že stojíme pred dvoma dvermi.
Za dvermi číslo jedna
zastavíme vývoj a budovanie inteligentných strojov.
Počítačový software a hardware sa prosto z nejakého dôvodu prestane vylepšovať.
Zastavme sa na chvíľu a premýšľajme, prečo by toto mohlo nastať.
S ohľadom nato, akým prínosom inteligencia a automatizácia pre nás je,
budeme technológie stále zlepšovať, pokiaľ toho budeme vôbec schopní.
Čo by nás mohlo v tomto zastaviť?
Celosvetová nukleárna vojna?
Globálna pandémia?
Dopad asteroidu?
Justin Bieber prezidentom USA?
(smiech)
Ide o to, že by našu súčasnú civilizáciu, tak ako ju poznáme, muselo niečo zničiť.
Predstavte si, ako zlé by to muselo byť,
aby sme neboli schopní ďalej vylepšovať naše technológie,
neustále,
generáciu za generáciou.
V zásade je to tá najhoršia vec,
aká by mohla v ľudských dejinách nastať.
Takže jedinou alternatívou,
ktorá je za dvermi číslo dva,
je pokračovať v zdokonaľovaní našich inteligentných strojov,
postupne rok za rokom.
A v určitom okamžiku postavíme stroje, ktoré budú chytrejšie než my sami,
a keď budeme mať stroje, ktoré budú chytrejšie od nás,
tak sa začnú zdokonaľovať samy.
A v tom okamihu hrozí situácia, ktorú matematik I.J.Good
nazval "inteligenčná explózia,"
a vtedy by sa to mohlo vymknúť z rúk.
Ako vidíte napríklad tu, táto téma sa často karikuje,
ako obava z armád zlých robotov,
ktoré na nás zaútočia.
Ale toto nie je najpravdepodobnejší scenár.
Nie je to tak, že by stroje zrazu začali byť zlé.
Problém je v tom, že vytvoríme stroje,
ktoré budú oveľa schopnejšie než sme my,
takže aj tá najjemnejšia odchýlka medzi ich a našimi cieľmi,
by nás mohla zničiť.
Zamyslite sa, ako sa chováme k mravcom.
Nemáme nič proti nim.
Neubližujeme im cielene.
Dokonca občas znesieme bolesť a neubližujeme im.
Prekračujeme ich na chodníku.
Ale kedykoľvek je ich prítomnosť
vo vážnom konflikte s našimi cieľmi,
povedzme, keď staviame budovu ako táto,
tak ich bez mihnutia oka zničíme.
Obávam sa, že jedného dňa vytvoríme stroje,
ktoré, vedome alebo nevedome, budú s nami
zachádzať s podobnou ľahostajnosťou.
Mnohím z vás to príde pritiahnuté za vlasy.
Vsadím sa, že mnohí z vás pochybujú, že super inteligentné stroje sú možné,
tobôž, že by to nevyhnutne nastalo.
Potom však musíte nájsť niečo nesprávne v nasledujúcich predpokladoch.
A v podstate sú len tri.
Inteligencia je výsledkom spracovania informácie v hmotných systémoch.
Vlastne, toto je trochu viac než len predpoklad.
Do strojov sme už obmedzenú inteligenciu zabudovali
a veľa z týchto strojov už pracuje
na úrovni super inteligentných ľudí.
A vieme, že bežná hmota
môže byť vznikom takzvanej "všeobecnej inteligencie",
teda schopnosti flexibilne myslieť naprieč rôznymi oblasťami,
pretože naše mozgy to už dokázali, však?
Mám na mysli, že naše mozgy sa skladajú len z atómov,
a pokiaľ budeme pokračovať v budovaní systémov z atómov,
ktoré vykazujú čoraz inteligentnejšie správanie,
tak nakoniec, pokiaľ nás niečo nezastaví,
zabudujeme všeobecnú inteligenciu
do našich strojov.
Kľúčové je si uvedomiť, že na rýchlosti pokroku nezáleží,
pretože k dosiahnutiu cieľa stačí akékoľvek tempo.
Nepotrebujeme Mooreov zákon, nie je nutný exponenciálny vývoj.
Jednoducho stačí pokračovať.
Druhým predpokladom je, že budeme pokračovať.
Budeme naďalej zlepšovať naše inteligentné stroje.
A keďže inteligencia je pre nás dôležitá -
mám na mysli, že inteligencia je buď zdrojom všetkého, čo si ceníme,
alebo ju potrebujeme na ochranu všetkého, čo si ceníme.
Je to náš najhodnotnejší zdroj.
Takže v tom chceme pokračovať.
Máme problémy, ktoré zúfalo musíme vyriešiť.
Chceme liečiť choroby ako Alzheimer a rakovina.
Chceme porozumieť ekonomickým systémom. Chceme zlepšiť náš klimatický výskum.
Takže, pokiaľ to pôjde, budeme pokračovať.
Tento vlak je už rozbehnutý a nejde ho zastaviť.
A, nakoniec, my nestojíme na vrchole inteligencie a pravdepodobne
ani niekde blízko vrcholu.
Toto je skutočne kľúčový pohľad.
To je dôvod, prečo je naša situácia taká prekérna,
a dôvod, prečo je naša intuícia taká nespoľahlivá pri posudzovaní rizík.
Vezmite si trebárs najmúdrejšiu osobu, ktorá kedy žila.
Takmer každý by do najužšieho výberu zaradil Johna von Neumanna.
To, akým dojmom pôsobil van Neumann na ľudí okolo seba,
medzi ktorých patrili najlepší matematici a fyzici tej doby,
je veľmi dobre zdokumentované.
Ak by len polovica historiek o ňom bola aspoň z polovice pravdivá,
tak nie je pochýb,
že patril medzi najmúdrejších ľudí v histórii.
Takže zvážme spektrum inteligencie.
Tu máme John von Neumanna.
A tu ste vy a ja.
A tu máme kura.
(smiech)
Pardon, kura.
(smiech)
Nie je dôvod, aby bola táto prednáška depresívnejšia, než je nutné.
(smiech)
Zdá sa nanajvýš pravdepodobné, že rozsah inteligencie
je oveľa širší, než ako ho v súčasnosti vnímame,
a keď postavíme stroje, ktoré budú inteligentnejšie než sme my,
tak budú veľmi pravdepodobne skúmať to spektrum
spôsobom, ktorý si nevieme predstaviť,
a presiahnu nás spôsobom, ktorý si nevieme predstaviť.
A je dôležité rozoznať, že je tomu tak už vďaka samotnej rýchlosti.
Predstavte si, že sme vytvorili super inteligentnú umelú inteligenciu (AI),
ktorá je rovnako chytrá ako priemerný tím vedcov
na Stanforde alebo MIT.
Lenže elektronické obvody fungujú asi miliónkrát rýchlejšie
než biochemické,
takže, takýto stroj by mohol myslieť asi miliónkrát rýchlejšie
ako myseľ, ktorá ho zostrojila.
Takže, keď ho spustíte na týždeň,
tak vykoná rovnakú intelektuálnu prácu, ktorá by ľuďom trvala 20 000 rokov,
týždeň za týždňom.
Ako by sme vôbec mohli pochopiť, či snáď nejako obmedziť
myseľ schopnú takéhoto pokroku?
Úprimne, je tu ďalšia znepokojivá vec -
predstavte si najlepší možný scenár.
Predstavte si, že sa nám podarí navrhnúť super inteligentnú AI, ktorá nebude mať
žiadne bezpečnostné hrozby.
Budeme mať perfektnú verziu hneď na prvý pokus.
Ako keby sa naplnila veštba a všetko
by fungovalo, tak ako bolo zamýšľané.
Takýto stroj by ľuďom perfektne uľahčoval prácu.
Dokázal by navrhnúť stroj, ktorý by zostrojil stroje,
čo vykonajú akúkoľvek fyzickú prácu,
napájané slnečným žiarením,
viac-menej za cenu vstupných materiálov.
Takže, hovoríme o konci ľudskej driny.
Hovoríme taktiež o konci väčšiny intelektuálnej práce.
Ale čo by také opice ako sme my robili za takýchto okolností?
No, mali by sme čas hrať Frisbee a vzájomne sa masírovať.
Pridali by sme nejaké to LSD a pochybné oblečenie
a celý svet by mohol byť ako "Burning Man".
(smiech)
Teraz, aj keď to znie lákavo,
ale spýtajte sa sami seba, čo by mohlo nastať,
keby ekonomika a politika fungovali tak ako dnes?
Zdá sa pravdepodobné, že by sme boli svedkami
takej sociálnej nerovnosti a nezamestnanosti,
ako nikdy predtým.
Absencia ochoty poskytnúť toto nové bohatstvo
do služieb celého ľudstva.
Niekoľko miliardárov by zdobilo titulky obchodných magazínov,
zatiaľčo zbytok sveta by pokojne hladoval.
A čo by urobili Rusi a Číňania, ak by sa
dozvedeli, že nejaká spoločnosť v Silicon Valley
sa chystá nasadiť super inteligentnú AI?
Takýto stroj by bol schopný viesť vojnu,
či už pozemnú alebo kybernetickú
s nebývalou silou.
To je scenár, kde víťaz berie všetko.
Šesťmesačný náskok pred konkurenciou
by znamenal minimálne náskok
500 000 rokov.
Zdá sa, že číre fámy o prelome v tejto oblasti
by nás mohli priviesť k nepríčetnosti.
Jedna z najdesivejších vecí
v tejto chvíli z môjho pohľadu
je to, čo hovoria vedci, ktorí vyvíjajú umelú inteligenciu,
keď nás chcú upokojiť.
Najčastejším dôvodom, prečo sa vraj nemáme obávať, je čas.
Toto všetko je ešte ďaleko, všakže.
Ešte to potrvá pravdepodobne 50 alebo 100 rokov.
Jeden výskumník povedal:
"Obávať sa bezpečnosti AI
je ako báť sa preľudnenia Marsu."
Toto je je verzia Silicon Valley:
"Nechaj to koňovi, ten má väčšiu hlavu."
(smiech)
Zdá sa, že nikto nezaznamenal,
že odvolávať sa na časový horizont
je totálne nelogické.
Ak je inteligencia len spôsob spracovania informácií
a my budeme pokračovať v zlepšovaní našich strojov,
tak vytvoríme nejakú formu super inteligencie.
A nemáme poňatia, ako dlho nám bude trvať,
než ju vytvoríme za bezpečných podmienok.
Poviem to ešte raz.
Nemáme poňatia, ako dlho nám bude trvať,
než ju vytvoríme za bezpečných podmienok.
A možno ste si nevšimli, že 50 rokov už nie je to, čo bývalo.
Toto je 50 rokov v mesiacoch.
Takto dlho máme iPhone.
Takto dlho sa vysielajú Simpsonovci.
50 rokov nie je tak veľa času,
aby si náš druh poradil s najväčšou výzvou, pred ktorou kedy stál.
Ešte raz - zdá sa, že nemáme primeranú emocionálnu odpoveď
na niečo, čo podľa všetkého nastane.
Počítačový vedec Stuart Russell má nato peknú analógiu.
Povedal, predstavte si, že dostaneme správu od mimozemskej civilizácie,
v ktorej bude:
"Pozemšťania,
za 50 rokov dorazíme na vašu planétu.
Pripravte sa."
A teraz budeme len počítať mesiace do pristátia mimozemskej lode?
Asi by sme cítili trochu viac naliehavosti ako teraz.
Ďalší dôvod, prečo sa nemáme obávať, je,
že týmto strojom nezostane nič iné, len zdieľať naše hodnoty,
pretože budú doslovne naším vlastným rozšírením.
Budú zabudované do našich mozgov
a my budeme v podstate ich limbickým systémom.
Zamyslite sa a zvážte,
že tou najbezpečnejšou a jedinou rozvážnou cestou,
ktorá sa odporúča,
je nasadiť tieto technológie priamo do našich mozgov.
Fakticky, ona to môže byť najbezpečnejšia a jediná rozvážna cesta vpred,
ale zvyčajne je dobré obávať sa bezpečnosti technológií,
pretože by to malo byť celkom dobre vyladené, než si to vložíte do hlavy.
(smiech)
Hlbším problémom je, že budovanie samotnej super inteligentnej AI sa zdá byť
pravdepodobne jednoduchšie,
než budovanie super inteligentnej AI
a mať vyriešenú neurovedu, ktorá nám
dovolí bezproblémovú integráciu našich myslí s ňou.
A keďže firmy a vlády, ktoré sa na tom podieľajú,
to pravdepodobne vnímajú ako závod so všetkými ostatnými,
pretože vyhrať tento závod znamená dobyť svet,
za predpokladu, že ho hneď vzápätí nezničíte,
tak potom je pravdepodobné, že to, čo bude jednoduchšie,
sa urobí ako prvé.
Bohužiaľ, teraz nemám riešenie tohto problému,
okrem odporúčania, že by sme o tom mali viac premýšľať.
Myslím, že je nutné niečo ako "Manhattan Projekt"
na tému umelej inteligencie.
Nie ako ju vytvoriť, pretože si myslím, že to nevyhnutne
nastane, ale v pochopení ako sa vyhnúť závodom v zbrojení
a ako ju vytvoriť spôsobom, ktorý je v súlade s našimi záujmami.
Keď hovoríme o super inteligentnej AI,
ktorá dokáže meniť samu seba,
tak sa zdá, že máme len jednu šancu, ako nastaviť východiskové podmienky správne,
a aj vtedy budeme musieť tlmiť
ekonomické a politické následky.
Ale vo chvíli, keď pripustíme,
že spracovanie informácií je zdrojom inteligencie,
že nejaký vhodný počítačový systém je to, čo môže byť základom inteligencie,
a keď pripustíme, že budeme tieto systémy neustále zdokonaľovať,
a keď pripustíme, že horizont poznania veľmi pravdepodobne prekročí to,
čo v súčasnosti vieme,
tak si musíme pripustiť,
že sme v procese budovania istého druhu boha.
Teraz by bolo dobré sa uistiť,
že to bude boh, s ktorým budeme môcť žiť.
Ďakujem veľmi pekne.
(potlesk)