Pričaću vam o porazu intuicije
od koga mnogi patimo.
Zista je porazno opaziti određenu vrstu opasnosti.
Opisaću vam jedan scenario
za koji mislim da je i zastrašujuć
i koji se realno može dogoditi,
a to, kako se čini,
nije dobra kombinacija.
A opet umesto da se uplaše, mnogi od vas će misliti
da je ono o čemu pričam nešto kul.
Opisaću vam kako bi napredak koji pravimo
u veštačkoj inteligenciji
mogao na kraju da nas uništi.
Zapravo, mislim da je jako teško zamisliti kako nas neće uništiti,
ili navesti da se samouništimo.
A opet ako ste imalo kao ja,
shvatićete da je zabavno razmišljati o ovim stvarima.
I taj odgovor je deo ovog problema.
OK? Taj odgovor treba da vas brine.
Kad bih vas u ovom govoru ubedio
da ćemo vrlo verovatno globalno gladovati,
bilo zbog klimatskih promena ili neke druge katastrofe,
i da će vaši unuci, ili njihovi unuci,
vrlo verovatno živeti ovako,
ne biste mislili:
"Zanimljivo.
Dobar ovaj TED Talk."
Glad nije zabavna.
Smrt u naučnoj fantastici, sa druge strane, jeste zabavna,
i nešto što me najviše brine u ovom trenutku u vezi sa razvojem VI
je što izgleda da ne možemo da pružimo odgovarajući emocionalni odgovor
na opasnosti koje dolaze.
Ni ja ne mogu da pružim ovaj odgovor, a držim ovaj govor.
To je kao da stojimo ispred dvoja vrata.
Iza vrata broj jedan,
zaustavljamo napredak u pravljenju inteligentnih mašina.
Kompjuterski hardver i softver prosto prestaju da budu bolji iz nekog razloga.
Sada na trenutak razmislite zašto bi se ovo moglo desiti.
Mislim, s obzirom koliku vrednost imaju inteligencija i automatizacija,
nastavićemo da unapređujemo tehnologiju ako smo uopšte kadri za to.
Šta bi nas moglo sprečiti u tome?
Svetski nuklearni rat?
Globalna pandemija?
Pad asteroida?
Ako Džastin Biber postane predsednik Amerike?
(Smeh)
Poenta je u tome, da bi nešto moralo da uništi civilizaciju ovakvu kakva je.
Morate zamisliti kako bi zaista loše moralo biti to
što bi nas trajno sprečilo da unapređujemo,
tehnologiju,
generaciju za generacijom.
Skoro po definiciji, ovo je najgora stvar
koja se ikada desila u ljudskoj istoriji.
Pa je jedina alternativa,
a ovo se nalazi iza vrata broj dva,
da nastavimo da unapređujemo naše inteligentne mašine
bez prestanka.
U jednom trenutku, napravićemo mašine koje su pametnije od nas,
i tad kad budemo imali mašine koje su pametnije od nas,
one će same početi da se razvijaju.
I onda rizikujemo ono što je matematičar I.Dž. Gud nazvao
"eksplozija inteligencije",
da proces može da nam pobegne.
E, sad, ovo se često karikira, kao što ću i ja uraditi,
kao strah od napada armije
zlih robota.
Ali to nije najverovatniji scenario.
Nije kao da će naše mašine spontano postati zle.
Brine nas, zapravo, da ćemo mi napraviti mašine
koje su mnogo, mnogo kompetentnije od nas,
brinemo da će nas uništiti i najmanja razlika između
naših i njihovih ciljeva.
Zamislite kakvi smo mi prema mravima.
Ne mrzimo ih.
Ne povređujemo ih namerno.
Zapravo, ponekad se trudimo se da ih ne povredimo.
Preskačemo ih na trotoaru.
Ali kada god njihovo prisustvo
ozbiljno ugrozi neke naše ciljeve,
recimo kada konstruišemo neku zgradu poput ove,
bez po muke ih istrebimo.
Brine nas da ćemo jednog dana napraviti mašine
koje će, bilo da su svesne ili ne,
nas tretirati na isti način.
E, sad, cenim da većini vas ovo zvuči kao daleka budućnost.
Kladim se da ima onih koji ne veruju da je superinteligentna VI moguća,
a kamoli neizbežna.
Ali onda morate naći neku grešku u sledećim pretpostavkama.
A samo ih je tri.
Inteligencija je stvar obrade informacija u fizičkim sistemima.
U stvari, ovo je malo više od neke pretpostavke.
Već smo ugradili specifičnu inteligenciju u naše mašine,
i mnoge od ovih mašina već
imaju performanse na nivou superljudske inteligencije.
I znamo da sama materija
može da omogući takozvanu "uopštenu inteligenciju",
sposobnost da se fleksibilno razmišlja u različitim domenima,
jer to može i naš mozak. Je l' tako?
Mislim, ovde postoje samo atomi,
i sve dok mi nastavljamo da gradimo sisteme atoma
koji su sve inteligentniji i inteligentniji,
mi ćemo na kraju, osim ako nas prekinu,
mi ćemo na kraju ugraditi uopštenu inteligenciju
u naše mašine.
Od suštinske je važnosti da shvatimo da stopa napretka nije važna,
jer bilo kakav napredak je dovoljan da nas dovede do cilja.
Ne treba nam Murov zakon. Ne treba nam eksponencijalni napredak.
Samo treba da nastavimo dalje.
Druga pretpostavka je da ćemo nastaviti dalje.
Nastavićemo da poboljšavamo naše inteligentne mašine.
I uz postojeću vrednost inteligencije -
mislim, inteligencija je ili izvor svega što je vredno
ili nam treba da sačuvamo sve ono što nam je vredno.
To je naš najvredniji resurs.
I zato želimo da uradimo ovo.
Imamo probleme koje očajnički moramo da rešimo.
Želimo da izlečimo bolesti poput Alchajmera i raka.
Želimo da shvatimo ekonomske sisteme. Želimo da poboljšamo nauku o klimi.
Tako da, ako možemo, to ćemo i uraditi.
Voz je već napustio stanicu, i nema kočnice.
Konačno, mi ne stojimo na vrhuncu inteligencije,
a verovatno ni blizu toga.
I ovo je zaista suštinski uvid.
Zbog ovoga je naša situacija tako nepouzdana,
i zbog toga je naša intuicija o riziku tako nepouzdana.
E, sad, samo razmislite o najpametnijoj osobi ikada.
Na skoro svačijem užem spisku ovde je Džon fon Nojman.
Mislim, utisak koji je Nojman ostavio na ljude oko sebe,
uključujući tu najveće matematičare i fizičare tog vremena,
je prilično dobro dokumentovan.
I ako je samo pola onih priča o njemu polutačna,
nema dileme da je on
jedan od najpametnijih ljudi koji su ikada živeli.
Samo zamislite opseg inteligencije.
Ovde imamo Džona fon Nojmana.
Onda smo tu vi i ja.
I onda imamo neko pile.
(Smeh)
Pardon, neko pile.
(Smeh)
Nema potrebe da idem dalje u dubiozu u ovom govoru nego što treba.
(Smeh)
Međutim, čini se da je više nego verovatno da se spektar inteligencije
proteže mnogo više nego što trenutno možemo da shvatimo,
i ako napravimo mašine koje su mnogo inteligentnije od nas,
one će skoro sigurno istražiti ovaj spektar
onako kako to ne možemo ni zamisliti,
i preteći nas na načine koje ne možemo ni zamisliti.
I važno je shvatiti da je ovo moguće samo putem brzine.
U redu? Zamislite samo da napravimo jednu superinteligentnu VI
koja nije ništa pametnija od vašeg prosečnog tima istraživača
na Stanfordu ili MIT-u.
Pa, električna kola funkcionišu oko milion puta brže
od biohemijskih,
tako da bi ove mašine razmišljale oko milion puta brže
od umova koje su ih sastavile.
Pustite ih da rade nedelju dana,
i izvešće 20.000 godina ljudskog intelektualnog rada,
nedelju za nedeljom.
Kako čak možemo i razumeti, a kamoli ograničiti
um koji bi mogao ovo da uradi?
Iskreno, ono drugo što je zabrinjavajuće
je da, zamislite najbolji mogući scenario.
Zamislite da nabasamo na neki dizajn superinteligentne VI
čija nas sigurnost ne brine.
Po prvi put imamo savršeni dizajn.
To je kao da nam je dato proročanstvo
koje se odvija baš kako je zapisano.
Ta mašina bi bila savršeni uređaj za uštedu radne snage.
Dizajnirala bi mašinu koja može napraviti mašine
za bilo kakav fizički posao,
a koje bi napajalo sunce,
manje-više po ceni sirovina.
Pričamo o kraju teškog ljudskog rada.
Takođe pričamo o kraju većeg dela intelektualnog rada.
Pa šta će onda majmuni poput nas da rade u takvim okolnostima?
Pa, imali bismo vremena za frizbi i da masiramo jedni druga.
Dodajmo malo LSD-a i neke diskutabilne garderobe,
i ceo svet bi mogao biti poput festivala Burning Man.
(Smeh)
E, sad, to možda zvuči kao dobra ideja,
ali zapitajte se šta bi se desilo
pod našim trenutnim ekonomskim i političkim poretkom?
Čini se verovatnim da bismo bili svedoci
određenog nivoa novčane nejednakosti i nezaposlenosti
koji ranije nismo viđali.
Uz odsustvo volje da se odmah ovo novo bogatstvo stavi
na raspolaganje čovečanstvu,
nekoliko bilionera bi poziralo na omotima biznis magazina
dok bi ostatak sveta slobodno mogao umreti od gladi.
I šta bi radili Rusi ili Kinezi
kada bi čuli da tamo neka firma iz Silicijumske doline
treba da izbaci superinteligentnu VI?
Ova mašina bi bila sposobna da vodi rat,
bilo klasični, bilo sajber rat,
nadmoćna bez presedana.
Ovo je scenario pobednik nosi sve.
Biti šest meseci ispred konkurencije ovde
je isto biti 500 000 godina ispred,
u najmanju ruku.
Tako se čini da bi čak i samo glasina o proboju ovog tipa
izazvala ludnicu među ljudima.
I, sad, jedna od najstarašnijih stvari,
prema mom mišljenju, trenutno,
su one stvari koje istraživači VI kažu
kada žele da vas ohrabre.
I najuobičajeniji razlog zbog koga nam kažu da ne brinemo jeste vreme.
Sve je to daleko, znate.
To je verovatno 50 ili 100 godina daleko.
Jedan istraživač je rekao:
"Briga o bezbednosti VI
je kao briga o prenaseljenosti Marsa."
Ovo je kao kada vam iz Silicijumske doline kažu:
"Nemojte vi zamarati vaše glavice time."
(Smeh)
Izgleda da niko ne primećuje
da je odnos prema vremenu
potpuni non sequitur.
Ako je inteligencija samo stvar procesuiranja informacija,
i mi nastavimo da poboljšavamo mašine,
proizvešćemo neki oblik superinteligencije.
I nemamo pojma koliko će nam trebati vremena
da stvorimo uslove da to uradimo bezbedno.
Dozvolite mi da ponovim.
Nemamo pojma koliko vremena će nam trebati
da stvorimo uslove da to uradimo bezbedno.
Ako niste primetili, 50 godina nije kao što je bilo ranije.
Ovo je 50 godina u mesecima.
Ovoliko dugo već imamo iPhone.
Ovoliko se već prikazuju "Simpsonovi".
Pedeset godina nije mnogo vremena
da se ostvari jedan od najvećih izazova naše vrste.
Još jedanput, izgleda da nam nedostaje odgovarajući emocionalni odgovor
na ono na šta imamo svako pravo da verujemo da dolazi.
Kompjuterski naučnik Stjuart Rasel ima lepu analogiju za ovo.
On kaže, zamislite da smo primili neku poruku od vanzemaljaca,
u kojoj stoji:
"Zemljani,
stižemo na vašu planetu za 50 godina.
Spremite se."
I mi ćemo samo da odbrojavamo mesece dok se njihov brod ne spusti?
Osetili bismo malo više straha nego obično.
Drugo zbog čega kažu da ne brinemo
je da ove mašine ne mogu drugačije nego da dele naše vrednosti
zato što će one bukvalno biti produžeci nas samih.
One će biti nakalamljene na naš mozak
i mi ćemo suštinski postati limbički sistem.
Sad na trenutak razmislite
da je najbezbednija i jedina razborita i preporučena,
putanja napred,
da ovu tehnologiju implementiramo direktno u naš mozak.
Sad, ovo može biti najbezbednija i jedina razborita putanja napred,
ali obično se bezbednost neke tehnologije
mora baš dobro razmotriti pre nego što vam se zabode u mozak.
(Smeh)
Veći problem je što pravljenje superinteligentne VI same od sebe
izgleda lakše
od pravljenja superinteligentne VI
i kompletiranja neuronauke
koja nam omogućava da integrišemo naše umove sa njom.
I ako imamo to da kompanije i vlade rade ovaj posao,
one će verovatno to shvatiti kao da se takmiče protiv svih drugih,
jer pobediti u ovoj trci znači osvojiti svet,
uz uslov da ga sledećeg trenutka ne uništite,
a onda će verovatno prvo biti urađeno
ono što je najlakše.
E, sad, nažalost, ja nemam rešenje za ovaj problem,
osim toga da preporučim da više nas promisli o tome.
Smatram da nam je potrebno nešto poput Projekta Menhetn
na temu veštačke inteligencije.
Ne da bismo je izgradili, jer mislim da je to neizbežno,
već da razumemo kako da izbegnemo trku naoružanja
i da je napravimo na način koji je u skladu sa našim interesima.
Kada se razgovara o superinteligentnoj VI
koja sama sebe može da menja,
čini se da imamo samo jednu šansu da početne uslove postavimo kako treba,
a čak i onda ćemo morati da prihvatimo
ekonomske i političke posledice pravilne upotrebe.
Ali trenutak kada priznamo
da je obrada informacija izvor inteligencije,
da je neki odgovarajući računarski sistem osnova onoga što je inteligencija,
i prihvatimo da ćemo stalno unapređivati ove sisteme,
i prihvatimo da će horizont shvatanja vrlo verovatno daleko nadmašiti
ono što trenutno znamo,
onda moramo da prihvatimo
da smo u procesu pravljenja neke vrste božanstva.
Sada bi bilo dobro vreme
da se postaramo da je to božanstvo sa kojim bismo mogli živeti.
Hvala vam mnogo.
(Aplauz)