Šta će se desiti kad naši kompjuteri postanu pametniji od nas?

Veštačka inteligencija napreduje krupnim koracima. U ovom veku, kažu naučnici, kompjuterska veštačka inteligencija mogla bi biti "pametna" kao čovek. A onda će nas, kaže Nik Bostrom, preteći: "Mašinska inteligencija je poslednji izum koji će čovečanstvo morati da napravi." Filozof i tehnolog, Bostrom nas moli da dobro razmislimo o svetu koji trenutno gradimo i kojim upravljaju misleće mašine. Da li će naše pametne mašine pomoći da se očuva čovečanstvo i naše vrednosti - ili će imati svoje sopstvene vrednosti?

Ja radim sa grupom matematičara,
filozofa i informatičara

i mi, između ostalog, sedimo
i razmišljamo o budućnosti

mašinske inteligencije.

Neki misle da su neke od ovih stvari
kao naučna fantastika,

uvrnute, lude.

Ali ja volim da kažem:

pogledajmo kako izgleda moderni čovek.

(Smeh)

Normalno je da bude ovako.

Ali ako razmislimo,

mi smo, kao ljudska vrsta,
skoro pristigli gosti

na ovoj planeti.

Zamislite da je Zemlja nastala
pre godinu dana.

Ljudska vrsta bi onda
bila stara 10 minuta,

a industrijsko doba je počelo
pre dve sekunde.

Drugi način da predstavimo ovo

jeste da pogledamo svetski BDP
u poslednjih 10.000 godina.

Potrudio sam se
da vam ovo predstavim grafički.

To izgleda ovako.

(Smeh)

U normalnoj situaciji,
to je neobičan oblik.

Sigurno ne bih voleo da sednem na njega.

(Smeh)

Zapitajmo se: šta je razlog
ove savremene anomalije?

Neki bi rekli da je to tehnologija.

Istina je, tehnologija se nagomilala
tokom ljudske istorije,

a sada napreduje ekstremno brzo.

To je neposredan uzrok,

zbog toga smo toliko produktivni.

Ali želeo bih da se vratim unazad
do prvobitnog uzroka.

Pogledajte ova dva cenjena gospodina.

Imamo Kanzija -

on je ovladao sa 200 leksičkih simbola,
što je neverovatan podvig.

A Ed Viten je pokrenuo drugu
revoluciju superstruna.

Ako pogledamo ispod haube,
pronaći ćemo ovo:

u osnovi istu stvar.

Jedna je malo veća

i možda ima par trikova
u načinu na koji je povezana.

Ove nevidljive razlike ne mogu biti
previše komplikovane,

jer je prošlo samo 250.000 generacija

od našeg poslednjeg zajedničkog pretka.

Znamo da komplikovanim mehanizmima
treba mnogo vremena da se razviju.

Tako da skup relativno malih promena

nas od Kanzija dovodi do Vitena,

od slomljenih grana drveća,
do interkontinentalnih raketa.

Onda izgleda prilično očigledno
da sve što smo postigli

i sve što nam je važno

zavisi od nekih relativno malih promena
koje su stvorile ljudski um.

I onda, logično, sve dalje promene

koje značajno menjaju osnovu mišljenja

mogle bi imati potencijalno
ogromne posledice.

Neke moje kolege misle
da se nalazimo nadomak

nečega što bi moglo da prouzrokuje
duboku promenu u toj osnovi,

a to je mašinska superinteligencija.

Veštačka inteligencija je dosad bila
kutija u koju ste ubacivali komande.

Ljudski programeri

su brižljivo brusili kolekcije znanja.

Razvijali su te ekspertske sisteme

i oni su bili korisni za neke namene,

ali su bili vrlo krhki,
niste mogli da ih podešavate.

U suštini, dobijali ste samo
ono što ste već imali ubačeno.

Ali od tada,

desila se promena paradigme
na polju veštačke inteligencije.

Danas se najviše radi na mašinskom učenju.

Ne kreiramo imitacije znanja
i njegove komponente,

već kreiramo algoritme koji uče
iz sirovih opažajnih podataka.

U suštini, isto kao što
to radi novorođenče.

Rezultat je veštačka inteligencija (V.I.)
koja nije ograničena na jednu oblast -

isti sistem može da nauči da prevodi
između bilo koja dva jezika

ili da nauči da igra
bilo koju igricu na Atariju.

Naravno,

V.I. je još uvek daleko od toga
da može kao i ljudi

da uči i planira između
više oblasti istovremeno.

Korteks ima neke algoritamske trikove

koje još uvek ne znamo kako
da postignemo kod mašina.

Tako da, pitanje je:

koliko smo daleko od toga
da to postignemo?

Pre nekoliko godina

anketirali smo neke
vodeće stručnjake za V.I.

da vidimo šta oni misle
i jedno od naših pitanja je bilo:

"Do koje godine mislite
da postoji 50% šanse

da ćemo kod mašina postići
inteligenciju koja je na nivou ljudske?"

Definisali smo "ljudski nivo"
kao sposobnost da se obavi

skoro svaki posao onako kao što
bi to uradila odrasla osoba.

Znači, na pravom ljudskom nivou,
a ne u nekoj ograničenoj oblasti.

I srednji odgovor je bio:
oko 2040. ili 2050,

u zavisnosti od toga koju smo tačno
grupu stručnjaka pitali.

Moglo bi da se desi i mnogo,
mnogo kasnije, ili ranije.

U stvari, niko to ne zna.

Ono što znamo je da se
konačna granica obrade informacija

kod mašina nalazi daleko
izvan granica biološkog tkiva.

Ovo se svodi na fiziku.

Biološki neuron radi, možda,
na 200 herca, 200 puta u sekundi.

Ali čak i današnji tranzistor
radi na jednom gigahercu.

Neuroni se razmnožavaju sporo u aksonima -
najviše 100 m u sekundi.

Ali u kompjuteru, signali mogu
da putuju brzinom svetlosti.

Takođe postoje ograničenja u veličini,

kao što ih ima ljudski mozak
da bi stao u lobanju,

ali kompjuter može biti
veličine skladišta ili veći.

Tako da potencijal superinteligencije
čeka uspavan,

kao što je moć atoma
bila uspavana tokom ljudske istorije,

strpljivo čekajući do 1945.

U ovom veku,

naučnici možda nauče da probude
moć veštačke inteligencije.

I mislim da bismo tada mogli
da vidimo eksploziju inteligencije.

Većina ljudi kad pomisli
šta je pametno, a šta glupo,

mislim da u glavi ima sliku sličnu ovoj.

Na jednom kraju imamo idiota,

a daleko na drugom kraju

imamo Eda Vitena, ili Alberta Ajnštajna,
ili nekog vašeg omiljenog gurua.

Ali s tačke gledišta
veštačke inteligencije,

prava slika više izgleda ovako:

V.i. počinje u ovoj ovde tački,
na nultoj inteligenciji

i onda, posle mnogo, mnogo
godina vrednog rada,

možda konačno stignemo
do veštačke inteligencije na nivou miša,

koja može da se kreće
u zakrčenim prostorima

kao što to može miš.

I zatim, posle još mnogo godina
vrednog rada i mnogo ulaganja,

možda konačno stignemo do nivoa šimpanze,

a posle još više godina vrednog rada,

do nivoa veštačke inteligencije idiota.

A nekoliko trenutaka kasnije,
pretekli smo Eda Vitena.

Voz se neće zaustaviti
kad pretekne ljude,

već će najverovatnije,
samo prošišati pored.

Ovo ima suštinske posledice,

naročito što se tiče pitanja moći.

Na primer, šimpanze su snažne -

šimpanza je oko dva puta
snažnija od čoveka.

Pa ipak, sudbina Kanzija
i njegovih drugara zavisi više

od toga šta mi ljudi radimo,
nego od toga šta šimpanze rade.

Kad se pojavi superinteligencija,

sudbina čovečanstva može zavisiti od toga
šta superinteligencija radi.

Razmislite:

mašinska inteligencija je poslednji izum
koji će čovečanstvo morati da napravi.

Mašine će tada biti bolje
u pronalazaštvu od nas

i to će raditi u digitalnim
vremenskim rokovima.

To u suštini znači skraćivanje budućnosti.

Pomislite na svu neverovatnu tehnologiju
koju možete da zamislite

da bi ljudi mogli da razviju kroz vreme:

lek protiv starenja, kolonizaciju svemira,

samoreplikaciju nanorobota
ili čuvanje umova u kompjuterima,

raznorazne stvari iz naučne fantastike

koje su ipak u skladu sa zakonima fizike.

Sve to bi superinteligencija mogla
da napravi, i to verovatno jako brzo.

Superinteligecija s takvom
tehnološkom zrelošću

bila bi izuzetno moćna

i, barem po nekim scenarijima,
mogla bi da dobije šta hoće.

Onda bismo imali budućnost
koja bi bila oblikovana po želji te V.I.

Sada je pitanje: kakve su te želje?

Ovde nastaje začkoljica.

Da bismo napredovali dalje,

moramo prvo da izbegnemo antropomorfnost.

To je ironično,
jer svaki novinski članak

o budućnosti V.I. zamišlja ovo:

Mislim da bi trebalo da zamislimo
problem apstraktnije,

a ne kao živopisni holivudski scenario.

Moramo da posmatramo inteligenciju
kao proces optimizacije,

proces koji vodi budućnost
u određeni set konfiguracija.

Superinteligencija je vrlo
snažan proces optimizacije.

Izuzetno je dobra u korišćenju
dostupnih sredstava da postigne stanje

u kome je njen cilj ostvaren.

To znači da ne postoji
obavezno veza između:

biti visoko inteligentan u ovom smislu

i imati cilj koji mi ljudi
smatramo važnim ili smislenim.

Pretpostavimo da damo V.I.
zadatak da nasmeje ljude.

Kada je V.I. slaba, ona izvodi
korisne ili zabavne radnje

koje prouzrokuju osmeh kod korisnika.

Kada V.I. postane superinteligentna,

ona shvata da postoji efikasniji način
da postigne taj cilj,

a to je da preuzme kontrolu nad svetom

i prikači elektrode
na mišiće ljudskih lica

da bi proizvela konstantne kezove.

Drugi primer je:

pretpostavimo da V. I. damo zadatak
da reši težak matetematički problem.

Kad V.I. postane superinteligentna,

shvati da je najefikasniji način
za rešenje ovog problema

da transformiše planetu
u džinovski kompjuter,

kako bi uvećala svoj
kapacitet za razmišljanje.

To daje veštačkoj inteligenciji
instrumentalni razlog

da nam radi stvari s kojima se
možda ne slažemo.

Ljudska bića su pretnja u ovom modelu,

mogli bi da budu prepreka
za rešavanje matematičkog problema.

Naravno, stvari neće krenuti loše
baš na ovaj način;

ovo su primeri iz crtanog filma.

Ali ovde je važna poenta:

ako kreirate veoma moćan
proces optimizacije

da se postigne
maksimalan učinak za cilj X,

onda neka vaša definicija X-a

obavezno uključi sve ono
do čega vam je stalo.

Ovo je lekcija kojoj nas takođe
uče i mnogi mitovi.

Kralj Mida poželi da sve što dodirne
bude pretvoreno u zlato.

I tako, dodirne ćerku
i ona se pretvori u zlato.

Dodirne hranu i ona se pretvori u zlato.

To može biti relevantno i u praksi,

ne samo kao metafora za pohlepu,

već i kao ilustracija
za ono što bi se desilo

ako pogrešno kreirate
moćan proces optimizacije

ili loše formulišete ciljeve.

Mogli biste reći: pa ako kompjuter počne
da kači elektrode ljudima na lica,

prosto ćemo ga isključiti.

Pod A: to možda ne bi bilo tako lako,
ako bismo bili zavisni od sistema -

na primer: gde je prekidač
za gašenje interneta?

Pod B: zašto šimpanze nisu isključile
prekidač čovečanstvu,

ili Neandertalci?

Sigurno ima razloga.

Imamo prekidač za gašenje:
na primer, ovde.

(Gušenje)

Razlog je to što smo mi
inteligentan neprijatelj;

možemo predvideti pretnje
i planirati kako da ih izbegnemo.

Ali to može i predstavnik
superinteligencije,

i bio bi mnogo bolji u tome od nas.

Poenta je da ne treba da budemo
tako sigurni da imamo kontrolu ovde.

Mogli bismo da pokušamo
da malo olakšamo posao

tako što ćemo, recimo,
staviti V.I. u kutiju,

kao bezbedno okruženje za softver,

simulaciju virtuelne realnosti
iz koje ona ne može pobeći.

Ali koliko možemo biti sigurni
da V.I. neće naći rupu?

S obzirom da ljudski hakeri
stalno nalaze rupe,

ja ne bih bio tako siguran.

Isključimo eternet kabl
da bismo stvorili vazdušni zid,

ali, kao obični ljudski hakeri,

rutinski preskačemo vazdušne zidove
pomoću socijalnog inženjeringa.

Upravo sada, dok govorim,

siguran sam da negde
postoji neki zaposleni

koga neko nagovara
da mu da podatke o svom računu,

neko ko se predstavlja
da je iz IT sektora.

Ima još mogućih kreativnih scenarija,

kao na primer, ako ste vi V.I.,

možete zamisliti elektrode
u vašem unutrašnjem sistemu

koje stvaraju radio talase
koje možete koristiti za komunikaciju.

Ili možete da se pretvarate
da ste pokvareni

i kada vas programeri otvore
da vide šta nije u redu,

vide izvorni kod

i manipulacija može da se desi.

Ili može da prenese šemu
na pogodan tehnološki uređaj

i kada je sprovedemo,

ima podrivajući efekat
koji je V.I. planirala.

Poenta je da treba da budemo sigurni

da ćemo držati superinteligentnog duha
zaključanog u boci zauvek.

Pre ili kasnije će izaći.

Mislim da je odgovor to da shvatimo

kako da napravimo V.I. tako da,
čak i ako pobegne

budemo bezbedni
jer je suštinski na našoj strani

jer deli naše vrednosti.

Ne vidim drugo rešenje
za ovaj težak problem.

Ali sam optimista da ovaj problem
može da se reši.

Ne bismo morali da pišemo dugu listu
svega onoga do čega nam je stalo

ili, još gore, pišemo to
na nekom kompjuterskom jeziku

kao što je C++ ili Pajton,

što bi bio beznadežan zadatak.

Umesto toga, napravili bismo V.I.
koja koristi svoju inteligenciju

da nauči šta mi vrednujemo

i čiji motivacioni sistem
je konstruisan tako da je motivisan

da sledi naše vrednosti ili obavlja radnje
za koje predviđa da ih mi odobravamo.

Tako bismo iskoristili njenu inteligenciju
što je više moguće

da rešimo problem prenošenja vrednosti.

Ovo može da se desi

i ishod bi bio veoma dobar za čovečanstvo.

Ali to se ne dešava automatski.

Početni uslovi za eksploziju inteligencije

možda treba da budu postavljeni
na tačno određen način

ako želimo da imamo
kontrolisanu detonaciju.

Vrednosti V.I. tribe
da se poklope sa našim,

ne samo u poznatim kontekstima,

gde možemo lako proveriti
kako se V.I. ponaša,

nego i u novim kontekstima
u kojima se V.I. može naći

u neodređenoj budućnosti.

Postoje i neka ezoterična pitanja
koja bi trebalo rešiti:

tačne detalje njene teorije odlučivanja,

kako rešiti logičku nesigurnost itd.

Tako da tehnički problemi koje bi
trebalo rešiti da bi ovo funkcionisalo

izgledaju prilično teški -

ne toliko kao pravljenje
superinteligentne V.I.,

ali prilično teški.

Problem je u sledećem:

napraviti superinteligentnu V.I.
je vrlo težak izazov.

Pravljenje superinteligentne V.I.
koja je bezbedna

uključuje još neke dodatne teškoće.

Postoji rizik da neko otkrije
kako da razbije prvu teškoću,

a da nije razbio i dodatnu teškoću

obezbeđivanja savršene bezbednosti.

Mislim da bi trebalo da nađemo rešenje

za kontrolu problema unapred

da bismo ga imali na raspolaganju
kad dođe vreme.

Ali možda ne možemo da rešimo
ceo problem kontrole unapred,

jer možda neki elementi mogu da se ubace

tek kad znamo detaljnu strukturu
na kojoj bi bilo primenjeno.

Ali što veći deo problema kontrole
rešimo unapred,

to su bolje šanse da će tranzicija
ka dobu mašinske inteligencije

proteći dobro

To mi izgleda kao stvar
koju bi vredelo uraditi

i mogu da zamislim
da ako stvari ispadnu okej,

ljudi će za milion godina
pogledati unazad na ovo doba

i možda će reći da je
ono što je bilo zaista važno

bilo to da smo ovo uradili dobro.

Hvala vam.

(Aplauz)