0:00:00.570,0:00:04.777
Ja radim sa grupom matematičara,[br]filozofa i informatičara

0:00:04.777,0:00:09.986
i mi, između ostalog, sedimo[br]i razmišljamo o budućnosti

0:00:09.986,0:00:12.030
mašinske inteligencije.

0:00:12.030,0:00:16.755
Neki misle da su neke od ovih stvari[br]kao naučna fantastika,

0:00:16.755,0:00:19.856
uvrnute, lude.

0:00:19.856,0:00:21.326
Ali ja volim da kažem:

0:00:21.326,0:00:24.930
pogledajmo kako izgleda moderni čovek.

0:00:24.930,0:00:26.622
(Smeh)

0:00:26.622,0:00:29.024
Normalno je da bude ovako.

0:00:29.024,0:00:31.309
Ali ako razmislimo,

0:00:31.309,0:00:34.602
mi smo, kao ljudska vrsta,[br]skoro pristigli gosti

0:00:34.602,0:00:36.684
na ovoj planeti.

0:00:36.684,0:00:41.430
Zamislite da je Zemlja nastala[br]pre godinu dana.

0:00:41.430,0:00:44.978
Ljudska vrsta bi onda[br]bila stara 10 minuta,

0:00:44.978,0:00:48.146
a industrijsko doba je počelo[br]pre dve sekunde.

0:00:49.276,0:00:51.501
Drugi način da predstavimo ovo

0:00:51.501,0:00:54.501
jeste da pogledamo svetski BDP[br]u poslednjih 10.000 godina.

0:00:54.501,0:00:57.530
Imao sam poteškoća[br]da vam ovo predstavim grafički.

0:00:57.530,0:00:59.304
To izgleda ovako.

0:00:59.304,0:01:00.667
(Smeh)

0:01:00.667,0:01:02.818
U normalnoj situaciji,[br]to je neobičan oblik.

0:01:02.818,0:01:05.316
Sigurno ne bih voleo[br]da sednem na njega.

0:01:05.316,0:01:07.067
(Smeh)

0:01:07.067,0:01:11.841
Zapitajmo se: šta je razlog[br]ove savremene anomalije?

0:01:11.841,0:01:14.393
Neki bi rekli da je to tehnologija.

0:01:14.393,0:01:19.061
Istina je, tehnologija se nagomilala[br]tokom ljudske istorije,

0:01:19.061,0:01:23.713
a sada napreduje ekstremno brzo.

0:01:23.713,0:01:25.278
To je neposredan uzrok,

0:01:25.278,0:01:27.843
zbog toga smo toliko produktivni.

0:01:28.473,0:01:32.134
Ali želeo bih da se vratim unazad[br]do prvobitnog uzroka.

0:01:33.114,0:01:36.880
Pogledajte ova dva cenjena gospodina.

0:01:36.880,0:01:38.480
Imamo Kanzija -

0:01:38.480,0:01:43.123
on je ovladao sa 200 leksičkih simbola,[br]što je neverovatan podvig.

0:01:43.123,0:01:46.817
A Ed Viten je pokrenuo drugu[br]revoluciju superstruna.

0:01:46.817,0:01:49.141
Ako pogledamo ispod haube,[br]pronaći ćemo ovo:

0:01:49.141,0:01:50.711
u osnovi istu stvar.

0:01:50.711,0:01:52.524
Jedna je malo veća

0:01:52.524,0:01:55.282
i možda ima par trikova[br]u načinu na koji je povezana.

0:01:55.282,0:01:59.094
Ove nevidljive razlike ne mogu biti[br]previše komplikovane,

0:01:59.094,0:02:03.379
jer je prošlo samo 250.000 generacija

0:02:03.379,0:02:05.111
od našeg poslednjeg zajedničkog predaka.

0:02:05.111,0:02:08.960
Znamo da komplikovanim mehanizmima[br]treba mnogo vremena da se razviju.

0:02:10.000,0:02:12.499
Tako da skup relativno malih promena

0:02:12.499,0:02:15.566
nas od Kanzija dovodi do Vitena,

0:02:15.566,0:02:20.109
od slomljenih grana drveća,[br]do interkontinentalnih raketa.

0:02:20.839,0:02:24.774
Onda izgleda prilično očigledno[br]da sve što smo postigli

0:02:24.774,0:02:26.152
i sve što nam je važno

0:02:26.152,0:02:31.380
zavisi od nekih relativno malih promena[br]koje su stvorile ljudski um.

0:02:32.650,0:02:36.312
I onda, logično, sve dalje promene

0:02:36.312,0:02:39.789
koje značajno menjaju osnovu mišljenja

0:02:39.789,0:02:42.991
mogle bi imati potencijalno[br]ogromne posledice.

0:02:44.321,0:02:47.226
Neke moje kolege misle[br]da se nalazimo nadomak

0:02:47.226,0:02:51.134
nečega što bi moglo da prouzrokuje[br]duboku promenu u toj osnovi,

0:02:51.134,0:02:54.347
a to je mašinska superinteligencija.

0:02:54.347,0:02:59.086
Veštačka inteligencija je dosad bila[br]kutija u koju ste ubacivali komande.

0:02:59.086,0:03:00.751
Ljudski programeri

0:03:00.751,0:03:03.886
su brižljivo brusili kolekcije znanja.

0:03:03.886,0:03:05.972
Razvijali su te ekspertske sisteme

0:03:05.972,0:03:08.296
i oni su bili korisni za neke namene,

0:03:08.296,0:03:10.977
ali su bili vrlo krhki,[br]niste mogli da ih podešavate.

0:03:10.977,0:03:14.410
U suštini, dobijali ste samo[br]ono što ste već imali ubačeno.

0:03:14.410,0:03:15.407
Ali od tada,

0:03:15.407,0:03:18.874
desila se promena paradigme[br]na polju veštačke inteligencije.

0:03:18.874,0:03:21.644
Danas se najviše radi na mašinskom učenju.

0:03:22.394,0:03:27.781
Ne kreiramo imitacije znanja[br]i njegove komponente,

0:03:28.511,0:03:34.065
već kreiramo algoritme koji uče[br]iz sirovih opažajnih podataka.

0:03:34.065,0:03:39.063
U suštini, isto kao što[br]to radi novorođenče.

0:03:39.063,0:03:43.270
Rezultat je veštačka inteligencija (V.I.)[br]koja nije ograničena na jednu oblast -

0:03:43.270,0:03:47.901
isti sistem može da nauči da prevodi[br]između bilo koja dva jezika

0:03:47.901,0:03:53.338
ili da nauči da igra[br]bilo koju igricu na Atariju.

0:03:53.338,0:03:55.117
Naravno,

0:03:55.117,0:03:59.116
V.I. je još uvek daleko od toga[br]da može kao i ljudi

0:03:59.116,0:04:02.335
da uči i planira između[br]više oblasti istovremeno.

0:04:02.335,0:04:04.461
Korteks ima neke algoritamske trikove

0:04:04.461,0:04:07.146
koje još uvek ne znamo kako[br]da postignemo kod mašina.

0:04:07.886,0:04:09.785
Tako da, pitanje je:

0:04:09.785,0:04:13.285
koliko smo daleko od toga[br]da to postignemo?

0:04:14.245,0:04:15.328
Pre nekoliko godina

0:04:15.328,0:04:18.216
anketirali smo neke[br]vodeće stručnjake za V.I.

0:04:18.216,0:04:21.440
da vidimo šta oni misle[br]i jedno od naših pitanja je bilo:

0:04:21.440,0:04:24.793
"Do koje godine mislite[br]da postoji 50% šanse

0:04:24.793,0:04:28.275
da ćemo kod mašina postići[br]inteligenciju koja je na nivou ljudske?"

0:04:28.785,0:04:32.968
Definisali smo "ljudski nivo"[br]kao sposobnost da se obavi

0:04:32.968,0:04:35.839
skoro svaki posao onako kao što[br]bi to uradila odrasla osoba.

0:04:35.839,0:04:39.844
Znači, na pravom ljudskom nivou,[br]a ne u nekoj ograničenoj oblasti.

0:04:39.844,0:04:43.494
I srednji odgovor je bio:[br]oko 2040. ili 2050,

0:04:43.494,0:04:46.300
u zavisnosti od toga koju smo tačno[br]grupu stručnjaka pitali.

0:04:46.300,0:04:50.339
Moglo bi da se desi i mnogo,[br]mnogo kasnije, ili ranije.

0:04:50.339,0:04:52.279
U stvari, niko to ne zna.

0:04:53.259,0:04:57.671
Ono što znamo je da se[br]konačna granica obrade informacija

0:04:57.671,0:05:02.542
kod mašina nalazi daleko[br]izvan granica biološkog tkiva.

0:05:03.241,0:05:05.619
Ovo se svodi na fiziku.

0:05:05.619,0:05:10.337
Biološki neuron radi, možda,[br]na 200 herca, 200 puta u sekundi.

0:05:10.337,0:05:13.931
Ali čak i današnji tranzistor[br]radi na jednom gigahercu.

0:05:13.931,0:05:19.228
Neuroni se razmnožavaju sporo u aksonima -[br]najviše 100 m u sekundi.

0:05:19.228,0:05:22.339
Ali u kompjuteru, signali mogu[br]da putuju brzinom svetlosti.

0:05:23.079,0:05:24.948
Takođe postoje ograničenja u veličini,

0:05:24.948,0:05:27.975
kao što ih ima ljudski mozak[br]da bi stao u lobanju,

0:05:27.975,0:05:32.736
ali kompjuter može biti[br]veličine skladišta ili veći.

0:05:32.736,0:05:38.335
Tako da potencijal superinteligencije[br]čeka uspavan,

0:05:38.335,0:05:44.047
kao što je moć atoma[br]bila uspavana tokom ljudske istorije,

0:05:44.047,0:05:48.452
strpljivo čekajući do 1945.

0:05:48.452,0:05:49.700
U ovom veku,

0:05:49.700,0:05:53.818
naučnici možda nauče da probude[br]moć veštačke inteligencije.

0:05:53.818,0:05:57.826
I mislim da bismo tada mogli[br]da vidimo eksploziju inteligencije.

0:05:58.406,0:06:02.363
Većina ljudi kad pomisli[br]šta je pametno, a šta glupo,

0:06:02.363,0:06:05.386
mislim da u glavi ima sliku sličnu ovoj.

0:06:05.386,0:06:07.984
Na jednom kraju imamo idiota,

0:06:07.984,0:06:10.467
a daleko na drugom kraju

0:06:10.467,0:06:15.223
imamo Eda Vitena, ili Alberta Ajnštajna,[br]ili nekog vašeg omiljenog gurua.

0:06:15.223,0:06:19.057
Ali s tačke gledišta[br]veštačke inteligencije,

0:06:19.057,0:06:22.738
prava slika više izgleda ovako:

0:06:23.258,0:06:26.636
V.i. počinje u ovoj ovde tački,[br]na nultoj inteligenciji

0:06:26.636,0:06:29.647
i onda, posle mnogo, mnogo[br]godina vrednog rada,

0:06:29.647,0:06:33.491
možda konačno stignemo[br]do veštačke inteligencije na nivou miša,

0:06:33.491,0:06:35.921
koja može da se kreće[br]u zakrčenim prostorima

0:06:35.921,0:06:37.908
kao što to može miš.

0:06:37.908,0:06:42.221
I zatim, posle još mnogo godina[br]vrednog rada i mnogo ulaganja,

0:06:42.221,0:06:46.860
možda konačno stignemo do nivoa šimpanze,

0:06:46.860,0:06:50.070
a posle još više godina vrednog rada,

0:06:50.070,0:06:52.983
do nivoa veštačke inteligencije idiota.

0:06:52.983,0:06:56.255
A nekoliko trenutaka kasnije,[br]pretekli smo Eda Vitena.

0:06:56.255,0:06:59.225
Voz se neće zaustaviti[br]kad pretekne ljude,

0:06:59.225,0:07:02.247
već će najverovatnije,[br]samo prošišati pored.

0:07:02.247,0:07:04.231
Ovo ima suštinske posledice,

0:07:04.231,0:07:08.093
naročito što se tiče pitanja moći.

0:07:08.093,0:07:09.992
Na primer, šimpanze su snažne -

0:07:09.992,0:07:15.214
šimpanza je oko dva puta[br]snažnija od čoveka.

0:07:15.214,0:07:19.828
Pa ipak, sudbina Kanzija[br]i njegovih drugara zavisi više

0:07:19.828,0:07:23.968
od toga šta mi ljudi radimo,[br]nego od toga šta šimpanze rade.

0:07:25.228,0:07:27.542
Kad se pojavi superinteligencija,

0:07:27.542,0:07:31.381
sudbina čovečanstva može zavisiti od toga[br]šta superinteligencija radi.

0:07:32.451,0:07:33.508
Razmislite:

0:07:33.508,0:07:38.552
mašinska inteligencija je poslednji izum[br]koji će čovečanstvo morati da napravi.

0:07:38.552,0:07:41.525
Mašine će tada biti bolje[br]u pronalazaštvu od nas

0:07:41.525,0:07:44.065
i to će raditi u digitalnim[br]vremenskim rokovima.

0:07:44.065,0:07:48.966
To u suštini znači skraćivanje budućnosti.

0:07:48.966,0:07:52.524
Pomislite na svu neverovatnu tehnologiju[br]koju možete da zamislite

0:07:52.524,0:07:55.322
da bi ljudi mogli da razviju kroz vreme:

0:07:55.322,0:07:58.580
lek protiv starenja, kolonizaciju svemira,

0:07:58.580,0:08:02.311
samoreplikaciju nanorobota[br]ili čuvanje umova u kompjuterima,

0:08:02.311,0:08:04.470
raznorazne stvari iz naučne fantastike

0:08:04.470,0:08:07.207
koje su ipak u skladu sa zakonima fizike.

0:08:07.207,0:08:11.419
Sve to bi superinteligencija mogla[br]da napravi, i to verovatno jako brzo.

0:08:12.449,0:08:16.007
Superinteligecija s takvom[br]tehnološkom zrelošću

0:08:16.007,0:08:18.186
bila bi izuzetno moćna

0:08:18.186,0:08:22.732
i, barem po nekim scenarijima,[br]mogla bi da dobije šta hoće.

0:08:22.732,0:08:28.393
Onda bismo imali budućnost[br]koja bi bila oblikovana po želji te V.I.

0:08:29.855,0:08:33.604
Sada je pitanje: kakve su te želje?

0:08:34.244,0:08:36.013
Ovde nastaje začkoljica.

0:08:36.013,0:08:37.448
Da bismo napredovali dalje,

0:08:37.448,0:08:40.724
moramo prvo da izbegnemo antropomorfnost.

0:08:41.934,0:08:45.235
To je ironično,[br]jer svaki novinski članak

0:08:45.235,0:08:49.090
o budućnosti V.I. zamišlja ovo:

0:08:50.280,0:08:54.414
Mislim da bi trebalo da zamislimo[br]problem apstraktnije,

0:08:54.414,0:08:57.204
a ne kao živopisni holivudski scenario.

0:08:57.204,0:09:00.821
Moramo da posmatramo inteligenciju[br]kao proces optimizacije,

0:09:00.821,0:09:06.470
proces koji vodi budućnost[br]u određeni set konfiguracija.

0:09:06.470,0:09:09.981
Superinteligencija je vrlo[br]snažan proces optimizacije.

0:09:09.981,0:09:14.098
Izuzetno je dobra u korišćenju[br]dostupnih sredstava da postigne stanje

0:09:14.098,0:09:16.007
u kome je njen cilj ostvaren.

0:09:16.447,0:09:19.119
To znači da ne postoji[br]obavezno veza između:

0:09:19.119,0:09:21.853
biti visoko inteligentan u ovom smislu

0:09:21.853,0:09:26.515
i imati cilj koji mi ljudi[br]smatramo važnim ili smislenim.

0:09:27.321,0:09:31.115
Pretpostavimo da damo V.I.[br]zadatak da nasmeje ljude.

0:09:31.115,0:09:34.097
Kada je V.I. slaba, ona izvodi[br]korisne ili zabavne radnje

0:09:34.097,0:09:36.614
koje prouzrokuju osmeh kod korisnika.

0:09:36.614,0:09:39.031
Kada V.I. postane superinteligentna,

0:09:39.031,0:09:42.554
ona shvata da postoji efikasniji način[br]da postigne taj cilj,

0:09:42.554,0:09:44.476
a to je da preuzme kontrolu nad svetom

0:09:44.476,0:09:47.638
i prikači elektrode[br]na mišiće ljudskih lica

0:09:47.638,0:09:50.579
da bi proizvela konstantne kezove.

0:09:50.579,0:09:51.614
Drugi primer je:

0:09:51.614,0:09:54.997
pretpostavimo da V. I. damo zadatak[br]da reši težak matetematički problem.

0:09:54.997,0:09:56.934
Kad V.I. postane superinteligentna,

0:09:56.934,0:10:01.105
shvati da je najefikasniji način[br]za rešenje ovog problema

0:10:01.105,0:10:04.035
da transformiše planetu[br]u džinovski kompjuter,

0:10:04.035,0:10:06.281
kako bi uvećala svoj[br]kapacitet za razmišljanje.

0:10:06.281,0:10:09.205
To daje veštačkoj inteligenciji[br]instrumentalni razlog

0:10:09.205,0:10:11.561
da nam radi stvari s kojima se[br]možda ne slažemo.

0:10:11.561,0:10:13.496
Ljudska bića su pretnja u ovom modelu,

0:10:13.496,0:10:16.417
mogli bi da budu prepreka[br]za rešavanje matematičkog problema.

0:10:17.207,0:10:20.701
Naravno, stvari neće krenuti loše[br]baš na ovaj način;

0:10:20.701,0:10:22.454
ovo su primeri iz crtanog filma.

0:10:22.454,0:10:24.393
Ali ovde je važna poenta:

0:10:24.393,0:10:27.266
ako kreirate veoma moćan[br]proces optimizacije

0:10:27.266,0:10:29.500
da se postigne[br]maksimalan učinak za cilj X,

0:10:29.500,0:10:31.776
onda neka vaša definicija X-a

0:10:31.776,0:10:34.245
obavezno uključi sve ono[br]do čega vam je stalo.

0:10:34.835,0:10:39.219
Ovo je lekcija kojoj nas takođe[br]uči i jedan mit.

0:10:39.219,0:10:44.517
Kralj Mida poželi da sve što dodirne[br]bude pretvoreno u zlato.

0:10:44.517,0:10:47.378
I tako, dodirne ćerku[br]i ona se pretvori u zlato.

0:10:47.378,0:10:49.931
Dodirne hranu i ona se pretvori u zlato.

0:10:49.931,0:10:52.520
To može biti relevantno i u praksi,

0:10:52.520,0:10:54.630
ne samo kao metafora za pohlepu,

0:10:54.630,0:10:56.845
već i kao ilustracija[br]za ono što bi se desilo

0:10:56.845,0:10:59.322
ako pogrešno kreirate[br]moćan proces optimizacije

0:10:59.322,0:11:04.111
ili loše formulišete ciljeve.

0:11:04.111,0:11:09.300
Mogli biste reći: pa ako kompjuter počne[br]da kači elektrode ljudima na lica,

0:11:09.300,0:11:11.565
prosto ćemo ga isključiti.

0:11:12.555,0:11:17.895
Pod A: to možda ne bi bilo tako lako,[br]ako bismo bili zavisni od sistema -

0:11:17.895,0:11:20.627
na primer: gde je prekidač[br]za gašenje interneta?

0:11:20.627,0:11:25.747
Pod B: zašto šimpanze nisu isključile[br]prekidač čovečanstvu,

0:11:25.747,0:11:27.298
ili Neandertalci?

0:11:27.298,0:11:29.964
Sigurno ima razloga.

0:11:29.964,0:11:32.759
Imamo prekidač za gašenje:[br]na primer, ovde.

0:11:32.759,0:11:34.313
(Gušenje)

0:11:34.313,0:11:37.038
Razlog je to što smo mi[br]inteligentan neprijatelj;

0:11:37.038,0:11:39.966
možemo predvideti pretnje[br]i planirati kako da ih izbegnemo.

0:11:39.966,0:11:42.470
Ali to može i predstavnik[br]superinteligencije,

0:11:42.470,0:11:45.724
i bio bi mnogo bolji u tome od nas.

0:11:45.724,0:11:52.911
Poenta je da ne treba da budemo[br]tako sigurni da imamo kontrolu ovde.

0:11:52.911,0:11:55.748
Mogli bismo da pokušamo[br]da malo olakšamo posao

0:11:55.748,0:11:58.048
tako što ćemo, recimo,[br]staviti V.I. u kutiju,

0:11:58.048,0:11:59.744
kao bezbedno okruženje za softver,

0:11:59.744,0:12:02.766
simulaciju virtuelne realnosti[br]iz koje ona ne može pobeći.

0:12:02.766,0:12:06.912
Ali koliko možemo biti sigurni[br]da V.I. neće naći rupu?

0:12:06.912,0:12:10.081
S obzirom da ljudski hakeri[br]stalno nalaze rupe,

0:12:10.081,0:12:13.117
ja ne bih bio tako siguran.

0:12:14.237,0:12:18.785
Isključimo eternet kabl[br]da bismo stvorili vazdušni zid,

0:12:18.785,0:12:21.453
ali, kao obični ljudski hakeri,

0:12:21.453,0:12:24.834
rutinski preskačemo vazdušne zidove[br]pomoću socijalnog inženjeringa.

0:12:24.834,0:12:26.093
Upravo sada, dok govorim,

0:12:26.093,0:12:28.482
siguran sam da negde[br]postoji neki zaposleni

0:12:28.482,0:12:31.828
koga neko nagovara[br]da mu da podatke o svom računu,

0:12:31.828,0:12:34.574
neko ko se predstavlja[br]da je iz IT sektora.

0:12:34.574,0:12:36.701
Ima još mogućih kreativnih scenarija,

0:12:36.701,0:12:38.596
kao na primer,[br]ako ste vi V.I.,

0:12:38.596,0:12:41.548
možete zamisliti elektrode[br]u vašem unutrašnjem sistemu

0:12:41.548,0:12:45.010
koje stvaraju radio talase[br]koje možete koristiti za komunikaciju.

0:12:45.010,0:12:47.434
Ili možete da se pretvarate[br]da ste pokvareni

0:12:47.434,0:12:50.931
i kada vas programeri otvore[br]da vide šta nije u redu,

0:12:50.931,0:12:52.867
vide izvorni kod

0:12:52.867,0:12:55.314
i manipulacija može da se desi.

0:12:55.314,0:12:58.744
Ili može da prenese šemu[br]na pogodan tehnološki uređaj

0:12:58.744,0:13:00.142
i kada je sprovedemo,

0:13:00.142,0:13:04.539
ima podrivajući efekat[br]koji je V.I. planirala.

0:13:04.539,0:13:08.002
Poenta je da treba da budemo sigurni

0:13:08.002,0:13:11.810
da ćemo držati superinteligentnog duha[br]zaključanog u boci zauvek.

0:13:11.810,0:13:14.064
Pre ili kasnije će izaći.

0:13:15.034,0:13:18.137
Mislim da je odgovor to da shvatimo

0:13:18.137,0:13:23.161
kako da napravimo V.I. tako da,[br]čak i ako pobegne

0:13:23.161,0:13:26.438
budemo bezbedni[br]jer je suštinski na našoj strani

0:13:26.438,0:13:28.337
jer deli naše vrednosti.

0:13:28.337,0:13:31.547
Ne vidim drugo rešenje[br]za ovaj težak problem.

0:13:32.557,0:13:36.391
Ali sam optimista da ovaj problem[br]može da se reši.

0:13:36.391,0:13:40.294
Ne bismo morali da pišemo dugu listu[br]svega onoga do čega nam je stalo

0:13:40.294,0:13:43.937
ili, još gore, pišemo to[br]na nekom kompjuterskom jeziku

0:13:43.937,0:13:45.391
kao što je C++ ili Pajton,

0:13:45.391,0:13:48.158
što bi bio beznadežan zadatak.

0:13:48.158,0:13:52.455
Umesto toga, napravili bismo V.I.[br]koja koristi svoju inteligenciju

0:13:52.455,0:13:55.226
da nauči šta mi vrednujemo

0:13:55.226,0:14:00.506
i čiji motivacioni sistem[br]je konstruisan tako da je motivisan

0:14:00.506,0:14:05.738
da sledi naše vrednosti ili obavlja radnje[br]za koje predviđa da ih mi odobravamo.

0:14:05.738,0:14:09.152
Tako bismo iskoristili njenu inteligenciju[br]što je više moguće

0:14:09.152,0:14:11.897
da rešimo problem prenošenja vrednosti.

0:14:12.727,0:14:14.239
Ovo može da se desi

0:14:14.239,0:14:17.835
i ishod bi bio veoma dobar za čovečanstvo.

0:14:17.835,0:14:21.792
Ali to se ne dešava automatski.

0:14:21.792,0:14:24.790
Početni uslovi za eksploziju inteligencije

0:14:24.790,0:14:27.653
možda treba da budu postavljeni[br]na tačno određen način

0:14:27.653,0:14:31.183
ako želimo da imamo[br]kontrolisanu detonaciju.

0:14:31.183,0:14:33.801
Vrednosti V.I koje treba da[br]se poklope sa našim

0:14:33.801,0:14:35.561
nisu samo u poznatim kontekstima,

0:14:35.561,0:14:37.999
gde možemo lako proveriti[br]kako se V.I. ponaša,

0:14:37.999,0:14:41.233
nego i u novim kontekstima[br]u kojima se V.I. može naći

0:14:41.233,0:14:42.790
u neodređenoj budućnosti.

0:14:42.790,0:14:47.527
Postoje i neka ezoterična pitanja[br]koja bi trebalo rešiti:

0:14:47.527,0:14:49.616
tačne detalje njene teorije odlučivanja,

0:14:49.616,0:14:52.480
kako rešiti logičku nesigurnost itd.

0:14:53.330,0:14:56.752
Tako da tehnički problemi koje bi[br]trebalo rešiti da bi ovo funkcionisalo

0:14:56.752,0:14:58.025
izgledaju prilično teški -

0:14:58.025,0:15:00.925
ne toliko kao pravljenje[br]superinteligentne V.I.,

0:15:00.925,0:15:03.793
ali prilično teški.

0:15:03.793,0:15:05.488
Problem je u sledećem:

0:15:05.488,0:15:10.172
Napraviti superinteligentnu V.I.[br]je vrlo težak izazov.

0:15:10.172,0:15:12.720
Pravljenje superinteligentne V.I.[br]koja je bezbedna

0:15:12.720,0:15:15.136
uključuje još neke dodatne teškoće.

0:15:16.216,0:15:19.703
Postoji rizik da neko otkrije[br]kako da razbije prvu teškoću,

0:15:19.703,0:15:22.704
a da nije razbio i dodatnu teškoću

0:15:22.704,0:15:24.605
obezbeđivanja savršene bezbednosti.

0:15:25.375,0:15:28.706
Mislim da bi trebalo da nađemo rešenje

0:15:28.706,0:15:31.528
za kontrolu problema unapred

0:15:31.528,0:15:34.188
da bismo ga imali na raspolaganju[br]kad dođe vreme.

0:15:34.768,0:15:38.275
Ali možda ne možemo da rešimo[br]ceo problem kontrole unapred,

0:15:38.275,0:15:41.299
jer možda neki elementi mogu da se ubace

0:15:41.299,0:15:45.296
tek kad znamo detaljnu strukturu[br]na kojoj bi bilo primenjeno.

0:15:45.296,0:15:48.676
Ali što veći deo problema kontrole[br]rešimo unapred,

0:15:48.676,0:15:52.766
to su bolje šanse da će tranzicija[br]ka dobu mašinske inteligencije

0:15:52.766,0:15:54.306
proteći dobro

0:15:54.306,0:15:58.950
To mi izgleda kao stvar[br]koju bi vredelo uraditi

0:15:58.950,0:16:02.282
i mogu da zamislim[br]da ako stvari ispadnu okej,

0:16:02.282,0:16:06.940
ljudi će za milion godina[br]pogledati unazad na ovo doba

0:16:06.940,0:16:10.942
i možda će reći da je[br]ono što je bilo zaista važno

0:16:10.942,0:16:12.789
bilo to da smo ovo uradili dobro.

0:16:12.789,0:16:14.308
Hvala vam.

0:16:14.308,0:16:17.011
(Aplauz)