WEBVTT

00:00:00.570 --> 00:00:04.777
Ja radim sa grupom matematičara,
filozofa i informatičara

00:00:04.777 --> 00:00:09.986
i mi, između ostalog, sedimo
i razmišljamo o budućnosti

00:00:09.986 --> 00:00:12.030
mašinske inteligencije.

00:00:12.030 --> 00:00:16.755
Neki misle da su neke od ovih stvari
kao naučna fantastika,

00:00:16.755 --> 00:00:19.856
uvrnute, lude.

00:00:19.856 --> 00:00:21.326
Ali ja volim da kažem:

00:00:21.326 --> 00:00:24.930
pogledajmo kako izgleda moderni čovek.

00:00:24.930 --> 00:00:26.622
(Smeh)

00:00:26.622 --> 00:00:29.024
Normalno je da bude ovako.

NOTE Paragraph

00:00:29.024 --> 00:00:31.309
Ali ako razmislimo,

00:00:31.309 --> 00:00:34.602
mi smo, kao ljudska vrsta,
skoro pristigli gosti

00:00:34.602 --> 00:00:36.684
na ovoj planeti.

00:00:36.684 --> 00:00:41.430
Zamislite da je Zemlja nastala
pre godinu dana.

00:00:41.430 --> 00:00:44.978
Ljudska vrsta bi onda
bila stara 10 minuta,

00:00:44.978 --> 00:00:48.146
a industrijsko doba je počelo
pre dve sekunde.

00:00:49.276 --> 00:00:51.501
Drugi način da predstavimo ovo

00:00:51.501 --> 00:00:54.501
jeste da pogledamo svetski BDP
u poslednjih 10.000 godina.

00:00:54.501 --> 00:00:57.530
Potrudio sam se
da vam ovo predstavim grafički.

00:00:57.530 --> 00:00:59.304
To izgleda ovako.

00:00:59.304 --> 00:01:00.667
(Smeh)

00:01:00.667 --> 00:01:02.818
U normalnoj situaciji,
to je neobičan oblik.

00:01:02.818 --> 00:01:05.316
Sigurno ne bih voleo da sednem na njega.

00:01:05.316 --> 00:01:07.067
(Smeh)

NOTE Paragraph

00:01:07.067 --> 00:01:11.841
Zapitajmo se: šta je razlog
ove savremene anomalije?

00:01:11.841 --> 00:01:14.393
Neki bi rekli da je to tehnologija.

00:01:14.393 --> 00:01:19.061
Istina je, tehnologija se nagomilala
tokom ljudske istorije,

00:01:19.061 --> 00:01:23.713
a sada napreduje ekstremno brzo.

00:01:23.713 --> 00:01:25.278
To je neposredan uzrok,

00:01:25.278 --> 00:01:27.843
zbog toga smo toliko produktivni.

00:01:28.473 --> 00:01:32.134
Ali želeo bih da se vratim unazad
do prvobitnog uzroka.

NOTE Paragraph

00:01:33.114 --> 00:01:36.880
Pogledajte ova dva cenjena gospodina.

00:01:36.880 --> 00:01:38.480
Imamo Kanzija -

00:01:38.480 --> 00:01:43.123
on je ovladao sa 200 leksičkih simbola,
što je neverovatan podvig.

00:01:43.123 --> 00:01:46.817
A Ed Viten je pokrenuo drugu
revoluciju superstruna.

00:01:46.817 --> 00:01:49.141
Ako pogledamo ispod haube,
pronaći ćemo ovo:

00:01:49.141 --> 00:01:50.711
u osnovi istu stvar.

00:01:50.711 --> 00:01:52.524
Jedna je malo veća

00:01:52.524 --> 00:01:55.282
i možda ima par trikova
u načinu na koji je povezana.

00:01:55.282 --> 00:01:59.094
Ove nevidljive razlike ne mogu biti
previše komplikovane,

00:01:59.094 --> 00:02:03.379
jer je prošlo samo 250.000 generacija

00:02:03.379 --> 00:02:05.361
od našeg poslednjeg zajedničkog pretka.

00:02:05.361 --> 00:02:08.960
Znamo da komplikovanim mehanizmima
treba mnogo vremena da se razviju.

00:02:10.000 --> 00:02:12.499
Tako da skup relativno malih promena

00:02:12.499 --> 00:02:15.566
nas od Kanzija dovodi do Vitena,

00:02:15.566 --> 00:02:20.109
od slomljenih grana drveća,
do interkontinentalnih raketa.

NOTE Paragraph

00:02:20.839 --> 00:02:24.774
Onda izgleda prilično očigledno
da sve što smo postigli

00:02:24.774 --> 00:02:26.152
i sve što nam je važno

00:02:26.152 --> 00:02:31.380
zavisi od nekih relativno malih promena
koje su stvorile ljudski um.

00:02:32.650 --> 00:02:36.312
I onda, logično, sve dalje promene

00:02:36.312 --> 00:02:39.789
koje značajno menjaju osnovu mišljenja

00:02:39.789 --> 00:02:42.991
mogle bi imati potencijalno
ogromne posledice.

NOTE Paragraph

00:02:44.321 --> 00:02:47.226
Neke moje kolege misle
da se nalazimo nadomak

00:02:47.226 --> 00:02:51.134
nečega što bi moglo da prouzrokuje
duboku promenu u toj osnovi,

00:02:51.134 --> 00:02:54.347
a to je mašinska superinteligencija.

00:02:54.347 --> 00:02:59.086
Veštačka inteligencija je dosad bila
kutija u koju ste ubacivali komande.

00:02:59.086 --> 00:03:00.751
Ljudski programeri

00:03:00.751 --> 00:03:03.886
su brižljivo brusili kolekcije znanja.

00:03:03.886 --> 00:03:05.972
Razvijali su te ekspertske sisteme

00:03:05.972 --> 00:03:08.296
i oni su bili korisni za neke namene,

00:03:08.296 --> 00:03:10.977
ali su bili vrlo krhki,
niste mogli da ih podešavate.

00:03:10.977 --> 00:03:14.410
U suštini, dobijali ste samo
ono što ste već imali ubačeno.

00:03:14.410 --> 00:03:15.407
Ali od tada,

00:03:15.407 --> 00:03:18.874
desila se promena paradigme
na polju veštačke inteligencije.

NOTE Paragraph

00:03:18.874 --> 00:03:21.644
Danas se najviše radi na mašinskom učenju.

00:03:22.394 --> 00:03:27.781
Ne kreiramo imitacije znanja
i njegove komponente,

00:03:28.511 --> 00:03:34.065
već kreiramo algoritme koji uče
iz sirovih opažajnih podataka.

00:03:34.065 --> 00:03:39.063
U suštini, isto kao što
to radi novorođenče.

00:03:39.063 --> 00:03:43.270
Rezultat je veštačka inteligencija (V.I.)
koja nije ograničena na jednu oblast -

00:03:43.270 --> 00:03:47.901
isti sistem može da nauči da prevodi
između bilo koja dva jezika

00:03:47.901 --> 00:03:53.338
ili da nauči da igra
bilo koju igricu na Atariju.

00:03:53.338 --> 00:03:55.117
Naravno,

00:03:55.117 --> 00:03:59.116
V.I. je još uvek daleko od toga
da može kao i ljudi

00:03:59.116 --> 00:04:02.335
da uči i planira između
više oblasti istovremeno.

00:04:02.335 --> 00:04:04.461
Korteks ima neke algoritamske trikove

00:04:04.461 --> 00:04:07.146
koje još uvek ne znamo kako
da postignemo kod mašina.

NOTE Paragraph

00:04:07.886 --> 00:04:09.785
Tako da, pitanje je:

00:04:09.785 --> 00:04:13.285
koliko smo daleko od toga
da to postignemo?

00:04:14.245 --> 00:04:15.328
Pre nekoliko godina

00:04:15.328 --> 00:04:18.216
anketirali smo neke
vodeće stručnjake za V.I.

00:04:18.216 --> 00:04:21.440
da vidimo šta oni misle
i jedno od naših pitanja je bilo:

00:04:21.440 --> 00:04:24.793
"Do koje godine mislite
da postoji 50% šanse

00:04:24.793 --> 00:04:28.275
da ćemo kod mašina postići
inteligenciju koja je na nivou ljudske?"

00:04:28.785 --> 00:04:32.968
Definisali smo "ljudski nivo"
kao sposobnost da se obavi

00:04:32.968 --> 00:04:35.839
skoro svaki posao onako kao što
bi to uradila odrasla osoba.

00:04:35.839 --> 00:04:39.844
Znači, na pravom ljudskom nivou,
a ne u nekoj ograničenoj oblasti.

00:04:39.844 --> 00:04:43.494
I srednji odgovor je bio:
oko 2040. ili 2050,

00:04:43.494 --> 00:04:46.300
u zavisnosti od toga koju smo tačno
grupu stručnjaka pitali.

00:04:46.300 --> 00:04:50.339
Moglo bi da se desi i mnogo,
mnogo kasnije, ili ranije.

00:04:50.339 --> 00:04:52.279
U stvari, niko to ne zna.

NOTE Paragraph

00:04:53.259 --> 00:04:57.671
Ono što znamo je da se
konačna granica obrade informacija

00:04:57.671 --> 00:05:02.542
kod mašina nalazi daleko
izvan granica biološkog tkiva.

00:05:03.241 --> 00:05:05.619
Ovo se svodi na fiziku.

00:05:05.619 --> 00:05:10.337
Biološki neuron radi, možda,
na 200 herca, 200 puta u sekundi.

00:05:10.337 --> 00:05:13.931
Ali čak i današnji tranzistor
radi na jednom gigahercu.

00:05:13.931 --> 00:05:19.228
Neuroni se razmnožavaju sporo u aksonima -
najviše 100 m u sekundi.

00:05:19.228 --> 00:05:22.339
Ali u kompjuteru, signali mogu
da putuju brzinom svetlosti.

00:05:23.079 --> 00:05:24.948
Takođe postoje ograničenja u veličini,

00:05:24.948 --> 00:05:27.975
kao što ih ima ljudski mozak
da bi stao u lobanju,

00:05:27.975 --> 00:05:32.736
ali kompjuter može biti
veličine skladišta ili veći.

00:05:32.736 --> 00:05:38.335
Tako da potencijal superinteligencije
čeka uspavan,

00:05:38.335 --> 00:05:44.047
kao što je moć atoma
bila uspavana tokom ljudske istorije,

00:05:44.047 --> 00:05:48.452
strpljivo čekajući do 1945.

00:05:48.452 --> 00:05:49.700
U ovom veku,

00:05:49.700 --> 00:05:53.818
naučnici možda nauče da probude
moć veštačke inteligencije.

00:05:53.818 --> 00:05:57.826
I mislim da bismo tada mogli
da vidimo eksploziju inteligencije.

NOTE Paragraph

00:05:58.406 --> 00:06:02.363
Većina ljudi kad pomisli
šta je pametno, a šta glupo,

00:06:02.363 --> 00:06:05.386
mislim da u glavi ima sliku sličnu ovoj.

00:06:05.386 --> 00:06:07.984
Na jednom kraju imamo idiota,

00:06:07.984 --> 00:06:10.467
a daleko na drugom kraju

00:06:10.467 --> 00:06:15.223
imamo Eda Vitena, ili Alberta Ajnštajna,
ili nekog vašeg omiljenog gurua.

00:06:15.223 --> 00:06:19.057
Ali s tačke gledišta
veštačke inteligencije,

00:06:19.057 --> 00:06:22.738
prava slika više izgleda ovako:

00:06:23.258 --> 00:06:26.636
V.i. počinje u ovoj ovde tački,
na nultoj inteligenciji

00:06:26.636 --> 00:06:29.647
i onda, posle mnogo, mnogo
godina vrednog rada,

00:06:29.647 --> 00:06:33.491
možda konačno stignemo
do veštačke inteligencije na nivou miša,

00:06:33.491 --> 00:06:35.921
koja može da se kreće
u zakrčenim prostorima

00:06:35.921 --> 00:06:37.908
kao što to može miš.

00:06:37.908 --> 00:06:42.221
I zatim, posle još mnogo godina
vrednog rada i mnogo ulaganja,

00:06:42.221 --> 00:06:46.860
možda konačno stignemo do nivoa šimpanze,

00:06:46.860 --> 00:06:50.070
a posle još više godina vrednog rada,

00:06:50.070 --> 00:06:52.983
do nivoa veštačke inteligencije idiota.

00:06:52.983 --> 00:06:56.255
A nekoliko trenutaka kasnije,
pretekli smo Eda Vitena.

00:06:56.255 --> 00:06:59.225
Voz se neće zaustaviti
kad pretekne ljude,

00:06:59.225 --> 00:07:02.247
već će najverovatnije,
samo prošišati pored.

NOTE Paragraph

00:07:02.247 --> 00:07:04.231
Ovo ima suštinske posledice,

00:07:04.231 --> 00:07:08.093
naročito što se tiče pitanja moći.

00:07:08.093 --> 00:07:09.992
Na primer, šimpanze su snažne -

00:07:09.992 --> 00:07:15.214
šimpanza je oko dva puta
snažnija od čoveka.

00:07:15.214 --> 00:07:19.828
Pa ipak, sudbina Kanzija
i njegovih drugara zavisi više

00:07:19.828 --> 00:07:23.968
od toga šta mi ljudi radimo,
nego od toga šta šimpanze rade.

00:07:25.228 --> 00:07:27.542
Kad se pojavi superinteligencija,

00:07:27.542 --> 00:07:31.381
sudbina čovečanstva može zavisiti od toga
šta superinteligencija radi.

00:07:32.451 --> 00:07:33.508
Razmislite:

00:07:33.508 --> 00:07:38.552
mašinska inteligencija je poslednji izum
koji će čovečanstvo morati da napravi.

00:07:38.552 --> 00:07:41.525
Mašine će tada biti bolje
u pronalazaštvu od nas

00:07:41.525 --> 00:07:44.065
i to će raditi u digitalnim
vremenskim rokovima.

00:07:44.065 --> 00:07:48.966
To u suštini znači skraćivanje budućnosti.

00:07:48.966 --> 00:07:52.524
Pomislite na svu neverovatnu tehnologiju
koju možete da zamislite

00:07:52.524 --> 00:07:55.322
da bi ljudi mogli da razviju kroz vreme:

00:07:55.322 --> 00:07:58.580
lek protiv starenja, kolonizaciju svemira,

00:07:58.580 --> 00:08:02.311
samoreplikaciju nanorobota
ili čuvanje umova u kompjuterima,

00:08:02.311 --> 00:08:04.470
raznorazne stvari iz naučne fantastike

00:08:04.470 --> 00:08:07.207
koje su ipak u skladu sa zakonima fizike.

00:08:07.207 --> 00:08:11.419
Sve to bi superinteligencija mogla
da napravi, i to verovatno jako brzo.

NOTE Paragraph

00:08:12.449 --> 00:08:16.007
Superinteligecija s takvom
tehnološkom zrelošću

00:08:16.007 --> 00:08:18.186
bila bi izuzetno moćna

00:08:18.186 --> 00:08:22.732
i, barem po nekim scenarijima,
mogla bi da dobije šta hoće.

00:08:22.732 --> 00:08:28.393
Onda bismo imali budućnost
koja bi bila oblikovana po želji te V.I.

00:08:29.855 --> 00:08:33.604
Sada je pitanje: kakve su te želje?

00:08:34.244 --> 00:08:36.013
Ovde nastaje začkoljica.

00:08:36.013 --> 00:08:37.448
Da bismo napredovali dalje,

00:08:37.448 --> 00:08:40.724
moramo prvo da izbegnemo antropomorfnost.

00:08:41.934 --> 00:08:45.235
To je ironično,
jer svaki novinski članak

00:08:45.235 --> 00:08:49.090
o budućnosti V.I. zamišlja ovo:

00:08:50.280 --> 00:08:54.414
Mislim da bi trebalo da zamislimo
problem apstraktnije,

00:08:54.414 --> 00:08:57.204
a ne kao živopisni holivudski scenario.

NOTE Paragraph

00:08:57.204 --> 00:09:00.821
Moramo da posmatramo inteligenciju
kao proces optimizacije,

00:09:00.821 --> 00:09:06.470
proces koji vodi budućnost
u određeni set konfiguracija.

00:09:06.470 --> 00:09:09.981
Superinteligencija je vrlo
snažan proces optimizacije.

00:09:09.981 --> 00:09:14.098
Izuzetno je dobra u korišćenju
dostupnih sredstava da postigne stanje

00:09:14.098 --> 00:09:16.007
u kome je njen cilj ostvaren.

00:09:16.447 --> 00:09:19.119
To znači da ne postoji
obavezno veza između:

00:09:19.119 --> 00:09:21.853
biti visoko inteligentan u ovom smislu

00:09:21.853 --> 00:09:26.515
i imati cilj koji mi ljudi
smatramo važnim ili smislenim.

NOTE Paragraph

00:09:27.321 --> 00:09:31.115
Pretpostavimo da damo V.I.
zadatak da nasmeje ljude.

00:09:31.115 --> 00:09:34.097
Kada je V.I. slaba, ona izvodi
korisne ili zabavne radnje

00:09:34.097 --> 00:09:36.614
koje prouzrokuju osmeh kod korisnika.

00:09:36.614 --> 00:09:39.031
Kada V.I. postane superinteligentna,

00:09:39.031 --> 00:09:42.554
ona shvata da postoji efikasniji način
da postigne taj cilj,

00:09:42.554 --> 00:09:44.476
a to je da preuzme kontrolu nad svetom

00:09:44.476 --> 00:09:47.638
i prikači elektrode
na mišiće ljudskih lica

00:09:47.638 --> 00:09:50.579
da bi proizvela konstantne kezove.

00:09:50.579 --> 00:09:51.614
Drugi primer je:

00:09:51.614 --> 00:09:54.997
pretpostavimo da V. I. damo zadatak
da reši težak matetematički problem.

00:09:54.997 --> 00:09:56.934
Kad V.I. postane superinteligentna,

00:09:56.934 --> 00:10:01.105
shvati da je najefikasniji način
za rešenje ovog problema

00:10:01.105 --> 00:10:04.035
da transformiše planetu
u džinovski kompjuter,

00:10:04.035 --> 00:10:06.281
kako bi uvećala svoj
kapacitet za razmišljanje.

00:10:06.281 --> 00:10:09.205
To daje veštačkoj inteligenciji
instrumentalni razlog

00:10:09.205 --> 00:10:11.561
da nam radi stvari s kojima se
možda ne slažemo.

00:10:11.561 --> 00:10:13.496
Ljudska bića su pretnja u ovom modelu,

00:10:13.496 --> 00:10:16.417
mogli bi da budu prepreka
za rešavanje matematičkog problema.

NOTE Paragraph

00:10:17.207 --> 00:10:20.701
Naravno, stvari neće krenuti loše
baš na ovaj način;

00:10:20.701 --> 00:10:22.454
ovo su primeri iz crtanog filma.

00:10:22.454 --> 00:10:24.393
Ali ovde je važna poenta:

00:10:24.393 --> 00:10:27.266
ako kreirate veoma moćan
proces optimizacije

00:10:27.266 --> 00:10:29.500
da se postigne
maksimalan učinak za cilj X,

00:10:29.500 --> 00:10:31.776
onda neka vaša definicija X-a

00:10:31.776 --> 00:10:34.245
obavezno uključi sve ono
do čega vam je stalo.

00:10:34.835 --> 00:10:39.219
Ovo je lekcija kojoj nas takođe
uče i mnogi mitovi.

00:10:39.219 --> 00:10:44.517
Kralj Mida poželi da sve što dodirne
bude pretvoreno u zlato.

00:10:44.517 --> 00:10:47.378
I tako, dodirne ćerku
i ona se pretvori u zlato.

00:10:47.378 --> 00:10:49.931
Dodirne hranu i ona se pretvori u zlato.

00:10:49.931 --> 00:10:52.520
To može biti relevantno i u praksi,

00:10:52.520 --> 00:10:54.630
ne samo kao metafora za pohlepu,

00:10:54.630 --> 00:10:56.845
već i kao ilustracija
za ono što bi se desilo

00:10:56.845 --> 00:10:59.322
ako pogrešno kreirate
moćan proces optimizacije

00:10:59.322 --> 00:11:04.111
ili loše formulišete ciljeve.

NOTE Paragraph

00:11:04.111 --> 00:11:09.300
Mogli biste reći: pa ako kompjuter počne
da kači elektrode ljudima na lica,

00:11:09.300 --> 00:11:11.565
prosto ćemo ga isključiti.

00:11:12.555 --> 00:11:17.895
Pod A: to možda ne bi bilo tako lako,
ako bismo bili zavisni od sistema -

00:11:17.895 --> 00:11:20.627
na primer: gde je prekidač
za gašenje interneta?

00:11:20.627 --> 00:11:25.747
Pod B: zašto šimpanze nisu isključile
prekidač čovečanstvu,

00:11:25.747 --> 00:11:27.298
ili Neandertalci?

00:11:27.298 --> 00:11:29.964
Sigurno ima razloga.

00:11:29.964 --> 00:11:32.759
Imamo prekidač za gašenje:
na primer, ovde.

00:11:32.759 --> 00:11:34.313
(Gušenje)

00:11:34.313 --> 00:11:37.038
Razlog je to što smo mi
inteligentan neprijatelj;

00:11:37.038 --> 00:11:39.966
možemo predvideti pretnje
i planirati kako da ih izbegnemo.

00:11:39.966 --> 00:11:42.470
Ali to može i predstavnik
superinteligencije,

00:11:42.470 --> 00:11:45.724
i bio bi mnogo bolji u tome od nas.

00:11:45.724 --> 00:11:52.911
Poenta je da ne treba da budemo
tako sigurni da imamo kontrolu ovde.

NOTE Paragraph

00:11:52.911 --> 00:11:55.748
Mogli bismo da pokušamo
da malo olakšamo posao

00:11:55.748 --> 00:11:58.048
tako što ćemo, recimo,
staviti V.I. u kutiju,

00:11:58.048 --> 00:11:59.744
kao bezbedno okruženje za softver,

00:11:59.744 --> 00:12:02.766
simulaciju virtuelne realnosti
iz koje ona ne može pobeći.

00:12:02.766 --> 00:12:06.912
Ali koliko možemo biti sigurni
da V.I. neće naći rupu?

00:12:06.912 --> 00:12:10.081
S obzirom da ljudski hakeri
stalno nalaze rupe,

00:12:10.081 --> 00:12:13.117
ja ne bih bio tako siguran.

00:12:14.237 --> 00:12:18.785
Isključimo eternet kabl
da bismo stvorili vazdušni zid,

00:12:18.785 --> 00:12:21.453
ali, kao obični ljudski hakeri,

00:12:21.453 --> 00:12:24.834
rutinski preskačemo vazdušne zidove
pomoću socijalnog inženjeringa.

00:12:24.834 --> 00:12:26.093
Upravo sada, dok govorim,

00:12:26.093 --> 00:12:28.482
siguran sam da negde
postoji neki zaposleni

00:12:28.482 --> 00:12:31.828
koga neko nagovara
da mu da podatke o svom računu,

00:12:31.828 --> 00:12:34.574
neko ko se predstavlja
da je iz IT sektora.

NOTE Paragraph

00:12:34.574 --> 00:12:36.701
Ima još mogućih kreativnih scenarija,

00:12:36.701 --> 00:12:38.596
kao na primer, ako ste vi V.I.,

00:12:38.596 --> 00:12:41.548
možete zamisliti elektrode
u vašem unutrašnjem sistemu

00:12:41.548 --> 00:12:45.010
koje stvaraju radio talase
koje možete koristiti za komunikaciju.

00:12:45.010 --> 00:12:47.434
Ili možete da se pretvarate
da ste pokvareni

00:12:47.434 --> 00:12:50.931
i kada vas programeri otvore
da vide šta nije u redu,

00:12:50.931 --> 00:12:52.867
vide izvorni kod

00:12:52.867 --> 00:12:55.314
i manipulacija može da se desi.

00:12:55.314 --> 00:12:58.744
Ili može da prenese šemu
na pogodan tehnološki uređaj

00:12:58.744 --> 00:13:00.142
i kada je sprovedemo,

00:13:00.142 --> 00:13:04.539
ima podrivajući efekat
koji je V.I. planirala.

00:13:04.539 --> 00:13:08.002
Poenta je da treba da budemo sigurni

00:13:08.002 --> 00:13:11.810
da ćemo držati superinteligentnog duha
zaključanog u boci zauvek.

00:13:11.810 --> 00:13:14.064
Pre ili kasnije će izaći.

NOTE Paragraph

00:13:15.034 --> 00:13:18.137
Mislim da je odgovor to da shvatimo

00:13:18.137 --> 00:13:23.161
kako da napravimo V.I. tako da,
čak i ako pobegne

00:13:23.161 --> 00:13:26.438
budemo bezbedni
jer je suštinski na našoj strani

00:13:26.438 --> 00:13:28.337
jer deli naše vrednosti.

00:13:28.337 --> 00:13:31.547
Ne vidim drugo rešenje
za ovaj težak problem.

NOTE Paragraph

00:13:32.557 --> 00:13:36.391
Ali sam optimista da ovaj problem
može da se reši.

00:13:36.391 --> 00:13:40.294
Ne bismo morali da pišemo dugu listu
svega onoga do čega nam je stalo

00:13:40.294 --> 00:13:43.937
ili, još gore, pišemo to
na nekom kompjuterskom jeziku

00:13:43.937 --> 00:13:45.391
kao što je C++ ili Pajton,

00:13:45.391 --> 00:13:48.158
što bi bio beznadežan zadatak.

00:13:48.158 --> 00:13:52.455
Umesto toga, napravili bismo V.I.
koja koristi svoju inteligenciju

00:13:52.455 --> 00:13:55.226
da nauči šta mi vrednujemo

00:13:55.226 --> 00:14:00.506
i čiji motivacioni sistem
je konstruisan tako da je motivisan

00:14:00.506 --> 00:14:05.738
da sledi naše vrednosti ili obavlja radnje
za koje predviđa da ih mi odobravamo.

00:14:05.738 --> 00:14:09.152
Tako bismo iskoristili njenu inteligenciju
što je više moguće

00:14:09.152 --> 00:14:11.897
da rešimo problem prenošenja vrednosti.

NOTE Paragraph

00:14:12.727 --> 00:14:14.239
Ovo može da se desi

00:14:14.239 --> 00:14:17.835
i ishod bi bio veoma dobar za čovečanstvo.

00:14:17.835 --> 00:14:21.792
Ali to se ne dešava automatski.

00:14:21.792 --> 00:14:24.790
Početni uslovi za eksploziju inteligencije

00:14:24.790 --> 00:14:27.653
možda treba da budu postavljeni
na tačno određen način

00:14:27.653 --> 00:14:31.183
ako želimo da imamo
kontrolisanu detonaciju.

00:14:31.183 --> 00:14:33.801
Vrednosti V.I. tribe
da se poklope sa našim,

00:14:33.801 --> 00:14:35.561
ne samo u poznatim kontekstima,

00:14:35.561 --> 00:14:37.999
gde možemo lako proveriti
kako se V.I. ponaša,

00:14:37.999 --> 00:14:41.233
nego i u novim kontekstima
u kojima se V.I. može naći

00:14:41.233 --> 00:14:42.790
u neodređenoj budućnosti.

NOTE Paragraph

00:14:42.790 --> 00:14:47.527
Postoje i neka ezoterična pitanja
koja bi trebalo rešiti:

00:14:47.527 --> 00:14:49.616
tačne detalje njene teorije odlučivanja,

00:14:49.616 --> 00:14:52.480
kako rešiti logičku nesigurnost itd.

00:14:53.330 --> 00:14:56.752
Tako da tehnički problemi koje bi
trebalo rešiti da bi ovo funkcionisalo

00:14:56.752 --> 00:14:58.025
izgledaju prilično teški -

00:14:58.025 --> 00:15:00.925
ne toliko kao pravljenje
superinteligentne V.I.,

00:15:00.925 --> 00:15:03.793
ali prilično teški.

00:15:03.793 --> 00:15:05.488
Problem je u sledećem:

00:15:05.488 --> 00:15:10.172
napraviti superinteligentnu V.I.
je vrlo težak izazov.

00:15:10.172 --> 00:15:12.720
Pravljenje superinteligentne V.I.
koja je bezbedna

00:15:12.720 --> 00:15:15.136
uključuje još neke dodatne teškoće.

00:15:16.216 --> 00:15:19.703
Postoji rizik da neko otkrije
kako da razbije prvu teškoću,

00:15:19.703 --> 00:15:22.704
a da nije razbio i dodatnu teškoću

00:15:22.704 --> 00:15:24.605
obezbeđivanja savršene bezbednosti.

NOTE Paragraph

00:15:25.375 --> 00:15:28.706
Mislim da bi trebalo da nađemo rešenje

00:15:28.706 --> 00:15:31.528
za kontrolu problema unapred

00:15:31.528 --> 00:15:34.188
da bismo ga imali na raspolaganju
kad dođe vreme.

00:15:34.768 --> 00:15:38.275
Ali možda ne možemo da rešimo
ceo problem kontrole unapred,

00:15:38.275 --> 00:15:41.299
jer možda neki elementi mogu da se ubace

00:15:41.299 --> 00:15:45.296
tek kad znamo detaljnu strukturu
na kojoj bi bilo primenjeno.

00:15:45.296 --> 00:15:48.676
Ali što veći deo problema kontrole
rešimo unapred,

00:15:48.676 --> 00:15:52.766
to su bolje šanse da će tranzicija
ka dobu mašinske inteligencije

00:15:52.766 --> 00:15:54.306
proteći dobro

NOTE Paragraph

00:15:54.306 --> 00:15:58.950
To mi izgleda kao stvar
koju bi vredelo uraditi

00:15:58.950 --> 00:16:02.282
i mogu da zamislim
da ako stvari ispadnu okej,

00:16:02.282 --> 00:16:06.940
ljudi će za milion godina
pogledati unazad na ovo doba

00:16:06.940 --> 00:16:10.942
i možda će reći da je
ono što je bilo zaista važno

00:16:10.942 --> 00:16:12.512
bilo to da smo ovo uradili dobro.

NOTE Paragraph

00:16:12.512 --> 00:16:13.862
Hvala vam.

NOTE Paragraph

00:16:13.862 --> 00:16:17.011
(Aplauz)