WEBVTT

00:00:01.000 --> 00:00:03.216
Pričat ću vam
o neuspjehu intuicije

00:00:03.240 --> 00:00:04.840
koji pogađa brojne među nama.

00:00:05.480 --> 00:00:08.520
To je zapravo neuspjeh
uočavanja određene vrste opasnosti.

00:00:09.360 --> 00:00:11.096
Opisat ću scenarij

00:00:11.120 --> 00:00:14.376
za koji smatram kako je jednako zastrašujuć

00:00:14.400 --> 00:00:16.160
koliko i vjerojatan da se dogodi,

00:00:16.840 --> 00:00:18.496
a to nije dobra kombinacija,

00:00:18.520 --> 00:00:20.056
kako se ispostavlja.

00:00:20.080 --> 00:00:22.536
A ipak umjesto da budete prestrašeni,
većina će vas osjećati

00:00:22.560 --> 00:00:24.640
kako je ono o čemu govorim
nekako fora.

NOTE Paragraph

00:00:25.200 --> 00:00:28.176
Opisat ću kako bi nas
dobici koje stvaramo

00:00:28.200 --> 00:00:29.976
u umjetnoj inteligenciji (dalje: AI)

00:00:30.000 --> 00:00:31.776
na kraju mogli uništiti.

00:00:31.800 --> 00:00:35.256
I zapravo, mislim ako je jako teško
vidjeti kako nas oni neće uništiti

00:00:35.280 --> 00:00:36.960
ili nas nadahnuti da se sami uništimo.

00:00:37.400 --> 00:00:39.256
Pa ipak ako ste imalo poput mene,

00:00:39.280 --> 00:00:41.936
naći ćete kako je zabavno
razmišljati o ovim stvarima.

00:00:41.960 --> 00:00:45.336
A taj je odgovor dio problema.

00:00:45.360 --> 00:00:47.080
Ok? Taj bi vas odgovor trebao brinuti.

00:00:47.920 --> 00:00:50.576
A ako bih vas uvjeravao
ovim govorom

00:00:50.600 --> 00:00:54.016
kako ćemo vjerojatno
doživjeti globalnu glad,

00:00:54.040 --> 00:00:57.096
bilo zbog klimatskih promjena
ili neke druge katastrofe,

00:00:57.120 --> 00:01:00.536
te kako će vaši unuci,
ili njihovi unuci,

00:01:00.560 --> 00:01:02.360
vrlo vjerojatno živjeti ovako,

00:01:03.200 --> 00:01:04.400
ne biste mislili:

00:01:05.440 --> 00:01:06.776
"Zanimljivo.

00:01:06.800 --> 00:01:08.000
Sviđa mi se ovaj TED govor."

NOTE Paragraph

00:01:09.200 --> 00:01:10.720
Glad nije zabavna.

00:01:11.800 --> 00:01:15.176
Smrt znanstvenom fantastikom,
s druge strane, jest zabavna,

00:01:15.200 --> 00:01:19.176
a jedna od stvari koje me najviše brinu
oko razvoja AI u ovom trenutku

00:01:19.200 --> 00:01:23.296
je kako se činimo nesposobnim
stvoriti prikladan emotivni odgovor

00:01:23.320 --> 00:01:25.136
na opasnosti pred kojima se nalazimo.

00:01:25.160 --> 00:01:28.360
Ja sam nesposoban stvorti taj odgovor,
a držim ovaj govor.

NOTE Paragraph

00:01:30.120 --> 00:01:32.816
Ovo je kao da stojimo
pred dvama vratima.

00:01:32.840 --> 00:01:34.096
Iza vrata broj jedan,

00:01:34.120 --> 00:01:37.416
prestanemo stvarati napredak
u izgradnji inteligentnih strojeva.

00:01:37.440 --> 00:01:41.456
Hardver se i softver naših računala
samo iz nekog razloga prestane poboljšavati.

00:01:41.480 --> 00:01:44.480
Sad uzmite trenutak,
razmislite zašto bi se to moglo dogoditi.

00:01:45.080 --> 00:01:48.736
MIslim, uzevši kako su vrijedne
inteligencija i automatizacija,

00:01:48.760 --> 00:01:52.280
nastavit ćemo unaprijeđivati tehnologiju
ako smo to ikako sposobni.

00:01:53.200 --> 00:01:54.867
Što bi nas moglo zaustaviti u tome?

00:01:55.800 --> 00:01:57.600
Potpuni nuklearni rat?

00:01:59.000 --> 00:02:00.560
Globalna pandemija?

00:02:02.320 --> 00:02:03.640
Udar asteroida?

00:02:05.640 --> 00:02:08.216
Da Justin Bieber postane
predsjednik Sjedinjenih država?

NOTE Paragraph

00:02:08.240 --> 00:02:10.520
(Smijeh)

NOTE Paragraph

00:02:12.760 --> 00:02:16.680
Poanta je, nešto bi moralo
uništiti civilizaciju kakvu znamo.

00:02:17.360 --> 00:02:21.656
Morate zamisliti
kako bi loše to moralo biti

00:02:21.680 --> 00:02:25.016
da nas spriječi od pravljenja
poboljšanja u našoj tehnologiji

00:02:25.040 --> 00:02:26.256
trajno,

00:02:26.280 --> 00:02:28.296
generaciju za generacijom.

00:02:28.320 --> 00:02:30.456
Skoro po definiciji,
to je najgora stvar

00:02:30.480 --> 00:02:32.496
koja se ikad dogodila u ljudskoj povijesti.

NOTE Paragraph

00:02:32.520 --> 00:02:33.816
Dakle jedina alternativa,

00:02:33.840 --> 00:02:36.176
a to je ono što leži
iza vrata broj dva,


00:02:36.200 --> 00:02:39.336
je da nastavimo poboljšavati
naše inteligentne strojeve

00:02:39.360 --> 00:02:40.960
godinu za godinom za godinom.

00:02:41.720 --> 00:02:45.360
U nekom trenutku, sagradit ćemo
strojeve koji su pametniji od nas,

00:02:46.080 --> 00:02:48.696
a jednom kad imamo strojeve
koji su pametniji od nas,

00:02:48.720 --> 00:02:50.696
oni će početi poboljšavati sami sebe.

00:02:50.720 --> 00:02:53.456
A tada risikiramo što je
matematičar I.J. Good nazvao

00:02:53.480 --> 00:02:55.256
"eksplozijom inteligencije,"

00:02:55.280 --> 00:02:57.280
da bi nam se proces mogao izmaknuti.

NOTE Paragraph

00:02:58.120 --> 00:03:00.936
Sad, to je često karikirano,
kako imam ovdje,

00:03:00.960 --> 00:03:04.176
kao strah da će
vojske zloćudnih robota

00:03:04.200 --> 00:03:05.456
udariti na nas.

00:03:05.480 --> 00:03:08.176
Ali to nije najvjerojatniji scenarij.

00:03:08.200 --> 00:03:13.056
Nije da će naši strojevi
spontano postati zloćudnim.

00:03:13.080 --> 00:03:15.696
Zapravo je briga
kako ćemo izraditi strojeve

00:03:15.720 --> 00:03:17.776
koji su toliko
sposobniji od nas

00:03:17.800 --> 00:03:21.576
da bi nas najmanje razmimoilaženje
između njihovih i naših ciljeva

00:03:21.600 --> 00:03:22.800
moglo uništiti.

NOTE Paragraph

00:03:23.960 --> 00:03:26.040
Samo pomislite kako se odnosimo prema mravima.

00:03:26.600 --> 00:03:28.256
Ne mrzimo ih.

00:03:28.280 --> 00:03:30.336
Ne silazimo sa svog puta
kako bismo im naudili.

00:03:30.360 --> 00:03:32.736
Zapravo, ponekad
se baš i trudimo kako im ne bismo naudili.

00:03:32.760 --> 00:03:34.776
Prekoračimo ih na pločniku.

00:03:34.800 --> 00:03:36.936
Ali kad god sje njihova prisutnost

00:03:36.960 --> 00:03:39.456
ozbiljno sukobi s nekim od naših ciljeva,

00:03:39.480 --> 00:03:41.957
recimo kad dižemo
građevinu poput ove,

00:03:41.981 --> 00:03:43.941
uništavamo ih bez pol muke.

00:03:44.480 --> 00:03:47.416
Briga je kako ćemo
jednog dana sagraditi strojeve

00:03:47.440 --> 00:03:50.176
koji, bili oni svjesni ili ne,

00:03:50.200 --> 00:03:52.200
bi se mogli odnositi spram nas
sa sličnim nehajem.

NOTE Paragraph

00:03:53.760 --> 00:03:56.520
Sad, pretpostavljam kako
vam se ovo doima nategnutim.

00:03:57.360 --> 00:04:03.696
Kladim se kako vas ima koji sumnjate
kako je superinteligentan AI moguć,

00:04:03.720 --> 00:04:05.376
a još manje neizbježan.

00:04:05.400 --> 00:04:09.020
Ali onda morate naći nešto krivo
s nekom od slijedeći pretpostavki.

00:04:09.044 --> 00:04:10.616
A samo ih je tri.

NOTE Paragraph

00:04:11.800 --> 00:04:16.519
Inteligencija je stvar obrade
informacija u fizičkim sustavima.

00:04:17.320 --> 00:04:19.935
Zapravo, ovo je 
malo više od pretpostavke.

00:04:19.959 --> 00:04:23.416
Već smo ugradili
usku inteligenciju u naše strojeve,

00:04:23.440 --> 00:04:25.456
i puno tih strojeva imaju izvedbu

00:04:25.480 --> 00:04:28.120
na razini nadljudske 
inteligencije već sada.

00:04:28.840 --> 00:04:31.416
I znamo kako puka materija

00:04:31.440 --> 00:04:34.056
može omogućiti nastanak 
onog što nazivamo "opća inteligencija,"

00:04:34.080 --> 00:04:37.736
sposobnost razmišljanja
rastezljivog na višestruka područja,

00:04:37.760 --> 00:04:40.896
jer to mogu naši mozgovi. U redu?

00:04:40.920 --> 00:04:44.856
Mislim, ovdje su samo atomi,

00:04:44.880 --> 00:04:49.376
i sve dok nastavimo
graditi sustave atoma

00:04:49.400 --> 00:04:52.096
koji pokazuju sve više
inteligentnog ponašanja

00:04:52.120 --> 00:04:54.656
s vremenom ćemo,
osim ako ne budemo ometeni,

00:04:54.680 --> 00:04:58.056
s vremenom ćemo
ugraditi opću inteligenciju

00:04:58.080 --> 00:04:59.376
u naše strojeve.

NOTE Paragraph

00:04:59.400 --> 00:05:03.056
Ključno je shvatiti
kako stopa napretka nije bitna,

00:05:03.080 --> 00:05:06.256
jer će nas bilo kakav
napredak dovesti u krajnju zonu.


00:05:06.280 --> 00:05:10.056
Ne trebamo nastavak Mooreovog zakona.
Ne trebamo eksponencijalni rast.

00:05:10.080 --> 00:05:11.680
Samo trebamo nastaviti napredovati.

NOTE Paragraph

00:05:13.480 --> 00:05:16.400
Druga je pretpostavka
kako ćemo nastaviti napredovati.

00:05:17.000 --> 00:05:19.760
Nastavit ćemo unapređivati
naše inteligentne strojeve.


00:05:21.000 --> 00:05:25.376
A uzevši vrijednost inteligencije --

00:05:25.400 --> 00:05:28.936
Mislim, inteligencija je ili
izvor svega što držimo vrijednim

00:05:28.960 --> 00:05:31.736
ili je trebamo kako bi zaštitili
sve što smatramo vrijednim.

00:05:31.760 --> 00:05:34.016
Ona je naš najvredniji resurs.

00:05:34.040 --> 00:05:35.576
Pa želimo to raditi.

00:05:35.600 --> 00:05:38.936
Imamo probleme
koje očajnički trebamo riješiti.

00:05:38.960 --> 00:05:42.160
Želimo liječiti bolesti
poput Alzheimera ili raka.

00:05:42.960 --> 00:05:46.896
Želimo razumjeti ekonomske sustave.
Želimo unaprijediti naše klimatske znanosti.

00:05:46.920 --> 00:05:49.176
Pa ćemo to učiniti, ako možemo.

00:05:49.200 --> 00:05:52.486
Vlak je već napustio postaju
a nema kočnice za povući.

NOTE Paragraph

00:05:53.880 --> 00:05:59.336
Konačno, ne stojimo
na vrhuncu inteligencije,

00:05:59.360 --> 00:06:01.160
ili igdje blizu njega, vjerojatno.

00:06:01.640 --> 00:06:03.536
A to je zbilja ključan uvid.

00:06:03.560 --> 00:06:05.976
To je ono što čini
našu situaciju tako neizvjesnom,

00:06:06.000 --> 00:06:10.040
i to je ono što čini
naše intuicije o riziku tako nepouzdanim.

NOTE Paragraph

00:06:11.120 --> 00:06:13.840
Sad, samo razmotrite najpametniju osobu
koja je ikad živjela.

00:06:14.640 --> 00:06:18.056
U gotovo svačijem užem izboru
ovdje je John von Neumann.

00:06:18.080 --> 00:06:21.416
Mislim, utisak koji je von Neumann
ostavljao na ljude oko sebe,

00:06:21.440 --> 00:06:25.496
a ti uključuju najveće matematičare
i fizičare njegovog doba,

00:06:25.520 --> 00:06:27.456
je dobro dokumentirana.

00:06:27.480 --> 00:06:31.256
Ako je samo pola priča
o njemu na pola istinito,

00:06:31.280 --> 00:06:32.496
nema pitanja

00:06:32.520 --> 00:06:34.976
on je jedna od najpametnijih
osoba koje su ikad živjele.

00:06:35.000 --> 00:06:37.520
Pa razmotrite spektar inteligencije.

00:06:38.320 --> 00:06:39.749
Ovdje imamo John von Neumanna.

00:06:41.560 --> 00:06:42.894
A onda imamo vas i mene.

00:06:44.120 --> 00:06:45.416
A onda imamo piceka.

NOTE Paragraph

00:06:45.440 --> 00:06:47.376
(Smijeh)

NOTE Paragraph

00:06:47.400 --> 00:06:48.616
Pardon, piceka.

NOTE Paragraph

00:06:48.640 --> 00:06:49.896
(Smijeh)

NOTE Paragraph

00:06:49.920 --> 00:06:53.656
Nema razloga da učinim ovaj govor
depresivnijem nego što mora biti.

NOTE Paragraph

00:06:53.680 --> 00:06:55.280
(Smijeh)

NOTE Paragraph

00:06:56.339 --> 00:06:59.816
Izgleda premoćno vjerojatno,
međutim, kako se spektar inteligencije

00:06:59.840 --> 00:07:02.960
proteže puno dalje
nego što trenutno poimamo,

00:07:03.880 --> 00:07:07.096
i ako sagradimo strojeve
koji su inteligentniji od nas,

00:07:07.120 --> 00:07:09.416
oni će vrlo vjerojatno
istražiti ovaj spektar

00:07:09.440 --> 00:07:11.296
na načine koje ne možemo zamisliti,

00:07:11.320 --> 00:07:13.840
te nas nadmašiti na načine
koje ne možemo zamisliti.

NOTE Paragraph

00:07:15.000 --> 00:07:19.336
A bitno je prepoznati kako je
to istinito već po samom svojstvu brzine.

00:07:19.360 --> 00:07:24.416
U redu? Zamislite kako smo
upravo sagradili superinteligentan AI

00:07:24.440 --> 00:07:27.896
koji nije pametniji od
vašeg prosječnog tima istraživača

00:07:27.920 --> 00:07:30.216
na Stanfordu ili MIT-u.

00:07:30.240 --> 00:07:33.216
Dobro, elektronički krugovi
rade oko milijun puta brže

00:07:33.240 --> 00:07:34.496
od onih biokemijskih,

00:07:34.520 --> 00:07:37.656
pa bi ovaj stroj trebao
razmišljati oko milijun puta brže

00:07:37.680 --> 00:07:39.496
od umova koji su ga sagradili.

00:07:39.520 --> 00:07:41.176
Pa ga pustite raditi tjedan dana,

00:07:41.200 --> 00:07:45.760
a on će izvesti 20.000 godina
intelektualnog rada ljudske razine,

00:07:46.400 --> 00:07:48.360
tjedan za tjednom za tjednom.

00:07:49.640 --> 00:07:52.736
Kako bi uopće mogli razumjeti,
puno manje ograničiti,

00:07:52.760 --> 00:07:55.040
um koji stvara ovu vrst napretka?

NOTE Paragraph

00:07:56.840 --> 00:07:58.976
Druga stvar koja je
zabrinjavajuća, iskreno,

00:07:59.000 --> 00:08:03.976
je kako, zamislite najbolji scenarij.

00:08:04.000 --> 00:08:08.176
dakle zamislite kako pogodimo
dizajn superinteligentne AI

00:08:08.200 --> 00:08:09.576
koji nema sigurnosnih problema.

00:08:09.600 --> 00:08:12.856
Imamo savršen dizajn
iz prve.

00:08:12.880 --> 00:08:15.096
Kao da nam je dano proročanstvo

00:08:15.120 --> 00:08:17.136
koje se ponaša posve kako bi i trebalo.

00:08:17.160 --> 00:08:20.880
Dobro, taj bi stroj bio
savršena naprava za uštedu rada.

00:08:21.680 --> 00:08:24.109
Može dizajnirati stroj
koji može izraditi stroj


00:08:24.133 --> 00:08:25.896
koji može obavljati
svaki fizički rad,

00:08:25.920 --> 00:08:27.376
pogonjen sunčanom svjetlošću,

00:08:27.400 --> 00:08:30.096
manje ili više po cijeni
sirovog materijala.

00:08:30.120 --> 00:08:33.376
Dakle pričamo o
kraju ljudske tlake.


00:08:33.400 --> 00:08:36.200
Također pričamo o kraju
većine intelektualnog rada.

NOTE Paragraph

00:08:37.200 --> 00:08:40.256
Pa što bi majmuni poput nas
činili u takvim okolnostima?

00:08:40.280 --> 00:08:44.360
Ok, bili bi slobodni
igrati frizbi i masirati se međusobno.

00:08:45.840 --> 00:08:48.696
Dodajte nešto LSD i nešto
upitnih odluka oko odjeće,

00:08:48.720 --> 00:08:50.896
i cijeli bi svijet mogao
biti poput Burning Mana.

NOTE Paragraph

00:08:50.920 --> 00:08:52.560
(Smijeh)

NOTE Paragraph

00:08:54.320 --> 00:08:56.320
Sad, to može zvučati prilično dobro,

00:08:57.280 --> 00:08:59.656
ali pitajte se što bi se dogodilo

00:08:59.680 --> 00:09:02.416
pod našim trenutnim
ekonomskim i političkim poretkom?

00:09:02.440 --> 00:09:04.856
Čini se vjerojatnim
kako bismo svjedočili

00:09:04.880 --> 00:09:09.016
razini nejednakosti u bogatstvu
te nezaposlenosti

00:09:09.040 --> 00:09:10.536
kakvu nismo vidjeli nikad prije.

00:09:10.560 --> 00:09:13.176
Bez volje za trenutnim
stavljanjem tog novog bogatstva

00:09:13.200 --> 00:09:14.680
u službu svog čovječanstva,

00:09:15.640 --> 00:09:19.256
nekoliko bi trilijunaša moglo
resiti naslovnice naših poslovni časopisa

00:09:19.280 --> 00:09:21.720
dok bi ostatak svijeta
bio slobodan gladovati.

NOTE Paragraph

00:09:22.320 --> 00:09:24.616
A što bi Rusi
ili Kinezi učinili

00:09:24.640 --> 00:09:27.256
ako bi čuli kako se
neka kompanija u Silicijskoj dolini

00:09:27.280 --> 00:09:30.016
upravo sprema izbaciti
superinteligentnu AI?

00:09:30.040 --> 00:09:32.896
Taj bi stroj bio
sposoban voditi rat,

00:09:32.920 --> 00:09:35.136
bilo zemaljski ili cyber,

00:09:35.160 --> 00:09:36.840
sa neviđenom moći.

00:09:38.120 --> 00:09:39.976
Ovo je scenarij gdje pobjednik dobija sve.

00:09:40.000 --> 00:09:43.136
Biti šest mjeseci ispred
konkurencije ovdje

00:09:43.160 --> 00:09:45.936
je biti 500.000 godina ispred,

00:09:45.960 --> 00:09:47.456
minimalno.

00:09:47.480 --> 00:09:52.216
Pa se čini kako bi čak i puke glasine
o ovakvoj vrsti probitka

00:09:52.240 --> 00:09:54.616
mogle prouzročiti našu vrstu da poludi.

NOTE Paragraph

00:09:54.640 --> 00:09:57.536
Sad, jedna od najviše
zastrašujućih stvari,

00:09:57.560 --> 00:10:00.336
kako ja to vidim, u ovom trenutku,

00:10:00.360 --> 00:10:04.656
su stvari koje istraživači AI govore

00:10:04.680 --> 00:10:06.240
kada žele biti ohrabrujući.

00:10:07.000 --> 00:10:10.456
A najčešći razlog za bezbrižnost
koji navode je vrijeme.

00:10:10.480 --> 00:10:12.536
To je sve daleko,
ne znaš li?

00:10:12.560 --> 00:10:15.000
To je vjerojatno 50 ili 100 godina od nas.

00:10:15.720 --> 00:10:16.976
Jedan je istraživač rekao:

00:10:17.000 --> 00:10:18.576
"Brinuti se oko sigurnosti AI

00:10:18.600 --> 00:10:20.880
je poput brige
o prekomjernoj populaciji na Marsu."

00:10:22.116 --> 00:10:23.736
To je verzija iz Silicijske doline

00:10:23.760 --> 00:10:26.136
one: "nemoj brinuti
svoju lijepu malu glavu sa time."

NOTE Paragraph

00:10:26.160 --> 00:10:27.496
(Smijeh)

NOTE Paragraph

00:10:27.520 --> 00:10:29.416
Izgleda kako nitko ne primjećuje

00:10:29.440 --> 00:10:32.056
kako je oslanjanje na vremenski horizont

00:10:32.080 --> 00:10:34.656
potpuni non sequitur.

00:10:34.680 --> 00:10:37.936
Ako je inteligencija samo pitanje
procesiranja informacija,

00:10:37.960 --> 00:10:40.616
te ako nastavimo
unapređivati naše strojeve,

00:10:40.640 --> 00:10:43.520
stvorit ćemo
neki oblik superinteligencije.

00:10:44.320 --> 00:10:47.976
A nemamo pojma
koliko će nam dugo trebati

00:10:48.000 --> 00:10:50.400
stvoriti uvjete
kako bismo to učinili sigurno.

00:10:52.200 --> 00:10:53.496
Dajte da to kažem ponovo.

00:10:53.520 --> 00:10:57.336
Nemamo pojma
koliko će nam dugo trebati

00:10:57.360 --> 00:10:59.600
stvoriti uvjete
kako bismo to učinili sigurno.

NOTE Paragraph

00:11:00.920 --> 00:11:04.376
A ako niste primijetili,
50 godina nije što je nekad bilo.

00:11:04.400 --> 00:11:06.856
Ovo je 50 godina u mjesecima.

00:11:06.880 --> 00:11:08.720
Ovo je koliko dugo imamo iPhone.

00:11:09.440 --> 00:11:12.040
Ovo je koliko dugo su
"Simpsoni" na televiziji.

00:11:12.680 --> 00:11:15.056
Pedeset godina nije tako puno vremena

00:11:15.080 --> 00:11:18.240
za sučeliti se sa jednim od
najvećih izazova koje će naša vrsta ikad imati.

00:11:19.640 --> 00:11:23.656
Još jednom, izgleda da ne uspijevamo
imati prikladan emotivni odgovor

00:11:23.680 --> 00:11:26.376
za što imamo
svaki razlog vjerovati kako dolazi.

NOTE Paragraph

00:11:26.400 --> 00:11:30.376
Računalni znanstvenik Stuart Russell
ovdje pravi zgodnu analogiju.

00:11:30.400 --> 00:11:35.296
On kaže, zamislite kako smo primili
poruku od vanzemaljske civilizacije,

00:11:35.320 --> 00:11:37.016
koja piše:

00:11:37.040 --> 00:11:38.576
"Ljudi Zemlje,

00:11:38.600 --> 00:11:40.960
stići ćemo na vaš planet za 50 godina.

00:11:41.800 --> 00:11:43.376
Pripremite se."

00:11:43.400 --> 00:11:47.656
I sad mi samo brojimo
mjesece dok matični brod ne sleti?

00:11:47.680 --> 00:11:50.680
Osjećali bismo malo veću
hitnost nego što osjećamo.

NOTE Paragraph

00:11:52.680 --> 00:11:54.536
Još jedan razlog
što nam govore da ne brinemo

00:11:54.560 --> 00:11:57.576
je kako si ti strojevi
ne mogu pomoći da ne dijele naše vrijednosti

00:11:57.600 --> 00:12:00.216
jer će doslovno biti
produžeci nas samih.

00:12:00.240 --> 00:12:02.056
Bit će usađeni u naše mozgove,

00:12:02.080 --> 00:12:04.440
a mi ćemo u biti
postati njihov limbički sustav.

00:12:05.120 --> 00:12:06.536
sad uzmite trenutak pa razmislite

00:12:06.560 --> 00:12:09.736
kako je najsigurniji
i jedini razborit put naprijed,

00:12:09.760 --> 00:12:11.096
preporučeno,

00:12:11.120 --> 00:12:13.920
ugraditi tu tehnologiju
izravno u naše mozgove.

00:12:14.600 --> 00:12:17.976
Sad, to može zapravo biti najsigurniji
i jedini razborit put nparijed,

00:12:18.000 --> 00:12:21.056
ali obično sigurnosni problemi
oko tehnologije

00:12:21.080 --> 00:12:24.736
moraju biti manje više izglađeni
prije nego ju zabijete u vlastitu glavu.

NOTE Paragraph

00:12:24.760 --> 00:12:26.776
(Smijeh)

NOTE Paragraph

00:12:26.800 --> 00:12:32.136
Dublji je problem što se
izgradnja superinteligentne AI

00:12:32.160 --> 00:12:33.896
čini vjerojatno lakšim

00:12:33.920 --> 00:12:35.776
nego izgradnja superinteligentne AI

00:12:35.800 --> 00:12:37.576
i imanje zaokružene neuroznanosti

00:12:37.600 --> 00:12:40.280
koja nam omogućuje da ju glatko
integriramo s našim umovima.

00:12:40.800 --> 00:12:43.976
A uzevši kako će kompanije
i vlade koje se bave ovim poslom

00:12:44.000 --> 00:12:47.656
vjerojatno percipirati
kako su u utrci protiv svih ostalih,

00:12:47.680 --> 00:12:50.936
uzevši kako je osvojiti ovu utrku
isto što i osvojiti svijet,

00:12:50.960 --> 00:12:53.416
pod pretpostavkom kako ga
nećete uništiti u slijedećem trenutku,

00:12:53.440 --> 00:12:56.056
onda se čini vjerojatnim
kako će što god je lakše učiniti

00:12:56.080 --> 00:12:57.280
biti učinjeno prvo.

NOTE Paragraph

00:12:58.560 --> 00:13:01.416
Sad, na nesreću,
nemam rješenje za ovaj problem,

00:13:01.440 --> 00:13:04.056
osim preporučiti kako bi više nas
trebalo razmišljati o njemu.

00:13:04.080 --> 00:13:06.456
Mislim kako trebamo nešto
poput Manhattan Projecta

00:13:06.480 --> 00:13:08.496
po pitanju umjetne inteligencije.

00:13:08.520 --> 00:13:11.256
Ne kako bismo je stvorili, jer
ćemo to neizbježno napraviti,

00:13:11.280 --> 00:13:14.616
već kako bismo razumjeli
kako izbjeći utrku u naoružanju

00:13:14.640 --> 00:13:18.136
te kako ju sagraditi na način
koji se podudara s našim interesima.

00:13:18.160 --> 00:13:20.296
Kad pričate o 
superinteligentnoj AI

00:13:20.320 --> 00:13:22.576
koja može raditi preinake sebi samoj,

00:13:22.600 --> 00:13:27.216
čini se kako imamo samo jednu priliku
za posložiti ispravne početne uvjete,

00:13:27.240 --> 00:13:29.296
a čak i tada ćemo trebati upiti

00:13:29.320 --> 00:13:32.360
ekonomske i političke 
posljedice slaganja takvih uvjeta.

NOTE Paragraph

00:13:33.760 --> 00:13:35.816
Ali trenutak u kojem priznamo

00:13:35.840 --> 00:13:39.840
kako je obrada informacija
izvor inteligencije,

00:13:40.720 --> 00:13:45.520
kako je neki prikladan račualni sustav
ono na čemu se inteligencija temelji,

00:13:46.360 --> 00:13:50.120
te priznamo kako ćemo
trajno unaprijeđivati te sustave,

00:13:51.280 --> 00:13:55.736
te priznamo kako horizont
spoznaje vrlo vjerojatno daleko premašuje

00:13:55.760 --> 00:13:56.960
što trenutno znamo,

00:13:58.120 --> 00:13:59.336
onda moramo priznati

00:13:59.360 --> 00:14:02.000
kako smo u postupku
izgradnje neke vrste boga.

00:14:03.400 --> 00:14:04.976
Sad bi bilo dobro vrijeme

00:14:05.000 --> 00:14:06.953
osigurati da to bude bog
s kakvim možemo živjeti.

NOTE Paragraph

00:14:08.120 --> 00:14:09.656
Hvala Vam puno.

NOTE Paragraph

00:14:09.680 --> 00:14:14.773
(Pljesak)