1
00:00:01,000 --> 00:00:03,216
Pričat ću vam
o neuspjehu intuicije

2
00:00:03,240 --> 00:00:04,840
koji pogađa brojne među nama.

3
00:00:05,480 --> 00:00:08,520
To je zapravo neuspjeh
uočavanja određene vrste opasnosti.

4
00:00:09,360 --> 00:00:11,096
Opisat ću scenarij

5
00:00:11,120 --> 00:00:14,376
za koji smatram kako je jednako zastrašujuć

6
00:00:14,400 --> 00:00:16,160
koliko i vjerojatan da se dogodi,

7
00:00:16,840 --> 00:00:18,496
a to nije dobra kombinacija,

8
00:00:18,520 --> 00:00:20,056
kako se ispostavlja.

9
00:00:20,080 --> 00:00:22,536
A ipak umjesto da budete prestrašeni,
većina će vas osjećati

10
00:00:22,560 --> 00:00:24,640
kako je ono o čemu govorim
nekako fora.

11
00:00:25,200 --> 00:00:28,176
Opisat ću kako bi nas
dobici koje stvaramo

12
00:00:28,200 --> 00:00:29,976
u umjetnoj inteligenciji (dalje: AI)

13
00:00:30,000 --> 00:00:31,776
na kraju mogli uništiti.

14
00:00:31,800 --> 00:00:35,256
I zapravo, mislim ako je jako teško
vidjeti kako nas oni neće uništiti

15
00:00:35,280 --> 00:00:36,960
ili nas nadahnuti da se sami uništimo.

16
00:00:37,400 --> 00:00:39,256
Pa ipak ako ste imalo poput mene,

17
00:00:39,280 --> 00:00:41,936
naći ćete kako je zabavno
razmišljati o ovim stvarima.

18
00:00:41,960 --> 00:00:45,336
A taj je odgovor dio problema.

19
00:00:45,360 --> 00:00:47,080
Ok? Taj bi vas odgovor trebao brinuti.

20
00:00:47,920 --> 00:00:50,576
A ako bih vas uvjeravao
ovim govorom

21
00:00:50,600 --> 00:00:54,016
kako ćemo vjerojatno
doživjeti globalnu glad,

22
00:00:54,040 --> 00:00:57,096
bilo zbog klimatskih promjena
ili neke druge katastrofe,

23
00:00:57,120 --> 00:01:00,536
te kako će vaši unuci,
ili njihovi unuci,

24
00:01:00,560 --> 00:01:02,360
vrlo vjerojatno živjeti ovako,

25
00:01:03,200 --> 00:01:04,400
ne biste mislili:

26
00:01:05,440 --> 00:01:06,776
"Zanimljivo.

27
00:01:06,800 --> 00:01:08,000
Sviđa mi se ovaj TED govor."

28
00:01:09,200 --> 00:01:10,720
Glad nije zabavna.

29
00:01:11,800 --> 00:01:15,176
Smrt znanstvenom fantastikom,
s druge strane, jest zabavna,

30
00:01:15,200 --> 00:01:19,176
a jedna od stvari koje me najviše brinu
oko razvoja AI u ovom trenutku

31
00:01:19,200 --> 00:01:23,296
je kako se činimo nesposobnim
stvoriti prikladan emotivni odgovor

32
00:01:23,320 --> 00:01:25,136
na opasnosti pred kojima se nalazimo.

33
00:01:25,160 --> 00:01:28,360
Ja sam nesposoban stvorti taj odgovor,
a držim ovaj govor.

34
00:01:30,120 --> 00:01:32,816
Ovo je kao da stojimo
pred dvama vratima.

35
00:01:32,840 --> 00:01:34,096
Iza vrata broj jedan,

36
00:01:34,120 --> 00:01:37,416
prestanemo stvarati napredak
u izgradnji inteligentnih strojeva.

37
00:01:37,440 --> 00:01:41,456
Hardver se i softver naših računala
samo iz nekog razloga prestane poboljšavati.

38
00:01:41,480 --> 00:01:44,480
Sad uzmite trenutak,
razmislite zašto bi se to moglo dogoditi.

39
00:01:45,080 --> 00:01:48,736
MIslim, uzevši kako su vrijedne
inteligencija i automatizacija,

40
00:01:48,760 --> 00:01:52,280
nastavit ćemo unaprijeđivati tehnologiju
ako smo to ikako sposobni.

41
00:01:53,200 --> 00:01:54,867
Što bi nas moglo zaustaviti u tome?

42
00:01:55,800 --> 00:01:57,600
Potpuni nuklearni rat?

43
00:01:59,000 --> 00:02:00,560
Globalna pandemija?

44
00:02:02,320 --> 00:02:03,640
Udar asteroida?

45
00:02:05,640 --> 00:02:08,216
Da Justin Bieber postane
predsjednik Sjedinjenih država?

46
00:02:08,240 --> 00:02:10,520
(Smijeh)

47
00:02:12,760 --> 00:02:16,680
Poanta je, nešto bi moralo
uništiti civilizaciju kakvu znamo.

48
00:02:17,360 --> 00:02:21,656
Morate zamisliti
kako bi loše to moralo biti

49
00:02:21,680 --> 00:02:25,016
da nas spriječi od pravljenja
poboljšanja u našoj tehnologiji

50
00:02:25,040 --> 00:02:26,256
trajno,

51
00:02:26,280 --> 00:02:28,296
generaciju za generacijom.

52
00:02:28,320 --> 00:02:30,456
Skoro po definiciji,
to je najgora stvar

53
00:02:30,480 --> 00:02:32,496
koja se ikad dogodila u ljudskoj povijesti.

54
00:02:32,520 --> 00:02:33,816
Dakle jedina alternativa,

55
00:02:33,840 --> 00:02:36,176
a to je ono što leži
iza vrata broj dva,


56
00:02:36,200 --> 00:02:39,336
je da nastavimo poboljšavati
naše inteligentne strojeve

57
00:02:39,360 --> 00:02:40,960
godinu za godinom za godinom.

58
00:02:41,720 --> 00:02:45,360
U nekom trenutku, sagradit ćemo
strojeve koji su pametniji od nas,

59
00:02:46,080 --> 00:02:48,696
a jednom kad imamo strojeve
koji su pametniji od nas,

60
00:02:48,720 --> 00:02:50,696
oni će početi poboljšavati sami sebe.

61
00:02:50,720 --> 00:02:53,456
A tada risikiramo što je
matematičar I.J. Good nazvao

62
00:02:53,480 --> 00:02:55,256
"eksplozijom inteligencije,"

63
00:02:55,280 --> 00:02:57,280
da bi nam se proces mogao izmaknuti.

64
00:02:58,120 --> 00:03:00,936
Sad, to je često karikirano,
kako imam ovdje,

65
00:03:00,960 --> 00:03:04,176
kao strah da će
vojske zloćudnih robota

66
00:03:04,200 --> 00:03:05,456
udariti na nas.

67
00:03:05,480 --> 00:03:08,176
Ali to nije najvjerojatniji scenarij.

68
00:03:08,200 --> 00:03:13,056
Nije da će naši strojevi
spontano postati zloćudnim.

69
00:03:13,080 --> 00:03:15,696
Zapravo je briga
kako ćemo izraditi strojeve

70
00:03:15,720 --> 00:03:17,776
koji su toliko
sposobniji od nas

71
00:03:17,800 --> 00:03:21,576
da bi nas najmanje razmimoilaženje
između njihovih i naših ciljeva

72
00:03:21,600 --> 00:03:22,800
moglo uništiti.

73
00:03:23,960 --> 00:03:26,040
Samo pomislite kako se odnosimo prema mravima.

74
00:03:26,600 --> 00:03:28,256
Ne mrzimo ih.

75
00:03:28,280 --> 00:03:30,336
Ne silazimo sa svog puta
kako bismo im naudili.

76
00:03:30,360 --> 00:03:32,736
Zapravo, ponekad
se baš i trudimo kako im ne bismo naudili.

77
00:03:32,760 --> 00:03:34,776
Prekoračimo ih na pločniku.

78
00:03:34,800 --> 00:03:36,936
Ali kad god sje njihova prisutnost

79
00:03:36,960 --> 00:03:39,456
ozbiljno sukobi s nekim od naših ciljeva,

80
00:03:39,480 --> 00:03:41,957
recimo kad dižemo
građevinu poput ove,

81
00:03:41,981 --> 00:03:43,941
uništavamo ih bez pol muke.

82
00:03:44,480 --> 00:03:47,416
Briga je kako ćemo
jednog dana sagraditi strojeve

83
00:03:47,440 --> 00:03:50,176
koji, bili oni svjesni ili ne,

84
00:03:50,200 --> 00:03:52,200
bi se mogli odnositi spram nas
sa sličnim nehajem.

85
00:03:53,760 --> 00:03:56,520
Sad, pretpostavljam kako
vam se ovo doima nategnutim.

86
00:03:57,360 --> 00:04:03,696
Kladim se kako vas ima koji sumnjate
kako je superinteligentan AI moguć,

87
00:04:03,720 --> 00:04:05,376
a još manje neizbježan.

88
00:04:05,400 --> 00:04:09,020
Ali onda morate naći nešto krivo
s nekom od slijedeći pretpostavki.

89
00:04:09,044 --> 00:04:10,616
A samo ih je tri.

90
00:04:11,800 --> 00:04:16,519
Inteligencija je stvar obrade
informacija u fizičkim sustavima.

91
00:04:17,320 --> 00:04:19,935
Zapravo, ovo je 
malo više od pretpostavke.

92
00:04:19,959 --> 00:04:23,416
Već smo ugradili
usku inteligenciju u naše strojeve,

93
00:04:23,440 --> 00:04:25,456
i puno tih strojeva imaju izvedbu

94
00:04:25,480 --> 00:04:28,120
na razini nadljudske 
inteligencije već sada.

95
00:04:28,840 --> 00:04:31,416
I znamo kako puka materija

96
00:04:31,440 --> 00:04:34,056
može omogućiti nastanak 
onog što nazivamo "opća inteligencija,"

97
00:04:34,080 --> 00:04:37,736
sposobnost razmišljanja
rastezljivog na višestruka područja,

98
00:04:37,760 --> 00:04:40,896
jer to mogu naši mozgovi. U redu?

99
00:04:40,920 --> 00:04:44,856
Mislim, ovdje su samo atomi,

100
00:04:44,880 --> 00:04:49,376
i sve dok nastavimo
graditi sustave atoma

101
00:04:49,400 --> 00:04:52,096
koji pokazuju sve više
inteligentnog ponašanja

102
00:04:52,120 --> 00:04:54,656
s vremenom ćemo,
osim ako ne budemo ometeni,

103
00:04:54,680 --> 00:04:58,056
s vremenom ćemo
ugraditi opću inteligenciju

104
00:04:58,080 --> 00:04:59,376
u naše strojeve.

105
00:04:59,400 --> 00:05:03,056
Ključno je shvatiti
kako stopa napretka nije bitna,

106
00:05:03,080 --> 00:05:06,256
jer će nas bilo kakav
napredak dovesti u krajnju zonu.


107
00:05:06,280 --> 00:05:10,056
Ne trebamo nastavak Mooreovog zakona.
Ne trebamo eksponencijalni rast.

108
00:05:10,080 --> 00:05:11,680
Samo trebamo nastaviti napredovati.

109
00:05:13,480 --> 00:05:16,400
Druga je pretpostavka
kako ćemo nastaviti napredovati.

110
00:05:17,000 --> 00:05:19,760
Nastavit ćemo unapređivati
naše inteligentne strojeve.


111
00:05:21,000 --> 00:05:25,376
A uzevši vrijednost inteligencije --

112
00:05:25,400 --> 00:05:28,936
Mislim, inteligencija je ili
izvor svega što držimo vrijednim

113
00:05:28,960 --> 00:05:31,736
ili je trebamo kako bi zaštitili
sve što smatramo vrijednim.

114
00:05:31,760 --> 00:05:34,016
Ona je naš najvredniji resurs.

115
00:05:34,040 --> 00:05:35,576
Pa želimo to raditi.

116
00:05:35,600 --> 00:05:38,936
Imamo probleme
koje očajnički trebamo riješiti.

117
00:05:38,960 --> 00:05:42,160
Želimo liječiti bolesti
poput Alzheimera ili raka.

118
00:05:42,960 --> 00:05:46,896
Želimo razumjeti ekonomske sustave.
Želimo unaprijediti naše klimatske znanosti.

119
00:05:46,920 --> 00:05:49,176
Pa ćemo to učiniti, ako možemo.

120
00:05:49,200 --> 00:05:52,486
Vlak je već napustio postaju
a nema kočnice za povući.

121
00:05:53,880 --> 00:05:59,336
Konačno, ne stojimo
na vrhuncu inteligencije,

122
00:05:59,360 --> 00:06:01,160
ili igdje blizu njega, vjerojatno.

123
00:06:01,640 --> 00:06:03,536
A to je zbilja ključan uvid.

124
00:06:03,560 --> 00:06:05,976
To je ono što čini
našu situaciju tako neizvjesnom,

125
00:06:06,000 --> 00:06:10,040
i to je ono što čini
naše intuicije o riziku tako nepouzdanim.

126
00:06:11,120 --> 00:06:13,840
Sad, samo razmotrite najpametniju osobu
koja je ikad živjela.

127
00:06:14,640 --> 00:06:18,056
U gotovo svačijem užem izboru
ovdje je John von Neumann.

128
00:06:18,080 --> 00:06:21,416
Mislim, utisak koji je von Neumann
ostavljao na ljude oko sebe,

129
00:06:21,440 --> 00:06:25,496
a ti uključuju najveće matematičare
i fizičare njegovog doba,

130
00:06:25,520 --> 00:06:27,456
je dobro dokumentirana.

131
00:06:27,480 --> 00:06:31,256
Ako je samo pola priča
o njemu na pola istinito,

132
00:06:31,280 --> 00:06:32,496
nema pitanja

133
00:06:32,520 --> 00:06:34,976
on je jedna od najpametnijih
osoba koje su ikad živjele.

134
00:06:35,000 --> 00:06:37,520
Pa razmotrite spektar inteligencije.

135
00:06:38,320 --> 00:06:39,749
Ovdje imamo John von Neumanna.

136
00:06:41,560 --> 00:06:42,894
A onda imamo vas i mene.

137
00:06:44,120 --> 00:06:45,416
A onda imamo piceka.

138
00:06:45,440 --> 00:06:47,376
(Smijeh)

139
00:06:47,400 --> 00:06:48,616
Pardon, piceka.

140
00:06:48,640 --> 00:06:49,896
(Smijeh)

141
00:06:49,920 --> 00:06:53,656
Nema razloga da učinim ovaj govor
depresivnijem nego što mora biti.

142
00:06:53,680 --> 00:06:55,280
(Smijeh)

143
00:06:56,339 --> 00:06:59,816
Izgleda premoćno vjerojatno,
međutim, kako se spektar inteligencije

144
00:06:59,840 --> 00:07:02,960
proteže puno dalje
nego što trenutno poimamo,

145
00:07:03,880 --> 00:07:07,096
i ako sagradimo strojeve
koji su inteligentniji od nas,

146
00:07:07,120 --> 00:07:09,416
oni će vrlo vjerojatno
istražiti ovaj spektar

147
00:07:09,440 --> 00:07:11,296
na načine koje ne možemo zamisliti,

148
00:07:11,320 --> 00:07:13,840
te nas nadmašiti na načine
koje ne možemo zamisliti.

149
00:07:15,000 --> 00:07:19,336
A bitno je prepoznati kako je
to istinito već po samom svojstvu brzine.

150
00:07:19,360 --> 00:07:24,416
U redu? Zamislite kako smo
upravo sagradili superinteligentan AI

151
00:07:24,440 --> 00:07:27,896
koji nije pametniji od
vašeg prosječnog tima istraživača

152
00:07:27,920 --> 00:07:30,216
na Stanfordu ili MIT-u.

153
00:07:30,240 --> 00:07:33,216
Dobro, elektronički krugovi
rade oko milijun puta brže

154
00:07:33,240 --> 00:07:34,496
od onih biokemijskih,

155
00:07:34,520 --> 00:07:37,656
pa bi ovaj stroj trebao
razmišljati oko milijun puta brže

156
00:07:37,680 --> 00:07:39,496
od umova koji su ga sagradili.

157
00:07:39,520 --> 00:07:41,176
Pa ga pustite raditi tjedan dana,

158
00:07:41,200 --> 00:07:45,760
a on će izvesti 20.000 godina
intelektualnog rada ljudske razine,

159
00:07:46,400 --> 00:07:48,360
tjedan za tjednom za tjednom.

160
00:07:49,640 --> 00:07:52,736
Kako bi uopće mogli razumjeti,
puno manje ograničiti,

161
00:07:52,760 --> 00:07:55,040
um koji stvara ovu vrst napretka?

162
00:07:56,840 --> 00:07:58,976
Druga stvar koja je
zabrinjavajuća, iskreno,

163
00:07:59,000 --> 00:08:03,976
je kako, zamislite najbolji scenarij.

164
00:08:04,000 --> 00:08:08,176
dakle zamislite kako pogodimo
dizajn superinteligentne AI

165
00:08:08,200 --> 00:08:09,576
koji nema sigurnosnih problema.

166
00:08:09,600 --> 00:08:12,856
Imamo savršen dizajn
iz prve.

167
00:08:12,880 --> 00:08:15,096
Kao da nam je dano proročanstvo

168
00:08:15,120 --> 00:08:17,136
koje se ponaša posve kako bi i trebalo.

169
00:08:17,160 --> 00:08:20,880
Dobro, taj bi stroj bio
savršena naprava za uštedu rada.

170
00:08:21,680 --> 00:08:24,109
Može dizajnirati stroj
koji može izraditi stroj


171
00:08:24,133 --> 00:08:25,896
koji može obavljati
svaki fizički rad,

172
00:08:25,920 --> 00:08:27,376
pogonjen sunčanom svjetlošću,

173
00:08:27,400 --> 00:08:30,096
manje ili više po cijeni
sirovog materijala.

174
00:08:30,120 --> 00:08:33,376
Dakle pričamo o
kraju ljudske tlake.


175
00:08:33,400 --> 00:08:36,200
Također pričamo o kraju
većine intelektualnog rada.

176
00:08:37,200 --> 00:08:40,256
Pa što bi majmuni poput nas
činili u takvim okolnostima?

177
00:08:40,280 --> 00:08:44,360
Ok, bili bi slobodni
igrati frizbi i masirati se međusobno.

178
00:08:45,840 --> 00:08:48,696
Dodajte nešto LSD i nešto
upitnih odluka oko odjeće,

179
00:08:48,720 --> 00:08:50,896
i cijeli bi svijet mogao
biti poput Burning Mana.

180
00:08:50,920 --> 00:08:52,560
(Smijeh)

181
00:08:54,320 --> 00:08:56,320
Sad, to može zvučati prilično dobro,

182
00:08:57,280 --> 00:08:59,656
ali pitajte se što bi se dogodilo

183
00:08:59,680 --> 00:09:02,416
pod našim trenutnim
ekonomskim i političkim poretkom?

184
00:09:02,440 --> 00:09:04,856
Čini se vjerojatnim
kako bismo svjedočili

185
00:09:04,880 --> 00:09:09,016
razini nejednakosti u bogatstvu
te nezaposlenosti

186
00:09:09,040 --> 00:09:10,536
kakvu nismo vidjeli nikad prije.

187
00:09:10,560 --> 00:09:13,176
Bez volje za trenutnim
stavljanjem tog novog bogatstva

188
00:09:13,200 --> 00:09:14,680
u službu svog čovječanstva,

189
00:09:15,640 --> 00:09:19,256
nekoliko bi trilijunaša moglo
resiti naslovnice naših poslovni časopisa

190
00:09:19,280 --> 00:09:21,720
dok bi ostatak svijeta
bio slobodan gladovati.

191
00:09:22,320 --> 00:09:24,616
A što bi Rusi
ili Kinezi učinili

192
00:09:24,640 --> 00:09:27,256
ako bi čuli kako se
neka kompanija u Silicijskoj dolini

193
00:09:27,280 --> 00:09:30,016
upravo sprema izbaciti
superinteligentnu AI?

194
00:09:30,040 --> 00:09:32,896
Taj bi stroj bio
sposoban voditi rat,

195
00:09:32,920 --> 00:09:35,136
bilo zemaljski ili cyber,

196
00:09:35,160 --> 00:09:36,840
sa neviđenom moći.

197
00:09:38,120 --> 00:09:39,976
Ovo je scenarij gdje pobjednik dobija sve.

198
00:09:40,000 --> 00:09:43,136
Biti šest mjeseci ispred
konkurencije ovdje

199
00:09:43,160 --> 00:09:45,936
je biti 500.000 godina ispred,

200
00:09:45,960 --> 00:09:47,456
minimalno.

201
00:09:47,480 --> 00:09:52,216
Pa se čini kako bi čak i puke glasine
o ovakvoj vrsti probitka

202
00:09:52,240 --> 00:09:54,616
mogle prouzročiti našu vrstu da poludi.

203
00:09:54,640 --> 00:09:57,536
Sad, jedna od najviše
zastrašujućih stvari,

204
00:09:57,560 --> 00:10:00,336
kako ja to vidim, u ovom trenutku,

205
00:10:00,360 --> 00:10:04,656
su stvari koje istraživači AI govore

206
00:10:04,680 --> 00:10:06,240
kada žele biti ohrabrujući.

207
00:10:07,000 --> 00:10:10,456
A najčešći razlog za bezbrižnost
koji navode je vrijeme.

208
00:10:10,480 --> 00:10:12,536
To je sve daleko,
ne znaš li?

209
00:10:12,560 --> 00:10:15,000
To je vjerojatno 50 ili 100 godina od nas.

210
00:10:15,720 --> 00:10:16,976
Jedan je istraživač rekao:

211
00:10:17,000 --> 00:10:18,576
"Brinuti se oko sigurnosti AI

212
00:10:18,600 --> 00:10:20,880
je poput brige
o prekomjernoj populaciji na Marsu."

213
00:10:22,116 --> 00:10:23,736
To je verzija iz Silicijske doline

214
00:10:23,760 --> 00:10:26,136
one: "nemoj brinuti
svoju lijepu malu glavu sa time."

215
00:10:26,160 --> 00:10:27,496
(Smijeh)

216
00:10:27,520 --> 00:10:29,416
Izgleda kako nitko ne primjećuje

217
00:10:29,440 --> 00:10:32,056
kako je oslanjanje na vremenski horizont

218
00:10:32,080 --> 00:10:34,656
potpuni non sequitur.

219
00:10:34,680 --> 00:10:37,936
Ako je inteligencija samo pitanje
procesiranja informacija,

220
00:10:37,960 --> 00:10:40,616
te ako nastavimo
unapređivati naše strojeve,

221
00:10:40,640 --> 00:10:43,520
stvorit ćemo
neki oblik superinteligencije.

222
00:10:44,320 --> 00:10:47,976
A nemamo pojma
koliko će nam dugo trebati

223
00:10:48,000 --> 00:10:50,400
stvoriti uvjete
kako bismo to učinili sigurno.

224
00:10:52,200 --> 00:10:53,496
Dajte da to kažem ponovo.

225
00:10:53,520 --> 00:10:57,336
Nemamo pojma
koliko će nam dugo trebati

226
00:10:57,360 --> 00:10:59,600
stvoriti uvjete
kako bismo to učinili sigurno.

227
00:11:00,920 --> 00:11:04,376
A ako niste primijetili,
50 godina nije što je nekad bilo.

228
00:11:04,400 --> 00:11:06,856
Ovo je 50 godina u mjesecima.

229
00:11:06,880 --> 00:11:08,720
Ovo je koliko dugo imamo iPhone.

230
00:11:09,440 --> 00:11:12,040
Ovo je koliko dugo su
"Simpsoni" na televiziji.

231
00:11:12,680 --> 00:11:15,056
Pedeset godina nije tako puno vremena

232
00:11:15,080 --> 00:11:18,240
za sučeliti se sa jednim od
najvećih izazova koje će naša vrsta ikad imati.

233
00:11:19,640 --> 00:11:23,656
Još jednom, izgleda da ne uspijevamo
imati prikladan emotivni odgovor

234
00:11:23,680 --> 00:11:26,376
za što imamo
svaki razlog vjerovati kako dolazi.

235
00:11:26,400 --> 00:11:30,376
Računalni znanstvenik Stuart Russell
ovdje pravi zgodnu analogiju.

236
00:11:30,400 --> 00:11:35,296
On kaže, zamislite kako smo primili
poruku od vanzemaljske civilizacije,

237
00:11:35,320 --> 00:11:37,016
koja piše:

238
00:11:37,040 --> 00:11:38,576
"Ljudi Zemlje,

239
00:11:38,600 --> 00:11:40,960
stići ćemo na vaš planet za 50 godina.

240
00:11:41,800 --> 00:11:43,376
Pripremite se."

241
00:11:43,400 --> 00:11:47,656
I sad mi samo brojimo
mjesece dok matični brod ne sleti?

242
00:11:47,680 --> 00:11:50,680
Osjećali bismo malo veću
hitnost nego što osjećamo.

243
00:11:52,680 --> 00:11:54,536
Još jedan razlog
što nam govore da ne brinemo

244
00:11:54,560 --> 00:11:57,576
je kako si ti strojevi
ne mogu pomoći da ne dijele naše vrijednosti

245
00:11:57,600 --> 00:12:00,216
jer će doslovno biti
produžeci nas samih.

246
00:12:00,240 --> 00:12:02,056
Bit će usađeni u naše mozgove,

247
00:12:02,080 --> 00:12:04,440
a mi ćemo u biti
postati njihov limbički sustav.

248
00:12:05,120 --> 00:12:06,536
sad uzmite trenutak pa razmislite

249
00:12:06,560 --> 00:12:09,736
kako je najsigurniji
i jedini razborit put naprijed,

250
00:12:09,760 --> 00:12:11,096
preporučeno,

251
00:12:11,120 --> 00:12:13,920
ugraditi tu tehnologiju
izravno u naše mozgove.

252
00:12:14,600 --> 00:12:17,976
Sad, to može zapravo biti najsigurniji
i jedini razborit put nparijed,

253
00:12:18,000 --> 00:12:21,056
ali obično sigurnosni problemi
oko tehnologije

254
00:12:21,080 --> 00:12:24,736
moraju biti manje više izglađeni
prije nego ju zabijete u vlastitu glavu.

255
00:12:24,760 --> 00:12:26,776
(Smijeh)

256
00:12:26,800 --> 00:12:32,136
Dublji je problem što se
izgradnja superinteligentne AI

257
00:12:32,160 --> 00:12:33,896
čini vjerojatno lakšim

258
00:12:33,920 --> 00:12:35,776
nego izgradnja superinteligentne AI

259
00:12:35,800 --> 00:12:37,576
i imanje zaokružene neuroznanosti

260
00:12:37,600 --> 00:12:40,280
koja nam omogućuje da ju glatko
integriramo s našim umovima.

261
00:12:40,800 --> 00:12:43,976
A uzevši kako će kompanije
i vlade koje se bave ovim poslom

262
00:12:44,000 --> 00:12:47,656
vjerojatno percipirati
kako su u utrci protiv svih ostalih,

263
00:12:47,680 --> 00:12:50,936
uzevši kako je osvojiti ovu utrku
isto što i osvojiti svijet,

264
00:12:50,960 --> 00:12:53,416
pod pretpostavkom kako ga
nećete uništiti u slijedećem trenutku,

265
00:12:53,440 --> 00:12:56,056
onda se čini vjerojatnim
kako će što god je lakše učiniti

266
00:12:56,080 --> 00:12:57,280
biti učinjeno prvo.

267
00:12:58,560 --> 00:13:01,416
Sad, na nesreću,
nemam rješenje za ovaj problem,

268
00:13:01,440 --> 00:13:04,056
osim preporučiti kako bi više nas
trebalo razmišljati o njemu.

269
00:13:04,080 --> 00:13:06,456
Mislim kako trebamo nešto
poput Manhattan Projecta

270
00:13:06,480 --> 00:13:08,496
po pitanju umjetne inteligencije.

271
00:13:08,520 --> 00:13:11,256
Ne kako bismo je stvorili, jer
ćemo to neizbježno napraviti,

272
00:13:11,280 --> 00:13:14,616
već kako bismo razumjeli
kako izbjeći utrku u naoružanju

273
00:13:14,640 --> 00:13:18,136
te kako ju sagraditi na način
koji se podudara s našim interesima.

274
00:13:18,160 --> 00:13:20,296
Kad pričate o 
superinteligentnoj AI

275
00:13:20,320 --> 00:13:22,576
koja može raditi preinake sebi samoj,

276
00:13:22,600 --> 00:13:27,216
čini se kako imamo samo jednu priliku
za posložiti ispravne početne uvjete,

277
00:13:27,240 --> 00:13:29,296
a čak i tada ćemo trebati upiti

278
00:13:29,320 --> 00:13:32,360
ekonomske i političke 
posljedice slaganja takvih uvjeta.

279
00:13:33,760 --> 00:13:35,816
Ali trenutak u kojem priznamo

280
00:13:35,840 --> 00:13:39,840
kako je obrada informacija
izvor inteligencije,

281
00:13:40,720 --> 00:13:45,520
kako je neki prikladan račualni sustav
ono na čemu se inteligencija temelji,

282
00:13:46,360 --> 00:13:50,120
te priznamo kako ćemo
trajno unaprijeđivati te sustave,

283
00:13:51,280 --> 00:13:55,736
te priznamo kako horizont
spoznaje vrlo vjerojatno daleko premašuje

284
00:13:55,760 --> 00:13:56,960
što trenutno znamo,

285
00:13:58,120 --> 00:13:59,336
onda moramo priznati

286
00:13:59,360 --> 00:14:02,000
kako smo u postupku
izgradnje neke vrste boga.

287
00:14:03,400 --> 00:14:04,976
Sad bi bilo dobro vrijeme

288
00:14:05,000 --> 00:14:06,953
osigurati da to bude bog
s kakvim možemo živjeti.

289
00:14:08,120 --> 00:14:09,656
Hvala Vam puno.

290
00:14:09,680 --> 00:14:14,773
(Pljesak)