1
00:00:00,570 --> 00:00:04,777
Ja radim sa grupom matematičara,
filozofa i informatičara

2
00:00:04,777 --> 00:00:09,986
i mi, između ostalog, sedimo
i razmišljamo o budućnosti

3
00:00:09,986 --> 00:00:12,030
mašinske inteligencije.

4
00:00:12,030 --> 00:00:16,755
Neki misle da su neke od ovih stvari
kao naučna fantastika,

5
00:00:16,755 --> 00:00:19,856
uvrnute, lude.

6
00:00:19,856 --> 00:00:21,326
Ali ja volim da kažem:

7
00:00:21,326 --> 00:00:24,930
pogledajmo kako izgleda moderni čovek.

8
00:00:24,930 --> 00:00:26,622
(Smeh)

9
00:00:26,622 --> 00:00:29,024
Normalno je da bude ovako.

10
00:00:29,024 --> 00:00:31,309
Ali ako razmislimo,

11
00:00:31,309 --> 00:00:34,602
mi smo, kao ljudska vrsta,
skoro pristigli gosti

12
00:00:34,602 --> 00:00:36,684
na ovoj planeti.

13
00:00:36,684 --> 00:00:41,430
Zamislite da je Zemlja nastala
pre godinu dana.

14
00:00:41,430 --> 00:00:44,978
Ljudska vrsta bi onda
bila stara 10 minuta,

15
00:00:44,978 --> 00:00:48,146
a industrijsko doba je počelo
pre dve sekunde.

16
00:00:49,276 --> 00:00:51,501
Drugi način da predstavimo ovo

17
00:00:51,501 --> 00:00:54,501
jeste da pogledamo svetski BDP
u poslednjih 10.000 godina.

18
00:00:54,501 --> 00:00:57,530
Potrudio sam se
da vam ovo predstavim grafički.

19
00:00:57,530 --> 00:00:59,304
To izgleda ovako.

20
00:00:59,304 --> 00:01:00,667
(Smeh)

21
00:01:00,667 --> 00:01:02,818
U normalnoj situaciji,
to je neobičan oblik.

22
00:01:02,818 --> 00:01:05,316
Sigurno ne bih voleo da sednem na njega.

23
00:01:05,316 --> 00:01:07,067
(Smeh)

24
00:01:07,067 --> 00:01:11,841
Zapitajmo se: šta je razlog
ove savremene anomalije?

25
00:01:11,841 --> 00:01:14,393
Neki bi rekli da je to tehnologija.

26
00:01:14,393 --> 00:01:19,061
Istina je, tehnologija se nagomilala
tokom ljudske istorije,

27
00:01:19,061 --> 00:01:23,713
a sada napreduje ekstremno brzo.

28
00:01:23,713 --> 00:01:25,278
To je neposredan uzrok,

29
00:01:25,278 --> 00:01:27,843
zbog toga smo toliko produktivni.

30
00:01:28,473 --> 00:01:32,134
Ali želeo bih da se vratim unazad
do prvobitnog uzroka.

31
00:01:33,114 --> 00:01:36,880
Pogledajte ova dva cenjena gospodina.

32
00:01:36,880 --> 00:01:38,480
Imamo Kanzija -

33
00:01:38,480 --> 00:01:43,123
on je ovladao sa 200 leksičkih simbola,
što je neverovatan podvig.

34
00:01:43,123 --> 00:01:46,817
A Ed Viten je pokrenuo drugu
revoluciju superstruna.

35
00:01:46,817 --> 00:01:49,141
Ako pogledamo ispod haube,
pronaći ćemo ovo:

36
00:01:49,141 --> 00:01:50,711
u osnovi istu stvar.

37
00:01:50,711 --> 00:01:52,524
Jedna je malo veća

38
00:01:52,524 --> 00:01:55,282
i možda ima par trikova
u načinu na koji je povezana.

39
00:01:55,282 --> 00:01:59,094
Ove nevidljive razlike ne mogu biti
previše komplikovane,

40
00:01:59,094 --> 00:02:03,379
jer je prošlo samo 250.000 generacija

41
00:02:03,379 --> 00:02:05,361
od našeg poslednjeg zajedničkog pretka.

42
00:02:05,361 --> 00:02:08,960
Znamo da komplikovanim mehanizmima
treba mnogo vremena da se razviju.

43
00:02:10,000 --> 00:02:12,499
Tako da skup relativno malih promena

44
00:02:12,499 --> 00:02:15,566
nas od Kanzija dovodi do Vitena,

45
00:02:15,566 --> 00:02:20,109
od slomljenih grana drveća,
do interkontinentalnih raketa.

46
00:02:20,839 --> 00:02:24,774
Onda izgleda prilično očigledno
da sve što smo postigli

47
00:02:24,774 --> 00:02:26,152
i sve što nam je važno

48
00:02:26,152 --> 00:02:31,380
zavisi od nekih relativno malih promena
koje su stvorile ljudski um.

49
00:02:32,650 --> 00:02:36,312
I onda, logično, sve dalje promene

50
00:02:36,312 --> 00:02:39,789
koje značajno menjaju osnovu mišljenja

51
00:02:39,789 --> 00:02:42,991
mogle bi imati potencijalno
ogromne posledice.

52
00:02:44,321 --> 00:02:47,226
Neke moje kolege misle
da se nalazimo nadomak

53
00:02:47,226 --> 00:02:51,134
nečega što bi moglo da prouzrokuje
duboku promenu u toj osnovi,

54
00:02:51,134 --> 00:02:54,347
a to je mašinska superinteligencija.

55
00:02:54,347 --> 00:02:59,086
Veštačka inteligencija je dosad bila
kutija u koju ste ubacivali komande.

56
00:02:59,086 --> 00:03:00,751
Ljudski programeri

57
00:03:00,751 --> 00:03:03,886
su brižljivo brusili kolekcije znanja.

58
00:03:03,886 --> 00:03:05,972
Razvijali su te ekspertske sisteme

59
00:03:05,972 --> 00:03:08,296
i oni su bili korisni za neke namene,

60
00:03:08,296 --> 00:03:10,977
ali su bili vrlo krhki,
niste mogli da ih podešavate.

61
00:03:10,977 --> 00:03:14,410
U suštini, dobijali ste samo
ono što ste već imali ubačeno.

62
00:03:14,410 --> 00:03:15,407
Ali od tada,

63
00:03:15,407 --> 00:03:18,874
desila se promena paradigme
na polju veštačke inteligencije.

64
00:03:18,874 --> 00:03:21,644
Danas se najviše radi na mašinskom učenju.

65
00:03:22,394 --> 00:03:27,781
Ne kreiramo imitacije znanja
i njegove komponente,

66
00:03:28,511 --> 00:03:34,065
već kreiramo algoritme koji uče
iz sirovih opažajnih podataka.

67
00:03:34,065 --> 00:03:39,063
U suštini, isto kao što
to radi novorođenče.

68
00:03:39,063 --> 00:03:43,270
Rezultat je veštačka inteligencija (V.I.)
koja nije ograničena na jednu oblast -

69
00:03:43,270 --> 00:03:47,901
isti sistem može da nauči da prevodi
između bilo koja dva jezika

70
00:03:47,901 --> 00:03:53,338
ili da nauči da igra
bilo koju igricu na Atariju.

71
00:03:53,338 --> 00:03:55,117
Naravno,

72
00:03:55,117 --> 00:03:59,116
V.I. je još uvek daleko od toga
da može kao i ljudi

73
00:03:59,116 --> 00:04:02,335
da uči i planira između
više oblasti istovremeno.

74
00:04:02,335 --> 00:04:04,461
Korteks ima neke algoritamske trikove

75
00:04:04,461 --> 00:04:07,146
koje još uvek ne znamo kako
da postignemo kod mašina.

76
00:04:07,886 --> 00:04:09,785
Tako da, pitanje je:

77
00:04:09,785 --> 00:04:13,285
koliko smo daleko od toga
da to postignemo?

78
00:04:14,245 --> 00:04:15,328
Pre nekoliko godina

79
00:04:15,328 --> 00:04:18,216
anketirali smo neke
vodeće stručnjake za V.I.

80
00:04:18,216 --> 00:04:21,440
da vidimo šta oni misle
i jedno od naših pitanja je bilo:

81
00:04:21,440 --> 00:04:24,793
"Do koje godine mislite
da postoji 50% šanse

82
00:04:24,793 --> 00:04:28,275
da ćemo kod mašina postići
inteligenciju koja je na nivou ljudske?"

83
00:04:28,785 --> 00:04:32,968
Definisali smo "ljudski nivo"
kao sposobnost da se obavi

84
00:04:32,968 --> 00:04:35,839
skoro svaki posao onako kao što
bi to uradila odrasla osoba.

85
00:04:35,839 --> 00:04:39,844
Znači, na pravom ljudskom nivou,
a ne u nekoj ograničenoj oblasti.

86
00:04:39,844 --> 00:04:43,494
I srednji odgovor je bio:
oko 2040. ili 2050,

87
00:04:43,494 --> 00:04:46,300
u zavisnosti od toga koju smo tačno
grupu stručnjaka pitali.

88
00:04:46,300 --> 00:04:50,339
Moglo bi da se desi i mnogo,
mnogo kasnije, ili ranije.

89
00:04:50,339 --> 00:04:52,279
U stvari, niko to ne zna.

90
00:04:53,259 --> 00:04:57,671
Ono što znamo je da se
konačna granica obrade informacija

91
00:04:57,671 --> 00:05:02,542
kod mašina nalazi daleko
izvan granica biološkog tkiva.

92
00:05:03,241 --> 00:05:05,619
Ovo se svodi na fiziku.

93
00:05:05,619 --> 00:05:10,337
Biološki neuron radi, možda,
na 200 herca, 200 puta u sekundi.

94
00:05:10,337 --> 00:05:13,931
Ali čak i današnji tranzistor
radi na jednom gigahercu.

95
00:05:13,931 --> 00:05:19,228
Neuroni se razmnožavaju sporo u aksonima -
najviše 100 m u sekundi.

96
00:05:19,228 --> 00:05:22,339
Ali u kompjuteru, signali mogu
da putuju brzinom svetlosti.

97
00:05:23,079 --> 00:05:24,948
Takođe postoje ograničenja u veličini,

98
00:05:24,948 --> 00:05:27,975
kao što ih ima ljudski mozak
da bi stao u lobanju,

99
00:05:27,975 --> 00:05:32,736
ali kompjuter može biti
veličine skladišta ili veći.

100
00:05:32,736 --> 00:05:38,335
Tako da potencijal superinteligencije
čeka uspavan,

101
00:05:38,335 --> 00:05:44,047
kao što je moć atoma
bila uspavana tokom ljudske istorije,

102
00:05:44,047 --> 00:05:48,452
strpljivo čekajući do 1945.

103
00:05:48,452 --> 00:05:49,700
U ovom veku,

104
00:05:49,700 --> 00:05:53,818
naučnici možda nauče da probude
moć veštačke inteligencije.

105
00:05:53,818 --> 00:05:57,826
I mislim da bismo tada mogli
da vidimo eksploziju inteligencije.

106
00:05:58,406 --> 00:06:02,363
Većina ljudi kad pomisli
šta je pametno, a šta glupo,

107
00:06:02,363 --> 00:06:05,386
mislim da u glavi ima sliku sličnu ovoj.

108
00:06:05,386 --> 00:06:07,984
Na jednom kraju imamo idiota,

109
00:06:07,984 --> 00:06:10,467
a daleko na drugom kraju

110
00:06:10,467 --> 00:06:15,223
imamo Eda Vitena, ili Alberta Ajnštajna,
ili nekog vašeg omiljenog gurua.

111
00:06:15,223 --> 00:06:19,057
Ali s tačke gledišta
veštačke inteligencije,

112
00:06:19,057 --> 00:06:22,738
prava slika više izgleda ovako:

113
00:06:23,258 --> 00:06:26,636
V.i. počinje u ovoj ovde tački,
na nultoj inteligenciji

114
00:06:26,636 --> 00:06:29,647
i onda, posle mnogo, mnogo
godina vrednog rada,

115
00:06:29,647 --> 00:06:33,491
možda konačno stignemo
do veštačke inteligencije na nivou miša,

116
00:06:33,491 --> 00:06:35,921
koja može da se kreće
u zakrčenim prostorima

117
00:06:35,921 --> 00:06:37,908
kao što to može miš.

118
00:06:37,908 --> 00:06:42,221
I zatim, posle još mnogo godina
vrednog rada i mnogo ulaganja,

119
00:06:42,221 --> 00:06:46,860
možda konačno stignemo do nivoa šimpanze,

120
00:06:46,860 --> 00:06:50,070
a posle još više godina vrednog rada,

121
00:06:50,070 --> 00:06:52,983
do nivoa veštačke inteligencije idiota.

122
00:06:52,983 --> 00:06:56,255
A nekoliko trenutaka kasnije,
pretekli smo Eda Vitena.

123
00:06:56,255 --> 00:06:59,225
Voz se neće zaustaviti
kad pretekne ljude,

124
00:06:59,225 --> 00:07:02,247
već će najverovatnije,
samo prošišati pored.

125
00:07:02,247 --> 00:07:04,231
Ovo ima suštinske posledice,

126
00:07:04,231 --> 00:07:08,093
naročito što se tiče pitanja moći.

127
00:07:08,093 --> 00:07:09,992
Na primer, šimpanze su snažne -

128
00:07:09,992 --> 00:07:15,214
šimpanza je oko dva puta
snažnija od čoveka.

129
00:07:15,214 --> 00:07:19,828
Pa ipak, sudbina Kanzija
i njegovih drugara zavisi više

130
00:07:19,828 --> 00:07:23,968
od toga šta mi ljudi radimo,
nego od toga šta šimpanze rade.

131
00:07:25,228 --> 00:07:27,542
Kad se pojavi superinteligencija,

132
00:07:27,542 --> 00:07:31,381
sudbina čovečanstva može zavisiti od toga
šta superinteligencija radi.

133
00:07:32,451 --> 00:07:33,508
Razmislite:

134
00:07:33,508 --> 00:07:38,552
mašinska inteligencija je poslednji izum
koji će čovečanstvo morati da napravi.

135
00:07:38,552 --> 00:07:41,525
Mašine će tada biti bolje
u pronalazaštvu od nas

136
00:07:41,525 --> 00:07:44,065
i to će raditi u digitalnim
vremenskim rokovima.

137
00:07:44,065 --> 00:07:48,966
To u suštini znači skraćivanje budućnosti.

138
00:07:48,966 --> 00:07:52,524
Pomislite na svu neverovatnu tehnologiju
koju možete da zamislite

139
00:07:52,524 --> 00:07:55,322
da bi ljudi mogli da razviju kroz vreme:

140
00:07:55,322 --> 00:07:58,580
lek protiv starenja, kolonizaciju svemira,

141
00:07:58,580 --> 00:08:02,311
samoreplikaciju nanorobota
ili čuvanje umova u kompjuterima,

142
00:08:02,311 --> 00:08:04,470
raznorazne stvari iz naučne fantastike

143
00:08:04,470 --> 00:08:07,207
koje su ipak u skladu sa zakonima fizike.

144
00:08:07,207 --> 00:08:11,419
Sve to bi superinteligencija mogla
da napravi, i to verovatno jako brzo.

145
00:08:12,449 --> 00:08:16,007
Superinteligecija s takvom
tehnološkom zrelošću

146
00:08:16,007 --> 00:08:18,186
bila bi izuzetno moćna

147
00:08:18,186 --> 00:08:22,732
i, barem po nekim scenarijima,
mogla bi da dobije šta hoće.

148
00:08:22,732 --> 00:08:28,393
Onda bismo imali budućnost
koja bi bila oblikovana po želji te V.I.

149
00:08:29,855 --> 00:08:33,604
Sada je pitanje: kakve su te želje?

150
00:08:34,244 --> 00:08:36,013
Ovde nastaje začkoljica.

151
00:08:36,013 --> 00:08:37,448
Da bismo napredovali dalje,

152
00:08:37,448 --> 00:08:40,724
moramo prvo da izbegnemo antropomorfnost.

153
00:08:41,934 --> 00:08:45,235
To je ironično,
jer svaki novinski članak

154
00:08:45,235 --> 00:08:49,090
o budućnosti V.I. zamišlja ovo:

155
00:08:50,280 --> 00:08:54,414
Mislim da bi trebalo da zamislimo
problem apstraktnije,

156
00:08:54,414 --> 00:08:57,204
a ne kao živopisni holivudski scenario.

157
00:08:57,204 --> 00:09:00,821
Moramo da posmatramo inteligenciju
kao proces optimizacije,

158
00:09:00,821 --> 00:09:06,470
proces koji vodi budućnost
u određeni set konfiguracija.

159
00:09:06,470 --> 00:09:09,981
Superinteligencija je vrlo
snažan proces optimizacije.

160
00:09:09,981 --> 00:09:14,098
Izuzetno je dobra u korišćenju
dostupnih sredstava da postigne stanje

161
00:09:14,098 --> 00:09:16,007
u kome je njen cilj ostvaren.

162
00:09:16,447 --> 00:09:19,119
To znači da ne postoji
obavezno veza između:

163
00:09:19,119 --> 00:09:21,853
biti visoko inteligentan u ovom smislu

164
00:09:21,853 --> 00:09:26,515
i imati cilj koji mi ljudi
smatramo važnim ili smislenim.

165
00:09:27,321 --> 00:09:31,115
Pretpostavimo da damo V.I.
zadatak da nasmeje ljude.

166
00:09:31,115 --> 00:09:34,097
Kada je V.I. slaba, ona izvodi
korisne ili zabavne radnje

167
00:09:34,097 --> 00:09:36,614
koje prouzrokuju osmeh kod korisnika.

168
00:09:36,614 --> 00:09:39,031
Kada V.I. postane superinteligentna,

169
00:09:39,031 --> 00:09:42,554
ona shvata da postoji efikasniji način
da postigne taj cilj,

170
00:09:42,554 --> 00:09:44,476
a to je da preuzme kontrolu nad svetom

171
00:09:44,476 --> 00:09:47,638
i prikači elektrode
na mišiće ljudskih lica

172
00:09:47,638 --> 00:09:50,579
da bi proizvela konstantne kezove.

173
00:09:50,579 --> 00:09:51,614
Drugi primer je:

174
00:09:51,614 --> 00:09:54,997
pretpostavimo da V. I. damo zadatak
da reši težak matetematički problem.

175
00:09:54,997 --> 00:09:56,934
Kad V.I. postane superinteligentna,

176
00:09:56,934 --> 00:10:01,105
shvati da je najefikasniji način
za rešenje ovog problema

177
00:10:01,105 --> 00:10:04,035
da transformiše planetu
u džinovski kompjuter,

178
00:10:04,035 --> 00:10:06,281
kako bi uvećala svoj
kapacitet za razmišljanje.

179
00:10:06,281 --> 00:10:09,205
To daje veštačkoj inteligenciji
instrumentalni razlog

180
00:10:09,205 --> 00:10:11,561
da nam radi stvari s kojima se
možda ne slažemo.

181
00:10:11,561 --> 00:10:13,496
Ljudska bića su pretnja u ovom modelu,

182
00:10:13,496 --> 00:10:16,417
mogli bi da budu prepreka
za rešavanje matematičkog problema.

183
00:10:17,207 --> 00:10:20,701
Naravno, stvari neće krenuti loše
baš na ovaj način;

184
00:10:20,701 --> 00:10:22,454
ovo su primeri iz crtanog filma.

185
00:10:22,454 --> 00:10:24,393
Ali ovde je važna poenta:

186
00:10:24,393 --> 00:10:27,266
ako kreirate veoma moćan
proces optimizacije

187
00:10:27,266 --> 00:10:29,500
da se postigne
maksimalan učinak za cilj X,

188
00:10:29,500 --> 00:10:31,776
onda neka vaša definicija X-a

189
00:10:31,776 --> 00:10:34,245
obavezno uključi sve ono
do čega vam je stalo.

190
00:10:34,835 --> 00:10:39,219
Ovo je lekcija kojoj nas takođe
uči i jedan mit.

191
00:10:39,219 --> 00:10:44,517
Kralj Mida poželi da sve što dodirne
bude pretvoreno u zlato.

192
00:10:44,517 --> 00:10:47,378
I tako, dodirne ćerku
i ona se pretvori u zlato.

193
00:10:47,378 --> 00:10:49,931
Dodirne hranu i ona se pretvori u zlato.

194
00:10:49,931 --> 00:10:52,520
To može biti relevantno i u praksi,

195
00:10:52,520 --> 00:10:54,630
ne samo kao metafora za pohlepu,

196
00:10:54,630 --> 00:10:56,845
već i kao ilustracija
za ono što bi se desilo

197
00:10:56,845 --> 00:10:59,322
ako pogrešno kreirate
moćan proces optimizacije

198
00:10:59,322 --> 00:11:04,111
ili loše formulišete ciljeve.

199
00:11:04,111 --> 00:11:09,300
Mogli biste reći: pa ako kompjuter počne
da kači elektrode ljudima na lica,

200
00:11:09,300 --> 00:11:11,565
prosto ćemo ga isključiti.

201
00:11:12,555 --> 00:11:17,895
Pod A: to možda ne bi bilo tako lako,
ako bismo bili zavisni od sistema -

202
00:11:17,895 --> 00:11:20,627
na primer: gde je prekidač
za gašenje interneta?

203
00:11:20,627 --> 00:11:25,747
Pod B: zašto šimpanze nisu isključile
prekidač čovečanstvu,

204
00:11:25,747 --> 00:11:27,298
ili Neandertalci?

205
00:11:27,298 --> 00:11:29,964
Sigurno ima razloga.

206
00:11:29,964 --> 00:11:32,759
Imamo prekidač za gašenje:
na primer, ovde.

207
00:11:32,759 --> 00:11:34,313
(Gušenje)

208
00:11:34,313 --> 00:11:37,038
Razlog je to što smo mi
inteligentan neprijatelj;

209
00:11:37,038 --> 00:11:39,966
možemo predvideti pretnje
i planirati kako da ih izbegnemo.

210
00:11:39,966 --> 00:11:42,470
Ali to može i predstavnik
superinteligencije,

211
00:11:42,470 --> 00:11:45,724
i bio bi mnogo bolji u tome od nas.

212
00:11:45,724 --> 00:11:52,911
Poenta je da ne treba da budemo
tako sigurni da imamo kontrolu ovde.

213
00:11:52,911 --> 00:11:55,748
Mogli bismo da pokušamo
da malo olakšamo posao

214
00:11:55,748 --> 00:11:58,048
tako što ćemo, recimo,
staviti V.I. u kutiju,

215
00:11:58,048 --> 00:11:59,744
kao bezbedno okruženje za softver,

216
00:11:59,744 --> 00:12:02,766
simulaciju virtuelne realnosti
iz koje ona ne može pobeći.

217
00:12:02,766 --> 00:12:06,912
Ali koliko možemo biti sigurni
da V.I. neće naći rupu?

218
00:12:06,912 --> 00:12:10,081
S obzirom da ljudski hakeri
stalno nalaze rupe,

219
00:12:10,081 --> 00:12:13,117
ja ne bih bio tako siguran.

220
00:12:14,237 --> 00:12:18,785
Isključimo eternet kabl
da bismo stvorili vazdušni zid,

221
00:12:18,785 --> 00:12:21,453
ali, kao obični ljudski hakeri,

222
00:12:21,453 --> 00:12:24,834
rutinski preskačemo vazdušne zidove
pomoću socijalnog inženjeringa.

223
00:12:24,834 --> 00:12:26,093
Upravo sada, dok govorim,

224
00:12:26,093 --> 00:12:28,482
siguran sam da negde
postoji neki zaposleni

225
00:12:28,482 --> 00:12:31,828
koga neko nagovara
da mu da podatke o svom računu,

226
00:12:31,828 --> 00:12:34,574
neko ko se predstavlja
da je iz IT sektora.

227
00:12:34,574 --> 00:12:36,701
Ima još mogućih kreativnih scenarija,

228
00:12:36,701 --> 00:12:38,596
kao na primer,
ako ste vi V.I.,

229
00:12:38,596 --> 00:12:41,548
možete zamisliti elektrode
u vašem unutrašnjem sistemu

230
00:12:41,548 --> 00:12:45,010
koje stvaraju radio talase
koje možete koristiti za komunikaciju.

231
00:12:45,010 --> 00:12:47,434
Ili možete da se pretvarate
da ste pokvareni

232
00:12:47,434 --> 00:12:50,931
i kada vas programeri otvore
da vide šta nije u redu,

233
00:12:50,931 --> 00:12:52,867
vide izvorni kod

234
00:12:52,867 --> 00:12:55,314
i manipulacija može da se desi.

235
00:12:55,314 --> 00:12:58,744
Ili može da prenese šemu
na pogodan tehnološki uređaj

236
00:12:58,744 --> 00:13:00,142
i kada je sprovedemo,

237
00:13:00,142 --> 00:13:04,539
ima podrivajući efekat
koji je V.I. planirala.

238
00:13:04,539 --> 00:13:08,002
Poenta je da treba da budemo sigurni

239
00:13:08,002 --> 00:13:11,810
da ćemo držati superinteligentnog duha
zaključanog u boci zauvek.

240
00:13:11,810 --> 00:13:14,064
Pre ili kasnije će izaći.

241
00:13:15,034 --> 00:13:18,137
Mislim da je odgovor to da shvatimo

242
00:13:18,137 --> 00:13:23,161
kako da napravimo V.I. tako da,
čak i ako pobegne

243
00:13:23,161 --> 00:13:26,438
budemo bezbedni
jer je suštinski na našoj strani

244
00:13:26,438 --> 00:13:28,337
jer deli naše vrednosti.

245
00:13:28,337 --> 00:13:31,547
Ne vidim drugo rešenje
za ovaj težak problem.

246
00:13:32,557 --> 00:13:36,391
Ali sam optimista da ovaj problem
može da se reši.

247
00:13:36,391 --> 00:13:40,294
Ne bismo morali da pišemo dugu listu
svega onoga do čega nam je stalo

248
00:13:40,294 --> 00:13:43,937
ili, još gore, pišemo to
na nekom kompjuterskom jeziku

249
00:13:43,937 --> 00:13:45,391
kao što je C++ ili Pajton,

250
00:13:45,391 --> 00:13:48,158
što bi bio beznadežan zadatak.

251
00:13:48,158 --> 00:13:52,455
Umesto toga, napravili bismo V.I.
koja koristi svoju inteligenciju

252
00:13:52,455 --> 00:13:55,226
da nauči šta mi vrednujemo

253
00:13:55,226 --> 00:14:00,506
i čiji motivacioni sistem
je konstruisan tako da je motivisan

254
00:14:00,506 --> 00:14:05,738
da sledi naše vrednosti ili obavlja radnje
za koje predviđa da ih mi odobravamo.

255
00:14:05,738 --> 00:14:09,152
Tako bismo iskoristili njenu inteligenciju
što je više moguće

256
00:14:09,152 --> 00:14:11,897
da rešimo problem prenošenja vrednosti.

257
00:14:12,727 --> 00:14:14,239
Ovo može da se desi

258
00:14:14,239 --> 00:14:17,835
i ishod bi bio veoma dobar za čovečanstvo.

259
00:14:17,835 --> 00:14:21,792
Ali to se ne dešava automatski.

260
00:14:21,792 --> 00:14:24,790
Početni uslovi za eksploziju inteligencije

261
00:14:24,790 --> 00:14:27,653
možda treba da budu postavljeni
na tačno određen način

262
00:14:27,653 --> 00:14:31,183
ako želimo da imamo
kontrolisanu detonaciju.

263
00:14:31,183 --> 00:14:33,801
Vrednosti V.I koje treba da
se poklope sa našim

264
00:14:33,801 --> 00:14:35,561
nisu samo u poznatim kontekstima,

265
00:14:35,561 --> 00:14:37,999
gde možemo lako proveriti
kako se V.I. ponaša,

266
00:14:37,999 --> 00:14:41,233
nego i u novim kontekstima
u kojima se V.I. može naći

267
00:14:41,233 --> 00:14:42,790
u neodređenoj budućnosti.

268
00:14:42,790 --> 00:14:47,527
Postoje i neka ezoterična pitanja
koja bi trebalo rešiti:

269
00:14:47,527 --> 00:14:49,616
tačne detalje njene teorije odlučivanja,

270
00:14:49,616 --> 00:14:52,480
kako rešiti logičku nesigurnost itd.

271
00:14:53,330 --> 00:14:56,752
Tako da tehnički problemi koje bi
trebalo rešiti da bi ovo funkcionisalo

272
00:14:56,752 --> 00:14:58,025
izgledaju prilično teški -

273
00:14:58,025 --> 00:15:00,925
ne toliko kao pravljenje
superinteligentne V.I.,

274
00:15:00,925 --> 00:15:03,793
ali prilično teški.

275
00:15:03,793 --> 00:15:05,488
Problem je u sledećem:

276
00:15:05,488 --> 00:15:10,172
Napraviti superinteligentnu V.I.
je vrlo težak izazov.

277
00:15:10,172 --> 00:15:12,720
Pravljenje superinteligentne V.I.
koja je bezbedna

278
00:15:12,720 --> 00:15:15,136
uključuje još neke dodatne teškoće.

279
00:15:16,216 --> 00:15:19,703
Postoji rizik da neko otkrije
kako da razbije prvu teškoću,

280
00:15:19,703 --> 00:15:22,704
a da nije razbio i dodatnu teškoću

281
00:15:22,704 --> 00:15:24,605
obezbeđivanja savršene bezbednosti.

282
00:15:25,375 --> 00:15:28,706
Mislim da bi trebalo da nađemo rešenje

283
00:15:28,706 --> 00:15:31,528
za kontrolu problema unapred

284
00:15:31,528 --> 00:15:34,188
da bismo ga imali na raspolaganju
kad dođe vreme.

285
00:15:34,768 --> 00:15:38,275
Ali možda ne možemo da rešimo
ceo problem kontrole unapred,

286
00:15:38,275 --> 00:15:41,299
jer možda neki elementi mogu da se ubace

287
00:15:41,299 --> 00:15:45,296
tek kad znamo detaljnu strukturu
na kojoj bi bilo primenjeno.

288
00:15:45,296 --> 00:15:48,676
Ali što veći deo problema kontrole
rešimo unapred,

289
00:15:48,676 --> 00:15:52,766
to su bolje šanse da će tranzicija
ka dobu mašinske inteligencije

290
00:15:52,766 --> 00:15:54,306
proteći dobro

291
00:15:54,306 --> 00:15:58,950
To mi izgleda kao stvar
koju bi vredelo uraditi

292
00:15:58,950 --> 00:16:02,282
i mogu da zamislim
da ako stvari ispadnu okej,

293
00:16:02,282 --> 00:16:06,940
ljudi će za milion godina
pogledati unazad na ovo doba

294
00:16:06,940 --> 00:16:10,942
i možda će reći da je
ono što je bilo zaista važno

295
00:16:10,942 --> 00:16:12,789
bilo to da smo ovo uradili dobro.

296
00:16:12,789 --> 00:16:14,308
Hvala vam.

297
00:16:14,308 --> 00:16:17,011
(Aplauz)