1
00:00:00,570 --> 00:00:04,777
Több matematikussal, filozófussal 
és számítógépes szakemberrel dolgozom,

2
00:00:04,777 --> 00:00:09,986
akikkel együtt gondolkodunk 
a gépi intelligencia, értelem jövőjéről

3
00:00:09,986 --> 00:00:12,030

és számos más kérdésről.

4
00:00:12,030 --> 00:00:14,655
Néhányan azt gondolják, 
egyes kérdéseink

5
00:00:14,655 --> 00:00:19,206
sci-fibe illő, elvont őrültségek.

6
00:00:19,206 --> 00:00:21,326
Rendben, szoktam mondani, 
de nézzük meg,

7
00:00:21,326 --> 00:00:25,290
milyen ma az ember helyzete.

8
00:00:25,300 --> 00:00:26,622
(Nevetés)

9
00:00:26,622 --> 00:00:29,024
Ez a szokásos állapot, 
ahogy annak lennie kell.

10
00:00:29,024 --> 00:00:31,309
Ám ha utánagondolunk, mi, emberek

11
00:00:31,309 --> 00:00:33,922
csak nemrég érkezett vendégek vagyunk

12
00:00:33,922 --> 00:00:36,104
ezen a bolygón.

13
00:00:36,104 --> 00:00:41,430
Képzeljük el, hogy a Föld 
csak egy éve jött lére,

14
00:00:41,430 --> 00:00:44,978
így az emberi faj tíz perce létezne.

15
00:00:44,978 --> 00:00:48,146
Az ipari korszak csak 
két másodperce kezdődött.

16
00:00:49,276 --> 00:00:54,501
Máshonnan nézve a kérdést, gondoljunk 
a világ elmúlt 10 000 évi GDP-jére.

17
00:00:54,501 --> 00:00:57,770
Vettem magamnak a fáradságot,

18
00:00:57,770 --> 00:00:59,944
és készítettem önöknek egy grafikont. Íme!

19
00:00:59,944 --> 00:01:00,667
(Nevetés)

20
00:01:00,667 --> 00:01:03,548
Egy normál állapothoz képest 
elég furcsa görbe.

21
00:01:03,548 --> 00:01:05,326
Hát, én biztos nem szeretnék ráülni.

22
00:01:05,326 --> 00:01:07,067
(Nevetés)

23
00:01:07,067 --> 00:01:11,841
Tegyük fel magunknak a kérdést, 
mi az oka ennek a szabálytalanságnak?

24
00:01:11,841 --> 00:01:14,393
Néhányan a technológiát neveznék meg.

25
00:01:14,393 --> 00:01:19,061
Valóban, a technológiai megoldások 
egyre tökéletesedtek a történelem során,

26
00:01:19,061 --> 00:01:23,103
és éppen most a technológiai fejlődés

27
00:01:23,103 --> 00:01:25,278
hihetetlenül felgyorsult, 
ami közvetlen oka

28
00:01:25,278 --> 00:01:27,843
jelenlegi magas termelékenységünknek.

29
00:01:28,473 --> 00:01:32,134
De szeretnék jobban 
visszamenni a tényleges okig.

30
00:01:33,114 --> 00:01:36,880
Nézzük csak ezt a két kiváló urat!

31
00:01:36,880 --> 00:01:38,480
Itt van Kanzi,

32
00:01:38,480 --> 00:01:43,123
aki 200 nyelvi szimbólumot tanult meg, 
ami hihetetlen teljesítmény,

33
00:01:43,123 --> 00:01:46,817
és Ed Witten, aki elindította 
a második szuperhúr forradalmat.

34
00:01:46,817 --> 00:01:49,141
Ha benézünk a burkolat alá,

35
00:01:49,141 --> 00:01:50,711
ott alapvetően ugyanazt találjuk.

36
00:01:50,711 --> 00:01:52,524
Az egyikük kicsit nagyobb, s esetleg

37
00:01:52,524 --> 00:01:55,282
a kapcsolatokban is van 
egy-két trükkös megoldás.

38
00:01:55,282 --> 00:01:59,094
De ezek a láthatatlan különbségek 
nem lehetnek nagyon bonyolultak,

39
00:01:59,094 --> 00:02:03,379
mivel mi csupán 
250 000 nemzedéknyire vagyunk

40
00:02:03,379 --> 00:02:05,371
utolsó közös ősünktől.

41
00:02:05,371 --> 00:02:09,610
Tudjuk, hogy az összetett mechanizmusok 
kifejlődéséhez hosszú időre van szükség.

42
00:02:10,000 --> 00:02:12,499
Tehát jó néhány viszonylag kisebb változás

43
00:02:12,499 --> 00:02:15,566
elvezet Kanzitól Wittenig,

44
00:02:15,566 --> 00:02:20,109
a letört faágaktól az interkontinentális 
ballisztikus rakétákig.

45
00:02:20,839 --> 00:02:23,444
Ezért eléggé nyilvánvaló, hogy minden,

46
00:02:23,444 --> 00:02:26,772
amit elértünk, ami fontos számunkra,

47
00:02:26,772 --> 00:02:32,290
alapvetően pár kisebb változás eredménye,
melyek kialakították az emberi elmét.

48
00:02:32,650 --> 00:02:36,312
Következésképpen, 
minden további változásnak,

49
00:02:36,312 --> 00:02:38,599
ami jelentősen módosíthatja

50
00:02:38,599 --> 00:02:43,391
a gondolkodás alapjait, 
óriási kihatása lehet.

51
00:02:44,321 --> 00:02:47,226
Néhány kollégám szerint 
közel járunk valamihez,

52
00:02:47,226 --> 00:02:51,134
ami gyökeresen megváltoztathatja 
gondolkodásunk alapjait:

53
00:02:51,134 --> 00:02:54,347
ez pedig a gépi szuperértelem.

54
00:02:54,347 --> 00:02:57,906
A mesterséges intelligencia 
eddig azt jelentette,

55
00:02:57,906 --> 00:03:00,751
hogy parancsokat írunk egy dobozba.
A programozók egyesével,

56
00:03:00,751 --> 00:03:03,886
aprólékosan pötyögték be a tudnivalókat.

57
00:03:03,886 --> 00:03:05,972
Felépítettük a szakértői rendszereket,

58
00:03:05,972 --> 00:03:08,296
amelyek megfeleltek néhány célra,

59
00:03:08,296 --> 00:03:10,977
de nagyon merevek 
és skálázhatatlanok voltak.

60
00:03:10,977 --> 00:03:14,410
Alapvetően csak az jött ki, 
amit beletettünk.

61
00:03:14,410 --> 00:03:15,887
De azóta

62
00:03:15,887 --> 00:03:18,874
paradigmaváltás történt 
a mesterséges intelligencia területén.

63
00:03:18,874 --> 00:03:21,644
Ma már a gépi tanulásról 
szól a történet.

64
00:03:22,394 --> 00:03:27,961
Ismeretek manuális bütykölése helyett

65
00:03:28,511 --> 00:03:34,065
tanuló algoritmusokat alkotunk, 
gyakorta közvetlenül az észlelt adatokból.

66
00:03:34,065 --> 00:03:39,063
Tulajdonképpen úgy, 
ahogy a kisgyerekek csinálják.

67
00:03:39,063 --> 00:03:43,270
Az eredmény a mesterséges intelligencia 
(MI), mely nem korlátozódik egy területre:

68
00:03:43,270 --> 00:03:47,901
ugyanaz a rendszer megtanulhat 
bármely két nyelv között fordítani,

69
00:03:47,901 --> 00:03:52,588
vagy bármilyen számítógépes játékot
játszani egy Atari konzolon.

70
00:03:52,588 --> 00:03:55,347
Azért persze az MI-nek
még távolról sincs meg

71
00:03:55,347 --> 00:03:59,116
az a figyelemre méltó, 
több területet átfogó képessége,

72
00:03:59,116 --> 00:04:02,335
hogy ember módjára tanuljon és tervezzen.

73
00:04:02,335 --> 00:04:05,031
Az agykéregnek van 
néhány algoritmikus trükkje,

74
00:04:05,031 --> 00:04:07,726
melyet még nem tudunk gépekkel utánozni.

75
00:04:07,886 --> 00:04:09,785
Szóval az a kérdés,

76
00:04:09,785 --> 00:04:13,285
milyen messze vagyunk attól, 
hogy lemásoljuk ezeket a trükköket?

77
00:04:13,915 --> 00:04:15,678
Néhány éve felmérést végeztünk

78
00:04:15,688 --> 00:04:18,216
a világ néhány vezető 
MI szakértőjének bevonásával,

79
00:04:18,216 --> 00:04:21,440
hogy lássuk, mit gondolnak a jövőről. 
Egyik kérdésünk így szólt:

80
00:04:21,440 --> 00:04:24,793
''Mikorra gondolja, 
hogy 50%-os valószínűséggel meglesz

81
00:04:24,793 --> 00:04:28,275
az emberi szinvonalú gépi értelem?''

82
00:04:28,785 --> 00:04:32,968
Az emberi szintet úgy határoztuk meg, 
mint olyan képességet,

83
00:04:32,968 --> 00:04:35,839
amellyel egy felnőtt csaknem 
bármely tevékenységet

84
00:04:35,839 --> 00:04:39,844
egyformán jól elvégezhet,
nem csak egyszerű feladatokat.

85
00:04:39,844 --> 00:04:43,494
A válaszok mediánja, azaz középértéke 
2040 vagy 2050 volt,

86
00:04:43,494 --> 00:04:46,300
attól függően, melyik 
szakértői csoportot kérdeztük meg.

87
00:04:46,300 --> 00:04:50,339
Ez az esemény sokkal később 
vagy hamarabb is bekövetkezhet,

88
00:04:50,339 --> 00:04:52,279
igazság szerint senki sem tudja.

89
00:04:53,259 --> 00:04:57,791
Azt viszont tudjuk,
hogy a gépi információfeldolgozás

90
00:04:57,791 --> 00:05:02,872
végső lehetőségei jóval meghaladják 
az élő agyszövet korlátait.

91
00:05:03,241 --> 00:05:05,619
Ez fizikai alapokra vezethető vissza.

92
00:05:05,619 --> 00:05:10,337
Egy élő neuron legfeljebb 200 hertzcel 
sül ki, azaz egy másodperc alatt 200-szor.

93
00:05:10,337 --> 00:05:13,931
Ezzel szemben ma már egy tranzisztor 
is gigahertzes tartományban üzemel.

94
00:05:13,931 --> 00:05:19,228
A neuronok axonjai lassan, 
legföljebb 100 m/s sebességgel működnek.

95
00:05:19,228 --> 00:05:22,339
De a számítógépekben a jelek 
fénysebességgel terjedhetnek.

96
00:05:23,079 --> 00:05:24,948
És ott vannak a méret adta korlátok:

97
00:05:24,948 --> 00:05:27,975
az emberi agynak 
bele kell férnie a koponyába,

98
00:05:27,975 --> 00:05:32,736
de egy számítógép raktárméretű 
vagy még nagyobb is lehet.

99
00:05:32,736 --> 00:05:38,335
A szuperértelem lehetősége 
ott szunnyad az anyagban,

100
00:05:38,335 --> 00:05:44,047
akár az atomerő, amely a történelem során

101
00:05:44,047 --> 00:05:48,452
türelmesen várt ébredésére 1945-ig.

102
00:05:48,452 --> 00:05:49,700
Ebben az évszázadban

103
00:05:49,700 --> 00:05:53,818
a kutatók rájöhetnek, 
hogyan kell életre hívni az MI erejét.

104
00:05:53,818 --> 00:05:57,826
Úgy gondolom, intelligencia-robbanást 
láthatunk majd.

105
00:05:58,406 --> 00:06:02,363
A legtöbbünk, amikor arra gondol, 
mi az okosság és a butaság,

106
00:06:02,363 --> 00:06:05,386
szerintem nagyjából 
egy ilyen képet fest maga elé.

107
00:06:05,386 --> 00:06:07,984
A skála egyik végén ott a falu bolondja

108
00:06:07,984 --> 00:06:10,467
és valahol, jó messze a másik végén

109
00:06:10,467 --> 00:06:15,223
ott van Ed Witten vagy Albert Einstein, 
vagy bárki a kedvenc guruink közül.

110
00:06:15,223 --> 00:06:19,057
Szerintem a mesterséges 
intelligenciát illetően

111
00:06:19,057 --> 00:06:22,738
a valódi helyzet valószínűleg 
inkább így áll:

112
00:06:23,258 --> 00:06:26,636
Az MI itt kezdődik, 
a nulla intelligenciánál,

113
00:06:26,636 --> 00:06:29,647
aztán nagyon-nagyon sok év 
szorgalmas munkájával,

114
00:06:29,647 --> 00:06:33,491
talán eljutunk egy egér szintjének 
megfelelő mesterséges intelligenciához.

115
00:06:33,491 --> 00:06:35,921
Olyasmihez, ami eligazodik 
zsúfolt környezetben,

116
00:06:35,921 --> 00:06:37,908
úgy, mint azt egy egér teszi.

117
00:06:37,908 --> 00:06:42,221
Aztán még sokkal több év szívós
munkája, rengeteg befektetés árán

118
00:06:42,221 --> 00:06:46,860
talán elérjük 
egy csimpánz szintjének megfelelő MI-t.

119
00:06:46,860 --> 00:06:50,070
Majd még több évnyi 
nagyon-nagyon kitartó munkával

120
00:06:50,070 --> 00:06:52,983
elérjük a falu bolondjának MI szintjét.

121
00:06:52,983 --> 00:06:56,255
Csak egy pillanattal később 
már lekörözzük Ed Wittent.

122
00:06:56,255 --> 00:06:59,225
A vonat nem áll meg 
az Emberfalva állomáson,

123
00:06:59,225 --> 00:07:02,247
hanem valószínűleg átrobog rajta.

124
00:07:02,247 --> 00:07:04,231
Ennek pedig lényeges kihatásai vannak,

125
00:07:04,231 --> 00:07:07,573
főleg, ha már erőviszonyokról lesz szó.

126
00:07:07,573 --> 00:07:11,492
A csimpánzok például erősek.

127
00:07:11,492 --> 00:07:15,214
Súlyához képest a csimpánz kétszer 
olyan erős, mint egy jó erőben lévő férfi.

128
00:07:15,214 --> 00:07:19,828
Mégis, Kanzi és társai sorsa 
sokkal inkább attól függ,

129
00:07:19,828 --> 00:07:23,968
hogy mi, emberek mit teszünk, 
mint attól, hogy ők mit tesznek.

130
00:07:24,738 --> 00:07:27,542
Ha egyszer eljön a szuperértelem kora,

131
00:07:27,542 --> 00:07:31,381
az emberiség sorsa attól függhet, 
amit ez a szuperértelem művel.

132
00:07:31,511 --> 00:07:34,028
Gondoljunk csak bele! 
A gépi intelligencia lesz

133
00:07:34,028 --> 00:07:38,552
az utolsó találmány, amit 
nekünk kell kigondolnunk.

134
00:07:38,552 --> 00:07:41,525
A gépek jobb feltalálók lesznek, 
mint mi vagyunk,

135
00:07:41,525 --> 00:07:44,065
ráadásul digitális időkeretben működnek.

136
00:07:44,065 --> 00:07:48,376
Alapvetően ez a jövő 
felgyorsulását jelenti.

137
00:07:48,406 --> 00:07:52,444
Gondoljunk az összes elképzelhető, 
eszement technológiára,

138
00:07:52,454 --> 00:07:55,892
amelyeket ha elég időnk lenne, 
talán kifejleszthetnénk:

139
00:07:55,892 --> 00:07:58,410

az öregedés ellenszere, az űr meghódítása,

140
00:07:58,410 --> 00:08:02,581
önmagukat reprodukáló nanobotok, 
az emberi elme gépre történő feltöltése

141
00:08:02,581 --> 00:08:04,470

és még mindenféle sci-fibe illő ötlet,

142
00:08:04,470 --> 00:08:07,207
amelyek azért a fizikai 
törvényeknek nem mondanak ellent.

143
00:08:07,207 --> 00:08:12,309
Egy szuperértelem mindezt talán 
elég gyorsan ki tudná fejleszteni.

144
00:08:12,449 --> 00:08:16,007
Egy ilyen kifinomult technológiájú 
szuperértelemnek

145
00:08:16,007 --> 00:08:18,186
rendkívüli hatalma lenne, mellyel legalább

146
00:08:18,186 --> 00:08:22,732
néhány esetben el tudná érni, amit akar.

147
00:08:22,732 --> 00:08:28,393
A jövőnket ekkor ennek az MI-nek 
a szempontjai alakítanák.

148
00:08:29,855 --> 00:08:33,604
Jó kérdés, melyek is ezek a szempontok?

149
00:08:34,244 --> 00:08:36,013
Itt kezd rázóssá válni a dolog.

150
00:08:36,013 --> 00:08:37,448
Hogy valahová is eljussunk,

151
00:08:37,448 --> 00:08:40,724
először is el kell kerülnünk 
az antropomorfizálást.

152
00:08:41,934 --> 00:08:46,055
Ez azért ironikus, 
mert az MI jövőjéről szóló

153
00:08:46,055 --> 00:08:49,090
minden újságcikkben ilyen kép szerepel.

154
00:08:50,280 --> 00:08:54,414
A kérdéshez egy kicsit elvonatkoztatva 
kellene közelítenünk,

155
00:08:54,414 --> 00:08:57,204
nem a látványos hollywoodi 
forgatókönyvek alapján.

156
00:08:57,204 --> 00:09:00,821
Az értelmet optimalizálási 
eljárásként kell felfognunk,

157
00:09:00,821 --> 00:09:06,470
amely a jövőt bizonyos lehetséges 
kimenetek felé tereli.

158
00:09:06,470 --> 00:09:09,981
A szuperértelem tényleg 
nagyon jó optimalizációs eljárás,

159
00:09:09,981 --> 00:09:14,098
amely elképesztően ügyesen használja 
az elérhető eszközöket, hogy létrejöjjön

160
00:09:14,098 --> 00:09:16,007
a céljának megfelelő állapot.

161
00:09:16,447 --> 00:09:19,119
Ez azt jelenti, 
hogy nem szükségképpen kötődik

162
00:09:19,119 --> 00:09:21,853
az ebben az értelemben vett 
magas intelligenciához

163
00:09:21,853 --> 00:09:26,515
egy számunkra értékes 
vagy értelmes cél követése.

164
00:09:27,321 --> 00:09:31,115
Adjuk azt a feladatot egy MI-nek, 
hogy késztesse mosolyra az embereket!

165
00:09:31,115 --> 00:09:34,097
Amíg az MI még gyenge, 
hasznos vagy mulatságos dolgokat tesz,

166
00:09:34,097 --> 00:09:36,614
mosolyra fakasztva a felhasználót.

167
00:09:36,614 --> 00:09:39,031
Mire az MI szuperértelmes lesz, rájön,

168
00:09:39,031 --> 00:09:42,554
hogy sokkal hatékonyabban is 
elérheti célját:

169
00:09:42,554 --> 00:09:44,476
átveszi a világ fölötti uralmat,

170
00:09:44,476 --> 00:09:47,638
és elektródákat ültet be 
az emberek arcizmaiba,

171
00:09:47,638 --> 00:09:50,579
amelyek állandó vigyorra kényszerítenek.

172
00:09:50,579 --> 00:09:51,614
Egy másik példa:

173
00:09:51,614 --> 00:09:55,157
tegyük fel, egy bonyolult matematikai 
problémát kell megoldania az MI-nek.

174
00:09:55,157 --> 00:09:56,934
Amikor az MI szuperértelmes lesz,

175
00:09:56,934 --> 00:10:01,105
rájön, hogy a probléma 
leghatékonyabb megoldása

176
00:10:01,105 --> 00:10:04,035
a bolygó átalakítása 
egy hatalmas számítógéppé,

177
00:10:04,035 --> 00:10:06,281
hogy kiterjeszthesse 
gondolkodási képességét.

178
00:10:06,281 --> 00:10:09,045
Vegyük észre, 
hogy ez további jó ok az MI-nek,

179
00:10:09,045 --> 00:10:11,561
hogy olyat műveljen, 
amellyel mi nem értenénk egyet.

180
00:10:11,561 --> 00:10:13,786
Mi fenyegetjük őt ebben a modellben,

181
00:10:13,786 --> 00:10:16,997
mert akadályozhatjuk 
a matematikai probléma megoldását.

182
00:10:16,997 --> 00:10:20,701
Az események persze nem pont 
így mehetnek rossz irányba,

183
00:10:20,701 --> 00:10:22,454
ezek csak képregényszintű példák.

184
00:10:22,454 --> 00:10:24,393
Fontos viszont az általános tanulság:

185
00:10:24,393 --> 00:10:27,266
ha egy valóban jó 
optimalizálási eljárást alkotunk,

186
00:10:27,266 --> 00:10:29,500
amely x cél szerint maximalizál,

187
00:10:29,500 --> 00:10:31,776
akkor gondoskodjunk róla, 
hogy az x célkitűzés

188
00:10:31,776 --> 00:10:34,635
tartalmazza mindazt, ami fontos számunkra.

189
00:10:34,835 --> 00:10:39,219
Erről sokat mond Midász király mondája,

190
00:10:39,219 --> 00:10:44,517
aki azt kívánta, hogy amihez 
csak hozzáér, váljék arannyá.

191
00:10:44,517 --> 00:10:47,378
Megérinti a lányát, aki arannyá változik.

192
00:10:47,378 --> 00:10:49,801
Arannyá válik az étele is, 
amihez hozzányúl.

193
00:10:49,801 --> 00:10:51,210
A rege nem csak

194
00:10:51,210 --> 00:10:54,590
a mohóság metaforájaként értelmezhető,

195
00:10:54,590 --> 00:10:56,485
de annak bemutatásaként is,
mi történik,

196
00:10:56,485 --> 00:10:59,322
ha túl jól sikerül 
optimalizálnunk egy folyamatot,

197
00:10:59,322 --> 00:11:04,111
amelyhez rosszul felfogott
vagy homályos célokat rendeltünk.

198
00:11:04,111 --> 00:11:09,300
Mondhatnák persze, hogy ha egy gép
elektródákat akar a képünkbe dugdosni,

199
00:11:09,300 --> 00:11:11,565
majd egyszerűen kikapcsoljuk.

200
00:11:12,555 --> 00:11:17,895
De ezt nem olyan könnyű megtenni, 
ha már függővé váltunk a rendszertől.

201
00:11:17,895 --> 00:11:20,627
Ugyan már, hol az internet kikapcsolója?

202
00:11:20,627 --> 00:11:25,747
Miért nem kapcsolták ki 
a csimpánzok az emberiséget

203
00:11:25,747 --> 00:11:27,298
vagy a neandervölgyieket?

204
00:11:27,298 --> 00:11:29,964
Alapos okuk volt rá.

205
00:11:29,964 --> 00:11:32,759
Van nekünk is egy kikapcsolónk, 
például itt.

206
00:11:32,759 --> 00:11:34,313
(Fojtogatja magát)

207
00:11:34,313 --> 00:11:37,238
Az ok azonban az, hogy mi olyan
okos ellenfél vagyunk,

208
00:11:37,238 --> 00:11:39,966
amelyik előre látja a veszélyeket, 
és felkészül rájuk.

209
00:11:39,966 --> 00:11:42,470
De egy szuperértelmes szereplő is 
ezt tenné,

210
00:11:42,470 --> 00:11:45,724
csak nálunk sokkal ügyesebben,

211
00:11:45,724 --> 00:11:52,911
Nem kellene abban bíznunk, 
hogy urai vagyunk helyzetnek.

212
00:11:52,911 --> 00:11:56,358
De azért megpróbálhatnánk 
megkönnyíteni a dolgunkat,

213
00:11:56,358 --> 00:11:57,948
pl. hogy az MI-t bedobozoljuk

214
00:11:57,948 --> 00:11:59,744
egy biztos szoftveres környezetbe,

215
00:11:59,744 --> 00:12:02,766
olyan virtuális valóságba, 
amelyből nem szabadulhat ki.

216
00:12:02,766 --> 00:12:06,912
Mennyire bízhatunk azonban abban, 
hogy az MI nem találna-e programhibát?

217
00:12:06,912 --> 00:12:10,251
Tekintve, hogy hackerek is 
mindig találnak hibákat,

218
00:12:10,251 --> 00:12:14,007
azt mondanám, hogy ebben 
nem nagyon bízhatunk.

219
00:12:14,237 --> 00:12:18,785
Akkor húzzuk ki az ethernet kábelt, 
egy légrést teremtve,

220
00:12:18,785 --> 00:12:21,453
de még az egyszerű hackerek is simán

221
00:12:21,453 --> 00:12:24,834
veszik ezt az akadályt, 
pszichológiai manipulációt használva.

222
00:12:24,834 --> 00:12:26,093
Éppen most, amíg beszélek,

223
00:12:26,093 --> 00:12:28,482
valahol egy alkalmazottat biztosan

224
00:12:28,482 --> 00:12:31,828
éppen rádumáltak, 
hogy árulja el fiókja adatait valakinek,

225
00:12:31,828 --> 00:12:34,574
aki állítása szerint a cég informatikusa.

226
00:12:34,574 --> 00:12:36,701
Sokkal kreatívabb cselek is lehetségesek:

227
00:12:36,701 --> 00:12:38,136
mondjuk,

228
00:12:38,136 --> 00:12:41,548
egy MI elektródákat köthet 
az áramköreinkre,

229
00:12:41,548 --> 00:12:45,010
hogy az így kibocsátott 
rádióhullámok útján kommunikálhasson.

230
00:12:45,010 --> 00:12:47,434
Esetleg üzemzavart mímelhetne,

231
00:12:47,434 --> 00:12:50,931
és amikor a programozók kinyitják, 
hogy megkeressék, mi a baj,

232
00:12:50,931 --> 00:12:52,867
megnézik a forráskódot is, és hoppá,

233
00:12:52,867 --> 00:12:55,314
már sor is kerülhet a manipulációra.

234
00:12:55,314 --> 00:12:58,744
Egy MI tervezhetne valami 
nagyon pöpec technológiát,

235
00:12:58,744 --> 00:13:00,902
amelynek alkalmazásakor

236
00:13:00,902 --> 00:13:04,539
az MI által tervezett néhány alattomos
mellékhatás is előjön.

237
00:13:04,539 --> 00:13:08,002
Kulcsfontosságú, hogy nem szabad
bíznunk benne,

238
00:13:08,002 --> 00:13:11,810
hogy egy szuperértelmes szellemet
örökre palackba zárva tarthatunk,

239
00:13:11,810 --> 00:13:14,064
mert előbb-utóbb úgyis kiszabadul.

240
00:13:14,864 --> 00:13:18,137
Azt hiszem, a megoldás inkább az, 
ha kitaláljuk, hogyan alkothatunk

241
00:13:18,137 --> 00:13:23,161
olyan szuperértelmet, 
mely ha netán elszabadul,

242
00:13:23,161 --> 00:13:26,438
még mindig megbízható, 
mert alapvetően a mi oldalunkon áll,

243
00:13:26,438 --> 00:13:28,337
mivel értékeink közösek.

244
00:13:28,337 --> 00:13:31,547
Ez a fogas kérdés megkerülhetetlen.

245
00:13:32,557 --> 00:13:36,391
A kérdés megoldhatóságát illetően 
eléggé optimista vagyok.

246
00:13:36,391 --> 00:13:40,294
Írhatnánk egy hosszú listát mindarról, 
amit fontosnak tartunk,

247
00:13:40,294 --> 00:13:43,937
vagy ami még rosszabb: 
valamilyen programnyelven írnánk meg,

248
00:13:43,937 --> 00:13:45,391
pl. C++-ban vagy Pythonban,

249
00:13:45,391 --> 00:13:48,158
ami reménytelen feladat lenne.

250
00:13:48,158 --> 00:13:52,455
Ehelyett egy olyan MI-t csinálhatnánk, 
amely értelmét arra használja,

251
00:13:52,455 --> 00:13:55,226
hogy megtanulja, mik az értékeink,

252
00:13:55,226 --> 00:14:00,506
s az MI ösztönzőrendszerét
a mi értékeink követésére,

253
00:14:00,506 --> 00:14:05,738
vagy az általunk vélhetően 
engedélyezett akciókra terveznénk.

254
00:14:05,738 --> 00:14:09,152
Az MI értelmét tehát feljavítanánk,
amennyire lehet,

255
00:14:09,152 --> 00:14:11,897
hogy megoldjuk az értékkövetés kérdését.

256
00:14:12,487 --> 00:14:14,399
Ez a lehetséges kimenetel

257
00:14:14,399 --> 00:14:17,835
nagyon jó lenne az emberiségnek.

258
00:14:17,835 --> 00:14:21,792
De ez nem történik meg magától.

259
00:14:21,792 --> 00:14:24,790
Az intelligencia-robbanás 
kezdeti feltételeit

260
00:14:24,790 --> 00:14:27,653
már most jól elő kellene készíteni,

261
00:14:27,653 --> 00:14:31,183
ha irányított robbanást akarunk.

262
00:14:31,183 --> 00:14:33,801
Az MI értékeinek illeszkedniük 
kell a mieinkhez,

263
00:14:33,801 --> 00:14:35,561
az olyan ismerős helyzeteken túl is,

264
00:14:35,561 --> 00:14:37,999
amikor könnyen ellenőrizhető 
az MI viselkedése,

265
00:14:37,999 --> 00:14:41,493
de olyan új helyzetekben is, 
amelyekkel az MI szembekerülhet,

266
00:14:41,493 --> 00:14:43,600
a bizonytalan jövőben.

267
00:14:43,600 --> 00:14:47,527
Van még néhány megoldandó 
ezoterikus kérdés,

268
00:14:47,527 --> 00:14:49,616
mint a döntéselméleti kérdések részletei,

269
00:14:49,616 --> 00:14:52,480
a logikai bizonytalanság 
és egyebek kezelése.

270
00:14:52,670 --> 00:14:55,842
A megoldandó technikai 
nehézségek miatt a feladat

271
00:14:55,842 --> 00:14:57,425
eléggé bonyolultnak látszik.

272
00:14:57,435 --> 00:15:00,925
Nem annyira, mint 
egy szuperértelmes MI létrehozása,

273
00:15:00,925 --> 00:15:03,793
de még így is meglehetősen komplikált.

274
00:15:03,793 --> 00:15:05,488
Azért aggódhatunk,

275
00:15:05,488 --> 00:15:10,172
hogy egy értelmes MI létrehozása 
tényleg kemény dió,

276
00:15:10,172 --> 00:15:13,380
de a biztonságos, szuperértelmes 
MI megalkotása

277
00:15:13,380 --> 00:15:15,956
ezt még néhány további feladattal tetézi.

278
00:15:16,216 --> 00:15:19,703
Abban rejlik a kockázat, 
ha megoldjuk az első feladatot anélkül,

279
00:15:19,703 --> 00:15:22,704
hogy megoldottuk volna a másodikat is,

280
00:15:22,704 --> 00:15:25,055
amely szavatolná a teljes biztonságot.

281
00:15:25,375 --> 00:15:28,706
Ezért olyan megoldást kell kidolgoznunk,

282
00:15:28,706 --> 00:15:31,528
amely előbb oldja meg 
az ellenőrizhetőség kérdését,

283
00:15:31,528 --> 00:15:34,428
hogy mire szükségünk lesz rá, 
már kéznél legyen.

284
00:15:34,768 --> 00:15:38,275
Talán nem tudjuk az ellenőrzés 
kérdését előre és teljesen megoldani,

285
00:15:38,275 --> 00:15:41,299
mert néhány elem csak 
akkor kerülhet a helyére,

286
00:15:41,299 --> 00:15:45,296
ha részleteiben ismerjük 
a fogadó architektúrát.

287
00:15:45,296 --> 00:15:48,676
De minél többet megoldunk előre 
az ellenőrzés kérdéséből,

288
00:15:48,676 --> 00:15:52,766
annál jobbak az esélyeink, 
hogy a gépi értelem korszakába

289
00:15:52,766 --> 00:15:54,306
zökkenőmentes lesz az átmenet.

290
00:15:54,306 --> 00:15:58,950
Szerintem ezt nagyon megéri 
rendesen megcsinálni,

291
00:15:58,950 --> 00:16:02,282
és azt is el tudom képzelni, 
ha minden jól megy,

292
00:16:02,282 --> 00:16:06,940
amikor az emberek egymillió év múlva 
visszatekintenek erre az évszázadra,

293
00:16:06,940 --> 00:16:10,522
elmondhatják: az egyetlen lényeges dolgot

294
00:16:10,522 --> 00:16:12,119
elődeik akkor jól rendezték el.

295
00:16:12,119 --> 00:16:13,108
Köszönöm.

296
00:16:13,108 --> 00:16:18,210
(Taps)