WEBVTT

00:00:00.570 --> 00:00:04.777
Több matematikussal, filozófussal 
és számítógépes szakemberrel dolgozom,

00:00:04.777 --> 00:00:09.986
akikkel együtt gondolkodunk 
a gépi intelligencia, értelem jövőjéről

00:00:09.986 --> 00:00:12.030

és számos más kérdésről.

00:00:12.030 --> 00:00:14.655
Néhányan azt gondolják, 
egyes kérdéseink

00:00:14.655 --> 00:00:19.206
sci-fibe illő, elvont őrültségek.

00:00:19.206 --> 00:00:21.326
Rendben, szoktam mondani, 
de nézzük meg,

00:00:21.326 --> 00:00:25.290
milyen ma az ember helyzete.

00:00:25.300 --> 00:00:26.622
(Nevetés)

00:00:26.622 --> 00:00:29.024
Ez a szokásos állapot, 
ahogy annak lennie kell.

NOTE Paragraph

00:00:29.024 --> 00:00:31.309
Ám ha utánagondolunk, mi, emberek

00:00:31.309 --> 00:00:33.922
csak nemrég érkezett vendégek vagyunk

00:00:33.922 --> 00:00:36.104
ezen a bolygón.

00:00:36.104 --> 00:00:41.430
Képzeljük el, hogy a Föld 
csak egy éve jött lére,

00:00:41.430 --> 00:00:44.978
így az emberi faj tíz perce létezne.

00:00:44.978 --> 00:00:48.146
Az ipari korszak csak 
két másodperce kezdődött.

00:00:49.276 --> 00:00:54.501
Máshonnan nézve a kérdést, gondoljunk 
a világ elmúlt 10 000 évi GDP-jére.

00:00:54.501 --> 00:00:57.770
Vettem magamnak a fáradságot,

00:00:57.770 --> 00:00:59.944
és készítettem önöknek egy grafikont. Íme!

00:00:59.944 --> 00:01:00.667
(Nevetés)

00:01:00.667 --> 00:01:03.548
Egy normál állapothoz képest 
elég furcsa görbe.

00:01:03.548 --> 00:01:05.326
Hát, én biztos nem szeretnék ráülni.

00:01:05.326 --> 00:01:07.067
(Nevetés)

NOTE Paragraph

00:01:07.067 --> 00:01:11.841
Tegyük fel magunknak a kérdést, 
mi az oka ennek a szabálytalanságnak?

00:01:11.841 --> 00:01:14.393
Néhányan a technológiát neveznék meg.

00:01:14.393 --> 00:01:19.061
Valóban, a technológiai megoldások 
egyre tökéletesedtek a történelem során,

00:01:19.061 --> 00:01:23.103
és éppen most a technológiai fejlődés

00:01:23.103 --> 00:01:25.278
hihetetlenül felgyorsult, 
ami közvetlen oka

00:01:25.278 --> 00:01:27.843
jelenlegi magas termelékenységünknek.

00:01:28.473 --> 00:01:32.134
De szeretnék jobban 
visszamenni a tényleges okig.

NOTE Paragraph

00:01:33.114 --> 00:01:36.880
Nézzük csak ezt a két kiváló urat!

00:01:36.880 --> 00:01:38.480
Itt van Kanzi,

00:01:38.480 --> 00:01:43.123
aki 200 nyelvi szimbólumot tanult meg, 
ami hihetetlen teljesítmény,

00:01:43.123 --> 00:01:46.817
és Ed Witten, aki elindította 
a második szuperhúr forradalmat.

00:01:46.817 --> 00:01:49.141
Ha benézünk a burkolat alá,

00:01:49.141 --> 00:01:50.711
ott alapvetően ugyanazt találjuk.

00:01:50.711 --> 00:01:52.524
Az egyikük kicsit nagyobb, s esetleg

00:01:52.524 --> 00:01:55.282
a kapcsolatokban is van 
egy-két trükkös megoldás.

00:01:55.282 --> 00:01:59.094
De ezek a láthatatlan különbségek 
nem lehetnek nagyon bonyolultak,

00:01:59.094 --> 00:02:03.379
mivel mi csupán 
250 000 nemzedéknyire vagyunk

00:02:03.379 --> 00:02:05.371
utolsó közös ősünktől.

00:02:05.371 --> 00:02:09.610
Tudjuk, hogy az összetett mechanizmusok 
kifejlődéséhez hosszú időre van szükség.

00:02:10.000 --> 00:02:12.499
Tehát jó néhány viszonylag kisebb változás

00:02:12.499 --> 00:02:15.566
elvezet Kanzitól Wittenig,

00:02:15.566 --> 00:02:20.109
a letört faágaktól az interkontinentális 
ballisztikus rakétákig.

NOTE Paragraph

00:02:20.839 --> 00:02:23.444
Ezért eléggé nyilvánvaló, hogy minden,

00:02:23.444 --> 00:02:26.772
amit elértünk, ami fontos számunkra,

00:02:26.772 --> 00:02:32.290
alapvetően pár kisebb változás eredménye,
melyek kialakították az emberi elmét.

00:02:32.650 --> 00:02:36.312
Következésképpen, 
minden további változásnak,

00:02:36.312 --> 00:02:38.599
ami jelentősen módosíthatja

00:02:38.599 --> 00:02:43.391
a gondolkodás alapjait, 
óriási kihatása lehet.

NOTE Paragraph

00:02:44.321 --> 00:02:47.226
Néhány kollégám szerint 
közel járunk valamihez,

00:02:47.226 --> 00:02:51.134
ami gyökeresen megváltoztathatja 
gondolkodásunk alapjait:

00:02:51.134 --> 00:02:54.347
ez pedig a gépi szuperértelem.

00:02:54.347 --> 00:02:57.906
A mesterséges intelligencia 
eddig azt jelentette,

00:02:57.906 --> 00:03:00.751
hogy parancsokat írunk egy dobozba.
A programozók egyesével,

00:03:00.751 --> 00:03:03.886
aprólékosan pötyögték be a tudnivalókat.

00:03:03.886 --> 00:03:05.972
Felépítettük a szakértői rendszereket,

00:03:05.972 --> 00:03:08.296
amelyek megfeleltek néhány célra,

00:03:08.296 --> 00:03:10.977
de nagyon merevek 
és skálázhatatlanok voltak.

00:03:10.977 --> 00:03:14.410
Alapvetően csak az jött ki, 
amit beletettünk.

00:03:14.410 --> 00:03:15.887
De azóta

00:03:15.887 --> 00:03:18.874
paradigmaváltás történt 
a mesterséges intelligencia területén.

NOTE Paragraph

00:03:18.874 --> 00:03:21.644
Ma már a gépi tanulásról 
szól a történet.

00:03:22.394 --> 00:03:27.961
Ismeretek manuális bütykölése helyett

00:03:28.511 --> 00:03:34.065
tanuló algoritmusokat alkotunk, 
gyakorta közvetlenül az észlelt adatokból.

00:03:34.065 --> 00:03:39.063
Tulajdonképpen úgy, 
ahogy a kisgyerekek csinálják.

00:03:39.063 --> 00:03:43.270
Az eredmény a mesterséges intelligencia 
(MI), mely nem korlátozódik egy területre:

00:03:43.270 --> 00:03:47.901
ugyanaz a rendszer megtanulhat 
bármely két nyelv között fordítani,

00:03:47.901 --> 00:03:52.588
vagy bármilyen számítógépes játékot
játszani egy Atari konzolon.

00:03:52.588 --> 00:03:55.347
Azért persze az MI-nek
még távolról sincs meg

00:03:55.347 --> 00:03:59.116
az a figyelemre méltó, 
több területet átfogó képessége,

00:03:59.116 --> 00:04:02.335
hogy ember módjára tanuljon és tervezzen.

00:04:02.335 --> 00:04:05.031
Az agykéregnek van 
néhány algoritmikus trükkje,

00:04:05.031 --> 00:04:07.726
melyet még nem tudunk gépekkel utánozni.

NOTE Paragraph

00:04:07.886 --> 00:04:09.785
Szóval az a kérdés,

00:04:09.785 --> 00:04:13.285
milyen messze vagyunk attól, 
hogy lemásoljuk ezeket a trükköket?

00:04:13.915 --> 00:04:15.678
Néhány éve felmérést végeztünk

00:04:15.688 --> 00:04:18.216
a világ néhány vezető 
MI szakértőjének bevonásával,

00:04:18.216 --> 00:04:21.440
hogy lássuk, mit gondolnak a jövőről. 
Egyik kérdésünk így szólt:

00:04:21.440 --> 00:04:24.793
''Mikorra gondolja, 
hogy 50%-os valószínűséggel meglesz

00:04:24.793 --> 00:04:28.275
az emberi szinvonalú gépi értelem?''

00:04:28.785 --> 00:04:32.968
Az emberi szintet úgy határoztuk meg, 
mint olyan képességet,

00:04:32.968 --> 00:04:35.839
amellyel egy felnőtt csaknem 
bármely tevékenységet

00:04:35.839 --> 00:04:39.844
egyformán jól elvégezhet,
nem csak egyszerű feladatokat.

00:04:39.844 --> 00:04:43.494
A válaszok mediánja, azaz középértéke 
2040 vagy 2050 volt,

00:04:43.494 --> 00:04:46.300
attól függően, melyik 
szakértői csoportot kérdeztük meg.

00:04:46.300 --> 00:04:50.339
Ez az esemény sokkal később 
vagy hamarabb is bekövetkezhet,

00:04:50.339 --> 00:04:52.279
igazság szerint senki sem tudja.

NOTE Paragraph

00:04:53.259 --> 00:04:57.791
Azt viszont tudjuk,
hogy a gépi információfeldolgozás

00:04:57.791 --> 00:05:02.872
végső lehetőségei jóval meghaladják 
az élő agyszövet korlátait.

00:05:03.241 --> 00:05:05.619
Ez fizikai alapokra vezethető vissza.

00:05:05.619 --> 00:05:10.337
Egy élő neuron legfeljebb 200 hertzcel 
sül ki, azaz egy másodperc alatt 200-szor.

00:05:10.337 --> 00:05:13.931
Ezzel szemben ma már egy tranzisztor 
is gigahertzes tartományban üzemel.

00:05:13.931 --> 00:05:19.228
A neuronok axonjai lassan, 
legföljebb 100 m/s sebességgel működnek.

00:05:19.228 --> 00:05:22.339
De a számítógépekben a jelek 
fénysebességgel terjedhetnek.

00:05:23.079 --> 00:05:24.948
És ott vannak a méret adta korlátok:

00:05:24.948 --> 00:05:27.975
az emberi agynak 
bele kell férnie a koponyába,

00:05:27.975 --> 00:05:32.736
de egy számítógép raktárméretű 
vagy még nagyobb is lehet.

00:05:32.736 --> 00:05:38.335
A szuperértelem lehetősége 
ott szunnyad az anyagban,

00:05:38.335 --> 00:05:44.047
akár az atomerő, amely a történelem során

00:05:44.047 --> 00:05:48.452
türelmesen várt ébredésére 1945-ig.

00:05:48.452 --> 00:05:49.700
Ebben az évszázadban

00:05:49.700 --> 00:05:53.818
a kutatók rájöhetnek, 
hogyan kell életre hívni az MI erejét.

00:05:53.818 --> 00:05:57.826
Úgy gondolom, intelligencia-robbanást 
láthatunk majd.

NOTE Paragraph

00:05:58.406 --> 00:06:02.363
A legtöbbünk, amikor arra gondol, 
mi az okosság és a butaság,

00:06:02.363 --> 00:06:05.386
szerintem nagyjából 
egy ilyen képet fest maga elé.

00:06:05.386 --> 00:06:07.984
A skála egyik végén ott a falu bolondja

00:06:07.984 --> 00:06:10.467
és valahol, jó messze a másik végén

00:06:10.467 --> 00:06:15.223
ott van Ed Witten vagy Albert Einstein, 
vagy bárki a kedvenc guruink közül.

00:06:15.223 --> 00:06:19.057
Szerintem a mesterséges 
intelligenciát illetően

00:06:19.057 --> 00:06:22.738
a valódi helyzet valószínűleg 
inkább így áll:

00:06:23.258 --> 00:06:26.636
Az MI itt kezdődik, 
a nulla intelligenciánál,

00:06:26.636 --> 00:06:29.647
aztán nagyon-nagyon sok év 
szorgalmas munkájával,

00:06:29.647 --> 00:06:33.491
talán eljutunk egy egér szintjének 
megfelelő mesterséges intelligenciához.

00:06:33.491 --> 00:06:35.921
Olyasmihez, ami eligazodik 
zsúfolt környezetben,

00:06:35.921 --> 00:06:37.908
úgy, mint azt egy egér teszi.

00:06:37.908 --> 00:06:42.221
Aztán még sokkal több év szívós
munkája, rengeteg befektetés árán

00:06:42.221 --> 00:06:46.860
talán elérjük 
egy csimpánz szintjének megfelelő MI-t.

00:06:46.860 --> 00:06:50.070
Majd még több évnyi 
nagyon-nagyon kitartó munkával

00:06:50.070 --> 00:06:52.983
elérjük a falu bolondjának MI szintjét.

00:06:52.983 --> 00:06:56.255
Csak egy pillanattal később 
már lekörözzük Ed Wittent.

00:06:56.255 --> 00:06:59.225
A vonat nem áll meg 
az Emberfalva állomáson,

00:06:59.225 --> 00:07:02.247
hanem valószínűleg átrobog rajta.

NOTE Paragraph

00:07:02.247 --> 00:07:04.231
Ennek pedig lényeges kihatásai vannak,

00:07:04.231 --> 00:07:07.573
főleg, ha már erőviszonyokról lesz szó.

00:07:07.573 --> 00:07:11.492
A csimpánzok például erősek.

00:07:11.492 --> 00:07:15.214
Súlyához képest a csimpánz kétszer 
olyan erős, mint egy jó erőben lévő férfi.

00:07:15.214 --> 00:07:19.828
Mégis, Kanzi és társai sorsa 
sokkal inkább attól függ,

00:07:19.828 --> 00:07:23.968
hogy mi, emberek mit teszünk, 
mint attól, hogy ők mit tesznek.

00:07:24.738 --> 00:07:27.542
Ha egyszer eljön a szuperértelem kora,

00:07:27.542 --> 00:07:31.381
az emberiség sorsa attól függhet, 
amit ez a szuperértelem művel.

00:07:31.511 --> 00:07:34.028
Gondoljunk csak bele! 
A gépi intelligencia lesz

00:07:34.028 --> 00:07:38.552
az utolsó találmány, amit 
nekünk kell kigondolnunk.

00:07:38.552 --> 00:07:41.525
A gépek jobb feltalálók lesznek, 
mint mi vagyunk,

00:07:41.525 --> 00:07:44.065
ráadásul digitális időkeretben működnek.

00:07:44.065 --> 00:07:48.376
Alapvetően ez a jövő 
felgyorsulását jelenti.

00:07:48.406 --> 00:07:52.444
Gondoljunk az összes elképzelhető, 
eszement technológiára,

00:07:52.454 --> 00:07:55.892
amelyeket ha elég időnk lenne, 
talán kifejleszthetnénk:

00:07:55.892 --> 00:07:58.410

az öregedés ellenszere, az űr meghódítása,

00:07:58.410 --> 00:08:02.581
önmagukat reprodukáló nanobotok, 
az emberi elme gépre történő feltöltése

00:08:02.581 --> 00:08:04.470

és még mindenféle sci-fibe illő ötlet,

00:08:04.470 --> 00:08:07.207
amelyek azért a fizikai 
törvényeknek nem mondanak ellent.

00:08:07.207 --> 00:08:12.309
Egy szuperértelem mindezt talán 
elég gyorsan ki tudná fejleszteni.

NOTE Paragraph

00:08:12.449 --> 00:08:16.007
Egy ilyen kifinomult technológiájú 
szuperértelemnek

00:08:16.007 --> 00:08:18.186
rendkívüli hatalma lenne, mellyel legalább

00:08:18.186 --> 00:08:22.732
néhány esetben el tudná érni, amit akar.

00:08:22.732 --> 00:08:28.393
A jövőnket ekkor ennek az MI-nek 
a szempontjai alakítanák.

00:08:29.855 --> 00:08:33.604
Jó kérdés, melyek is ezek a szempontok?

00:08:34.244 --> 00:08:36.013
Itt kezd rázóssá válni a dolog.

00:08:36.013 --> 00:08:37.448
Hogy valahová is eljussunk,

00:08:37.448 --> 00:08:40.724
először is el kell kerülnünk 
az antropomorfizálást.

00:08:41.934 --> 00:08:46.055
Ez azért ironikus, 
mert az MI jövőjéről szóló

00:08:46.055 --> 00:08:49.090
minden újságcikkben ilyen kép szerepel.

00:08:50.280 --> 00:08:54.414
A kérdéshez egy kicsit elvonatkoztatva 
kellene közelítenünk,

00:08:54.414 --> 00:08:57.204
nem a látványos hollywoodi 
forgatókönyvek alapján.

NOTE Paragraph

00:08:57.204 --> 00:09:00.821
Az értelmet optimalizálási 
eljárásként kell felfognunk,

00:09:00.821 --> 00:09:06.470
amely a jövőt bizonyos lehetséges 
kimenetek felé tereli.

00:09:06.470 --> 00:09:09.981
A szuperértelem tényleg 
nagyon jó optimalizációs eljárás,

00:09:09.981 --> 00:09:14.098
amely elképesztően ügyesen használja 
az elérhető eszközöket, hogy létrejöjjön

00:09:14.098 --> 00:09:16.007
a céljának megfelelő állapot.

00:09:16.447 --> 00:09:19.119
Ez azt jelenti, 
hogy nem szükségképpen kötődik

00:09:19.119 --> 00:09:21.853
az ebben az értelemben vett 
magas intelligenciához

00:09:21.853 --> 00:09:26.515
egy számunkra értékes 
vagy értelmes cél követése.

NOTE Paragraph

00:09:27.321 --> 00:09:31.115
Adjuk azt a feladatot egy MI-nek, 
hogy késztesse mosolyra az embereket!

00:09:31.115 --> 00:09:34.097
Amíg az MI még gyenge, 
hasznos vagy mulatságos dolgokat tesz,

00:09:34.097 --> 00:09:36.614
mosolyra fakasztva a felhasználót.

00:09:36.614 --> 00:09:39.031
Mire az MI szuperértelmes lesz, rájön,

00:09:39.031 --> 00:09:42.554
hogy sokkal hatékonyabban is 
elérheti célját:

00:09:42.554 --> 00:09:44.476
átveszi a világ fölötti uralmat,

00:09:44.476 --> 00:09:47.638
és elektródákat ültet be 
az emberek arcizmaiba,

00:09:47.638 --> 00:09:50.579
amelyek állandó vigyorra kényszerítenek.

00:09:50.579 --> 00:09:51.614
Egy másik példa:

00:09:51.614 --> 00:09:55.157
tegyük fel, egy bonyolult matematikai 
problémát kell megoldania az MI-nek.

00:09:55.157 --> 00:09:56.934
Amikor az MI szuperértelmes lesz,

00:09:56.934 --> 00:10:01.105
rájön, hogy a probléma 
leghatékonyabb megoldása

00:10:01.105 --> 00:10:04.035
a bolygó átalakítása 
egy hatalmas számítógéppé,

00:10:04.035 --> 00:10:06.281
hogy kiterjeszthesse 
gondolkodási képességét.

00:10:06.281 --> 00:10:09.045
Vegyük észre, 
hogy ez további jó ok az MI-nek,

00:10:09.045 --> 00:10:11.561
hogy olyat műveljen, 
amellyel mi nem értenénk egyet.

00:10:11.561 --> 00:10:13.786
Mi fenyegetjük őt ebben a modellben,

00:10:13.786 --> 00:10:16.997
mert akadályozhatjuk 
a matematikai probléma megoldását.

NOTE Paragraph

00:10:16.997 --> 00:10:20.701
Az események persze nem pont 
így mehetnek rossz irányba,

00:10:20.701 --> 00:10:22.454
ezek csak képregényszintű példák.

00:10:22.454 --> 00:10:24.393
Fontos viszont az általános tanulság:

00:10:24.393 --> 00:10:27.266
ha egy valóban jó 
optimalizálási eljárást alkotunk,

00:10:27.266 --> 00:10:29.500
amely x cél szerint maximalizál,

00:10:29.500 --> 00:10:31.776
akkor gondoskodjunk róla, 
hogy az x célkitűzés

00:10:31.776 --> 00:10:34.635
tartalmazza mindazt, ami fontos számunkra.

00:10:34.835 --> 00:10:39.219
Erről sokat mond Midász király mondája,

00:10:39.219 --> 00:10:44.517
aki azt kívánta, hogy amihez 
csak hozzáér, váljék arannyá.

00:10:44.517 --> 00:10:47.378
Megérinti a lányát, aki arannyá változik.

00:10:47.378 --> 00:10:49.801
Arannyá válik az étele is, 
amihez hozzányúl.

00:10:49.801 --> 00:10:51.210
A rege nem csak

00:10:51.210 --> 00:10:54.590
a mohóság metaforájaként értelmezhető,

00:10:54.590 --> 00:10:56.485
de annak bemutatásaként is,
mi történik,

00:10:56.485 --> 00:10:59.322
ha túl jól sikerül 
optimalizálnunk egy folyamatot,

00:10:59.322 --> 00:11:04.111
amelyhez rosszul felfogott
vagy homályos célokat rendeltünk.

NOTE Paragraph

00:11:04.111 --> 00:11:09.300
Mondhatnák persze, hogy ha egy gép
elektródákat akar a képünkbe dugdosni,

00:11:09.300 --> 00:11:11.565
majd egyszerűen kikapcsoljuk.

00:11:12.555 --> 00:11:17.895
De ezt nem olyan könnyű megtenni, 
ha már függővé váltunk a rendszertől.

00:11:17.895 --> 00:11:20.627
Ugyan már, hol az internet kikapcsolója?

00:11:20.627 --> 00:11:25.747
Miért nem kapcsolták ki 
a csimpánzok az emberiséget

00:11:25.747 --> 00:11:27.298
vagy a neandervölgyieket?

00:11:27.298 --> 00:11:29.964
Alapos okuk volt rá.

00:11:29.964 --> 00:11:32.759
Van nekünk is egy kikapcsolónk, 
például itt.

00:11:32.759 --> 00:11:34.313
(Fojtogatja magát)

00:11:34.313 --> 00:11:37.238
Az ok azonban az, hogy mi olyan
okos ellenfél vagyunk,

00:11:37.238 --> 00:11:39.966
amelyik előre látja a veszélyeket, 
és felkészül rájuk.

00:11:39.966 --> 00:11:42.470
De egy szuperértelmes szereplő is 
ezt tenné,

00:11:42.470 --> 00:11:45.724
csak nálunk sokkal ügyesebben,

00:11:45.724 --> 00:11:52.911
Nem kellene abban bíznunk, 
hogy urai vagyunk helyzetnek.

NOTE Paragraph

00:11:52.911 --> 00:11:56.358
De azért megpróbálhatnánk 
megkönnyíteni a dolgunkat,

00:11:56.358 --> 00:11:57.948
pl. hogy az MI-t bedobozoljuk

00:11:57.948 --> 00:11:59.744
egy biztos szoftveres környezetbe,

00:11:59.744 --> 00:12:02.766
olyan virtuális valóságba, 
amelyből nem szabadulhat ki.

00:12:02.766 --> 00:12:06.912
Mennyire bízhatunk azonban abban, 
hogy az MI nem találna-e programhibát?

00:12:06.912 --> 00:12:10.251
Tekintve, hogy hackerek is 
mindig találnak hibákat,

00:12:10.251 --> 00:12:14.007
azt mondanám, hogy ebben 
nem nagyon bízhatunk.

00:12:14.237 --> 00:12:18.785
Akkor húzzuk ki az ethernet kábelt, 
egy légrést teremtve,

00:12:18.785 --> 00:12:21.453
de még az egyszerű hackerek is simán

00:12:21.453 --> 00:12:24.834
veszik ezt az akadályt, 
pszichológiai manipulációt használva.

00:12:24.834 --> 00:12:26.093
Éppen most, amíg beszélek,

00:12:26.093 --> 00:12:28.482
valahol egy alkalmazottat biztosan

00:12:28.482 --> 00:12:31.828
éppen rádumáltak, 
hogy árulja el fiókja adatait valakinek,

00:12:31.828 --> 00:12:34.574
aki állítása szerint a cég informatikusa.

NOTE Paragraph

00:12:34.574 --> 00:12:36.701
Sokkal kreatívabb cselek is lehetségesek:

00:12:36.701 --> 00:12:38.136
mondjuk,

00:12:38.136 --> 00:12:41.548
egy MI elektródákat köthet 
az áramköreinkre,

00:12:41.548 --> 00:12:45.010
hogy az így kibocsátott 
rádióhullámok útján kommunikálhasson.

00:12:45.010 --> 00:12:47.434
Esetleg üzemzavart mímelhetne,

00:12:47.434 --> 00:12:50.931
és amikor a programozók kinyitják, 
hogy megkeressék, mi a baj,

00:12:50.931 --> 00:12:52.867
megnézik a forráskódot is, és hoppá,

00:12:52.867 --> 00:12:55.314
már sor is kerülhet a manipulációra.

00:12:55.314 --> 00:12:58.744
Egy MI tervezhetne valami 
nagyon pöpec technológiát,

00:12:58.744 --> 00:13:00.902
amelynek alkalmazásakor

00:13:00.902 --> 00:13:04.539
az MI által tervezett néhány alattomos
mellékhatás is előjön.

00:13:04.539 --> 00:13:08.002
Kulcsfontosságú, hogy nem szabad
bíznunk benne,

00:13:08.002 --> 00:13:11.810
hogy egy szuperértelmes szellemet
örökre palackba zárva tarthatunk,

00:13:11.810 --> 00:13:14.064
mert előbb-utóbb úgyis kiszabadul.

NOTE Paragraph

00:13:14.864 --> 00:13:18.137
Azt hiszem, a megoldás inkább az, 
ha kitaláljuk, hogyan alkothatunk

00:13:18.137 --> 00:13:23.161
olyan szuperértelmet, 
mely ha netán elszabadul,

00:13:23.161 --> 00:13:26.438
még mindig megbízható, 
mert alapvetően a mi oldalunkon áll,

00:13:26.438 --> 00:13:28.337
mivel értékeink közösek.

00:13:28.337 --> 00:13:31.547
Ez a fogas kérdés megkerülhetetlen.

NOTE Paragraph

00:13:32.557 --> 00:13:36.391
A kérdés megoldhatóságát illetően 
eléggé optimista vagyok.

00:13:36.391 --> 00:13:40.294
Írhatnánk egy hosszú listát mindarról, 
amit fontosnak tartunk,

00:13:40.294 --> 00:13:43.937
vagy ami még rosszabb: 
valamilyen programnyelven írnánk meg,

00:13:43.937 --> 00:13:45.391
pl. C++-ban vagy Pythonban,

00:13:45.391 --> 00:13:48.158
ami reménytelen feladat lenne.

00:13:48.158 --> 00:13:52.455
Ehelyett egy olyan MI-t csinálhatnánk, 
amely értelmét arra használja,

00:13:52.455 --> 00:13:55.226
hogy megtanulja, mik az értékeink,

00:13:55.226 --> 00:14:00.506
s az MI ösztönzőrendszerét
a mi értékeink követésére,

00:14:00.506 --> 00:14:05.738
vagy az általunk vélhetően 
engedélyezett akciókra terveznénk.

00:14:05.738 --> 00:14:09.152
Az MI értelmét tehát feljavítanánk,
amennyire lehet,

00:14:09.152 --> 00:14:11.897
hogy megoldjuk az értékkövetés kérdését.

NOTE Paragraph

00:14:12.487 --> 00:14:14.399
Ez a lehetséges kimenetel

00:14:14.399 --> 00:14:17.835
nagyon jó lenne az emberiségnek.

00:14:17.835 --> 00:14:21.792
De ez nem történik meg magától.

00:14:21.792 --> 00:14:24.790
Az intelligencia-robbanás 
kezdeti feltételeit

00:14:24.790 --> 00:14:27.653
már most jól elő kellene készíteni,

00:14:27.653 --> 00:14:31.183
ha irányított robbanást akarunk.

00:14:31.183 --> 00:14:33.801
Az MI értékeinek illeszkedniük 
kell a mieinkhez,

00:14:33.801 --> 00:14:35.561
az olyan ismerős helyzeteken túl is,

00:14:35.561 --> 00:14:37.999
amikor könnyen ellenőrizhető 
az MI viselkedése,

00:14:37.999 --> 00:14:41.493
de olyan új helyzetekben is, 
amelyekkel az MI szembekerülhet,

00:14:41.493 --> 00:14:43.600
a bizonytalan jövőben.

NOTE Paragraph

00:14:43.600 --> 00:14:47.527
Van még néhány megoldandó 
ezoterikus kérdés,

00:14:47.527 --> 00:14:49.616
mint a döntéselméleti kérdések részletei,

00:14:49.616 --> 00:14:52.480
a logikai bizonytalanság 
és egyebek kezelése.

00:14:52.670 --> 00:14:55.842
A megoldandó technikai 
nehézségek miatt a feladat

00:14:55.842 --> 00:14:57.425
eléggé bonyolultnak látszik.

00:14:57.435 --> 00:15:00.925
Nem annyira, mint 
egy szuperértelmes MI létrehozása,

00:15:00.925 --> 00:15:03.793
de még így is meglehetősen komplikált.

00:15:03.793 --> 00:15:05.488
Azért aggódhatunk,

00:15:05.488 --> 00:15:10.172
hogy egy értelmes MI létrehozása 
tényleg kemény dió,

00:15:10.172 --> 00:15:13.380
de a biztonságos, szuperértelmes 
MI megalkotása

00:15:13.380 --> 00:15:15.956
ezt még néhány további feladattal tetézi.

00:15:16.216 --> 00:15:19.703
Abban rejlik a kockázat, 
ha megoldjuk az első feladatot anélkül,

00:15:19.703 --> 00:15:22.704
hogy megoldottuk volna a másodikat is,

00:15:22.704 --> 00:15:25.055
amely szavatolná a teljes biztonságot.

NOTE Paragraph

00:15:25.375 --> 00:15:28.706
Ezért olyan megoldást kell kidolgoznunk,

00:15:28.706 --> 00:15:31.528
amely előbb oldja meg 
az ellenőrizhetőség kérdését,

00:15:31.528 --> 00:15:34.428
hogy mire szükségünk lesz rá, 
már kéznél legyen.

00:15:34.768 --> 00:15:38.275
Talán nem tudjuk az ellenőrzés 
kérdését előre és teljesen megoldani,

00:15:38.275 --> 00:15:41.299
mert néhány elem csak 
akkor kerülhet a helyére,

00:15:41.299 --> 00:15:45.296
ha részleteiben ismerjük 
a fogadó architektúrát.

00:15:45.296 --> 00:15:48.676
De minél többet megoldunk előre 
az ellenőrzés kérdéséből,

00:15:48.676 --> 00:15:52.766
annál jobbak az esélyeink, 
hogy a gépi értelem korszakába

00:15:52.766 --> 00:15:54.306
zökkenőmentes lesz az átmenet.

NOTE Paragraph

00:15:54.306 --> 00:15:58.950
Szerintem ezt nagyon megéri 
rendesen megcsinálni,

00:15:58.950 --> 00:16:02.282
és azt is el tudom képzelni, 
ha minden jól megy,

00:16:02.282 --> 00:16:06.940
amikor az emberek egymillió év múlva 
visszatekintenek erre az évszázadra,

00:16:06.940 --> 00:16:10.522
elmondhatják: az egyetlen lényeges dolgot

00:16:10.522 --> 00:16:12.119
elődeik akkor jól rendezték el.

NOTE Paragraph

00:16:12.119 --> 00:16:13.108
Köszönöm.

NOTE Paragraph

00:16:13.108 --> 00:16:18.210
(Taps)