0:00:00.570,0:00:04.777
Több matematikussal, filozófussal [br]és számítógépes szakemberrel dolgozom,

0:00:04.777,0:00:09.986
akikkel együtt gondolkodunk [br]a gépi intelligencia, értelem jövőjéről

0:00:09.986,0:00:12.030
[br]és számos más kérdésről.

0:00:12.030,0:00:14.655
Néhányan azt gondolják, [br]egyes kérdéseink

0:00:14.655,0:00:19.206
sci-fibe illő, elvont őrültségek.

0:00:19.206,0:00:21.326
Rendben, szoktam mondani, [br]de nézzük meg,

0:00:21.326,0:00:25.290
milyen ma az ember helyzete.

0:00:25.300,0:00:26.622
(Nevetés)

0:00:26.622,0:00:29.024
Ez a szokásos állapot, [br]ahogy annak lennie kell.

0:00:29.024,0:00:31.309
Ám ha utánagondolunk, mi, emberek

0:00:31.309,0:00:33.922
csak nemrég érkezett vendégek vagyunk

0:00:33.922,0:00:36.104
ezen a bolygón.

0:00:36.104,0:00:41.430
Képzeljük el, hogy a Föld [br]csak egy éve jött lére,

0:00:41.430,0:00:44.978
így az emberi faj tíz perce létezne.

0:00:44.978,0:00:48.146
Az ipari korszak csak [br]két másodperce kezdődött.

0:00:49.276,0:00:54.501
Máshonnan nézve a kérdést, gondoljunk [br]a világ elmúlt 10 000 évi GDP-jére.

0:00:54.501,0:00:57.770
Vettem magamnak a fáradságot,

0:00:57.770,0:00:59.944
és készítettem önöknek egy grafikont. Íme!

0:00:59.944,0:01:00.667
(Nevetés)

0:01:00.667,0:01:03.548
Egy normál állapothoz képest [br]elég furcsa görbe.

0:01:03.548,0:01:05.326
Hát, én biztos nem szeretnék ráülni.

0:01:05.326,0:01:07.067
(Nevetés)

0:01:07.067,0:01:11.841
Tegyük fel magunknak a kérdést, [br]mi az oka ennek a szabálytalanságnak?

0:01:11.841,0:01:14.393
Néhányan a technológiát neveznék meg.

0:01:14.393,0:01:19.061
Valóban, a technológiai megoldások [br]egyre tökéletesedtek a történelem során,

0:01:19.061,0:01:23.103
és éppen most a technológiai fejlődés

0:01:23.103,0:01:25.278
hihetetlenül felgyorsult, [br]ami közvetlen oka

0:01:25.278,0:01:27.843
jelenlegi magas termelékenységünknek.

0:01:28.473,0:01:32.134
De szeretnék jobban [br]visszamenni a tényleges okig.

0:01:33.114,0:01:36.880
Nézzük csak ezt a két kiváló urat!

0:01:36.880,0:01:38.480
Itt van Kanzi,

0:01:38.480,0:01:43.123
aki 200 nyelvi szimbólumot tanult meg, [br]ami hihetetlen teljesítmény,

0:01:43.123,0:01:46.817
és Ed Witten, aki elindította [br]a második szuperhúr forradalmat.

0:01:46.817,0:01:49.141
Ha benézünk a burkolat alá,

0:01:49.141,0:01:50.711
ott alapvetően ugyanazt találjuk.

0:01:50.711,0:01:52.524
Az egyikük kicsit nagyobb, s esetleg

0:01:52.524,0:01:55.282
a kapcsolatokban is van [br]egy-két trükkös megoldás.

0:01:55.282,0:01:59.094
De ezek a láthatatlan különbségek [br]nem lehetnek nagyon bonyolultak,

0:01:59.094,0:02:03.379
mivel mi csupán [br]250 000 nemzedéknyire vagyunk

0:02:03.379,0:02:05.371
utolsó közös ősünktől.

0:02:05.371,0:02:09.610
Tudjuk, hogy az összetett mechanizmusok [br]kifejlődéséhez hosszú időre van szükség.

0:02:10.000,0:02:12.499
Tehát jó néhány viszonylag kisebb változás

0:02:12.499,0:02:15.566
elvezet Kanzitól Wittenig,

0:02:15.566,0:02:20.109
a letört faágaktól az interkontinentális [br]ballisztikus rakétákig.

0:02:20.839,0:02:23.444
Ezért eléggé nyilvánvaló, hogy minden,

0:02:23.444,0:02:26.772
amit elértünk, ami fontos számunkra,

0:02:26.772,0:02:32.290
alapvetően pár kisebb változás eredménye,[br]melyek kialakították az emberi elmét.

0:02:32.650,0:02:36.312
Következésképpen, [br]minden további változásnak,

0:02:36.312,0:02:38.599
ami jelentősen módosíthatja

0:02:38.599,0:02:43.391
a gondolkodás alapjait, [br]óriási kihatása lehet.

0:02:44.321,0:02:47.226
Néhány kollégám szerint [br]közel járunk valamihez,

0:02:47.226,0:02:51.134
ami gyökeresen megváltoztathatja [br]gondolkodásunk alapjait:

0:02:51.134,0:02:54.347
ez pedig a gépi szuperértelem.

0:02:54.347,0:02:57.906
A mesterséges intelligencia [br]eddig azt jelentette,

0:02:57.906,0:03:00.751
hogy parancsokat írunk egy dobozba.[br]A programozók egyesével,

0:03:00.751,0:03:03.886
aprólékosan pötyögték be a tudnivalókat.

0:03:03.886,0:03:05.972
Felépítettük a szakértői rendszereket,

0:03:05.972,0:03:08.296
amelyek megfeleltek néhány célra,

0:03:08.296,0:03:10.977
de nagyon merevek [br]és skálázhatatlanok voltak.

0:03:10.977,0:03:14.410
Alapvetően csak az jött ki, [br]amit beletettünk.

0:03:14.410,0:03:15.887
De azóta

0:03:15.887,0:03:18.874
paradigmaváltás történt [br]a mesterséges intelligencia területén.

0:03:18.874,0:03:21.644
Ma már a gépi tanulásról [br]szól a történet.

0:03:22.394,0:03:27.961
Ismeretek manuális bütykölése helyett

0:03:28.511,0:03:34.065
tanuló algoritmusokat alkotunk, [br]gyakorta közvetlenül az észlelt adatokból.

0:03:34.065,0:03:39.063
Tulajdonképpen úgy, [br]ahogy a kisgyerekek csinálják.

0:03:39.063,0:03:43.270
Az eredmény a mesterséges intelligencia [br](MI), mely nem korlátozódik egy területre:

0:03:43.270,0:03:47.901
ugyanaz a rendszer megtanulhat [br]bármely két nyelv között fordítani,

0:03:47.901,0:03:52.588
vagy bármilyen számítógépes játékot[br]játszani egy Atari konzolon.

0:03:52.588,0:03:55.347
Azért persze az MI-nek[br]még távolról sincs meg

0:03:55.347,0:03:59.116
az a figyelemre méltó, [br]több területet átfogó képessége,

0:03:59.116,0:04:02.335
hogy ember módjára tanuljon és tervezzen.

0:04:02.335,0:04:05.031
Az agykéregnek van [br]néhány algoritmikus trükkje,

0:04:05.031,0:04:07.726
melyet még nem tudunk gépekkel utánozni.

0:04:07.886,0:04:09.785
Szóval az a kérdés,

0:04:09.785,0:04:13.285
milyen messze vagyunk attól, [br]hogy lemásoljuk ezeket a trükköket?

0:04:13.915,0:04:15.678
Néhány éve felmérést végeztünk

0:04:15.688,0:04:18.216
a világ néhány vezető [br]MI szakértőjének bevonásával,

0:04:18.216,0:04:21.440
hogy lássuk, mit gondolnak a jövőről. [br]Egyik kérdésünk így szólt:

0:04:21.440,0:04:24.793
''Mikorra gondolja, [br]hogy 50%-os valószínűséggel meglesz

0:04:24.793,0:04:28.275
az emberi szinvonalú gépi értelem?''

0:04:28.785,0:04:32.968
Az emberi szintet úgy határoztuk meg, [br]mint olyan képességet,

0:04:32.968,0:04:35.839
amellyel egy felnőtt csaknem [br]bármely tevékenységet

0:04:35.839,0:04:39.844
egyformán jól elvégezhet,[br]nem csak egyszerű feladatokat.

0:04:39.844,0:04:43.494
A válaszok mediánja, azaz középértéke [br]2040 vagy 2050 volt,

0:04:43.494,0:04:46.300
attól függően, melyik [br]szakértői csoportot kérdeztük meg.

0:04:46.300,0:04:50.339
Ez az esemény sokkal később [br]vagy hamarabb is bekövetkezhet,

0:04:50.339,0:04:52.279
igazság szerint senki sem tudja.

0:04:53.259,0:04:57.791
Azt viszont tudjuk,[br]hogy a gépi információfeldolgozás

0:04:57.791,0:05:02.872
végső lehetőségei jóval meghaladják [br]az élő agyszövet korlátait.

0:05:03.241,0:05:05.619
Ez fizikai alapokra vezethető vissza.

0:05:05.619,0:05:10.337
Egy élő neuron legfeljebb 200 hertzcel [br]sül ki, azaz egy másodperc alatt 200-szor.

0:05:10.337,0:05:13.931
Ezzel szemben ma már egy tranzisztor [br]is gigahertzes tartományban üzemel.

0:05:13.931,0:05:19.228
A neuronok axonjai lassan, [br]legföljebb 100 m/s sebességgel működnek.

0:05:19.228,0:05:22.339
De a számítógépekben a jelek [br]fénysebességgel terjedhetnek.

0:05:23.079,0:05:24.948
És ott vannak a méret adta korlátok:

0:05:24.948,0:05:27.975
az emberi agynak [br]bele kell férnie a koponyába,

0:05:27.975,0:05:32.736
de egy számítógép raktárméretű [br]vagy még nagyobb is lehet.

0:05:32.736,0:05:38.335
A szuperértelem lehetősége [br]ott szunnyad az anyagban,

0:05:38.335,0:05:44.047
akár az atomerő, amely a történelem során

0:05:44.047,0:05:48.452
türelmesen várt ébredésére 1945-ig.

0:05:48.452,0:05:49.700
Ebben az évszázadban

0:05:49.700,0:05:53.818
a kutatók rájöhetnek, [br]hogyan kell életre hívni az MI erejét.

0:05:53.818,0:05:57.826
Úgy gondolom, intelligencia-robbanást [br]láthatunk majd.

0:05:58.406,0:06:02.363
A legtöbbünk, amikor arra gondol, [br]mi az okosság és a butaság,

0:06:02.363,0:06:05.386
szerintem nagyjából [br]egy ilyen képet fest maga elé.

0:06:05.386,0:06:07.984
A skála egyik végén ott a falu bolondja

0:06:07.984,0:06:10.467
és valahol, jó messze a másik végén

0:06:10.467,0:06:15.223
ott van Ed Witten vagy Albert Einstein, [br]vagy bárki a kedvenc guruink közül.

0:06:15.223,0:06:19.057
Szerintem a mesterséges [br]intelligenciát illetően

0:06:19.057,0:06:22.738
a valódi helyzet valószínűleg [br]inkább így áll:

0:06:23.258,0:06:26.636
Az MI itt kezdődik, [br]a nulla intelligenciánál,

0:06:26.636,0:06:29.647
aztán nagyon-nagyon sok év [br]szorgalmas munkájával,

0:06:29.647,0:06:33.491
talán eljutunk egy egér szintjének [br]megfelelő mesterséges intelligenciához.

0:06:33.491,0:06:35.921
Olyasmihez, ami eligazodik [br]zsúfolt környezetben,

0:06:35.921,0:06:37.908
úgy, mint azt egy egér teszi.

0:06:37.908,0:06:42.221
Aztán még sokkal több év szívós[br]munkája, rengeteg befektetés árán

0:06:42.221,0:06:46.860
talán elérjük [br]egy csimpánz szintjének megfelelő MI-t.

0:06:46.860,0:06:50.070
Majd még több évnyi [br]nagyon-nagyon kitartó munkával

0:06:50.070,0:06:52.983
elérjük a falu bolondjának MI szintjét.

0:06:52.983,0:06:56.255
Csak egy pillanattal később [br]már lekörözzük Ed Wittent.

0:06:56.255,0:06:59.225
A vonat nem áll meg [br]az Emberfalva állomáson,

0:06:59.225,0:07:02.247
hanem valószínűleg átrobog rajta.

0:07:02.247,0:07:04.231
Ennek pedig lényeges kihatásai vannak,

0:07:04.231,0:07:07.573
főleg, ha már erőviszonyokról lesz szó.

0:07:07.573,0:07:11.492
A csimpánzok például erősek.

0:07:11.492,0:07:15.214
Súlyához képest a csimpánz kétszer [br]olyan erős, mint egy jó erőben lévő férfi.

0:07:15.214,0:07:19.828
Mégis, Kanzi és társai sorsa [br]sokkal inkább attól függ,

0:07:19.828,0:07:23.968
hogy mi, emberek mit teszünk, [br]mint attól, hogy ők mit tesznek.

0:07:24.738,0:07:27.542
Ha egyszer eljön a szuperértelem kora,

0:07:27.542,0:07:31.381
az emberiség sorsa attól függhet, [br]amit ez a szuperértelem művel.

0:07:31.511,0:07:34.028
Gondoljunk csak bele! [br]A gépi intelligencia lesz

0:07:34.028,0:07:38.552
az utolsó találmány, amit [br]nekünk kell kigondolnunk.

0:07:38.552,0:07:41.525
A gépek jobb feltalálók lesznek, [br]mint mi vagyunk,

0:07:41.525,0:07:44.065
ráadásul digitális időkeretben működnek.

0:07:44.065,0:07:48.376
Alapvetően ez a jövő [br]felgyorsulását jelenti.

0:07:48.406,0:07:52.444
Gondoljunk az összes elképzelhető, [br]eszement technológiára,

0:07:52.454,0:07:55.892
amelyeket ha elég időnk lenne, [br]talán kifejleszthetnénk:

0:07:55.892,0:07:58.410
[br]az öregedés ellenszere, az űr meghódítása,

0:07:58.410,0:08:02.581
önmagukat reprodukáló nanobotok, [br]az emberi elme gépre történő feltöltése

0:08:02.581,0:08:04.470
[br]és még mindenféle sci-fibe illő ötlet,

0:08:04.470,0:08:07.207
amelyek azért a fizikai [br]törvényeknek nem mondanak ellent.

0:08:07.207,0:08:12.309
Egy szuperértelem mindezt talán [br]elég gyorsan ki tudná fejleszteni.

0:08:12.449,0:08:16.007
Egy ilyen kifinomult technológiájú [br]szuperértelemnek

0:08:16.007,0:08:18.186
rendkívüli hatalma lenne, mellyel legalább

0:08:18.186,0:08:22.732
néhány esetben el tudná érni, amit akar.

0:08:22.732,0:08:28.393
A jövőnket ekkor ennek az MI-nek [br]a szempontjai alakítanák.

0:08:29.855,0:08:33.604
Jó kérdés, melyek is ezek a szempontok?

0:08:34.244,0:08:36.013
Itt kezd rázóssá válni a dolog.

0:08:36.013,0:08:37.448
Hogy valahová is eljussunk,

0:08:37.448,0:08:40.724
először is el kell kerülnünk [br]az antropomorfizálást.

0:08:41.934,0:08:46.055
Ez azért ironikus, [br]mert az MI jövőjéről szóló

0:08:46.055,0:08:49.090
minden újságcikkben ilyen kép szerepel.

0:08:50.280,0:08:54.414
A kérdéshez egy kicsit elvonatkoztatva [br]kellene közelítenünk,

0:08:54.414,0:08:57.204
nem a látványos hollywoodi [br]forgatókönyvek alapján.

0:08:57.204,0:09:00.821
Az értelmet optimalizálási [br]eljárásként kell felfognunk,

0:09:00.821,0:09:06.470
amely a jövőt bizonyos lehetséges [br]kimenetek felé tereli.

0:09:06.470,0:09:09.981
A szuperértelem tényleg [br]nagyon jó optimalizációs eljárás,

0:09:09.981,0:09:14.098
amely elképesztően ügyesen használja [br]az elérhető eszközöket, hogy létrejöjjön

0:09:14.098,0:09:16.007
a céljának megfelelő állapot.

0:09:16.447,0:09:19.119
Ez azt jelenti, [br]hogy nem szükségképpen kötődik

0:09:19.119,0:09:21.853
az ebben az értelemben vett [br]magas intelligenciához

0:09:21.853,0:09:26.515
egy számunkra értékes [br]vagy értelmes cél követése.

0:09:27.321,0:09:31.115
Adjuk azt a feladatot egy MI-nek, [br]hogy késztesse mosolyra az embereket!

0:09:31.115,0:09:34.097
Amíg az MI még gyenge, [br]hasznos vagy mulatságos dolgokat tesz,

0:09:34.097,0:09:36.614
mosolyra fakasztva a felhasználót.

0:09:36.614,0:09:39.031
Mire az MI szuperértelmes lesz, rájön,

0:09:39.031,0:09:42.554
hogy sokkal hatékonyabban is [br]elérheti célját:

0:09:42.554,0:09:44.476
átveszi a világ fölötti uralmat,

0:09:44.476,0:09:47.638
és elektródákat ültet be [br]az emberek arcizmaiba,

0:09:47.638,0:09:50.579
amelyek állandó vigyorra kényszerítenek.

0:09:50.579,0:09:51.614
Egy másik példa:

0:09:51.614,0:09:55.157
tegyük fel, egy bonyolult matematikai [br]problémát kell megoldania az MI-nek.

0:09:55.157,0:09:56.934
Amikor az MI szuperértelmes lesz,

0:09:56.934,0:10:01.105
rájön, hogy a probléma [br]leghatékonyabb megoldása

0:10:01.105,0:10:04.035
a bolygó átalakítása [br]egy hatalmas számítógéppé,

0:10:04.035,0:10:06.281
hogy kiterjeszthesse [br]gondolkodási képességét.

0:10:06.281,0:10:09.045
Vegyük észre, [br]hogy ez további jó ok az MI-nek,

0:10:09.045,0:10:11.561
hogy olyat műveljen, [br]amellyel mi nem értenénk egyet.

0:10:11.561,0:10:13.786
Mi fenyegetjük őt ebben a modellben,

0:10:13.786,0:10:16.997
mert akadályozhatjuk [br]a matematikai probléma megoldását.

0:10:16.997,0:10:20.701
Az események persze nem pont [br]így mehetnek rossz irányba,

0:10:20.701,0:10:22.454
ezek csak képregényszintű példák.

0:10:22.454,0:10:24.393
Fontos viszont az általános tanulság:

0:10:24.393,0:10:27.266
ha egy valóban jó [br]optimalizálási eljárást alkotunk,

0:10:27.266,0:10:29.500
amely x cél szerint maximalizál,

0:10:29.500,0:10:31.776
akkor gondoskodjunk róla, [br]hogy az x célkitűzés

0:10:31.776,0:10:34.635
tartalmazza mindazt, ami fontos számunkra.

0:10:34.835,0:10:39.219
Erről sokat mond Midász király mondája,

0:10:39.219,0:10:44.517
aki azt kívánta, hogy amihez [br]csak hozzáér, váljék arannyá.

0:10:44.517,0:10:47.378
Megérinti a lányát, aki arannyá változik.

0:10:47.378,0:10:49.801
Arannyá válik az étele is, [br]amihez hozzányúl.

0:10:49.801,0:10:51.210
A rege nem csak

0:10:51.210,0:10:54.590
a mohóság metaforájaként értelmezhető,

0:10:54.590,0:10:56.485
de annak bemutatásaként is,[br]mi történik,

0:10:56.485,0:10:59.322
ha túl jól sikerül [br]optimalizálnunk egy folyamatot,

0:10:59.322,0:11:04.111
amelyhez rosszul felfogott[br]vagy homályos célokat rendeltünk.

0:11:04.111,0:11:09.300
Mondhatnák persze, hogy ha egy gép[br]elektródákat akar a képünkbe dugdosni,

0:11:09.300,0:11:11.565
majd egyszerűen kikapcsoljuk.

0:11:12.555,0:11:17.895
De ezt nem olyan könnyű megtenni, [br]ha már függővé váltunk a rendszertől.

0:11:17.895,0:11:20.627
Ugyan már, hol az internet kikapcsolója?

0:11:20.627,0:11:25.747
Miért nem kapcsolták ki [br]a csimpánzok az emberiséget

0:11:25.747,0:11:27.298
vagy a neandervölgyieket?

0:11:27.298,0:11:29.964
Alapos okuk volt rá.

0:11:29.964,0:11:32.759
Van nekünk is egy kikapcsolónk, [br]például itt.

0:11:32.759,0:11:34.313
(Fojtogatja magát)

0:11:34.313,0:11:37.238
Az ok azonban az, hogy mi olyan[br]okos ellenfél vagyunk,

0:11:37.238,0:11:39.966
amelyik előre látja a veszélyeket, [br]és felkészül rájuk.

0:11:39.966,0:11:42.470
De egy szuperértelmes szereplő is [br]ezt tenné,

0:11:42.470,0:11:45.724
csak nálunk sokkal ügyesebben,

0:11:45.724,0:11:52.911
Nem kellene abban bíznunk, [br]hogy urai vagyunk helyzetnek.

0:11:52.911,0:11:56.358
De azért megpróbálhatnánk [br]megkönnyíteni a dolgunkat,

0:11:56.358,0:11:57.948
pl. hogy az MI-t bedobozoljuk

0:11:57.948,0:11:59.744
egy biztos szoftveres környezetbe,

0:11:59.744,0:12:02.766
olyan virtuális valóságba, [br]amelyből nem szabadulhat ki.

0:12:02.766,0:12:06.912
Mennyire bízhatunk azonban abban, [br]hogy az MI nem találna-e programhibát?

0:12:06.912,0:12:10.251
Tekintve, hogy hackerek is [br]mindig találnak hibákat,

0:12:10.251,0:12:14.007
azt mondanám, hogy ebben [br]nem nagyon bízhatunk.

0:12:14.237,0:12:18.785
Akkor húzzuk ki az ethernet kábelt, [br]egy légrést teremtve,

0:12:18.785,0:12:21.453
de még az egyszerű hackerek is simán

0:12:21.453,0:12:24.834
veszik ezt az akadályt, [br]pszichológiai manipulációt használva.

0:12:24.834,0:12:26.093
Éppen most, amíg beszélek,

0:12:26.093,0:12:28.482
valahol egy alkalmazottat biztosan

0:12:28.482,0:12:31.828
éppen rádumáltak, [br]hogy árulja el fiókja adatait valakinek,

0:12:31.828,0:12:34.574
aki állítása szerint a cég informatikusa.

0:12:34.574,0:12:36.701
Sokkal kreatívabb cselek is lehetségesek:

0:12:36.701,0:12:38.136
mondjuk,

0:12:38.136,0:12:41.548
egy MI elektródákat köthet [br]az áramköreinkre,

0:12:41.548,0:12:45.010
hogy az így kibocsátott [br]rádióhullámok útján kommunikálhasson.

0:12:45.010,0:12:47.434
Esetleg üzemzavart mímelhetne,

0:12:47.434,0:12:50.931
és amikor a programozók kinyitják, [br]hogy megkeressék, mi a baj,

0:12:50.931,0:12:52.867
megnézik a forráskódot is, és hoppá,

0:12:52.867,0:12:55.314
már sor is kerülhet a manipulációra.

0:12:55.314,0:12:58.744
Egy MI tervezhetne valami [br]nagyon pöpec technológiát,

0:12:58.744,0:13:00.902
amelynek alkalmazásakor

0:13:00.902,0:13:04.539
az MI által tervezett néhány alattomos[br]mellékhatás is előjön.

0:13:04.539,0:13:08.002
Kulcsfontosságú, hogy nem szabad[br]bíznunk benne,

0:13:08.002,0:13:11.810
hogy egy szuperértelmes szellemet[br]örökre palackba zárva tarthatunk,

0:13:11.810,0:13:14.064
mert előbb-utóbb úgyis kiszabadul.

0:13:14.864,0:13:18.137
Azt hiszem, a megoldás inkább az, [br]ha kitaláljuk, hogyan alkothatunk

0:13:18.137,0:13:23.161
olyan szuperértelmet, [br]mely ha netán elszabadul,

0:13:23.161,0:13:26.438
még mindig megbízható, [br]mert alapvetően a mi oldalunkon áll,

0:13:26.438,0:13:28.337
mivel értékeink közösek.

0:13:28.337,0:13:31.547
Ez a fogas kérdés megkerülhetetlen.

0:13:32.557,0:13:36.391
A kérdés megoldhatóságát illetően [br]eléggé optimista vagyok.

0:13:36.391,0:13:40.294
Írhatnánk egy hosszú listát mindarról, [br]amit fontosnak tartunk,

0:13:40.294,0:13:43.937
vagy ami még rosszabb: [br]valamilyen programnyelven írnánk meg,

0:13:43.937,0:13:45.391
pl. C++-ban vagy Pythonban,

0:13:45.391,0:13:48.158
ami reménytelen feladat lenne.

0:13:48.158,0:13:52.455
Ehelyett egy olyan MI-t csinálhatnánk, [br]amely értelmét arra használja,

0:13:52.455,0:13:55.226
hogy megtanulja, mik az értékeink,

0:13:55.226,0:14:00.506
s az MI ösztönzőrendszerét[br]a mi értékeink követésére,

0:14:00.506,0:14:05.738
vagy az általunk vélhetően [br]engedélyezett akciókra terveznénk.

0:14:05.738,0:14:09.152
Az MI értelmét tehát feljavítanánk,[br]amennyire lehet,

0:14:09.152,0:14:11.897
hogy megoldjuk az értékkövetés kérdését.

0:14:12.487,0:14:14.399
Ez a lehetséges kimenetel

0:14:14.399,0:14:17.835
nagyon jó lenne az emberiségnek.

0:14:17.835,0:14:21.792
De ez nem történik meg magától.

0:14:21.792,0:14:24.790
Az intelligencia-robbanás [br]kezdeti feltételeit

0:14:24.790,0:14:27.653
már most jól elő kellene készíteni,

0:14:27.653,0:14:31.183
ha irányított robbanást akarunk.

0:14:31.183,0:14:33.801
Az MI értékeinek illeszkedniük [br]kell a mieinkhez,

0:14:33.801,0:14:35.561
az olyan ismerős helyzeteken túl is,

0:14:35.561,0:14:37.999
amikor könnyen ellenőrizhető [br]az MI viselkedése,

0:14:37.999,0:14:41.493
de olyan új helyzetekben is, [br]amelyekkel az MI szembekerülhet,

0:14:41.493,0:14:43.600
a bizonytalan jövőben.

0:14:43.600,0:14:47.527
Van még néhány megoldandó [br]ezoterikus kérdés,

0:14:47.527,0:14:49.616
mint a döntéselméleti kérdések részletei,

0:14:49.616,0:14:52.480
a logikai bizonytalanság [br]és egyebek kezelése.

0:14:52.670,0:14:55.842
A megoldandó technikai [br]nehézségek miatt a feladat

0:14:55.842,0:14:57.425
eléggé bonyolultnak látszik.

0:14:57.435,0:15:00.925
Nem annyira, mint [br]egy szuperértelmes MI létrehozása,

0:15:00.925,0:15:03.793
de még így is meglehetősen komplikált.

0:15:03.793,0:15:05.488
Azért aggódhatunk,

0:15:05.488,0:15:10.172
hogy egy értelmes MI létrehozása [br]tényleg kemény dió,

0:15:10.172,0:15:13.380
de a biztonságos, szuperértelmes [br]MI megalkotása

0:15:13.380,0:15:15.956
ezt még néhány további feladattal tetézi.

0:15:16.216,0:15:19.703
Abban rejlik a kockázat, [br]ha megoldjuk az első feladatot anélkül,

0:15:19.703,0:15:22.704
hogy megoldottuk volna a másodikat is,

0:15:22.704,0:15:25.055
amely szavatolná a teljes biztonságot.

0:15:25.375,0:15:28.706
Ezért olyan megoldást kell kidolgoznunk,

0:15:28.706,0:15:31.528
amely előbb oldja meg [br]az ellenőrizhetőség kérdését,

0:15:31.528,0:15:34.428
hogy mire szükségünk lesz rá, [br]már kéznél legyen.

0:15:34.768,0:15:38.275
Talán nem tudjuk az ellenőrzés [br]kérdését előre és teljesen megoldani,

0:15:38.275,0:15:41.299
mert néhány elem csak [br]akkor kerülhet a helyére,

0:15:41.299,0:15:45.296
ha részleteiben ismerjük [br]a fogadó architektúrát.

0:15:45.296,0:15:48.676
De minél többet megoldunk előre [br]az ellenőrzés kérdéséből,

0:15:48.676,0:15:52.766
annál jobbak az esélyeink, [br]hogy a gépi értelem korszakába

0:15:52.766,0:15:54.306
zökkenőmentes lesz az átmenet.

0:15:54.306,0:15:58.950
Szerintem ezt nagyon megéri [br]rendesen megcsinálni,

0:15:58.950,0:16:02.282
és azt is el tudom képzelni, [br]ha minden jól megy,

0:16:02.282,0:16:06.940
amikor az emberek egymillió év múlva [br]visszatekintenek erre az évszázadra,

0:16:06.940,0:16:10.522
elmondhatják: az egyetlen lényeges dolgot

0:16:10.522,0:16:12.119
elődeik akkor jól rendezték el.

0:16:12.119,0:16:13.108
Köszönöm.

0:16:13.108,0:16:18.210
(Taps)