0:00:00.691,0:00:03.849 Sci-fi thrillereket írok, 0:00:03.849,0:00:06.042 úgyhogy mikor azt mondom, "gyilkos robotok," 0:00:06.042,0:00:08.403 valószínűleg ilyesmire gondoltok. 0:00:08.403,0:00:10.958 De igazából most nem fikcióról akarok beszélni. 0:00:10.958,0:00:13.906 Igazi gyilkos robotokról fogok beszélni, 0:00:13.906,0:00:17.028 önálló harci drónokról. 0:00:17.028,0:00:20.655 Nem a Predator vagy Reaper drónokra gondolok, 0:00:20.655,0:00:23.915 amikor egy ember hozza meg a döntést a célokról. 0:00:23.915,0:00:27.044 Teljesen önálló robotfegyverekről beszélek, 0:00:27.044,0:00:29.698 amik halálos döntéseket hoznak emberi lényekről, 0:00:29.698,0:00:32.115 önmaguktól. 0:00:32.115,0:00:36.115 Van erre egy technikai kifejezés: gyilkolási autonómia. 0:00:36.115,0:00:38.971 Szóval az öldöklésről önállóan dönteni képes, gyilkos robotok 0:00:38.971,0:00:42.040 sokféle formát ölthetnek -- repülhetnek, vezethetnek, 0:00:42.040,0:00:44.786 vagy csak várakozhatnak. 0:00:44.786,0:00:47.895 És igazából egyre gyorsabban válnak valóságossá. 0:00:47.895,0:00:50.379 Ez két automata orvlövész-állomás 0:00:50.379,0:00:54.516 amik jelen pillanatban az Észak- és Dél-Korea közti demilitarizált övezetben vannak hadrendbe állítva. 0:00:54.516,0:00:56.687 Mindkét gép képes automatikusan felismerni 0:00:56.687,0:01:00.211 egy emberi célpontot és lőni rá, 0:01:00.211,0:01:04.535 a bal oldali egy kilométeresnél nagyobb távolságra is. 0:01:04.535,0:01:08.124 Mindkét esetben van még egy ember 0:01:08.124,0:01:10.496 aki meghozza a halálos tűzparancsra vonatkozó döntést, 0:01:10.496,0:01:15.909 de ez nem technológiai elvárás. Csak egy döntés. 0:01:15.909,0:01:19.002 Erre a döntésre szeretnék fókuszálni, 0:01:19.002,0:01:21.643 mert ahogy a halálos döntéshozatalt átruházzuk 0:01:21.643,0:01:24.752 az emberekről a szoftverekre, 0:01:24.752,0:01:28.228 nem csak kivonjuk az emberi tényezőt a háborúból, 0:01:28.228,0:01:31.754 de megváltoztatjuk a teljes szociális térképet, 0:01:31.754,0:01:33.978 a harcmezőktől messze. 0:01:33.978,0:01:38.487 Azért, mert ahogy az emberek megoldják a konfliktusokat 0:01:38.487,0:01:40.220 meghatározza a szociális térképet. 0:01:40.220,0:01:42.853 Ez mindig így volt, az egész történelem során. 0:01:42.853,0:01:45.514 Például ezek voltak a legmodernebb fegyverrendszerek 0:01:45.514,0:01:47.593 időszámításunk után 1400-ban. 0:01:47.593,0:01:50.737 Ezeket drága volt megépíteni és fenntartani, 0:01:50.737,0:01:53.977 de uralhatták velük a népességet, 0:01:53.977,0:01:57.866 és a politikai erő megoszlása a feudális rendszerekben bemutatja ezt. 0:01:57.866,0:02:00.553 A hatalom a társadalom csúcsán összpontosult. 0:02:00.553,0:02:04.081 És mi változott? Technológiai innováció. 0:02:04.081,0:02:05.952 Puskapor, ágyúk. 0:02:05.952,0:02:09.769 És nemsokára a páncélok és kastélyok feleslegessé váltak, 0:02:09.769,0:02:12.302 kevésbé számított, hogy kit vittél a harcmezőre, 0:02:12.302,0:02:16.081 mint hogy hány embert vittél oda. 0:02:16.081,0:02:19.719 Ahogy a hadseregek számban nőttek, kiemelkedett a nemzetállam, 0:02:19.719,0:02:23.399 mint a védekezés politikai és logisztikai feltétele. 0:02:23.399,0:02:25.775 Ahogy a vezetők egyre inkább rászorultak a népességre, 0:02:25.775,0:02:27.608 elkezdték megosztani a hatalmat. 0:02:27.608,0:02:30.207 Kialakult a képviseleti kormányzás. 0:02:30.207,0:02:33.495 Ismételten, az eszközök amivel megoldjuk a konfliktusokat 0:02:33.495,0:02:36.799 befolyásolják a szociális térképet. 0:02:36.799,0:02:40.863 Az önálló robotfegyverek is ilyen eszközök, 0:02:40.863,0:02:46.031 azzal a kivétellel, hogy kevesebb embernek kell harcba vonulnia, 0:02:46.031,0:02:50.871 így megkockáztatják a hatalom néhány kézbe való recentralizációját, 0:02:50.871,0:02:57.386 potenciálisan visszafordítva egy ötévszázados trendet a demokrácia felé. 0:02:57.386,0:02:59.143 Most, azt hiszem, ennek ismeretében 0:02:59.143,0:03:03.495 megtehetünk bizonyos döntő lépéseket, hogy megőrizzük a demokratikus intézményeinket, 0:03:03.495,0:03:07.474 hogy megtegyük, amihez legjobban értünk, alkalmazkodjunk. 0:03:07.474,0:03:09.479 De az idő is kérdés. 0:03:09.479,0:03:12.330 Hetven nemzet fejleszt távolról irányítható 0:03:12.330,0:03:14.487 harci drónokat, 0:03:14.487,0:03:17.080 és mint látják, a távolról irányítható harci drónok 0:03:17.080,0:03:21.552 az előfutárai az önálló robotfegyvereknek. 0:03:21.552,0:03:24.319 Azért, mert ha egyszer bevetetted a távolról irányítható drónokat, 0:03:24.319,0:03:27.703 három erős faktor is próbálja eltávolítani 0:03:27.703,0:03:32.303 a döntéshozatalt az emberektől és átadni a fegyveres platformnak. 0:03:32.303,0:03:37.562 Az első az a videóáradat, amit ezek a drónok termelnek. 0:03:37.562,0:03:41.415 Példának okáért 2004-ben az USA drónflottája 0:03:41.415,0:03:46.727 összesen 71 órányi videófelderítést készített analízis céljára. 0:03:46.727,0:03:51.226 2011-re ez felment 300 000 órára, 0:03:51.226,0:03:54.375 felülmúlva az emberek képességét arra, hogy mindezt átnézzék, 0:03:54.375,0:03:58.039 de ez a szám is drasztikusan növekszik. 0:03:58.039,0:04:00.614 A Pentagon Gorgói Szem és Árgus programjai 0:04:00.614,0:04:03.778 több mint 65 önállóan működő kameraszemet helyez fel 0:04:03.778,0:04:05.816 ezekre a drónplatformokra, 0:04:05.816,0:04:09.119 és ez jóval túllépi az emberi képességeket a videók megnézésére. 0:04:09.119,0:04:11.279 Ez azt jelenti, hogy vizuális intelligenciaszoftvernek kell 0:04:11.279,0:04:15.327 alaposan átnéznie fontos részek után kutatva. 0:04:15.327,0:04:16.675 És ez azt jelenti, hogy hamarosan 0:04:16.675,0:04:19.422 a drónok mondják meg az embereknek, mit kell nézni, 0:04:19.422,0:04:21.919 nem fordítva. 0:04:21.919,0:04:24.392 A második fontos ösztönző ami a döntéshozatalt elvenné 0:04:24.392,0:04:27.775 az emberektől és a gépeknek adná, 0:04:27.775,0:04:30.647 az az elektromágneses zavarás, 0:04:30.647,0:04:32.883 ami rontja a kapcsolatot a drón 0:04:32.883,0:04:35.697 és az operátor között. 0:04:35.697,0:04:38.315 Láttunk erre példát 2011-ben 0:04:38.315,0:04:41.271 mikor az amerikai RQ-170 Sentinel drón 0:04:41.271,0:04:45.578 összezavarodott Irán fölött egy GPS-hamisító támadás miatt, 0:04:45.578,0:04:50.692 de bármilyen távolról irányított drón ki van téve az ilyen támadásoknak, 0:04:50.692,0:04:52.744 ami azt jelenti, 0:04:52.744,0:04:56.364 hogy a drónoknak több döntést kell hozniuk. 0:04:56.364,0:04:59.407 Tudni fogják a küldetésük célját, 0:04:59.407,0:05:04.252 és emberi irányítás nélkül fognak reagálni az új körülményekre. 0:05:04.252,0:05:06.833 Figyelmen kívül fogják hagyni a külső rádiójeleket 0:05:06.833,0:05:09.163 és ők maguk kevés jelet fognak küldeni. 0:05:09.163,0:05:11.169 Ami elvisz minket a harmadik 0:05:11.169,0:05:15.031 és legerősebb ösztönzőhöz, hogy a döntéshozatalt az emberek helyett 0:05:15.031,0:05:18.373 a fegyvereknek adjuk: 0:05:18.373,0:05:21.666 az elfogadható tagadás. 0:05:21.666,0:05:24.553 Ma egy globális gazdaságban élünk. 0:05:24.553,0:05:28.887 A legtöbb kontinensen zajlik csúcstechnológiás gyártás. 0:05:28.887,0:05:31.801 A kiberkémkedés ellopja a fejlett terveket 0:05:31.801,0:05:33.687 ismeretlen vidékekre, 0:05:33.687,0:05:35.701 és ebben a környezetben nagyon valószínű, 0:05:35.701,0:05:40.435 hogy a sikeres drónterveket leszerződött gyárakban le fogják koppintani, 0:05:40.435,0:05:42.605 és elburjánzanak a szürke piacon. 0:05:42.605,0:05:45.065 Ebben a szituációban át kell fésülni a romjait 0:05:45.065,0:05:48.025 egy öngyilkos dróntámadásnak, és nehéz lesz megmondani, 0:05:48.025,0:05:52.425 ki küldte a fegyvert. 0:05:52.425,0:05:55.225 Ez felveti a névtelen háború 0:05:55.225,0:05:58.160 nagyon is valószínű lehetőségét. 0:05:58.160,0:06:00.774 Ez felboríthatná a geopolitikai egyensúlyt, 0:06:00.774,0:06:04.265 megnehezítve a nemzetek számára, hogy tűzerejüket 0:06:04.265,0:06:07.113 egy támadó ellen fordítsák, és eltolhatná az egyensúlyt 0:06:07.113,0:06:10.877 a 21. században a védekezéstől a támadáshoz. 0:06:10.877,0:06:14.001 A katonai akciókat lehetséges opcióvá tenné 0:06:14.001,0:06:16.289 nem csak kis nemzetek, 0:06:16.289,0:06:18.834 de bűnszervezetek, magánvállalkozások, 0:06:18.834,0:06:21.313 akár hatalommal rendelkező egyének számára is. 0:06:21.313,0:06:24.641 Kialakulhat egy rivális hadurakból álló táj, 0:06:24.641,0:06:28.321 ami aláássa a törvény és a civil társadalom erejét. 0:06:28.321,0:06:31.937 Ha most a felelősség és átláthatóság 0:06:31.937,0:06:34.321 a képviseleti kormányzás két sarokköve, 0:06:34.321,0:06:38.641 az önálló robotfegyverek alááshatják mindkettőt. 0:06:38.641,0:06:40.187 Gondolhattok arra, 0:06:40.187,0:06:42.433 hogy a csúcstechnológiával rendelkező nemzetek polgárainak 0:06:42.433,0:06:45.136 előnye lenne bármilyen robotháborúban, 0:06:45.136,0:06:48.769 hogy e nemzeteknek polgárai kevésbé sebezhetőek, 0:06:48.769,0:06:53.057 különösen a fejlődő országokhoz képest. 0:06:53.057,0:06:56.581 De azt hiszem az igazság pontosan ennek az ellentéte. 0:06:56.581,0:06:58.832 Úgy vélem, a csúcstechnológiájú nemzetek tagjai 0:06:58.832,0:07:02.561 sebezhetőbbek a robotfegyverekre, 0:07:02.561,0:07:07.026 ennek az okát egy szóban összefoglalhatom: adatok. 0:07:07.026,0:07:10.507 Az adatok irányítják a csúcstechnológiájú társadalmakat. 0:07:10.507,0:07:13.697 Mobiltelefonos geolokáció, telekommunikációs metaadatok, 0:07:13.697,0:07:17.169 közösségi média, email, SMS, pénzügyi tranzakciós adatok, 0:07:17.169,0:07:20.701 szállítási adatok, az emberi mozgás és társadalmi interakció 0:07:20.701,0:07:24.074 valósidejű adatainak özöne. 0:07:24.074,0:07:27.849 Röviden szólva, sokkal láthatóbbak vagyunk a gépek szemében 0:07:27.849,0:07:30.091 mint valaha a történelemben, 0:07:30.091,0:07:35.707 és ez tökéletesen illeszkedik az önálló fegyverek célzási igényeihez. 0:07:35.707,0:07:37.445 Amit itt látnak, az egy társadalmi csoport 0:07:37.445,0:07:40.691 kapcsolati analízis térképe. 0:07:40.691,0:07:44.325 A vonalak mutatják a társadalmi kapcsolatokat egyes egyének között. 0:07:44.325,0:07:47.205 Ezek a fajta térképek automatikusan generálhatók 0:07:47.205,0:07:51.920 az emberek mögött hagyott adatnyom alapján. 0:07:51.920,0:07:54.397 Ezt arra használják, hogy megcélozzanak bizonyos demográfiai csoportokat 0:07:54.397,0:07:58.813 termékek marketingcéljaira, de kétoldalú technológia, 0:07:58.813,0:08:02.173 mert a megcélzást máshogy is használhatjuk. 0:08:02.173,0:08:04.733 Nézzétek, bizonyos egyének ki vannak emelve. 0:08:04.733,0:08:08.013 Ők a társadalmi hálózat gócpontjai. 0:08:08.013,0:08:11.603 Ők a szervezők, véleményalkotók, vezetők, 0:08:11.603,0:08:14.285 és ezeket az embereket automatikusan meghatározhatod 0:08:14.285,0:08:16.667 a kommunikációs mintáik alapján. 0:08:16.667,0:08:18.813 Na most, ha marketinges vagy, őket célzod meg 0:08:18.813,0:08:21.356 termékmintákkal, próbálod elterjeszteni a márkádat 0:08:21.356,0:08:24.185 az ő társadalmi csoportjukon keresztül. 0:08:24.185,0:08:26.138 De ha egy elnyomó kormány vagy, 0:08:26.138,0:08:30.948 aki a politikai ellenségeit keresi, inkább eltávolítod őket, 0:08:30.948,0:08:33.708 megsemmisíted őket, szétszakítod a társadalmi csoportot, 0:08:33.708,0:08:36.877 és a hátramaradottak elvesztik a szociális kohéziót 0:08:36.877,0:08:39.498 és szervezettséget. 0:08:39.498,0:08:42.822 Az olcsó, burjánzó robotfegyverek világában 0:08:42.822,0:08:45.457 a határok kevés védelmet kínálnak 0:08:45.457,0:08:47.403 a távoli kormányok kritikusainak 0:08:47.403,0:08:51.049 vagy nemzeteket átfogó bűnszervezeteknek. 0:08:51.049,0:08:54.542 Népszerű mozgalmak, amik változást agitálnak 0:08:54.542,0:08:58.151 korán felderíthetővé válnak, és a vezetőik eltávolíthatóak 0:08:58.151,0:09:01.062 mielőtt a gondolataik elérik a kritikus tömeget. 0:09:01.062,0:09:03.653 A gondolatok kritikus tömeget elérése az, 0:09:03.653,0:09:07.589 amiről a politikai aktivizmus, a népi kormányzás szól. 0:09:07.589,0:09:11.586 Névtelen halálos fegyverek könnyedén hozhatnak döntéseket 0:09:11.586,0:09:15.368 halálos akciókról mindenféle versengő érdekek mentén. 0:09:15.368,0:09:19.102 Ez leállítaná a szólásszabadságot 0:09:19.102,0:09:24.410 és a népi politikai akciókat, a demokrácia szívét. 0:09:24.410,0:09:27.324 Ezért van szükségünk egy nemzetközi egyezményre 0:09:27.324,0:09:30.864 a robotfegyverekről, pontosabban egy globális tilalomra 0:09:30.864,0:09:34.772 a gyilkos robotok fejlesztésében és bevetésében. 0:09:34.772,0:09:38.026 Már vannak nemzetközi egyezményeink 0:09:38.026,0:09:41.412 nukleáris és biológiai fegyverekre, és habár tökéletlenek, 0:09:41.412,0:09:43.700 nagymértékben működnek. 0:09:43.700,0:09:47.468 De a robotfegyverek ugyanennyire veszélyesek lehetnek, 0:09:47.468,0:09:50.756 mert szinte biztosan használni fogják őket, 0:09:50.756,0:09:55.783 és fokozatosan tönkretehetik demokratikus intézményeinket. 0:09:55.783,0:09:59.251 2012 novemberében az USA Védelmi Minisztériuma 0:09:59.251,0:10:01.709 kiadott egy direktívát, 0:10:01.709,0:10:06.228 amely megköveteli egy ember jelenlétét a halálos döntéseknél. 0:10:06.228,0:10:11.004 Ez időlegesen tulajdonképpen betiltotta az önálló fegyvereket az USA hadseregében, 0:10:11.004,0:10:14.757 de ezt a direktívát állandóvá kell tennünk. 0:10:14.757,0:10:19.133 Ez meghatározhatná a globális akció színterét. 0:10:19.133,0:10:22.978 Mert szükségünk van egy nemzetközi jogi keretre 0:10:22.978,0:10:25.116 a robotfegyverek esetén. 0:10:25.116,0:10:28.044 És most van rá szükségünk, még mielőtt egy pusztító támadás 0:10:28.044,0:10:31.196 vagy terrorcselekmény okán a világ nemzetei 0:10:31.196,0:10:33.120 sietve átveszik ezeket a fegyvereket, 0:10:33.120,0:10:36.891 a következményeket át sem gondolva. 0:10:36.891,0:10:39.872 Az önálló robotfegyverek túl sok erőt koncentrálnak 0:10:39.872,0:10:46.155 túl kevés kézben, és ez magát a demokráciát veszélyezteti. 0:10:46.155,0:10:48.841 Ne értsetek félre, hiszek benne, hogy rengeteg 0:10:48.841,0:10:51.459 haszna van fegyvertelen civil drónoknak: 0:10:51.459,0:10:55.398 környezeti megfigyelés, kereséses mentőakciók, logisztika. 0:10:55.398,0:10:58.224 Ha van egy nemzetközi egyezményünk a robotfegyverekről, 0:10:58.224,0:11:01.811 hogy használhatnánk ki az önálló drónok 0:11:01.811,0:11:04.459 és járművek előnyeit miközben megvédjük magunkat 0:11:04.459,0:11:08.439 az illegális robotfegyverektől? 0:11:08.439,0:11:13.180 Azt hiszem a titok az átláthatóságban rejlik. 0:11:13.180,0:11:16.193 Egy robot sem várhat el privátszférát 0:11:16.193,0:11:19.644 egy nyilvános helyen. 0:11:19.644,0:11:24.692 (Taps) 0:11:24.692,0:11:26.737 Minden robotnak és drónnak szüksége van 0:11:26.737,0:11:29.620 egy, még a gyárban beégetett, titkosított azonosítóra, 0:11:29.620,0:11:32.543 amit aztán a nyilvános helyeken való mozgásának követésére használhatunk. 0:11:32.543,0:11:35.924 Az autókon vannak rendszámtáblák, a repülőkön farokszámok. 0:11:35.924,0:11:37.765 Ez sem más. 0:11:37.765,0:11:39.777 Minden állampolgár letölthetne egy alkalmazást, 0:11:39.777,0:11:42.902 ami megmutatja a drónok és önálló járművek számát 0:11:42.902,0:11:45.331 a körülötte lévő nyilvános helyen, 0:11:45.331,0:11:48.064 abban a pillanatban és a múltban is. 0:11:48.064,0:11:51.612 És a városi vezetőknek szenzorokat és városi drónokat kellene bevetni 0:11:51.612,0:11:53.956 a csavargó drónok felderítésére, 0:11:53.956,0:11:57.132 és ahelyett, hogy gyilkos drónokat küldenénk, hogy lelőjék őket, 0:11:57.132,0:12:00.124 fel kellene hívniuk az emberek figyelmét a jelenlétükre. 0:12:00.124,0:12:02.730 És bizonyos nagyon magas biztonsági övezetekben 0:12:02.730,0:12:04.639 a városi drónok talán elfognák és elvinnék őket 0:12:04.639,0:12:07.480 egy bomba-ártalmatlanító létesítménybe. 0:12:07.480,0:12:10.507 De vegyétek észre, ez inkább egy védekezőrendszer, 0:12:10.507,0:12:11.828 mint fegyverrendszer. 0:12:11.828,0:12:14.420 Ez lehetővé tenné, hogy kiélvezzük 0:12:14.420,0:12:16.452 az önálló járművek és drónok előnyeit, 0:12:16.452,0:12:20.747 miközben megvédjük a nyitott, polgári társadalmunkat. 0:12:20.747,0:12:23.746 Be kell tiltanunk a gyilkos robotok bevetését 0:12:23.746,0:12:25.608 és fejlesztését. 0:12:25.608,0:12:30.458 Ne dőljünk be az automatizált háború csábításának. 0:12:30.458,0:12:33.176 Az autokrata kormányok és bűnszervezetek 0:12:33.176,0:12:36.132 kétségtelenül be fognak, de ne csatlakozzunk. 0:12:36.132,0:12:38.023 Az önálló robotfegyverek 0:12:38.023,0:12:40.074 túl sok hatalmat koncentrálnak 0:12:40.074,0:12:42.556 túl kevés láthatatlan kézben, 0:12:42.556,0:12:45.811 és ez fokozatosan tönkreteheti a képviseleti kormányzást. 0:12:45.811,0:12:48.772 Biztosítsuk, hogy - a demokráciákban legalábbis - 0:12:48.772,0:12:51.376 a gyilkos robotok fikciók maradjanak. 0:12:51.376,0:12:52.486 Köszönöm. 0:12:52.486,0:12:57.051 (Taps) 0:12:57.051,0:13:01.667 Köszönöm. (Taps)