Sci-fi thrillereket írok,
úgyhogy mikor azt mondom, "gyilkos robotok,"
valószínűleg ilyesmire gondoltok.
De igazából most nem fikcióról akarok beszélni.
Igazi gyilkos robotokról fogok beszélni,
önálló harci drónokról.
Nem a Predator vagy Reaper drónokra gondolok,
amikor egy ember hozza meg a döntést a célokról.
Teljesen önálló robotfegyverekről beszélek,
amik halálos döntéseket hoznak emberi lényekről,
önmaguktól.
Van erre egy technikai kifejezés: gyilkolási autonómia.
Szóval az öldöklésről önállóan dönteni képes, gyilkos robotok
sokféle formát ölthetnek -- repülhetnek, vezethetnek,
vagy csak várakozhatnak.
És igazából egyre gyorsabban válnak valóságossá.
Ez két automata orvlövész-állomás
amik jelen pillanatban az Észak- és Dél-Korea közti demilitarizált övezetben vannak hadrendbe állítva.
Mindkét gép képes automatikusan felismerni
egy emberi célpontot és lőni rá,
a bal oldali egy kilométeresnél nagyobb távolságra is.
Mindkét esetben van még egy ember
aki meghozza a halálos tűzparancsra vonatkozó döntést,
de ez nem technológiai elvárás. Csak egy döntés.
Erre a döntésre szeretnék fókuszálni,
mert ahogy a halálos döntéshozatalt átruházzuk
az emberekről a szoftverekre,
nem csak kivonjuk az emberi tényezőt a háborúból,
de megváltoztatjuk a teljes szociális térképet,
a harcmezőktől messze.
Azért, mert ahogy az emberek megoldják a konfliktusokat
meghatározza a szociális térképet.
Ez mindig így volt, az egész történelem során.
Például ezek voltak a legmodernebb fegyverrendszerek
időszámításunk után 1400-ban.
Ezeket drága volt megépíteni és fenntartani,
de uralhatták velük a népességet,
és a politikai erő megoszlása a feudális rendszerekben bemutatja ezt.
A hatalom a társadalom csúcsán összpontosult.
És mi változott? Technológiai innováció.
Puskapor, ágyúk.
És nemsokára a páncélok és kastélyok feleslegessé váltak,
kevésbé számított, hogy kit vittél a harcmezőre,
mint hogy hány embert vittél oda.
Ahogy a hadseregek számban nőttek, kiemelkedett a nemzetállam,
mint a védekezés politikai és logisztikai feltétele.
Ahogy a vezetők egyre inkább rászorultak a népességre,
elkezdték megosztani a hatalmat.
Kialakult a képviseleti kormányzás.
Ismételten, az eszközök amivel megoldjuk a konfliktusokat
befolyásolják a szociális térképet.
Az önálló robotfegyverek is ilyen eszközök,
azzal a kivétellel, hogy kevesebb embernek kell harcba vonulnia,
így megkockáztatják a hatalom néhány kézbe való recentralizációját,
potenciálisan visszafordítva egy ötévszázados trendet a demokrácia felé.
Most, azt hiszem, ennek ismeretében
megtehetünk bizonyos döntő lépéseket, hogy megőrizzük a demokratikus intézményeinket,
hogy megtegyük, amihez legjobban értünk, alkalmazkodjunk.
De az idő is kérdés.
Hetven nemzet fejleszt távolról irányítható
harci drónokat,
és mint látják, a távolról irányítható harci drónok
az előfutárai az önálló robotfegyvereknek.
Azért, mert ha egyszer bevetetted a távolról irányítható drónokat,
három erős faktor is próbálja eltávolítani
a döntéshozatalt az emberektől és átadni a fegyveres platformnak.
Az első az a videóáradat, amit ezek a drónok termelnek.
Példának okáért 2004-ben az USA drónflottája
összesen 71 órányi videófelderítést készített analízis céljára.
2011-re ez felment 300 000 órára,
felülmúlva az emberek képességét arra, hogy mindezt átnézzék,
de ez a szám is drasztikusan növekszik.
A Pentagon Gorgói Szem és Árgus programjai
több mint 65 önállóan működő kameraszemet helyez fel
ezekre a drónplatformokra,
és ez jóval túllépi az emberi képességeket a videók megnézésére.
Ez azt jelenti, hogy vizuális intelligenciaszoftvernek kell
alaposan átnéznie fontos részek után kutatva.
És ez azt jelenti, hogy hamarosan
a drónok mondják meg az embereknek, mit kell nézni,
nem fordítva.
A második fontos ösztönző ami a döntéshozatalt elvenné
az emberektől és a gépeknek adná,
az az elektromágneses zavarás,
ami rontja a kapcsolatot a drón
és az operátor között.
Láttunk erre példát 2011-ben
mikor az amerikai RQ-170 Sentinel drón
összezavarodott Irán fölött egy GPS-hamisító támadás miatt,
de bármilyen távolról irányított drón ki van téve az ilyen támadásoknak,
ami azt jelenti,
hogy a drónoknak több döntést kell hozniuk.
Tudni fogják a küldetésük célját,
és emberi irányítás nélkül fognak reagálni az új körülményekre.
Figyelmen kívül fogják hagyni a külső rádiójeleket
és ők maguk kevés jelet fognak küldeni.
Ami elvisz minket a harmadik
és legerősebb ösztönzőhöz, hogy a döntéshozatalt az emberek helyett
a fegyvereknek adjuk:
az elfogadható tagadás.
Ma egy globális gazdaságban élünk.
A legtöbb kontinensen zajlik csúcstechnológiás gyártás.
A kiberkémkedés ellopja a fejlett terveket
ismeretlen vidékekre,
és ebben a környezetben nagyon valószínű,
hogy a sikeres drónterveket leszerződött gyárakban le fogják koppintani,
és elburjánzanak a szürke piacon.
Ebben a szituációban át kell fésülni a romjait
egy öngyilkos dróntámadásnak, és nehéz lesz megmondani,
ki küldte a fegyvert.
Ez felveti a névtelen háború
nagyon is valószínű lehetőségét.
Ez felboríthatná a geopolitikai egyensúlyt,
megnehezítve a nemzetek számára, hogy tűzerejüket
egy támadó ellen fordítsák, és eltolhatná az egyensúlyt
a 21. században a védekezéstől a támadáshoz.
A katonai akciókat lehetséges opcióvá tenné
nem csak kis nemzetek,
de bűnszervezetek, magánvállalkozások,
akár hatalommal rendelkező egyének számára is.
Kialakulhat egy rivális hadurakból álló táj,
ami aláássa a törvény és a civil társadalom erejét.
Ha most a felelősség és átláthatóság
a képviseleti kormányzás két sarokköve,
az önálló robotfegyverek alááshatják mindkettőt.
Gondolhattok arra,
hogy a csúcstechnológiával rendelkező nemzetek polgárainak
előnye lenne bármilyen robotháborúban,
hogy e nemzeteknek polgárai kevésbé sebezhetőek,
különösen a fejlődő országokhoz képest.
De azt hiszem az igazság pontosan ennek az ellentéte.
Úgy vélem, a csúcstechnológiájú nemzetek tagjai
sebezhetőbbek a robotfegyverekre,
ennek az okát egy szóban összefoglalhatom: adatok.
Az adatok irányítják a csúcstechnológiájú társadalmakat.
Mobiltelefonos geolokáció, telekommunikációs metaadatok,
közösségi média, email, SMS, pénzügyi tranzakciós adatok,
szállítási adatok, az emberi mozgás és társadalmi interakció
valósidejű adatainak özöne.
Röviden szólva, sokkal láthatóbbak vagyunk a gépek szemében
mint valaha a történelemben,
és ez tökéletesen illeszkedik az önálló fegyverek célzási igényeihez.
Amit itt látnak, az egy társadalmi csoport
kapcsolati analízis térképe.
A vonalak mutatják a társadalmi kapcsolatokat egyes egyének között.
Ezek a fajta térképek automatikusan generálhatók
az emberek mögött hagyott adatnyom alapján.
Ezt arra használják, hogy megcélozzanak bizonyos demográfiai csoportokat
termékek marketingcéljaira, de kétoldalú technológia,
mert a megcélzást máshogy is használhatjuk.
Nézzétek, bizonyos egyének ki vannak emelve.
Ők a társadalmi hálózat gócpontjai.
Ők a szervezők, véleményalkotók, vezetők,
és ezeket az embereket automatikusan meghatározhatod
a kommunikációs mintáik alapján.
Na most, ha marketinges vagy, őket célzod meg
termékmintákkal, próbálod elterjeszteni a márkádat
az ő társadalmi csoportjukon keresztül.
De ha egy elnyomó kormány vagy,
aki a politikai ellenségeit keresi, inkább eltávolítod őket,
megsemmisíted őket, szétszakítod a társadalmi csoportot,
és a hátramaradottak elvesztik a szociális kohéziót
és szervezettséget.
Az olcsó, burjánzó robotfegyverek világában
a határok kevés védelmet kínálnak
a távoli kormányok kritikusainak
vagy nemzeteket átfogó bűnszervezeteknek.
Népszerű mozgalmak, amik változást agitálnak
korán felderíthetővé válnak, és a vezetőik eltávolíthatóak
mielőtt a gondolataik elérik a kritikus tömeget.
A gondolatok kritikus tömeget elérése az,
amiről a politikai aktivizmus, a népi kormányzás szól.
Névtelen halálos fegyverek könnyedén hozhatnak döntéseket
halálos akciókról mindenféle versengő érdekek mentén.
Ez leállítaná a szólásszabadságot
és a népi politikai akciókat, a demokrácia szívét.
Ezért van szükségünk egy nemzetközi egyezményre
a robotfegyverekről, pontosabban egy globális tilalomra
a gyilkos robotok fejlesztésében és bevetésében.
Már vannak nemzetközi egyezményeink
nukleáris és biológiai fegyverekre, és habár tökéletlenek,
nagymértékben működnek.
De a robotfegyverek ugyanennyire veszélyesek lehetnek,
mert szinte biztosan használni fogják őket,
és fokozatosan tönkretehetik demokratikus intézményeinket.
2012 novemberében az USA Védelmi Minisztériuma
kiadott egy direktívát,
amely megköveteli egy ember jelenlétét a halálos döntéseknél.
Ez időlegesen tulajdonképpen betiltotta az önálló fegyvereket az USA hadseregében,
de ezt a direktívát állandóvá kell tennünk.
Ez meghatározhatná a globális akció színterét.
Mert szükségünk van egy nemzetközi jogi keretre
a robotfegyverek esetén.
És most van rá szükségünk, még mielőtt egy pusztító támadás
vagy terrorcselekmény okán a világ nemzetei
sietve átveszik ezeket a fegyvereket,
a következményeket át sem gondolva.
Az önálló robotfegyverek túl sok erőt koncentrálnak
túl kevés kézben, és ez magát a demokráciát veszélyezteti.
Ne értsetek félre, hiszek benne, hogy rengeteg
haszna van fegyvertelen civil drónoknak:
környezeti megfigyelés, kereséses mentőakciók, logisztika.
Ha van egy nemzetközi egyezményünk a robotfegyverekről,
hogy használhatnánk ki az önálló drónok
és járművek előnyeit miközben megvédjük magunkat
az illegális robotfegyverektől?
Azt hiszem a titok az átláthatóságban rejlik.
Egy robot sem várhat el privátszférát
egy nyilvános helyen.
(Taps)
Minden robotnak és drónnak szüksége van
egy, még a gyárban beégetett, titkosított azonosítóra,
amit aztán a nyilvános helyeken való mozgásának követésére használhatunk.
Az autókon vannak rendszámtáblák, a repülőkön farokszámok.
Ez sem más.
Minden állampolgár letölthetne egy alkalmazást,
ami megmutatja a drónok és önálló járművek számát
a körülötte lévő nyilvános helyen,
abban a pillanatban és a múltban is.
És a városi vezetőknek szenzorokat és városi drónokat kellene bevetni
a csavargó drónok felderítésére,
és ahelyett, hogy gyilkos drónokat küldenénk, hogy lelőjék őket,
fel kellene hívniuk az emberek figyelmét a jelenlétükre.
És bizonyos nagyon magas biztonsági övezetekben
a városi drónok talán elfognák és elvinnék őket
egy bomba-ártalmatlanító létesítménybe.
De vegyétek észre, ez inkább egy védekezőrendszer,
mint fegyverrendszer.
Ez lehetővé tenné, hogy kiélvezzük
az önálló járművek és drónok előnyeit,
miközben megvédjük a nyitott, polgári társadalmunkat.
Be kell tiltanunk a gyilkos robotok bevetését
és fejlesztését.
Ne dőljünk be az automatizált háború csábításának.
Az autokrata kormányok és bűnszervezetek
kétségtelenül be fognak, de ne csatlakozzunk.
Az önálló robotfegyverek
túl sok hatalmat koncentrálnak
túl kevés láthatatlan kézben,
és ez fokozatosan tönkreteheti a képviseleti kormányzást.
Biztosítsuk, hogy - a demokráciákban legalábbis -
a gyilkos robotok fikciók maradjanak.
Köszönöm.
(Taps)
Köszönöm. (Taps)