A gyilkos döntés ne legyen a roboté!

Íróként Daniel Suarez jövőbeli disztópiák történeteit meséli. De a TEDGlobal színpadon egy való világbeli forgatókönyvet ad elő nekünk, amiről többet kellene tudnunk: az önálló, háborús robotfegyverek felemelkedéséről. A fejlett drónok, automatizált fegyverek és mesterséges intelligencia vezérelte információgyűjtő eszközök, mint állítja, kivehetik a háborús döntéseket az emberek kezéből.

Sci-fi thrillereket írok,

úgyhogy mikor azt mondom, "gyilkos robotok,"

valószínűleg ilyesmire gondoltok.

De igazából most nem fikcióról akarok beszélni.

Igazi gyilkos robotokról fogok beszélni,

önálló harci drónokról.

Nem a Predator vagy Reaper drónokra gondolok,

amikor egy ember hozza meg a döntést a célokról.

Teljesen önálló robotfegyverekről beszélek,

amik halálos döntéseket hoznak emberi lényekről,

önmaguktól.

Van erre egy technikai kifejezés: gyilkolási autonómia.

Szóval az öldöklésről önállóan dönteni képes, gyilkos robotok

sokféle formát ölthetnek -- repülhetnek, vezethetnek,

vagy csak várakozhatnak.

És igazából egyre gyorsabban válnak valóságossá.

Ez két automata orvlövész-állomás

amik jelen pillanatban az Észak- és Dél-Korea közti demilitarizált övezetben vannak hadrendbe állítva.

Mindkét gép képes automatikusan felismerni

egy emberi célpontot és lőni rá,

a bal oldali egy kilométeresnél nagyobb távolságra is.

Mindkét esetben van még egy ember

aki meghozza a halálos tűzparancsra vonatkozó döntést,

de ez nem technológiai elvárás. Csak egy döntés.

Erre a döntésre szeretnék fókuszálni,

mert ahogy a halálos döntéshozatalt átruházzuk

az emberekről a szoftverekre,

nem csak kivonjuk az emberi tényezőt a háborúból,

de megváltoztatjuk a teljes szociális térképet,

a harcmezőktől messze.

Azért, mert ahogy az emberek megoldják a konfliktusokat

meghatározza a szociális térképet.

Ez mindig így volt, az egész történelem során.

Például ezek voltak a legmodernebb fegyverrendszerek

időszámításunk után 1400-ban.

Ezeket drága volt megépíteni és fenntartani,

de uralhatták velük a népességet,

és a politikai erő megoszlása a feudális rendszerekben bemutatja ezt.

A hatalom a társadalom csúcsán összpontosult.

És mi változott? Technológiai innováció.

Puskapor, ágyúk.

És nemsokára a páncélok és kastélyok feleslegessé váltak,

kevésbé számított, hogy kit vittél a harcmezőre,

mint hogy hány embert vittél oda.

Ahogy a hadseregek számban nőttek, kiemelkedett a nemzetállam,

mint a védekezés politikai és logisztikai feltétele.

Ahogy a vezetők egyre inkább rászorultak a népességre,

elkezdték megosztani a hatalmat.

Kialakult a képviseleti kormányzás.

Ismételten, az eszközök amivel megoldjuk a konfliktusokat

befolyásolják a szociális térképet.

Az önálló robotfegyverek is ilyen eszközök,

azzal a kivétellel, hogy kevesebb embernek kell harcba vonulnia,

így megkockáztatják a hatalom néhány kézbe való recentralizációját,

potenciálisan visszafordítva egy ötévszázados trendet a demokrácia felé.

Most, azt hiszem, ennek ismeretében

megtehetünk bizonyos döntő lépéseket, hogy megőrizzük a demokratikus intézményeinket,

hogy megtegyük, amihez legjobban értünk, alkalmazkodjunk.

De az idő is kérdés.

Hetven nemzet fejleszt távolról irányítható

harci drónokat,

és mint látják, a távolról irányítható harci drónok

az előfutárai az önálló robotfegyvereknek.

Azért, mert ha egyszer bevetetted a távolról irányítható drónokat,

három erős faktor is próbálja eltávolítani

a döntéshozatalt az emberektől és átadni a fegyveres platformnak.

Az első az a videóáradat, amit ezek a drónok termelnek.

Példának okáért 2004-ben az USA drónflottája

összesen 71 órányi videófelderítést készített analízis céljára.

2011-re ez felment 300 000 órára,

felülmúlva az emberek képességét arra, hogy mindezt átnézzék,

de ez a szám is drasztikusan növekszik.

A Pentagon Gorgói Szem és Árgus programjai

több mint 65 önállóan működő kameraszemet helyez fel

ezekre a drónplatformokra,

és ez jóval túllépi az emberi képességeket a videók megnézésére.

Ez azt jelenti, hogy vizuális intelligenciaszoftvernek kell

alaposan átnéznie fontos részek után kutatva.

És ez azt jelenti, hogy hamarosan

a drónok mondják meg az embereknek, mit kell nézni,

nem fordítva.

A második fontos ösztönző ami a döntéshozatalt elvenné

az emberektől és a gépeknek adná,

az az elektromágneses zavarás,

ami rontja a kapcsolatot a drón

és az operátor között.

Láttunk erre példát 2011-ben

mikor az amerikai RQ-170 Sentinel drón

összezavarodott Irán fölött egy GPS-hamisító támadás miatt,

de bármilyen távolról irányított drón ki van téve az ilyen támadásoknak,

ami azt jelenti,

hogy a drónoknak több döntést kell hozniuk.

Tudni fogják a küldetésük célját,

és emberi irányítás nélkül fognak reagálni az új körülményekre.

Figyelmen kívül fogják hagyni a külső rádiójeleket

és ők maguk kevés jelet fognak küldeni.

Ami elvisz minket a harmadik

és legerősebb ösztönzőhöz, hogy a döntéshozatalt az emberek helyett

a fegyvereknek adjuk:

az elfogadható tagadás.

Ma egy globális gazdaságban élünk.

A legtöbb kontinensen zajlik csúcstechnológiás gyártás.

A kiberkémkedés ellopja a fejlett terveket

ismeretlen vidékekre,

és ebben a környezetben nagyon valószínű,

hogy a sikeres drónterveket leszerződött gyárakban le fogják koppintani,

és elburjánzanak a szürke piacon.

Ebben a szituációban át kell fésülni a romjait

egy öngyilkos dróntámadásnak, és nehéz lesz megmondani,

ki küldte a fegyvert.

Ez felveti a névtelen háború

nagyon is valószínű lehetőségét.

Ez felboríthatná a geopolitikai egyensúlyt,

megnehezítve a nemzetek számára, hogy tűzerejüket

egy támadó ellen fordítsák, és eltolhatná az egyensúlyt

a 21. században a védekezéstől a támadáshoz.

A katonai akciókat lehetséges opcióvá tenné

nem csak kis nemzetek,

de bűnszervezetek, magánvállalkozások,

akár hatalommal rendelkező egyének számára is.

Kialakulhat egy rivális hadurakból álló táj,

ami aláássa a törvény és a civil társadalom erejét.

Ha most a felelősség és átláthatóság

a képviseleti kormányzás két sarokköve,

az önálló robotfegyverek alááshatják mindkettőt.

Gondolhattok arra,

hogy a csúcstechnológiával rendelkező nemzetek polgárainak

előnye lenne bármilyen robotháborúban,

hogy e nemzeteknek polgárai kevésbé sebezhetőek,

különösen a fejlődő országokhoz képest.

De azt hiszem az igazság pontosan ennek az ellentéte.

Úgy vélem, a csúcstechnológiájú nemzetek tagjai

sebezhetőbbek a robotfegyverekre,

ennek az okát egy szóban összefoglalhatom: adatok.

Az adatok irányítják a csúcstechnológiájú társadalmakat.

Mobiltelefonos geolokáció, telekommunikációs metaadatok,

közösségi média, email, SMS, pénzügyi tranzakciós adatok,

szállítási adatok, az emberi mozgás és társadalmi interakció

valósidejű adatainak özöne.

Röviden szólva, sokkal láthatóbbak vagyunk a gépek szemében

mint valaha a történelemben,

és ez tökéletesen illeszkedik az önálló fegyverek célzási igényeihez.

Amit itt látnak, az egy társadalmi csoport

kapcsolati analízis térképe.

A vonalak mutatják a társadalmi kapcsolatokat egyes egyének között.

Ezek a fajta térképek automatikusan generálhatók

az emberek mögött hagyott adatnyom alapján.

Ezt arra használják, hogy megcélozzanak bizonyos demográfiai csoportokat

termékek marketingcéljaira, de kétoldalú technológia,

mert a megcélzást máshogy is használhatjuk.

Nézzétek, bizonyos egyének ki vannak emelve.

Ők a társadalmi hálózat gócpontjai.

Ők a szervezők, véleményalkotók, vezetők,

és ezeket az embereket automatikusan meghatározhatod

a kommunikációs mintáik alapján.

Na most, ha marketinges vagy, őket célzod meg

termékmintákkal, próbálod elterjeszteni a márkádat

az ő társadalmi csoportjukon keresztül.

De ha egy elnyomó kormány vagy,

aki a politikai ellenségeit keresi, inkább eltávolítod őket,

megsemmisíted őket, szétszakítod a társadalmi csoportot,

és a hátramaradottak elvesztik a szociális kohéziót

és szervezettséget.

Az olcsó, burjánzó robotfegyverek világában

a határok kevés védelmet kínálnak

a távoli kormányok kritikusainak

vagy nemzeteket átfogó bűnszervezeteknek.

Népszerű mozgalmak, amik változást agitálnak

korán felderíthetővé válnak, és a vezetőik eltávolíthatóak

mielőtt a gondolataik elérik a kritikus tömeget.

A gondolatok kritikus tömeget elérése az,

amiről a politikai aktivizmus, a népi kormányzás szól.

Névtelen halálos fegyverek könnyedén hozhatnak döntéseket

halálos akciókról mindenféle versengő érdekek mentén.

Ez leállítaná a szólásszabadságot

és a népi politikai akciókat, a demokrácia szívét.

Ezért van szükségünk egy nemzetközi egyezményre

a robotfegyverekről, pontosabban egy globális tilalomra

a gyilkos robotok fejlesztésében és bevetésében.

Már vannak nemzetközi egyezményeink

nukleáris és biológiai fegyverekre, és habár tökéletlenek,

nagymértékben működnek.

De a robotfegyverek ugyanennyire veszélyesek lehetnek,

mert szinte biztosan használni fogják őket,

és fokozatosan tönkretehetik demokratikus intézményeinket.

2012 novemberében az USA Védelmi Minisztériuma

kiadott egy direktívát,

amely megköveteli egy ember jelenlétét a halálos döntéseknél.

Ez időlegesen tulajdonképpen betiltotta az önálló fegyvereket az USA hadseregében,

de ezt a direktívát állandóvá kell tennünk.

Ez meghatározhatná a globális akció színterét.

Mert szükségünk van egy nemzetközi jogi keretre

a robotfegyverek esetén.

És most van rá szükségünk, még mielőtt egy pusztító támadás

vagy terrorcselekmény okán a világ nemzetei

sietve átveszik ezeket a fegyvereket,

a következményeket át sem gondolva.

Az önálló robotfegyverek túl sok erőt koncentrálnak

túl kevés kézben, és ez magát a demokráciát veszélyezteti.

Ne értsetek félre, hiszek benne, hogy rengeteg

haszna van fegyvertelen civil drónoknak:

környezeti megfigyelés, kereséses mentőakciók, logisztika.

Ha van egy nemzetközi egyezményünk a robotfegyverekről,

hogy használhatnánk ki az önálló drónok

és járművek előnyeit miközben megvédjük magunkat

az illegális robotfegyverektől?

Azt hiszem a titok az átláthatóságban rejlik.

Egy robot sem várhat el privátszférát

egy nyilvános helyen.

(Taps)

Minden robotnak és drónnak szüksége van

egy, még a gyárban beégetett, titkosított azonosítóra,

amit aztán a nyilvános helyeken való mozgásának követésére használhatunk.

Az autókon vannak rendszámtáblák, a repülőkön farokszámok.

Ez sem más.

Minden állampolgár letölthetne egy alkalmazást,

ami megmutatja a drónok és önálló járművek számát

a körülötte lévő nyilvános helyen,

abban a pillanatban és a múltban is.

És a városi vezetőknek szenzorokat és városi drónokat kellene bevetni

a csavargó drónok felderítésére,

és ahelyett, hogy gyilkos drónokat küldenénk, hogy lelőjék őket,

fel kellene hívniuk az emberek figyelmét a jelenlétükre.

És bizonyos nagyon magas biztonsági övezetekben

a városi drónok talán elfognák és elvinnék őket

egy bomba-ártalmatlanító létesítménybe.

De vegyétek észre, ez inkább egy védekezőrendszer,

mint fegyverrendszer.

Ez lehetővé tenné, hogy kiélvezzük

az önálló járművek és drónok előnyeit,

miközben megvédjük a nyitott, polgári társadalmunkat.

Be kell tiltanunk a gyilkos robotok bevetését

és fejlesztését.

Ne dőljünk be az automatizált háború csábításának.

Az autokrata kormányok és bűnszervezetek

kétségtelenül be fognak, de ne csatlakozzunk.

Az önálló robotfegyverek

túl sok hatalmat koncentrálnak

túl kevés láthatatlan kézben,

és ez fokozatosan tönkreteheti a képviseleti kormányzást.

Biztosítsuk, hogy - a demokráciákban legalábbis -

a gyilkos robotok fikciók maradjanak.

Köszönöm.

(Taps)

Köszönöm. (Taps)