Beslut att döda ska inte fattas av robotar

Romanförfattaren Daniel Suarez skapar dystopiska framtidsberättelser. Men på TEDGlobal tar han oss igenom ett verkligt scenario som vi alla behöver veta mer om: de framväxande autonoma krigsvapnen. Avancerade drönare, automatiska vapen och informationsinsamling med artificiell intelligens kan komma att ta ifrån människorna beslutsfattandet inom krigföring.

Jag skriver fiktion, science-fiction thrillers,

så om jag säger "mördarrobotar",

så tänker ni antagligen på någonting sånt här.

Men jag är inte här för att tala om fiktion.

Jag är här för att tala om mycket verkliga mördarrrobotar,

autonoma stridsdrönare.

Jag menar inte drönare som Predator och Reaper,

som har en människa som avgör angreppsmålen.

Jag talar om helt autonoma robotvapen

som tar dödliga beslut om människor

helt på eget bevåg.

Det finns faktiskt en teknisk term för detta: dödlig autonomi.

Dödliga, autonoma mördarrobotar

finns i många former - flygande, körande

eller sådana som bara ligger och väntar.

De har faktiskt snabbt blivit verkliga.

Detta är två automatiska krypskyttestationer

som nu finns i den demilitariserade zonen
mellan Nord- och Sydkorea.

Båda dessa maskiner är kapabla att automatiskt

identifiera en människa och beskjuta henne,

den vänstra på ett avstånd av över en kilometer.

I båda fallen finns det fortfarande en människa med

som tar beslutet om att skjuta för att döda,

men det är inget tekniskt krav, det är ett val.

Och det valet vill jag fokusera på,

eftersom när vi överför dödligt beslutsfattande

från människor till mjukvara,

så riskerar vi inte bara att ta bort människan från krigföringen,

utan också att förändra vårt sociala landskap,

långt från slagfältet.

Detta eftersom sättet som människor löser konflikter

formar vårt sociala landskap.

Och så har det alltid varit, genom historien.

Exempelvis, så var dessa vapen spjutspetsteknologi

på 1400-talet.

De var dock mycket dyra att bygga och underhålla,

men med dessa kunde man kontrollera massorna,

och det reflekterades i distributionen
av politisk makt i feodalsamhället.

Makt fokuserades till den översta toppen.

Vad hände sedan? Teknikutvecklingen.

Krut, kanoner.

Snart var rustningar och slott föråldrade,

och det betydde mindre vad du tog med till slagfältet

jämfört med hur många människor
du tog med till slagfältet.

När arméer växte i storlek uppstod nationalstaten

som ett politiskt och logistiskt försvarskrav.

När ledarna blev mera beroende av sin befolkning,

började de dela med sig av makten.

Representativt styre började ta form.

Så igen, verktygen som vi använder för att lösa konflikter

formar vårt sociala landskap.

Autonoma robotvapen är ett sådant verktyg.

Eftersom de kräver mycket få
människor för att starta krig,

så riskerar de att återigen centralisera makten till ett fåtal.

Därigenom reverseras femhundra års
utveckling mot demokrati.

Nu tror jag att när vi vet detta,

så kan vi ta avgörande steg för att bevara
våra demokratiska institutioner.

Vi kan anpassa oss.

Men tiden är en faktor.

Sjuttio länder utvecklar egna

fjärrstyrda stridsdrönare.

Som ni kommer att se så är
fjärrstyrda stridsdrönare

förstadiet till autonoma robotvapen.

Det beror på att när man har utvecklat
fjärrstyrda drönare

så finns det tre starka faktorer som styr beslutsfattandet

bort från människor och mot själva vapenplattformen.

Den första är floden av data som skapas av drönare.

2004 så producerade de amerikanska drönarna

totalt 71 timmar övervakningsvideo för analys.

2011 hade detta ökat till 300 000 timmar,

vilket överstiger den mänskliga förmågan att gå igenom.

Men till och med den siffran kommer att öka drastiskt.

Pentagons program Gorgon Stare och Argus

kommer att sätta 65 självständiga kameror

på varje drönare,

vilket skulle omöjliggöra mänsklig analys.

Det betyder att program för
visuell analys

krävs för att hitta intressanta händelser.

Och det betyder att
inom kort

kommer drönare att säga till människor
vad de ska se på,

och inte tvärtom.

Men det finns en andra faktor som driver

beslutsfattande från människor till maskiner,

det är elektromagnetiska störsändare,

som bryter förbindelsen
mellan drönaren

och dess operatör.

Vi såg ett exempel på detta 2011,

när en amerikansk RQ-170 Sentinel-drönare

blev förvirrad ovanför Iran på grund av en GPS-störning,

men alla fjärrstyrda drönare är mottagliga
för denna typ av attacker,

och det betyder att drönare

måste fatta fler beslut själva.

De vet syftet med sina uppdrag,

och de kommer att reagera på nya omständigheter
utan mänsklig styrning.

De kommer att ignorera externa radiosignaler

och skicka väldigt få signaler själva.

Detta leder oss till den tredje

och starkaste faktor som driver beslutsfattande

från människor till vapen:

möjligheten att förneka.

Vi lever i en global ekonomi.

Högteknologisk tillverkning sker på de flesta kontinenter.

Cyberspioneri sprider avancerade konstruktioner

till okända parter,

i den miljön är det mycket troligt

att en lyckad drönardesign kommer att kopieras i fabriker

som växer fram på den grå marknaden.

I den situationen,
när man går igenom vraket

efter en självmordsattack av en drönare, kommer det

vara mycket svårt att säga vem som sände vapnet.

Detta skapar reella möjligheter

till anonym krigföring.

Detta kan ge slagsida åt den
geopolitiska balansen,

och göra det mycket svårt för en stat att rikta sin eldkraft

mot en motståndare, och det kan flytta balansen

i vårt århundrade från försvar till offensiv.

Det kan göra militära aktioner genomförbara

inte bara för små länder,

utan även för kriminella organisationer,
privata företag,

till och med mäktiga individer.

Det kan skapa en miljö med rivaliserande krigsherrar

som underminerar lagar och samhälle.

Om nu ansvarsfullhet och transparens

är två hörnstenar för
representativt regerande,

så kan autonoma robotvapen underminera båda.

Nu tror du kanske att

medborgare i högteknologiska nationer

skulle ha en fördel i ett robotkrig,

att dessa medborgare skulle vara mindre sårbara,

framförallt gentemot utvecklingsländer.

Men jag tror att det är precis tvärtom.

Jag tror att medborgare i
högteknologiska samhällen

är mer sårbara för robotvapen,

anledningen kan summeras till ett ord: data.

Data driver högteknologiska samhällen.

Mobiltelefoners positionering, metadata inom telekom,

sociala medier, email, SMS, finansiella data,

transportdata. Det finns ett överflöd av realtids-data

om människors rörelser och sociala interaktioner.

Kort sagt, vi är mer synliga för maskiner

än något folk har varit genom historien,

och det är perfekt för autonoma vapens målsökande.

Vad ni ser här

är en analyskarta för länkarna inom en social grupp.

Linjerna visar kopplingarna mellan individer.

Dessa typer av kartor kan skapas automatiskt,

baserat på de data-spår som
moderna människor efterlämnar.

Det används normalt för marknadsföring
av saker och tjänster

till riktade målgrupper, men tekniken kan även hitta mål

i en annan kontext.

Notera att vissa individer är markerade.

De är centralfigurerna i sociala nätverk.

De är organisatörer, opinionsbildare, ledare

och de kan även identifieras automatiskt

genom deras kommunikationsmönster.

Om du är marknadsförare kanske du vill ge dem

produkter att prova, för att sprida ditt varumärke

genom deras sociala grupp.

Men om du är en
förtryckarregim

som söker politiska fiender,
så kanske du istället vill eliminera dem

splittra deras sociala grupp,

så att deras anhängare tappar social sammanhållning

och organisering.

I en värld med en växande samling billiga robotvapen,

skulle gränser erbjuda väldigt lite skydd

för kritiker av avlägsna regeringar

eller transnationella kriminella organisationer.

Populära rörelser som agiterar för förändring

kan upptäckas tidigt och deras ledare elimineras

innan deras idéer har uppnått kritisk massa.

Idéer som uppnår kritisk massa

är precis vad politisk aktivism handlar om.

Anonyma, dödliga vapen kan göra dödligt våld

till ett lätt val för alla sorters konkurrerande intressen.

Det skulle hindra det fria ordet

och folkliga, politiska kampanjer, själva kärnan i demokrati.

Därför behöver vi ett internationellt avtal

om robotvapen och särskilt ett globalt förbud

mot utveckling och användning av mördarrobotar.

Vi har redan internationella avtal

om kärnvapen och biologiska vapen som inte är perfekta,

men som i stort sett har fungerat.

Robotvapen kan vara precis lika farliga,

eftersom de säkerligen skulle användas,

och därför komma att bryta ner våra demokratiska institutioner.

I november 2012 utfärdade det
amerikanska försvarsdepartementet

ett direktiv om att

en människa ska vara närvarande vid dödliga beslut.

Detta har temporärt stoppat autonoma vapen
inom den amerikanska militären,

men detta direktiv måste göras permanent.

Det skulle kunna bli norm för en global aktion.

Vi behöver ett internationellt legalt ramverk

för robotvapen.

Och vi behöver det nu, innan det sker en förödande attack

eller en terroristincident som får världens länder

att rusa för att införa dessa vapen

innan de tänker igenom konsekvenserna.

Autonoma robotvapen koncentrerar för mycket makt

i för få händer och de skulle äventyra själva demokratin.

Missförstå mig inte, jag tror att det finns massor

av bra användningsområden för obeväpnade civila drönare:

miljöövervakning, personeftersökning, logistik.

Om vi har ett internationellt avtal om robotvapen,

hur kan vi dra nytta av fördelarna med autonoma drönare

och farkoster medan vi skyddar oss själva

mot illegala robotvapen?

Jag tror att svaret är transparens.

Ingen robot ska kunna ha något privatliv

i publika områden.

(Applåd)

Varje robot eller drönare ska ha

ett kryptografiskt signerat ID inbränt i fabriken

som kan användas för att spåra
dess rörelser i publika områden.

Vi har nummerplåtar på bilar, ID-nummer på flygplan.

Detta är samma sak.

Varje medborgare ska kunna
ladda ner en app

som visar alla drönare och autonoma farkoster

som rör sig i deras område,

både just nu och tidigare.

Våra ledare bör sätta in sensorer och civila drönare

som detekterar kriminella drönare

och istället för att skjuta ner dem

ska de underrätta människor om deras närvaro.

I vissa högsäkerhetsområden,

kan kanske civila drönare
snärja in dem

och dra iväg dem till en plats för att
desarmera dem.

Lägg märke till att detta är mer ett immunsystem

än ett vapensystem.

Det låter oss dra nytta av att använda

autonoma farkoster och drönare

samtidigt som vi bevarar vårt öppna civila samhälle.

Vi måste förbjuda användning och utveckling

av mördarrobotar.

Låt oss inte falla för frestelsen att automatisera krig.

Autokratiska regeringar och kriminella organisationer

kommer utan tvivel att göra det,
men låt oss inte följa efter.

Autonoma robotvapen

skulle koncentrera för mycket makt

i för få osynliga händer,

det skulle bryta ner representativt styre.

Låt oss säkerställa, åtminstone för demokratier,

att mördarrobotar förblir fiktion.

Tack

(Applåder)

Tack (Applåd)