0:00:00.691,0:00:03.849
Jag skriver fiktion, science-fiction thrillers,

0:00:03.849,0:00:06.042
så om jag säger "mördarrobotar",

0:00:06.042,0:00:08.403
så tänker ni antagligen på någonting sånt här.

0:00:08.403,0:00:10.958
Men jag är inte här för att tala om fiktion.

0:00:10.958,0:00:13.906
Jag är här för att tala om mycket verkliga mördarrrobotar,

0:00:13.906,0:00:17.028
autonoma stridsdrönare.

0:00:17.028,0:00:20.655
Jag menar inte drönare som Predator och Reaper,

0:00:20.655,0:00:23.915
som har en människa som avgör angreppsmålen.

0:00:23.915,0:00:27.044
Jag talar om helt autonoma robotvapen

0:00:27.044,0:00:29.698
som tar dödliga beslut om människor

0:00:29.698,0:00:32.115
helt på eget bevåg.

0:00:32.115,0:00:36.115
Det finns faktiskt en teknisk term för detta: dödlig autonomi.

0:00:36.115,0:00:38.971
Dödliga, autonoma mördarrobotar

0:00:38.971,0:00:42.040
finns i många former - flygande, körande

0:00:42.040,0:00:44.786
eller sådana som bara ligger och väntar.

0:00:44.786,0:00:47.895
De har faktiskt snabbt blivit verkliga.

0:00:47.895,0:00:50.379
Detta är två automatiska krypskyttestationer

0:00:50.379,0:00:54.516
som nu finns i den demilitariserade zonen [br]mellan Nord- och Sydkorea.

0:00:54.516,0:00:56.687
Båda dessa maskiner är kapabla att automatiskt

0:00:56.687,0:01:00.211
identifiera en människa och beskjuta henne,

0:01:00.211,0:01:04.535
den vänstra på ett avstånd av över en kilometer.

0:01:04.535,0:01:08.124
I båda fallen finns det fortfarande en människa med

0:01:08.124,0:01:10.496
som tar beslutet om att skjuta för att döda,

0:01:10.496,0:01:15.909
men det är inget tekniskt krav, det är ett val.

0:01:15.909,0:01:19.002
Och det valet vill jag fokusera på,

0:01:19.002,0:01:21.643
eftersom när vi överför dödligt beslutsfattande

0:01:21.643,0:01:24.752
från människor till mjukvara,

0:01:24.752,0:01:28.228
så riskerar vi inte bara att ta bort människan från krigföringen,

0:01:28.228,0:01:31.754
utan också att förändra vårt sociala landskap,

0:01:31.754,0:01:33.978
långt från slagfältet.

0:01:33.978,0:01:38.487
Detta eftersom sättet som människor löser konflikter

0:01:38.487,0:01:40.220
formar vårt sociala landskap.

0:01:40.220,0:01:42.853
Och så har det alltid varit, genom historien.

0:01:42.853,0:01:45.514
Exempelvis, så var dessa vapen spjutspetsteknologi

0:01:45.514,0:01:47.593
på 1400-talet.

0:01:47.593,0:01:50.737
De var dock mycket dyra att bygga och underhålla,

0:01:50.737,0:01:53.977
men med dessa kunde man kontrollera massorna,

0:01:53.977,0:01:57.866
och det reflekterades i distributionen [br]av politisk makt i feodalsamhället.

0:01:57.866,0:02:00.553
Makt fokuserades till den översta toppen.

0:02:00.553,0:02:04.081
Vad hände sedan? Teknikutvecklingen.

0:02:04.081,0:02:05.952
Krut, kanoner.

0:02:05.952,0:02:09.769
Snart var rustningar och slott föråldrade,

0:02:09.769,0:02:12.302
och det betydde mindre vad du tog med till slagfältet

0:02:12.302,0:02:16.081
jämfört med hur många människor [br]du tog med till slagfältet.

0:02:16.081,0:02:19.719
När arméer växte i storlek uppstod nationalstaten

0:02:19.719,0:02:23.399
som ett politiskt och logistiskt försvarskrav.

0:02:23.399,0:02:25.775
När ledarna blev mera beroende av sin befolkning,

0:02:25.775,0:02:27.608
började de dela med sig av makten.

0:02:27.608,0:02:30.207
Representativt styre började ta form.

0:02:30.207,0:02:33.495
Så igen, verktygen som vi använder för att lösa konflikter

0:02:33.495,0:02:36.799
formar vårt sociala landskap.

0:02:36.799,0:02:40.863
Autonoma robotvapen är ett sådant verktyg.

0:02:40.863,0:02:46.031
Eftersom de kräver mycket få [br]människor för att starta krig,

0:02:46.031,0:02:50.871
så riskerar de att återigen centralisera makten till ett fåtal.

0:02:50.871,0:02:57.386
Därigenom reverseras femhundra års [br]utveckling mot demokrati.

0:02:57.386,0:02:59.143
Nu tror jag att när vi vet detta,

0:02:59.143,0:03:03.495
så kan vi ta avgörande steg för att bevara [br]våra demokratiska institutioner.

0:03:03.495,0:03:07.474
Vi kan anpassa oss.

0:03:07.474,0:03:09.479
Men tiden är en faktor.

0:03:09.479,0:03:12.330
Sjuttio länder utvecklar egna

0:03:12.330,0:03:14.487
fjärrstyrda stridsdrönare.

0:03:14.487,0:03:17.080
Som ni kommer att se så är [br]fjärrstyrda stridsdrönare

0:03:17.080,0:03:21.552
förstadiet till autonoma robotvapen.

0:03:21.552,0:03:24.319
Det beror på att när man har utvecklat [br]fjärrstyrda drönare

0:03:24.319,0:03:27.703
så finns det tre starka faktorer som styr beslutsfattandet

0:03:27.703,0:03:32.303
bort från människor och mot själva vapenplattformen.

0:03:32.303,0:03:37.562
Den första är floden av data som skapas av drönare.

0:03:37.562,0:03:41.415
2004 så producerade de amerikanska drönarna

0:03:41.415,0:03:46.727
totalt 71 timmar övervakningsvideo för analys.

0:03:46.727,0:03:51.226
2011 hade detta ökat till 300 000 timmar,

0:03:51.226,0:03:54.375
vilket överstiger den mänskliga förmågan att gå igenom.

0:03:54.375,0:03:58.039
Men till och med den siffran kommer att öka drastiskt.

0:03:58.039,0:04:00.614
Pentagons program Gorgon Stare och Argus

0:04:00.614,0:04:03.778
kommer att sätta 65 självständiga kameror

0:04:03.778,0:04:05.816
på varje drönare,

0:04:05.816,0:04:09.119
vilket skulle omöjliggöra mänsklig analys.

0:04:09.119,0:04:11.279
Det betyder att program för [br]visuell analys

0:04:11.279,0:04:15.327
krävs för att hitta intressanta händelser.

0:04:15.327,0:04:16.675
Och det betyder att [br]inom kort

0:04:16.675,0:04:19.422
kommer drönare att säga till människor [br]vad de ska se på,

0:04:19.422,0:04:21.919
och inte tvärtom.

0:04:21.919,0:04:24.392
Men det finns en andra faktor som driver

0:04:24.392,0:04:27.775
beslutsfattande från människor till maskiner,

0:04:27.775,0:04:30.647
det är elektromagnetiska störsändare,

0:04:30.647,0:04:32.883
som bryter förbindelsen [br]mellan drönaren

0:04:32.883,0:04:35.697
och dess operatör.

0:04:35.697,0:04:38.315
Vi såg ett exempel på detta 2011,

0:04:38.315,0:04:41.271
när en amerikansk RQ-170 Sentinel-drönare

0:04:41.271,0:04:45.578
blev förvirrad ovanför Iran på grund av en GPS-störning,

0:04:45.578,0:04:50.692
men alla fjärrstyrda drönare är mottagliga [br]för denna typ av attacker,

0:04:50.692,0:04:52.744
och det betyder att drönare

0:04:52.744,0:04:56.364
måste fatta fler beslut själva.

0:04:56.364,0:04:59.407
De vet syftet med sina uppdrag,

0:04:59.407,0:05:04.252
och de kommer att reagera på nya omständigheter[br]utan mänsklig styrning.

0:05:04.252,0:05:06.833
De kommer att ignorera externa radiosignaler

0:05:06.833,0:05:09.163
och skicka väldigt få signaler själva.

0:05:09.163,0:05:11.169
Detta leder oss till den tredje

0:05:11.169,0:05:15.031
och starkaste faktor som driver beslutsfattande

0:05:15.031,0:05:18.373
från människor till vapen:

0:05:18.373,0:05:21.666
möjligheten att förneka.

0:05:21.666,0:05:24.553
Vi lever i en global ekonomi.

0:05:24.553,0:05:28.887
Högteknologisk tillverkning sker på de flesta kontinenter.

0:05:28.887,0:05:31.801
Cyberspioneri sprider avancerade konstruktioner

0:05:31.801,0:05:33.687
till okända parter,

0:05:33.687,0:05:35.701
i den miljön är det mycket troligt

0:05:35.701,0:05:40.435
att en lyckad drönardesign kommer att kopieras i fabriker

0:05:40.435,0:05:42.605
som växer fram på den grå marknaden.

0:05:42.605,0:05:45.065
I den situationen, [br]när man går igenom vraket

0:05:45.065,0:05:48.025
efter en självmordsattack av en drönare, kommer det

0:05:48.025,0:05:52.425
vara mycket svårt att säga vem som sände vapnet.

0:05:52.425,0:05:55.225
Detta skapar reella möjligheter

0:05:55.225,0:05:58.160
till anonym krigföring.

0:05:58.160,0:06:00.774
Detta kan ge slagsida åt den[br]geopolitiska balansen,

0:06:00.774,0:06:04.265
och göra det mycket svårt för en stat att rikta sin eldkraft

0:06:04.265,0:06:07.113
mot en motståndare, och det kan flytta balansen

0:06:07.113,0:06:10.877
i vårt århundrade från försvar till offensiv.

0:06:10.877,0:06:14.001
Det kan göra militära aktioner genomförbara

0:06:14.001,0:06:16.289
inte bara för små länder,

0:06:16.289,0:06:18.834
utan även för kriminella organisationer, [br]privata företag,

0:06:18.834,0:06:21.313
till och med mäktiga individer.

0:06:21.313,0:06:24.641
Det kan skapa en miljö med rivaliserande krigsherrar

0:06:24.641,0:06:28.321
som underminerar lagar och samhälle.

0:06:28.321,0:06:31.937
Om nu ansvarsfullhet och transparens

0:06:31.937,0:06:34.321
är två hörnstenar för [br]representativt regerande,

0:06:34.321,0:06:38.641
så kan autonoma robotvapen underminera båda.

0:06:38.641,0:06:40.187
Nu tror du kanske att

0:06:40.187,0:06:42.433
medborgare i högteknologiska nationer

0:06:42.433,0:06:45.136
skulle ha en fördel i ett robotkrig,

0:06:45.136,0:06:48.769
att dessa medborgare skulle vara mindre sårbara,

0:06:48.769,0:06:53.057
framförallt gentemot utvecklingsländer.

0:06:53.057,0:06:56.581
Men jag tror att det är precis tvärtom.

0:06:56.581,0:06:58.832
Jag tror att medborgare i [br]högteknologiska samhällen

0:06:58.832,0:07:02.561
är mer sårbara för robotvapen,

0:07:02.561,0:07:07.026
anledningen kan summeras till ett ord: data.

0:07:07.026,0:07:10.507
Data driver högteknologiska samhällen.

0:07:10.507,0:07:13.697
Mobiltelefoners positionering, metadata inom telekom,

0:07:13.697,0:07:17.169
sociala medier, email, SMS, finansiella data,

0:07:17.169,0:07:20.701
transportdata. Det finns ett överflöd av realtids-data

0:07:20.701,0:07:24.074
om människors rörelser och sociala interaktioner.

0:07:24.074,0:07:27.849
Kort sagt, vi är mer synliga för maskiner

0:07:27.849,0:07:30.091
än något folk har varit genom historien,

0:07:30.091,0:07:35.707
och det är perfekt för autonoma vapens målsökande.

0:07:35.707,0:07:37.445
Vad ni ser här

0:07:37.445,0:07:40.691
är en analyskarta för länkarna inom en social grupp.

0:07:40.691,0:07:44.325
Linjerna visar kopplingarna mellan individer.

0:07:44.325,0:07:47.205
Dessa typer av kartor kan skapas automatiskt,

0:07:47.205,0:07:51.920
baserat på de data-spår som [br]moderna människor efterlämnar.

0:07:51.920,0:07:54.397
Det används normalt för marknadsföring [br]av saker och tjänster

0:07:54.397,0:07:58.813
till riktade målgrupper, men tekniken kan även hitta mål

0:07:58.813,0:08:02.173
i en annan kontext.

0:08:02.173,0:08:04.733
Notera att vissa individer är markerade.

0:08:04.733,0:08:08.013
De är centralfigurerna i sociala nätverk.

0:08:08.013,0:08:11.603
De är organisatörer, opinionsbildare, ledare

0:08:11.603,0:08:14.285
och de kan även identifieras automatiskt

0:08:14.285,0:08:16.667
genom deras kommunikationsmönster.

0:08:16.667,0:08:18.813
Om du är marknadsförare kanske du vill ge dem

0:08:18.813,0:08:21.356
produkter att prova, för att sprida ditt varumärke

0:08:21.356,0:08:24.185
genom deras sociala grupp.

0:08:24.185,0:08:26.138
Men om du är en [br]förtryckarregim

0:08:26.138,0:08:30.948
som söker politiska fiender, [br]så kanske du istället vill eliminera dem

0:08:30.948,0:08:33.708
splittra deras sociala grupp,

0:08:33.708,0:08:36.877
så att deras anhängare tappar social sammanhållning

0:08:36.877,0:08:39.498
och organisering.

0:08:39.498,0:08:42.822
I en värld med en växande samling billiga robotvapen,

0:08:42.822,0:08:45.457
skulle gränser erbjuda väldigt lite skydd

0:08:45.457,0:08:47.403
för kritiker av avlägsna regeringar

0:08:47.403,0:08:51.049
eller transnationella kriminella organisationer.

0:08:51.049,0:08:54.542
Populära rörelser som agiterar för förändring

0:08:54.542,0:08:58.151
kan upptäckas tidigt och deras ledare elimineras

0:08:58.151,0:09:01.062
innan deras idéer har uppnått kritisk massa.

0:09:01.062,0:09:03.653
Idéer som uppnår kritisk massa

0:09:03.653,0:09:07.589
är precis vad politisk aktivism handlar om.

0:09:07.589,0:09:11.586
Anonyma, dödliga vapen kan göra dödligt våld

0:09:11.586,0:09:15.368
till ett lätt val för alla sorters konkurrerande intressen.

0:09:15.368,0:09:19.102
Det skulle hindra det fria ordet

0:09:19.102,0:09:24.410
och folkliga, politiska kampanjer, själva kärnan i demokrati.

0:09:24.410,0:09:27.324
Därför behöver vi ett internationellt avtal

0:09:27.324,0:09:30.864
om robotvapen och särskilt ett globalt förbud

0:09:30.864,0:09:34.772
mot utveckling och användning av mördarrobotar.

0:09:34.772,0:09:38.026
Vi har redan internationella avtal

0:09:38.026,0:09:41.412
om kärnvapen och biologiska vapen som inte är perfekta,

0:09:41.412,0:09:43.700
men som i stort sett har fungerat.

0:09:43.700,0:09:47.468
Robotvapen kan vara precis lika farliga,

0:09:47.468,0:09:50.756
eftersom de säkerligen skulle användas,

0:09:50.756,0:09:55.783
och därför komma att bryta ner våra demokratiska institutioner.

0:09:55.783,0:09:59.251
I november 2012 utfärdade det [br]amerikanska försvarsdepartementet

0:09:59.251,0:10:01.709
ett direktiv om att

0:10:01.709,0:10:06.228
en människa ska vara närvarande vid dödliga beslut.

0:10:06.228,0:10:11.004
Detta har temporärt stoppat autonoma vapen [br]inom den amerikanska militären,

0:10:11.004,0:10:14.757
men detta direktiv måste göras permanent.

0:10:14.757,0:10:19.133
Det skulle kunna bli norm för en global aktion.

0:10:19.133,0:10:22.978
Vi behöver ett internationellt legalt ramverk

0:10:22.978,0:10:25.116
för robotvapen.

0:10:25.116,0:10:28.044
Och vi behöver det nu, innan det sker en förödande attack

0:10:28.044,0:10:31.196
eller en terroristincident som får världens länder

0:10:31.196,0:10:33.120
att rusa för att införa dessa vapen

0:10:33.120,0:10:36.891
innan de tänker igenom konsekvenserna.

0:10:36.891,0:10:39.872
Autonoma robotvapen koncentrerar för mycket makt

0:10:39.872,0:10:46.155
i för få händer och de skulle äventyra själva demokratin.

0:10:46.155,0:10:48.841
Missförstå mig inte, jag tror att det finns massor

0:10:48.841,0:10:51.459
av bra användningsområden för obeväpnade civila drönare:

0:10:51.459,0:10:55.398
miljöövervakning, personeftersökning, logistik.

0:10:55.398,0:10:58.224
Om vi har ett internationellt avtal om robotvapen,

0:10:58.224,0:11:01.811
hur kan vi dra nytta av fördelarna med autonoma drönare

0:11:01.811,0:11:04.459
och farkoster medan vi skyddar oss själva

0:11:04.459,0:11:08.439
mot illegala robotvapen?

0:11:08.439,0:11:13.180
Jag tror att svaret är transparens.

0:11:13.180,0:11:16.193
Ingen robot ska kunna ha något privatliv

0:11:16.193,0:11:19.644
i publika områden.

0:11:19.644,0:11:24.692
(Applåd)

0:11:24.692,0:11:26.737
Varje robot eller drönare ska ha

0:11:26.737,0:11:29.620
ett kryptografiskt signerat ID inbränt i fabriken

0:11:29.620,0:11:32.543
som kan användas för att spåra [br]dess rörelser i publika områden.

0:11:32.543,0:11:35.924
Vi har nummerplåtar på bilar, ID-nummer på flygplan.

0:11:35.924,0:11:37.765
Detta är samma sak.

0:11:37.765,0:11:39.777
Varje medborgare ska kunna [br]ladda ner en app

0:11:39.777,0:11:42.902
som visar alla drönare och autonoma farkoster

0:11:42.902,0:11:45.331
som rör sig i deras område,

0:11:45.331,0:11:48.064
både just nu och tidigare.

0:11:48.064,0:11:51.612
Våra ledare bör sätta in sensorer och civila drönare

0:11:51.612,0:11:53.956
som detekterar kriminella drönare

0:11:53.956,0:11:57.132
och istället för att skjuta ner dem

0:11:57.132,0:12:00.124
ska de underrätta människor om deras närvaro.

0:12:00.124,0:12:02.730
I vissa högsäkerhetsområden,

0:12:02.730,0:12:04.639
kan kanske civila drönare [br]snärja in dem

0:12:04.639,0:12:07.480
och dra iväg dem till en plats för att [br]desarmera dem.

0:12:07.480,0:12:10.507
Lägg märke till att detta är mer ett immunsystem

0:12:10.507,0:12:11.828
än ett vapensystem.

0:12:11.828,0:12:14.420
Det låter oss dra nytta av att använda

0:12:14.420,0:12:16.452
autonoma farkoster och drönare

0:12:16.452,0:12:20.747
samtidigt som vi bevarar vårt öppna civila samhälle.

0:12:20.747,0:12:23.746
Vi måste förbjuda användning och utveckling

0:12:23.746,0:12:25.608
av mördarrobotar.

0:12:25.608,0:12:30.458
Låt oss inte falla för frestelsen att automatisera krig.

0:12:30.458,0:12:33.176
Autokratiska regeringar och kriminella organisationer

0:12:33.176,0:12:36.132
kommer utan tvivel att göra det, [br]men låt oss inte följa efter.

0:12:36.132,0:12:38.023
Autonoma robotvapen

0:12:38.023,0:12:40.074
skulle koncentrera för mycket makt

0:12:40.074,0:12:42.556
i för få osynliga händer,

0:12:42.556,0:12:45.811
det skulle bryta ner representativt styre.

0:12:45.811,0:12:48.772
Låt oss säkerställa, åtminstone för demokratier,

0:12:48.772,0:12:51.376
att mördarrobotar förblir fiktion.

0:12:51.376,0:12:52.486
Tack

0:12:52.486,0:12:57.051
(Applåder)

0:12:57.051,0:13:01.667
Tack (Applåd)