WEBVTT

00:00:00.691 --> 00:00:03.849
Jag skriver fiktion, science-fiction thrillers,

00:00:03.849 --> 00:00:06.042
så om jag säger "mördarrobotar",

00:00:06.042 --> 00:00:08.403
så tänker ni antagligen på någonting sånt här.

00:00:08.403 --> 00:00:10.958
Men jag är inte här för att tala om fiktion.

00:00:10.958 --> 00:00:13.906
Jag är här för att tala om mycket verkliga mördarrrobotar,

00:00:13.906 --> 00:00:17.028
autonoma stridsdrönare.

NOTE Paragraph

00:00:17.028 --> 00:00:20.655
Jag menar inte drönare som Predator och Reaper,

00:00:20.655 --> 00:00:23.915
som har en människa som avgör angreppsmålen.

00:00:23.915 --> 00:00:27.044
Jag talar om helt autonoma robotvapen

00:00:27.044 --> 00:00:29.698
som tar dödliga beslut om människor

00:00:29.698 --> 00:00:32.115
helt på eget bevåg.

00:00:32.115 --> 00:00:36.115
Det finns faktiskt en teknisk term för detta: dödlig autonomi.

NOTE Paragraph

00:00:36.115 --> 00:00:38.971
Dödliga, autonoma mördarrobotar

00:00:38.971 --> 00:00:42.040
finns i många former - flygande, körande

00:00:42.040 --> 00:00:44.786
eller sådana som bara ligger och väntar.

00:00:44.786 --> 00:00:47.895
De har faktiskt snabbt blivit verkliga.

00:00:47.895 --> 00:00:50.379
Detta är två automatiska krypskyttestationer

00:00:50.379 --> 00:00:54.516
som nu finns i den demilitariserade zonen 
mellan Nord- och Sydkorea.

00:00:54.516 --> 00:00:56.687
Båda dessa maskiner är kapabla att automatiskt

00:00:56.687 --> 00:01:00.211
identifiera en människa och beskjuta henne,

00:01:00.211 --> 00:01:04.535
den vänstra på ett avstånd av över en kilometer.

00:01:04.535 --> 00:01:08.124
I båda fallen finns det fortfarande en människa med

00:01:08.124 --> 00:01:10.496
som tar beslutet om att skjuta för att döda,

00:01:10.496 --> 00:01:15.909
men det är inget tekniskt krav, det är ett val.

00:01:15.909 --> 00:01:19.002
Och det valet vill jag fokusera på,

00:01:19.002 --> 00:01:21.643
eftersom när vi överför dödligt beslutsfattande

00:01:21.643 --> 00:01:24.752
från människor till mjukvara,

00:01:24.752 --> 00:01:28.228
så riskerar vi inte bara att ta bort människan från krigföringen,

00:01:28.228 --> 00:01:31.754
utan också att förändra vårt sociala landskap,

00:01:31.754 --> 00:01:33.978
långt från slagfältet.

00:01:33.978 --> 00:01:38.487
Detta eftersom sättet som människor löser konflikter

00:01:38.487 --> 00:01:40.220
formar vårt sociala landskap.

00:01:40.220 --> 00:01:42.853
Och så har det alltid varit, genom historien.

NOTE Paragraph

00:01:42.853 --> 00:01:45.514
Exempelvis, så var dessa vapen spjutspetsteknologi

00:01:45.514 --> 00:01:47.593
på 1400-talet.

00:01:47.593 --> 00:01:50.737
De var dock mycket dyra att bygga och underhålla,

00:01:50.737 --> 00:01:53.977
men med dessa kunde man kontrollera massorna,

00:01:53.977 --> 00:01:57.866
och det reflekterades i distributionen 
av politisk makt i feodalsamhället.

00:01:57.866 --> 00:02:00.553
Makt fokuserades till den översta toppen.

00:02:00.553 --> 00:02:04.081
Vad hände sedan? Teknikutvecklingen.

00:02:04.081 --> 00:02:05.952
Krut, kanoner.

00:02:05.952 --> 00:02:09.769
Snart var rustningar och slott föråldrade,

00:02:09.769 --> 00:02:12.302
och det betydde mindre vad du tog med till slagfältet

00:02:12.302 --> 00:02:16.081
jämfört med hur många människor 
du tog med till slagfältet.

00:02:16.081 --> 00:02:19.719
När arméer växte i storlek uppstod nationalstaten

00:02:19.719 --> 00:02:23.399
som ett politiskt och logistiskt försvarskrav.

00:02:23.399 --> 00:02:25.775
När ledarna blev mera beroende av sin befolkning,

00:02:25.775 --> 00:02:27.608
började de dela med sig av makten.

00:02:27.608 --> 00:02:30.207
Representativt styre började ta form.

NOTE Paragraph

00:02:30.207 --> 00:02:33.495
Så igen, verktygen som vi använder för att lösa konflikter

00:02:33.495 --> 00:02:36.799
formar vårt sociala landskap.

00:02:36.799 --> 00:02:40.863
Autonoma robotvapen är ett sådant verktyg.

00:02:40.863 --> 00:02:46.031
Eftersom de kräver mycket få 
människor för att starta krig,

00:02:46.031 --> 00:02:50.871
så riskerar de att återigen centralisera makten till ett fåtal.

00:02:50.871 --> 00:02:57.386
Därigenom reverseras femhundra års 
utveckling mot demokrati.

NOTE Paragraph

00:02:57.386 --> 00:02:59.143
Nu tror jag att när vi vet detta,

00:02:59.143 --> 00:03:03.495
så kan vi ta avgörande steg för att bevara 
våra demokratiska institutioner.

00:03:03.495 --> 00:03:07.474
Vi kan anpassa oss.

00:03:07.474 --> 00:03:09.479
Men tiden är en faktor.

00:03:09.479 --> 00:03:12.330
Sjuttio länder utvecklar egna

00:03:12.330 --> 00:03:14.487
fjärrstyrda stridsdrönare.

00:03:14.487 --> 00:03:17.080
Som ni kommer att se så är 
fjärrstyrda stridsdrönare

00:03:17.080 --> 00:03:21.552
förstadiet till autonoma robotvapen.

00:03:21.552 --> 00:03:24.319
Det beror på att när man har utvecklat 
fjärrstyrda drönare

00:03:24.319 --> 00:03:27.703
så finns det tre starka faktorer som styr beslutsfattandet

00:03:27.703 --> 00:03:32.303
bort från människor och mot själva vapenplattformen.

NOTE Paragraph

00:03:32.303 --> 00:03:37.562
Den första är floden av data som skapas av drönare.

00:03:37.562 --> 00:03:41.415
2004 så producerade de amerikanska drönarna

00:03:41.415 --> 00:03:46.727
totalt 71 timmar övervakningsvideo för analys.

00:03:46.727 --> 00:03:51.226
2011 hade detta ökat till 300 000 timmar,

00:03:51.226 --> 00:03:54.375
vilket överstiger den mänskliga förmågan att gå igenom.

00:03:54.375 --> 00:03:58.039
Men till och med den siffran kommer att öka drastiskt.

00:03:58.039 --> 00:04:00.614
Pentagons program Gorgon Stare och Argus

00:04:00.614 --> 00:04:03.778
kommer att sätta 65 självständiga kameror

00:04:03.778 --> 00:04:05.816
på varje drönare,

00:04:05.816 --> 00:04:09.119
vilket skulle omöjliggöra mänsklig analys.

00:04:09.119 --> 00:04:11.279
Det betyder att program för 
visuell analys

00:04:11.279 --> 00:04:15.327
krävs för att hitta intressanta händelser.

00:04:15.327 --> 00:04:16.675
Och det betyder att 
inom kort

00:04:16.675 --> 00:04:19.422
kommer drönare att säga till människor 
vad de ska se på,

00:04:19.422 --> 00:04:21.919
och inte tvärtom.

NOTE Paragraph

00:04:21.919 --> 00:04:24.392
Men det finns en andra faktor som driver

00:04:24.392 --> 00:04:27.775
beslutsfattande från människor till maskiner,

00:04:27.775 --> 00:04:30.647
det är elektromagnetiska störsändare,

00:04:30.647 --> 00:04:32.883
som bryter förbindelsen 
mellan drönaren

00:04:32.883 --> 00:04:35.697
och dess operatör.

00:04:35.697 --> 00:04:38.315
Vi såg ett exempel på detta 2011,

00:04:38.315 --> 00:04:41.271
när en amerikansk RQ-170 Sentinel-drönare

00:04:41.271 --> 00:04:45.578
blev förvirrad ovanför Iran på grund av en GPS-störning,

00:04:45.578 --> 00:04:50.692
men alla fjärrstyrda drönare är mottagliga 
för denna typ av attacker,

00:04:50.692 --> 00:04:52.744
och det betyder att drönare

00:04:52.744 --> 00:04:56.364
måste fatta fler beslut själva.

00:04:56.364 --> 00:04:59.407
De vet syftet med sina uppdrag,

00:04:59.407 --> 00:05:04.252
och de kommer att reagera på nya omständigheter
utan mänsklig styrning.

00:05:04.252 --> 00:05:06.833
De kommer att ignorera externa radiosignaler

00:05:06.833 --> 00:05:09.163
och skicka väldigt få signaler själva.

NOTE Paragraph

00:05:09.163 --> 00:05:11.169
Detta leder oss till den tredje

00:05:11.169 --> 00:05:15.031
och starkaste faktor som driver beslutsfattande

00:05:15.031 --> 00:05:18.373
från människor till vapen:

00:05:18.373 --> 00:05:21.666
möjligheten att förneka.

00:05:21.666 --> 00:05:24.553
Vi lever i en global ekonomi.

00:05:24.553 --> 00:05:28.887
Högteknologisk tillverkning sker på de flesta kontinenter.

00:05:28.887 --> 00:05:31.801
Cyberspioneri sprider avancerade konstruktioner

00:05:31.801 --> 00:05:33.687
till okända parter,

00:05:33.687 --> 00:05:35.701
i den miljön är det mycket troligt

00:05:35.701 --> 00:05:40.435
att en lyckad drönardesign kommer att kopieras i fabriker

00:05:40.435 --> 00:05:42.605
som växer fram på den grå marknaden.

00:05:42.605 --> 00:05:45.065
I den situationen, 
när man går igenom vraket

00:05:45.065 --> 00:05:48.025
efter en självmordsattack av en drönare, kommer det

00:05:48.025 --> 00:05:52.425
vara mycket svårt att säga vem som sände vapnet.

NOTE Paragraph

00:05:52.425 --> 00:05:55.225
Detta skapar reella möjligheter

00:05:55.225 --> 00:05:58.160
till anonym krigföring.

00:05:58.160 --> 00:06:00.774
Detta kan ge slagsida åt den
geopolitiska balansen,

00:06:00.774 --> 00:06:04.265
och göra det mycket svårt för en stat att rikta sin eldkraft

00:06:04.265 --> 00:06:07.113
mot en motståndare, och det kan flytta balansen

00:06:07.113 --> 00:06:10.877
i vårt århundrade från försvar till offensiv.

00:06:10.877 --> 00:06:14.001
Det kan göra militära aktioner genomförbara

00:06:14.001 --> 00:06:16.289
inte bara för små länder,

00:06:16.289 --> 00:06:18.834
utan även för kriminella organisationer, 
privata företag,

00:06:18.834 --> 00:06:21.313
till och med mäktiga individer.

00:06:21.313 --> 00:06:24.641
Det kan skapa en miljö med rivaliserande krigsherrar

00:06:24.641 --> 00:06:28.321
som underminerar lagar och samhälle.

00:06:28.321 --> 00:06:31.937
Om nu ansvarsfullhet och transparens

00:06:31.937 --> 00:06:34.321
är två hörnstenar för 
representativt regerande,

00:06:34.321 --> 00:06:38.641
så kan autonoma robotvapen underminera båda.

NOTE Paragraph

00:06:38.641 --> 00:06:40.187
Nu tror du kanske att

00:06:40.187 --> 00:06:42.433
medborgare i högteknologiska nationer

00:06:42.433 --> 00:06:45.136
skulle ha en fördel i ett robotkrig,

00:06:45.136 --> 00:06:48.769
att dessa medborgare skulle vara mindre sårbara,

00:06:48.769 --> 00:06:53.057
framförallt gentemot utvecklingsländer.

00:06:53.057 --> 00:06:56.581
Men jag tror att det är precis tvärtom.

00:06:56.581 --> 00:06:58.832
Jag tror att medborgare i 
högteknologiska samhällen

00:06:58.832 --> 00:07:02.561
är mer sårbara för robotvapen,

00:07:02.561 --> 00:07:07.026
anledningen kan summeras till ett ord: data.

00:07:07.026 --> 00:07:10.507
Data driver högteknologiska samhällen.

00:07:10.507 --> 00:07:13.697
Mobiltelefoners positionering, metadata inom telekom,

00:07:13.697 --> 00:07:17.169
sociala medier, email, SMS, finansiella data,

00:07:17.169 --> 00:07:20.701
transportdata. Det finns ett överflöd av realtids-data

00:07:20.701 --> 00:07:24.074
om människors rörelser och sociala interaktioner.

00:07:24.074 --> 00:07:27.849
Kort sagt, vi är mer synliga för maskiner

00:07:27.849 --> 00:07:30.091
än något folk har varit genom historien,

00:07:30.091 --> 00:07:35.707
och det är perfekt för autonoma vapens målsökande.

NOTE Paragraph

00:07:35.707 --> 00:07:37.445
Vad ni ser här

00:07:37.445 --> 00:07:40.691
är en analyskarta för länkarna inom en social grupp.

00:07:40.691 --> 00:07:44.325
Linjerna visar kopplingarna mellan individer.

00:07:44.325 --> 00:07:47.205
Dessa typer av kartor kan skapas automatiskt,

00:07:47.205 --> 00:07:51.920
baserat på de data-spår som 
moderna människor efterlämnar.

00:07:51.920 --> 00:07:54.397
Det används normalt för marknadsföring 
av saker och tjänster

00:07:54.397 --> 00:07:58.813
till riktade målgrupper, men tekniken kan även hitta mål

00:07:58.813 --> 00:08:02.173
i en annan kontext.

00:08:02.173 --> 00:08:04.733
Notera att vissa individer är markerade.

00:08:04.733 --> 00:08:08.013
De är centralfigurerna i sociala nätverk.

00:08:08.013 --> 00:08:11.603
De är organisatörer, opinionsbildare, ledare

00:08:11.603 --> 00:08:14.285
och de kan även identifieras automatiskt

00:08:14.285 --> 00:08:16.667
genom deras kommunikationsmönster.

00:08:16.667 --> 00:08:18.813
Om du är marknadsförare kanske du vill ge dem

00:08:18.813 --> 00:08:21.356
produkter att prova, för att sprida ditt varumärke

00:08:21.356 --> 00:08:24.185
genom deras sociala grupp.

00:08:24.185 --> 00:08:26.138
Men om du är en 
förtryckarregim

00:08:26.138 --> 00:08:30.948
som söker politiska fiender, 
så kanske du istället vill eliminera dem

00:08:30.948 --> 00:08:33.708
splittra deras sociala grupp,

00:08:33.708 --> 00:08:36.877
så att deras anhängare tappar social sammanhållning

00:08:36.877 --> 00:08:39.498
och organisering.

00:08:39.498 --> 00:08:42.822
I en värld med en växande samling billiga robotvapen,

00:08:42.822 --> 00:08:45.457
skulle gränser erbjuda väldigt lite skydd

00:08:45.457 --> 00:08:47.403
för kritiker av avlägsna regeringar

00:08:47.403 --> 00:08:51.049
eller transnationella kriminella organisationer.

00:08:51.049 --> 00:08:54.542
Populära rörelser som agiterar för förändring

00:08:54.542 --> 00:08:58.151
kan upptäckas tidigt och deras ledare elimineras

00:08:58.151 --> 00:09:01.062
innan deras idéer har uppnått kritisk massa.

00:09:01.062 --> 00:09:03.653
Idéer som uppnår kritisk massa

00:09:03.653 --> 00:09:07.589
är precis vad politisk aktivism handlar om.

00:09:07.589 --> 00:09:11.586
Anonyma, dödliga vapen kan göra dödligt våld

00:09:11.586 --> 00:09:15.368
till ett lätt val för alla sorters konkurrerande intressen.

00:09:15.368 --> 00:09:19.102
Det skulle hindra det fria ordet

00:09:19.102 --> 00:09:24.410
och folkliga, politiska kampanjer, själva kärnan i demokrati.

NOTE Paragraph

00:09:24.410 --> 00:09:27.324
Därför behöver vi ett internationellt avtal

00:09:27.324 --> 00:09:30.864
om robotvapen och särskilt ett globalt förbud

00:09:30.864 --> 00:09:34.772
mot utveckling och användning av mördarrobotar.

00:09:34.772 --> 00:09:38.026
Vi har redan internationella avtal

00:09:38.026 --> 00:09:41.412
om kärnvapen och biologiska vapen som inte är perfekta,

00:09:41.412 --> 00:09:43.700
men som i stort sett har fungerat.

00:09:43.700 --> 00:09:47.468
Robotvapen kan vara precis lika farliga,

00:09:47.468 --> 00:09:50.756
eftersom de säkerligen skulle användas,

00:09:50.756 --> 00:09:55.783
och därför komma att bryta ner våra demokratiska institutioner.

NOTE Paragraph

00:09:55.783 --> 00:09:59.251
I november 2012 utfärdade det 
amerikanska försvarsdepartementet

00:09:59.251 --> 00:10:01.709
ett direktiv om att

00:10:01.709 --> 00:10:06.228
en människa ska vara närvarande vid dödliga beslut.

00:10:06.228 --> 00:10:11.004
Detta har temporärt stoppat autonoma vapen 
inom den amerikanska militären,

00:10:11.004 --> 00:10:14.757
men detta direktiv måste göras permanent.

00:10:14.757 --> 00:10:19.133
Det skulle kunna bli norm för en global aktion.

00:10:19.133 --> 00:10:22.978
Vi behöver ett internationellt legalt ramverk

00:10:22.978 --> 00:10:25.116
för robotvapen.

00:10:25.116 --> 00:10:28.044
Och vi behöver det nu, innan det sker en förödande attack

00:10:28.044 --> 00:10:31.196
eller en terroristincident som får världens länder

00:10:31.196 --> 00:10:33.120
att rusa för att införa dessa vapen

00:10:33.120 --> 00:10:36.891
innan de tänker igenom konsekvenserna.

00:10:36.891 --> 00:10:39.872
Autonoma robotvapen koncentrerar för mycket makt

00:10:39.872 --> 00:10:46.155
i för få händer och de skulle äventyra själva demokratin.

NOTE Paragraph

00:10:46.155 --> 00:10:48.841
Missförstå mig inte, jag tror att det finns massor

00:10:48.841 --> 00:10:51.459
av bra användningsområden för obeväpnade civila drönare:

00:10:51.459 --> 00:10:55.398
miljöövervakning, personeftersökning, logistik.

00:10:55.398 --> 00:10:58.224
Om vi har ett internationellt avtal om robotvapen,

00:10:58.224 --> 00:11:01.811
hur kan vi dra nytta av fördelarna med autonoma drönare

00:11:01.811 --> 00:11:04.459
och farkoster medan vi skyddar oss själva

00:11:04.459 --> 00:11:08.439
mot illegala robotvapen?

NOTE Paragraph

00:11:08.439 --> 00:11:13.180
Jag tror att svaret är transparens.

00:11:13.180 --> 00:11:16.193
Ingen robot ska kunna ha något privatliv

00:11:16.193 --> 00:11:19.644
i publika områden.

NOTE Paragraph

00:11:19.644 --> 00:11:24.692
(Applåd)

NOTE Paragraph

00:11:24.692 --> 00:11:26.737
Varje robot eller drönare ska ha

00:11:26.737 --> 00:11:29.620
ett kryptografiskt signerat ID inbränt i fabriken

00:11:29.620 --> 00:11:32.543
som kan användas för att spåra 
dess rörelser i publika områden.

00:11:32.543 --> 00:11:35.924
Vi har nummerplåtar på bilar, ID-nummer på flygplan.

00:11:35.924 --> 00:11:37.765
Detta är samma sak.

00:11:37.765 --> 00:11:39.777
Varje medborgare ska kunna 
ladda ner en app

00:11:39.777 --> 00:11:42.902
som visar alla drönare och autonoma farkoster

00:11:42.902 --> 00:11:45.331
som rör sig i deras område,

00:11:45.331 --> 00:11:48.064
både just nu och tidigare.

00:11:48.064 --> 00:11:51.612
Våra ledare bör sätta in sensorer och civila drönare

00:11:51.612 --> 00:11:53.956
som detekterar kriminella drönare

00:11:53.956 --> 00:11:57.132
och istället för att skjuta ner dem

00:11:57.132 --> 00:12:00.124
ska de underrätta människor om deras närvaro.

00:12:00.124 --> 00:12:02.730
I vissa högsäkerhetsområden,

00:12:02.730 --> 00:12:04.639
kan kanske civila drönare 
snärja in dem

00:12:04.639 --> 00:12:07.480
och dra iväg dem till en plats för att 
desarmera dem.

NOTE Paragraph

00:12:07.480 --> 00:12:10.507
Lägg märke till att detta är mer ett immunsystem

00:12:10.507 --> 00:12:11.828
än ett vapensystem.

00:12:11.828 --> 00:12:14.420
Det låter oss dra nytta av att använda

00:12:14.420 --> 00:12:16.452
autonoma farkoster och drönare

00:12:16.452 --> 00:12:20.747
samtidigt som vi bevarar vårt öppna civila samhälle.

NOTE Paragraph

00:12:20.747 --> 00:12:23.746
Vi måste förbjuda användning och utveckling

00:12:23.746 --> 00:12:25.608
av mördarrobotar.

00:12:25.608 --> 00:12:30.458
Låt oss inte falla för frestelsen att automatisera krig.

00:12:30.458 --> 00:12:33.176
Autokratiska regeringar och kriminella organisationer

00:12:33.176 --> 00:12:36.132
kommer utan tvivel att göra det, 
men låt oss inte följa efter.

00:12:36.132 --> 00:12:38.023
Autonoma robotvapen

00:12:38.023 --> 00:12:40.074
skulle koncentrera för mycket makt

00:12:40.074 --> 00:12:42.556
i för få osynliga händer,

00:12:42.556 --> 00:12:45.811
det skulle bryta ner representativt styre.

00:12:45.811 --> 00:12:48.772
Låt oss säkerställa, åtminstone för demokratier,

00:12:48.772 --> 00:12:51.376
att mördarrobotar förblir fiktion.

NOTE Paragraph

00:12:51.376 --> 00:12:52.486
Tack

NOTE Paragraph

00:12:52.486 --> 00:12:57.051
(Applåder)

00:12:57.051 --> 00:13:01.667
Tack (Applåd)