1
00:00:00,691 --> 00:00:03,849
Jag skriver fiktion, science-fiction thrillers,

2
00:00:03,849 --> 00:00:06,042
så om jag säger "mördarrobotar",

3
00:00:06,042 --> 00:00:08,403
så tänker ni antagligen på någonting sånt här.

4
00:00:08,403 --> 00:00:10,958
Men jag är inte här för att tala om fiktion.

5
00:00:10,958 --> 00:00:13,906
Jag är här för att tala om mycket verkliga mördarrrobotar,

6
00:00:13,906 --> 00:00:17,028
autonoma stridsdrönare.

7
00:00:17,028 --> 00:00:20,655
Jag menar inte drönare som Predator och Reaper,

8
00:00:20,655 --> 00:00:23,915
som har en människa som avgör angreppsmålen.

9
00:00:23,915 --> 00:00:27,044
Jag talar om helt autonoma robotvapen

10
00:00:27,044 --> 00:00:29,698
som tar dödliga beslut om människor

11
00:00:29,698 --> 00:00:32,115
helt på eget bevåg.

12
00:00:32,115 --> 00:00:36,115
Det finns faktiskt en teknisk term för detta: dödlig autonomi.

13
00:00:36,115 --> 00:00:38,971
Dödliga, autonoma mördarrobotar

14
00:00:38,971 --> 00:00:42,040
finns i många former - flygande, körande

15
00:00:42,040 --> 00:00:44,786
eller sådana som bara ligger och väntar.

16
00:00:44,786 --> 00:00:47,895
De har faktiskt snabbt blivit verkliga.

17
00:00:47,895 --> 00:00:50,379
Detta är två automatiska krypskyttestationer

18
00:00:50,379 --> 00:00:54,516
som nu finns i den demilitariserade zonen 
mellan Nord- och Sydkorea.

19
00:00:54,516 --> 00:00:56,687
Båda dessa maskiner är kapabla att automatiskt

20
00:00:56,687 --> 00:01:00,211
identifiera en människa och beskjuta henne,

21
00:01:00,211 --> 00:01:04,535
den vänstra på ett avstånd av över en kilometer.

22
00:01:04,535 --> 00:01:08,124
I båda fallen finns det fortfarande en människa med

23
00:01:08,124 --> 00:01:10,496
som tar beslutet om att skjuta för att döda,

24
00:01:10,496 --> 00:01:15,909
men det är inget tekniskt krav, det är ett val.

25
00:01:15,909 --> 00:01:19,002
Och det valet vill jag fokusera på,

26
00:01:19,002 --> 00:01:21,643
eftersom när vi överför dödligt beslutsfattande

27
00:01:21,643 --> 00:01:24,752
från människor till mjukvara,

28
00:01:24,752 --> 00:01:28,228
så riskerar vi inte bara att ta bort människan från krigföringen,

29
00:01:28,228 --> 00:01:31,754
utan också att förändra vårt sociala landskap,

30
00:01:31,754 --> 00:01:33,978
långt från slagfältet.

31
00:01:33,978 --> 00:01:38,487
Detta eftersom sättet som människor löser konflikter

32
00:01:38,487 --> 00:01:40,220
formar vårt sociala landskap.

33
00:01:40,220 --> 00:01:42,853
Och så har det alltid varit, genom historien.

34
00:01:42,853 --> 00:01:45,514
Exempelvis, så var dessa vapen spjutspetsteknologi

35
00:01:45,514 --> 00:01:47,593
på 1400-talet.

36
00:01:47,593 --> 00:01:50,737
De var dock mycket dyra att bygga och underhålla,

37
00:01:50,737 --> 00:01:53,977
men med dessa kunde man kontrollera massorna,

38
00:01:53,977 --> 00:01:57,866
och det reflekterades i distributionen 
av politisk makt i feodalsamhället.

39
00:01:57,866 --> 00:02:00,553
Makt fokuserades till den översta toppen.

40
00:02:00,553 --> 00:02:04,081
Vad hände sedan? Teknikutvecklingen.

41
00:02:04,081 --> 00:02:05,952
Krut, kanoner.

42
00:02:05,952 --> 00:02:09,769
Snart var rustningar och slott föråldrade,

43
00:02:09,769 --> 00:02:12,302
och det betydde mindre vad du tog med till slagfältet

44
00:02:12,302 --> 00:02:16,081
jämfört med hur många människor 
du tog med till slagfältet.

45
00:02:16,081 --> 00:02:19,719
När arméer växte i storlek uppstod nationalstaten

46
00:02:19,719 --> 00:02:23,399
som ett politiskt och logistiskt försvarskrav.

47
00:02:23,399 --> 00:02:25,775
När ledarna blev mera beroende av sin befolkning,

48
00:02:25,775 --> 00:02:27,608
började de dela med sig av makten.

49
00:02:27,608 --> 00:02:30,207
Representativt styre började ta form.

50
00:02:30,207 --> 00:02:33,495
Så igen, verktygen som vi använder för att lösa konflikter

51
00:02:33,495 --> 00:02:36,799
formar vårt sociala landskap.

52
00:02:36,799 --> 00:02:40,863
Autonoma robotvapen är ett sådant verktyg.

53
00:02:40,863 --> 00:02:46,031
Eftersom de kräver mycket få 
människor för att starta krig,

54
00:02:46,031 --> 00:02:50,871
så riskerar de att återigen centralisera makten till ett fåtal.

55
00:02:50,871 --> 00:02:57,386
Därigenom reverseras femhundra års 
utveckling mot demokrati.

56
00:02:57,386 --> 00:02:59,143
Nu tror jag att när vi vet detta,

57
00:02:59,143 --> 00:03:03,495
så kan vi ta avgörande steg för att bevara 
våra demokratiska institutioner.

58
00:03:03,495 --> 00:03:07,474
Vi kan anpassa oss.

59
00:03:07,474 --> 00:03:09,479
Men tiden är en faktor.

60
00:03:09,479 --> 00:03:12,330
Sjuttio länder utvecklar egna

61
00:03:12,330 --> 00:03:14,487
fjärrstyrda stridsdrönare.

62
00:03:14,487 --> 00:03:17,080
Som ni kommer att se så är 
fjärrstyrda stridsdrönare

63
00:03:17,080 --> 00:03:21,552
förstadiet till autonoma robotvapen.

64
00:03:21,552 --> 00:03:24,319
Det beror på att när man har utvecklat 
fjärrstyrda drönare

65
00:03:24,319 --> 00:03:27,703
så finns det tre starka faktorer som styr beslutsfattandet

66
00:03:27,703 --> 00:03:32,303
bort från människor och mot själva vapenplattformen.

67
00:03:32,303 --> 00:03:37,562
Den första är floden av data som skapas av drönare.

68
00:03:37,562 --> 00:03:41,415
2004 så producerade de amerikanska drönarna

69
00:03:41,415 --> 00:03:46,727
totalt 71 timmar övervakningsvideo för analys.

70
00:03:46,727 --> 00:03:51,226
2011 hade detta ökat till 300 000 timmar,

71
00:03:51,226 --> 00:03:54,375
vilket överstiger den mänskliga förmågan att gå igenom.

72
00:03:54,375 --> 00:03:58,039
Men till och med den siffran kommer att öka drastiskt.

73
00:03:58,039 --> 00:04:00,614
Pentagons program Gorgon Stare och Argus

74
00:04:00,614 --> 00:04:03,778
kommer att sätta 65 självständiga kameror

75
00:04:03,778 --> 00:04:05,816
på varje drönare,

76
00:04:05,816 --> 00:04:09,119
vilket skulle omöjliggöra mänsklig analys.

77
00:04:09,119 --> 00:04:11,279
Det betyder att program för 
visuell analys

78
00:04:11,279 --> 00:04:15,327
krävs för att hitta intressanta händelser.

79
00:04:15,327 --> 00:04:16,675
Och det betyder att 
inom kort

80
00:04:16,675 --> 00:04:19,422
kommer drönare att säga till människor 
vad de ska se på,

81
00:04:19,422 --> 00:04:21,919
och inte tvärtom.

82
00:04:21,919 --> 00:04:24,392
Men det finns en andra faktor som driver

83
00:04:24,392 --> 00:04:27,775
beslutsfattande från människor till maskiner,

84
00:04:27,775 --> 00:04:30,647
det är elektromagnetiska störsändare,

85
00:04:30,647 --> 00:04:32,883
som bryter förbindelsen 
mellan drönaren

86
00:04:32,883 --> 00:04:35,697
och dess operatör.

87
00:04:35,697 --> 00:04:38,315
Vi såg ett exempel på detta 2011,

88
00:04:38,315 --> 00:04:41,271
när en amerikansk RQ-170 Sentinel-drönare

89
00:04:41,271 --> 00:04:45,578
blev förvirrad ovanför Iran på grund av en GPS-störning,

90
00:04:45,578 --> 00:04:50,692
men alla fjärrstyrda drönare är mottagliga 
för denna typ av attacker,

91
00:04:50,692 --> 00:04:52,744
och det betyder att drönare

92
00:04:52,744 --> 00:04:56,364
måste fatta fler beslut själva.

93
00:04:56,364 --> 00:04:59,407
De vet syftet med sina uppdrag,

94
00:04:59,407 --> 00:05:04,252
och de kommer att reagera på nya omständigheter
utan mänsklig styrning.

95
00:05:04,252 --> 00:05:06,833
De kommer att ignorera externa radiosignaler

96
00:05:06,833 --> 00:05:09,163
och skicka väldigt få signaler själva.

97
00:05:09,163 --> 00:05:11,169
Detta leder oss till den tredje

98
00:05:11,169 --> 00:05:15,031
och starkaste faktor som driver beslutsfattande

99
00:05:15,031 --> 00:05:18,373
från människor till vapen:

100
00:05:18,373 --> 00:05:21,666
möjligheten att förneka.

101
00:05:21,666 --> 00:05:24,553
Vi lever i en global ekonomi.

102
00:05:24,553 --> 00:05:28,887
Högteknologisk tillverkning sker på de flesta kontinenter.

103
00:05:28,887 --> 00:05:31,801
Cyberspioneri sprider avancerade konstruktioner

104
00:05:31,801 --> 00:05:33,687
till okända parter,

105
00:05:33,687 --> 00:05:35,701
i den miljön är det mycket troligt

106
00:05:35,701 --> 00:05:40,435
att en lyckad drönardesign kommer att kopieras i fabriker

107
00:05:40,435 --> 00:05:42,605
som växer fram på den grå marknaden.

108
00:05:42,605 --> 00:05:45,065
I den situationen, 
när man går igenom vraket

109
00:05:45,065 --> 00:05:48,025
efter en självmordsattack av en drönare, kommer det

110
00:05:48,025 --> 00:05:52,425
vara mycket svårt att säga vem som sände vapnet.

111
00:05:52,425 --> 00:05:55,225
Detta skapar reella möjligheter

112
00:05:55,225 --> 00:05:58,160
till anonym krigföring.

113
00:05:58,160 --> 00:06:00,774
Detta kan ge slagsida åt den
geopolitiska balansen,

114
00:06:00,774 --> 00:06:04,265
och göra det mycket svårt för en stat att rikta sin eldkraft

115
00:06:04,265 --> 00:06:07,113
mot en motståndare, och det kan flytta balansen

116
00:06:07,113 --> 00:06:10,877
i vårt århundrade från försvar till offensiv.

117
00:06:10,877 --> 00:06:14,001
Det kan göra militära aktioner genomförbara

118
00:06:14,001 --> 00:06:16,289
inte bara för små länder,

119
00:06:16,289 --> 00:06:18,834
utan även för kriminella organisationer, 
privata företag,

120
00:06:18,834 --> 00:06:21,313
till och med mäktiga individer.

121
00:06:21,313 --> 00:06:24,641
Det kan skapa en miljö med rivaliserande krigsherrar

122
00:06:24,641 --> 00:06:28,321
som underminerar lagar och samhälle.

123
00:06:28,321 --> 00:06:31,937
Om nu ansvarsfullhet och transparens

124
00:06:31,937 --> 00:06:34,321
är två hörnstenar för 
representativt regerande,

125
00:06:34,321 --> 00:06:38,641
så kan autonoma robotvapen underminera båda.

126
00:06:38,641 --> 00:06:40,187
Nu tror du kanske att

127
00:06:40,187 --> 00:06:42,433
medborgare i högteknologiska nationer

128
00:06:42,433 --> 00:06:45,136
skulle ha en fördel i ett robotkrig,

129
00:06:45,136 --> 00:06:48,769
att dessa medborgare skulle vara mindre sårbara,

130
00:06:48,769 --> 00:06:53,057
framförallt gentemot utvecklingsländer.

131
00:06:53,057 --> 00:06:56,581
Men jag tror att det är precis tvärtom.

132
00:06:56,581 --> 00:06:58,832
Jag tror att medborgare i 
högteknologiska samhällen

133
00:06:58,832 --> 00:07:02,561
är mer sårbara för robotvapen,

134
00:07:02,561 --> 00:07:07,026
anledningen kan summeras till ett ord: data.

135
00:07:07,026 --> 00:07:10,507
Data driver högteknologiska samhällen.

136
00:07:10,507 --> 00:07:13,697
Mobiltelefoners positionering, metadata inom telekom,

137
00:07:13,697 --> 00:07:17,169
sociala medier, email, SMS, finansiella data,

138
00:07:17,169 --> 00:07:20,701
transportdata. Det finns ett överflöd av realtids-data

139
00:07:20,701 --> 00:07:24,074
om människors rörelser och sociala interaktioner.

140
00:07:24,074 --> 00:07:27,849
Kort sagt, vi är mer synliga för maskiner

141
00:07:27,849 --> 00:07:30,091
än något folk har varit genom historien,

142
00:07:30,091 --> 00:07:35,707
och det är perfekt för autonoma vapens målsökande.

143
00:07:35,707 --> 00:07:37,445
Vad ni ser här

144
00:07:37,445 --> 00:07:40,691
är en analyskarta för länkarna inom en social grupp.

145
00:07:40,691 --> 00:07:44,325
Linjerna visar kopplingarna mellan individer.

146
00:07:44,325 --> 00:07:47,205
Dessa typer av kartor kan skapas automatiskt,

147
00:07:47,205 --> 00:07:51,920
baserat på de data-spår som 
moderna människor efterlämnar.

148
00:07:51,920 --> 00:07:54,397
Det används normalt för marknadsföring 
av saker och tjänster

149
00:07:54,397 --> 00:07:58,813
till riktade målgrupper, men tekniken kan även hitta mål

150
00:07:58,813 --> 00:08:02,173
i en annan kontext.

151
00:08:02,173 --> 00:08:04,733
Notera att vissa individer är markerade.

152
00:08:04,733 --> 00:08:08,013
De är centralfigurerna i sociala nätverk.

153
00:08:08,013 --> 00:08:11,603
De är organisatörer, opinionsbildare, ledare

154
00:08:11,603 --> 00:08:14,285
och de kan även identifieras automatiskt

155
00:08:14,285 --> 00:08:16,667
genom deras kommunikationsmönster.

156
00:08:16,667 --> 00:08:18,813
Om du är marknadsförare kanske du vill ge dem

157
00:08:18,813 --> 00:08:21,356
produkter att prova, för att sprida ditt varumärke

158
00:08:21,356 --> 00:08:24,185
genom deras sociala grupp.

159
00:08:24,185 --> 00:08:26,138
Men om du är en 
förtryckarregim

160
00:08:26,138 --> 00:08:30,948
som söker politiska fiender, 
så kanske du istället vill eliminera dem

161
00:08:30,948 --> 00:08:33,708
splittra deras sociala grupp,

162
00:08:33,708 --> 00:08:36,877
så att deras anhängare tappar social sammanhållning

163
00:08:36,877 --> 00:08:39,498
och organisering.

164
00:08:39,498 --> 00:08:42,822
I en värld med en växande samling billiga robotvapen,

165
00:08:42,822 --> 00:08:45,457
skulle gränser erbjuda väldigt lite skydd

166
00:08:45,457 --> 00:08:47,403
för kritiker av avlägsna regeringar

167
00:08:47,403 --> 00:08:51,049
eller transnationella kriminella organisationer.

168
00:08:51,049 --> 00:08:54,542
Populära rörelser som agiterar för förändring

169
00:08:54,542 --> 00:08:58,151
kan upptäckas tidigt och deras ledare elimineras

170
00:08:58,151 --> 00:09:01,062
innan deras idéer har uppnått kritisk massa.

171
00:09:01,062 --> 00:09:03,653
Idéer som uppnår kritisk massa

172
00:09:03,653 --> 00:09:07,589
är precis vad politisk aktivism handlar om.

173
00:09:07,589 --> 00:09:11,586
Anonyma, dödliga vapen kan göra dödligt våld

174
00:09:11,586 --> 00:09:15,368
till ett lätt val för alla sorters konkurrerande intressen.

175
00:09:15,368 --> 00:09:19,102
Det skulle hindra det fria ordet

176
00:09:19,102 --> 00:09:24,410
och folkliga, politiska kampanjer, själva kärnan i demokrati.

177
00:09:24,410 --> 00:09:27,324
Därför behöver vi ett internationellt avtal

178
00:09:27,324 --> 00:09:30,864
om robotvapen och särskilt ett globalt förbud

179
00:09:30,864 --> 00:09:34,772
mot utveckling och användning av mördarrobotar.

180
00:09:34,772 --> 00:09:38,026
Vi har redan internationella avtal

181
00:09:38,026 --> 00:09:41,412
om kärnvapen och biologiska vapen som inte är perfekta,

182
00:09:41,412 --> 00:09:43,700
men som i stort sett har fungerat.

183
00:09:43,700 --> 00:09:47,468
Robotvapen kan vara precis lika farliga,

184
00:09:47,468 --> 00:09:50,756
eftersom de säkerligen skulle användas,

185
00:09:50,756 --> 00:09:55,783
och därför komma att bryta ner våra demokratiska institutioner.

186
00:09:55,783 --> 00:09:59,251
I november 2012 utfärdade det 
amerikanska försvarsdepartementet

187
00:09:59,251 --> 00:10:01,709
ett direktiv om att

188
00:10:01,709 --> 00:10:06,228
en människa ska vara närvarande vid dödliga beslut.

189
00:10:06,228 --> 00:10:11,004
Detta har temporärt stoppat autonoma vapen 
inom den amerikanska militären,

190
00:10:11,004 --> 00:10:14,757
men detta direktiv måste göras permanent.

191
00:10:14,757 --> 00:10:19,133
Det skulle kunna bli norm för en global aktion.

192
00:10:19,133 --> 00:10:22,978
Vi behöver ett internationellt legalt ramverk

193
00:10:22,978 --> 00:10:25,116
för robotvapen.

194
00:10:25,116 --> 00:10:28,044
Och vi behöver det nu, innan det sker en förödande attack

195
00:10:28,044 --> 00:10:31,196
eller en terroristincident som får världens länder

196
00:10:31,196 --> 00:10:33,120
att rusa för att införa dessa vapen

197
00:10:33,120 --> 00:10:36,891
innan de tänker igenom konsekvenserna.

198
00:10:36,891 --> 00:10:39,872
Autonoma robotvapen koncentrerar för mycket makt

199
00:10:39,872 --> 00:10:46,155
i för få händer och de skulle äventyra själva demokratin.

200
00:10:46,155 --> 00:10:48,841
Missförstå mig inte, jag tror att det finns massor

201
00:10:48,841 --> 00:10:51,459
av bra användningsområden för obeväpnade civila drönare:

202
00:10:51,459 --> 00:10:55,398
miljöövervakning, personeftersökning, logistik.

203
00:10:55,398 --> 00:10:58,224
Om vi har ett internationellt avtal om robotvapen,

204
00:10:58,224 --> 00:11:01,811
hur kan vi dra nytta av fördelarna med autonoma drönare

205
00:11:01,811 --> 00:11:04,459
och farkoster medan vi skyddar oss själva

206
00:11:04,459 --> 00:11:08,439
mot illegala robotvapen?

207
00:11:08,439 --> 00:11:13,180
Jag tror att svaret är transparens.

208
00:11:13,180 --> 00:11:16,193
Ingen robot ska kunna ha något privatliv

209
00:11:16,193 --> 00:11:19,644
i publika områden.

210
00:11:19,644 --> 00:11:24,692
(Applåd)

211
00:11:24,692 --> 00:11:26,737
Varje robot eller drönare ska ha

212
00:11:26,737 --> 00:11:29,620
ett kryptografiskt signerat ID inbränt i fabriken

213
00:11:29,620 --> 00:11:32,543
som kan användas för att spåra 
dess rörelser i publika områden.

214
00:11:32,543 --> 00:11:35,924
Vi har nummerplåtar på bilar, ID-nummer på flygplan.

215
00:11:35,924 --> 00:11:37,765
Detta är samma sak.

216
00:11:37,765 --> 00:11:39,777
Varje medborgare ska kunna 
ladda ner en app

217
00:11:39,777 --> 00:11:42,902
som visar alla drönare och autonoma farkoster

218
00:11:42,902 --> 00:11:45,331
som rör sig i deras område,

219
00:11:45,331 --> 00:11:48,064
både just nu och tidigare.

220
00:11:48,064 --> 00:11:51,612
Våra ledare bör sätta in sensorer och civila drönare

221
00:11:51,612 --> 00:11:53,956
som detekterar kriminella drönare

222
00:11:53,956 --> 00:11:57,132
och istället för att skjuta ner dem

223
00:11:57,132 --> 00:12:00,124
ska de underrätta människor om deras närvaro.

224
00:12:00,124 --> 00:12:02,730
I vissa högsäkerhetsområden,

225
00:12:02,730 --> 00:12:04,639
kan kanske civila drönare 
snärja in dem

226
00:12:04,639 --> 00:12:07,480
och dra iväg dem till en plats för att 
desarmera dem.

227
00:12:07,480 --> 00:12:10,507
Lägg märke till att detta är mer ett immunsystem

228
00:12:10,507 --> 00:12:11,828
än ett vapensystem.

229
00:12:11,828 --> 00:12:14,420
Det låter oss dra nytta av att använda

230
00:12:14,420 --> 00:12:16,452
autonoma farkoster och drönare

231
00:12:16,452 --> 00:12:20,747
samtidigt som vi bevarar vårt öppna civila samhälle.

232
00:12:20,747 --> 00:12:23,746
Vi måste förbjuda användning och utveckling

233
00:12:23,746 --> 00:12:25,608
av mördarrobotar.

234
00:12:25,608 --> 00:12:30,458
Låt oss inte falla för frestelsen att automatisera krig.

235
00:12:30,458 --> 00:12:33,176
Autokratiska regeringar och kriminella organisationer

236
00:12:33,176 --> 00:12:36,132
kommer utan tvivel att göra det, 
men låt oss inte följa efter.

237
00:12:36,132 --> 00:12:38,023
Autonoma robotvapen

238
00:12:38,023 --> 00:12:40,074
skulle koncentrera för mycket makt

239
00:12:40,074 --> 00:12:42,556
i för få osynliga händer,

240
00:12:42,556 --> 00:12:45,811
det skulle bryta ner representativt styre.

241
00:12:45,811 --> 00:12:48,772
Låt oss säkerställa, åtminstone för demokratier,

242
00:12:48,772 --> 00:12:51,376
att mördarrobotar förblir fiktion.

243
00:12:51,376 --> 00:12:52,486
Tack

244
00:12:52,486 --> 00:12:57,051
(Applåder)

245
00:12:57,051 --> 00:13:01,667
Tack (Applåd)