1
00:00:00,691 --> 00:00:03,849
Ik schrijf sciencefictionthrillers.

2
00:00:03,849 --> 00:00:06,042
Als ik 'killerrobots' zeg,

3
00:00:06,042 --> 00:00:08,403
dan denk je waarschijnlijk zoiets.

4
00:00:08,403 --> 00:00:10,958
Maar ik ga het hier niet over fictie hebben.

5
00:00:10,958 --> 00:00:13,906
Ik ga het hebben over echte killerrobots,

6
00:00:13,906 --> 00:00:17,028
autonome gevechtsdrones.

7
00:00:17,028 --> 00:00:20,655
Ik heb het niet over Predators of Reapers,

8
00:00:20,655 --> 00:00:23,915
waar een mens beslist welk doel ze kiezen.

9
00:00:23,915 --> 00:00:27,044
Ik heb het over volledig autonome robotwapens

10
00:00:27,044 --> 00:00:29,698
die dodelijke beslissingen nemen over mensen,

11
00:00:29,698 --> 00:00:32,115
helemaal alleen.

12
00:00:32,115 --> 00:00:36,115
Daar bestaat een technische term voor:
dodelijke autonomie.

13
00:00:36,115 --> 00:00:38,971
Dodelijk autonome killerrobots

14
00:00:38,971 --> 00:00:42,040
hebben vele vormen:
ze vliegen, rijden,

15
00:00:42,040 --> 00:00:44,786
of liggen gewoon op de loer.

16
00:00:44,786 --> 00:00:47,895
Ze worden heel snel een realiteit.

17
00:00:47,895 --> 00:00:50,379
Momenteel zijn er twee automatische
sluipschuttersstations

18
00:00:50,379 --> 00:00:54,516
in de gedemilitariseerde zone
tussen Noord- en Zuid-Korea.

19
00:00:54,516 --> 00:00:56,687
Beide machines kunnen automatisch

20
00:00:56,687 --> 00:01:00,211
een menselijk doelwit identificeren en beschieten,

21
00:01:00,211 --> 00:01:04,535
de linkse op een afstand
van meer dan een kilometer.

22
00:01:04,535 --> 00:01:08,124
In beide gevallen komt er nog een mens tussen

23
00:01:08,124 --> 00:01:10,496
om de beslissing tot schieten om te doden te nemen,

24
00:01:10,496 --> 00:01:15,909
maar het is geen technologische vereiste.
Het is een keuze.

25
00:01:15,909 --> 00:01:19,002
Op die keuze wil ik me richten,

26
00:01:19,002 --> 00:01:21,643
want als we dodelijke beslissingen laten verhuizen

27
00:01:21,643 --> 00:01:24,752
van de mens naar software,

28
00:01:24,752 --> 00:01:28,228
is het risico niet alleen dat we 
het menselijke uit de oorlog verwijderen,

29
00:01:28,228 --> 00:01:31,754
maar ook dat we ons sociale landschap
volledig wijzigen,

30
00:01:31,754 --> 00:01:33,978
ver van het slagveld.

31
00:01:33,978 --> 00:01:38,487
Want de manier waarop mensen
conflicten oplossen,

32
00:01:38,487 --> 00:01:40,220
bepaalt ons sociale landschap.

33
00:01:40,220 --> 00:01:42,853
Dat is in de geschiedenis altijd zo geweest.

34
00:01:42,853 --> 00:01:45,514
Er waren bijvoorbeeld moderne wapensystemen

35
00:01:45,514 --> 00:01:47,593
in 1400 voor Christus.

36
00:01:47,593 --> 00:01:50,737
Ze waren duur om te bouwen
en te onderhouden,

37
00:01:50,737 --> 00:01:53,977
maar je hield er het gepeupel
mee onder de duim

38
00:01:53,977 --> 00:01:57,866
en de verdeling van de politieke macht
in de feodale maatschappij weerspiegelde dat.

39
00:01:57,866 --> 00:02:00,553
De macht was geconcentreerd aan de top.

40
00:02:00,553 --> 00:02:04,081
Wat veranderde er?
Technologische innovatie.

41
00:02:04,081 --> 00:02:05,952
Buskruit, het kanon.

42
00:02:05,952 --> 00:02:09,769
Al snel waren harnas en kasteel verouderd.

43
00:02:09,769 --> 00:02:12,302
Het maakte minder uit
wie je opstelde op het slagveld

44
00:02:12,302 --> 00:02:16,081
dan hoeveel mensen
je opstelde op het slagveld.

45
00:02:16,081 --> 00:02:19,719
Naarmate de legers groter werden,
ontstond de natiestaat

46
00:02:19,719 --> 00:02:23,399
als politieke en logistieke
defensievereiste.

47
00:02:23,399 --> 00:02:25,775
Toen de leiders meer op het gepeupel 
moesten rekenen, gingen ze de macht delen.

48
00:02:25,775 --> 00:02:27,608
Toen de leiders meer op het gepeupel 
moesten rekenen, gingen ze de macht delen.

49
00:02:27,608 --> 00:02:30,207
De representatieve overheid kreeg vorm.

50
00:02:30,207 --> 00:02:33,495
De middelen die we gebruiken
om conflicten op te lossen,

51
00:02:33,495 --> 00:02:36,799
geven ons sociale landschap vorm.

52
00:02:36,799 --> 00:02:40,863
Autonome robotwapens zijn zo'n middel,

53
00:02:40,863 --> 00:02:46,031
behalve dat ze, doordat heel weinig mensen
ten oorlog moeten trekken,

54
00:02:46,031 --> 00:02:50,871
het risico inhouden dat de macht weer
in weinig handen wordt geconcentreerd,

55
00:02:50,871 --> 00:02:57,386
waardoor een 5 eeuwen lange trend
richting democratie wordt omgekeerd.

56
00:02:57,386 --> 00:02:59,143
Als we dat weten,

57
00:02:59,143 --> 00:03:03,495
kunnen we beslissende stappen zetten
voor het behoud van democratische instellingen

58
00:03:03,495 --> 00:03:07,474
om te doen wat mensen best kunnen:
zich aanpassen.

59
00:03:07,474 --> 00:03:09,479
Maar de tijd dringt.

60
00:03:09,479 --> 00:03:12,330
70 landen ontwikkelen hun eigen 
telegeleide gevechtsdrones,

61
00:03:12,330 --> 00:03:14,487
70 landen ontwikkelen hun eigen 
telegeleide gevechtsdrones,

62
00:03:14,487 --> 00:03:17,080
Je zal zien dat telegeleide gevechtsdrones

63
00:03:17,080 --> 00:03:21,552
de voorlopers zijn van autonome
robotwapens.

64
00:03:21,552 --> 00:03:24,319
Zodra je telegeleide pilootdrones hebt opgesteld,

65
00:03:24,319 --> 00:03:27,703
zijn er drie krachtige factoren
die de beslissing wegduwen

66
00:03:27,703 --> 00:03:32,303
van de mens naar het wapensysteem zelf.

67
00:03:32,303 --> 00:03:37,562
De eerste is de overvloed aan beelden
die drones produceren.

68
00:03:37,562 --> 00:03:41,415
In 2004 produceerde de dronevloot van de VS

69
00:03:41,415 --> 00:03:46,727
samen 71 uur bewakingsfilm voor analyse.

70
00:03:46,727 --> 00:03:51,226
Tegen 2011 was dat al 300.000 uur geworden,

71
00:03:51,226 --> 00:03:54,375
meer dan de mens kan nakijken,

72
00:03:54,375 --> 00:03:58,039
maar zelfs dat aantal
zal nog drastisch stijgen.

73
00:03:58,039 --> 00:04:00,614
De defensieprogramma's 'Gorgonenblik' en 'Argus'
zetten tot 65 onafhankelijke camera-ogen

74
00:04:00,614 --> 00:04:03,778
De defensieprogramma's 'Gorgonenblik' en 'Argus'
zetten tot 65 onafhankelijke camera-ogen

75
00:04:03,778 --> 00:04:05,816
op elk droneplatform.

76
00:04:05,816 --> 00:04:09,119
Dat zou veel meer zijn
dan de mens kan nakijken.

77
00:04:09,119 --> 00:04:11,279
Dat betekent dat visuele inlichtingensoftware

78
00:04:11,279 --> 00:04:15,327
ze zal moeten doorzoeken 
naar interessante dingen.

79
00:04:15,327 --> 00:04:16,675
Dat betekent dat binnenkort

80
00:04:16,675 --> 00:04:19,422
de drones de mensen zullen zeggen
waar ze naar moeten kijken,

81
00:04:19,422 --> 00:04:21,919
niet omgekeerd.

82
00:04:21,919 --> 00:04:24,392
Maar er is een tweede krachtige stimulans

83
00:04:24,392 --> 00:04:27,775
om de beslissing van de mens
naar de machine te verplaatsen:

84
00:04:27,775 --> 00:04:30,647
elektromagnetische stoorzenders,

85
00:04:30,647 --> 00:04:32,883
die de verbinding tussen de drone

86
00:04:32,883 --> 00:04:35,697
en zijn bestuurder verbreken.

87
00:04:35,697 --> 00:04:38,315
We zagen er een voorbeeld van in 2011

88
00:04:38,315 --> 00:04:41,271
toen een Amerikaanse RQ-170 Sentinel

89
00:04:41,271 --> 00:04:45,578
in de war raakte boven Iran
door een moedwillige verstoring van zijn gps.

90
00:04:45,578 --> 00:04:50,692
Elke telegeleide drone is kwetsbaar
voor dat soort aanvallen.

91
00:04:50,692 --> 00:04:52,744
Dat betekent dat drones

92
00:04:52,744 --> 00:04:56,364
meer beslissingen zullen moeten nemen.

93
00:04:56,364 --> 00:04:59,407
Ze zullen het doel van hun missie kennen

94
00:04:59,407 --> 00:05:04,252
en reageren op nieuwe omstandigheden
zonder menselijke hulp.

95
00:05:04,252 --> 00:05:06,833
Ze zullen externe radiosignalen negeren

96
00:05:06,833 --> 00:05:09,163
en er zelf niet veel uitzenden.

97
00:05:09,163 --> 00:05:11,169
Dat brengt ons tot de derde

98
00:05:11,169 --> 00:05:15,031
en krachtigste stimulans
om beslissingen te verplaatsen

99
00:05:15,031 --> 00:05:18,373
van de mens naar de wapens:

100
00:05:18,373 --> 00:05:21,666
plausibele ontkenbaarheid.

101
00:05:21,666 --> 00:05:24,553
We leven in een globale economie.

102
00:05:24,553 --> 00:05:28,887
Er is hoogtechnologische productie
op de meeste continenten.

103
00:05:28,887 --> 00:05:31,801
Cyberspionage moffelt
geavanceerde ontwerpen weg

104
00:05:31,801 --> 00:05:33,687
in onbekende onderdelen.

105
00:05:33,687 --> 00:05:35,701
In die omgeving is het heel waarschijnlijk

106
00:05:35,701 --> 00:05:40,435
dat succesvolle droneontwerpen
zullen worden gemaakt in fabrieken van onderaannemers

107
00:05:40,435 --> 00:05:42,605
en vandaar richting grijze markt gaan.

108
00:05:42,605 --> 00:05:45,065
In die situatie zal het,
als je het wrak

109
00:05:45,065 --> 00:05:48,025
van een zelfmoorddrone doorzoekt,
heel moeilijk te zeggen zijn

110
00:05:48,025 --> 00:05:52,425
wie dat wapen heeft gestuurd.

111
00:05:52,425 --> 00:05:55,225
Daardoor wordt de mogelijkheid
van anoniem oorlogvoeren heel reëel.

112
00:05:55,225 --> 00:05:58,160
Daardoor wordt de mogelijkheid
van anoniem oorlogvoeren heel reëel.

113
00:05:58,160 --> 00:06:00,774
Dat zou het geopolitieke evenwicht
op zijn kop kunnen zetten,

114
00:06:00,774 --> 00:06:04,265
waardoor het voor een natie moeilijk wordt
om zijn vuurkracht in te zetten

115
00:06:04,265 --> 00:06:07,113
tegen een aanvaller.
Dat zou de balans kunnen doen overhellen

116
00:06:07,113 --> 00:06:10,877
van verdediging naar aanval
in de 21e eeuw.

117
00:06:10,877 --> 00:06:14,001
Het zou van militaire actie
een haalbare kaart maken,

118
00:06:14,001 --> 00:06:16,289
niet alleen voor kleine landen,

119
00:06:16,289 --> 00:06:18,834
maar voor criminele organisaties,
privébedrijven,

120
00:06:18,834 --> 00:06:21,313
zelfs machtige individuen.

121
00:06:21,313 --> 00:06:24,641
Het zou een landschap
van rivaliserende krijgsheren creëren

122
00:06:24,641 --> 00:06:28,321
die de rechtsstaat en de burgerlijke 
maatschappij ondermijnen.

123
00:06:28,321 --> 00:06:31,937
Als verantwoordelijkheid en transparantie

124
00:06:31,937 --> 00:06:34,321
twee hoekstenen zijn van de representatieve democratie,

125
00:06:34,321 --> 00:06:38,641
dan kunnen autonome robotwapens
ze beide ondermijnen.

126
00:06:38,641 --> 00:06:40,187
Misschien denk je

127
00:06:40,187 --> 00:06:42,433
dat burgers van hoogtechnologische naties

128
00:06:42,433 --> 00:06:45,136
voordeel hebben bij elke robotoorlog,

129
00:06:45,136 --> 00:06:48,769
dat burgers van die naties
minder kwetsbaar zouden zijn,

130
00:06:48,769 --> 00:06:53,057
vooral tegen ontwikkelingslanden.

131
00:06:53,057 --> 00:06:56,581
Volgens mij is het net andersom.

132
00:06:56,581 --> 00:06:58,832
Ik denk dat burgers 
van hoogtechnologische maatschappijen

133
00:06:58,832 --> 00:07:02,561
kwetsbaarder zijn voor robotwapens.

134
00:07:02,561 --> 00:07:07,026
Dat ligt aan één enkel ding: gegevens.

135
00:07:07,026 --> 00:07:10,507
Gegevens zijn de motor van hightech-maatschappijen.

136
00:07:10,507 --> 00:07:13,697
Gsm-geolocatie, metagegevens van telecommunicatie,

137
00:07:13,697 --> 00:07:17,169
sociale media, email, sms, financiële transactiegegevens,

138
00:07:17,169 --> 00:07:20,701
transportgegegeven, een overvloed 
aan realtime-gegevens

139
00:07:20,701 --> 00:07:24,074
over de bewegingen en sociale interactie van mensen.

140
00:07:24,074 --> 00:07:27,849
Kortom, we zijn zichtbaarder voor machines

141
00:07:27,849 --> 00:07:30,091
dan wie dan ook in de geschiedenis.

142
00:07:30,091 --> 00:07:35,707
Dat is perfect voor een autonoom wapen
dat een doel in het vizier moet krijgen.

143
00:07:35,707 --> 00:07:37,445
Wat je hier ziet,

144
00:07:37,445 --> 00:07:40,691
is een linkanalyse van een sociale groep.

145
00:07:40,691 --> 00:07:44,325
Links wijzen op sociale verbondenheid
tussen individuen.

146
00:07:44,325 --> 00:07:47,205
Dit soort kaarten kan automatisch gemaakt worden

147
00:07:47,205 --> 00:07:51,920
op basis van het spoor van gegevens
dat moderne mensen achterlaten.

148
00:07:51,920 --> 00:07:54,397
Ze worden meestal gebruikt 
om goederen en diensten te verkopen

149
00:07:54,397 --> 00:07:58,813
aan doelgroepen, maar het is 
een tweesnijdende technologie,

150
00:07:58,813 --> 00:08:02,173
als 'doelen' in een andere context worden gebruikt.

151
00:08:02,173 --> 00:08:04,733
Je ziet dat bepaalde individuen gemarkeerd zijn.

152
00:08:04,733 --> 00:08:08,013
Dit zijn de knooppunten van de sociale netwerken:

153
00:08:08,013 --> 00:08:11,603
organisatoren, opiniemakers, leiders.

154
00:08:11,603 --> 00:08:14,285
Deze mensen kan je automatisch identificeren

155
00:08:14,285 --> 00:08:16,667
op basis van hun communicatiepatroon.

156
00:08:16,667 --> 00:08:18,813
Als marketeer kan je je op hen richten

157
00:08:18,813 --> 00:08:21,356
met productstalen, als je je merk wil verspreiden

158
00:08:21,356 --> 00:08:24,185
in hun sociale groep.

159
00:08:24,185 --> 00:08:26,138
Maar als je een repressieve overheid bent,

160
00:08:26,138 --> 00:08:30,948
op zoek naar politieke vijanden,
kan je ze ook verwijderen,

161
00:08:30,948 --> 00:08:33,708
uitschakelen, hun sociale groep verstoren.

162
00:08:33,708 --> 00:08:36,877
De achterblijvers verliezen sociale samenhang

163
00:08:36,877 --> 00:08:39,498
en organisatie.

164
00:08:39,498 --> 00:08:42,822
In een wereld van goedkope, uitdijende robotwapens,

165
00:08:42,822 --> 00:08:45,457
zouden grenzen heel weinig bescherming bieden

166
00:08:45,457 --> 00:08:47,403
aan de critici van verre overheden

167
00:08:47,403 --> 00:08:51,049
of transnationale criminele organisaties.

168
00:08:51,049 --> 00:08:54,542
Volksbewegingen die op verandering aansturen,

169
00:08:54,542 --> 00:08:58,151
zouden vroeg ontdekt kunnen worden
en hun leiders uitgeschakeld

170
00:08:58,151 --> 00:09:01,062
nog voor hun ideeën kritische massa bereiken.

171
00:09:01,062 --> 00:09:03,653
Ideeën die kritische massa bereiken,

172
00:09:03,653 --> 00:09:07,589
daar draait elk politiek activisme om in een democratie.

173
00:09:07,589 --> 00:09:11,586
Anonieme dodelijke wapens
kunnen van dodelijke actie

174
00:09:11,586 --> 00:09:15,368
een gemakkelijke keuze maken
voor allerlei concurrerende belangen.

175
00:09:15,368 --> 00:09:19,102
Dat zou de vrije meningsuiting belemmeren

176
00:09:19,102 --> 00:09:24,410
en politieke actie van het volk,
het hart van de democratie.

177
00:09:24,410 --> 00:09:27,324
Daarom hebben we nood aan
een internationaal verdrag

178
00:09:27,324 --> 00:09:30,864
over robotwapens, en meer bepaald
een wereldwijd verbod

179
00:09:30,864 --> 00:09:34,772
op het ontwikkelen en inzetten
van killerrobots.

180
00:09:34,772 --> 00:09:38,026
We hebben al internationale verdragen

181
00:09:38,026 --> 00:09:41,412
over nucleaire en biologische wapens.
Die zijn niet perfect,

182
00:09:41,412 --> 00:09:43,700
maar ze hebben wel grotendeels gewerkt.

183
00:09:43,700 --> 00:09:47,468
Robotwapens zouden even gevaarlijk
kunnen zijn,

184
00:09:47,468 --> 00:09:50,756
want ze zullen bijna zeker worden ingezet

185
00:09:50,756 --> 00:09:55,783
en ze zouden onze democratische instellingen ondermijnen.

186
00:09:55,783 --> 00:09:59,251
In november 2012 verplichtte 
het Ministerie van Defensie van de VS

187
00:09:59,251 --> 00:10:01,709
In november 2012 verplichtte 
het Ministerie van Defensie van de VS

188
00:10:01,709 --> 00:10:06,228
de aanwezigheid van een mens
bij alle beslissingen over leven en dood.

189
00:10:06,228 --> 00:10:11,004
Daardoor werden automatische wapens
tijdelijk effectief verboden in het leger van de VS,

190
00:10:11,004 --> 00:10:14,757
maar die richtlijn moet permanent worden.

191
00:10:14,757 --> 00:10:19,133
Dat zou de voorbereiding kunnen zijn
van wereldwijde actie.

192
00:10:19,133 --> 00:10:22,978
We hebben een internationaal wettelijk kader nodig

193
00:10:22,978 --> 00:10:25,116
voor robotwapens,

194
00:10:25,116 --> 00:10:28,044
en wel meteen, voor er een verwoestende aanval is

195
00:10:28,044 --> 00:10:31,196
of een terroristische aanslag waardoor landen

196
00:10:31,196 --> 00:10:33,120
snel-snel deze wapens inzetten
zonder over de gevolgen na te denken.

197
00:10:33,120 --> 00:10:36,891
snel-snel deze wapens inzetten
zonder over de gevolgen na te denken.

198
00:10:36,891 --> 00:10:39,872
Automatische robotwapens concentreren teveel macht

199
00:10:39,872 --> 00:10:46,155
in te weinig handen, en ze zouden de democratie zelf
in gevaar brengen.

200
00:10:46,155 --> 00:10:48,841
Begrijp me niet verkeerd,
ik denk dat er massa's

201
00:10:48,841 --> 00:10:51,459
toepassingen zijn voor onbewapende civiele drones:

202
00:10:51,459 --> 00:10:55,398
milieubewaking, reddingsoperaties, logistiek.

203
00:10:55,398 --> 00:10:58,224
Als we een internationaal verdrag op robotwapens hebben,

204
00:10:58,224 --> 00:11:01,811
hoe kunnen we dan de voordelen van autonome drones

205
00:11:01,811 --> 00:11:04,459
en voertuigen combineren met bescherming

206
00:11:04,459 --> 00:11:08,439
tegen illegale robotwapens?

207
00:11:08,439 --> 00:11:13,180
Ik denk dat het geheim transparantie zal zijn.

208
00:11:13,180 --> 00:11:16,193
Geen enkele robot mag zich aan privacy verwachten

209
00:11:16,193 --> 00:11:19,644
op een openbare plaats.

210
00:11:19,644 --> 00:11:24,692
(Applaus)

211
00:11:24,692 --> 00:11:26,737
In elke robot en drone zou een cryptografisch ondertekend
identiteitsbewijs moeten gegraveerd zijn

212
00:11:26,737 --> 00:11:29,620
In elke robot en drone zou een cryptografisch ondertekend
identiteitsbewijs moeten gegraveerd zijn

213
00:11:29,620 --> 00:11:32,543
dat kan worden gebruikt om zijn beweging
door publieke ruimtes te volgen.

214
00:11:32,543 --> 00:11:35,924
We hebben nummerplaten op auto's
en staartnummers op vliegtuigen.

215
00:11:35,924 --> 00:11:37,765
Dit is niet anders.

216
00:11:37,765 --> 00:11:39,777
Elke burger zou een app moeten kunnen downloaden

217
00:11:39,777 --> 00:11:42,902
die de populatie van drones en autonome voertuigen toont

218
00:11:42,902 --> 00:11:45,331
die zich door de publieke ruimte om hem heen beweegt,

219
00:11:45,331 --> 00:11:48,064
nu meteen en in het verleden.

220
00:11:48,064 --> 00:11:51,612
Burgerleiders zouden sensoren 
en burgerlijke drones moeten inzetten

221
00:11:51,612 --> 00:11:53,956
om schurkendrones te detecteren.

222
00:11:53,956 --> 00:11:57,132
In plaats van eigen killerdrones te sturen
om ze af te maken,

223
00:11:57,132 --> 00:12:00,124
zouden ze mensen 
op hun aanwezigheid moeten wijzen.

224
00:12:00,124 --> 00:12:02,730
In bepaalde strenge veiligheidszones

225
00:12:02,730 --> 00:12:04,639
zouden burgerlijke drones ze kunnen strikken

226
00:12:04,639 --> 00:12:07,480
en wegslepen naar een ontmijningsinstallatie.

227
00:12:07,480 --> 00:12:10,507
Maar dit is veeleer een immuunsysteem

228
00:12:10,507 --> 00:12:11,828
dan een wapensysteem.

229
00:12:11,828 --> 00:12:14,420
Het zou ons toelaten om

230
00:12:14,420 --> 00:12:16,452
autonome voertuigen en drones te gebruiken

231
00:12:16,452 --> 00:12:20,747
zonder onze open, burgerlijke maatschappij op te geven.

232
00:12:20,747 --> 00:12:23,746
We moeten de inzet en ontwikkeling

233
00:12:23,746 --> 00:12:25,608
van killerrobots verbieden.

234
00:12:25,608 --> 00:12:30,458
Laten we niet zwichten voor de verleiding
om oorlog te automatiseren.

235
00:12:30,458 --> 00:12:33,176
Autocratische regeringen
en criminele organisaties

236
00:12:33,176 --> 00:12:36,132
zullen dat zeker doen.
Laten we ze niet volgen.

237
00:12:36,132 --> 00:12:38,023
Autonome robotwapens

238
00:12:38,023 --> 00:12:40,074
zouden te veel macht concentreren

239
00:12:40,074 --> 00:12:42,556
in te weinig onzichtbare handen.

240
00:12:42,556 --> 00:12:45,811
Dat zou de representatieve democratie ondermijnen.

241
00:12:45,811 --> 00:12:48,772
Laten we ervoor zorgen dat,
tenminste voor democratieën,

242
00:12:48,772 --> 00:12:51,376
killerrobots fictie blijven.

243
00:12:51,376 --> 00:12:52,486
Dankuwel.

244
00:12:52,486 --> 00:12:57,051
(Applaus)

245
00:12:57,051 --> 00:13:01,667
Dankuwel. (Applaus)