0:00:00.691,0:00:03.849
Ik schrijf sciencefictionthrillers.

0:00:03.849,0:00:06.042
Als ik 'killerrobots' zeg,

0:00:06.042,0:00:08.403
dan denk je waarschijnlijk zoiets.

0:00:08.403,0:00:10.958
Maar ik ga het hier niet over fictie hebben.

0:00:10.958,0:00:13.906
Ik ga het hebben over echte killerrobots,

0:00:13.906,0:00:17.028
autonome gevechtsdrones.

0:00:17.028,0:00:20.655
Ik heb het niet over Predators of Reapers,

0:00:20.655,0:00:23.915
waar een mens beslist welk doel ze kiezen.

0:00:23.915,0:00:27.044
Ik heb het over volledig autonome robotwapens

0:00:27.044,0:00:29.698
die dodelijke beslissingen nemen over mensen,

0:00:29.698,0:00:32.115
helemaal alleen.

0:00:32.115,0:00:36.115
Daar bestaat een technische term voor:[br]dodelijke autonomie.

0:00:36.115,0:00:38.971
Dodelijk autonome killerrobots

0:00:38.971,0:00:42.040
hebben vele vormen:[br]ze vliegen, rijden,

0:00:42.040,0:00:44.786
of liggen gewoon op de loer.

0:00:44.786,0:00:47.895
Ze worden heel snel een realiteit.

0:00:47.895,0:00:50.379
Momenteel zijn er twee automatische[br]sluipschuttersstations

0:00:50.379,0:00:54.516
in de gedemilitariseerde zone[br]tussen Noord- en Zuid-Korea.

0:00:54.516,0:00:56.687
Beide machines kunnen automatisch

0:00:56.687,0:01:00.211
een menselijk doelwit identificeren en beschieten,

0:01:00.211,0:01:04.535
de linkse op een afstand[br]van meer dan een kilometer.

0:01:04.535,0:01:08.124
In beide gevallen komt er nog een mens tussen

0:01:08.124,0:01:10.496
om de beslissing tot schieten om te doden te nemen,

0:01:10.496,0:01:15.909
maar het is geen technologische vereiste.[br]Het is een keuze.

0:01:15.909,0:01:19.002
Op die keuze wil ik me richten,

0:01:19.002,0:01:21.643
want als we dodelijke beslissingen laten verhuizen

0:01:21.643,0:01:24.752
van de mens naar software,

0:01:24.752,0:01:28.228
is het risico niet alleen dat we [br]het menselijke uit de oorlog verwijderen,

0:01:28.228,0:01:31.754
maar ook dat we ons sociale landschap[br]volledig wijzigen,

0:01:31.754,0:01:33.978
ver van het slagveld.

0:01:33.978,0:01:38.487
Want de manier waarop mensen[br]conflicten oplossen,

0:01:38.487,0:01:40.220
bepaalt ons sociale landschap.

0:01:40.220,0:01:42.853
Dat is in de geschiedenis altijd zo geweest.

0:01:42.853,0:01:45.514
Er waren bijvoorbeeld moderne wapensystemen

0:01:45.514,0:01:47.593
in 1400 voor Christus.

0:01:47.593,0:01:50.737
Ze waren duur om te bouwen[br]en te onderhouden,

0:01:50.737,0:01:53.977
maar je hield er het gepeupel[br]mee onder de duim

0:01:53.977,0:01:57.866
en de verdeling van de politieke macht[br]in de feodale maatschappij weerspiegelde dat.

0:01:57.866,0:02:00.553
De macht was geconcentreerd aan de top.

0:02:00.553,0:02:04.081
Wat veranderde er?[br]Technologische innovatie.

0:02:04.081,0:02:05.952
Buskruit, het kanon.

0:02:05.952,0:02:09.769
Al snel waren harnas en kasteel verouderd.

0:02:09.769,0:02:12.302
Het maakte minder uit[br]wie je opstelde op het slagveld

0:02:12.302,0:02:16.081
dan hoeveel mensen[br]je opstelde op het slagveld.

0:02:16.081,0:02:19.719
Naarmate de legers groter werden,[br]ontstond de natiestaat

0:02:19.719,0:02:23.399
als politieke en logistieke[br]defensievereiste.

0:02:23.399,0:02:25.775
Toen de leiders meer op het gepeupel [br]moesten rekenen, gingen ze de macht delen.

0:02:25.775,0:02:27.608
Toen de leiders meer op het gepeupel [br]moesten rekenen, gingen ze de macht delen.

0:02:27.608,0:02:30.207
De representatieve overheid kreeg vorm.

0:02:30.207,0:02:33.495
De middelen die we gebruiken[br]om conflicten op te lossen,

0:02:33.495,0:02:36.799
geven ons sociale landschap vorm.

0:02:36.799,0:02:40.863
Autonome robotwapens zijn zo'n middel,

0:02:40.863,0:02:46.031
behalve dat ze, doordat heel weinig mensen[br]ten oorlog moeten trekken,

0:02:46.031,0:02:50.871
het risico inhouden dat de macht weer[br]in weinig handen wordt geconcentreerd,

0:02:50.871,0:02:57.386
waardoor een 5 eeuwen lange trend[br]richting democratie wordt omgekeerd.

0:02:57.386,0:02:59.143
Als we dat weten,

0:02:59.143,0:03:03.495
kunnen we beslissende stappen zetten[br]voor het behoud van democratische instellingen

0:03:03.495,0:03:07.474
om te doen wat mensen best kunnen:[br]zich aanpassen.

0:03:07.474,0:03:09.479
Maar de tijd dringt.

0:03:09.479,0:03:12.330
70 landen ontwikkelen hun eigen [br]telegeleide gevechtsdrones,

0:03:12.330,0:03:14.487
70 landen ontwikkelen hun eigen [br]telegeleide gevechtsdrones,

0:03:14.487,0:03:17.080
Je zal zien dat telegeleide gevechtsdrones

0:03:17.080,0:03:21.552
de voorlopers zijn van autonome[br]robotwapens.

0:03:21.552,0:03:24.319
Zodra je telegeleide pilootdrones hebt opgesteld,

0:03:24.319,0:03:27.703
zijn er drie krachtige factoren[br]die de beslissing wegduwen

0:03:27.703,0:03:32.303
van de mens naar het wapensysteem zelf.

0:03:32.303,0:03:37.562
De eerste is de overvloed aan beelden[br]die drones produceren.

0:03:37.562,0:03:41.415
In 2004 produceerde de dronevloot van de VS

0:03:41.415,0:03:46.727
samen 71 uur bewakingsfilm voor analyse.

0:03:46.727,0:03:51.226
Tegen 2011 was dat al 300.000 uur geworden,

0:03:51.226,0:03:54.375
meer dan de mens kan nakijken,

0:03:54.375,0:03:58.039
maar zelfs dat aantal[br]zal nog drastisch stijgen.

0:03:58.039,0:04:00.614
De defensieprogramma's 'Gorgonenblik' en 'Argus'[br]zetten tot 65 onafhankelijke camera-ogen

0:04:00.614,0:04:03.778
De defensieprogramma's 'Gorgonenblik' en 'Argus'[br]zetten tot 65 onafhankelijke camera-ogen

0:04:03.778,0:04:05.816
op elk droneplatform.

0:04:05.816,0:04:09.119
Dat zou veel meer zijn[br]dan de mens kan nakijken.

0:04:09.119,0:04:11.279
Dat betekent dat visuele inlichtingensoftware

0:04:11.279,0:04:15.327
ze zal moeten doorzoeken [br]naar interessante dingen.

0:04:15.327,0:04:16.675
Dat betekent dat binnenkort

0:04:16.675,0:04:19.422
de drones de mensen zullen zeggen[br]waar ze naar moeten kijken,

0:04:19.422,0:04:21.919
niet omgekeerd.

0:04:21.919,0:04:24.392
Maar er is een tweede krachtige stimulans

0:04:24.392,0:04:27.775
om de beslissing van de mens[br]naar de machine te verplaatsen:

0:04:27.775,0:04:30.647
elektromagnetische stoorzenders,

0:04:30.647,0:04:32.883
die de verbinding tussen de drone

0:04:32.883,0:04:35.697
en zijn bestuurder verbreken.

0:04:35.697,0:04:38.315
We zagen er een voorbeeld van in 2011

0:04:38.315,0:04:41.271
toen een Amerikaanse RQ-170 Sentinel

0:04:41.271,0:04:45.578
in de war raakte boven Iran[br]door een moedwillige verstoring van zijn gps.

0:04:45.578,0:04:50.692
Elke telegeleide drone is kwetsbaar[br]voor dat soort aanvallen.

0:04:50.692,0:04:52.744
Dat betekent dat drones

0:04:52.744,0:04:56.364
meer beslissingen zullen moeten nemen.

0:04:56.364,0:04:59.407
Ze zullen het doel van hun missie kennen

0:04:59.407,0:05:04.252
en reageren op nieuwe omstandigheden[br]zonder menselijke hulp.

0:05:04.252,0:05:06.833
Ze zullen externe radiosignalen negeren

0:05:06.833,0:05:09.163
en er zelf niet veel uitzenden.

0:05:09.163,0:05:11.169
Dat brengt ons tot de derde

0:05:11.169,0:05:15.031
en krachtigste stimulans[br]om beslissingen te verplaatsen

0:05:15.031,0:05:18.373
van de mens naar de wapens:

0:05:18.373,0:05:21.666
plausibele ontkenbaarheid.

0:05:21.666,0:05:24.553
We leven in een globale economie.

0:05:24.553,0:05:28.887
Er is hoogtechnologische productie[br]op de meeste continenten.

0:05:28.887,0:05:31.801
Cyberspionage moffelt[br]geavanceerde ontwerpen weg

0:05:31.801,0:05:33.687
in onbekende onderdelen.

0:05:33.687,0:05:35.701
In die omgeving is het heel waarschijnlijk

0:05:35.701,0:05:40.435
dat succesvolle droneontwerpen[br]zullen worden gemaakt in fabrieken van onderaannemers

0:05:40.435,0:05:42.605
en vandaar richting grijze markt gaan.

0:05:42.605,0:05:45.065
In die situatie zal het,[br]als je het wrak

0:05:45.065,0:05:48.025
van een zelfmoorddrone doorzoekt,[br]heel moeilijk te zeggen zijn

0:05:48.025,0:05:52.425
wie dat wapen heeft gestuurd.

0:05:52.425,0:05:55.225
Daardoor wordt de mogelijkheid[br]van anoniem oorlogvoeren heel reëel.

0:05:55.225,0:05:58.160
Daardoor wordt de mogelijkheid[br]van anoniem oorlogvoeren heel reëel.

0:05:58.160,0:06:00.774
Dat zou het geopolitieke evenwicht[br]op zijn kop kunnen zetten,

0:06:00.774,0:06:04.265
waardoor het voor een natie moeilijk wordt[br]om zijn vuurkracht in te zetten

0:06:04.265,0:06:07.113
tegen een aanvaller.[br]Dat zou de balans kunnen doen overhellen

0:06:07.113,0:06:10.877
van verdediging naar aanval[br]in de 21e eeuw.

0:06:10.877,0:06:14.001
Het zou van militaire actie[br]een haalbare kaart maken,

0:06:14.001,0:06:16.289
niet alleen voor kleine landen,

0:06:16.289,0:06:18.834
maar voor criminele organisaties,[br]privébedrijven,

0:06:18.834,0:06:21.313
zelfs machtige individuen.

0:06:21.313,0:06:24.641
Het zou een landschap[br]van rivaliserende krijgsheren creëren

0:06:24.641,0:06:28.321
die de rechtsstaat en de burgerlijke [br]maatschappij ondermijnen.

0:06:28.321,0:06:31.937
Als verantwoordelijkheid en transparantie

0:06:31.937,0:06:34.321
twee hoekstenen zijn van de representatieve democratie,

0:06:34.321,0:06:38.641
dan kunnen autonome robotwapens[br]ze beide ondermijnen.

0:06:38.641,0:06:40.187
Misschien denk je

0:06:40.187,0:06:42.433
dat burgers van hoogtechnologische naties

0:06:42.433,0:06:45.136
voordeel hebben bij elke robotoorlog,

0:06:45.136,0:06:48.769
dat burgers van die naties[br]minder kwetsbaar zouden zijn,

0:06:48.769,0:06:53.057
vooral tegen ontwikkelingslanden.

0:06:53.057,0:06:56.581
Volgens mij is het net andersom.

0:06:56.581,0:06:58.832
Ik denk dat burgers [br]van hoogtechnologische maatschappijen

0:06:58.832,0:07:02.561
kwetsbaarder zijn voor robotwapens.

0:07:02.561,0:07:07.026
Dat ligt aan één enkel ding: gegevens.

0:07:07.026,0:07:10.507
Gegevens zijn de motor van hightech-maatschappijen.

0:07:10.507,0:07:13.697
Gsm-geolocatie, metagegevens van telecommunicatie,

0:07:13.697,0:07:17.169
sociale media, email, sms, financiële transactiegegevens,

0:07:17.169,0:07:20.701
transportgegegeven, een overvloed [br]aan realtime-gegevens

0:07:20.701,0:07:24.074
over de bewegingen en sociale interactie van mensen.

0:07:24.074,0:07:27.849
Kortom, we zijn zichtbaarder voor machines

0:07:27.849,0:07:30.091
dan wie dan ook in de geschiedenis.

0:07:30.091,0:07:35.707
Dat is perfect voor een autonoom wapen[br]dat een doel in het vizier moet krijgen.

0:07:35.707,0:07:37.445
Wat je hier ziet,

0:07:37.445,0:07:40.691
is een linkanalyse van een sociale groep.

0:07:40.691,0:07:44.325
Links wijzen op sociale verbondenheid[br]tussen individuen.

0:07:44.325,0:07:47.205
Dit soort kaarten kan automatisch gemaakt worden

0:07:47.205,0:07:51.920
op basis van het spoor van gegevens[br]dat moderne mensen achterlaten.

0:07:51.920,0:07:54.397
Ze worden meestal gebruikt [br]om goederen en diensten te verkopen

0:07:54.397,0:07:58.813
aan doelgroepen, maar het is [br]een tweesnijdende technologie,

0:07:58.813,0:08:02.173
als 'doelen' in een andere context worden gebruikt.

0:08:02.173,0:08:04.733
Je ziet dat bepaalde individuen gemarkeerd zijn.

0:08:04.733,0:08:08.013
Dit zijn de knooppunten van de sociale netwerken:

0:08:08.013,0:08:11.603
organisatoren, opiniemakers, leiders.

0:08:11.603,0:08:14.285
Deze mensen kan je automatisch identificeren

0:08:14.285,0:08:16.667
op basis van hun communicatiepatroon.

0:08:16.667,0:08:18.813
Als marketeer kan je je op hen richten

0:08:18.813,0:08:21.356
met productstalen, als je je merk wil verspreiden

0:08:21.356,0:08:24.185
in hun sociale groep.

0:08:24.185,0:08:26.138
Maar als je een repressieve overheid bent,

0:08:26.138,0:08:30.948
op zoek naar politieke vijanden,[br]kan je ze ook verwijderen,

0:08:30.948,0:08:33.708
uitschakelen, hun sociale groep verstoren.

0:08:33.708,0:08:36.877
De achterblijvers verliezen sociale samenhang

0:08:36.877,0:08:39.498
en organisatie.

0:08:39.498,0:08:42.822
In een wereld van goedkope, uitdijende robotwapens,

0:08:42.822,0:08:45.457
zouden grenzen heel weinig bescherming bieden

0:08:45.457,0:08:47.403
aan de critici van verre overheden

0:08:47.403,0:08:51.049
of transnationale criminele organisaties.

0:08:51.049,0:08:54.542
Volksbewegingen die op verandering aansturen,

0:08:54.542,0:08:58.151
zouden vroeg ontdekt kunnen worden[br]en hun leiders uitgeschakeld

0:08:58.151,0:09:01.062
nog voor hun ideeën kritische massa bereiken.

0:09:01.062,0:09:03.653
Ideeën die kritische massa bereiken,

0:09:03.653,0:09:07.589
daar draait elk politiek activisme om in een democratie.

0:09:07.589,0:09:11.586
Anonieme dodelijke wapens[br]kunnen van dodelijke actie

0:09:11.586,0:09:15.368
een gemakkelijke keuze maken[br]voor allerlei concurrerende belangen.

0:09:15.368,0:09:19.102
Dat zou de vrije meningsuiting belemmeren

0:09:19.102,0:09:24.410
en politieke actie van het volk,[br]het hart van de democratie.

0:09:24.410,0:09:27.324
Daarom hebben we nood aan[br]een internationaal verdrag

0:09:27.324,0:09:30.864
over robotwapens, en meer bepaald[br]een wereldwijd verbod

0:09:30.864,0:09:34.772
op het ontwikkelen en inzetten[br]van killerrobots.

0:09:34.772,0:09:38.026
We hebben al internationale verdragen

0:09:38.026,0:09:41.412
over nucleaire en biologische wapens.[br]Die zijn niet perfect,

0:09:41.412,0:09:43.700
maar ze hebben wel grotendeels gewerkt.

0:09:43.700,0:09:47.468
Robotwapens zouden even gevaarlijk[br]kunnen zijn,

0:09:47.468,0:09:50.756
want ze zullen bijna zeker worden ingezet

0:09:50.756,0:09:55.783
en ze zouden onze democratische instellingen ondermijnen.

0:09:55.783,0:09:59.251
In november 2012 verplichtte [br]het Ministerie van Defensie van de VS

0:09:59.251,0:10:01.709
In november 2012 verplichtte [br]het Ministerie van Defensie van de VS

0:10:01.709,0:10:06.228
de aanwezigheid van een mens[br]bij alle beslissingen over leven en dood.

0:10:06.228,0:10:11.004
Daardoor werden automatische wapens[br]tijdelijk effectief verboden in het leger van de VS,

0:10:11.004,0:10:14.757
maar die richtlijn moet permanent worden.

0:10:14.757,0:10:19.133
Dat zou de voorbereiding kunnen zijn[br]van wereldwijde actie.

0:10:19.133,0:10:22.978
We hebben een internationaal wettelijk kader nodig

0:10:22.978,0:10:25.116
voor robotwapens,

0:10:25.116,0:10:28.044
en wel meteen, voor er een verwoestende aanval is

0:10:28.044,0:10:31.196
of een terroristische aanslag waardoor landen

0:10:31.196,0:10:33.120
snel-snel deze wapens inzetten[br]zonder over de gevolgen na te denken.

0:10:33.120,0:10:36.891
snel-snel deze wapens inzetten[br]zonder over de gevolgen na te denken.

0:10:36.891,0:10:39.872
Automatische robotwapens concentreren teveel macht

0:10:39.872,0:10:46.155
in te weinig handen, en ze zouden de democratie zelf[br]in gevaar brengen.

0:10:46.155,0:10:48.841
Begrijp me niet verkeerd,[br]ik denk dat er massa's

0:10:48.841,0:10:51.459
toepassingen zijn voor onbewapende civiele drones:

0:10:51.459,0:10:55.398
milieubewaking, reddingsoperaties, logistiek.

0:10:55.398,0:10:58.224
Als we een internationaal verdrag op robotwapens hebben,

0:10:58.224,0:11:01.811
hoe kunnen we dan de voordelen van autonome drones

0:11:01.811,0:11:04.459
en voertuigen combineren met bescherming

0:11:04.459,0:11:08.439
tegen illegale robotwapens?

0:11:08.439,0:11:13.180
Ik denk dat het geheim transparantie zal zijn.

0:11:13.180,0:11:16.193
Geen enkele robot mag zich aan privacy verwachten

0:11:16.193,0:11:19.644
op een openbare plaats.

0:11:19.644,0:11:24.692
(Applaus)

0:11:24.692,0:11:26.737
In elke robot en drone zou een cryptografisch ondertekend[br]identiteitsbewijs moeten gegraveerd zijn

0:11:26.737,0:11:29.620
In elke robot en drone zou een cryptografisch ondertekend[br]identiteitsbewijs moeten gegraveerd zijn

0:11:29.620,0:11:32.543
dat kan worden gebruikt om zijn beweging[br]door publieke ruimtes te volgen.

0:11:32.543,0:11:35.924
We hebben nummerplaten op auto's[br]en staartnummers op vliegtuigen.

0:11:35.924,0:11:37.765
Dit is niet anders.

0:11:37.765,0:11:39.777
Elke burger zou een app moeten kunnen downloaden

0:11:39.777,0:11:42.902
die de populatie van drones en autonome voertuigen toont

0:11:42.902,0:11:45.331
die zich door de publieke ruimte om hem heen beweegt,

0:11:45.331,0:11:48.064
nu meteen en in het verleden.

0:11:48.064,0:11:51.612
Burgerleiders zouden sensoren [br]en burgerlijke drones moeten inzetten

0:11:51.612,0:11:53.956
om schurkendrones te detecteren.

0:11:53.956,0:11:57.132
In plaats van eigen killerdrones te sturen[br]om ze af te maken,

0:11:57.132,0:12:00.124
zouden ze mensen [br]op hun aanwezigheid moeten wijzen.

0:12:00.124,0:12:02.730
In bepaalde strenge veiligheidszones

0:12:02.730,0:12:04.639
zouden burgerlijke drones ze kunnen strikken

0:12:04.639,0:12:07.480
en wegslepen naar een ontmijningsinstallatie.

0:12:07.480,0:12:10.507
Maar dit is veeleer een immuunsysteem

0:12:10.507,0:12:11.828
dan een wapensysteem.

0:12:11.828,0:12:14.420
Het zou ons toelaten om

0:12:14.420,0:12:16.452
autonome voertuigen en drones te gebruiken

0:12:16.452,0:12:20.747
zonder onze open, burgerlijke maatschappij op te geven.

0:12:20.747,0:12:23.746
We moeten de inzet en ontwikkeling

0:12:23.746,0:12:25.608
van killerrobots verbieden.

0:12:25.608,0:12:30.458
Laten we niet zwichten voor de verleiding[br]om oorlog te automatiseren.

0:12:30.458,0:12:33.176
Autocratische regeringen[br]en criminele organisaties

0:12:33.176,0:12:36.132
zullen dat zeker doen.[br]Laten we ze niet volgen.

0:12:36.132,0:12:38.023
Autonome robotwapens

0:12:38.023,0:12:40.074
zouden te veel macht concentreren

0:12:40.074,0:12:42.556
in te weinig onzichtbare handen.

0:12:42.556,0:12:45.811
Dat zou de representatieve democratie ondermijnen.

0:12:45.811,0:12:48.772
Laten we ervoor zorgen dat,[br]tenminste voor democratieën,

0:12:48.772,0:12:51.376
killerrobots fictie blijven.

0:12:51.376,0:12:52.486
Dankuwel.

0:12:52.486,0:12:57.051
(Applaus)

0:12:57.051,0:13:01.667
Dankuwel. (Applaus)