Daniel Suarez: Robots mogen niet beslissen over leven en dood

Als schrijver verzint Daniel Suarez dystopische toekomstverhalen. Maar op het TED-podium doorloopt hij met ons een echt scenario waar we allemaal meer over moeten weten: het risico op autonome oorlogsrobots. Geavanceerde drones, automatische wapens en spionagetools op basis van artificiële intelligentie zouden volgens hem de mens de beslissing om oorlog te voeren, uit handen kunnen nemen.

Ik schrijf sciencefictionthrillers.

Als ik 'killerrobots' zeg,

dan denk je waarschijnlijk zoiets.

Maar ik ga het hier niet over fictie hebben.

Ik ga het hebben over echte killerrobots,

autonome gevechtsdrones.

Ik heb het niet over Predators of Reapers,

waar een mens beslist welk doel ze kiezen.

Ik heb het over volledig autonome robotwapens

die dodelijke beslissingen nemen over mensen,

helemaal alleen.

Daar bestaat een technische term voor:
dodelijke autonomie.

Dodelijk autonome killerrobots

hebben vele vormen:
ze vliegen, rijden,

of liggen gewoon op de loer.

Ze worden heel snel een realiteit.

Momenteel zijn er twee automatische
sluipschuttersstations

in de gedemilitariseerde zone
tussen Noord- en Zuid-Korea.

Beide machines kunnen automatisch

een menselijk doelwit identificeren en beschieten,

de linkse op een afstand
van meer dan een kilometer.

In beide gevallen komt er nog een mens tussen

om de beslissing tot schieten om te doden te nemen,

maar het is geen technologische vereiste.
Het is een keuze.

Op die keuze wil ik me richten,

want als we dodelijke beslissingen laten verhuizen

van de mens naar software,

is het risico niet alleen dat we
het menselijke uit de oorlog verwijderen,

maar ook dat we ons sociale landschap
volledig wijzigen,

ver van het slagveld.

Want de manier waarop mensen
conflicten oplossen,

bepaalt ons sociale landschap.

Dat is in de geschiedenis altijd zo geweest.

Er waren bijvoorbeeld moderne wapensystemen

in 1400 voor Christus.

Ze waren duur om te bouwen
en te onderhouden,

maar je hield er het gepeupel
mee onder de duim

en de verdeling van de politieke macht
in de feodale maatschappij weerspiegelde dat.

De macht was geconcentreerd aan de top.

Wat veranderde er?
Technologische innovatie.

Buskruit, het kanon.

Al snel waren harnas en kasteel verouderd.

Het maakte minder uit
wie je opstelde op het slagveld

dan hoeveel mensen
je opstelde op het slagveld.

Naarmate de legers groter werden,
ontstond de natiestaat

als politieke en logistieke
defensievereiste.

Toen de leiders meer op het gepeupel
moesten rekenen, gingen ze de macht delen.

Toen de leiders meer op het gepeupel
moesten rekenen, gingen ze de macht delen.

De representatieve overheid kreeg vorm.

De middelen die we gebruiken
om conflicten op te lossen,

geven ons sociale landschap vorm.

Autonome robotwapens zijn zo'n middel,

behalve dat ze, doordat heel weinig mensen
ten oorlog moeten trekken,

het risico inhouden dat de macht weer
in weinig handen wordt geconcentreerd,

waardoor een 5 eeuwen lange trend
richting democratie wordt omgekeerd.

Als we dat weten,

kunnen we beslissende stappen zetten
voor het behoud van democratische instellingen

om te doen wat mensen best kunnen:
zich aanpassen.

Maar de tijd dringt.

70 landen ontwikkelen hun eigen
telegeleide gevechtsdrones,

70 landen ontwikkelen hun eigen
telegeleide gevechtsdrones,

Je zal zien dat telegeleide gevechtsdrones

de voorlopers zijn van autonome
robotwapens.

Zodra je telegeleide pilootdrones hebt opgesteld,

zijn er drie krachtige factoren
die de beslissing wegduwen

van de mens naar het wapensysteem zelf.

De eerste is de overvloed aan beelden
die drones produceren.

In 2004 produceerde de dronevloot van de VS

samen 71 uur bewakingsfilm voor analyse.

Tegen 2011 was dat al 300.000 uur geworden,

meer dan de mens kan nakijken,

maar zelfs dat aantal
zal nog drastisch stijgen.

De defensieprogramma's 'Gorgonenblik' en 'Argus'
zetten tot 65 onafhankelijke camera-ogen

De defensieprogramma's 'Gorgonenblik' en 'Argus'
zetten tot 65 onafhankelijke camera-ogen

op elk droneplatform.

Dat zou veel meer zijn
dan de mens kan nakijken.

Dat betekent dat visuele inlichtingensoftware

ze zal moeten doorzoeken
naar interessante dingen.

Dat betekent dat binnenkort

de drones de mensen zullen zeggen
waar ze naar moeten kijken,

niet omgekeerd.

Maar er is een tweede krachtige stimulans

om de beslissing van de mens
naar de machine te verplaatsen:

elektromagnetische stoorzenders,

die de verbinding tussen de drone

en zijn bestuurder verbreken.

We zagen er een voorbeeld van in 2011

toen een Amerikaanse RQ-170 Sentinel

in de war raakte boven Iran
door een moedwillige verstoring van zijn gps.

Elke telegeleide drone is kwetsbaar
voor dat soort aanvallen.

Dat betekent dat drones

meer beslissingen zullen moeten nemen.

Ze zullen het doel van hun missie kennen

en reageren op nieuwe omstandigheden
zonder menselijke hulp.

Ze zullen externe radiosignalen negeren

en er zelf niet veel uitzenden.

Dat brengt ons tot de derde

en krachtigste stimulans
om beslissingen te verplaatsen

van de mens naar de wapens:

plausibele ontkenbaarheid.

We leven in een globale economie.

Er is hoogtechnologische productie
op de meeste continenten.

Cyberspionage moffelt
geavanceerde ontwerpen weg

in onbekende onderdelen.

In die omgeving is het heel waarschijnlijk

dat succesvolle droneontwerpen
zullen worden gemaakt in fabrieken van onderaannemers

en vandaar richting grijze markt gaan.

In die situatie zal het,
als je het wrak

van een zelfmoorddrone doorzoekt,
heel moeilijk te zeggen zijn

wie dat wapen heeft gestuurd.

Daardoor wordt de mogelijkheid
van anoniem oorlogvoeren heel reëel.

Daardoor wordt de mogelijkheid
van anoniem oorlogvoeren heel reëel.

Dat zou het geopolitieke evenwicht
op zijn kop kunnen zetten,

waardoor het voor een natie moeilijk wordt
om zijn vuurkracht in te zetten

tegen een aanvaller.
Dat zou de balans kunnen doen overhellen

van verdediging naar aanval
in de 21e eeuw.

Het zou van militaire actie
een haalbare kaart maken,

niet alleen voor kleine landen,

maar voor criminele organisaties,
privébedrijven,

zelfs machtige individuen.

Het zou een landschap
van rivaliserende krijgsheren creëren

die de rechtsstaat en de burgerlijke
maatschappij ondermijnen.

Als verantwoordelijkheid en transparantie

twee hoekstenen zijn van de representatieve democratie,

dan kunnen autonome robotwapens
ze beide ondermijnen.

Misschien denk je

dat burgers van hoogtechnologische naties

voordeel hebben bij elke robotoorlog,

dat burgers van die naties
minder kwetsbaar zouden zijn,

vooral tegen ontwikkelingslanden.

Volgens mij is het net andersom.

Ik denk dat burgers
van hoogtechnologische maatschappijen

kwetsbaarder zijn voor robotwapens.

Dat ligt aan één enkel ding: gegevens.

Gegevens zijn de motor van hightech-maatschappijen.

Gsm-geolocatie, metagegevens van telecommunicatie,

sociale media, email, sms, financiële transactiegegevens,

transportgegegeven, een overvloed
aan realtime-gegevens

over de bewegingen en sociale interactie van mensen.

Kortom, we zijn zichtbaarder voor machines

dan wie dan ook in de geschiedenis.

Dat is perfect voor een autonoom wapen
dat een doel in het vizier moet krijgen.

Wat je hier ziet,

is een linkanalyse van een sociale groep.

Links wijzen op sociale verbondenheid
tussen individuen.

Dit soort kaarten kan automatisch gemaakt worden

op basis van het spoor van gegevens
dat moderne mensen achterlaten.

Ze worden meestal gebruikt
om goederen en diensten te verkopen

aan doelgroepen, maar het is
een tweesnijdende technologie,

als 'doelen' in een andere context worden gebruikt.

Je ziet dat bepaalde individuen gemarkeerd zijn.

Dit zijn de knooppunten van de sociale netwerken:

organisatoren, opiniemakers, leiders.

Deze mensen kan je automatisch identificeren

op basis van hun communicatiepatroon.

Als marketeer kan je je op hen richten

met productstalen, als je je merk wil verspreiden

in hun sociale groep.

Maar als je een repressieve overheid bent,

op zoek naar politieke vijanden,
kan je ze ook verwijderen,

uitschakelen, hun sociale groep verstoren.

De achterblijvers verliezen sociale samenhang

en organisatie.

In een wereld van goedkope, uitdijende robotwapens,

zouden grenzen heel weinig bescherming bieden

aan de critici van verre overheden

of transnationale criminele organisaties.

Volksbewegingen die op verandering aansturen,

zouden vroeg ontdekt kunnen worden
en hun leiders uitgeschakeld

nog voor hun ideeën kritische massa bereiken.

Ideeën die kritische massa bereiken,

daar draait elk politiek activisme om in een democratie.

Anonieme dodelijke wapens
kunnen van dodelijke actie

een gemakkelijke keuze maken
voor allerlei concurrerende belangen.

Dat zou de vrije meningsuiting belemmeren

en politieke actie van het volk,
het hart van de democratie.

Daarom hebben we nood aan
een internationaal verdrag

over robotwapens, en meer bepaald
een wereldwijd verbod

op het ontwikkelen en inzetten
van killerrobots.

We hebben al internationale verdragen

over nucleaire en biologische wapens.
Die zijn niet perfect,

maar ze hebben wel grotendeels gewerkt.

Robotwapens zouden even gevaarlijk
kunnen zijn,

want ze zullen bijna zeker worden ingezet

en ze zouden onze democratische instellingen ondermijnen.

In november 2012 verplichtte
het Ministerie van Defensie van de VS

In november 2012 verplichtte
het Ministerie van Defensie van de VS

de aanwezigheid van een mens
bij alle beslissingen over leven en dood.

Daardoor werden automatische wapens
tijdelijk effectief verboden in het leger van de VS,

maar die richtlijn moet permanent worden.

Dat zou de voorbereiding kunnen zijn
van wereldwijde actie.

We hebben een internationaal wettelijk kader nodig

voor robotwapens,

en wel meteen, voor er een verwoestende aanval is

of een terroristische aanslag waardoor landen

snel-snel deze wapens inzetten
zonder over de gevolgen na te denken.

snel-snel deze wapens inzetten
zonder over de gevolgen na te denken.

Automatische robotwapens concentreren teveel macht

in te weinig handen, en ze zouden de democratie zelf
in gevaar brengen.

Begrijp me niet verkeerd,
ik denk dat er massa's

toepassingen zijn voor onbewapende civiele drones:

milieubewaking, reddingsoperaties, logistiek.

Als we een internationaal verdrag op robotwapens hebben,

hoe kunnen we dan de voordelen van autonome drones

en voertuigen combineren met bescherming

tegen illegale robotwapens?

Ik denk dat het geheim transparantie zal zijn.

Geen enkele robot mag zich aan privacy verwachten

op een openbare plaats.

(Applaus)

In elke robot en drone zou een cryptografisch ondertekend
identiteitsbewijs moeten gegraveerd zijn

In elke robot en drone zou een cryptografisch ondertekend
identiteitsbewijs moeten gegraveerd zijn

dat kan worden gebruikt om zijn beweging
door publieke ruimtes te volgen.

We hebben nummerplaten op auto's
en staartnummers op vliegtuigen.

Dit is niet anders.

Elke burger zou een app moeten kunnen downloaden

die de populatie van drones en autonome voertuigen toont

die zich door de publieke ruimte om hem heen beweegt,

nu meteen en in het verleden.

Burgerleiders zouden sensoren
en burgerlijke drones moeten inzetten

om schurkendrones te detecteren.

In plaats van eigen killerdrones te sturen
om ze af te maken,

zouden ze mensen
op hun aanwezigheid moeten wijzen.

In bepaalde strenge veiligheidszones

zouden burgerlijke drones ze kunnen strikken

en wegslepen naar een ontmijningsinstallatie.

Maar dit is veeleer een immuunsysteem

dan een wapensysteem.

Het zou ons toelaten om

autonome voertuigen en drones te gebruiken

zonder onze open, burgerlijke maatschappij op te geven.

We moeten de inzet en ontwikkeling

van killerrobots verbieden.

Laten we niet zwichten voor de verleiding
om oorlog te automatiseren.

Autocratische regeringen
en criminele organisaties

zullen dat zeker doen.
Laten we ze niet volgen.

Autonome robotwapens

zouden te veel macht concentreren

in te weinig onzichtbare handen.

Dat zou de representatieve democratie ondermijnen.

Laten we ervoor zorgen dat,
tenminste voor democratieën,

killerrobots fictie blijven.

Dankuwel.

(Applaus)

Dankuwel. (Applaus)