Daniel Suarez : La décision de tuer ne devrait pas appartenir à un robot

En tant que romancier, Daniel Suarez raconte des histoires dystopiques sur le futur. Mais sur la scène de TEDGlobal, il nous parle d'une situation concrète sur laquelle nous devons savoir plus de choses : la montée d'armes de guerre robotisées autonomes. Les drones avancés, les armes automatisées et les outils de récupération d'informations gérés par une Intelligence Artificielle, pourraient, selon lui, enlever aux hommes le choix de faire la guerre.

J'écris des thrillers de science fiction,

donc si je dis "robots tueurs",

vous pensez sûrement à quelque chose de ce style.

Mais je ne suis pas vraiment là pour parler fiction.

Je suis ici pour parler de robots tueurs bien réels,

des drones de combat autonomes.

Là, je ne me réfère pas aux drones Predator et Reaper,

où il y a un humain aux commandes.

Je parle d'armes robotisées pleinement autonomes

qui prennent des décisions létales envers des êtres humains

de leur propre chef.

A vrai dire, il y a un terme technique pour cela : autonomie létale.

Ainsi, les robots tueurs autonomes

pourraient prendre de multiples formes,
aérienne, mobile,

ou juste statique.

Et très rapidement, ils deviennent vraiment une réalité.

Voici deux sentinelles automatiques de tireur d'élite

actuellement déployée dans la Zone Démilitarisée
entre les Corée du Nord et du Sud.

Ces deux machines sont capables de manière automatisée

d'identifier une cible humaine et d'y ouvrir le feu,

la machine à gauche possède
une portée supérieur à un kilomètre.

Maintenant, dans ces deux cas, il y a toujours un humain

dans la chaîne de commandement
pour faire le létal choix de faire feu,

Mais ce n'est pas une contrainte technologique.
C'est un choix.

Et c'est sur ce choix que je veux me concentrer,

car en même temps que nous transférons,
de l'homme vers le programme,

la prise de décisions mortelles,

nous ne risquons pas seulement
d'enlever l'humanité à la guerre,

mais aussi de modifier
l'environnement social dans sa totalité,

loin du champ de bataille.

Ceci parce que la manière des humains
de résoudre des conflits

façonne notre environnement social.

Et à travers l'Histoire, cela a toujours été le cas.

Par exemple, il y avait ces systèmes d'armement de pointe

en 1400 avant J.-C. .

Ils sont tous deux très chers à construire et à entretenir,

mais avec eux vous pouviez dominer la population,

et l'organisation du pouvoir politique
dans la société féodale reflète cela.

Le pouvoir était concentré au sommet.

Et qu'est-ce qui a changé ? L'innovation technologique.

Poudre noire, canon.

Et très vite, les armures et les châteaux
sont devenus obsolètes,

et il était moins important de savoir
qui vous ameniez sur le champ de bataille

que le nombre de personnes que vous ameniez.

Et alors que les armées grossissaient en effectif,
l'Etat-Nation naissait

en tant que besoin politique et logistique de défense.

Et alors que les dirigeants devaient compter
sur plus de population,

ils commencèrent à partager le pouvoir.

Des gouvernement représentatifs commencèrent à se former.

Une fois encore, les outils utilisés pour résoudre un conflit

structurent notre environnement social.

Les armes robotisées autonomes sont de tels outils,

sauf que, en nécessitant très peu de personnes
pour rentrer en guerre,

ils risquent de reconcentrer le pouvoir dans très peu de mains,

potentiellement renversant une tendance
de cinq cents ans en faveur de la démocratie.

Maintenant, je pense, sachant ça,

que nous pouvons mener des actions décisives
pour préserver nos institutions démocratiques,

pour faire ce que les hommes font le mieux,
c'est-à-dire s'adapter.

Mais le temps est un facteur.

Soixante-dix nations développent en interne

des drones de combat télécommandés,

et comme vous le verrez,
les drones de combat télécommandés

sont les précurseurs des armes robotisées autonomes.

Cela est dû au fait qu'une fois
que vous avez déployé vos drones télécommandés,

trois facteurs déterminants entraînent la prise de choix

loin des hommes et vers l'unité armée elle-même.

La première des raisons est le déluge de vidéos que les drones produisent.

Par exemple, en 2004,
la flotte de drones américains a produit

une somme totale de 71 heures de vidéo-surveillance à analyser.

En 2011, cela a atteint les 300 000 heures,

dépassant la capacité humaine à tout voir,

et même ce nombre est sur le point d'exploser.

Les programmes Gorgon Stare et Argus du Pentagone

vont porter à 65 caméras indépendamment contrôlées

sur chaque drone,

et cela va grandement dépasser la capacité humaine
à voir ces vidéos.

Cela signifie qu'il va falloir des programmes de recueil
d'informations visuelles

pour scanner les vidéos pour trouver du matériel intéressant.

Et cela signifie que très bientôt

les drones vont dire aux hommes ce qu'il faut regarder,

et non l'inverse.

Mais il y a une seconde motivation importante

pour déporter le rôle décisionnel des hommes vers les machines,

et c'est le brouillage électromagnétique,

bloquant la connexion entre le drone

et son opérateur.

Nous avons vu un exemple de cela en 2011

lorsqu'un drone RQ-170 Sentinel américain

a été embrouillé au dessus de l'Iran à cause d'une attaque
de modification du GPS,

mais tout drone télécommandé est sensible à ce type d'attaque,

et cela signifie que les drones

vont devoir endosser plus de prises de décision.

Ils connaîtront les objectifs de mission,

et ils feront face aux nouvelles conditions sans intervention humaine.

Ils vont ignorer les signaux radio externes

et en émettre très peu de leur côté.

Ce qui nous mène, vraiment, à la troisième

et plus importante motivation pour enlever

la décision aux hommes et la mettre dans les armes :

possibilité de nier de façon plausible.

Aujourd'hui nous vivons dans une économie généralisée.

La production de haute technologie a lieu sur la plupart des continents.

Le cyber-espionnage exporte les conceptions avancées

vers des tiers inconnus,

et dans cet environnement, il est très probable

qu'un concept réussi de drone soit volé dans les entreprises contractées,

se répandent sur le marché parallèle.

Et dans ce cas, en fouillant les débris

d'une attaque suicide de drone,
il sera très difficile de dire

qui a envoyé cette arme.

Cela ouvre la réelle possibilité

de la guerre anonyme.

Cela pourrait déstabiliser la balance géopolitique,

rendre très difficile pour un pays d'utiliser sa puissance de feu

contre un attaquant, cela pourrait,
au 21ème siècle,

faire pencher la balance en faveur de l'attaque
au détriment de la défense.

Cela pourrait rendre envisageable des actions militaires

non juste pour de petits pays,

mais pour des organisations criminelles,
des entreprises privées

et même des puissants individus.

Cela pourrait créer un paysage de seigneurs de guerre rivaux

sabotant le règne de la loi et de la société civile.

Si la responsabilité et la transparence

sont deux éléments clefs
des gouvernements représentatifs de leur nation,

les armes robotisées autonomes pourraient les saboter tous deux.

Là vous pourriez penser que

les citoyens de pays high-techs

auraient l'avantage dans n'importe quelle guerre robotique,

que les citoyens de ces nations seraient moins vulnérables,

en particulier contre les pays en développement.

Mais je pense que la vérité est l'exacte opposé.

Je pense que les citoyens des sociétés high-techs

sont plus vulnérables aux armes robotisées,

et la raison peut être résumée en un mot : l'information.

L'information alimente les sociétés informatisées.

Géolocalisation des téléphones, métadonnées de télécommunications,

médias sociaux, e-mails, textos, informations sur des transactions financières,

informations sur des transports, c'est une richesse
de données en temps réel

sur les mouvements et les échanges sociaux des gens.

En résumé, nous sommes plus visibles aux machines

que quiconque dans l'Histoire,

et cela correspond parfaitement
aux besoins de ciblage des armes autonomes.

Ce que vous regardez ici

est une carte d'analyse de connexion d'un groupe social.

Les lignes indiquent une connexité social entre individus.

Et ce type de carte peut être automatiquement générée

en se basant sur les traces d'informations
que les gens modernes laissent derrière eux.

On l'utilise généralement pour promouvoir des biens ou des services

à des populations ciblées, mais c'est une technologie à double tranchant,

car le ciblage est utilisé dans un autre contexte.

Remarquez que certains individus sont surlignés.

Ce sont des centres de réseaux sociaux.

Ce sont des organisateurs, des façonneurs d'opinion, chefs,

et ces personnes peuvent être automatiquement identifiées

à partir du schéma de leurs communications.

Si vous êtes un commerçant, vous pourrez alors les cibler

avec des échantillons de produits,
essayer de diffuser votre marque

dans leur groupe social.

Mais si vous êtes un gouvernement répressif

en quête d'ennemis politiques,
vous pourriez au contraire les évincer,

les éliminer, désorganiser leur groupe social,

et ceux qui restent perdent la cohésion sociale

et l'organisation.

Ainsi dans un monde où prolifèrent
les armes robotisées à bas coûts,

les frontières vont offrir très peu de protection

face aux critiques de gouvernements éloignés

ou à des organisations criminelles internationales.

Des mouvements populaires pour le changement

pourraient être détectés tôt et voir leurs chefs éliminés

avant que leurs idées n'atteignent une masse critique.

Et des idées atteignant une masse critique

est exactement cet activisme politique dans les gouvernements populaires.

Des armes mortelles anonymes pourraient
faire des actes meurtriers

un choix facile pour toute sorte de conflits d'intérêts.

Et cela porterait atteinte à la liberté d'expression

et à l'action politique populaire,
le cœur même de la démocratie.

Voilà pourquoi nous avons besoin d'un traité international

sur les armes robotisées, et en particulier d'un ban

du développement et du déploiement de robots tueurs.

Aujourd'hui nous avons des traités internationaux

sur les armes nucléaires et biologiques,
et bien qu'imparfaites

elles ont largement fonctionné.

Mais les armes robotisées pourraient
se révéler tout autant dangeureuses

car elles seront presque certainement utilisées

et elles seront aussi néfastes pour nos institutions démocratiques.

En novembre 2012, le Département de la Défense américain

a émis une directive exigeant

qu'un humain soit présent dans toute décision létale.

Cela a efficacement banni les armes autonomes dans l'armée américaine,

mais cette directive doit être rendue permanente.

Cela pourrait poser les bases à une action généralisée.

Car nous avons besoin d'un cadre juridique international

pour les armes robotisées.

Et nous en avons besoin maintenant,
avant qu'il n'y ait une attaque dévastatrice

ou un incident terroriste qui
entraînerait les nations du monde

à se précipiter pour acquérir ces armes

avant de songer aux conséquences.

Les armes robotisées autonomes concentre trop de pouvoir

dans trop peu de mains,
et elles mettraient en péril la démocratie elle-même.

Mais comprenez moi bien, je pense qu'il y a énormément

d'utilisation bénéfiques pour des drones civils non armés :

gestion environnementale, recherche et sauvetage, logistique.

Si nous avons un traité international sur les armes robotisées,

comme pouvons-nous profiter des gains des drones

et véhicules autonomes tout en nous protégeant

des armes robotisées illégales ?

Je pense que le secret est la transparence.

Aucun robot ne devrait avoir un but privé

dans un espace public.

( Applaudissements )

Chaque robot et drone devrait avoir

une carte d'identité à signature cryptographique
incrustée à l'usine

qui puisse être utilisée pour suivre ses mouvements dans les espaces publics.

Nous avons des plaques d'immatriculation sur les voitures, des immatriculations sur les avions.

Ceci n'est aucunement différent.

Et chaque citoyen devrait pouvoir télécharger une application

qui montre la population de drones et de véhicules autonomes

se déplaçant dans les espaces publics autour d'eux,

en tant réel et historiquement.

Et les responsables publics devraient déployer des détecteurs et des drones officiels

pour détecter des drones illégaux,

et à la place de choisir d'envoyer
des robots tueurs pour les neutraliser

ils devraient avertir les humains de leur présence.

Et dans certaines zones de très haute sécurité,

peut-être ces drones les piégreraient

et les traîneraient dans une installation de déminage.

Mais notez que ceci est plus un système immunitaire

qu'un système armé.

Cela nous autoriserait à utiliser personnellement

des véhicules et drones autonomes

tout en préservant notre société ouverte et civile.

Nous devons interdire le déploiement et le développement

de robots tueurs.

Ne cédons pas à la tentation d'automatiser la guerre.

Les gouvernements autocratiques
et les organisations criminelles

céderont à coup sûr, mais ne les rejoignons pas.

Les armes robotisées autonomes

concentreraient trop de pouvoir

dans trop peu de mains invisibles,

et cela serait néfaste aux gouvernements représentatifs.

Soyons certains, au moins pour les démocraties,

que les robots tueurs restent une fiction.

Merci

(Applaudissements)

Merci.
(Applaudissements)