Le soulèvement des machines !

Qui ici a peur des robots tueurs ?

(Rires)

Moi !

Je travaillais dans les UAV -
véhicules aériens sans pilote -

et la seule chose à laquelle je pensais
en voyant ces choses, c'est qu'un jour,

quelqu'un va attacher
une mitraillette à ces engins,

et qu'ils me traqueront en meute.

Je travaille en robotique
à la Brown University

et j'ai peur des robots.

En fait, j'en suis terrifié,

mais pouvez-vous m'en vouloir ?

Depuis que je suis enfant,
je n'ai vu que des films

qui décrivent la montée
de l'Intelligence Artificielle

et notre inévitable conflit avec elle -

2001 l'Odyssée de l'espace,
Terminator, Matrix -

et les histoires qu'ils racontent
sont plutôt effrayantes :

des bandes d'humains voyous
fuyant des machines super intelligentes.

Cela me fait peur.

Il semblerait que cela
vous effraie également.

Je sais que cela fait peur à Elon Musk.

Mais vous savez, nous avons
un peu de temps

avant que les robots ne se rebellent.

Des robots comme le PR2
dont j'ai eu l'initiative,

ils ne peuvent même pas ouvrir
une porte pour l'instant.

Donc, dans mon esprit, cette discussion
sur les robots super intelligents

n'est qu'une distraction
pour nous détourner

de quelque chose
de beaucoup plus insidieux

qui se passe avec les systèmes
d'IA dans tout le pays.

Vous voyez, en ce moment,
il y a des gens -

des médecins, des juges, des comptables -

qui obtiennent des informations
d'un système d'IA

et qui les traitent comme s'il s'agissait
d'informations d'un collègue de confiance.

C'est cette confiance qui me dérange,

non à cause de la fréquence
à laquelle l'IA se trompe.

Les chercheurs en IA sont fiers
de l'exactitude des résultats.

C'est à quel point elle se trompe quand
elle commet une erreur qui m'inquiète.

Ces systèmes n'échouent pas gracieusement.

Alors, regardons à quoi cela ressemble.

Ceci est un chien qui a été mal identifié

comme étant un loup
par un algorithme d'IA.

Les chercheurs ont voulu savoir :

pourquoi ce husky en particulier a-t-il
été identifié à tort comme un loup ?

Ils ont donc réécrit l’algorithme
pour que celui-ci explicite

les parties de l’image à laquelle
il prêtait attention.

Lorsque l’algorithme d’IA
a pris sa décision.

Sur cette image, à quoi pensez-vous
qu'il ait prêté attention ?

À quoi feriez-vous attention ?

Peut-être les yeux,
peut-être les oreilles, le museau...

Voici à quoi il a prêté attention :

principalement la neige
et l'arrière-plan de l'image.

Il y avait un biais dans le jeu de données
alimentant cet algorithme.

La plupart des images de loups
étaient dans la neige,

l'algorithme d'IA a donc confondu
la présence ou l'absence de neige

avec la présence ou à l'absence d'un loup.

La chose effrayante ici

est que les chercheurs n’avaient
aucune idée de ce qu'il se passait,

avant de réécrire l’algorithme
pour qu'il explicite ses choix.

Et c'est le problème
avec les algorithmes d'IA,

l'apprentissage profond et automatique.

Même les développeurs
qui travaillent sur ce genre de choses

n'ont aucune idée de ce qu'ils font.

Cela pourrait être un excellent exemple
pour une recherche,

mais qu'est-ce que cela signifie
dans le monde réel ?

L'algorithme de jugement criminel COMPAS
est utilisé dans 13 États d'Amérique

pour déterminer la récidive criminelle

ou le risque de commettre
un crime à nouveau après votre libération.

ProPublica a constaté
que si vous êtes afro-américain,

COMPAS avait 77% plus de chances

de vous qualifier de délinquant
potentiellement violent

que si vous étiez caucasien.

Ceci est un système réel, utilisé
dans le monde réel par de vrais juges,

pour prendre des décisions
sur la vie de vraies personnes.

Pourquoi les juges lui feraient-ils
confiance s'il semble être biaisé ?

La raison pour laquelle
ils utilisent COMPAS,

c'est parce qu’il s’agit
d’un modèle d’efficacité.

COMPAS leur permet de traiter
des dossiers beaucoup plus rapidement

dans un système de justice surchargé.

Pourquoi mettraient-ils en doute
leur propre logiciel ?

Il a été acheté par l'État, approuvé
par leurs services informatiques.

Pourquoi le remettraient-ils en cause ?

Les personnes condamnées par COMPAS
l'ont remis en question,

et le procès devrait tous nous refroidir.

La Cour suprême
de l'État du Wisconsin a statué

que COMPAS ne refuserait pas à un accusé
une procédure régulière

à condition qu'il ait été utilisé
« correctement ».

Dans le même temps, ils ont statué

que l'accusé ne pouvait pas inspecter
le code source de COMPAS.

Il doit être utilisé correctement

mais vous ne pouvez pas
inspecter le code source ?

C’est un ensemble
de décisions troublantes,

qui s’appliquent à quiconque
encourant une condamnation pénale.

Cela vous est peut-être égal

parce que vous n'êtes pas
poursuivi en justice,

mais si je vous disais que des algorithmes
opaques d'IA comme celui-ci

sont utilisés pour décider si vous pouvez
obtenir ou non un prêt pour votre maison,

si vous pouvez obtenir
un entretien d'embauche,

si vous pouvez bénéficier
d'une assurance maladie,

et qu'ils conduisent même des voitures
et des camions sur l'autoroute.

Souhaiteriez-vous que le public
soit en mesure d'inspecter l'algorithme

qui tente de faire la distinction
entre un panier et un landau

dans un camion autonome,

de la même manière
que l'algorithme chien/loup

essayait de faire la différence
entre un chien et un loup ?

Êtes-vous potentiellement
un chien métaphorique

qui a été mal identifié comme un loup

par l'algorithme d'IA de quelqu'un ?

Compte tenu de la complexité
des personnes, c'est possible.

Y a-t-il quelque chose
que vous puissiez faire maintenant ?

Probablement pas,

et c'est ce sur quoi
nous devons nous concentrer.

Nous devons exiger
des normes de responsabilité,

de transparence et des recours
concernant les systèmes d'IA.

L'ISO, l'Organisation internationale
de normalisation,

vient de former un comité
pour prendre des décisions

sur ce qui doit être fait
concernant les normes sur l'IA.

Il leur faut environ cinq ans
pour élaborer une norme.

Ces systèmes sont utilisés en ce moment,

pas seulement pour estimer
l'octroi de prêts,

mais ils sont utilisés dans
des véhicules, comme je l'expliquais.

Ils sont utilisés dans des domaines

tels que le régulateur de vitesse
adaptatif coopératif.

C'est drôle qu'ils appellent cela
« régulateur de vitesse »

parce que le type de contrôleur utilisé
dans le régulateur de vitesse,

un contrôleur PID,

a été utilisé pendant 30 ans
dans des usines chimiques

avant d’être transféré sur des voitures.

Le type de contrôleur utilisé

pour conduire une voiture autonome
et l'apprentissage automatique,

n'est utilisé en recherche
que depuis 2007.

Ce sont des nouvelles technologies.

Nous devons exiger des normes
et nous devons exiger une réglementation

pour éviter de se retrouver avec
n'importe quoi sur le marché.

Et nous devons également avoir
un peu de scepticisme.

Les expériences appelées Authority,

faites par Stanley Milgram
après la Seconde Guerre mondiale,

ont montré qu'une personne moyenne suivra
les ordres d'une personne d'autorité

même si cela signifie
torturer son concitoyen.

Dans cette expérience,

des Américains lambda
pensent électrocuter des acteurs,

ignorant leurs gémissements,

ignorant leurs cris de douleur,

allant même jusqu'à l'électrocution
et une mort simulée,

tout cela parce que quelqu'un

sans qualifications,
dans une blouse de laboratoire,

disait une variante de la phrase :

« L'expérience doit continuer. »

Dans l'IA, nous avons
la figure d'autorité ultime de Milgram.

Nous avons un système impartial
qui ne peut pas réfléchir,

qui ne peut pas prendre d'autre décision,

qui n'autorise aucun recours,

qui dira toujours « Le système »
ou « Le processus doit continuer. »

Maintenant, je vais vous raconter
une histoire.

Il s’agit d’un voyage en voiture
que j’ai fait à travers le pays.

J'allais à Salt Lake City
et il commença à pleuvoir.

En montant dans les montagnes,
cette pluie s'est transformée en neige,

et très vite, cette neige
a tout recouvert.

Je ne voyais même plus les feux arrière
de la voiture devant moi.

J'ai commencé à déraper.

J'ai fait un 360 dans un sens,
puis dans l'autre.

J'ai fait une sortie de route.

La boue recouvrait mes vitres,
je ne voyais plus rien.

J'étais terrifié à l'idée
qu'une voiture me percute.

Je vous raconte cette histoire
pour vous faire réfléchir

comment quelque chose d'insignifiant
et d'apparence banale

comme un peu de précipitation,

peut facilement devenir
quelque chose de très dangereux.

Nous conduisons sous la pluie avec l'IA,
en ce moment,

et cette pluie se transformera en neige,

et cette neige pourrait
devenir un blizzard.

Nous devons faire une pause,

vérifier les conditions,

mettre en place des normes de sécurité,

et nous demander
jusqu'où nous voulons aller,

car les motivations économiques
de l'IA et de l'automatisation

pour remplacer le travail humain

seront au-delà de tout
ce que nous avons vu

depuis la révolution industrielle.

Les exigences de salaire humain
ne peuvent pas rivaliser

avec le coût de base de l'électricité.

Les IA et les robots remplaceront
les cuisiniers dans les fast-foods

et les radiologues dans les hôpitaux.

Un jour, l'IA diagnostiquera votre cancer,

et un robot effectuera l'opération.

Seul un scepticisme sain
vis-à-vis de ces systèmes

aidera à tenir les gens informés.

Et je suis confiant,

si nous pouvons tenir les gens informés,

si nous pouvons construire
des systèmes d'IA transparents

comme l'exemple du chien et du loup

où l'IA a expliqué aux ingénieurs
ce qu'elle faisait,

et ces derniers ont pu le vérifier,

nous pouvons créer de nouveaux emplois
pour des personnes s’associant à l'IA.

Si nous travaillons ensemble avec l'IA,

nous serons probablement
capables de résoudre

certains de nos plus grands défis.

Mais pour faire cela,
nous devons diriger et non suivre.

Nous devons choisir
de ne pas ressembler à des robots,

et nous devons construire des robots
qui soient plus humains,

parce que finalement,

la seule chose que nous devons craindre,

ce ne sont pas les robots tueurs,

c'est notre propre paresse intellectuelle.

La seule chose que nous devons craindre,

c'est nous-mêmes.

Merci.

(Applaudissements)