0:00:13.298,0:00:17.148
Le soulèvement des machines !

0:00:17.928,0:00:22.748
Qui ici a peur des robots tueurs ?

0:00:23.140,0:00:25.250
(Rires)

0:00:25.612,0:00:27.212
Moi !

0:00:28.226,0:00:31.896
Je travaillais dans les UAV -[br]véhicules aériens sans pilote -

0:00:31.896,0:00:37.146
et la seule chose à laquelle je pensais[br]en voyant ces choses, c'est qu'un jour,

0:00:37.146,0:00:40.903
quelqu'un va attacher[br]une mitraillette à ces engins,

0:00:40.903,0:00:43.853
et qu'ils me traqueront en meute.

0:00:44.688,0:00:47.881
Je travaille en robotique[br]à la Brown University

0:00:47.881,0:00:50.541
et j'ai peur des robots.

0:00:50.541,0:00:53.281
En fait, j'en suis terrifié,

0:00:53.761,0:00:55.811
mais pouvez-vous m'en vouloir ?

0:00:55.811,0:00:59.501
Depuis que je suis enfant,[br]je n'ai vu que des films

0:00:59.501,0:01:03.011
qui décrivent la montée[br]de l'Intelligence Artificielle

0:01:03.011,0:01:05.811
et notre inévitable conflit avec elle -

0:01:05.811,0:01:11.041
2001 l'Odyssée de l'espace,[br]Terminator, Matrix -

0:01:11.800,0:01:16.200
et les histoires qu'ils racontent[br]sont plutôt effrayantes :

0:01:16.200,0:01:21.158
des bandes d'humains voyous[br]fuyant des machines super intelligentes.

0:01:21.935,0:01:23.905
Cela me fait peur.

0:01:23.905,0:01:26.795
Il semblerait que cela[br]vous effraie également.

0:01:26.795,0:01:30.825
Je sais que cela fait peur à Elon Musk.

0:01:30.825,0:01:33.145
Mais vous savez, nous avons[br]un peu de temps

0:01:33.145,0:01:35.245
avant que les robots ne se rebellent.

0:01:35.245,0:01:38.571
Des robots comme le PR2[br]dont j'ai eu l'initiative,

0:01:38.571,0:01:41.781
ils ne peuvent même pas ouvrir[br]une porte pour l'instant.

0:01:42.191,0:01:46.707
Donc, dans mon esprit, cette discussion[br]sur les robots super intelligents

0:01:46.707,0:01:48.937
n'est qu'une distraction[br]pour nous détourner[br]

0:01:48.937,0:01:51.997
de quelque chose[br]de beaucoup plus insidieux

0:01:51.997,0:01:56.217
qui se passe avec les systèmes[br]d'IA dans tout le pays.

0:01:56.917,0:02:00.067
Vous voyez, en ce moment,[br]il y a des gens -

0:02:00.067,0:02:04.227
des médecins, des juges, des comptables -

0:02:04.227,0:02:07.957
qui obtiennent des informations[br]d'un système d'IA

0:02:07.957,0:02:13.367
et qui les traitent comme s'il s'agissait[br]d'informations d'un collègue de confiance.

0:02:13.931,0:02:17.151
C'est cette confiance qui me dérange,

0:02:17.151,0:02:20.182
non à cause de la fréquence[br]à laquelle l'IA se trompe.

0:02:20.182,0:02:24.403
Les chercheurs en IA sont fiers[br]de l'exactitude des résultats.

0:02:24.869,0:02:29.779
C'est à quel point elle se trompe quand[br]elle commet une erreur qui m'inquiète.

0:02:29.779,0:02:33.579
Ces systèmes n'échouent pas gracieusement.

0:02:34.240,0:02:37.130
Alors, regardons à quoi cela ressemble.

0:02:37.130,0:02:40.233
Ceci est un chien qui a été mal identifié

0:02:40.233,0:02:43.233
comme étant un loup[br]par un algorithme d'IA.

0:02:43.233,0:02:45.239
Les chercheurs ont voulu savoir :

0:02:45.239,0:02:49.759
pourquoi ce husky en particulier a-t-il[br]été identifié à tort comme un loup ?

0:02:49.759,0:02:52.721
Ils ont donc réécrit l’algorithme[br]pour que celui-ci explicite

0:02:52.721,0:02:55.651
les parties de l’image à laquelle[br]il prêtait attention.

0:02:55.651,0:02:58.501
Lorsque l’algorithme d’IA[br]a pris sa décision.

0:02:59.039,0:03:02.869
Sur cette image, à quoi pensez-vous[br]qu'il ait prêté attention ?

0:03:02.869,0:03:05.369
À quoi feriez-vous attention ?

0:03:05.369,0:03:10.859
Peut-être les yeux,[br]peut-être les oreilles, le museau...

0:03:13.041,0:03:16.531
Voici à quoi il a prêté attention :

0:03:16.981,0:03:21.021
principalement la neige[br]et l'arrière-plan de l'image.

0:03:21.021,0:03:26.293
Il y avait un biais dans le jeu de données[br]alimentant cet algorithme.

0:03:26.293,0:03:30.583
La plupart des images de loups[br]étaient dans la neige,

0:03:30.583,0:03:34.783
l'algorithme d'IA a donc confondu[br]la présence ou l'absence de neige

0:03:34.783,0:03:38.373
avec la présence ou à l'absence d'un loup.

0:03:39.912,0:03:42.027
La chose effrayante ici

0:03:42.027,0:03:46.287
est que les chercheurs n’avaient[br]aucune idée de ce qu'il se passait,

0:03:46.287,0:03:50.127
avant de réécrire l’algorithme[br]pour qu'il explicite ses choix.

0:03:50.863,0:03:53.426
Et c'est le problème[br]avec les algorithmes d'IA,

0:03:53.426,0:03:55.326
l'apprentissage profond et automatique.

0:03:55.326,0:03:59.346
Même les développeurs[br]qui travaillent sur ce genre de choses

0:03:59.346,0:04:02.396
n'ont aucune idée de ce qu'ils font.

0:04:03.001,0:04:07.591
Cela pourrait être un excellent exemple[br]pour une recherche,

0:04:07.591,0:04:10.281
mais qu'est-ce que cela signifie[br]dans le monde réel ?

0:04:10.611,0:04:15.841
L'algorithme de jugement criminel COMPAS[br]est utilisé dans 13 États d'Amérique

0:04:15.841,0:04:17.991
pour déterminer la récidive criminelle

0:04:17.991,0:04:22.831
ou le risque de commettre[br]un crime à nouveau après votre libération.

0:04:23.199,0:04:26.959
ProPublica a constaté[br]que si vous êtes afro-américain,

0:04:26.959,0:04:29.383
COMPAS avait 77% plus de chances

0:04:29.383,0:04:32.023
de vous qualifier de délinquant[br]potentiellement violent

0:04:32.023,0:04:34.123
que si vous étiez caucasien.

0:04:34.784,0:04:39.404
Ceci est un système réel, utilisé[br]dans le monde réel par de vrais juges,

0:04:39.404,0:04:42.974
pour prendre des décisions[br]sur la vie de vraies personnes.

0:04:44.115,0:04:49.865
Pourquoi les juges lui feraient-ils[br]confiance s'il semble être biaisé ?

0:04:49.866,0:04:52.472
La raison pour laquelle[br]ils utilisent COMPAS,

0:04:52.472,0:04:55.622
c'est parce qu’il s’agit[br]d’un modèle d’efficacité.

0:04:55.622,0:05:00.072
COMPAS leur permet de traiter[br]des dossiers beaucoup plus rapidement

0:05:00.072,0:05:03.742
dans un système de justice surchargé.

0:05:04.877,0:05:07.447
Pourquoi mettraient-ils en doute[br]leur propre logiciel ?

0:05:07.447,0:05:11.027
Il a été acheté par l'État, approuvé[br]par leurs services informatiques.

0:05:11.027,0:05:13.357
Pourquoi le remettraient-ils en cause ?

0:05:13.357,0:05:16.513
Les personnes condamnées par COMPAS[br]l'ont remis en question,

0:05:16.513,0:05:19.243
et le procès devrait tous nous refroidir.

0:05:19.243,0:05:22.123
La Cour suprême[br]de l'État du Wisconsin a statué

0:05:22.123,0:05:25.643
que COMPAS ne refuserait pas à un accusé[br]une procédure régulière

0:05:25.643,0:05:28.963
à condition qu'il ait été utilisé[br]« correctement ».

0:05:28.963,0:05:30.688
Dans le même temps, ils ont statué

0:05:30.688,0:05:34.758
que l'accusé ne pouvait pas inspecter[br]le code source de COMPAS.

0:05:35.700,0:05:37.625
Il doit être utilisé correctement

0:05:37.625,0:05:40.425
mais vous ne pouvez pas[br]inspecter le code source ?

0:05:40.425,0:05:43.425
C’est un ensemble[br]de décisions troublantes,

0:05:43.425,0:05:46.625
qui s’appliquent à quiconque[br]encourant une condamnation pénale.

0:05:46.625,0:05:48.406
Cela vous est peut-être égal

0:05:48.406,0:05:51.126
parce que vous n'êtes pas[br]poursuivi en justice,

0:05:51.126,0:05:55.056
mais si je vous disais que des algorithmes[br]opaques d'IA comme celui-ci

0:05:55.056,0:05:59.876
sont utilisés pour décider si vous pouvez[br]obtenir ou non un prêt pour votre maison,

0:06:00.144,0:06:02.844
si vous pouvez obtenir[br]un entretien d'embauche,

0:06:03.364,0:06:05.973
si vous pouvez bénéficier[br]d'une assurance maladie,

0:06:05.973,0:06:10.434
et qu'ils conduisent même des voitures[br]et des camions sur l'autoroute.

0:06:10.831,0:06:14.531
Souhaiteriez-vous que le public[br]soit en mesure d'inspecter l'algorithme

0:06:14.531,0:06:18.119
qui tente de faire la distinction[br]entre un panier et un landau

0:06:18.119,0:06:20.829
dans un camion autonome,

0:06:20.829,0:06:23.109
de la même manière[br]que l'algorithme chien/loup

0:06:23.109,0:06:26.229
essayait de faire la différence[br]entre un chien et un loup ?

0:06:26.229,0:06:28.942
Êtes-vous potentiellement[br]un chien métaphorique

0:06:28.942,0:06:31.462
qui a été mal identifié comme un loup

0:06:31.462,0:06:34.262
par l'algorithme d'IA de quelqu'un ?

0:06:34.868,0:06:38.818
Compte tenu de la complexité[br]des personnes, c'est possible.

0:06:38.818,0:06:42.031
Y a-t-il quelque chose[br]que vous puissiez faire maintenant ?

0:06:42.031,0:06:44.627
Probablement pas,

0:06:44.627,0:06:47.487
et c'est ce sur quoi[br]nous devons nous concentrer.

0:06:47.487,0:06:50.567
Nous devons exiger[br]des normes de responsabilité,

0:06:50.567,0:06:55.397
de transparence et des recours[br]concernant les systèmes d'IA.

0:06:56.456,0:06:59.734
L'ISO, l'Organisation internationale[br]de normalisation,

0:06:59.734,0:07:02.194
vient de former un comité[br]pour prendre des décisions

0:07:02.194,0:07:04.964
sur ce qui doit être fait[br]concernant les normes sur l'IA.

0:07:04.964,0:07:08.979
Il leur faut environ cinq ans[br]pour élaborer une norme.

0:07:08.979,0:07:12.859
Ces systèmes sont utilisés en ce moment,

0:07:13.671,0:07:15.841
pas seulement pour estimer[br]l'octroi de prêts,

0:07:15.841,0:07:20.041
mais ils sont utilisés dans[br]des véhicules, comme je l'expliquais.

0:07:20.771,0:07:22.533
Ils sont utilisés dans des domaines

0:07:22.533,0:07:25.113
tels que le régulateur de vitesse[br]adaptatif coopératif.

0:07:25.113,0:07:27.923
C'est drôle qu'ils appellent cela[br]« régulateur de vitesse »

0:07:27.923,0:07:31.233
parce que le type de contrôleur utilisé[br]dans le régulateur de vitesse,

0:07:31.233,0:07:32.703
un contrôleur PID,

0:07:32.703,0:07:35.859
a été utilisé pendant 30 ans[br]dans des usines chimiques

0:07:35.859,0:07:39.139
avant d’être transféré sur des voitures.

0:07:39.139,0:07:41.138
Le type de contrôleur utilisé

0:07:41.138,0:07:44.628
pour conduire une voiture autonome[br]et l'apprentissage automatique,

0:07:44.628,0:07:48.878
n'est utilisé en recherche[br]que depuis 2007.

0:07:49.680,0:07:52.460
Ce sont des nouvelles technologies.

0:07:52.470,0:07:56.430
Nous devons exiger des normes[br]et nous devons exiger une réglementation

0:07:56.430,0:08:00.340
pour éviter de se retrouver avec[br]n'importe quoi sur le marché.

0:08:00.819,0:08:05.299
Et nous devons également avoir[br]un peu de scepticisme.

0:08:05.861,0:08:07.871
Les expériences appelées Authority,

0:08:07.871,0:08:11.121
faites par Stanley Milgram[br]après la Seconde Guerre mondiale,

0:08:11.121,0:08:16.031
ont montré qu'une personne moyenne suivra[br]les ordres d'une personne d'autorité

0:08:16.031,0:08:19.741
même si cela signifie[br]torturer son concitoyen.

0:08:20.461,0:08:22.850
Dans cette expérience,

0:08:22.850,0:08:27.130
des Américains lambda[br]pensent électrocuter des acteurs,

0:08:27.689,0:08:31.269
ignorant leurs gémissements,

0:08:31.577,0:08:35.427
ignorant leurs cris de douleur,

0:08:35.934,0:08:40.894
allant même jusqu'à l'électrocution[br]et une mort simulée,

0:08:41.613,0:08:44.099
tout cela parce que quelqu'un

0:08:44.099,0:08:47.969
sans qualifications,[br]dans une blouse de laboratoire,

0:08:47.969,0:08:50.795
disait une variante de la phrase :

0:08:50.795,0:08:54.475
« L'expérience doit continuer. »

0:08:56.945,0:09:02.838
Dans l'IA, nous avons[br]la figure d'autorité ultime de Milgram.

0:09:03.656,0:09:08.366
Nous avons un système impartial[br]qui ne peut pas réfléchir,

0:09:09.370,0:09:12.930
qui ne peut pas prendre d'autre décision,

0:09:12.930,0:09:15.082
qui n'autorise aucun recours,

0:09:15.082,0:09:20.454
qui dira toujours « Le système »[br]ou « Le processus doit continuer. »

0:09:23.313,0:09:25.883
Maintenant, je vais vous raconter[br]une histoire.

0:09:25.883,0:09:29.723
Il s’agit d’un voyage en voiture[br]que j’ai fait à travers le pays.

0:09:30.790,0:09:34.690
J'allais à Salt Lake City[br]et il commença à pleuvoir.

0:09:35.211,0:09:39.900
En montant dans les montagnes,[br]cette pluie s'est transformée en neige,

0:09:40.380,0:09:42.580
et très vite, cette neige[br]a tout recouvert.

0:09:42.580,0:09:46.140
Je ne voyais même plus les feux arrière[br]de la voiture devant moi.

0:09:46.153,0:09:48.023
J'ai commencé à déraper.

0:09:48.023,0:09:51.033
J'ai fait un 360 dans un sens,[br]puis dans l'autre.

0:09:51.033,0:09:52.583
J'ai fait une sortie de route.

0:09:52.583,0:09:55.113
La boue recouvrait mes vitres,[br]je ne voyais plus rien.

0:09:55.113,0:09:59.103
J'étais terrifié à l'idée[br]qu'une voiture me percute.

0:09:59.924,0:10:03.864
Je vous raconte cette histoire[br]pour vous faire réfléchir

0:10:03.864,0:10:07.324
comment quelque chose d'insignifiant[br]et d'apparence banale

0:10:07.324,0:10:10.094
comme un peu de précipitation,

0:10:10.094,0:10:14.584
peut facilement devenir[br]quelque chose de très dangereux.

0:10:15.409,0:10:19.789
Nous conduisons sous la pluie avec l'IA,[br]en ce moment,

0:10:20.442,0:10:23.402
et cette pluie se transformera en neige,

0:10:23.887,0:10:27.457
et cette neige pourrait[br]devenir un blizzard.

0:10:28.097,0:10:30.547
Nous devons faire une pause,

0:10:30.547,0:10:32.997
vérifier les conditions,

0:10:33.002,0:10:35.642
mettre en place des normes de sécurité,

0:10:35.642,0:10:41.232
et nous demander[br]jusqu'où nous voulons aller,

0:10:42.267,0:10:46.437
car les motivations économiques[br]de l'IA et de l'automatisation

0:10:46.437,0:10:48.363
pour remplacer le travail humain

0:10:48.363,0:10:50.963
seront au-delà de tout[br]ce que nous avons vu

0:10:50.963,0:10:54.043
depuis la révolution industrielle.

0:10:54.043,0:10:58.040
Les exigences de salaire humain[br]ne peuvent pas rivaliser

0:10:58.040,0:11:01.650
avec le coût de base de l'électricité.

0:11:02.480,0:11:07.915
Les IA et les robots remplaceront[br]les cuisiniers dans les fast-foods

0:11:07.915,0:11:10.415
et les radiologues dans les hôpitaux.

0:11:11.135,0:11:14.330
Un jour, l'IA diagnostiquera votre cancer,

0:11:14.330,0:11:17.430
et un robot effectuera l'opération.

0:11:17.960,0:11:22.420
Seul un scepticisme sain[br]vis-à-vis de ces systèmes

0:11:22.420,0:11:25.981
aidera à tenir les gens informés.

0:11:26.291,0:11:28.153
Et je suis confiant,

0:11:28.153,0:11:31.473
si nous pouvons tenir les gens informés,

0:11:31.473,0:11:34.623
si nous pouvons construire[br]des systèmes d'IA transparents

0:11:34.623,0:11:36.393
comme l'exemple du chien et du loup

0:11:36.393,0:11:39.658
où l'IA a expliqué aux ingénieurs[br]ce qu'elle faisait,

0:11:39.658,0:11:42.588
et ces derniers ont pu le vérifier,

0:11:42.588,0:11:47.588
nous pouvons créer de nouveaux emplois[br]pour des personnes s’associant à l'IA.

0:11:48.573,0:11:51.043
Si nous travaillons ensemble avec l'IA,

0:11:51.043,0:11:53.393
nous serons probablement[br]capables de résoudre

0:11:53.393,0:11:56.243
certains de nos plus grands défis.

0:11:56.764,0:12:01.354
Mais pour faire cela,[br]nous devons diriger et non suivre.

0:12:01.801,0:12:05.491
Nous devons choisir[br]de ne pas ressembler à des robots,

0:12:05.491,0:12:10.131
et nous devons construire des robots[br]qui soient plus humains,

0:12:11.020,0:12:13.350
parce que finalement,

0:12:13.350,0:12:15.930
la seule chose que nous devons craindre,

0:12:15.930,0:12:18.700
ce ne sont pas les robots tueurs,

0:12:18.700,0:12:21.641
c'est notre propre paresse intellectuelle.

0:12:22.215,0:12:25.029
La seule chose que nous devons craindre,

0:12:25.029,0:12:26.989
c'est nous-mêmes.

0:12:26.989,0:12:28.441
Merci.

0:12:28.441,0:12:30.131
(Applaudissements)