La menace de l'IA est plus étrange que vous ne le pensez

Le danger avec l'intelligence artificielle n'est pas qu'elle va se rebeller contre nous, mais qu'elle va faire exactement ce que nous lui demandons, dit la chercheuse en IA Janelle Shane. En partageant les singeries étranges et parfois alarmantes des algorithmes d'IA alors qu'ils essayent de résoudre des problèmes humains -- comme créer de nouveaux parfums de glace ou reconnaître les voitures sur la route -- Janelle nous montre pourquoi l'IA n'est pas encore à la hauteur des vrais cerveaux.

L'intelligence artificielle

est réputée pour chambouler
tous genres d'industries.

Qu'en est-il des glaces ?

Quels genres de parfums hallucinants
pourrions-nous créer

avec les capacités d'une intelligence
artificielle avancée ?

J'ai fait équipe avec un groupe
de programmeurs d'un collège du Texas

pour trouver la réponse à cette question.

Ils ont collecté plus de 1 600
parfums de glace existants

et ensemble, nous les avons
présentées à un algorithme

pour voir ce qu'il générerait.

Voici certains des parfums
que l'IA a inventés.

[Pause poubelle au potiron]

(Rires)

[Boue de beurre de cacahuètes]

[Maladie de crème à la fraise]

(Rires)

Ces parfums ne sont pas délicieux,

comme nous aurions pu
espérer qu'ils soient.

La question est : que s'est-il passé ?

Qu'est-ce qui a mal tourné ?

L'IA essaye-t-elle de nous tuer ?

Ou essaye-t-elle de faire
ce que nous avons demandé

et il y a un problème ?

Dans les films, quand
cela tourne mal avec l'IA,

c'est généralement que l'IA a décidé

qu'elle ne voulait plus obéir aux humains

et qu'elle a ses propres objectifs,

merci bien.

Dans la vraie vie, cependant,
l'IA que nous avons

n'est pas assez intelligente pour cela.

Elle a à peu près la puissance
de calcul d'un ver de terre

ou peut-être, au mieux,
d'une seule abeille

et probablement moins que cela.

Nous apprenons constamment
de nouvelles choses sur le cerveau

qui établissent clairement

à quel point nos IA ne sont pas
à la hauteur de vrais cerveaux.

L'IA actuelle peut réaliser une tâche
comme identifier un piéton sur une photo

mais n'a pas de concept
expliquant ce qu'est un piéton

au-delà d'un ensemble de lignes,
de textures et de choses.

Elle ne sait pas
ce qu'est vraiment un humain.

L'IA actuelle fera-t-elle
ce que nous lui demandons de faire ?

Oui, si elle le peut,

mais elle pourrait ne pas faire
ce que nous voulons.

Disons que vous essayiez
de faire qu'une IA

prenne cet ensemble de pièces d'un robot

et les assemblent en une sorte de robot
pour aller du point A au point B.

Si vous essayiez de résoudre ce problème

en écrivant un programme
informatique traditionnel,

vous lui donneriez
des instructions par étapes

sur comment prendre ces pièces,

les assembler en un robot ayant des jambes

puis comment utiliser ces jambes
pour marcher jusqu'au point B.

Si vous utilisez une IA
pour résoudre le problème,

cela est différent.

Vous ne lui dites pas
comment résoudre le problème,

vous lui donnez juste l'objectif

et elle doit trouver par tâtonnements
comment atteindre cet objectif.

Il s'avère que l'IA a tendance
à résoudre ce problème en particulier

en faisant ceci :

elle s'assemble pour former une tour
puis se laisse tomber

et atterrit au point B.

Techniquement, cela résout le problème.

Techniquement,
elle est arrivée au point B.

Le danger lié à l'IA n'est pas
qu'elle va se rebeller contre nous,

c'est qu'elle va faire exactement
ce que nous lui demandons.

L'astuce pour travailler
avec une IA devient :

comment poser le problème
pour qu'elle fasse ce que l'on veut ?

Ce petit robot est contrôlé par une IA.

L'IA a conçu un design
pour les jambes du robot

puis elle a déterminé comment les utiliser
pour passer tous ces obstacles.

Mais quand David Ha
a présenté cette expérience,

il a dû établir des limites
très, très strictes

sur la taille autorisée
des jambes que l'IA pouvait créer,

car sinon...

(Rires)

Techniquement, elle est arrivée
à la fin de cette course d'obstacles.

Vous voyez à quel point il est difficile

de faire faire une chose
aussi simple que marcher à une IA.

En voyant l'IA faire ceci, vous pourriez
dire que cela ne fonctionne pas,

qu'elle ne peut pas juste
être une haute tour et tomber,

qu'elle doit utiliser
des jambes pour marcher.

Il s'avère que cela non plus
ne fonctionne pas toujours.

L'objectif de l'IA
était de se déplacer rapidement.

On ne lui a pas dit qu'elle devait
courir vers l'avant

ou qu'elle ne pouvait pas
utiliser ses bras.

Voilà ce qui arrive quand vous entraînez
une IA à se déplacer rapidement,

vous obtenez des sauts périlleux
et des démarches ridicules.

C'est très courant.

Tout comme tressauter
sous forme d'amas informe.

(Rires)

A mon avis, ce qui aurait dû être
bien plus étrange,

ce sont les robots de « Terminator ».

Pirater la « Matrice » est une autre chose
que l'IA fera si elle en a l'occasion.

Si vous entraînez votre IA
dans une simulation,

elle apprendra à faire des choses

comme exploiter les erreurs
de maths de la simulation

pour en tirer de l'énergie.

Ou elle trouvera
comment se déplacer plus vite

en exploitant à répétition
un bug pour avancer sur le sol.

Travailler avec une IA,

c'est moins comme travailler
avec un autre humain

et plutôt comme travailler
avec une étrange force de la nature.

Il est très facile de donner
accidentellement à l'IA

le mauvais problème à résoudre

et nous ne nous en rendons
souvent pas compte

avant que quelque chose
n'ait très mal tourné.

Voici une expérience que j'ai réalisée

où je voulais que l'IA
copie des couleurs de peinture

pour en inventer de nouvelles

en ayant la liste de celles
qui sont sur la gauche.

Et voici ce que l'IA a inventé.

[Caca de Sindis, Merdouille,
Souffrance, Pubis gris]

(Rires)

Techniquement,

elle a fait ce que je lui avais demandé.

Je pensais lui demander
des noms de couleur sympa,

mais ce que je lui demandais de faire,

c'était d'imaginer le genre
de combinaisons de lettres

qu'elle avait vues dans la liste initiale.

Je ne lui ai rien dit sur le sens des mots

ni sur le fait qu'il y a
peut-être des mots

qu'elle devrait éviter d'utiliser
dans ces couleurs de peinture.

Son monde se limite
aux données que je lui ai données.

Comme pour les parfums de glace,
elle ne sait rien d'autre.

C'est à travers les données

que nous disons souvent accidentellement
à l'IA de faire la mauvaise chose.

Ceci est un poisson appelé une tanche.

Un groupe de chercheurs

a entraîné l'IA à identifier
cette tanche sur les photos.

Mais quand ils lui ont demandé

quelle partie de la photo
elle utilisait pour identifier le poisson,

voici ce qui a été sélectionné.

Oui, ce sont des doigts humains.

Pourquoi chercherait-elle
des doigts humains

si elle essaye d'identifier un poisson ?

Il s'avère que la tanche
est un poisson trophée

et donc sur de nombreuses photos
que l'IA avait vues de ce poisson

durant son entraînement,

le poisson ressemblait à ceci.

(Rires)

Et elle ne savait pas que les doigts
ne faisaient pas partie du poisson.

Vous voyez pourquoi il est si dur
de concevoir une IA

qui comprend vraiment
ce qu'elle considère.

C'est pourquoi concevoir
la reconnaissance d'images

dans les voitures autonomes
est si difficile

et pourquoi tant
de défaillances de ces voitures

sont dues au fait
que l'IA ait confondu des choses.

Je veux parler d'un exemple de 2016.

Il y a eu un accident mortel

où quelqu'un utilisait l'IA
de pilote automatique de Tesla,

mais au lieu de l'utiliser
sur l'autoroute,

ce pour quoi elle était conçue,

il l'a utilisé dans les rues de la ville.

Ce qu'il s'est passé,

c'est qu'un camion est passé
devant la voiture

et la voiture n'a pas freiné.

L'IA avait été entraînée à reconnaître
les camions sur des photos.

Mais il semble que ce qu'il s'est passé,

c'est qu'elle reconnaissait
les camions sur l'autoroute,

où vous vous attendez
à les voir de derrière.

Les camions ne sont pas censés
être vus de côté sur l'autoroute

et donc quand l'IA a vu ce camion,

il semblerait que l'IA l'ait reconnu
comme étant un panneau de signalisation,

il était donc sans danger
de passer en dessous.

Voici une bévue de l'IA
dans un autre domaine.

Amazon a récemment dû abandonner
un algorithme de tri de CV

sur lequel ils travaillaient

quand ils ont découvert

que l'algorithme avait appris
à discriminer contre les femmes.

Ils l'avaient entraîné
avec des exemples de CV

de gens qu'ils avaient
embauchés dans le passé.

D'après ces exemples, l'IA a appris
à éviter les CV les gens

ayant été dans des universités de femmes

ou ayant le mot « femmes »
quelque part sur leur CV

comme dans « équipe de sport de femmes »

ou « Société des femmes ingénieures ».

L'IA ne savait pas
qu'elle n'était pas censée

copier cette chose en particulier

qu'elle avait vu les humains faire.

Techniquement, elle a fait
ce qu'ils lui ont demandé.

Ils lui ont juste accidentellement demandé
de faire la mauvaise chose.

Cela arrive constamment avec l'IA.

L'IA peut être destructrice
et ne pas le savoir.

Les IA qui recommandent
de nouveaux contenus

sur Facebook, sur YouTube,

elles sont optimisées pour augmenter
le nombre de clics et de vues.

Malheureusement, une des façons
trouvées pour faire cela

est de recommander du contenu
de théories conspirationnistes

ou relevant du fanatisme religieux.

Les IA n'ont aucune idée
de ce qu'est ce contenu

et elles n'ont aucune idée
des conséquences possibles

de la recommandation de ce contenu.

Quand nous travaillons avec une IA,

c'est à nous d'éviter les problèmes.

Éviter que les choses tournent mal,

cela pourrait se résumer au sempiternel
problème de communication

où, en tant qu'humains,
nous devons apprendre

à communiquer avec l'IA.

Nous devons apprendre ce dont l'IA
est capable et ce dont elle est incapable,

et comprendre qu'avec
son petit cerveau de ver,

l'IA ne comprend pas vraiment
ce que nous lui demandons de faire.

En d'autres mots, nous devons
être prêts à travailler avec une IA

qui n'est pas l'IA super compétente,
omnisciente de la science-fiction.

Nous devons être prêts
à travailler avec une IA

qui est celle que nous avons actuellement.

Et l'IA actuellement est très étrange.

Merci.

(Applaudissements)