Et si les algorithmes méritaient notre confiance ? | Olivier Sibony | TEDxTours

Diplômé d’HEC Paris et docteur en sciences de gestion, Olivier Sibony est spécialiste de la prise de décision stratégique. Ayant exercé en tant que directeur associé senior au sein de McKinsey pendant 25 ans, il est désormais enseignant à HEC Paris et à la Saïd Business School d'Oxford. Ses recherches se concentrent sur la stratégie comportementale, ou comment appliquer les sciences sociales comportementales à la prise de décision stratégique.

Il est l'auteur de deux livres, « Vous Allez Commettre Une Terrible Erreur » et « Cracked It! », et de nombreux articles, dont « Before you make that Big Decision » et « A Structured Approach to Strategic Decisions » (en collaboration avec Daniel Kahneman, prix Nobel d’économie), qui sont reconnus par la communauté économique comme autant d’avancées innovantes et pertinentes.

Cette présentation a été donnée lors d'un événement TEDx local utilisant le format des conférences TED mais organisé indépendamment. En savoir plus : http://ted.com/tedx

Vous venez d'être arrêté par la police.

Vous étiez en voyage aux États-Unis.

Au bord d'une petite route, on vous
a arrêté, on vous a jeté en prison,

et vous serez présenté à un juge.

On vous accuse d'un délit que, bien sûr,
vous pensez que vous n'avez pas commis.

Et là on vous explique que

le juge va d’abord décider

si on vous libère sous caution
en attendant le jugement,

peut-être dans plusieurs semaines,

ou si on vous garde au frais,
ce qui serait peut-être bien ce soir,

pendant quelque temps.

Enfin quand même, vous préféreriez sortir.

Et voilà qu'on vous dit :

« Cette décision de vous
libérer sous caution ou pas,

elle va être prise par un algorithme. »

Techniquement, c'est
par un juge, mais en fait,

il y a un algorithme
qui va étudier votre profil,

calculer le risque que vous présentez,

qui, en fonction de cela, va faire
une recommandation au juge,

et, pratiquement toujours,
le juge va suivre la recommandation.

Qu'est-ce que ça vous inspire ?

Ça vous inquiète un peu.

En général, si je parle d'algorithmes,
ça jette un froid,

mais on est très inquiets dès
qu'on nous parle d'algorithmes.

L'an dernier en France,

on a eu deux grands rapports
sur l’IA et les big data,

par la CNIL et par la Commission Villani.

Les deux ont pris le même exemple,

celui dont j'ai parlé,

un algorithme américain d'aide
à la décision judiciaire, Compas,

pour expliquer, dans les deux
cas avec la même formule,

qu'il est très important
que l'homme garde la main,

qu'on ne laisse pas les algorithmes
décider à notre place.

Et c'est un sujet important, parce que,
dans tous les domaines de notre vie,

ils prennent une place
de plus en plus importante.

Si vous avez passé le bac cette année,

c'est un algorithme qui décide
quelles études vous allez faire.

Et quand vous aurez fini vos études,
que vous chercherez un job,

vous enverrez des CV : c'est sans
doute un algorithme qui les triera.

Ensuite peut-être même que l'entretien que
vous passerez, si votre CV a été trié,

sera analysé en vidéo par un algorithme,

ça commence à être
de plus en plus fréquent.

Puis si vous avez le job,
il faudra une voiture pour y aller.

Alors il faudra un crédit -

c'est un algorithme qui décidera -

puis une assurance - un algorithme fixera
le prix de de la prime d'assurance -

et ainsi de suite jusqu'au jour où
vous serez percuté par une voiture,

dont l'algorithme aura décidé qu'il
valait mieux vous tuer vous que vous.

Puisqu'on nous explique
que les voitures autonomes

vont être pilotées par des algorithmes
qui feront ce genre de calculs.

Bref,

on nous décrit sans cesse un monde où
on va être les victimes des algorithmes,

un peu comme les passagers du vaisseau
de « 2001, l'Odyssée de l'espace »,

sont sous l'emprise de l'ordinateur,
vous vous rappelez ?

Je voudrais vous inviter
à reconsidérer cette vision,

à questionner cette aversion
aux algorithmes que nous avons,

et peut-être même à changer
d'avis sur les algorithmes.

Qu'est-ce qu'on reproche aux algorithmes,
dans toutes ces histoires ?

La 1e chose qu'on leur reproche
très souvent, c'est d'avoir des biais.

Vous avez entendu parler
des biais algorithmiques.

Par exemple,

le fameux algorithme Compas
dont je vous parlais

a été étudié par des
journalistes de ProPublica,

grand organisme de
journalisme d'investigation,

qui ont démontré que
l'algorithme est raciste

puisqu'il se trompe plus souvent
au détriment des Noirs que des Blancs,

et plus souvent en faveur des Blancs
qu'en faveur des Noirs.

Donc c'est un algorithme qui est biaisé.

On vous a peut-être parlé
d'un algorithme de recrutement

qu'Amazon a dû cesser d'utiliser

parce que l'algorithme avait été
entraîné sur des données existantes

et donc, comme Amazon avait recruté
beaucoup d'hommes dans le passé,

l'algorithme préférait les profils
d'hommes aux profils de femmes,

et donc l'algorithme était sexiste.

Peut-être avez entendu parler de
ces algorithmes de reconnaissance faciale

qui sont assez bons
pour reconnaître les blancs

mais qui sont très mauvais
pour reconnaître les noirs.

Bref, il y a des algorithmes
qui ont des biais.

Et soyons clairs, c'est vrai.

Ces algorithmes,

même si, certains de ces
exemples ont été exagérés,

ces algorithmes biaisés existent.

Rien de plus facile d'ailleurs
que de fabriquer un algorithme biaisé.

Mais, quand on dit :
« Il existe des algorithmes biaisés,

donc il faut se méfier
de tous les algorithmes, »

est-ce qu'on n'est pas en train de
commettre la même erreur de logique

que les racistes qui
utilisent un stéréotype ?

On est en train, en fait, de reprocher aux
algorithmes de faire des stéréotypes,

en utilisant un stéréotype
contre les algorithmes.

C'est quand même un peu bizarre.

La question n'est pas :

« Y a-t-il des algorithmes biaisés ? » -
bien sûr qu'il y en a - mais :

« Est-ce qu'on peut faire des
algorithmes qui ne le soient pas ? »

ou qui en tout cas le
soient moins que nous.

Il faut arrêter de se comparer à un idéal

et se demander ce que ferait les humains
auxquels on compare ces algorithmes.

Et là, c'est intéressant.

Prenez les juges américains,
puisque c'est d'eux dont on parlait.

Il y a une étude sur les juges
de l'immigration aux États-Unis

qui montre qu'il y a des disparités
considérables entre deux juges

qui ont la même population de demandeurs.

Dans un cas extrême,

en Floride, dans la même ville,

dans le même tribunal,
vous avez deux juges,

auxquels les demandeurs d'asile
sont affectés aléatoirement,

Il y en a un qui accorde 4%
des demandes, l'autre 88%.

Ce n'est pas un biais, ça ?

Vous pensez que l'algorithme est pire ?

Dans tous les domaines où on regarde le
jugement humain, on trouve ces biais.

Exemple au bureau des brevets américains ;
vous direz : « Pas très grave. »

Mais si vous êtes l'inventeur
qui dépose un brevet,

ça vous embête un peu

qu'il y ait des employés qui donnent
deux fois moins de brevets que d'autres.

Plus embêtant :

si vous avez à faire un jour au service

qui s'occupe de venir décider

si vous êtes un mauvais parent
et si on va vous retirer vos enfants,

en fonction du travailleur social,

vous avez des écarts là aussi
qui vont de un à trois.

Donc les biais des algorithmes
sont un vrai problème,

mais enfin, les biais des humains
sont un vrai problème aussi.

Pour que ils soient
aussi biaisés que les humains,

il faudrait que les algorithmes soient
vraiment très très très biaisés.

On a un autre problème, qui est
en fait beaucoup plus important :

même les humains les plus biaisés

ne se trompent pas seulement
dans le sens de leurs biais.

Le biais, c'est une erreur prévisible,
une erreur qu'on commet pour une raison.

Mais on peut aussi se tromper sans raison.

Prenez le recruteur sexiste,

qui va recruter beaucoup
plus d'hommes que de femmes,

déjà, c'est une erreur,

mais vous pensez que parmi les
hommes, il va recruter les bons ?

S'il n'est pas très malin, il n'y a pas de
raison qu'il recrute les meilleurs hommes.

Il va se tromper aussi dans ses choix
à l'intérieur d'une catégorie.

Et cette erreur sans raison qu'on
soit capable d'identifier clairement,

c'est ce qu'on appelle le bruit,
c'est l'erreur aléatoire.

Le biais, c'est l'erreur
directionnelle, explicable ;

le bruit, c'est l'erreur qu'on ne sait
pas expliquer, l'erreur aléatoire.

L'exemple le plus frappant, pour vous
en donner une représentation tangible,

c'est quand on prend la même personne en
lui demandant de faire le même jugement,

à partir des mêmes données,

à deux moments différents.

Il y a par exemple des
études sur les radiologues.

On leur montre une radio,

qu'en fait ils ont déjà
vue il y a quelques mois.

Ils en ont vu des centaines depuis, donc
ils ne se souviennent pas de la radio.

Et dans un nombre non négligeable de cas,

leur jugement, leur diagnostic,
va changer entre les deux fois.

Ou bien prenez un exemple
encore plus étonnant :

les experts en empreintes digitales.

Quand vous leur soumettez

l'empreinte relevée sur la scène du crime

et l'empreinte prélevée sur le suspect,

en lui demandant de tremper
son doigt dans l'encre,

en leur demandant si ça correspond.

Ils vous disent oui ou non.

Vous leur montrez les mêmes
empreintes des mois plus tard -

là aussi, ils en ont vu
des centaines entretemps -

dans un nombre non négligeable de cas,
statistiquement significatifs,

leur jugement va changer.

Donc ce jugement humain
qu'on croit fiable,

qu'on croit stable,

en fait, il a une grande
composante de bruit,

il a une grande composante d'aléatoire.

Pourquoi c'est important ?

Parce que l'algorithme, c'est ça,
sa force : lui, il n'a pas de bruit.

Si on donne à l'algorithme les mêmes
données, il donne la même réponse.

Donc il peut avoir des biais,

mais il en aura moins que
la plupart des humains,

et surtout il n'aura pas de bruit,

donc fera beaucoup moins
d'erreurs que les humains.

C'est ce qui explique sa supériorité.

Mais je ne vous sens pas convaincus.
(Rires)

Vous ne voulez toujours pas

que ça soit un algorithme qui vous juge
sur le bord de la route en Louisiane.

Non, vous n'en avez pas envie.

Je crois que je sais pourquoi.

C'est parce que l'algorithme,
on ne comprend pas ce que c'est.

C'est opaque, ce n'est pas transparent -

le jugement humain non plus d'ailleurs -

mais être jugé par un homme
ou par une femme,

vous savez à peu près
comment ça fonctionne.

Un algorithme,

c'est mystérieux, c'est une boîte noire.

En fait,

on vous demande d'aimer
une espèce de saucisse

sans vous dire quels sont ses ingrédients

et sans vous montrer l'usine
où elle a été fabriquée.

Ce n'est pas très appétissant.

En fait, on voudrait un algorithme
qui ne ressemble pas une saucisse,

mais qui ressemble à une
assiette de crudités bio :

on sait exactement ce qu'on a devant nous,
c'est complètement transparent.

Mais peut-être que dans
certains cas, c'est possible.

Je reprends mon exemple
de l'algorithme Compas,

ce fameux algorithme de
décision judiciaire américain.

Il est basé sur 137 critères.

Alors ça, c'est du big data.

On va triturer 137 informations
sur chaque prévenu

pour calculer un score
de risque de récidive.

Et évidemment la formule qui va
faire ce calcul est secrète,

puisque propriété de l'entreprise privée

qui met cet algorithme

à la disposition des tribunaux
des différents États américains.

Donc ce n'est pas transparent du tout.

Voilà que cinq chercheurs
américains, de Stanford et de NYU,

se disent : « Et si on essayait un truc ?

Si on prenait les deux
critères parmi ces 137,

les deux paramètres seulement,

dont on sait, d'après toutes
les études de criminologie,

que ce sont les meilleurs
prédicteurs de la récidive. »

Qu'est-ce que c'est ?

L'âge du prévenu

et le nombre de condamnations
qu'il a déjà sur son casier judiciaire.

Qu'est-ce qu'on serait capable de
prévoir comme risque de récidive

en utilisant simplement
ces deux paramètres

et en les combinant d'une manière
très simple, de manière linéaire ?

Eh bien avec ces deux paramètres,

ils arrivent à exactement
la même fiabilité de prévision

que les 137 critères de Compas.

Vous avez avec ce small data

avec très peu de données,
avec une règle simple,

la même qualité de prévision

que vous aviez avec l'énorme complexité
de la moulinette du big data.

Et ça, sur le principe,

on le sait en fait depuis très longtemps,
depuis une soixantaine d'années.

Pourquoi on ne le fait pas plus ? Pourquoi
on ne voit pas du small data partout ?

Pourquoi on nous parle
tout le temps de big data ?

Parce que c'est juste un exemple,
ça ne marche pas à tous les coups -

il faudrait chercher.

Mais aussi,

et surtout je crois, parce que,

quand je vous dis que ça atteint
le même score de prévision,

la même qualité d'exactitude de
score de risque, de quoi on parle ?

On parle de 65% dans le cas d'espèce,

c'est-à-dire qu'on a des algorithmes
qui vont dans 65% des cas

prévoir qui va récidiver,
qui ne va pas récidiver,

et qui dans 35% des cas se trompent.

65%, ce n'est pas mal,

c'est un petit peu mieux que les
juges humains, pas beaucoup mieux,

mais enfin on espère
qu'on peut faire mieux.

Ce qu'on attend du big data, c'est que,

en changeant ses formules,
en apprenant plus,

en s'entraînant mieux, en améliorant les
algorithmes, il arrive à 70, à 75, à 80.

En fait, on rêve qu'il arrive à 100.

La promesse du big data,

c'est qu'avec ses algorithmes,
il va arriver à une prévision parfaite.

C'est de ça qu'on rêve.

Si on y réfléchit deux secondes,

on voit bien que c'est un
rêve complètement irréaliste :

jamais on n'arrivera à avoir un algorithme
qui prévoira avec 100% d'exactitude,

ni même, je pense, avec
beaucoup plus de 65%,

le risque de récidive de vraies personnes
humaines qui ont un libre-arbitre.

Dans « Minority Report », ce n'était pas
un algorithme qui faisait la prévision,

c'était une espèce de créature magique.

Donc c'est un rêve qui
ne se réalisera pas,

mais c'est pourtant la quête de ce rêve,

le fantasme de la machine omnisciente,
capable de prévoir l'avenir parfaitement,

qui nous conduit à vouloir des
algorithmes toujours plus compliqués

au prix d'une complexité et d'une
opacité de plus en plus grandes,

qui créent cette réaction de rejet
que nous avons face aux algorithmes.

Le small data, ou les règles simples,
c'est le contre-pied de ce raisonnement,

c'est de se dire que dans beaucoup de cas,

on devrait faire mieux
que le jugement humain

avec des algorithmes simples,
totalement transparents,

et évidemment imparfaits -
dont on accepte l'imperfection -

parce qu'on préfère un petit
peu plus de transparence.

Et peut-être que là,

quand on aura un
algorithme de ce genre-là,

quand vous serez arrêté
sur la route aux États-Unis

et qu'on vous dira qu'un
algorithme qui va décider,

vous vous direz : « Bonne nouvelle ! »

Parce que, pour que les
algorithmes soient nos amis,

pas besoin qu'ils soient parfaits,
juste qu'ils soient meilleurs que nous.

Merci.

(Applaudissements)