Vous venez d'être arrêté par la police.
Vous étiez en voyage aux États-Unis.
Au bord d'une petite route, on vous a arrêté, on vous a jeté en prison,
et vous serez présenté à un juge.
On vous accuse d'un délit que, bien sûr, vous pensez que vous n'avez pas commis.
Et là on vous explique que
le juge va d’abord décider
si on vous libère sous caution en attendant le jugement,
peut-être dans plusieurs semaines,
ou si on vous garde au frais, ce qui serait peut-être bien ce soir,
pendant quelque temps.
Enfin quand même, vous préféreriez sortir.
Et voilà qu'on vous dit :
« Cette décision de vous libérer sous caution ou pas,
elle va être prise par un algorithme. »
Techniquement, c'est par un juge, mais en fait,
il y a un algorithme qui va étudier votre profil,
calculer le risque que vous présentez,
qui, en fonction de cela, va faire une recommandation au juge,
et, pratiquement toujours, le juge va suivre la recommandation.
Qu'est-ce que ça vous inspire ?
Ça vous inquiète un peu.
En général, si je parle d'algorithmes, ça jette un froid,
mais on est très inquiets dès qu'on nous parle d'algorithmes.
L'an dernier en France,
on a eu deux grands rapports sur l’IA et les big data,
par la CNIL et par la Commission Villani.
Les deux ont pris le même exemple,
celui dont j'ai parlé,
un algorithme américain d'aide à la décision judiciaire, Compas,
pour expliquer, dans les deux cas avec la même formule,
qu'il est très important que l'homme garde la main,
qu'on ne laisse pas les algorithmes décider à notre place.
Et c'est un sujet important, parce que, dans tous les domaines de notre vie,
ils prennent une place de plus en plus importante.
Si vous avez passé le bac cette année,
c'est un algorithme qui décide quelles études vous allez faire.
Et quand vous aurez fini vos études, que vous chercherez un job,
vous enverrez des CV : c'est sans doute un algorithme qui les triera.
Ensuite peut-être même que l'entretien que vous passerez, si votre CV a été trié,
sera analysé en vidéo par un algorithme,
ça commence à être de plus en plus fréquent.
Puis si vous avez le job, il faudra une voiture pour y aller.
Alors il faudra un crédit -
c'est un algorithme qui décidera -
puis une assurance - un algorithme fixera le prix de de la prime d'assurance -
et ainsi de suite jusqu'au jour où vous serez percuté par une voiture,
dont l'algorithme aura décidé qu'il valait mieux vous tuer vous que vous.
Puisqu'on nous explique que les voitures autonomes
vont être pilotées par des algorithmes qui feront ce genre de calculs.
Bref,
on nous décrit sans cesse un monde où on va être les victimes des algorithmes,
un peu comme les passagers du vaisseau de « 2001, l'Odyssée de l'espace »,
sont sous l'emprise de l'ordinateur, vous vous rappelez ?
Je voudrais vous inviter à reconsidérer cette vision,
à questionner cette aversion aux algorithmes que nous avons,
et peut-être même à changer d'avis sur les algorithmes.
Qu'est-ce qu'on reproche aux algorithmes, dans toutes ces histoires ?
La 1e chose qu'on leur reproche très souvent, c'est d'avoir des biais.
Vous avez entendu parler des biais algorithmiques.
Par exemple,
le fameux algorithme Compas dont je vous parlais
a été étudié par des journalistes de ProPublica,
grand organisme de journalisme d'investigation,
qui ont démontré que l'algorithme est raciste
puisqu'il se trompe plus souvent au détriment des Noirs que des Blancs,
et plus souvent en faveur des Blancs qu'en faveur des Noirs.
Donc c'est un algorithme qui est biaisé.
On vous a peut-être parlé d'un algorithme de recrutement
qu'Amazon a dû cesser d'utiliser
parce que l'algorithme avait été entraîné sur des données existantes
et donc, comme Amazon avait recruté beaucoup d'hommes dans le passé,
l'algorithme préférait les profils d'hommes aux profils de femmes,
et donc l'algorithme était sexiste.
Peut-être avez entendu parler de ces algorithmes de reconnaissance faciale
qui sont assez bons pour reconnaître les blancs
mais qui sont très mauvais pour reconnaître les noirs.
Bref, il y a des algorithmes qui ont des biais.
Et soyons clairs, c'est vrai.
Ces algorithmes,
même si, certains de ces exemples ont été exagérés,
ces algorithmes biaisés existent.
Rien de plus facile d'ailleurs que de fabriquer un algorithme biaisé.
Mais, quand on dit : « Il existe des algorithmes biaisés,
donc il faut se méfier de tous les algorithmes, »
est-ce qu'on n'est pas en train de commettre la même erreur de logique
que les racistes qui utilisent un stéréotype ?
On est en train, en fait, de reprocher aux algorithmes de faire des stéréotypes,
en utilisant un stéréotype contre les algorithmes.
C'est quand même un peu bizarre.
La question n'est pas :
« Y a-t-il des algorithmes biaisés ? » - bien sûr qu'il y en a - mais :
« Est-ce qu'on peut faire des algorithmes qui ne le soient pas ? »
ou qui en tout cas le soient moins que nous.
Il faut arrêter de se comparer à un idéal
et se demander ce que ferait les humains auxquels on compare ces algorithmes.
Et là, c'est intéressant.
Prenez les juges américains, puisque c'est d'eux dont on parlait.
Il y a une étude sur les juges de l'immigration aux États-Unis
qui montre qu'il y a des disparités considérables entre deux juges
qui ont la même population de demandeurs.
Dans un cas extrême,
en Floride, dans la même ville,
dans le même tribunal, vous avez deux juges,
auxquels les demandeurs d'asile sont affectés aléatoirement,
Il y en a un qui accorde 4% des demandes, l'autre 88%.
Ce n'est pas un biais, ça ?
Vous pensez que l'algorithme est pire ?
Dans tous les domaines où on regarde le jugement humain, on trouve ces biais.
Exemple au bureau des brevets américains ; vous direz : « Pas très grave. »
Mais si vous êtes l'inventeur qui dépose un brevet,
ça vous embête un peu
qu'il y ait des employés qui donnent deux fois moins de brevets que d'autres.
Plus embêtant :
si vous avez à faire un jour au service
qui s'occupe de venir décider
si vous êtes un mauvais parent et si on va vous retirer vos enfants,
en fonction du travailleur social,
vous avez des écarts là aussi qui vont de un à trois.
Donc les biais des algorithmes sont un vrai problème,
mais enfin, les biais des humains sont un vrai problème aussi.
Pour que ils soient aussi biaisés que les humains,
il faudrait que les algorithmes soient vraiment très très très biaisés.
On a un autre problème, qui est en fait beaucoup plus important :
même les humains les plus biaisés
ne se trompent pas seulement dans le sens de leurs biais.
Le biais, c'est une erreur prévisible, une erreur qu'on commet pour une raison.
Mais on peut aussi se tromper sans raison.
Prenez le recruteur sexiste,
qui va recruter beaucoup plus d'hommes que de femmes,
déjà, c'est une erreur,
mais vous pensez que parmi les hommes, il va recruter les bons ?
S'il n'est pas très malin, il n'y a pas de raison qu'il recrute les meilleurs hommes.
Il va se tromper aussi dans ses choix à l'intérieur d'une catégorie.
Et cette erreur sans raison qu'on soit capable d'identifier clairement,
c'est ce qu'on appelle le bruit, c'est l'erreur aléatoire.
Le biais, c'est l'erreur directionnelle, explicable ;
le bruit, c'est l'erreur qu'on ne sait pas expliquer, l'erreur aléatoire.
L'exemple le plus frappant, pour vous en donner une représentation tangible,
c'est quand on prend la même personne en lui demandant de faire le même jugement,
à partir des mêmes données,
à deux moments différents.
Il y a par exemple des études sur les radiologues.
On leur montre une radio,
qu'en fait ils ont déjà vue il y a quelques mois.
Ils en ont vu des centaines depuis, donc ils ne se souviennent pas de la radio.
Et dans un nombre non négligeable de cas,
leur jugement, leur diagnostic, va changer entre les deux fois.
Ou bien prenez un exemple encore plus étonnant :
les experts en empreintes digitales.
Quand vous leur soumettez
l'empreinte relevée sur la scène du crime
et l'empreinte prélevée sur le suspect,
en lui demandant de tremper son doigt dans l'encre,
en leur demandant si ça correspond.
Ils vous disent oui ou non.
Vous leur montrez les mêmes empreintes des mois plus tard -
là aussi, ils en ont vu des centaines entretemps -
dans un nombre non négligeable de cas, statistiquement significatifs,
leur jugement va changer.
Donc ce jugement humain qu'on croit fiable,
qu'on croit stable,
en fait, il a une grande composante de bruit,
il a une grande composante d'aléatoire.
Pourquoi c'est important ?
Parce que l'algorithme, c'est ça, sa force : lui, il n'a pas de bruit.
Si on donne à l'algorithme les mêmes données, il donne la même réponse.
Donc il peut avoir des biais,
mais il en aura moins que la plupart des humains,
et surtout il n'aura pas de bruit,
donc fera beaucoup moins d'erreurs que les humains.
C'est ce qui explique sa supériorité.
Mais je ne vous sens pas convaincus. (Rires)
Vous ne voulez toujours pas
que ça soit un algorithme qui vous juge sur le bord de la route en Louisiane.
Non, vous n'en avez pas envie.
Je crois que je sais pourquoi.
C'est parce que l'algorithme, on ne comprend pas ce que c'est.
C'est opaque, ce n'est pas transparent -
le jugement humain non plus d'ailleurs -
mais être jugé par un homme ou par une femme,
vous savez à peu près comment ça fonctionne.
Un algorithme,
c'est mystérieux, c'est une boîte noire.
En fait,
on vous demande d'aimer une espèce de saucisse
sans vous dire quels sont ses ingrédients
et sans vous montrer l'usine où elle a été fabriquée.
Ce n'est pas très appétissant.
En fait, on voudrait un algorithme qui ne ressemble pas une saucisse,
mais qui ressemble à une assiette de crudités bio :
on sait exactement ce qu'on a devant nous, c'est complètement transparent.
Mais peut-être que dans certains cas, c'est possible.
Je reprends mon exemple de l'algorithme Compas,
ce fameux algorithme de décision judiciaire américain.
Il est basé sur 137 critères.
Alors ça, c'est du big data.
On va triturer 137 informations sur chaque prévenu
pour calculer un score de risque de récidive.
Et évidemment la formule qui va faire ce calcul est secrète,
puisque propriété de l'entreprise privée
qui met cet algorithme
à la disposition des tribunaux des différents États américains.
Donc ce n'est pas transparent du tout.
Voilà que cinq chercheurs américains, de Stanford et de NYU,
se disent : « Et si on essayait un truc ?
Si on prenait les deux critères parmi ces 137,
les deux paramètres seulement,
dont on sait, d'après toutes les études de criminologie,
que ce sont les meilleurs prédicteurs de la récidive. »
Qu'est-ce que c'est ?
L'âge du prévenu
et le nombre de condamnations qu'il a déjà sur son casier judiciaire.
Qu'est-ce qu'on serait capable de prévoir comme risque de récidive
en utilisant simplement ces deux paramètres
et en les combinant d'une manière très simple, de manière linéaire ?
Eh bien avec ces deux paramètres,
ils arrivent à exactement la même fiabilité de prévision
que les 137 critères de Compas.
Vous avez avec ce small data
avec très peu de données, avec une règle simple,
la même qualité de prévision
que vous aviez avec l'énorme complexité de la moulinette du big data.
Et ça, sur le principe,
on le sait en fait depuis très longtemps, depuis une soixantaine d'années.
Pourquoi on ne le fait pas plus ? Pourquoi on ne voit pas du small data partout ?
Pourquoi on nous parle tout le temps de big data ?
Parce que c'est juste un exemple, ça ne marche pas à tous les coups -
il faudrait chercher.
Mais aussi,
et surtout je crois, parce que,
quand je vous dis que ça atteint le même score de prévision,
la même qualité d'exactitude de score de risque, de quoi on parle ?
On parle de 65% dans le cas d'espèce,
c'est-à-dire qu'on a des algorithmes qui vont dans 65% des cas
prévoir qui va récidiver, qui ne va pas récidiver,
et qui dans 35% des cas se trompent.
65%, ce n'est pas mal,
c'est un petit peu mieux que les juges humains, pas beaucoup mieux,
mais enfin on espère qu'on peut faire mieux.
Ce qu'on attend du big data, c'est que,
en changeant ses formules, en apprenant plus,
en s'entraînant mieux, en améliorant les algorithmes, il arrive à 70, à 75, à 80.
En fait, on rêve qu'il arrive à 100.
La promesse du big data,
c'est qu'avec ses algorithmes, il va arriver à une prévision parfaite.
C'est de ça qu'on rêve.
Si on y réfléchit deux secondes,
on voit bien que c'est un rêve complètement irréaliste :
jamais on n'arrivera à avoir un algorithme qui prévoira avec 100% d'exactitude,
ni même, je pense, avec beaucoup plus de 65%,
le risque de récidive de vraies personnes humaines qui ont un libre-arbitre.
Dans « Minority Report », ce n'était pas un algorithme qui faisait la prévision,
c'était une espèce de créature magique.
Donc c'est un rêve qui ne se réalisera pas,
mais c'est pourtant la quête de ce rêve,
le fantasme de la machine omnisciente, capable de prévoir l'avenir parfaitement,
qui nous conduit à vouloir des algorithmes toujours plus compliqués
au prix d'une complexité et d'une opacité de plus en plus grandes,
qui créent cette réaction de rejet que nous avons face aux algorithmes.
Le small data, ou les règles simples, c'est le contre-pied de ce raisonnement,
c'est de se dire que dans beaucoup de cas,
on devrait faire mieux que le jugement humain
avec des algorithmes simples, totalement transparents,
et évidemment imparfaits - dont on accepte l'imperfection -
parce qu'on préfère un petit peu plus de transparence.
Et peut-être que là,
quand on aura un algorithme de ce genre-là,
quand vous serez arrêté sur la route aux États-Unis
et qu'on vous dira qu'un algorithme qui va décider,
vous vous direz : « Bonne nouvelle ! »
Parce que, pour que les algorithmes soient nos amis,
pas besoin qu'ils soient parfaits, juste qu'ils soient meilleurs que nous.
Merci.
(Applaudissements)