Mon combat contre les algorithmes biaisés

Joy Buolamwini, doctorante au MIT, travaillait avec des logiciels de reconnaissances faciale quand elle a remarqué un problème: le logiciel ne reconnaissait pas son visage -- parce que ceux qui avaient codé l'algorithme ne lui avait pas appris à identifier une grande variété de couleurs de peau et de structures faciales. Elle s'est donné pour mission de combattre le biais algorithmique dans le machine learning, un phénomène qu'elle nomme le « regard codé ». Cette conférence fait comprendre l'importance de la responsabilité dans le développement, sachant que les algorithmes prennent de plus en plus d'importance dans nos vies.

Bonjour, je suis Joy, une poète du code

en mission pour arrêter
une force invisible qui prend de l'ampleur

une force que j'appelle
« le regard codé »,

mon terme pour le biais algorithmique.

Le biais algorithmique, comme le biais
cognitif, crée de l'injustice.

Mais les algorithmes, comme les virus,
peuvent massivement générer un biais

et ce, très rapidement.

Le biais algorithmique peut aussi
créer des sentiments d'exclusion

et mener à des pratiques discriminatoires.

Laissez-moi vous montrer
ce que je veux dire.

(Video) Joy Boulamwini : Salut
webcam. J'ai un visage.

Est-ce que tu peux le voir?

Et sans lunettes ?

Tu peux voir son visage à elle.

Et le mien ?

J'ai un masque. Est-ce que tu peux
voir mon masque ?

Joy Boulamwini : Ça, comment
est-ce arrivé ?

Pourquoi est-ce que je me retrouve
assise devant un ordinateur

portant un masque blanc

pour essayer d'être détectée
par une webcam premier prix ?

Quand je ne me bats pas
contre le regard codé

en tant que poète du code,

Je suis doctorante au Media Lab du MIT

et j'ai l'opportunité de plancher
sur plein de projets fantaisistes

dont le Miroir Aspire

que j'ai construit pour pouvoir projeter
des masques digitaux sur mon reflet.

Comme ça le matin, pour
me sentir plus forte,

je pouvais projeter un lion.

Si j'avais besoin d'encouragements,
je pouvais choisir une citation.

J'ai donc utilisé un logiciel
de reconnaissance faciale

pour construire le système,

mais j'ai réalisé que je ne pouvais pas
le tester à moins de porter un masque.

Malheureusement, j'avais déjà
rencontré ce problème.

Quand j'étais étudiante
en informatique à Georgia Tech,

je travaillais sur les robots sociaux

et l'un de mes devoirs était de programmer
un robot pour qu'il joue à « Caché »,

un jeu qui se joue à tour de rôle

dans lequel chacun couvre son visage,
puis le découvre en disant « Coucou ! »

Le problème, c'est que ce jeu ne peut
pas marcher si je ne peux pas vous voir

et mon robot ne pouvait pas me voir.

Mais j'ai emprunté le visage de ma
colocataire pour finir le projet,

j'ai rendu le devoir,

et je me suis dit que
quelqu'un d'autre résoudrait le problème.

Peu de temps après,

j'étais à Hong Kong
pour une compétition d'entrepreneuriat.

Les organisateurs ont décidé
d'emmener les participants

faire le tour des start-up locales.

L'une d'elles avait un robot social, ils
ont décidé de faire une démonstration.

Ça a marché avec tout le monde
jusqu'à ce que vienne mon tour,

et vous pouvez sans doute deviner.

Le robot ne pouvait pas
détecter mon visage.

J'ai demandé aux développeurs
ce qu'il se passait,

et en fait nous avions utilisé le même
outil de reconnaissance faciale.

À l'autre bout du monde,

j'avais appris que le biais algorithmique
peut voyager aussi rapidement

qu'un téléchargement de fichiers.

Qu'est-ce qui se passe ?
Pourquoi mon visage n'est pas détecté ?

Pour répondre, il faut comprendre comment
on donne la vue aux machines.

La vision informatique utilise
des techniques de machine learning

pour reconnaître des visages.

Pour que ça marche, vous créez un ensemble
de formation avec des exemples.

Ceci est un visage. Ceci est un visage.
Mais pas ça.

Au fur et à mesure, l'ordinateur apprend
comment reconnaître d'autres visages.

Mais si les jeux de tests
ne sont pas très variés,

n'importe quel visage qui dévie trop
de la norme établie

sera plus compliqué à détecter,

et c'était ce qui se passait avec moi.

Mais pas d'angoisse --
il y a de bonnes nouvelles.

Les jeux de tests
n'apparaissent pas par magie.

On peut les créer nous-mêmes.

Il y a la possibilité de créer
des jeux de tests plus variés

qui offrent un portrait
plus riche de l'humanité.

Vous avez vu dans mes exemples

que c'est via les robots sociaux

que je me suis rendu compte de l'existence
du biais algorithmique.

Mais le biais algorithmique peut aussi
mener à des pratiques discriminatoires.

Aux États-Unis,

la police commence à utiliser
des logiciels de reconnaissance faciale

dans son arsenal contre le crime.

Georgetown Law a publié un rapport

montrant qu'un adulte sur deux aux
États-Unis - 117 millions de personnes--

ont leur visage dans un système de
reconnaissance faciale.

La police peut en ce moment consulter
ces systèmes non régulés,

en utilisant des algorithmes
dont la fiabilité n'a pas été testée.

Mais on sait que la reconnaissance
faciale a des failles,

et que correctement étiqueter
un visage reste un défi.

Vous l'avez sûrement vu sur Facebook.

Avec mes amis, on rit souvent
quand on voit d'autres personnes

mal identifiées dans nos photos.

Mais mal identifier un suspect comme étant
un criminel n'est pas drôle,

et porter atteinte aux libertés civiles
non plus.

Le machine learning est utilisé
pour la reconnaissance faciale,

mais s'utilise dans d'autres
domaines que la vision informatique.

Dans son livre « Weapons
of Math Destruction »,

la data scientist Cathy O'Neil
parle des risques de ces nouvelles armes,

des algorithmes répandus,
mystérieux et destructeurs

qui sont de plus en plus utilisés
dans des prises de décision

qui ont un impact sur nos vies.

Qui est embauché ou renvoyé ?

Aurez-vous ce prêt ?
Une assurance ?

Serez-vous admis dans cette université
que vous voulez vraiment ?

Est-ce que vous et moi payons
le même prix pour le même produit

acheté sur la même plateforme ?

Les autorités policières commencent
à utiliser le machine learning

dans le cadre de la prévention policière.

Certains juges utilisent des scores
générés par des machines

pour déterminer combien de temps
un individu passera derrière les barreaux.

Nous devons donc réfléchir
à ces décisions.

Sont-elles justes ?

Et nous avons vu que
le biais algorithmique

ne mène pas forcément
à des décisions justes.

Que pouvons-nous faire ?

Nous pouvons commencer à penser
à une manière de coder plus inclusivement

et à utiliser des pratiques
de code plus inclusives.

Tout commence avec les gens.

Qui code a une importance.

Créons-nous des équipes
composées d'individus variés

qui puissent vérifier mutuellement
leurs travaux ?

D'un point de vue technique,
comment on code a de l'importance.

Ajoutons-nous la justice à l'équation
quand nous développons des systèmes ?

Finalement, pourquoi
on code a une importance.

Nous avons utilisé des outils numériques
pour générer d'immenses richesses.

Nous avons maintenant l'opportunité
de créer encore plus d'égalité

si nous faisons du changement
social une priorité.

et pas une préoccupation secondaire.

Ceci seront les trois piliers
du mouvement « incoding ».

Qui code a de l'importance,

la manière dont on code aussi

et pourquoi on code également.

Pour aller vers l'incoding,
nous pouvons commencer à réfléchir

à comment construire des outils
pouvant identifier ce biais

via la collecte de témoignages
comme celui que j'ai partagé,

mais qui pourraient aussi tester
des logiciels existants.

Nous pouvons commencer à créer
des jeux de tests plus complets.

Imaginez une campagne
« Selfies pour l'inclusion »,

où vous et moi pourrions aider
les développeurs à tester et créer

ces jeux de tests plus variés.

Nous pouvons commencer à penser
plus consciencieusement

à l'impact social
des technologies que nous développons.

Pour commencer le mouvement incoding,

J'ai lancé l'Algorithmic Justice League,

où n'importe qui se souciant du problème
peut aider à combattre le regard codé.

Sur codedgaze.com, vous pouvez
dénoncer des biais,

demander des tests, être testeur vous-même

et rejoindre la conversation,

#codedgaze.

Donc je vous invite à me rejoindre

pour créer un monde où la technologie
marche pour nous tous,

pas seulement pour certains,

un monde où l'inclusion
et le changement social ont de la valeur.

Merci.

(Applaudissements)

Mais j'ai une question :

Me rejoindrez-vous dans ce combat?

(Rires)

(Applaudissements)