Bonjour, je suis Joy, une poète du code
en mission pour arrêter
une force invisible qui prend de l'ampleur
une force que j'appelle
« le regard codé »,
mon terme pour le biais algorithmique.
Le biais algorithmique, comme le biais
cognitif, crée de l'injustice.
Mais les algorithmes, comme les virus,
peuvent massivement générer un biais
et ce, très rapidement.
Le biais algorithmique peut aussi
créer des sentiments d'exclusion
et mener à des pratiques discriminatoires.
Laissez-moi vous montrer
ce que je veux dire.
(Video) Joy Boulamwini : Salut
webcam. J'ai un visage.
Est-ce que tu peux le voir?
Et sans lunettes ?
Tu peux voir son visage à elle.
Et le mien ?
J'ai un masque. Est-ce que tu peux
voir mon masque ?
Joy Boulamwini : Ça, comment
est-ce arrivé ?
Pourquoi est-ce que je me retrouve
assise devant un ordinateur
portant un masque blanc
pour essayer d'être détectée
par une webcam premier prix ?
Quand je ne me bats pas
contre le regard codé
en tant que poète du code,
Je suis doctorante au Media Lab du MIT
et j'ai l'opportunité de plancher
sur plein de projets fantaisistes
dont le Miroir Aspire
que j'ai construit pour pouvoir projeter
des masques digitaux sur mon reflet.
Comme ça le matin, pour
me sentir plus forte,
je pouvais projeter un lion.
Si j'avais besoin d'encouragements,
je pouvais choisir une citation.
J'ai donc utilisé un logiciel
de reconnaissance faciale
pour construire le système,
mais j'ai réalisé que je ne pouvais pas
le tester à moins de porter un masque.
Malheureusement, j'avais déjà
rencontré ce problème.
Quand j'étais étudiante
en informatique à Georgia Tech,
je travaillais sur les robots sociaux
et l'un de mes devoirs était de programmer
un robot pour qu'il joue à « Caché »,
un jeu qui se joue à tour de rôle
dans lequel chacun couvre son visage,
puis le découvre en disant « Coucou ! »
Le problème, c'est que ce jeu ne peut
pas marcher si je ne peux pas vous voir
et mon robot ne pouvait pas me voir.
Mais j'ai emprunté le visage de ma
colocataire pour finir le projet,
j'ai rendu le devoir,
et je me suis dit que
quelqu'un d'autre résoudrait le problème.
Peu de temps après,
j'étais à Hong Kong
pour une compétition d'entrepreneuriat.
Les organisateurs ont décidé
d'emmener les participants
faire le tour des start-up locales.
L'une d'elles avait un robot social, ils
ont décidé de faire une démonstration.
Ça a marché avec tout le monde
jusqu'à ce que vienne mon tour,
et vous pouvez sans doute deviner.
Le robot ne pouvait pas
détecter mon visage.
J'ai demandé aux développeurs
ce qu'il se passait,
et en fait nous avions utilisé le même
outil de reconnaissance faciale.
À l'autre bout du monde,
j'avais appris que le biais algorithmique
peut voyager aussi rapidement
qu'un téléchargement de fichiers.
Qu'est-ce qui se passe ?
Pourquoi mon visage n'est pas détecté ?
Pour répondre, il faut comprendre comment
on donne la vue aux machines.
La vision informatique utilise
des techniques de machine learning
pour reconnaître des visages.
Pour que ça marche, vous créez un ensemble
de formation avec des exemples.
Ceci est un visage. Ceci est un visage.
Mais pas ça.
Au fur et à mesure, l'ordinateur apprend
comment reconnaître d'autres visages.
Mais si les jeux de tests
ne sont pas très variés,
n'importe quel visage qui dévie trop
de la norme établie
sera plus compliqué à détecter,
et c'était ce qui se passait avec moi.
Mais pas d'angoisse --
il y a de bonnes nouvelles.
Les jeux de tests
n'apparaissent pas par magie.
On peut les créer nous-mêmes.
Il y a la possibilité de créer
des jeux de tests plus variés
qui offrent un portrait
plus riche de l'humanité.
Vous avez vu dans mes exemples
que c'est via les robots sociaux
que je me suis rendu compte de l'existence
du biais algorithmique.
Mais le biais algorithmique peut aussi
mener à des pratiques discriminatoires.
Aux États-Unis,
la police commence à utiliser
des logiciels de reconnaissance faciale
dans son arsenal contre le crime.
Georgetown Law a publié un rapport
montrant qu'un adulte sur deux aux
États-Unis - 117 millions de personnes--
ont leur visage dans un système de
reconnaissance faciale.
La police peut en ce moment consulter
ces systèmes non régulés,
en utilisant des algorithmes
dont la fiabilité n'a pas été testée.
Mais on sait que la reconnaissance
faciale a des failles,
et que correctement étiqueter
un visage reste un défi.
Vous l'avez sûrement vu sur Facebook.
Avec mes amis, on rit souvent
quand on voit d'autres personnes
mal identifiées dans nos photos.
Mais mal identifier un suspect comme étant
un criminel n'est pas drôle,
et porter atteinte aux libertés civiles
non plus.
Le machine learning est utilisé
pour la reconnaissance faciale,
mais s'utilise dans d'autres
domaines que la vision informatique.
Dans son livre « Weapons
of Math Destruction »,
la data scientist Cathy O'Neil
parle des risques de ces nouvelles armes,
des algorithmes répandus,
mystérieux et destructeurs
qui sont de plus en plus utilisés
dans des prises de décision
qui ont un impact sur nos vies.
Qui est embauché ou renvoyé ?
Aurez-vous ce prêt ?
Une assurance ?
Serez-vous admis dans cette université
que vous voulez vraiment ?
Est-ce que vous et moi payons
le même prix pour le même produit
acheté sur la même plateforme ?
Les autorités policières commencent
à utiliser le machine learning
dans le cadre de la prévention policière.
Certains juges utilisent des scores
générés par des machines
pour déterminer combien de temps
un individu passera derrière les barreaux.
Nous devons donc réfléchir
à ces décisions.
Sont-elles justes ?
Et nous avons vu que
le biais algorithmique
ne mène pas forcément
à des décisions justes.
Que pouvons-nous faire ?
Nous pouvons commencer à penser
à une manière de coder plus inclusivement
et à utiliser des pratiques
de code plus inclusives.
Tout commence avec les gens.
Qui code a une importance.
Créons-nous des équipes
composées d'individus variés
qui puissent vérifier mutuellement
leurs travaux ?
D'un point de vue technique,
comment on code a de l'importance.
Ajoutons-nous la justice à l'équation
quand nous développons des systèmes ?
Finalement, pourquoi
on code a une importance.
Nous avons utilisé des outils numériques
pour générer d'immenses richesses.
Nous avons maintenant l'opportunité
de créer encore plus d'égalité
si nous faisons du changement
social une priorité.
et pas une préoccupation secondaire.
Ceci seront les trois piliers
du mouvement « incoding ».
Qui code a de l'importance,
la manière dont on code aussi
et pourquoi on code également.
Pour aller vers l'incoding,
nous pouvons commencer à réfléchir
à comment construire des outils
pouvant identifier ce biais
via la collecte de témoignages
comme celui que j'ai partagé,
mais qui pourraient aussi tester
des logiciels existants.
Nous pouvons commencer à créer
des jeux de tests plus complets.
Imaginez une campagne
« Selfies pour l'inclusion »,
où vous et moi pourrions aider
les développeurs à tester et créer
ces jeux de tests plus variés.
Nous pouvons commencer à penser
plus consciencieusement
à l'impact social
des technologies que nous développons.
Pour commencer le mouvement incoding,
J'ai lancé l'Algorithmic Justice League,
où n'importe qui se souciant du problème
peut aider à combattre le regard codé.
Sur codedgaze.com, vous pouvez
dénoncer des biais,
demander des tests, être testeur vous-même
et rejoindre la conversation,
#codedgaze.
Donc je vous invite à me rejoindre
pour créer un monde où la technologie
marche pour nous tous,
pas seulement pour certains,
un monde où l'inclusion
et le changement social ont de la valeur.
Merci.
(Applaudissements)
Mais j'ai une question :
Me rejoindrez-vous dans ce combat?
(Rires)
(Applaudissements)