Hola, soy Joy, un poeta de código,
en una misión para detener una
fuerza invisible que está surgiendo,
una fuerza que yo llamé
"la mirada codificada",
mi término para el sesgo algorítmico.
El sesgo algorítmico, como el sesgo
humano, resulta en injusticia.
Sin embargo, los algoritmos,
como los virus, pueden propagar el sesgo
en una escala masiva a un ritmo rápido.
El sesgo algorítmico también puede
conducir a experiencias de exclusión
y a prácticas discriminatorias.
Déjame mostrarte lo que quiero decir.
(Video) Joy Boulamwini: Hola, cámara.
Tengo una cara.
¿Puedes ver mi cara?
¿Cara sin gafas?
Puedes ver su cara.
¿Qué hay de mi cara?
(Risas)
Tengo una máscara. ¿Puedes ver mi máscara?
Joy Boulamwini: ¿Cómo sucedió esto?
¿Por qué estoy sentado
frente a una computadora
con una máscara blanca,
tratando de ser detectado
por una webcam barata?
Bueno, cuando no estoy luchando
la mirada codificada
como un poeta de código,
Soy un estudiante graduado
en el MIT Media Lab,
y allí tengo la oportunidad de trabajar
en todo tipo de proyectos caprichosos,
incluyendo el Aspire Mirror,
un proyecto que hice para poder proyectar
máscaras digitales en mi reflexión.
Así que por la mañana,
si quería sentirme poderoso,
podría ponerme un león.
Si yo quería motivarme,
podría tener una frase.
Así que utilicé el software de
reconocimiento facial genérico
para construir el sistema,
pero encontré que era muy difícil probarlo
a menos que llevara una máscara blanca.
Desafortunadamente, he encontrado
este problema antes.
Cuando era estudiante de Georgia Tech
estudiando informática,
solía trabajar en robots sociales,
y una de mis tareas era conseguir
que un robot jugara a escondidas,
un simple juego de turnos
donde los participantes cubren su cara y
luego la descubre diciendo: "¡Peek-a-boo!"
El problema es que escondidas realmente
no funciona si no puedo verte,
y mi robot no podía verme.
Pero pedí prestado el rostro de mi
compañero para hacer el proyecto,
presenté la tarea,
y pensé, ya sabes qué, alguien
más resolverá este problema.
No mucho tiempo después,
estuve en Hong Kong para
una competencia empresarial.
Los organizadores decidieron
llevar a los participantes
a una gira de empresas locales
de nueva creación.
Una de las primeras tenía un robot social,
y decidieron hacer una demo.
El demo funcionó en todo el
mundo hasta que llegó a mí,
y probablemente se puede adivinar.
No podía detectar mi cara.
Le pregunté a los desarrolladores
lo que estaba pasando,
y resultó que habíamos usado
el mismo software genérico
de reconocimiento facial.
A través de la mitad del mundo,
aprendí que el sesgo algorítmico
puede viajar tan rápidamente
como se necesita para descargar
algunos archivos fuera de Internet.
Entonces, ¿qué está pasando?
¿Por qué no se detecta mi rostro?
Bueno, tenemos que mirar
cómo damos a las máquinas la vista.
La visión por computadora utiliza
técnicas de aprendizaje de la máquina
para hacer reconocimiento facial.
Así que esto funciona, se crea un conjunto
de entrenamiento con ejemplos de caras.
Esta es una cara. Esta es una cara.
Esto no es una cara.
Y con el tiempo, uno puede enseñar a una
computadora cómo reconocer otras caras.
Sin embargo, si los conjuntos de practica
no son realmente tan diversos,
cualquier cara que se desvía demasiado
de la norma establecida
será más difícil de detectar,
que es lo que me estaba sucediendo.
Pero no te preocupes, hay buenas noticias.
Las series de practica no sólo
se materializan de la nada.
En realidad podemos crearlos.
Así que existe la oportunidad de crear
series de practica de espectro completo
que reflejen un retrato
más rico de la humanidad.
Ahora Uds. han visto en mis ejemplos
cómo los robots sociales
eran cómo descubrí sobre
la exclusión con sesgo algorítmico.
Pero el sesgo algorítmico también puede
conducir a prácticas discriminatorias.
En todo EE. UU.
los departamentos de policía comenzaron a
usar el software de reconocimiento facial
en su arsenal de lucha contra el crimen.
La ley de Georgetown publicó
un informe que muestra que
uno de cada dos adultos es de EE. UU.,
es decir, 117 millones de personas,
tienen sus caras en redes
de reconocimiento facial.
Los departamentos de policía pueden
ahora mirar estas redes no reguladas,
usando algoritmos que no han sido
auditados para la exactitud.
Sin embargo, sabemos que el
reconocimiento facial no es infalible,
y el etiquetado de las caras
sigue siendo un desafío.
Puede que lo hayan visto en Facebook.
Mis amigos y yo siempre nos reímos
cuando vemos a otras personas
mal etiquetadas en nuestras fotos.
Pero identificar erróneamente a un
presunto delincuente no es motivo de risa,
ni violar las libertades civiles.
Aprendizaje de la máquina se utiliza
para el reconocimiento facial,
pero también se extiende más allá
del ámbito de la visión por ordenador.
En su libro,
"Armas de Destrucción de Matemáticas",
la científica de datos Cathy O'Neil
habla sobre el surgimiento
de nuevas armas de destrucción masiva:
algoritmos extendidos,
misteriosos y destructivos
que se utilizan cada vez más
para tomar decisiones
que afectan más aspectos
de nuestras vidas.
Entonces,
¿quién es contratado o despedido?
¿Tienes ese préstamo?
¿Tienes seguro?
¿Es Ud. admitido en la universidad
en la que quería entrar?
¿Pagamos Ud. y yo el mismo
precio por el mismo producto
comprado en la misma plataforma?
La aplicación de la ley también comienza
a utilizar el inteligencia artificial.
Para la predicción de la política.
Algunos jueces usan puntajes de riesgo
generados por la máquina para determinar
cuánto tiempo un individuo
va a pasar en prisión.
Así que realmente tenemos
que pensar en estas decisiones.
¿Son justas?
Y hemos visto que el sesgo algorítmico
no necesariamente conduce
siempre a resultados justos.
Entonces, ¿qué podemos hacer al respecto?
Bueno, podemos empezar a pensar
en cómo crear un código más inclusivo
y emplear prácticas
de codificación inclusivas.
Realmente empieza con la gente.
Entonces, quién codifica las cosas.
¿Estamos creando equipos de espectro
completo con personas diversas
que pueden revisar los
puntos ciegos de los demás?
Desde el punto de vista técnico,
cómo codificamos las cosas.
¿Estamos teniendo en cuenta la equidad
cuando estamos desarrollando sistemas?
Y finalmente, por qué
codificamos las cosas.
Hemos utilizado herramientas
de creación computacional
para desbloquear inmensa riqueza.
Ahora tenemos la oportunidad
de desbloquear una igualdad aún mayor
si hacemos del cambio social una prioridad
y no una reflexión tardía.
Y así estos son los tres principios que
conformarán el movimiento "incodificador".
Quien codifica cosas,
cómo codificamos cosas
y por qué codificamos cosas.
Así que para ir hacia la codificación,
podemos empezar a pensar
en la construcción de plataformas
que pueden identificar prejuicios
recopilando experiencias de las
personas como las que compartí,
sino también la auditoría
de software existente.
También podemos comenzar a crear
conjuntos de formación más inclusivos.
Imagine una campaña
"Selfies for Inclusion"
donde Ud. y yo podemos ayudar a los
desarrolladores a probar y crear
conjuntos de entrenamiento más inclusivos.
Y también podemos empezar
a pensar más conscientemente
sobre el impacto social de la tecnología
que estamos desarrollando.
Para iniciar el movimiento
de incodificación,
he lanzado la Algorithmic Justice League,
donde cualquier persona
que se preocupa por la justicia
puede ayudar a combatir
la mirada codificada.
En codedgaze.com, puede reportar sesgos,
solicitar auditorías,
convertirse en un probador
y unirse a la conversación en curso,
#codedgaze.
Así que los invito a unirse a mí
en la creación de un mundo donde la
tecnología funcione para todos nosotros,
no sólo para algunos de nosotros,
un mundo donde valoramos la inclusión
y el centro del cambio social.
Gracias.
(Aplausos)
Pero tengo una pregunta:
¿Te unirás a mí en la pelea?
(Risas)
(Aplausos)