WEBVTT 00:00:01.041 --> 00:00:04.175 Hola, soy Joy, una poetisa del código, 00:00:04.199 --> 00:00:09.192 en una misión para frenar una fuerza invisible que crece, 00:00:09.216 --> 00:00:12.072 una fuerza que llamo "mirada codificada", 00:00:12.096 --> 00:00:15.405 mi término para el sesgo algorítmico. NOTE Paragraph 00:00:15.429 --> 00:00:19.729 El sesgo algorítmico, como el humano, se traduce en injusticia. 00:00:19.753 --> 00:00:25.775 Pero, los algoritmos, como los virus, pueden propagar sesgos a gran escala 00:00:25.799 --> 00:00:27.381 a un ritmo acelerado. 00:00:27.943 --> 00:00:32.330 El sesgo algorítmico puede también generar experiencias de exclusión 00:00:32.354 --> 00:00:34.482 y prácticas discriminatorias. 00:00:34.506 --> 00:00:36.567 Les mostraré lo que quiero decir. NOTE Paragraph 00:00:36.980 --> 00:00:39.756 (Video) Joy Buolamwini: Hola, cámara. Tengo una cara. 00:00:40.162 --> 00:00:42.026 ¿Puedes ver mi cara? 00:00:42.051 --> 00:00:43.676 ¿Sin lentes? 00:00:43.701 --> 00:00:45.915 Puedes ver su cara. 00:00:46.237 --> 00:00:48.482 ¿Qué tal mi cara? 00:00:51.890 --> 00:00:55.640 Tengo una máscara. ¿Puedes verla? NOTE Paragraph 00:00:56.474 --> 00:00:58.839 Joy Buolamwini: ¿Cómo ocurrió esto? 00:00:58.863 --> 00:01:02.004 ¿Por qué estoy ante una computadora 00:01:02.028 --> 00:01:03.452 con una máscara blanca, 00:01:03.476 --> 00:01:07.126 intentando que una cámara barata me detecte? 00:01:07.150 --> 00:01:09.441 Cuando no lucho contra la mirada codificada 00:01:09.465 --> 00:01:10.985 como poetisa del código, 00:01:11.009 --> 00:01:14.281 soy estudiante de posgrado en el Laboratorio de Medios del MIT, 00:01:14.305 --> 00:01:19.222 y allí puedo trabajar en todo tipo de proyectos caprichosos, 00:01:19.246 --> 00:01:21.273 incluso el Aspire Mirror, 00:01:21.297 --> 00:01:26.431 un proyecto que realicé para proyectar máscaras digitales en mi propio reflejo. 00:01:26.455 --> 00:01:28.805 Entonces, de mañana, si quería sentirme poderosa, 00:01:28.829 --> 00:01:30.263 podía convertirme en león. 00:01:30.287 --> 00:01:33.783 Si quería inspiración, podía usar una cita. 00:01:33.807 --> 00:01:36.796 Entonces, usé el software de reconocimiento facial 00:01:36.820 --> 00:01:38.171 para crear el sistema, 00:01:38.195 --> 00:01:43.298 pero me resultó muy difícil probarlo sin colocarme una máscara blanca. NOTE Paragraph 00:01:44.282 --> 00:01:48.628 Desafortunadamente, ya tuve este problema antes. 00:01:48.652 --> 00:01:52.955 Cuando era estudiante de informática en Georgia Tech, 00:01:52.979 --> 00:01:55.034 solía trabajar con robots sociales, 00:01:55.058 --> 00:01:58.835 y una de mis tareas fue lograr que un robot jugara a esconderse, 00:01:58.859 --> 00:02:00.456 un juego de turnos simple 00:02:00.456 --> 00:02:04.997 donde las personas cubren sus rostros y luego las descubren diciendo: "Aquí está". 00:02:04.997 --> 00:02:09.340 El problema es que el juego no funciona, si no te pueden ver 00:02:09.364 --> 00:02:11.863 y el robot no me veía. 00:02:11.887 --> 00:02:15.837 Pero usé el rostro de mi compañera para terminar el proyecto, 00:02:15.861 --> 00:02:17.241 entregué la tarea, 00:02:17.265 --> 00:02:21.018 y pensé que otra persona resolvería este problema. NOTE Paragraph 00:02:21.669 --> 00:02:23.672 Al poco tiempo, 00:02:23.696 --> 00:02:27.855 me encontraba en Hong Kong en una competencia de emprendedores. 00:02:28.339 --> 00:02:31.033 Los organizadores decidieron llevar a los participantes 00:02:31.057 --> 00:02:33.429 a un recorrido por empresas locales emergentes. 00:02:33.453 --> 00:02:36.168 Una de ellas tenía un robot social, 00:02:36.192 --> 00:02:38.104 y decidieron hacer una demostración. 00:02:38.128 --> 00:02:41.108 La demostración funcionó bien hasta que llegó mi turno, 00:02:41.132 --> 00:02:43.055 y probablemente pueden adivinar. 00:02:43.079 --> 00:02:46.044 No pudo detectar mi rostro. 00:02:46.068 --> 00:02:48.579 Pregunté a los desarrolladores qué pasaba, 00:02:48.603 --> 00:02:54.136 y resultó que habíamos usado el mismo software genérico de reconocimiento. 00:02:54.160 --> 00:02:55.810 Al otro lado del mundo, 00:02:55.834 --> 00:02:59.686 aprendí que el sesgo algorítmico puede viajar tan rápido 00:02:59.710 --> 00:03:02.880 como el tiempo que lleva descargar archivos de Internet. NOTE Paragraph 00:03:03.745 --> 00:03:06.821 Entonces, ¿qué sucede? ¿Por qué no se detecta mi rostro? 00:03:06.845 --> 00:03:10.201 Bueno, debemos pensar cómo hacemos que las máquinas vean. 00:03:10.225 --> 00:03:13.634 La visión por computadora usa técnicas de aprendizaje de máquina 00:03:13.658 --> 00:03:15.538 para el reconocimiento facial. 00:03:15.562 --> 00:03:19.459 Se trabaja así, creando una serie de prueba con ejemplos de rostros. 00:03:19.483 --> 00:03:22.301 Esto es un rostro. Esto es un rostro. Esto no lo es. 00:03:22.325 --> 00:03:26.844 Con el tiempo, puedes enseñar a una computadora a reconocer rostros. 00:03:26.868 --> 00:03:30.857 Sin embargo, si las series de prueba no son realmente diversas, 00:03:30.881 --> 00:03:34.230 todo rostro que se desvíe mucho de la norma establecida 00:03:34.254 --> 00:03:35.903 será más difícil de detectar, 00:03:35.927 --> 00:03:37.890 que es lo que me sucedía a mí. NOTE Paragraph 00:03:37.914 --> 00:03:40.296 Pero no se preocupen, tengo buenas noticias. 00:03:40.320 --> 00:03:43.091 Las series de prueba no se materializan de la nada. 00:03:43.115 --> 00:03:44.903 En verdad las podemos crear. 00:03:44.927 --> 00:03:49.103 Por ende, se pueden crear series de prueba con espectros completos 00:03:49.127 --> 00:03:52.951 que reflejen de manera más exhaustiva un retrato de la humanidad. NOTE Paragraph 00:03:52.975 --> 00:03:55.196 Ya han visto en mis ejemplos 00:03:55.220 --> 00:03:56.988 cómo con los robots sociales 00:03:57.012 --> 00:04:01.623 me enteré de la exclusión por el sesgo algorítmico. 00:04:01.647 --> 00:04:06.462 Además, el sesgo algorítmico puede generar prácticas discriminatorias. 00:04:07.437 --> 00:04:08.890 En EE.UU. 00:04:08.914 --> 00:04:13.112 los departamentos de policía incorporan software de reconocimiento facial 00:04:13.136 --> 00:04:15.595 en su arsenal para la lucha contra el crimen. 00:04:15.619 --> 00:04:17.632 Georgetown publicó un informe 00:04:17.656 --> 00:04:24.419 que muestra que uno de cada dos adultos en EE.UU., 117 millones de personas, 00:04:24.443 --> 00:04:27.977 tiene sus rostros en redes de reconocimiento facial. 00:04:28.001 --> 00:04:32.553 Los departamentos de policía hoy tienen acceso a esas redes no reguladas, 00:04:32.577 --> 00:04:36.863 mediante algoritmos cuya exactitud no ha sido testeada. 00:04:36.887 --> 00:04:40.751 Sabemos que el reconocimiento facial no es a prueba de fallas 00:04:40.775 --> 00:04:44.954 y etiquetar rostros de forma consistente aún es un desafío. 00:04:44.978 --> 00:04:46.740 Tal vez lo han visto en Facebook. 00:04:46.764 --> 00:04:49.752 Mis amigos y yo nos reímos, cuando vemos a otros 00:04:49.776 --> 00:04:52.234 mal etiquetados en nuestras fotos. 00:04:52.258 --> 00:04:57.849 Pero identificar mal a un sospechoso no es un tema para reírse, 00:04:57.873 --> 00:05:00.700 tampoco lo es violar la libertad civil. NOTE Paragraph 00:05:00.724 --> 00:05:03.929 El aprendizaje automático se usa para el reconocimiento facial, 00:05:03.953 --> 00:05:08.458 pero también se está extendiendo al campo de la visión por computadora. 00:05:09.266 --> 00:05:13.282 En su libro, "Armas de destrucción matemática", 00:05:13.306 --> 00:05:19.987 la científica de datos Cathy O'Neil habla sobre los nuevos WMDs, 00:05:20.011 --> 00:05:24.364 algoritmos amplios, misteriosos y destructivos 00:05:24.388 --> 00:05:27.352 que se usan cada vez más para tomar decisiones 00:05:27.376 --> 00:05:30.553 que influyen sobre muchos aspectos de nuestras vidas. 00:05:30.577 --> 00:05:32.447 ¿A quién se contrata o se despide? 00:05:32.471 --> 00:05:34.583 ¿Recibes el préstamo? ¿Y la cobertura de seguros? 00:05:34.607 --> 00:05:38.110 ¿Eres aceptado en la universidad a la que deseas entrar? 00:05:38.134 --> 00:05:41.643 ¿Tú y yo pagamos el mismo precio por el mismo producto 00:05:41.667 --> 00:05:44.109 comprado en la misma plataforma? NOTE Paragraph 00:05:44.133 --> 00:05:47.892 La aplicación de la ley también empieza a usar el aprendizaje de máquina 00:05:47.916 --> 00:05:50.199 para la predicción de la policía. 00:05:50.199 --> 00:05:54.123 Algunos jueces usan puntajes de riesgo generados por máquinas para determinar 00:05:54.123 --> 00:05:58.149 cuánto tiempo un individuo permanecerá en prisión. 00:05:58.173 --> 00:06:00.627 Así que hay que pensar sobre estas decisiones. 00:06:00.651 --> 00:06:01.833 ¿Son justas? 00:06:01.857 --> 00:06:04.747 Y hemos visto que el sesgo algorítmico 00:06:04.771 --> 00:06:08.145 no necesariamente lleva siempre a resultados justos. NOTE Paragraph 00:06:08.169 --> 00:06:10.133 Entonces, ¿qué podemos hacer al respecto? 00:06:10.157 --> 00:06:13.837 Bueno, podemos empezar a pensar en cómo creamos un código más inclusivo 00:06:13.861 --> 00:06:16.851 y emplear prácticas de codificación inclusivas. 00:06:16.875 --> 00:06:19.184 Realmente empieza con la gente. 00:06:19.708 --> 00:06:21.669 Con los que codifican cosas. 00:06:21.693 --> 00:06:25.656 ¿Estamos creando equipos de amplio espectro con diversidad de personas 00:06:25.656 --> 00:06:28.247 que pueden comprobar los puntos ciegos de los demás? 00:06:28.271 --> 00:06:31.816 Desde el punto de vista técnico, importa cómo codificamos. 00:06:31.840 --> 00:06:35.491 ¿Lo gestionamos con equidad al desarrollar los sistemas? 00:06:35.515 --> 00:06:38.428 Y finalmente, importa por qué codificamos. 00:06:38.495 --> 00:06:40.892 Hemos usado herramientas informáticas 00:06:40.892 --> 00:06:43.892 para generar una riqueza inmensa. 00:06:43.892 --> 00:06:48.339 Ahora tenemos la oportunidad de generar una igualdad aún más grande 00:06:48.363 --> 00:06:51.293 si hacemos del cambio social una prioridad 00:06:51.317 --> 00:06:53.487 y no solo un pensamiento. 00:06:54.008 --> 00:06:58.530 Estos son los tres principios que constituirán el movimiento "codificador". 00:06:58.554 --> 00:07:00.206 Quién codifica importa, 00:07:00.230 --> 00:07:01.773 cómo codificamos importa, 00:07:01.797 --> 00:07:03.820 y por qué codificamos importa. NOTE Paragraph 00:07:03.844 --> 00:07:06.943 Así que, para abordar la codificación, podemos empezar a pensar 00:07:06.967 --> 00:07:10.131 en construir plataformas que puedan identificar sesgos 00:07:10.155 --> 00:07:13.233 reuniendo experiencias de la gente como las que compartí, 00:07:13.257 --> 00:07:16.327 pero también auditando el software existente. 00:07:16.351 --> 00:07:20.116 También podemos crear grupos de formación más inclusivos. 00:07:20.140 --> 00:07:22.943 Imaginen una campaña de "Selfies por la inclusión" 00:07:22.967 --> 00:07:26.622 donde Uds. y yo podamos ayudar a los desarrolladores a crear 00:07:26.646 --> 00:07:28.739 grupos de formación más inclusivos. 00:07:29.302 --> 00:07:32.130 Y también podemos empezar a pensar más concienzudamente 00:07:32.154 --> 00:07:37.545 sobre el impacto social de la tecnología que estamos desarrollando. NOTE Paragraph 00:07:37.569 --> 00:07:39.962 Para iniciar el movimiento de codificación, 00:07:39.986 --> 00:07:42.833 creé la Liga de la Justicia algorítmica, 00:07:42.857 --> 00:07:45.329 donde todo el que se preocupa por la equidad 00:07:45.330 --> 00:07:48.729 puede ayudar a combatir la mirada codificada. 00:07:48.753 --> 00:07:52.049 En codedgaze.com pueden informar sesgos, 00:07:52.073 --> 00:07:54.518 solicitar auditorías, convertirse en un betatesters 00:07:54.542 --> 00:07:57.313 y unirse a la conversación en curso, 00:07:57.337 --> 00:07:59.624 #codedgaze. NOTE Paragraph 00:08:00.742 --> 00:08:03.229 Así que los invito a que se unan a mí 00:08:03.253 --> 00:08:06.972 para crear un mundo donde la tecnología trabaje para todos nosotros, 00:08:06.996 --> 00:08:08.893 no solo para algunos de nosotros, 00:08:08.917 --> 00:08:13.429 un mundo donde se valore la inclusión y así centrar el cambio social. NOTE Paragraph 00:08:13.429 --> 00:08:14.719 Gracias. NOTE Paragraph 00:08:14.719 --> 00:08:18.508 (Aplausos) NOTE Paragraph 00:08:20.936 --> 00:08:23.447 Pero tengo una pregunta: 00:08:23.727 --> 00:08:25.817 ¿Se unirán a mí en mi lucha? NOTE Paragraph 00:08:25.817 --> 00:08:27.031 (Risas) NOTE Paragraph 00:08:27.031 --> 00:08:29.470 (Aplausos)