1
00:00:01,041 --> 00:00:04,175
Hola, soy Joy, una poetisa del código,

2
00:00:04,199 --> 00:00:09,192
en una misión para frenar
una fuerza invisible que crece,

3
00:00:09,216 --> 00:00:12,072
una fuerza que llamo "mirada codificada",

4
00:00:12,096 --> 00:00:15,405
mi término para el sesgo algorítmico.

5
00:00:15,429 --> 00:00:19,729
El sesgo algorítmico, como el humano,
se traduce en injusticia.

6
00:00:19,753 --> 00:00:25,775
Pero, los algoritmos, como los virus,
pueden propagar sesgos a gran escala

7
00:00:25,799 --> 00:00:27,381
a un ritmo acelerado.

8
00:00:27,943 --> 00:00:32,330
El sesgo algorítmico puede también
generar experiencias de exclusión

9
00:00:32,354 --> 00:00:34,482
y prácticas discriminatorias.

10
00:00:34,506 --> 00:00:36,567
Les mostraré lo que quiero decir.

11
00:00:36,980 --> 00:00:39,756
(Video) Joy Buolamwini: Hola, cámara.
Tengo una cara.

12
00:00:40,162 --> 00:00:42,026
¿Puedes ver mi cara?

13
00:00:42,051 --> 00:00:43,676
¿Sin lentes?

14
00:00:43,701 --> 00:00:45,915
Puedes ver su cara.

15
00:00:46,237 --> 00:00:48,482
¿Qué tal mi cara?

16
00:00:51,890 --> 00:00:55,640
Tengo una máscara. ¿Puedes verla?

17
00:00:56,474 --> 00:00:58,839
Joy Buolamwini: ¿Cómo ocurrió esto?

18
00:00:58,863 --> 00:01:02,004
¿Por qué estoy ante una computadora

19
00:01:02,028 --> 00:01:03,452
con una máscara blanca,

20
00:01:03,476 --> 00:01:07,126
intentando que una cámara
barata me detecte?

21
00:01:07,150 --> 00:01:09,441
Cuando no lucho
contra la mirada codificada

22
00:01:09,465 --> 00:01:10,985
como poetisa del código,

23
00:01:11,009 --> 00:01:14,281
soy estudiante de posgrado
en el Laboratorio de Medios del MIT,

24
00:01:14,305 --> 00:01:19,222
y allí puedo trabajar
en todo tipo de proyectos caprichosos,

25
00:01:19,246 --> 00:01:21,273
incluso el Aspire Mirror,

26
00:01:21,297 --> 00:01:26,431
un proyecto que realicé para proyectar
máscaras digitales en mi propio reflejo.

27
00:01:26,455 --> 00:01:28,805
Entonces, de mañana,
si quería sentirme poderosa,

28
00:01:28,829 --> 00:01:30,263
podía convertirme en león.

29
00:01:30,287 --> 00:01:33,783
Si quería inspiración,
podía usar una cita.

30
00:01:33,807 --> 00:01:36,796
Entonces, usé el software
de reconocimiento facial

31
00:01:36,820 --> 00:01:38,171
para crear el sistema,

32
00:01:38,195 --> 00:01:43,298
pero me resultó muy difícil probarlo
sin colocarme una máscara blanca.

33
00:01:44,282 --> 00:01:48,628
Desafortunadamente, ya tuve
este problema antes.

34
00:01:48,652 --> 00:01:52,955
Cuando era estudiante de informática
en Georgia Tech,

35
00:01:52,979 --> 00:01:55,034
solía trabajar con robots sociales,

36
00:01:55,058 --> 00:01:58,835
y una de mis tareas fue lograr
que un robot jugara a esconderse,

37
00:01:58,859 --> 00:02:00,456
un juego de turnos simple

38
00:02:00,456 --> 00:02:04,997
donde las personas cubren sus rostros y
luego las descubren diciendo: "Aquí está".

39
00:02:04,997 --> 00:02:09,340
El problema es que el juego
no funciona, si no te pueden ver

40
00:02:09,364 --> 00:02:11,863
y el robot no me veía.

41
00:02:11,887 --> 00:02:15,837
Pero usé el rostro de mi compañera
para terminar el proyecto,

42
00:02:15,861 --> 00:02:17,241
entregué la tarea,

43
00:02:17,265 --> 00:02:21,018
y pensé que otra persona
resolvería este problema.

44
00:02:21,669 --> 00:02:23,672
Al poco tiempo,

45
00:02:23,696 --> 00:02:27,855
me encontraba en Hong Kong
en una competencia de emprendedores.

46
00:02:28,339 --> 00:02:31,033
Los organizadores decidieron
llevar a los participantes

47
00:02:31,057 --> 00:02:33,429
a un recorrido
por empresas locales emergentes.

48
00:02:33,453 --> 00:02:36,168
Una de ellas tenía un robot social,

49
00:02:36,192 --> 00:02:38,104
y decidieron hacer una demostración.

50
00:02:38,128 --> 00:02:41,108
La demostración funcionó bien
hasta que llegó mi turno,

51
00:02:41,132 --> 00:02:43,055
y probablemente pueden adivinar.

52
00:02:43,079 --> 00:02:46,044
No pudo detectar mi rostro.

53
00:02:46,068 --> 00:02:48,579
Pregunté a los desarrolladores qué pasaba,

54
00:02:48,603 --> 00:02:54,136
y resultó que habíamos usado el mismo
software genérico de reconocimiento.

55
00:02:54,160 --> 00:02:55,810
Al otro lado del mundo,

56
00:02:55,834 --> 00:02:59,686
aprendí que el sesgo algorítmico
puede viajar tan rápido

57
00:02:59,710 --> 00:03:02,880
como el tiempo que lleva
descargar archivos de Internet.

58
00:03:03,745 --> 00:03:06,821
Entonces, ¿qué sucede?
¿Por qué no se detecta mi rostro?

59
00:03:06,845 --> 00:03:10,201
Bueno, debemos pensar
cómo hacemos que las máquinas vean.

60
00:03:10,225 --> 00:03:13,634
La visión por computadora
usa técnicas de aprendizaje de máquina

61
00:03:13,658 --> 00:03:15,538
para el reconocimiento facial.

62
00:03:15,562 --> 00:03:19,459
Se trabaja así, creando una serie
de prueba con ejemplos de rostros.

63
00:03:19,483 --> 00:03:22,301
Esto es un rostro. Esto es un rostro.
Esto no lo es.

64
00:03:22,325 --> 00:03:26,844
Con el tiempo, puedes enseñar
a una computadora a reconocer rostros.

65
00:03:26,868 --> 00:03:30,857
Sin embargo, si las series de prueba
no son realmente diversas,

66
00:03:30,881 --> 00:03:34,230
todo rostro que se desvíe mucho
de la norma establecida

67
00:03:34,254 --> 00:03:35,903
será más difícil de detectar,

68
00:03:35,927 --> 00:03:37,890
que es lo que me sucedía a mí.

69
00:03:37,914 --> 00:03:40,296
Pero no se preocupen,
tengo buenas noticias.

70
00:03:40,320 --> 00:03:43,091
Las series de prueba
no se materializan de la nada.

71
00:03:43,115 --> 00:03:44,903
En verdad las podemos crear.

72
00:03:44,927 --> 00:03:49,103
Por ende, se pueden crear
series de prueba con espectros completos

73
00:03:49,127 --> 00:03:52,951
que reflejen de manera más exhaustiva
un retrato de la humanidad.

74
00:03:52,975 --> 00:03:55,196
Ya han visto en mis ejemplos

75
00:03:55,220 --> 00:03:56,988
cómo con los robots sociales

76
00:03:57,012 --> 00:04:01,623
me enteré de la exclusión
por el sesgo algorítmico.

77
00:04:01,647 --> 00:04:06,462
Además, el sesgo algorítmico
puede generar prácticas discriminatorias.

78
00:04:07,437 --> 00:04:08,890
En EE.UU.

79
00:04:08,914 --> 00:04:13,112
los departamentos de policía incorporan
software de reconocimiento facial

80
00:04:13,136 --> 00:04:15,595
en su arsenal
para la lucha contra el crimen.

81
00:04:15,619 --> 00:04:17,632
Georgetown publicó un informe

82
00:04:17,656 --> 00:04:24,419
que muestra que uno de cada dos adultos
en EE.UU., 117 millones de personas,

83
00:04:24,443 --> 00:04:27,977
tiene sus rostros en redes
de reconocimiento facial.

84
00:04:28,001 --> 00:04:32,553
Los departamentos de policía hoy
tienen acceso a esas redes no reguladas,

85
00:04:32,577 --> 00:04:36,863
mediante algoritmos cuya exactitud
no ha sido testeada.

86
00:04:36,887 --> 00:04:40,751
Sabemos que el reconocimiento facial
no es a prueba de fallas

87
00:04:40,775 --> 00:04:44,954
y etiquetar rostros de forma consistente
aún es un desafío.

88
00:04:44,978 --> 00:04:46,740
Tal vez lo han visto en Facebook.

89
00:04:46,764 --> 00:04:49,752
Mis amigos y yo nos reímos,
cuando vemos a otros

90
00:04:49,776 --> 00:04:52,234
mal etiquetados en nuestras fotos.

91
00:04:52,258 --> 00:04:57,849
Pero identificar mal a un sospechoso
no es un tema para reírse,

92
00:04:57,873 --> 00:05:00,700
tampoco lo es violar la libertad civil.

93
00:05:00,724 --> 00:05:03,929
El aprendizaje automático se usa
para el reconocimiento facial,

94
00:05:03,953 --> 00:05:08,458
pero también se está extendiendo
al campo de la visión por computadora.

95
00:05:09,266 --> 00:05:13,282
En su libro, "Armas de
destrucción matemática",

96
00:05:13,306 --> 00:05:19,987
la científica de datos Cathy O'Neil
habla sobre los nuevos WMDs,

97
00:05:20,011 --> 00:05:24,364
algoritmos amplios,
misteriosos y destructivos

98
00:05:24,388 --> 00:05:27,352
que se usan cada vez más
para tomar decisiones

99
00:05:27,376 --> 00:05:30,553
que influyen sobre muchos aspectos
de nuestras vidas.

100
00:05:30,577 --> 00:05:32,447
¿A quién se contrata o se despide?

101
00:05:32,471 --> 00:05:34,583
¿Recibes el préstamo?
¿Y la cobertura de seguros?

102
00:05:34,607 --> 00:05:38,110
¿Eres aceptado en la universidad
a la que deseas entrar?

103
00:05:38,134 --> 00:05:41,643
¿Tú y yo pagamos el mismo precio
por el mismo producto

104
00:05:41,667 --> 00:05:44,109
comprado en la misma plataforma?

105
00:05:44,133 --> 00:05:47,892
La aplicación de la ley también empieza
a usar el aprendizaje de máquina

106
00:05:47,916 --> 00:05:50,199
para la predicción de la policía.

107
00:05:50,199 --> 00:05:54,123
Algunos jueces usan puntajes de riesgo
generados por máquinas para determinar

108
00:05:54,123 --> 00:05:58,149
cuánto tiempo un individuo
permanecerá en prisión.

109
00:05:58,173 --> 00:06:00,627
Así que hay que pensar
sobre estas decisiones.

110
00:06:00,651 --> 00:06:01,833
¿Son justas?

111
00:06:01,857 --> 00:06:04,747
Y hemos visto que el sesgo algorítmico

112
00:06:04,771 --> 00:06:08,145
no necesariamente lleva siempre
a resultados justos.

113
00:06:08,169 --> 00:06:10,133
Entonces, ¿qué podemos hacer al respecto?

114
00:06:10,157 --> 00:06:13,837
Bueno, podemos empezar a pensar en
cómo creamos un código más inclusivo

115
00:06:13,861 --> 00:06:16,851
y emplear prácticas
de codificación inclusivas.

116
00:06:16,875 --> 00:06:19,184
Realmente empieza con la gente.

117
00:06:19,708 --> 00:06:21,669
Con los que codifican cosas.

118
00:06:21,693 --> 00:06:25,656
¿Estamos creando equipos de
amplio espectro con diversidad de personas

119
00:06:25,656 --> 00:06:28,247
que pueden comprobar
los puntos ciegos de los demás?

120
00:06:28,271 --> 00:06:31,816
Desde el punto de vista técnico,
importa cómo codificamos.

121
00:06:31,840 --> 00:06:35,491
¿Lo gestionamos con equidad
al desarrollar los sistemas?

122
00:06:35,515 --> 00:06:38,428
Y finalmente, importa por qué
codificamos.

123
00:06:38,495 --> 00:06:40,892
Hemos usado herramientas informáticas

124
00:06:40,892 --> 00:06:43,892
para generar una riqueza inmensa.

125
00:06:43,892 --> 00:06:48,339
Ahora tenemos la oportunidad de generar
una igualdad aún más grande

126
00:06:48,363 --> 00:06:51,293
si hacemos del cambio social una prioridad

127
00:06:51,317 --> 00:06:53,487
y no solo un pensamiento.

128
00:06:54,008 --> 00:06:58,530
Estos son los tres principios que 
constituirán el movimiento "codificador".

129
00:06:58,554 --> 00:07:00,206
Quién codifica importa,

130
00:07:00,230 --> 00:07:01,773
cómo codificamos importa,

131
00:07:01,797 --> 00:07:03,820
y por qué codificamos importa.

132
00:07:03,844 --> 00:07:06,943
Así que, para abordar la codificación,
podemos empezar a pensar

133
00:07:06,967 --> 00:07:10,131
en construir plataformas
que puedan identificar sesgos

134
00:07:10,155 --> 00:07:13,233
reuniendo experiencias de la gente
como las que compartí,

135
00:07:13,257 --> 00:07:16,327
pero también auditando
el software existente.

136
00:07:16,351 --> 00:07:20,116
También podemos crear
grupos de formación más inclusivos.

137
00:07:20,140 --> 00:07:22,943
Imaginen una campaña de
"Selfies por la inclusión"

138
00:07:22,967 --> 00:07:26,622
donde Uds. y yo podamos ayudar 
a los desarrolladores a crear

139
00:07:26,646 --> 00:07:28,739
grupos de formación más inclusivos.

140
00:07:29,302 --> 00:07:32,130
Y también podemos empezar a pensar
más concienzudamente

141
00:07:32,154 --> 00:07:37,545
sobre el impacto social de la tecnología
que estamos desarrollando.

142
00:07:37,569 --> 00:07:39,962
Para iniciar el movimiento
de codificación,

143
00:07:39,986 --> 00:07:42,833
creé la Liga de la Justicia algorítmica,

144
00:07:42,857 --> 00:07:45,329
donde todo el que
se preocupa por la equidad

145
00:07:45,330 --> 00:07:48,729
puede ayudar a combatir
la mirada codificada.

146
00:07:48,753 --> 00:07:52,049
En codedgaze.com
pueden informar sesgos,

147
00:07:52,073 --> 00:07:54,518
solicitar auditorías,
convertirse en un betatesters

148
00:07:54,542 --> 00:07:57,313
y unirse a la conversación en curso,

149
00:07:57,337 --> 00:07:59,624
#codedgaze.

150
00:08:00,742 --> 00:08:03,229
Así que los invito a que se unan a mí

151
00:08:03,253 --> 00:08:06,972
para crear un mundo donde la tecnología
trabaje para todos nosotros,

152
00:08:06,996 --> 00:08:08,893
no solo para algunos de nosotros,

153
00:08:08,917 --> 00:08:13,429
un mundo donde se valore la inclusión
y así centrar el cambio social.

154
00:08:13,429 --> 00:08:14,719
Gracias.

155
00:08:14,719 --> 00:08:18,508
(Aplausos)

156
00:08:20,936 --> 00:08:23,447
Pero tengo una pregunta:

157
00:08:23,727 --> 00:08:25,817
¿Se unirán a mí en mi lucha?

158
00:08:25,817 --> 00:08:27,031
(Risas)

159
00:08:27,031 --> 00:08:29,470
(Aplausos)