1
00:00:13,781 --> 00:00:16,915
Olá, meu nome é Joy,
sou uma "poetisa dos códigos",

2
00:00:16,939 --> 00:00:21,932
e minha missão é deter
uma força invisível e que tem crescido,

3
00:00:21,956 --> 00:00:24,812
uma força que chamo
de "olhar codificado",

4
00:00:24,836 --> 00:00:28,145
minha forma de chamar o viés algorítmico.

5
00:00:28,169 --> 00:00:32,469
Tal como o preconceito humano,
ele resulta em desigualdade.

6
00:00:32,493 --> 00:00:35,299
Porém, os algoritmos, assim como os vírus,

7
00:00:35,329 --> 00:00:40,121
podem espalhar o viés
em grande escala e rapidamente.

8
00:00:40,683 --> 00:00:45,070
O viés algorítmico também
pode levar a experiências de exclusão

9
00:00:45,094 --> 00:00:47,222
e a práticas discriminatórias.

10
00:00:47,246 --> 00:00:49,307
Vou mostrar o que quero dizer.

11
00:00:50,060 --> 00:00:52,326
(Vídeo) Joy Boulamwini:
Oi, câmera. Tenho um rosto.

12
00:00:53,062 --> 00:00:54,766
Consegue ver meu rosto?

13
00:00:55,071 --> 00:00:56,876
Um rosto sem óculos?

14
00:00:58,351 --> 00:01:00,275
Você consegue ver o rosto dela...

15
00:01:00,847 --> 00:01:02,642
E o meu?

16
00:01:06,619 --> 00:01:10,179
Estou usando uma máscara. Consegue vê-la?

17
00:01:11,814 --> 00:01:14,119
Joy Boulamwini: Como isso aconteceu?

18
00:01:14,133 --> 00:01:18,794
Por que estou diante de um computador,
usando uma máscara branca,

19
00:01:18,824 --> 00:01:22,196
tentando ser detectada
por uma câmera barata?

20
00:01:22,220 --> 00:01:24,781
Bom, quando não estou lutando
contra o olhar codificado

21
00:01:24,805 --> 00:01:26,325
como poetisa dos códigos,

22
00:01:26,349 --> 00:01:29,621
faço pós-graduação
no Laboratório de Mídia do MIT,

23
00:01:29,645 --> 00:01:34,562
onde tenho a oportunidade de trabalhar
em diversos projetos bacanas,

24
00:01:34,576 --> 00:01:36,613
inclusive o "Aspire Mirror",

25
00:01:36,637 --> 00:01:41,771
projeto que criei para poder projetar
máscaras digitais sobre meu reflexo.

26
00:01:41,795 --> 00:01:45,395
De manhã, se eu quisesse me sentir
poderosa, poderia usar uma de leão.

27
00:01:45,407 --> 00:01:49,123
Se precisasse de uma inspiração,
usaria uma citação.

28
00:01:49,147 --> 00:01:52,136
Então, usei um software genérico
de reconhecimento facial

29
00:01:52,160 --> 00:01:53,511
para criar o sistema,

30
00:01:53,535 --> 00:01:58,638
mas descobri que era bem difícil testá-lo,
a não ser que usasse uma máscara branca.

31
00:01:59,622 --> 00:02:03,968
Infelizmente, já tive esse problema antes.

32
00:02:03,992 --> 00:02:08,294
Quando cursava minha graduação
em ciência da computação na Georgia Tech,

33
00:02:08,318 --> 00:02:10,374
eu trabalhava com robôs sociais,

34
00:02:10,398 --> 00:02:14,175
e uma das minhas tarefas era fazer com que
um robô brincasse de "Achou!",

35
00:02:14,199 --> 00:02:16,052
um jogo simples de revezamento

36
00:02:16,072 --> 00:02:20,537
em que uma pessoa cobre o rosto e depois
o mostra à outra, dizendo: "Achou!"

37
00:02:20,557 --> 00:02:25,000
O problema é que a brincadeira
não dá certo se você não vê o outro,

38
00:02:25,020 --> 00:02:27,443
e meu robô não me via.

39
00:02:27,467 --> 00:02:31,487
Aí, peguei emprestado o rosto
de uma amiga para fazer o projeto,

40
00:02:31,507 --> 00:02:32,941
entreguei a tarefa

41
00:02:32,951 --> 00:02:36,358
e pensei: "Sabe de uma coisa?
Outra pessoa vai resolver esse problema".

42
00:02:37,369 --> 00:02:39,262
Não muito tempo depois,

43
00:02:39,292 --> 00:02:43,195
eu estava em Hong Kong,
em uma competição de empreendedorismo.

44
00:02:43,929 --> 00:02:46,753
Os organizadores decidiram
levar os participantes

45
00:02:46,783 --> 00:02:49,039
pra visitar "start-ups" locais.

46
00:02:49,059 --> 00:02:53,678
Uma das start-ups tinha um robô social,
e eles decidiram fazer uma demonstração.

47
00:02:53,688 --> 00:02:55,412
A demonstração funcionou com todos,

48
00:02:55,442 --> 00:02:58,665
até que chegou a minha vez
e, como vocês já podem imaginar,

49
00:02:58,685 --> 00:03:01,704
ele não detectou meu rosto.

50
00:03:01,724 --> 00:03:04,139
Perguntei aos desenvolvedores por quê,

51
00:03:04,149 --> 00:03:09,726
e descobri que usaram o mesmo software
genérico de reconhecimento facial que eu.

52
00:03:09,746 --> 00:03:13,580
Do outro lado do mundo,
descobri que o viés algorítmico

53
00:03:13,590 --> 00:03:18,510
consegue viajar tão rápido
quanto um download da internet.

54
00:03:19,165 --> 00:03:22,501
O que estava acontecendo?
Por que meu rosto não era detectado?

55
00:03:22,511 --> 00:03:25,861
Bem, precisamos analisar
como damos "visão" às máquinas.

56
00:03:25,881 --> 00:03:29,304
A visão de computador utiliza
técnicas de aprendizagem automática

57
00:03:29,334 --> 00:03:31,098
para fazer o reconhecimento facial.

58
00:03:31,118 --> 00:03:34,939
Funciona assim: você cria uma série
de treinamento, com alguns rostos.

59
00:03:34,959 --> 00:03:37,851
"Isto é um rosto. Isto é um rosto.
Isto não é um rosto."

60
00:03:37,871 --> 00:03:42,184
Com o tempo, você ensina o computador
a reconhecer outros rostos.

61
00:03:42,558 --> 00:03:46,547
Porém, se as séries não forem
diversificadas o bastante,

62
00:03:46,571 --> 00:03:49,920
qualquer rosto que seja
muito diferente dos demais

63
00:03:49,944 --> 00:03:53,593
será mais difícil de detectar,
e era isso que acontecia comigo.

64
00:03:53,604 --> 00:03:55,986
Mas não se preocupem. Tenho boas notícias.

65
00:03:56,010 --> 00:03:58,781
As séries de treinamento
não surgem do nada.

66
00:03:58,805 --> 00:04:00,593
Nós é que as criamos.

67
00:04:00,617 --> 00:04:04,793
Então, podemos criar
séries de amplo espectro,

68
00:04:04,817 --> 00:04:08,641
que reflitam rostos humanos
de forma mais diversa.

69
00:04:08,665 --> 00:04:10,886
Vocês já viram nos exemplos que dei

70
00:04:10,910 --> 00:04:12,678
como os robôs sociais

71
00:04:12,702 --> 00:04:17,313
me fizeram ver a exclusão causada
pelo viés algorítmico,

72
00:04:17,337 --> 00:04:22,152
mas o viés algorítmico também
pode acarretar práticas discriminatórias.

73
00:04:23,127 --> 00:04:24,580
Em todos os Estados Unidos,

74
00:04:24,604 --> 00:04:28,802
departamentos de polícia estão começando
a usar softwares de reconhecimento facial

75
00:04:28,826 --> 00:04:31,285
como parte de seu arsenal
na luta contra o crime.

76
00:04:31,309 --> 00:04:33,322
A Georgetown Law publicou um relatório

77
00:04:33,346 --> 00:04:40,109
mostrando que um em cada dois adultos
nos EUA, ou seja, 117 milhões de pessoas,

78
00:04:40,133 --> 00:04:43,667
tiveram seus rostos incluídos
em redes de reconhecimento facial.

79
00:04:43,691 --> 00:04:48,243
Hoje, os departamentos de polícia podem
usar essas redes sem qualquer regulação,

80
00:04:48,267 --> 00:04:52,553
usando algoritmos que não tiveram
sua precisão auditada.

81
00:04:52,577 --> 00:04:56,441
Ainda assim, sabemos que
o reconhecimento facial não é infalível,

82
00:04:56,465 --> 00:05:00,468
e identificar rostos de forma consistente
continua sendo um desafio.

83
00:05:00,488 --> 00:05:02,390
Talvez já tenham visto isso no Facebook.

84
00:05:02,404 --> 00:05:05,442
Eu e meus amigos rimos o tempo todo
quando vemos outras pessoas

85
00:05:05,466 --> 00:05:07,924
sendo marcadas incorretamente
em nossas fotos.

86
00:05:07,948 --> 00:05:13,539
Mas errar na identificação de um suspeito
de crime não é nada engraçado,

87
00:05:13,563 --> 00:05:16,390
nem violar liberdades civis.

88
00:05:16,414 --> 00:05:19,619
A aprendizagem automática vem sendo
usada no reconhecimento facial,

89
00:05:19,643 --> 00:05:24,148
mas também vem se expandindo
além da visão de computador.

90
00:05:24,956 --> 00:05:28,972
Em seu livro "Weapons 
of Math Destruction",

91
00:05:28,996 --> 00:05:35,677
a cientista de dados Cathy O'Neil
fala sobre a ascensão dos novos "DMDs",

92
00:05:35,701 --> 00:05:40,054
os algoritmos "disseminados,
misteriosos e destrutivos",

93
00:05:40,078 --> 00:05:43,042
que têm sido cada vez mais utilizados
na tomada de decisões

94
00:05:43,066 --> 00:05:46,243
que impactam mais aspectos
das nossas vidas.

95
00:05:46,267 --> 00:05:48,137
Quem será contratado ou demitido?

96
00:05:48,161 --> 00:05:50,273
Vai conseguir aquele
empréstimo, ou seguro?

97
00:05:50,297 --> 00:05:53,800
Vai entrar na faculdade que você queria?

98
00:05:53,824 --> 00:05:57,333
Eu e você pagamos o mesmo valor
pelo mesmo produto

99
00:05:57,357 --> 00:05:59,799
vendido na mesma loja?

100
00:05:59,823 --> 00:06:03,582
A segurança pública também está começando
a usar a aprendizagem automática

101
00:06:03,606 --> 00:06:05,895
no policiamento preditivo.

102
00:06:05,919 --> 00:06:08,773
Alguns juízes utilizam índices
de risco gerados por máquinas

103
00:06:08,797 --> 00:06:13,839
para determinar quanto tempo
um indivíduo ficará na prisão.

104
00:06:13,863 --> 00:06:17,447
Temos realmente que refletir
sobre essas decisões. Será que são justas?

105
00:06:17,467 --> 00:06:23,837
E já vimos que o viés algorítmico
nem sempre leva a resultados justos.

106
00:06:23,859 --> 00:06:25,823
Então, o que podemos fazer?

107
00:06:25,847 --> 00:06:29,527
Bem, podemos começar a pensar
em como criar codificação mais inclusiva

108
00:06:29,551 --> 00:06:32,541
e adotar práticas
de codificação inclusivas.

109
00:06:32,565 --> 00:06:34,874
Tudo começa com pessoas.

110
00:06:35,398 --> 00:06:37,359
Então, é importante saber quem codifica.

111
00:06:37,383 --> 00:06:41,502
Estamos criando equipes diversificadas,
com indivíduos diferentes

112
00:06:41,526 --> 00:06:43,937
que possam verificar
pontos cegos uns dos outros?

113
00:06:43,961 --> 00:06:47,506
Quanto ao aspecto técnico,
a forma como codificamos é relevante.

114
00:06:47,530 --> 00:06:51,181
Estamos levando em conta a equidade
no desenvolvimento de sistemas?

115
00:06:51,205 --> 00:06:54,118
Finalmente, a razão pela qual
codificamos é relevante.

116
00:06:54,475 --> 00:06:59,558
Utilizamos ferramentas de criação
computacional para gerar imensas riquezas.

117
00:06:59,582 --> 00:07:04,029
Hoje temos a oportunidade
de gerar igualdade ainda maior,

118
00:07:04,053 --> 00:07:06,983
se considerarmos a mudança social
como uma prioridade

119
00:07:07,007 --> 00:07:09,177
e não como algo de menos importância.

120
00:07:09,698 --> 00:07:14,220
Esses são os três princípios na criação
do movimento pela codificação inclusiva.

121
00:07:14,244 --> 00:07:15,896
É importante quem codifica,

122
00:07:15,920 --> 00:07:17,463
é importante como se codifica

123
00:07:17,487 --> 00:07:19,510
e é importante por que se codifica.

124
00:07:19,534 --> 00:07:22,543
Então, para uma codificação inclusiva,
podemos começar a pensar

125
00:07:22,557 --> 00:07:25,681
na criação de plataformas
que identifiquem o viés,

126
00:07:25,705 --> 00:07:28,923
coletando as experiências das pessoas,
como as que eu contei aqui,

127
00:07:28,947 --> 00:07:32,017
mas também auditando
softwares já existentes.

128
00:07:32,041 --> 00:07:35,806
Também podemos começar a criar
séries de treinamento mais inclusivas.

129
00:07:35,830 --> 00:07:38,633
Imaginem uma campanha
de "'Selfies' pela Inclusão",

130
00:07:38,657 --> 00:07:41,526
em que eu e vocês possamos ajudar
os desenvolvedores a testar

131
00:07:41,526 --> 00:07:44,429
e criar séries de treinamento
mais inclusivas.

132
00:07:44,992 --> 00:07:47,820
Também podemos começar
a pensar de forma mais consciente

133
00:07:47,844 --> 00:07:53,099
sobre o impacto social das tecnologias
que temos desenvolvido.

134
00:07:53,119 --> 00:07:55,652
Para iniciarmos o movimento
de codificação inclusiva

135
00:07:55,676 --> 00:07:58,523
lancei a Liga da Justiça Algorítmica,

136
00:07:58,547 --> 00:08:04,419
onde todos que se importem com a equidade
podem lutar contra o olhar codificado.

137
00:08:04,443 --> 00:08:07,739
Em codedgaze.com,
vocês podem relatar vieses,

138
00:08:07,763 --> 00:08:10,208
solicitar auditorias,
participar dos testes

139
00:08:10,232 --> 00:08:13,003
e se juntar ao debate que vem ocorrendo,

140
00:08:13,027 --> 00:08:15,314
#codedgaze.

141
00:08:16,432 --> 00:08:18,919
Convido vocês a se juntarem a mim

142
00:08:18,943 --> 00:08:22,662
na criação de um mundo onde a tecnologia
trabalhe em favor de todos,

143
00:08:22,686 --> 00:08:24,583
não apenas em favor de alguns.

144
00:08:24,607 --> 00:08:29,445
Um mundo onde valorizemos a inclusão
e tenhamos a mudança social como foco.

145
00:08:29,445 --> 00:08:30,634
Obrigada.

146
00:08:30,634 --> 00:08:33,542
(Aplausos)

147
00:08:41,454 --> 00:08:44,289
Mas tenho uma pergunta:

148
00:08:44,309 --> 00:08:46,368
Vocês vão se juntar a mim nessa luta?

149
00:08:46,388 --> 00:08:47,652
(Risos)

150
00:08:47,682 --> 00:08:49,569
(Aplausos)