0:00:01.041,0:00:04.175
Olá, sou Joy, uma "poetisa dos códigos",

0:00:04.199,0:00:09.192
a minha missão é deter[br]uma força invisível que tem crescido,

0:00:09.216,0:00:12.072
uma força que chamo de "olhar codificado",

0:00:12.096,0:00:15.405
é como chamo o viés algorítmico.

0:00:15.429,0:00:19.729
Tal como o preconceito humano,[br]ele resulta em desigualdade.

0:00:19.753,0:00:22.439
Porém, os algoritmos, assim como os vírus,

0:00:22.459,0:00:27.381
podem espalhar o viés[br]em grande escala e rapidamente.

0:00:27.943,0:00:32.330
O viés algorítmico também[br]pode levar a experiências de exclusão

0:00:32.354,0:00:34.482
e a práticas discriminatórias.

0:00:34.506,0:00:36.567
Vou mostrar o que quero dizer.

0:00:36.980,0:00:39.416
(Vídeo) Joy Boulamwini:[br]Oi, câmera. Tenho um rosto.

0:00:40.162,0:00:42.026
Consegue ver meu rosto?

0:00:42.051,0:00:43.676
Um rosto sem óculos?

0:00:43.701,0:00:45.915
Você consegue ver o rosto dela...

0:00:46.237,0:00:48.147
E o meu?

0:00:51.890,0:00:55.640
Estou usando uma máscara. Consegue vê-la?

0:00:56.474,0:00:58.839
Joy Boulamwini: Como isso aconteceu?

0:00:58.863,0:01:03.454
Por que estou diante de um computador,[br]usando uma máscara branca,

0:01:03.484,0:01:06.856
tentando ser detectada[br]por uma câmera barata?

0:01:06.860,0:01:09.441
Bom, quando não estou lutando[br]contra o olhar codificado

0:01:09.465,0:01:10.985
como uma poetisa dos códigos,

0:01:11.009,0:01:14.281
faço pós-graduação[br]no Laboratório de Mídia do MIT,

0:01:14.305,0:01:19.222
na qual tenho a oportunidade de trabalhar[br]em diversos projetos bacanas,

0:01:19.236,0:01:21.273
inclusive no "Aspire Mirror",

0:01:21.297,0:01:26.431
projeto que criei para poder projetar[br]máscaras digitais sobre minha imagem.

0:01:26.455,0:01:30.055
De manhã, se eu quisesse me sentir[br]poderosa, poderia usar uma de leão.

0:01:30.067,0:01:33.783
Se precisasse de uma inspiração,[br]usaria uma citação.

0:01:33.807,0:01:36.796
Então, usei um software genérico[br]de reconhecimento facial

0:01:36.820,0:01:38.171
para criar o sistema,

0:01:38.195,0:01:43.298
mas descobri que era bem difícil testá-lo,[br]a não ser que usasse uma máscara branca.

0:01:44.282,0:01:48.628
Infelizmente, já tive esse problema antes.

0:01:48.652,0:01:52.955
Quando cursava minha graduação[br]em ciência da computação na Georgia Tech,

0:01:52.979,0:01:55.034
eu trabalhava com robôs sociais,

0:01:55.058,0:01:58.835
e uma das minhas tarefas era fazer com que[br]um robô brincasse de "Achou!",

0:01:58.859,0:02:00.542
um jogo simples de revezamento

0:02:00.566,0:02:04.887
em que uma pessoa cobre o rosto e depois[br]o mostra à outra, dizendo: "Achou!"

0:02:04.911,0:02:09.340
O problema é que a brincadeira[br]não dá certo se você não vê o outro,

0:02:09.364,0:02:11.863
e meu robô não me via.

0:02:11.887,0:02:15.837
Aí, peguei emprestado o rosto[br]de uma amiga para fazer o projeto,

0:02:15.861,0:02:17.241
entreguei a tarefa

0:02:17.265,0:02:21.018
e pensei: "Sabe de uma coisa?[br]Outra pessoa vai resolver esse problema".

0:02:21.669,0:02:23.672
Pouco tempo depois,

0:02:23.696,0:02:27.855
eu estava em Hong Kong,[br]numa competição de empreendedorismo.

0:02:28.339,0:02:31.033
Os organizadores decidiram[br]levar os participantes

0:02:31.057,0:02:33.429
pra visitar "start-ups" locais.

0:02:33.453,0:02:37.958
Uma das start-ups tinha um robô social,[br]e eles decidiram fazer uma demonstração.

0:02:37.968,0:02:39.822
A demonstração funcionou com todos,

0:02:39.832,0:02:43.055
até que chegou a minha vez[br]e, como vocês já podem imaginar,

0:02:43.079,0:02:46.044
ele não detectou meu rosto.

0:02:46.068,0:02:48.579
Perguntei aos desenvolvedores por quê,

0:02:48.603,0:02:54.106
e descobri que usaram o mesmo software[br]genérico de reconhecimento facial que eu.

0:02:54.124,0:02:57.800
Do outro lado do mundo,[br]descobri que o viés algorítmico

0:02:57.810,0:03:02.880
consegue viajar tão rápido[br]quanto um download da internet.

0:03:03.615,0:03:06.821
O que estava acontecendo?[br]Por que meu rosto não era detectado?

0:03:06.845,0:03:10.201
Bem, precisamos analisar[br]como damos "visão" às máquinas.

0:03:10.225,0:03:13.634
A visão de computador utiliza[br]técnicas de aprendizagem automática

0:03:13.658,0:03:15.538
para fazer o reconhecimento facial.

0:03:15.562,0:03:19.459
Funciona assim: você cria uma série[br]de treinamento, com alguns rostos.

0:03:19.483,0:03:22.301
"Isto é um rosto. Isto é um isto.[br]Isto não é um rosto."

0:03:22.325,0:03:26.844
Com o tempo, você ensina o computador[br]a reconhecer outros rostos.

0:03:26.868,0:03:30.857
Porém, se as séries não forem[br]diversificadas o bastante,

0:03:30.881,0:03:34.230
qualquer rosto que seja[br]muito diferente dos demais

0:03:34.254,0:03:37.903
será mais difícil de detectar,[br]e era isso que acontecia comigo.

0:03:37.914,0:03:40.296
Mas não se preocupem. Tenho boas notícias.

0:03:40.320,0:03:43.091
As séries de treinamento[br]não surgem do nada.

0:03:43.115,0:03:44.903
Nós é que as criamos.

0:03:44.927,0:03:49.103
Então, podemos criar[br]séries de amplo espectro,

0:03:49.127,0:03:52.951
que reflitam rostos humanos[br]de forma mais diversa.

0:03:52.975,0:03:55.196
Vocês já viram nos exemplos que dei

0:03:55.220,0:03:56.988
como os robôs sociais

0:03:57.012,0:04:01.623
me fizeram ver a exclusão causada[br]pelo viés algorítmico,

0:04:01.647,0:04:06.462
mas o viés algorítmico também[br]pode acarretar práticas discriminatórias.

0:04:07.437,0:04:08.890
Em todos os Estados Unidos,

0:04:08.914,0:04:13.112
departamentos de polícia estão começando[br]a usar softwares de reconhecimento facial

0:04:13.136,0:04:15.595
como parte de seu arsenal[br]na luta contra o crime.

0:04:15.619,0:04:17.632
A Georgetown Law publicou um relatório

0:04:17.656,0:04:24.419
mostrando que um em cada dois adultos[br]nos EUA, ou seja, 117 milhões de pessoas,

0:04:24.443,0:04:27.977
tiveram seus rostos incluídos[br]em redes de reconhecimento facial.

0:04:28.001,0:04:32.553
Hoje, os departamentos de polícia podem[br]usar essas redes sem qualquer regulação,

0:04:32.577,0:04:36.863
usando algoritmos que não tiveram[br]sua precisão auditada.

0:04:36.887,0:04:40.751
Ainda assim, sabemos que[br]o reconhecimento facial não é infalível,

0:04:40.775,0:04:44.778
e identificar rostos de forma consistente[br]continua sendo um desafio.

0:04:44.798,0:04:46.710
Talvez já tenham visto isso no Facebook.

0:04:46.734,0:04:49.752
Eu e meus amigos rimos o tempo todo[br]quando vemos outras pessoas

0:04:49.776,0:04:52.234
sendo marcadas incorretamente[br]em nossas fotos.

0:04:52.258,0:04:57.849
Mas errar na identificação de um suspeito[br]de crime não é nada engraçado,

0:04:57.873,0:05:00.700
nem violar liberdades civis.

0:05:00.724,0:05:03.929
A aprendizagem automática vem sendo[br]usada no reconhecimento facial,

0:05:03.953,0:05:08.458
mas também vem se expandindo[br]além da visão de computador.

0:05:09.266,0:05:13.282
Em seu livro "Weapons[br]of Math Destruction",

0:05:13.306,0:05:19.987
a cientista de dados Cathy O'Neil[br]fala sobre a ascensão dos novos "DMDs"

0:05:20.011,0:05:24.364
algoritmos "disseminados,[br]misteriosos e destrutivos"

0:05:24.388,0:05:27.352
que têm sido cada vez mais utilizados[br]na tomada de decisões

0:05:27.376,0:05:30.553
que impactam mais aspectos[br]das nossas vidas.

0:05:30.577,0:05:32.447
Quem será contratado ou demitido?

0:05:32.471,0:05:34.583
Vai conseguir aquele [br]empréstimo, ou seguro?

0:05:34.607,0:05:38.110
Vai entrar na faculdade que você queria?

0:05:38.134,0:05:41.643
Eu e você pagamos o mesmo valor[br]pelo mesmo produto

0:05:41.667,0:05:44.109
vendido na mesma loja?

0:05:44.133,0:05:47.892
A segurança pública também está começando[br]a usar a aprendizagem automática

0:05:47.916,0:05:50.205
no policiamento preditivo.

0:05:50.229,0:05:53.083
Alguns juízes utilizam índices[br]de risco gerados por máquinas

0:05:53.107,0:05:58.149
para determinar quanto tempo[br]um indivíduo ficará na prisão.

0:05:58.173,0:06:01.757
Temos realmente que refletir[br]sobre essas decisões. Será que são justas?

0:06:01.777,0:06:08.147
E já vimos que o viés algorítmico[br]nem sempre leva a resultados justos.

0:06:08.169,0:06:10.133
Então, o que podemos fazer?

0:06:10.157,0:06:13.837
Bem, podemos começar a pensar[br]em como criar codificação mais inclusiva

0:06:13.861,0:06:16.851
e adotar práticas[br]de codificação inclusivas.

0:06:16.875,0:06:19.184
Tudo começa com pessoas.

0:06:19.708,0:06:21.669
Então, é importante saber quem codifica.

0:06:21.693,0:06:25.812
Estamos criando equipes diversificadas,[br]com indivíduos diferentes

0:06:25.836,0:06:28.247
que possam verificar[br]pontos cegos uns dos outros?

0:06:28.271,0:06:31.816
Quanto ao aspecto técnico,[br]a forma como codificamos é relevante.

0:06:31.840,0:06:35.491
Estamos levando em conta a equidade[br]no desenvolvimento de sistemas?

0:06:35.515,0:06:38.428
Finalmente, a razão pela qual[br]codificamos é relevante.

0:06:38.785,0:06:43.868
Utilizamos ferramentas de criação[br]computacional para gerar imensas riquezas.

0:06:43.892,0:06:48.339
Hoje temos a oportunidade[br]de gerar igualdade ainda maior,

0:06:48.363,0:06:51.293
se considerarmos a mudança[br]social como uma prioridade

0:06:51.317,0:06:53.487
e não como algo de menos importância.

0:06:54.008,0:06:58.530
Esses são os três princípios na criação[br]do movimento pela codificação inclusiva.

0:06:58.554,0:07:00.206
É importante quem codifica,

0:07:00.230,0:07:01.773
é importante como se codifica

0:07:01.797,0:07:03.820
e é importante por que se codifica.

0:07:03.844,0:07:06.853
Então, para uma codificação inclusiva,[br]podemos começar a pensar

0:07:06.867,0:07:09.991
na criação de plataformas[br]que identifiquem o viés,

0:07:10.015,0:07:13.233
coletando as experiências das pessoas,[br]como as que eu contei aqui,

0:07:13.257,0:07:16.327
mas também auditando[br]softwares já existentes.

0:07:16.351,0:07:20.116
Também podemos começar a criar[br]séries de treinamento mais inclusivas.

0:07:20.140,0:07:22.943
Imaginem uma campanha[br]de "'Selfies' pela Inclusão",

0:07:22.967,0:07:25.836
em que eu e vocês possamos ajudar[br]os desenvolvedores a testar

0:07:25.836,0:07:28.739
e criar séries de treinamento[br]mais inclusivas.

0:07:29.302,0:07:32.130
Também podemos começar[br]a pensar de forma mais consciente

0:07:32.154,0:07:37.409
sobre o impacto social das tecnologias[br]que temos desenvolvido.

0:07:37.429,0:07:39.962
Pra iniciarmos o movimento[br]de codificação inclusiva

0:07:39.986,0:07:42.833
lancei a Liga da Justiça Algorítmica,

0:07:42.857,0:07:48.729
onde todos que se importem com a equidade[br]podem lutar contra o olhar codificado.

0:07:48.753,0:07:52.049
Em codedgaze.com,[br]vocês podem relatar vieses,

0:07:52.073,0:07:54.518
solicitar auditorias, [br]participar dos testes

0:07:54.542,0:07:57.313
e se juntar ao debate que vem ocorrendo,

0:07:57.337,0:07:59.624
#codedgaze.

0:08:00.742,0:08:03.229
Convido vocês a se juntarem a mim

0:08:03.253,0:08:06.972
na criação de um mundo onde a tecnologia[br]trabalhe em favor de todos,

0:08:06.996,0:08:08.893
não apenas em favor de alguns,

0:08:08.917,0:08:13.505
um mundo onde valorizemos a inclusão[br]e tenhamos como foco a mudança social.

0:08:13.529,0:08:14.704
Obrigada.

0:08:14.728,0:08:17.713
(Aplausos)

0:08:20.873,0:08:23.727
Mas tenho uma pergunta:

0:08:23.751,0:08:25.810
Vocês vão se juntar a mim nessa luta?

0:08:25.834,0:08:27.119
(Risos)

0:08:27.143,0:08:29.699
(Aplausos)