0:00:13.781,0:00:16.915 Olá, meu nome é Joy,[br]sou uma "poeta dos códigos", 0:00:16.939,0:00:21.932 e minha missão é deter[br]uma força invisível e que tem crescido, 0:00:21.956,0:00:24.812 uma força que chamo[br]de "olhar codificado", 0:00:24.836,0:00:28.145 minha forma de chamar o viés algorítmico. 0:00:28.169,0:00:32.469 Tal como o preconceito humano,[br]ele resulta em desigualdade. 0:00:32.493,0:00:35.299 Porém, os algoritmos, assim como os vírus, 0:00:35.329,0:00:40.121 podem espalhar o viés[br]em grande escala e rapidamente. 0:00:40.683,0:00:45.070 O viés algorítmico também[br]pode levar a experiências de exclusão 0:00:45.094,0:00:47.222 e a práticas discriminatórias. 0:00:47.246,0:00:49.307 Vou mostrar o que quero dizer. 0:00:50.060,0:00:52.326 (Vídeo) Joy Boulamwini:[br]Oi, câmera. Tenho um rosto. 0:00:53.062,0:00:54.766 Consegue ver meu rosto? 0:00:55.071,0:00:56.876 Um rosto sem óculos? 0:00:58.351,0:01:00.275 Você consegue ver o rosto dela... 0:01:00.847,0:01:02.642 E o meu? 0:01:06.619,0:01:10.179 Estou usando uma máscara. Consegue vê-la? 0:01:11.814,0:01:14.119 Joy Boulamwini: Como isso aconteceu? 0:01:14.133,0:01:18.794 Por que estou diante de um computador,[br]usando uma máscara branca, 0:01:18.824,0:01:22.196 tentando ser detectada[br]por uma câmera barata? 0:01:22.220,0:01:24.781 Bom, quando não estou lutando[br]contra o olhar codificado 0:01:24.805,0:01:26.325 como poeta dos códigos, 0:01:26.349,0:01:29.621 faço pós-graduação[br]no Laboratório de Mídia do MIT, 0:01:29.645,0:01:34.562 onde tenho a oportunidade de trabalhar[br]em diversos projetos bacanas, 0:01:34.576,0:01:36.613 inclusive o "Aspire Mirror", 0:01:36.637,0:01:41.771 projeto que criei para poder projetar[br]máscaras digitais sobre meu reflexo. 0:01:41.795,0:01:45.395 De manhã, se eu quisesse me sentir[br]poderosa, poderia usar uma de leão. 0:01:45.407,0:01:49.123 Se precisasse de uma inspiração,[br]usaria uma citação. 0:01:49.147,0:01:52.136 Então, usei um software genérico[br]de reconhecimento facial 0:01:52.160,0:01:53.511 para criar o sistema, 0:01:53.535,0:01:58.638 mas descobri que era bem difícil testá-lo,[br]a não ser que usasse uma máscara branca. 0:01:59.622,0:02:03.968 Infelizmente, já tive esse problema antes. 0:02:03.992,0:02:08.294 Quando cursava minha graduação[br]em ciência da computação na Georgia Tech, 0:02:08.318,0:02:10.374 eu trabalhava com robôs sociais, 0:02:10.398,0:02:14.175 e uma das minhas tarefas era fazer com que[br]um robô brincasse de "Achou!", 0:02:14.199,0:02:16.052 um jogo simples de revezamento 0:02:16.072,0:02:20.537 em que uma pessoa cobre o rosto e depois[br]o mostra à outra, dizendo: "Achou!" 0:02:20.557,0:02:25.000 O problema é que a brincadeira[br]não dá certo se você não vê o outro, 0:02:25.020,0:02:27.443 e meu robô não me via. 0:02:27.467,0:02:31.487 Aí, peguei emprestado o rosto[br]de uma amiga para fazer o projeto, 0:02:31.507,0:02:32.941 entreguei a tarefa 0:02:32.951,0:02:36.358 e pensei: "Sabe de uma coisa?[br]Outra pessoa vai resolver esse problema". 0:02:37.369,0:02:39.262 Não muito tempo depois, 0:02:39.292,0:02:43.195 eu estava em Hong Kong,[br]em uma competição de empreendedorismo. 0:02:43.929,0:02:46.753 Os organizadores decidiram[br]levar os participantes 0:02:46.783,0:02:49.039 pra visitar "start-ups" locais. 0:02:49.059,0:02:53.678 Uma das start-ups tinha um robô social,[br]e eles decidiram fazer uma demonstração. 0:02:53.688,0:02:55.412 A demonstração funcionou com todos, 0:02:55.442,0:02:58.665 até que chegou a minha vez[br]e, como vocês já podem imaginar, 0:02:58.685,0:03:01.704 ele não detectou meu rosto. 0:03:01.724,0:03:04.139 Perguntei aos desenvolvedores por quê, 0:03:04.149,0:03:09.726 e descobri que usaram o mesmo software[br]genérico de reconhecimento facial que eu. 0:03:09.746,0:03:13.580 Do outro lado do mundo,[br]descobri que o viés algorítmico 0:03:13.590,0:03:18.510 consegue viajar tão rápido[br]quanto um download da internet. 0:03:19.165,0:03:22.501 O que estava acontecendo?[br]Por que meu rosto não era detectado? 0:03:22.511,0:03:25.861 Bem, precisamos analisar[br]como damos "visão" às máquinas. 0:03:25.881,0:03:29.304 A visão de computador utiliza[br]técnicas de aprendizagem automática 0:03:29.334,0:03:31.098 para fazer o reconhecimento facial. 0:03:31.118,0:03:34.939 Funciona assim: você cria uma série[br]de treinamento, com alguns rostos. 0:03:34.959,0:03:37.851 "Isto é um rosto. Isto é um rosto.[br]Isto não é um rosto." 0:03:37.871,0:03:42.184 Com o tempo, você ensina o computador[br]a reconhecer outros rostos. 0:03:42.558,0:03:46.547 Porém, se as séries não forem[br]diversificadas o bastante, 0:03:46.571,0:03:49.920 qualquer rosto que seja[br]muito diferente dos demais 0:03:49.944,0:03:53.593 será mais difícil de detectar,[br]e era isso que acontecia comigo. 0:03:53.604,0:03:55.986 Mas não se preocupem. Tenho boas notícias. 0:03:56.010,0:03:58.781 As séries de treinamento[br]não surgem do nada. 0:03:58.805,0:04:00.593 Nós é que as criamos. 0:04:00.617,0:04:04.793 Então, podemos criar[br]séries de amplo espectro, 0:04:04.817,0:04:08.641 que reflitam rostos humanos[br]de forma mais diversa. 0:04:08.665,0:04:10.886 Vocês já viram nos exemplos que dei 0:04:10.910,0:04:12.678 como os robôs sociais 0:04:12.702,0:04:17.313 me fizeram ver a exclusão causada[br]pelo viés algorítmico, 0:04:17.337,0:04:22.152 mas o viés algorítmico também[br]pode acarretar práticas discriminatórias. 0:04:23.127,0:04:24.580 Em todos os Estados Unidos, 0:04:24.604,0:04:28.802 departamentos de polícia estão começando[br]a usar softwares de reconhecimento facial 0:04:28.826,0:04:31.285 como parte de seu arsenal[br]na luta contra o crime. 0:04:31.309,0:04:33.322 A Georgetown Law publicou um relatório 0:04:33.346,0:04:40.109 mostrando que um em cada dois adultos[br]nos EUA, ou seja, 117 milhões de pessoas, 0:04:40.133,0:04:43.667 tiveram seus rostos incluídos[br]em redes de reconhecimento facial. 0:04:43.691,0:04:48.243 Hoje, os departamentos de polícia podem[br]usar essas redes sem qualquer regulação, 0:04:48.267,0:04:52.553 usando algoritmos que não tiveram[br]sua precisão auditada. 0:04:52.577,0:04:56.441 Ainda assim, sabemos que[br]o reconhecimento facial não é infalível, 0:04:56.465,0:05:00.468 e identificar rostos de forma consistente[br]continua sendo um desafio. 0:05:00.488,0:05:02.390 Talvez já tenham visto isso no Facebook. 0:05:02.404,0:05:05.442 Eu e meus amigos rimos o tempo todo[br]quando vemos outras pessoas 0:05:05.466,0:05:07.924 sendo marcadas incorretamente[br]em nossas fotos. 0:05:07.948,0:05:13.539 Mas errar na identificação de um suspeito[br]de crime não é nada engraçado, 0:05:13.563,0:05:16.390 nem violar liberdades civis. 0:05:16.414,0:05:19.619 A aprendizagem automática vem sendo[br]usada no reconhecimento facial, 0:05:19.643,0:05:24.148 mas também vem se expandindo[br]além da visão de computador. 0:05:24.956,0:05:28.972 Em seu livro "Weapons [br]of Math Destruction", 0:05:28.996,0:05:35.677 a cientista de dados Cathy O'Neil[br]fala sobre a ascensão dos novos "DMDs", 0:05:35.701,0:05:40.054 os algoritmos "disseminados,[br]misteriosos e destrutivos", 0:05:40.078,0:05:43.042 que têm sido cada vez mais utilizados[br]na tomada de decisões 0:05:43.066,0:05:46.243 que impactam mais aspectos[br]das nossas vidas. 0:05:46.267,0:05:48.137 Quem será contratado ou demitido? 0:05:48.161,0:05:50.273 Vai conseguir aquele[br]empréstimo, ou seguro? 0:05:50.297,0:05:53.800 Vai entrar na faculdade que você queria? 0:05:53.824,0:05:57.333 Eu e você pagamos o mesmo valor[br]pelo mesmo produto 0:05:57.357,0:05:59.799 vendido na mesma loja? 0:05:59.823,0:06:03.582 A segurança pública também está começando[br]a usar a aprendizagem automática 0:06:03.606,0:06:05.895 no policiamento preditivo. 0:06:05.919,0:06:08.773 Alguns juízes utilizam índices[br]de risco gerados por máquinas 0:06:08.797,0:06:13.839 para determinar quanto tempo[br]um indivíduo ficará na prisão. 0:06:13.863,0:06:17.447 Temos realmente que refletir[br]sobre essas decisões. Será que são justas? 0:06:17.467,0:06:23.837 E já vimos que o viés algorítmico[br]nem sempre leva a resultados justos. 0:06:23.859,0:06:25.823 Então, o que podemos fazer? 0:06:25.847,0:06:29.527 Bem, podemos começar a pensar[br]em como criar codificação mais inclusiva 0:06:29.551,0:06:32.541 e adotar práticas[br]de codificação inclusivas. 0:06:32.565,0:06:34.874 Tudo começa com pessoas. 0:06:35.398,0:06:37.359 Então, é importante saber quem codifica. 0:06:37.383,0:06:41.502 Estamos criando equipes diversificadas,[br]com indivíduos diferentes 0:06:41.526,0:06:43.937 que possam verificar[br]pontos cegos uns dos outros? 0:06:43.961,0:06:47.506 Quanto ao aspecto técnico,[br]a forma como codificamos é relevante. 0:06:47.530,0:06:51.181 Estamos levando em conta a equidade[br]no desenvolvimento de sistemas? 0:06:51.205,0:06:54.118 Finalmente, a razão pela qual[br]codificamos é relevante. 0:06:54.475,0:06:59.558 Utilizamos ferramentas de criação[br]computacional para gerar imensas riquezas. 0:06:59.582,0:07:04.029 Hoje temos a oportunidade[br]de gerar igualdade ainda maior, 0:07:04.053,0:07:06.983 se considerarmos a mudança social[br]como uma prioridade 0:07:07.007,0:07:09.177 e não como algo de menos importância. 0:07:09.698,0:07:14.220 Esses são os três princípios na criação[br]do movimento pela codificação inclusiva. 0:07:14.244,0:07:15.896 É importante quem codifica, 0:07:15.920,0:07:17.463 é importante como se codifica 0:07:17.487,0:07:19.510 e é importante por que se codifica. 0:07:19.534,0:07:22.543 Então, para uma codificação inclusiva,[br]podemos começar a pensar 0:07:22.557,0:07:25.681 na criação de plataformas[br]que identifiquem o viés, 0:07:25.705,0:07:28.923 coletando as experiências das pessoas,[br]como as que eu contei aqui, 0:07:28.947,0:07:32.017 mas também auditando[br]softwares já existentes. 0:07:32.041,0:07:35.806 Também podemos começar a criar[br]séries de treinamento mais inclusivas. 0:07:35.830,0:07:38.633 Imaginem uma campanha[br]de "'Selfies' pela Inclusão", 0:07:38.657,0:07:41.526 em que eu e vocês possamos ajudar[br]os desenvolvedores a testar 0:07:41.526,0:07:44.429 e criar séries de treinamento[br]mais inclusivas. 0:07:44.992,0:07:47.820 Também podemos começar[br]a pensar de forma mais consciente 0:07:47.844,0:07:53.099 sobre o impacto social das tecnologias[br]que temos desenvolvido. 0:07:53.119,0:07:55.652 Para iniciarmos o movimento[br]de codificação inclusiva 0:07:55.676,0:07:58.523 lancei a Liga da Justiça Algorítmica, 0:07:58.547,0:08:04.419 onde todos que se importem com a equidade[br]podem lutar contra o olhar codificado. 0:08:04.443,0:08:07.739 Em codedgaze.com,[br]vocês podem relatar vieses, 0:08:07.763,0:08:10.208 solicitar auditorias,[br]participar dos testes 0:08:10.232,0:08:13.003 e se juntar ao debate que vem ocorrendo, 0:08:13.027,0:08:15.314 #codedgaze. 0:08:16.432,0:08:18.919 Convido vocês a se juntarem a mim 0:08:18.943,0:08:22.662 na criação de um mundo onde a tecnologia[br]trabalhe em favor de todos, 0:08:22.686,0:08:24.583 não apenas em favor de alguns. 0:08:24.607,0:08:29.445 Um mundo onde valorizemos a inclusão[br]e tenhamos a mudança social como foco. 0:08:29.445,0:08:30.634 Obrigada. 0:08:30.634,0:08:33.542 (Aplausos) 0:08:41.454,0:08:44.289 Mas tenho uma pergunta: 0:08:44.309,0:08:46.368 Vocês vão se juntar a mim nessa luta? 0:08:46.388,0:08:47.652 (Risos) 0:08:47.682,0:08:49.569 (Aplausos)