1 00:00:01,041 --> 00:00:04,175 Olá, sou a Joy, uma poetisa de código, 2 00:00:04,280 --> 00:00:09,192 numa missão de fazer parar uma força invisível em ascensão, 3 00:00:09,279 --> 00:00:12,072 uma força a que eu chamo "olhar codificado," 4 00:00:12,141 --> 00:00:15,405 o meu termo para preconceito algorítmico. 5 00:00:15,547 --> 00:00:19,729 O preconceito algorítmico, como o preconceito humano, resulta da injustiça. 6 00:00:19,971 --> 00:00:22,753 Porém, os algoritmos, tal como os vírus, 7 00:00:22,799 --> 00:00:25,835 podem espalhar preconceitos numa grande escala 8 00:00:25,908 --> 00:00:27,644 num ritmo rápido. 9 00:00:27,943 --> 00:00:32,330 O preconceito em algoritmos também pode levar a experiências de exclusão 10 00:00:32,354 --> 00:00:34,482 e a práticas discriminatórias. 11 00:00:34,687 --> 00:00:36,748 Vou mostrar o que quero dizer. 12 00:00:36,980 --> 00:00:39,479 (Vídeo) Olá, câmara, eu tenho um rosto. 13 00:00:40,162 --> 00:00:41,880 Podes ver o meu rosto? 14 00:00:42,051 --> 00:00:43,885 Um rosto sem óculos? 15 00:00:43,955 --> 00:00:45,915 Podes ver o rosto dela. 16 00:00:46,237 --> 00:00:48,145 E o meu rosto? 17 00:00:51,890 --> 00:00:55,294 Tenho uma máscara. Vês a minha máscara? 18 00:00:56,474 --> 00:00:58,839 Joy: Então, como é que isso aconteceu? 19 00:00:58,863 --> 00:01:02,004 Porque é que eu estou em frente de um computador 20 00:01:02,028 --> 00:01:03,652 com uma máscara branca, 21 00:01:03,694 --> 00:01:07,126 a tentar ser detetada por uma câmara de vídeo barata? 22 00:01:07,359 --> 00:01:09,731 Quando não estou a lutar contra o olhar codificado 23 00:01:09,755 --> 00:01:11,294 como uma poetisa de código, 24 00:01:11,318 --> 00:01:14,535 sou uma estudante de pós-graduação no laboratório de "media" do MIT. 25 00:01:14,586 --> 00:01:19,222 Aí tenho a oportunidade de trabalhar em todo tipo de projetos bizarros, 26 00:01:19,246 --> 00:01:21,427 incluindo o Espelho de Desejar, 27 00:01:21,460 --> 00:01:26,431 um projeto que fiz para poder projetar máscaras digitais para o meu reflexo. 28 00:01:26,455 --> 00:01:28,805 Então, pela manhã, se quisesse sentir-me poderosa, 29 00:01:28,829 --> 00:01:30,344 eu podia usar um leão. 30 00:01:30,396 --> 00:01:33,783 Se quisesse ficar inspirada, podia ter uma citação. 31 00:01:33,961 --> 00:01:36,796 Então eu usei o software genérico de reconhecimento facial 32 00:01:36,820 --> 00:01:38,389 para construir o sistema, 33 00:01:38,458 --> 00:01:43,298 mas descobri que era difícil testá-lo a menos que usasse uma máscara branca. 34 00:01:44,282 --> 00:01:48,382 Infelizmente, eu já tinha esbarrado nesse problema. 35 00:01:48,652 --> 00:01:52,955 Quando era universitária em Georgia Tech e estudava ciência informática, 36 00:01:52,979 --> 00:01:55,079 eu costumava trabalhar em robôs sociais, 37 00:01:55,139 --> 00:01:58,835 e uma das minhas tarefas era fazer com que um robô jogasse às escondidas, 38 00:01:58,859 --> 00:02:00,742 um simples jogo de turnos 39 00:02:00,775 --> 00:02:04,887 em que os parceiros escondem a cara e depois destapam-na, dizendo "Espreita!" 40 00:02:04,947 --> 00:02:09,340 O problema é que isso só funciona se eu puder ver o outro, 41 00:02:09,464 --> 00:02:11,753 e o meu robô não me via. 42 00:02:11,887 --> 00:02:15,837 Pedi emprestada a cara da minha colega de quarto para terminar o projeto, 43 00:02:15,861 --> 00:02:17,713 apresentei a tarefa e pensei: 44 00:02:17,774 --> 00:02:21,208 "Sabem que mais, outra pessoa que resolva esse problema". 45 00:02:21,669 --> 00:02:23,672 Pouco tempo depois, 46 00:02:23,696 --> 00:02:27,927 eu estava em Hong Kong para uma competição de empreendedorismo. 47 00:02:28,339 --> 00:02:31,033 Os organizadores decidiram levar os participantes 48 00:02:31,057 --> 00:02:33,429 numa visita às "start-ups" locais. 49 00:02:33,453 --> 00:02:36,168 Uma das "start-ups" tinha um robô social, 50 00:02:36,192 --> 00:02:38,285 e decidiram fazer uma demonstração. 51 00:02:38,328 --> 00:02:41,444 A demonstração funcionou com toda a gente até chegar a minha vez. 52 00:02:41,495 --> 00:02:43,309 Provavelmente já adivinham. 53 00:02:43,351 --> 00:02:45,980 Não conseguiu detetar o meu rosto. 54 00:02:46,068 --> 00:02:48,760 Perguntei aos responsáveis o que é que se passava, 55 00:02:48,793 --> 00:02:54,236 e acontece que tínhamos usado o mesmo software genérico de reconhecimento facial. 56 00:02:54,314 --> 00:02:56,046 Do outro lado do mundo, 57 00:02:56,097 --> 00:02:59,831 aprendi que o preconceito do algoritmo pode viajar tão depressa 58 00:02:59,882 --> 00:03:03,261 quanto uma descarga de ficheiros da Internet. 59 00:03:03,745 --> 00:03:07,084 Então, o que é que se passa? Porque é que a minha cara não é detetada? 60 00:03:07,126 --> 00:03:10,255 Temos de olhar para o modo como damos visão às máquinas. 61 00:03:10,325 --> 00:03:13,634 A visão informática usa técnicas de aprendizagem de máquina 62 00:03:13,658 --> 00:03:15,710 para fazer o reconhecimento facial. 63 00:03:15,771 --> 00:03:19,568 Funciona assim: criamos um grupo de formação com exemplos de rostos. 64 00:03:19,637 --> 00:03:22,337 Isto é um rosto. Isto é um rosto. Isto não é um rosto. 65 00:03:22,415 --> 00:03:26,844 Com o tempo, podemos ensinar o computador a reconhecer rostos. 66 00:03:26,868 --> 00:03:30,857 Contudo, se os grupos de formação não forem diversificados, 67 00:03:30,881 --> 00:03:34,230 qualquer rosto que se desvie demasiado da norma estabelecida 68 00:03:34,254 --> 00:03:35,903 será difícil de detetar. 69 00:03:36,099 --> 00:03:38,008 Era o que estava a acontecer comigo. 70 00:03:38,068 --> 00:03:40,296 Mas não se preocupem, há boas notícias. 71 00:03:40,320 --> 00:03:43,091 Os grupos de formação não se materializam do nada. 72 00:03:43,115 --> 00:03:45,103 Na verdade, podemos criá-los. 73 00:03:45,163 --> 00:03:49,303 Portanto, há a oportunidade de criar grupos de formação com um espetro completo 74 00:03:49,354 --> 00:03:52,951 que reflitam um retrato mais rico da humanidade. 75 00:03:52,975 --> 00:03:55,196 Vocês viram nos meus exemplos 76 00:03:55,220 --> 00:03:56,988 com os robôs sociais 77 00:03:57,012 --> 00:04:01,623 que foi como eu descobri a exclusão com o preconceito algorítmico. 78 00:04:01,765 --> 00:04:06,362 Mas o preconceito algorítmico também pode levar a práticas discriminatórias. 79 00:04:07,437 --> 00:04:09,062 Nos Estados Unidos da América, 80 00:04:09,123 --> 00:04:13,112 os departamentos da polícia começam a usar o software de reconhecimento facial 81 00:04:13,136 --> 00:04:15,595 no seu arsenal de luta contra o crime. 82 00:04:15,619 --> 00:04:18,395 A Faculdade de Direito de Georgetown publicou um relatório 83 00:04:18,437 --> 00:04:21,443 mostrando que um em dois adultos, nos EUA 84 00:04:21,479 --> 00:04:24,443 — ou seja, 117 milhões de pessoas — 85 00:04:24,506 --> 00:04:27,977 têm os rostos em redes de reconhecimento facial. 86 00:04:28,064 --> 00:04:32,634 Os departamentos da polícia podem procurar nessas redes não regulamentadas, 87 00:04:32,667 --> 00:04:36,863 usando algoritmos que não foram auditados quanto ao seu rigor. 88 00:04:37,041 --> 00:04:40,869 No entanto, sabemos que o reconhecimento facial não é à prova de falhas, 89 00:04:40,929 --> 00:04:45,099 e rotular rostos consistentemente continua a ser um problema. 90 00:04:45,214 --> 00:04:46,858 Podem ter visto isto no Facebook. 91 00:04:46,918 --> 00:04:50,142 Os meus amigos e eu estamos sempre a rir quando vemos outras pessoas 92 00:04:50,166 --> 00:04:52,388 mal rotuladas nas nossas fotos. 93 00:04:52,512 --> 00:04:57,849 Mas a má identificação de um possível criminoso não é motivo para rir, 94 00:04:57,873 --> 00:05:00,954 e o mesmo acontece com a violação das liberdades civis. 95 00:05:01,014 --> 00:05:04,356 A aprendizagem de máquinas está a ser usada para reconhecimento facial, 96 00:05:04,416 --> 00:05:08,558 mas está a estender-se para além do domínio da visão por computador. 97 00:05:09,266 --> 00:05:13,363 No seu livro, "Armas de Destruição Matemática" (ADM), 98 00:05:13,424 --> 00:05:19,768 a cientista de dados Cathy O'Neil fala sobre o aumento de novas ADM 99 00:05:20,011 --> 00:05:24,436 algoritmos difundidos, misteriosos e destrutivos 100 00:05:24,515 --> 00:05:27,533 que estão a ser cada vez mais usados para tomar decisões 101 00:05:27,576 --> 00:05:30,553 que afetam mais aspetos da nossa vida. 102 00:05:30,577 --> 00:05:32,683 Por exemplo, quem é contratado ou despedido? 103 00:05:32,725 --> 00:05:34,883 Recebemos esse empréstimo? Recebemos o seguro? 104 00:05:34,934 --> 00:05:38,273 Somos admitidos na faculdade em que queremos entrar? 105 00:05:38,415 --> 00:05:41,643 Pagamos todos o mesmo preço para o mesmo produto 106 00:05:41,667 --> 00:05:44,036 comprado na mesma plataforma? 107 00:05:44,133 --> 00:05:47,892 A polícia também está a começar a usar a aprendizagem de máquinas 108 00:05:47,916 --> 00:05:50,150 para policiamento preditivo. 109 00:05:50,229 --> 00:05:53,886 Alguns juízes usam a avaliação de risco gerada por máquinas para determinar 110 00:05:53,928 --> 00:05:58,149 quanto tempo um indivíduo vai passar na prisão. 111 00:05:58,227 --> 00:06:00,745 Portanto, temos mesmo que pensar nessas decisões. 112 00:06:00,796 --> 00:06:02,233 Elas sãos justas? 113 00:06:02,293 --> 00:06:04,965 Já vimos que o preconceito algorítmico 114 00:06:04,989 --> 00:06:08,145 nem sempre conduz a resultados justos. 115 00:06:08,250 --> 00:06:10,214 Então, o que podemos fazer quanto a isso? 116 00:06:10,366 --> 00:06:13,837 Podemos começar a pensar em criar códigos mais inclusivos 117 00:06:13,897 --> 00:06:16,851 e usar práticas de codificação inclusiva. 118 00:06:16,993 --> 00:06:19,402 Isto começa com as pessoas. 119 00:06:19,708 --> 00:06:21,778 Por isso, é importante quem codifica. 120 00:06:21,820 --> 00:06:25,812 Estaremos a criar equipas de espetro completo com diversos indivíduos 121 00:06:25,836 --> 00:06:28,510 que podem verificar os pontos cegos uns dos outros? 122 00:06:28,571 --> 00:06:31,816 No lado técnico, é importante a forma como codificamos. 123 00:06:31,930 --> 00:06:35,491 Estaremos a considerar a equidade enquanto desenvolvemos os sistemas? 124 00:06:35,615 --> 00:06:38,728 E, finalmente, é importante a razão por que codificamos. 125 00:06:38,785 --> 00:06:41,382 Temos usado ferramentas de criação informática 126 00:06:41,409 --> 00:06:44,019 para desbloquear uma riqueza imensa. 127 00:06:44,046 --> 00:06:48,393 Agora temos a oportunidade de desbloquear uma igualdade ainda maior 128 00:06:48,453 --> 00:06:51,502 se dermos prioridade à mudança social 129 00:06:51,526 --> 00:06:53,914 e não uma reflexão tardia. 130 00:06:54,008 --> 00:06:58,530 Portanto, estes são os três princípios que formam o movimento "de codificação". 131 00:06:58,554 --> 00:07:00,306 É importante quem codifica, 132 00:07:00,357 --> 00:07:02,045 é importante como codificamos, 133 00:07:02,097 --> 00:07:04,220 e é importante a razão por que codificamos. 134 00:07:04,262 --> 00:07:07,088 Para avançarmos para a codificação, podemos começar a pensar 135 00:07:07,139 --> 00:07:10,221 em construir plataformas que possam identificar preconceitos 136 00:07:10,282 --> 00:07:13,469 reunindo as experiências de pessoas como as que eu contei, 137 00:07:13,547 --> 00:07:16,327 e também auditando os softwares existentes. 138 00:07:16,423 --> 00:07:20,116 Também podemos começar a criar grupos de formação mais inclusivos. 139 00:07:20,258 --> 00:07:23,106 Imaginem uma campanha "Selfies para Inclusão" 140 00:07:23,157 --> 00:07:26,740 em que qualquer um pode ajudar os desenvolvedores a criar e testar 141 00:07:26,800 --> 00:07:29,111 grupos de formação mais inclusivos. 142 00:07:29,302 --> 00:07:32,230 Também podemos começar a pensar com maior consciência 143 00:07:32,263 --> 00:07:37,226 no impacto social da tecnologia que estamos a desenvolver. 144 00:07:37,569 --> 00:07:39,962 Para iniciar o movimento de codificação, 145 00:07:39,986 --> 00:07:42,996 lancei o Algoritmo Liga da Justiça, 146 00:07:43,047 --> 00:07:45,916 em que todos os que se interessam pela justiça 147 00:07:45,962 --> 00:07:48,753 podem ajudar a lutar contra o olhar codificado. 148 00:07:48,916 --> 00:07:52,203 Em codedgaze.com, podem relatar preconceitos, 149 00:07:52,282 --> 00:07:54,681 exigir auditos, fazerem testes 150 00:07:54,742 --> 00:07:57,503 e participar das conversas em curso, 151 00:07:57,609 --> 00:07:59,896 #codedgaze. 152 00:08:00,742 --> 00:08:03,347 Portanto, convido-os a juntarem-se a mim 153 00:08:03,407 --> 00:08:07,099 para criar um mundo em que a tecnologia funcione para todos nós, 154 00:08:07,150 --> 00:08:09,120 não apenas para alguns, 155 00:08:09,162 --> 00:08:13,505 um mundo em que valorizamos a inclusão e nos centramos na mudança social. 156 00:08:13,647 --> 00:08:14,704 Obrigada. 157 00:08:14,873 --> 00:08:17,871 (Aplausos). 158 00:08:20,873 --> 00:08:23,336 Mas eu tenho uma pergunta: 159 00:08:23,751 --> 00:08:25,937 Vão juntar-se a mim nesta luta? 160 00:08:26,006 --> 00:08:27,119 (Risos) 161 00:08:27,215 --> 00:08:29,993 (Aplausos)