Olá, sou a Joy, uma poetisa de código,
numa missão de fazer parar
uma força invisível em ascensão,
uma força a que eu chamo
"olhar codificado,"
o meu termo para preconceito algorítmico.
O preconceito algorítmico, como o
preconceito humano, resulta da injustiça.
Porém, os algoritmos, tal como os vírus,
podem espalhar preconceitos
numa grande escala
num ritmo rápido.
O preconceito em algoritmos também
pode levar a experiências de exclusão
e a práticas discriminatórias.
Vou mostrar o que quero dizer.
(Vídeo) Olá, câmara, eu tenho um rosto.
Podes ver o meu rosto?
Um rosto sem óculos?
Podes ver o rosto dela.
E o meu rosto?
Tenho uma máscara.
Vês a minha máscara?
Joy: Então, como é que isso aconteceu?
Porque é que eu estou em frente
de um computador
com uma máscara branca,
a tentar ser detetada por
uma câmara de vídeo barata?
Quando não estou a lutar
contra o olhar codificado
como uma poetisa de código,
sou uma estudante de pós-graduação
no laboratório de "media" do MIT.
Aí tenho a oportunidade de trabalhar
em todo tipo de projetos bizarros,
incluindo o Espelho de Desejar,
um projeto que fiz para poder projetar
máscaras digitais para o meu reflexo.
Então, pela manhã,
se quisesse sentir-me poderosa,
eu podia usar um leão.
Se quisesse ficar inspirada,
podia ter uma citação.
Então eu usei o software
genérico de reconhecimento facial
para construir o sistema,
mas descobri que era difícil testá-lo
a menos que usasse uma máscara branca.
Infelizmente, eu já tinha esbarrado
nesse problema.
Quando era universitária em Georgia Tech
e estudava ciência informática,
eu costumava trabalhar em robôs sociais,
e uma das minhas tarefas era fazer
com que um robô jogasse às escondidas,
um simples jogo de turnos
em que os parceiros escondem a cara
e depois destapam-na, dizendo "Espreita!"
O problema é que isso só
funciona se eu puder ver o outro,
e o meu robô não me via.
Pedi emprestada a cara da minha
colega de quarto para terminar o projeto,
apresentei a tarefa e pensei:
"Sabem que mais,
outra pessoa que resolva esse problema".
Pouco tempo depois,
eu estava em Hong Kong para uma
competição de empreendedorismo.
Os organizadores decidiram
levar os participantes
numa visita às "start-ups" locais.
Uma das "start-ups" tinha um robô social,
e decidiram fazer uma demonstração.
A demonstração funcionou com toda a gente
até chegar a minha vez.
Provavelmente já adivinham.
Não conseguiu detetar o meu rosto.
Perguntei aos responsáveis
o que é que se passava,
e acontece que tínhamos usado o mesmo
software genérico de reconhecimento facial.
Do outro lado do mundo,
aprendi que o preconceito do algoritmo
pode viajar tão depressa
quanto uma descarga
de ficheiros da Internet.
Então, o que é que se passa?
Porque é que a minha cara não é detetada?
Temos de olhar para o modo
como damos visão às máquinas.
A visão informática usa
técnicas de aprendizagem de máquina
para fazer o reconhecimento facial.
Funciona assim: criamos um grupo
de formação com exemplos de rostos.
Isto é um rosto. Isto é um rosto.
Isto não é um rosto.
Com o tempo, podemos ensinar
o computador a reconhecer rostos.
Contudo, se os grupos de formação
não forem diversificados,
qualquer rosto que se desvie
demasiado da norma estabelecida
será difícil de detetar.
Era o que estava a acontecer comigo.
Mas não se preocupem,
há boas notícias.
Os grupos de formação
não se materializam do nada.
Na verdade, podemos criá-los.
Portanto, há a oportunidade de criar
grupos de formação com um espetro completo
que reflitam um retrato
mais rico da humanidade.
Vocês viram nos meus exemplos
com os robôs sociais
que foi como eu descobri a exclusão
com o preconceito algorítmico.
Mas o preconceito algorítmico também
pode levar a práticas discriminatórias.
Nos Estados Unidos da América,
os departamentos da polícia começam
a usar o software de reconhecimento facial
no seu arsenal de luta contra o crime.
A Faculdade de Direito de Georgetown
publicou um relatório
mostrando que um
em dois adultos, nos EUA
— ou seja, 117 milhões de pessoas —
têm os rostos em redes
de reconhecimento facial.
Os departamentos da polícia podem procurar
nessas redes não regulamentadas,
usando algoritmos que não foram
auditados quanto ao seu rigor.
No entanto, sabemos que o reconhecimento
facial não é à prova de falhas,
e rotular rostos consistentemente
continua a ser um problema.
Podem ter visto isto no Facebook.
Os meus amigos e eu estamos sempre a rir
quando vemos outras pessoas
mal rotuladas nas nossas fotos.
Mas a má identificação de um possível
criminoso não é motivo para rir,
e o mesmo acontece com
a violação das liberdades civis.
A aprendizagem de máquinas está a ser
usada para reconhecimento facial,
mas está a estender-se para além
do domínio da visão por computador.
No seu livro, "Armas de
Destruição Matemática" (ADM),
a cientista de dados Cathy O'Neil
fala sobre o aumento de novas ADM
algoritmos difundidos,
misteriosos e destrutivos
que estão a ser cada vez mais usados
para tomar decisões
que afetam mais aspetos da nossa vida.
Por exemplo, quem é contratado
ou despedido?
Recebemos esse empréstimo?
Recebemos o seguro?
Somos admitidos na faculdade
em que queremos entrar?
Pagamos todos o mesmo preço
para o mesmo produto
comprado na mesma plataforma?
A polícia também está a começar
a usar a aprendizagem de máquinas
para policiamento preditivo.
Alguns juízes usam a avaliação de risco
gerada por máquinas para determinar
quanto tempo um indivíduo
vai passar na prisão.
Portanto, temos mesmo que pensar
nessas decisões.
Elas sãos justas?
Já vimos que o preconceito algorítmico
nem sempre conduz
a resultados justos.
Então, o que podemos fazer quanto a isso?
Podemos começar a pensar
em criar códigos mais inclusivos
e usar práticas de codificação inclusiva.
Isto começa com as pessoas.
Por isso, é importante quem codifica.
Estaremos a criar equipas de espetro
completo com diversos indivíduos
que podem verificar os pontos cegos
uns dos outros?
No lado técnico,
é importante a forma como codificamos.
Estaremos a considerar a equidade
enquanto desenvolvemos os sistemas?
E, finalmente, é importante a razão
por que codificamos.
Temos usado ferramentas
de criação informática
para desbloquear uma riqueza imensa.
Agora temos a oportunidade
de desbloquear uma igualdade ainda maior
se dermos prioridade à mudança social
e não uma reflexão tardia.
Portanto, estes são os três princípios
que formam o movimento "de codificação".
É importante quem codifica,
é importante como codificamos,
e é importante a razão
por que codificamos.
Para avançarmos para a codificação,
podemos começar a pensar
em construir plataformas que
possam identificar preconceitos
reunindo as experiências de pessoas
como as que eu contei,
e também auditando
os softwares existentes.
Também podemos começar a criar
grupos de formação mais inclusivos.
Imaginem uma campanha
"Selfies para Inclusão"
em que qualquer um pode ajudar
os desenvolvedores a criar e testar
grupos de formação mais inclusivos.
Também podemos começar
a pensar com maior consciência
no impacto social da tecnologia
que estamos a desenvolver.
Para iniciar o movimento de codificação,
lancei o Algoritmo Liga da Justiça,
em que todos os que
se interessam pela justiça
podem ajudar a lutar
contra o olhar codificado.
Em codedgaze.com,
podem relatar preconceitos,
exigir auditos, fazerem testes
e participar das conversas em curso,
#codedgaze.
Portanto, convido-os a juntarem-se a mim
para criar um mundo em que a tecnologia
funcione para todos nós,
não apenas para alguns,
um mundo em que valorizamos a inclusão
e nos centramos na mudança social.
Obrigada.
(Aplausos).
Mas eu tenho uma pergunta:
Vão juntar-se a mim nesta luta?
(Risos)
(Aplausos)