Como eu luto contra o preconceito em algoritmos

Joy Buolamwini, estudante de pós-graduação de MIT, trabalhava com um software de reconhecimento facial quando notou um problema: o software não reconhecia o seu rosto, porque as pessoas que tinham codificado o algoritmo não tinham pensado em identificar uma ampla variedade de tons de pele e de estruturas faciais. Agora ela está numa missão de lutar contra o preconceito em aprendizagem de máquina, um fenómeno a que ela chama "olhar codificado". É uma conversa de olhos abertos sobre a responsabilidade necessária em codificação... enquanto os algoritmos tomam conta de cada vez mais aspetos da nossa vida.

Olá, sou a Joy, uma poetisa de código,

numa missão de fazer parar
uma força invisível em ascensão,

uma força a que eu chamo
"olhar codificado,"

o meu termo para preconceito algorítmico.

O preconceito algorítmico, como o
preconceito humano, resulta da injustiça.

Porém, os algoritmos, tal como os vírus,

podem espalhar preconceitos
numa grande escala

num ritmo rápido.

O preconceito em algoritmos também
pode levar a experiências de exclusão

e a práticas discriminatórias.

Vou mostrar o que quero dizer.

(Vídeo) Olá, câmara, eu tenho um rosto.

Podes ver o meu rosto?

Um rosto sem óculos?

Podes ver o rosto dela.

E o meu rosto?

Tenho uma máscara.
Vês a minha máscara?

Joy: Então, como é que isso aconteceu?

Porque é que eu estou em frente
de um computador

com uma máscara branca,

a tentar ser detetada por
uma câmara de vídeo barata?

Quando não estou a lutar
contra o olhar codificado

como uma poetisa de código,

sou uma estudante de pós-graduação
no laboratório de "media" do MIT.

Aí tenho a oportunidade de trabalhar
em todo tipo de projetos bizarros,

incluindo o Espelho de Desejar,

um projeto que fiz para poder projetar
máscaras digitais para o meu reflexo.

Então, pela manhã,
se quisesse sentir-me poderosa,

eu podia usar um leão.

Se quisesse ficar inspirada,
podia ter uma citação.

Então eu usei o software
genérico de reconhecimento facial

para construir o sistema,

mas descobri que era difícil testá-lo
a menos que usasse uma máscara branca.

Infelizmente, eu já tinha esbarrado
nesse problema.

Quando era universitária em Georgia Tech
e estudava ciência informática,

eu costumava trabalhar em robôs sociais,

e uma das minhas tarefas era fazer
com que um robô jogasse às escondidas,

um simples jogo de turnos

em que os parceiros escondem a cara
e depois destapam-na, dizendo "Espreita!"

O problema é que isso só
funciona se eu puder ver o outro,

e o meu robô não me via.

Pedi emprestada a cara da minha
colega de quarto para terminar o projeto,

apresentei a tarefa e pensei:

"Sabem que mais,
outra pessoa que resolva esse problema".

Pouco tempo depois,

eu estava em Hong Kong para uma
competição de empreendedorismo.

Os organizadores decidiram
levar os participantes

numa visita às "start-ups" locais.

Uma das "start-ups" tinha um robô social,

e decidiram fazer uma demonstração.

A demonstração funcionou com toda a gente
até chegar a minha vez.

Provavelmente já adivinham.

Não conseguiu detetar o meu rosto.

Perguntei aos responsáveis
o que é que se passava,

e acontece que tínhamos usado o mesmo
software genérico de reconhecimento facial.

Do outro lado do mundo,

aprendi que o preconceito do algoritmo
pode viajar tão depressa

quanto uma descarga
de ficheiros da Internet.

Então, o que é que se passa?
Porque é que a minha cara não é detetada?

Temos de olhar para o modo
como damos visão às máquinas.

A visão informática usa
técnicas de aprendizagem de máquina

para fazer o reconhecimento facial.

Funciona assim: criamos um grupo
de formação com exemplos de rostos.

Isto é um rosto. Isto é um rosto.
Isto não é um rosto.

Com o tempo, podemos ensinar
o computador a reconhecer rostos.

Contudo, se os grupos de formação
não forem diversificados,

qualquer rosto que se desvie
demasiado da norma estabelecida

será difícil de detetar.

Era o que estava a acontecer comigo.

Mas não se preocupem,
há boas notícias.

Os grupos de formação
não se materializam do nada.

Na verdade, podemos criá-los.

Portanto, há a oportunidade de criar
grupos de formação com um espetro completo

que reflitam um retrato
mais rico da humanidade.

Vocês viram nos meus exemplos

com os robôs sociais

que foi como eu descobri a exclusão
com o preconceito algorítmico.

Mas o preconceito algorítmico também
pode levar a práticas discriminatórias.

Nos Estados Unidos da América,

os departamentos da polícia começam
a usar o software de reconhecimento facial

no seu arsenal de luta contra o crime.

A Faculdade de Direito de Georgetown
publicou um relatório

mostrando que um
em dois adultos, nos EUA

— ou seja, 117 milhões de pessoas —

têm os rostos em redes
de reconhecimento facial.

Os departamentos da polícia podem procurar
nessas redes não regulamentadas,

usando algoritmos que não foram
auditados quanto ao seu rigor.

No entanto, sabemos que o reconhecimento
facial não é à prova de falhas,

e rotular rostos consistentemente
continua a ser um problema.

Podem ter visto isto no Facebook.

Os meus amigos e eu estamos sempre a rir
quando vemos outras pessoas

mal rotuladas nas nossas fotos.

Mas a má identificação de um possível
criminoso não é motivo para rir,

e o mesmo acontece com
a violação das liberdades civis.

A aprendizagem de máquinas está a ser
usada para reconhecimento facial,

mas está a estender-se para além
do domínio da visão por computador.

No seu livro, "Armas de
Destruição Matemática" (ADM),

a cientista de dados Cathy O'Neil
fala sobre o aumento de novas ADM

algoritmos difundidos,
misteriosos e destrutivos

que estão a ser cada vez mais usados
para tomar decisões

que afetam mais aspetos da nossa vida.

Por exemplo, quem é contratado
ou despedido?

Recebemos esse empréstimo?
Recebemos o seguro?

Somos admitidos na faculdade
em que queremos entrar?

Pagamos todos o mesmo preço
para o mesmo produto

comprado na mesma plataforma?

A polícia também está a começar
a usar a aprendizagem de máquinas

para policiamento preditivo.

Alguns juízes usam a avaliação de risco
gerada por máquinas para determinar

quanto tempo um indivíduo
vai passar na prisão.

Portanto, temos mesmo que pensar
nessas decisões.

Elas sãos justas?

Já vimos que o preconceito algorítmico

nem sempre conduz
a resultados justos.

Então, o que podemos fazer quanto a isso?

Podemos começar a pensar
em criar códigos mais inclusivos

e usar práticas de codificação inclusiva.

Isto começa com as pessoas.

Por isso, é importante quem codifica.

Estaremos a criar equipas de espetro
completo com diversos indivíduos

que podem verificar os pontos cegos
uns dos outros?

No lado técnico,
é importante a forma como codificamos.

Estaremos a considerar a equidade
enquanto desenvolvemos os sistemas?

E, finalmente, é importante a razão
por que codificamos.

Temos usado ferramentas
de criação informática

para desbloquear uma riqueza imensa.

Agora temos a oportunidade
de desbloquear uma igualdade ainda maior

se dermos prioridade à mudança social

e não uma reflexão tardia.

Portanto, estes são os três princípios
que formam o movimento "de codificação".

É importante quem codifica,

é importante como codificamos,

e é importante a razão
por que codificamos.

Para avançarmos para a codificação,
podemos começar a pensar

em construir plataformas que
possam identificar preconceitos

reunindo as experiências de pessoas
como as que eu contei,

e também auditando
os softwares existentes.

Também podemos começar a criar
grupos de formação mais inclusivos.

Imaginem uma campanha
"Selfies para Inclusão"

em que qualquer um pode ajudar
os desenvolvedores a criar e testar

grupos de formação mais inclusivos.

Também podemos começar
a pensar com maior consciência

no impacto social da tecnologia
que estamos a desenvolver.

Para iniciar o movimento de codificação,

lancei o Algoritmo Liga da Justiça,

em que todos os que
se interessam pela justiça

podem ajudar a lutar
contra o olhar codificado.

Em codedgaze.com,
podem relatar preconceitos,

exigir auditos, fazerem testes

e participar das conversas em curso,

#codedgaze.

Portanto, convido-os a juntarem-se a mim

para criar um mundo em que a tecnologia
funcione para todos nós,

não apenas para alguns,

um mundo em que valorizamos a inclusão
e nos centramos na mudança social.

Obrigada.

(Aplausos).

Mas eu tenho uma pergunta:

Vão juntar-se a mim nesta luta?

(Risos)

(Aplausos)