Olá, meu nome é Joy,
sou uma "poetisa dos códigos",
e minha missão é deter
uma força invisível e que tem crescido,
uma força que chamo
de "olhar codificado",
minha forma de chamar o viés algorítmico.
Tal como o preconceito humano,
ele resulta em desigualdade.
Porém, os algoritmos, assim como os vírus,
podem espalhar o viés
em grande escala e rapidamente.
O viés algorítmico também
pode levar a experiências de exclusão
e a práticas discriminatórias.
Vou mostrar o que quero dizer.
(Vídeo) Joy Boulamwini:
Oi, câmera. Tenho um rosto.
Consegue ver meu rosto?
Um rosto sem óculos?
Você consegue ver o rosto dela...
E o meu?
Estou usando uma máscara. Consegue vê-la?
Joy Boulamwini: Como isso aconteceu?
Por que estou diante de um computador,
usando uma máscara branca,
tentando ser detectada
por uma câmera barata?
Bom, quando não estou lutando
contra o olhar codificado
como poetisa dos códigos,
faço pós-graduação
no Laboratório de Mídia do MIT,
onde tenho a oportunidade de trabalhar
em diversos projetos bacanas,
inclusive o "Aspire Mirror",
projeto que criei para poder projetar
máscaras digitais sobre meu reflexo.
De manhã, se eu quisesse me sentir
poderosa, poderia usar uma de leão.
Se precisasse de uma inspiração,
usaria uma citação.
Então, usei um software genérico
de reconhecimento facial
para criar o sistema,
mas descobri que era bem difícil testá-lo,
a não ser que usasse uma máscara branca.
Infelizmente, já tive esse problema antes.
Quando cursava minha graduação
em ciência da computação na Georgia Tech,
eu trabalhava com robôs sociais,
e uma das minhas tarefas era fazer com que
um robô brincasse de "Achou!",
um jogo simples de revezamento
em que uma pessoa cobre o rosto e depois
o mostra à outra, dizendo: "Achou!"
O problema é que a brincadeira
não dá certo se você não vê o outro,
e meu robô não me via.
Aí, peguei emprestado o rosto
de uma amiga para fazer o projeto,
entreguei a tarefa
e pensei: "Sabe de uma coisa?
Outra pessoa vai resolver esse problema".
Não muito tempo depois,
eu estava em Hong Kong,
em uma competição de empreendedorismo.
Os organizadores decidiram
levar os participantes
pra visitar "start-ups" locais.
Uma das start-ups tinha um robô social,
e eles decidiram fazer uma demonstração.
A demonstração funcionou com todos,
até que chegou a minha vez
e, como vocês já podem imaginar,
ele não detectou meu rosto.
Perguntei aos desenvolvedores por quê,
e descobri que usaram o mesmo software
genérico de reconhecimento facial que eu.
Do outro lado do mundo,
descobri que o viés algorítmico
consegue viajar tão rápido
quanto um download da internet.
O que estava acontecendo?
Por que meu rosto não era detectado?
Bem, precisamos analisar
como damos "visão" às máquinas.
A visão de computador utiliza
técnicas de aprendizagem automática
para fazer o reconhecimento facial.
Funciona assim: você cria uma série
de treinamento, com alguns rostos.
"Isto é um rosto. Isto é um rosto.
Isto não é um rosto."
Com o tempo, você ensina o computador
a reconhecer outros rostos.
Porém, se as séries não forem
diversificadas o bastante,
qualquer rosto que seja
muito diferente dos demais
será mais difícil de detectar,
e era isso que acontecia comigo.
Mas não se preocupem. Tenho boas notícias.
As séries de treinamento
não surgem do nada.
Nós é que as criamos.
Então, podemos criar
séries de amplo espectro,
que reflitam rostos humanos
de forma mais diversa.
Vocês já viram nos exemplos que dei
como os robôs sociais
me fizeram ver a exclusão causada
pelo viés algorítmico,
mas o viés algorítmico também
pode acarretar práticas discriminatórias.
Em todos os Estados Unidos,
departamentos de polícia estão começando
a usar softwares de reconhecimento facial
como parte de seu arsenal
na luta contra o crime.
A Georgetown Law publicou um relatório
mostrando que um em cada dois adultos
nos EUA, ou seja, 117 milhões de pessoas,
tiveram seus rostos incluídos
em redes de reconhecimento facial.
Hoje, os departamentos de polícia podem
usar essas redes sem qualquer regulação,
usando algoritmos que não tiveram
sua precisão auditada.
Ainda assim, sabemos que
o reconhecimento facial não é infalível,
e identificar rostos de forma consistente
continua sendo um desafio.
Talvez já tenham visto isso no Facebook.
Eu e meus amigos rimos o tempo todo
quando vemos outras pessoas
sendo marcadas incorretamente
em nossas fotos.
Mas errar na identificação de um suspeito
de crime não é nada engraçado,
nem violar liberdades civis.
A aprendizagem automática vem sendo
usada no reconhecimento facial,
mas também vem se expandindo
além da visão de computador.
Em seu livro "Weapons
of Math Destruction",
a cientista de dados Cathy O'Neil
fala sobre a ascensão dos novos "DMDs",
os algoritmos "disseminados,
misteriosos e destrutivos",
que têm sido cada vez mais utilizados
na tomada de decisões
que impactam mais aspectos
das nossas vidas.
Quem será contratado ou demitido?
Vai conseguir aquele
empréstimo, ou seguro?
Vai entrar na faculdade que você queria?
Eu e você pagamos o mesmo valor
pelo mesmo produto
vendido na mesma loja?
A segurança pública também está começando
a usar a aprendizagem automática
no policiamento preditivo.
Alguns juízes utilizam índices
de risco gerados por máquinas
para determinar quanto tempo
um indivíduo ficará na prisão.
Temos realmente que refletir
sobre essas decisões. Será que são justas?
E já vimos que o viés algorítmico
nem sempre leva a resultados justos.
Então, o que podemos fazer?
Bem, podemos começar a pensar
em como criar codificação mais inclusiva
e adotar práticas
de codificação inclusivas.
Tudo começa com pessoas.
Então, é importante saber quem codifica.
Estamos criando equipes diversificadas,
com indivíduos diferentes
que possam verificar
pontos cegos uns dos outros?
Quanto ao aspecto técnico,
a forma como codificamos é relevante.
Estamos levando em conta a equidade
no desenvolvimento de sistemas?
Finalmente, a razão pela qual
codificamos é relevante.
Utilizamos ferramentas de criação
computacional para gerar imensas riquezas.
Hoje temos a oportunidade
de gerar igualdade ainda maior,
se considerarmos a mudança social
como uma prioridade
e não como algo de menos importância.
Esses são os três princípios na criação
do movimento pela codificação inclusiva.
É importante quem codifica,
é importante como se codifica
e é importante por que se codifica.
Então, para uma codificação inclusiva,
podemos começar a pensar
na criação de plataformas
que identifiquem o viés,
coletando as experiências das pessoas,
como as que eu contei aqui,
mas também auditando
softwares já existentes.
Também podemos começar a criar
séries de treinamento mais inclusivas.
Imaginem uma campanha
de "'Selfies' pela Inclusão",
em que eu e vocês possamos ajudar
os desenvolvedores a testar
e criar séries de treinamento
mais inclusivas.
Também podemos começar
a pensar de forma mais consciente
sobre o impacto social das tecnologias
que temos desenvolvido.
Para iniciarmos o movimento
de codificação inclusiva
lancei a Liga da Justiça Algorítmica,
onde todos que se importem com a equidade
podem lutar contra o olhar codificado.
Em codedgaze.com,
vocês podem relatar vieses,
solicitar auditorias,
participar dos testes
e se juntar ao debate que vem ocorrendo,
#codedgaze.
Convido vocês a se juntarem a mim
na criação de um mundo onde a tecnologia
trabalhe em favor de todos,
não apenas em favor de alguns.
Um mundo onde valorizemos a inclusão
e tenhamos a mudança social como foco.
Obrigada.
(Aplausos)
Mas tenho uma pergunta:
Vocês vão se juntar a mim nessa luta?
(Risos)
(Aplausos)