< Return to Video

Como eu luto contra o preconceito em algoritmos

  • 0:01 - 0:04
    Olá, sou a Joy, uma poetisa de código,
  • 0:04 - 0:09
    numa missão de fazer parar
    uma força invisível em ascensão,
  • 0:09 - 0:12
    uma força a que eu chamo
    "olhar codificado,"
  • 0:12 - 0:15
    o meu termo para preconceito algorítmico.
  • 0:16 - 0:20
    O preconceito algorítmico, como o
    preconceito humano, resulta da injustiça.
  • 0:20 - 0:23
    Porém, os algoritmos, tal como os vírus,
  • 0:23 - 0:26
    podem espalhar preconceitos
    numa grande escala
  • 0:26 - 0:28
    num ritmo rápido.
  • 0:28 - 0:32
    O preconceito em algoritmos também
    pode levar a experiências de exclusão
  • 0:32 - 0:34
    e a práticas discriminatórias.
  • 0:35 - 0:37
    Vou mostrar o que quero dizer.
  • 0:37 - 0:39
    (Vídeo) Olá, câmara, eu tenho um rosto.
  • 0:40 - 0:42
    Podes ver o meu rosto?
  • 0:42 - 0:44
    Um rosto sem óculos?
  • 0:44 - 0:46
    Podes ver o rosto dela.
  • 0:46 - 0:48
    E o meu rosto?
  • 0:52 - 0:55
    Tenho uma máscara.
    Vês a minha máscara?
  • 0:56 - 0:59
    Joy: Então, como é que isso aconteceu?
  • 0:59 - 1:02
    Porque é que eu estou em frente
    de um computador
  • 1:02 - 1:04
    com uma máscara branca,
  • 1:04 - 1:07
    a tentar ser detetada por
    uma câmara de vídeo barata?
  • 1:07 - 1:10
    Quando não estou a lutar
    contra o olhar codificado
  • 1:10 - 1:11
    como uma poetisa de código,
  • 1:11 - 1:15
    sou uma estudante de pós-graduação
    no laboratório de "media" do MIT.
  • 1:15 - 1:19
    Aí tenho a oportunidade de trabalhar
    em todo tipo de projetos bizarros,
  • 1:19 - 1:21
    incluindo o Espelho de Desejar,
  • 1:21 - 1:26
    um projeto que fiz para poder projetar
    máscaras digitais para o meu reflexo.
  • 1:26 - 1:29
    Então, pela manhã,
    se quisesse sentir-me poderosa,
  • 1:29 - 1:30
    eu podia usar um leão.
  • 1:30 - 1:34
    Se quisesse ficar inspirada,
    podia ter uma citação.
  • 1:34 - 1:37
    Então eu usei o software
    genérico de reconhecimento facial
  • 1:37 - 1:38
    para construir o sistema,
  • 1:38 - 1:43
    mas descobri que era difícil testá-lo
    a menos que usasse uma máscara branca.
  • 1:44 - 1:48
    Infelizmente, eu já tinha esbarrado
    nesse problema.
  • 1:49 - 1:53
    Quando era universitária em Georgia Tech
    e estudava ciência informática,
  • 1:53 - 1:55
    eu costumava trabalhar em robôs sociais,
  • 1:55 - 1:59
    e uma das minhas tarefas era fazer
    com que um robô jogasse às escondidas,
  • 1:59 - 2:01
    um simples jogo de turnos
  • 2:01 - 2:05
    em que os parceiros escondem a cara
    e depois destapam-na, dizendo "Espreita!"
  • 2:05 - 2:09
    O problema é que isso só
    funciona se eu puder ver o outro,
  • 2:09 - 2:12
    e o meu robô não me via.
  • 2:12 - 2:16
    Pedi emprestada a cara da minha
    colega de quarto para terminar o projeto,
  • 2:16 - 2:18
    apresentei a tarefa e pensei:
  • 2:18 - 2:21
    "Sabem que mais,
    outra pessoa que resolva esse problema".
  • 2:22 - 2:24
    Pouco tempo depois,
  • 2:24 - 2:28
    eu estava em Hong Kong para uma
    competição de empreendedorismo.
  • 2:28 - 2:31
    Os organizadores decidiram
    levar os participantes
  • 2:31 - 2:33
    numa visita às "start-ups" locais.
  • 2:33 - 2:36
    Uma das "start-ups" tinha um robô social,
  • 2:36 - 2:38
    e decidiram fazer uma demonstração.
  • 2:38 - 2:41
    A demonstração funcionou com toda a gente
    até chegar a minha vez.
  • 2:41 - 2:43
    Provavelmente já adivinham.
  • 2:43 - 2:46
    Não conseguiu detetar o meu rosto.
  • 2:46 - 2:49
    Perguntei aos responsáveis
    o que é que se passava,
  • 2:49 - 2:54
    e acontece que tínhamos usado o mesmo
    software genérico de reconhecimento facial.
  • 2:54 - 2:56
    Do outro lado do mundo,
  • 2:56 - 3:00
    aprendi que o preconceito do algoritmo
    pode viajar tão depressa
  • 3:00 - 3:03
    quanto uma descarga
    de ficheiros da Internet.
  • 3:04 - 3:07
    Então, o que é que se passa?
    Porque é que a minha cara não é detetada?
  • 3:07 - 3:10
    Temos de olhar para o modo
    como damos visão às máquinas.
  • 3:10 - 3:14
    A visão informática usa
    técnicas de aprendizagem de máquina
  • 3:14 - 3:16
    para fazer o reconhecimento facial.
  • 3:16 - 3:20
    Funciona assim: criamos um grupo
    de formação com exemplos de rostos.
  • 3:20 - 3:22
    Isto é um rosto. Isto é um rosto.
    Isto não é um rosto.
  • 3:22 - 3:27
    Com o tempo, podemos ensinar
    o computador a reconhecer rostos.
  • 3:27 - 3:31
    Contudo, se os grupos de formação
    não forem diversificados,
  • 3:31 - 3:34
    qualquer rosto que se desvie
    demasiado da norma estabelecida
  • 3:34 - 3:36
    será difícil de detetar.
  • 3:36 - 3:38
    Era o que estava a acontecer comigo.
  • 3:38 - 3:40
    Mas não se preocupem,
    há boas notícias.
  • 3:40 - 3:43
    Os grupos de formação
    não se materializam do nada.
  • 3:43 - 3:45
    Na verdade, podemos criá-los.
  • 3:45 - 3:49
    Portanto, há a oportunidade de criar
    grupos de formação com um espetro completo
  • 3:49 - 3:53
    que reflitam um retrato
    mais rico da humanidade.
  • 3:53 - 3:55
    Vocês viram nos meus exemplos
  • 3:55 - 3:57
    com os robôs sociais
  • 3:57 - 4:02
    que foi como eu descobri a exclusão
    com o preconceito algorítmico.
  • 4:02 - 4:06
    Mas o preconceito algorítmico também
    pode levar a práticas discriminatórias.
  • 4:07 - 4:09
    Nos Estados Unidos da América,
  • 4:09 - 4:13
    os departamentos da polícia começam
    a usar o software de reconhecimento facial
  • 4:13 - 4:16
    no seu arsenal de luta contra o crime.
  • 4:16 - 4:18
    A Faculdade de Direito de Georgetown
    publicou um relatório
  • 4:18 - 4:21
    mostrando que um
    em dois adultos, nos EUA
  • 4:21 - 4:24
    — ou seja, 117 milhões de pessoas —
  • 4:25 - 4:28
    têm os rostos em redes
    de reconhecimento facial.
  • 4:28 - 4:33
    Os departamentos da polícia podem procurar
    nessas redes não regulamentadas,
  • 4:33 - 4:37
    usando algoritmos que não foram
    auditados quanto ao seu rigor.
  • 4:37 - 4:41
    No entanto, sabemos que o reconhecimento
    facial não é à prova de falhas,
  • 4:41 - 4:45
    e rotular rostos consistentemente
    continua a ser um problema.
  • 4:45 - 4:47
    Podem ter visto isto no Facebook.
  • 4:47 - 4:50
    Os meus amigos e eu estamos sempre a rir
    quando vemos outras pessoas
  • 4:50 - 4:52
    mal rotuladas nas nossas fotos.
  • 4:53 - 4:58
    Mas a má identificação de um possível
    criminoso não é motivo para rir,
  • 4:58 - 5:01
    e o mesmo acontece com
    a violação das liberdades civis.
  • 5:01 - 5:04
    A aprendizagem de máquinas está a ser
    usada para reconhecimento facial,
  • 5:04 - 5:09
    mas está a estender-se para além
    do domínio da visão por computador.
  • 5:09 - 5:13
    No seu livro, "Armas de
    Destruição Matemática" (ADM),
  • 5:13 - 5:20
    a cientista de dados Cathy O'Neil
    fala sobre o aumento de novas ADM
  • 5:20 - 5:24
    algoritmos difundidos,
    misteriosos e destrutivos
  • 5:25 - 5:28
    que estão a ser cada vez mais usados
    para tomar decisões
  • 5:28 - 5:31
    que afetam mais aspetos da nossa vida.
  • 5:31 - 5:33
    Por exemplo, quem é contratado
    ou despedido?
  • 5:33 - 5:35
    Recebemos esse empréstimo?
    Recebemos o seguro?
  • 5:35 - 5:38
    Somos admitidos na faculdade
    em que queremos entrar?
  • 5:38 - 5:42
    Pagamos todos o mesmo preço
    para o mesmo produto
  • 5:42 - 5:44
    comprado na mesma plataforma?
  • 5:44 - 5:48
    A polícia também está a começar
    a usar a aprendizagem de máquinas
  • 5:48 - 5:50
    para policiamento preditivo.
  • 5:50 - 5:54
    Alguns juízes usam a avaliação de risco
    gerada por máquinas para determinar
  • 5:54 - 5:58
    quanto tempo um indivíduo
    vai passar na prisão.
  • 5:58 - 6:01
    Portanto, temos mesmo que pensar
    nessas decisões.
  • 6:01 - 6:02
    Elas sãos justas?
  • 6:02 - 6:05
    Já vimos que o preconceito algorítmico
  • 6:05 - 6:08
    nem sempre conduz
    a resultados justos.
  • 6:08 - 6:10
    Então, o que podemos fazer quanto a isso?
  • 6:10 - 6:14
    Podemos começar a pensar
    em criar códigos mais inclusivos
  • 6:14 - 6:17
    e usar práticas de codificação inclusiva.
  • 6:17 - 6:19
    Isto começa com as pessoas.
  • 6:20 - 6:22
    Por isso, é importante quem codifica.
  • 6:22 - 6:26
    Estaremos a criar equipas de espetro
    completo com diversos indivíduos
  • 6:26 - 6:29
    que podem verificar os pontos cegos
    uns dos outros?
  • 6:29 - 6:32
    No lado técnico,
    é importante a forma como codificamos.
  • 6:32 - 6:35
    Estaremos a considerar a equidade
    enquanto desenvolvemos os sistemas?
  • 6:36 - 6:39
    E, finalmente, é importante a razão
    por que codificamos.
  • 6:39 - 6:41
    Temos usado ferramentas
    de criação informática
  • 6:41 - 6:44
    para desbloquear uma riqueza imensa.
  • 6:44 - 6:48
    Agora temos a oportunidade
    de desbloquear uma igualdade ainda maior
  • 6:48 - 6:52
    se dermos prioridade à mudança social
  • 6:52 - 6:54
    e não uma reflexão tardia.
  • 6:54 - 6:59
    Portanto, estes são os três princípios
    que formam o movimento "de codificação".
  • 6:59 - 7:00
    É importante quem codifica,
  • 7:00 - 7:02
    é importante como codificamos,
  • 7:02 - 7:04
    e é importante a razão
    por que codificamos.
  • 7:04 - 7:07
    Para avançarmos para a codificação,
    podemos começar a pensar
  • 7:07 - 7:10
    em construir plataformas que
    possam identificar preconceitos
  • 7:10 - 7:13
    reunindo as experiências de pessoas
    como as que eu contei,
  • 7:14 - 7:16
    e também auditando
    os softwares existentes.
  • 7:16 - 7:20
    Também podemos começar a criar
    grupos de formação mais inclusivos.
  • 7:20 - 7:23
    Imaginem uma campanha
    "Selfies para Inclusão"
  • 7:23 - 7:27
    em que qualquer um pode ajudar
    os desenvolvedores a criar e testar
  • 7:27 - 7:29
    grupos de formação mais inclusivos.
  • 7:29 - 7:32
    Também podemos começar
    a pensar com maior consciência
  • 7:32 - 7:37
    no impacto social da tecnologia
    que estamos a desenvolver.
  • 7:38 - 7:40
    Para iniciar o movimento de codificação,
  • 7:40 - 7:43
    lancei o Algoritmo Liga da Justiça,
  • 7:43 - 7:46
    em que todos os que
    se interessam pela justiça
  • 7:46 - 7:49
    podem ajudar a lutar
    contra o olhar codificado.
  • 7:49 - 7:52
    Em codedgaze.com,
    podem relatar preconceitos,
  • 7:52 - 7:55
    exigir auditos, fazerem testes
  • 7:55 - 7:58
    e participar das conversas em curso,
  • 7:58 - 8:00
    #codedgaze.
  • 8:01 - 8:03
    Portanto, convido-os a juntarem-se a mim
  • 8:03 - 8:07
    para criar um mundo em que a tecnologia
    funcione para todos nós,
  • 8:07 - 8:09
    não apenas para alguns,
  • 8:09 - 8:14
    um mundo em que valorizamos a inclusão
    e nos centramos na mudança social.
  • 8:14 - 8:15
    Obrigada.
  • 8:15 - 8:18
    (Aplausos).
  • 8:21 - 8:23
    Mas eu tenho uma pergunta:
  • 8:24 - 8:26
    Vão juntar-se a mim nesta luta?
  • 8:26 - 8:27
    (Risos)
  • 8:27 - 8:30
    (Aplausos)
Title:
Como eu luto contra o preconceito em algoritmos
Speaker:
Joy Buolamwini
Description:

Joy Buolamwini, estudante de pós-graduação de MIT, trabalhava com um software de reconhecimento facial quando notou um problema: o software não reconhecia o seu rosto, porque as pessoas que tinham codificado o algoritmo não tinham pensado em identificar uma ampla variedade de tons de pele e de estruturas faciais. Agora ela está numa missão de lutar contra o preconceito em aprendizagem de máquina, um fenómeno a que ela chama "olhar codificado". É uma conversa de olhos abertos sobre a responsabilidade necessária em codificação... enquanto os algoritmos tomam conta de cada vez mais aspetos da nossa vida.

more » « less
Video Language:
English
Team:
closed TED
Project:
TEDTalks
Duration:
08:46
Margarida Ferreira approved Portuguese subtitles for How I'm fighting bias in algorithms
Margarida Ferreira accepted Portuguese subtitles for How I'm fighting bias in algorithms
Margarida Ferreira edited Portuguese subtitles for How I'm fighting bias in algorithms
Margarida Ferreira edited Portuguese subtitles for How I'm fighting bias in algorithms
Retired user edited Portuguese subtitles for How I'm fighting bias in algorithms

Portuguese subtitles

Revisions