Return to Video

Como estou combatendo o viés algorítmico

  • 0:01 - 0:04
    Olá, sou Joy, uma "poetisa dos códigos",
  • 0:04 - 0:09
    a minha missão é deter
    uma força invisível que tem crescido,
  • 0:09 - 0:12
    uma força que chamo de "olhar codificado",
  • 0:12 - 0:15
    é como chamo o viés algorítmico.
  • 0:15 - 0:20
    Tal como o preconceito humano,
    ele resulta em desigualdade.
  • 0:20 - 0:22
    Porém, os algoritmos, assim como os vírus,
  • 0:22 - 0:27
    podem espalhar o viés
    em grande escala e rapidamente.
  • 0:28 - 0:32
    O viés algorítmico também
    pode levar a experiências de exclusão
  • 0:32 - 0:34
    e a práticas discriminatórias.
  • 0:35 - 0:37
    Vou mostrar o que quero dizer.
  • 0:37 - 0:39
    (Vídeo) Joy Boulamwini:
    Oi, câmera. Tenho um rosto.
  • 0:40 - 0:42
    Consegue ver meu rosto?
  • 0:42 - 0:44
    Um rosto sem óculos?
  • 0:44 - 0:46
    Você consegue ver o rosto dela...
  • 0:46 - 0:48
    E o meu?
  • 0:52 - 0:56
    Estou usando uma máscara. Consegue vê-la?
  • 0:56 - 0:59
    Joy Boulamwini: Como isso aconteceu?
  • 0:59 - 1:03
    Por que estou diante de um computador,
    usando uma máscara branca,
  • 1:03 - 1:07
    tentando ser detectada
    por uma câmera barata?
  • 1:07 - 1:09
    Bom, quando não estou lutando
    contra o olhar codificado
  • 1:09 - 1:11
    como uma poetisa dos códigos,
  • 1:11 - 1:14
    faço pós-graduação
    no Laboratório de Mídia do MIT,
  • 1:14 - 1:19
    na qual tenho a oportunidade de trabalhar
    em diversos projetos bacanas,
  • 1:19 - 1:21
    inclusive no "Aspire Mirror",
  • 1:21 - 1:26
    projeto que criei para poder projetar
    máscaras digitais sobre minha imagem.
  • 1:26 - 1:30
    De manhã, se eu quisesse me sentir
    poderosa, poderia usar uma de leão.
  • 1:30 - 1:34
    Se precisasse de uma inspiração,
    usaria uma citação.
  • 1:34 - 1:37
    Então, usei um software genérico
    de reconhecimento facial
  • 1:37 - 1:38
    para criar o sistema,
  • 1:38 - 1:43
    mas descobri que era bem difícil testá-lo,
    a não ser que usasse uma máscara branca.
  • 1:44 - 1:49
    Infelizmente, já tive esse problema antes.
  • 1:49 - 1:53
    Quando cursava minha graduação
    em ciência da computação na Georgia Tech,
  • 1:53 - 1:55
    eu trabalhava com robôs sociais,
  • 1:55 - 1:59
    e uma das minhas tarefas era fazer com que
    um robô brincasse de "Achou!",
  • 1:59 - 2:01
    um jogo simples de revezamento
  • 2:01 - 2:05
    em que uma pessoa cobre o rosto e depois
    o mostra à outra, dizendo: "Achou!"
  • 2:05 - 2:09
    O problema é que a brincadeira
    não dá certo se você não vê o outro,
  • 2:09 - 2:12
    e meu robô não me via.
  • 2:12 - 2:16
    Aí, peguei emprestado o rosto
    de uma amiga para fazer o projeto,
  • 2:16 - 2:17
    entreguei a tarefa
  • 2:17 - 2:21
    e pensei: "Sabe de uma coisa?
    Outra pessoa vai resolver esse problema".
  • 2:22 - 2:24
    Pouco tempo depois,
  • 2:24 - 2:28
    eu estava em Hong Kong,
    numa competição de empreendedorismo.
  • 2:28 - 2:31
    Os organizadores decidiram
    levar os participantes
  • 2:31 - 2:33
    pra visitar "start-ups" locais.
  • 2:33 - 2:38
    Uma das start-ups tinha um robô social,
    e eles decidiram fazer uma demonstração.
  • 2:38 - 2:40
    A demonstração funcionou com todos,
  • 2:40 - 2:43
    até que chegou a minha vez
    e, como vocês já podem imaginar,
  • 2:43 - 2:46
    ele não detectou meu rosto.
  • 2:46 - 2:49
    Perguntei aos desenvolvedores por quê,
  • 2:49 - 2:54
    e descobri que usaram o mesmo software
    genérico de reconhecimento facial que eu.
  • 2:54 - 2:58
    Do outro lado do mundo,
    descobri que o viés algorítmico
  • 2:58 - 3:03
    consegue viajar tão rápido
    quanto um download da internet.
  • 3:04 - 3:07
    O que estava acontecendo?
    Por que meu rosto não era detectado?
  • 3:07 - 3:10
    Bem, precisamos analisar
    como damos "visão" às máquinas.
  • 3:10 - 3:14
    A visão de computador utiliza
    técnicas de aprendizagem automática
  • 3:14 - 3:16
    para fazer o reconhecimento facial.
  • 3:16 - 3:19
    Funciona assim: você cria uma série
    de treinamento, com alguns rostos.
  • 3:19 - 3:22
    "Isto é um rosto. Isto é um isto.
    Isto não é um rosto."
  • 3:22 - 3:27
    Com o tempo, você ensina o computador
    a reconhecer outros rostos.
  • 3:27 - 3:31
    Porém, se as séries não forem
    diversificadas o bastante,
  • 3:31 - 3:34
    qualquer rosto que seja
    muito diferente dos demais
  • 3:34 - 3:38
    será mais difícil de detectar,
    e era isso que acontecia comigo.
  • 3:38 - 3:40
    Mas não se preocupem. Tenho boas notícias.
  • 3:40 - 3:43
    As séries de treinamento
    não surgem do nada.
  • 3:43 - 3:45
    Nós é que as criamos.
  • 3:45 - 3:49
    Então, podemos criar
    séries de amplo espectro,
  • 3:49 - 3:53
    que reflitam rostos humanos
    de forma mais diversa.
  • 3:53 - 3:55
    Vocês já viram nos exemplos que dei
  • 3:55 - 3:57
    como os robôs sociais
  • 3:57 - 4:02
    me fizeram ver a exclusão causada
    pelo viés algorítmico,
  • 4:02 - 4:06
    mas o viés algorítmico também
    pode acarretar práticas discriminatórias.
  • 4:07 - 4:09
    Em todos os Estados Unidos,
  • 4:09 - 4:13
    departamentos de polícia estão começando
    a usar softwares de reconhecimento facial
  • 4:13 - 4:16
    como parte de seu arsenal
    na luta contra o crime.
  • 4:16 - 4:18
    A Georgetown Law publicou um relatório
  • 4:18 - 4:24
    mostrando que um em cada dois adultos
    nos EUA, ou seja, 117 milhões de pessoas,
  • 4:24 - 4:28
    tiveram seus rostos incluídos
    em redes de reconhecimento facial.
  • 4:28 - 4:33
    Hoje, os departamentos de polícia podem
    usar essas redes sem qualquer regulação,
  • 4:33 - 4:37
    usando algoritmos que não tiveram
    sua precisão auditada.
  • 4:37 - 4:41
    Ainda assim, sabemos que
    o reconhecimento facial não é infalível,
  • 4:41 - 4:45
    e identificar rostos de forma consistente
    continua sendo um desafio.
  • 4:45 - 4:47
    Talvez já tenham visto isso no Facebook.
  • 4:47 - 4:50
    Eu e meus amigos rimos o tempo todo
    quando vemos outras pessoas
  • 4:50 - 4:52
    sendo marcadas incorretamente
    em nossas fotos.
  • 4:52 - 4:58
    Mas errar na identificação de um suspeito
    de crime não é nada engraçado,
  • 4:58 - 5:01
    nem violar liberdades civis.
  • 5:01 - 5:04
    A aprendizagem automática vem sendo
    usada no reconhecimento facial,
  • 5:04 - 5:08
    mas também vem se expandindo
    além da visão de computador.
  • 5:09 - 5:13
    Em seu livro "Weapons
    of Math Destruction",
  • 5:13 - 5:20
    a cientista de dados Cathy O'Neil
    fala sobre a ascensão dos novos "DMDs"
  • 5:20 - 5:24
    algoritmos "disseminados,
    misteriosos e destrutivos"
  • 5:24 - 5:27
    que têm sido cada vez mais utilizados
    na tomada de decisões
  • 5:27 - 5:31
    que impactam mais aspectos
    das nossas vidas.
  • 5:31 - 5:32
    Quem será contratado ou demitido?
  • 5:32 - 5:35
    Vai conseguir aquele
    empréstimo, ou seguro?
  • 5:35 - 5:38
    Vai entrar na faculdade que você queria?
  • 5:38 - 5:42
    Eu e você pagamos o mesmo valor
    pelo mesmo produto
  • 5:42 - 5:44
    vendido na mesma loja?
  • 5:44 - 5:48
    A segurança pública também está começando
    a usar a aprendizagem automática
  • 5:48 - 5:50
    no policiamento preditivo.
  • 5:50 - 5:53
    Alguns juízes utilizam índices
    de risco gerados por máquinas
  • 5:53 - 5:58
    para determinar quanto tempo
    um indivíduo ficará na prisão.
  • 5:58 - 6:02
    Temos realmente que refletir
    sobre essas decisões. Será que são justas?
  • 6:02 - 6:08
    E já vimos que o viés algorítmico
    nem sempre leva a resultados justos.
  • 6:08 - 6:10
    Então, o que podemos fazer?
  • 6:10 - 6:14
    Bem, podemos começar a pensar
    em como criar codificação mais inclusiva
  • 6:14 - 6:17
    e adotar práticas
    de codificação inclusivas.
  • 6:17 - 6:19
    Tudo começa com pessoas.
  • 6:20 - 6:22
    Então, é importante saber quem codifica.
  • 6:22 - 6:26
    Estamos criando equipes diversificadas,
    com indivíduos diferentes
  • 6:26 - 6:28
    que possam verificar
    pontos cegos uns dos outros?
  • 6:28 - 6:32
    Quanto ao aspecto técnico,
    a forma como codificamos é relevante.
  • 6:32 - 6:35
    Estamos levando em conta a equidade
    no desenvolvimento de sistemas?
  • 6:36 - 6:38
    Finalmente, a razão pela qual
    codificamos é relevante.
  • 6:39 - 6:44
    Utilizamos ferramentas de criação
    computacional para gerar imensas riquezas.
  • 6:44 - 6:48
    Hoje temos a oportunidade
    de gerar igualdade ainda maior,
  • 6:48 - 6:51
    se considerarmos a mudança
    social como uma prioridade
  • 6:51 - 6:53
    e não como algo de menos importância.
  • 6:54 - 6:59
    Esses são os três princípios na criação
    do movimento pela codificação inclusiva.
  • 6:59 - 7:00
    É importante quem codifica,
  • 7:00 - 7:02
    é importante como se codifica
  • 7:02 - 7:04
    e é importante por que se codifica.
  • 7:04 - 7:07
    Então, para uma codificação inclusiva,
    podemos começar a pensar
  • 7:07 - 7:10
    na criação de plataformas
    que identifiquem o viés,
  • 7:10 - 7:13
    coletando as experiências das pessoas,
    como as que eu contei aqui,
  • 7:13 - 7:16
    mas também auditando
    softwares já existentes.
  • 7:16 - 7:20
    Também podemos começar a criar
    séries de treinamento mais inclusivas.
  • 7:20 - 7:23
    Imaginem uma campanha
    de "'Selfies' pela Inclusão",
  • 7:23 - 7:26
    em que eu e vocês possamos ajudar
    os desenvolvedores a testar
  • 7:26 - 7:29
    e criar séries de treinamento
    mais inclusivas.
  • 7:29 - 7:32
    Também podemos começar
    a pensar de forma mais consciente
  • 7:32 - 7:37
    sobre o impacto social das tecnologias
    que temos desenvolvido.
  • 7:37 - 7:40
    Pra iniciarmos o movimento
    de codificação inclusiva
  • 7:40 - 7:43
    lancei a Liga da Justiça Algorítmica,
  • 7:43 - 7:49
    onde todos que se importem com a equidade
    podem lutar contra o olhar codificado.
  • 7:49 - 7:52
    Em codedgaze.com,
    vocês podem relatar vieses,
  • 7:52 - 7:55
    solicitar auditorias,
    participar dos testes
  • 7:55 - 7:57
    e se juntar ao debate que vem ocorrendo,
  • 7:57 - 8:00
    #codedgaze.
  • 8:01 - 8:03
    Convido vocês a se juntarem a mim
  • 8:03 - 8:07
    na criação de um mundo onde a tecnologia
    trabalhe em favor de todos,
  • 8:07 - 8:09
    não apenas em favor de alguns,
  • 8:09 - 8:14
    um mundo onde valorizemos a inclusão
    e tenhamos como foco a mudança social.
  • 8:14 - 8:15
    Obrigada.
  • 8:15 - 8:18
    (Aplausos)
  • 8:21 - 8:24
    Mas tenho uma pergunta:
  • 8:24 - 8:26
    Vocês vão se juntar a mim nessa luta?
  • 8:26 - 8:27
    (Risos)
  • 8:27 - 8:30
    (Aplausos)
Title:
Como estou combatendo o viés algorítmico
Speaker:
Joy Boulamwini
Description:

Joy Buolamwini , estudante de pósgradução do MIT, trabalhava com um software de reconhecimento facial quando percebeu um problema: o software não reconhecia seu rosto, porque as pessoas que codificaram o algoritmo não o haviam ensinado a reconhecer uma ampla gama de tons de pele e de estruturas faciais. Agora, sua missão é combater o viés na aprendizagem automática, um fenômeno que ela chama de "olhar codificado". É uma palestra esclarecedora sobre a necessidade de haver responsabilidade ao codificar, já que os algoritmos estão influenciando cada vez mais aspectos da nossa vida.

more » « less
Video Language:
English
Team:
TED
Project:
TEDTalks
Duration:
08:46

Portuguese, Brazilian subtitles

Revisions Compare revisions