Return to Video

Så kämpar jag mot partiska algoritmer

  • 0:01 - 0:04
    Hej, jag är Joy, jag är poet i kod,
  • 0:04 - 0:09
    med uppdrag att stoppa
    en osynlig kraft som vaknat,
  • 0:09 - 0:12
    en kraft som jag kallar
    "den kodade blicken,"
  • 0:12 - 0:15
    min term för fördomar i algoritmer.
  • 0:15 - 0:20
    Algoritmiska fördomar, precis som
    mänskliga, resulterar i orättvisa.
  • 0:20 - 0:26
    Men, algoritmer kan, precis som virus,
    sprida fördomar i stor skala
  • 0:26 - 0:27
    och i snabb takt.
  • 0:28 - 0:32
    Fördomar i algoritmer kan också
    leda till att människor sållas bort
  • 0:32 - 0:34
    och till diskriminerande praxis.
  • 0:35 - 0:37
    Låt mig visa vad jag menar.
  • 0:37 - 0:40
    (Video) Joy Buolamwini: Hej, kamera.
    Jag har ett ansikte.
  • 0:40 - 0:42
    Kan du se mitt ansikte?
  • 0:42 - 0:44
    Utan glasögon?
  • 0:44 - 0:46
    Du kan se hennes ansikte.
  • 0:46 - 0:48
    Mitt ansikte då?
  • 0:52 - 0:56
    Jag har en mask. Kan du se min mask?
  • 0:56 - 0:59
    Joy Buolamwini: Hur hände det här?
  • 0:59 - 1:02
    Varför sitter jag framför en dator
  • 1:02 - 1:03
    med en vit mask,
  • 1:03 - 1:07
    och försöker få en billig webbkamera
    att upptäcka mig?
  • 1:07 - 1:10
    Jo, när jag inte slåss
    mot den kodade blicken,
  • 1:10 - 1:11
    som en poet i kod,
  • 1:11 - 1:14
    är jag doktorand på MIT Media Lab,
  • 1:14 - 1:19
    och där har jag möjlighet att arbeta
    i en massa egendomliga projekt,
  • 1:19 - 1:21
    inklusive Aspire Mirror,
  • 1:21 - 1:26
    ett projekt jag startade för att projicera
    digitala masker på min spegelbild.
  • 1:26 - 1:29
    Så på morgonen,
    när jag ville känna mig stark,
  • 1:29 - 1:30
    kunde jag projicera ett lejon,
  • 1:30 - 1:34
    Om jag ville peppa mig själv,
    projicerade jag kanske ett citat.
  • 1:34 - 1:37
    Jag använde mjukvara för
    generisk ansiktsigenkänning
  • 1:37 - 1:38
    för att bygga systemet,
  • 1:38 - 1:43
    men upptäckte att det var väldigt svårt
    att testa om jag inte bar en vit mask.
  • 1:44 - 1:49
    Tyvärr har jag upplevt
    det här bekymret tidigare.
  • 1:49 - 1:53
    När jag studerade datavetenskap på
    Georgia Institute of Technology,
  • 1:53 - 1:55
    brukade jag arbeta med mänskliga robotar,
  • 1:55 - 1:59
    och en av mina uppgifter var
    att få roboten att leka tittut,
  • 1:59 - 2:01
    en enkel lek mellan två personer
  • 2:01 - 2:05
    där man täcker sina ansikten och
    sedan visar dem och säger "Tittut!"
  • 2:05 - 2:09
    Problemet är att tittut inte fungerar
    om man inte ser varandra,
  • 2:09 - 2:12
    och min robot kunde inte se mig.
  • 2:12 - 2:16
    Men jag lånade min rumskamrats ansikte
    för att göra klart projektet,
  • 2:16 - 2:17
    lämnade in uppgiften,
  • 2:17 - 2:21
    och tänkte, vet ni vad,
    någon annan kommer att lösa problemet.
  • 2:22 - 2:24
    Inte så långt därefter,
  • 2:24 - 2:28
    var jag i Hong Kong och deltog i
    en tävling för entreprenörer.
  • 2:28 - 2:31
    Organisatörerna tog med deltagarna
  • 2:31 - 2:33
    på en rundtur bland
    lokala startup-företag.
  • 2:33 - 2:36
    Ett av dessa hade en mänsklig robot,
  • 2:36 - 2:38
    och de ville köra en demo.
  • 2:38 - 2:41
    Demon fungerade på alla
    tills den kom till mig,
  • 2:41 - 2:43
    och ni kan säkert gissa varför.
  • 2:43 - 2:46
    Den kunde inte upptäcka mitt ansikte.
  • 2:46 - 2:49
    Jag frågade utvecklarna vad som hänt,
  • 2:49 - 2:54
    och det visade sig att de använt samma
    mjukvara för ansiktsigenkänning som jag.
  • 2:54 - 2:56
    På andra sidan jordklotet,
  • 2:56 - 3:00
    lärde jag mig att fördomsfulla algoritmer
    kan färdas lika snabbt
  • 3:00 - 3:03
    som det tar att ladda ner
    några filer från internet.
  • 3:04 - 3:07
    Vad är det som pågår?
    Varför upptäcks inte mitt ansikte?
  • 3:07 - 3:10
    Jo, vi måste titta på hur
    vi ger maskinerna syn.
  • 3:10 - 3:14
    Datorigenkänning använder
    maskininlärningsteknik
  • 3:14 - 3:16
    för att känna igen ansikten.
  • 3:16 - 3:19
    Så här fungerar det, du skapar en modell
    med exempel på olika ansikten.
  • 3:19 - 3:23
    Här är ett ansikte, och ett till.
    Detta är inte ett ansikte.
  • 3:23 - 3:27
    Över tid, kan du lära datorn
    att upptäcka andra ansikten.
  • 3:27 - 3:31
    Men, om modellen inte speglar
    mångfalden tillräckligt mycket,
  • 3:31 - 3:34
    kommer ansikten som skiljer sig för mycket
    från den fastställda normen
  • 3:34 - 3:36
    bli svårare att upptäcka,
  • 3:36 - 3:38
    vilket var det som hände mig.
  • 3:38 - 3:40
    Men oroa er inte -
    det finns något gott i det.
  • 3:40 - 3:43
    Träningsmodellerna kommer inte
    från ingenstans.
  • 3:43 - 3:45
    Vi kan faktiskt skapa dem.
  • 3:45 - 3:49
    Det finns möjligheter
    att skapa heltäckande modeller
  • 3:49 - 3:53
    som skapar en djupare bild
    av mänskligheten.
  • 3:53 - 3:55
    Som ni sett i mina exempel
  • 3:55 - 3:57
    var mänskliga robotar anledningen
  • 3:57 - 4:02
    till att jag upptäckte exkluderingen
    med fördomsfulla algoritmer.
  • 4:02 - 4:06
    Men fördomar i algoritmer kan också
    leda till diskriminerande normer.
  • 4:07 - 4:09
    Över hela USA,
  • 4:09 - 4:13
    har polismyndigheterna börjat använda
    mjukvara för ansiktsigenkänning
  • 4:13 - 4:16
    som ett bland andra redskap
    för brottsbekämpning.
  • 4:16 - 4:18
    Georgetown Law publicerade en rapport
  • 4:18 - 4:24
    som visade att varannan vuxen i USA -
    det är 117 miljoner människor -
  • 4:24 - 4:28
    har sina ansikten registrerade
    i nätverk för ansiktsigenkänning.
  • 4:28 - 4:33
    Polisyndigheterna kan använda
    de här nätverken helt oreglerat,
  • 4:33 - 4:37
    genom att använda algoritmer
    vars tillförlitlighet inte granskats.
  • 4:37 - 4:41
    Trots att vi vet att ansiktsigenkänning
    inte är tillförlitlig,
  • 4:41 - 4:45
    och att kunna kategorisera ansikten
    fortfarande är en utmaning.
  • 4:45 - 4:47
    Du har kanske sett det på Facebook.
  • 4:47 - 4:50
    Mina vänner och jag
    skrattar varje gång vi ser andra
  • 4:50 - 4:52
    som blivit felaktigt taggade
    i våra bilder.
  • 4:52 - 4:58
    Men att felaktigt identifiera en misstänkt
    kriminell är inget att skratta åt,
  • 4:58 - 5:01
    inte heller att åsidosätta
    de mänskliga rättigheterna.
  • 5:01 - 5:04
    Maskininlärning används
    för ansiktsigenkänning,
  • 5:04 - 5:08
    men den används också inom andra områden.
  • 5:09 - 5:13
    I boken "Weapons of Math Destruction,"
  • 5:13 - 5:20
    skriver forskaren Cathy O´Neil
    om de framväxande UMD:na -
  • 5:20 - 5:24
    utbredda, mystiska och
    destruktiva algoritmer
  • 5:24 - 5:27
    som i ökande utsträckning
    används för att ta beslut
  • 5:27 - 5:31
    som påverkar fler och fler
    aspekter i våra liv.
  • 5:31 - 5:32
    Vem blir anställd eller sparkad?
  • 5:32 - 5:35
    Får du ta lån?
    Får du teckna försäkringar?
  • 5:35 - 5:38
    Kommer du in på det universitet du vill?
  • 5:38 - 5:42
    Betalar du och jag samma pris
    för samma produkt
  • 5:42 - 5:44
    köpt på samma sätt?
  • 5:44 - 5:48
    Lagstiftningen börjar också
    använda maskininlärning
  • 5:48 - 5:50
    i förebyggande polisarbete.
  • 5:50 - 5:54
    Vissa domare använder maskingenererade
    riskbedömningar för att besluta
  • 5:54 - 5:58
    hur långa fängelsestraff som ska utdömas.
  • 5:58 - 6:01
    Vi behöver verkligen fundera
    över de här besluten.
  • 6:01 - 6:02
    Är de rättvisa?
  • 6:02 - 6:05
    Vi har sett att fördomarna i algoritmerna
  • 6:05 - 6:08
    inte nödvändigtvis
    leder till rättvisa resultat.
  • 6:08 - 6:10
    Så vad kan vi göra?
  • 6:10 - 6:14
    Tja, vi kan börja fundera på
    hur vi skapar en mer inkluderande kod
  • 6:14 - 6:17
    och använda en mer inkluderande praxis.
  • 6:17 - 6:19
    Det börjar med människor.
  • 6:20 - 6:22
    Så vem som programmerar har betydelse.
  • 6:22 - 6:26
    Bygger vi arbetsgrupper
    med individer olika erfarenheter
  • 6:26 - 6:28
    som kan se utanför varandras skygglappar?
  • 6:28 - 6:32
    På den tekniska sidan har det betydelse
    hur vi programmerar.
  • 6:32 - 6:35
    Har vi med rättviseperspektivet
    när vi utvecklar system?
  • 6:36 - 6:38
    Slutligen, varför vi programmerar
    har betydelse.
  • 6:39 - 6:44
    Vi har använt datorkraft för beräkningar
    som skapat enorma rikedomar.
  • 6:44 - 6:48
    Nu har vi möjlighet
    att skapa ännu större jämlikhet
  • 6:48 - 6:51
    om vi prioriterar sociala förändringar
  • 6:51 - 6:53
    och inte tar dem i efterhand.
  • 6:54 - 6:59
    De här tre principerna
    kommer att utgöra "inkodnings"-rörelsen.
  • 6:59 - 7:00
    Vem som kodar har betydelse,
  • 7:00 - 7:02
    hur vi kodar har betydelse
  • 7:02 - 7:04
    och varför vi kodar har betydelse.
  • 7:04 - 7:07
    Så för att komma närmare inkodning
    kan vi börja fundera på
  • 7:07 - 7:10
    att bygga plattformar
    som kan identifiera fördomar
  • 7:10 - 7:13
    genom att samla in folks erfarenheter
    som den jag pratade om,
  • 7:13 - 7:16
    men också genom att
    granska existerande mjukvara.
  • 7:16 - 7:20
    Vi kan också börja skapa mer
    inkluderande modeller.
  • 7:20 - 7:23
    Tänk er en kampanj
    för "Selfies för inkludering"
  • 7:23 - 7:27
    där du och jag kan hjälpa
    utvecklarna testa och skapa
  • 7:27 - 7:29
    mer inkluderande modeller.
  • 7:29 - 7:32
    Vi kan också börja tänka mer samvetsgrant
  • 7:32 - 7:38
    kring de sociala effekterna
    av tekniken som vi utvecklar.
  • 7:38 - 7:40
    För att få fart på "inkodnings"-rörelsen,
  • 7:40 - 7:43
    har jag lanserat
    Algorithmic Justice League,
  • 7:43 - 7:49
    där alla som bryr sig om rättvisa kan
    hjälpa till att kämpa mot fördomsfull kod.
  • 7:49 - 7:52
    På www.codegaze.com,
    kan du rapportera partisk kod,
  • 7:52 - 7:55
    begära granskningar, bli testare
  • 7:55 - 7:57
    och delta i den pågående diskussionen,
  • 7:57 - 8:00
    #codedgaze
  • 8:01 - 8:03
    Jag bjuder in er till
    att ansluta er till mig
  • 8:03 - 8:07
    i skapandet av en värld
    där tekniken fungerar för oss alla,
  • 8:07 - 8:09
    inte bara för några av oss,
  • 8:09 - 8:14
    en värld där vi värdesätter inkludering
    och fokuserar på social förändring.
  • 8:14 - 8:15
    Tack.
  • 8:15 - 8:18
    (Applåder)
  • 8:21 - 8:24
    Men jag har en fråga:
  • 8:24 - 8:26
    Kommer ni att ansluta er till kampen?
  • 8:26 - 8:27
    (Skratt)
  • 8:27 - 8:30
    (Applåder)
Title:
Så kämpar jag mot partiska algoritmer
Speaker:
Joy Buolamwini
Description:

MIT-doktoranden Joy Buolamwini jobbade med mjukvara för ansiktsigenkänning när hon upptäckte ett problem: mjukvaran upptäckte inte hennes ansikte - eftersom de personer som kodade algoritmerna inte hade tänkt på att de behövde upptäcka olika hudtoner och ansiktsstrukturer. Nu är hon på ett uppdrag för att slåss mot fördomar i maskininlärning, ett fenomen hon kallar "den kodade blicken." Det här är ett ögonöppnande föredrag kring nödvändigheten av att koden är tillförlitlig ... eftersom algoritmerna tar över fler och fler aspekter av våra liv.

more » « less
Video Language:
English
Team:
TED
Project:
TEDTalks
Duration:
08:46

Swedish subtitles

Revisions