Så kämpar jag mot partiska algoritmer

MIT-doktoranden Joy Buolamwini jobbade med mjukvara för ansiktsigenkänning när hon upptäckte ett problem: mjukvaran upptäckte inte hennes ansikte - eftersom de personer som kodade algoritmerna inte hade tänkt på att de behövde upptäcka olika hudtoner och ansiktsstrukturer. Nu är hon på ett uppdrag för att slåss mot fördomar i maskininlärning, ett fenomen hon kallar "den kodade blicken." Det här är ett ögonöppnande föredrag kring nödvändigheten av att koden är tillförlitlig ... eftersom algoritmerna tar över fler och fler aspekter av våra liv.

Hej, jag är Joy, jag är poet i kod,

med uppdrag att stoppa
en osynlig kraft som vaknat,

en kraft som jag kallar
"den kodade blicken,"

min term för fördomar i algoritmer.

Algoritmiska fördomar, precis som
mänskliga, resulterar i orättvisa.

Men, algoritmer kan, precis som virus,
sprida fördomar i stor skala

och i snabb takt.

Fördomar i algoritmer kan också
leda till att människor sållas bort

och till diskriminerande praxis.

Låt mig visa vad jag menar.

(Video) Joy Buolamwini: Hej, kamera.
Jag har ett ansikte.

Kan du se mitt ansikte?

Utan glasögon?

Du kan se hennes ansikte.

Mitt ansikte då?

Jag har en mask. Kan du se min mask?

Joy Buolamwini: Hur hände det här?

Varför sitter jag framför en dator

med en vit mask,

och försöker få en billig webbkamera
att upptäcka mig?

Jo, när jag inte slåss
mot den kodade blicken,

som en poet i kod,

är jag doktorand på MIT Media Lab,

och där har jag möjlighet att arbeta
i en massa egendomliga projekt,

inklusive Aspire Mirror,

ett projekt jag startade för att projicera
digitala masker på min spegelbild.

Så på morgonen,
när jag ville känna mig stark,

kunde jag projicera ett lejon,

Om jag ville peppa mig själv,
projicerade jag kanske ett citat.

Jag använde mjukvara för
generisk ansiktsigenkänning

för att bygga systemet,

men upptäckte att det var väldigt svårt
att testa om jag inte bar en vit mask.

Tyvärr har jag upplevt
det här bekymret tidigare.

När jag studerade datavetenskap på
Georgia Institute of Technology,

brukade jag arbeta med mänskliga robotar,

och en av mina uppgifter var
att få roboten att leka tittut,

en enkel lek mellan två personer

där man täcker sina ansikten och
sedan visar dem och säger "Tittut!"

Problemet är att tittut inte fungerar
om man inte ser varandra,

och min robot kunde inte se mig.

Men jag lånade min rumskamrats ansikte
för att göra klart projektet,

lämnade in uppgiften,

och tänkte, vet ni vad,
någon annan kommer att lösa problemet.

Inte så långt därefter,

var jag i Hong Kong och deltog i
en tävling för entreprenörer.

Organisatörerna tog med deltagarna

på en rundtur bland
lokala startup-företag.

Ett av dessa hade en mänsklig robot,

och de ville köra en demo.

Demon fungerade på alla
tills den kom till mig,

och ni kan säkert gissa varför.

Den kunde inte upptäcka mitt ansikte.

Jag frågade utvecklarna vad som hänt,

och det visade sig att de använt samma
mjukvara för ansiktsigenkänning som jag.

På andra sidan jordklotet,

lärde jag mig att fördomsfulla algoritmer
kan färdas lika snabbt

som det tar att ladda ner
några filer från internet.

Vad är det som pågår?
Varför upptäcks inte mitt ansikte?

Jo, vi måste titta på hur
vi ger maskinerna syn.

Datorigenkänning använder
maskininlärningsteknik

för att känna igen ansikten.

Så här fungerar det, du skapar en modell
med exempel på olika ansikten.

Här är ett ansikte, och ett till.
Detta är inte ett ansikte.

Över tid, kan du lära datorn
att upptäcka andra ansikten.

Men, om modellen inte speglar
mångfalden tillräckligt mycket,

kommer ansikten som skiljer sig för mycket
från den fastställda normen

bli svårare att upptäcka,

vilket var det som hände mig.

Men oroa er inte -
det finns något gott i det.

Träningsmodellerna kommer inte
från ingenstans.

Vi kan faktiskt skapa dem.

Det finns möjligheter
att skapa heltäckande modeller

som skapar en djupare bild
av mänskligheten.

Som ni sett i mina exempel

var mänskliga robotar anledningen

till att jag upptäckte exkluderingen
med fördomsfulla algoritmer.

Men fördomar i algoritmer kan också
leda till diskriminerande normer.

Över hela USA,

har polismyndigheterna börjat använda
mjukvara för ansiktsigenkänning

som ett bland andra redskap
för brottsbekämpning.

Georgetown Law publicerade en rapport

som visade att varannan vuxen i USA -
det är 117 miljoner människor -

har sina ansikten registrerade
i nätverk för ansiktsigenkänning.

Polisyndigheterna kan använda
de här nätverken helt oreglerat,

genom att använda algoritmer
vars tillförlitlighet inte granskats.

Trots att vi vet att ansiktsigenkänning
inte är tillförlitlig,

och att kunna kategorisera ansikten
fortfarande är en utmaning.

Du har kanske sett det på Facebook.

Mina vänner och jag
skrattar varje gång vi ser andra

som blivit felaktigt taggade
i våra bilder.

Men att felaktigt identifiera en misstänkt
kriminell är inget att skratta åt,

inte heller att åsidosätta
de mänskliga rättigheterna.

Maskininlärning används
för ansiktsigenkänning,

men den används också inom andra områden.

I boken "Weapons of Math Destruction,"

skriver forskaren Cathy O´Neil
om de framväxande UMD:na -

utbredda, mystiska och
destruktiva algoritmer

som i ökande utsträckning
används för att ta beslut

som påverkar fler och fler
aspekter i våra liv.

Vem blir anställd eller sparkad?

Får du ta lån?
Får du teckna försäkringar?

Kommer du in på det universitet du vill?

Betalar du och jag samma pris
för samma produkt

köpt på samma sätt?

Lagstiftningen börjar också
använda maskininlärning

i förebyggande polisarbete.

Vissa domare använder maskingenererade
riskbedömningar för att besluta

hur långa fängelsestraff som ska utdömas.

Vi behöver verkligen fundera
över de här besluten.

Är de rättvisa?

Vi har sett att fördomarna i algoritmerna

inte nödvändigtvis
leder till rättvisa resultat.

Så vad kan vi göra?

Tja, vi kan börja fundera på
hur vi skapar en mer inkluderande kod

och använda en mer inkluderande praxis.

Det börjar med människor.

Så vem som programmerar har betydelse.

Bygger vi arbetsgrupper
med individer olika erfarenheter

som kan se utanför varandras skygglappar?

På den tekniska sidan har det betydelse
hur vi programmerar.

Har vi med rättviseperspektivet
när vi utvecklar system?

Slutligen, varför vi programmerar
har betydelse.

Vi har använt datorkraft för beräkningar
som skapat enorma rikedomar.

Nu har vi möjlighet
att skapa ännu större jämlikhet

om vi prioriterar sociala förändringar

och inte tar dem i efterhand.

De här tre principerna
kommer att utgöra "inkodnings"-rörelsen.

Vem som kodar har betydelse,

hur vi kodar har betydelse

och varför vi kodar har betydelse.

Så för att komma närmare inkodning
kan vi börja fundera på

att bygga plattformar
som kan identifiera fördomar

genom att samla in folks erfarenheter
som den jag pratade om,

men också genom att
granska existerande mjukvara.

Vi kan också börja skapa mer
inkluderande modeller.

Tänk er en kampanj
för "Selfies för inkludering"

där du och jag kan hjälpa
utvecklarna testa och skapa

mer inkluderande modeller.

Vi kan också börja tänka mer samvetsgrant

kring de sociala effekterna
av tekniken som vi utvecklar.

För att få fart på "inkodnings"-rörelsen,

har jag lanserat
Algorithmic Justice League,

där alla som bryr sig om rättvisa kan
hjälpa till att kämpa mot fördomsfull kod.

På www.codegaze.com,
kan du rapportera partisk kod,

begära granskningar, bli testare

och delta i den pågående diskussionen,

#codedgaze

Jag bjuder in er till
att ansluta er till mig

i skapandet av en värld
där tekniken fungerar för oss alla,

inte bara för några av oss,

en värld där vi värdesätter inkludering
och fokuserar på social förändring.

Tack.

(Applåder)

Men jag har en fråga:

Kommer ni att ansluta er till kampen?

(Skratt)

(Applåder)