0:00:01.041,0:00:04.175
Hej, jag är Joy, jag är poet i kod,

0:00:04.199,0:00:09.192
med uppdrag att stoppa[br]en osynlig kraft som vaknat,

0:00:09.216,0:00:12.072
en kraft som jag kallar[br]"den kodade blicken,"

0:00:12.096,0:00:15.405
min term för fördomar i algoritmer.

0:00:15.429,0:00:19.729
Algoritmiska fördomar, precis som[br]mänskliga, resulterar i orättvisa.

0:00:19.753,0:00:25.775
Men, algoritmer kan, precis som virus,[br]sprida fördomar i stor skala

0:00:25.799,0:00:27.381
och i snabb takt.

0:00:27.943,0:00:32.330
Fördomar i algoritmer kan också[br]leda till att människor sållas bort

0:00:32.354,0:00:34.482
och till diskriminerande praxis.

0:00:34.506,0:00:36.567
Låt mig visa vad jag menar.

0:00:36.980,0:00:39.856
(Video) Joy Buolamwini: Hej, kamera.[br]Jag har ett ansikte.

0:00:40.162,0:00:42.026
Kan du se mitt ansikte?

0:00:42.051,0:00:43.676
Utan glasögon?

0:00:43.701,0:00:45.915
Du kan se hennes ansikte.

0:00:46.237,0:00:48.482
Mitt ansikte då?

0:00:51.890,0:00:55.640
Jag har en mask. Kan du se min mask?

0:00:56.474,0:00:58.839
Joy Buolamwini: Hur hände det här?

0:00:58.863,0:01:02.004
Varför sitter jag framför en dator

0:01:02.028,0:01:03.452
med en vit mask,

0:01:03.476,0:01:07.126
och försöker få en billig webbkamera[br]att upptäcka mig?

0:01:07.150,0:01:09.591
Jo, när jag inte slåss[br]mot den kodade blicken,

0:01:09.625,0:01:10.985
som en poet i kod,

0:01:11.009,0:01:14.281
är jag doktorand på MIT Media Lab,

0:01:14.305,0:01:19.222
och där har jag möjlighet att arbeta[br]i en massa egendomliga projekt,

0:01:19.246,0:01:21.273
inklusive Aspire Mirror,

0:01:21.297,0:01:26.431
ett projekt jag startade för att projicera[br]digitala masker på min spegelbild.

0:01:26.455,0:01:28.805
Så på morgonen,[br]när jag ville känna mig stark,

0:01:28.829,0:01:30.263
kunde jag projicera ett lejon,

0:01:30.287,0:01:33.783
Om jag ville peppa mig själv,[br]projicerade jag kanske ett citat.

0:01:33.807,0:01:36.796
Jag använde mjukvara för[br]generisk ansiktsigenkänning

0:01:36.820,0:01:38.171
för att bygga systemet,

0:01:38.195,0:01:43.298
men upptäckte att det var väldigt svårt[br]att testa om jag inte bar en vit mask.

0:01:44.282,0:01:48.628
Tyvärr har jag upplevt[br]det här bekymret tidigare.

0:01:48.652,0:01:52.955
När jag studerade datavetenskap på[br]Georgia Institute of Technology,

0:01:52.979,0:01:55.034
brukade jag arbeta med mänskliga robotar,

0:01:55.058,0:01:58.835
och en av mina uppgifter var[br]att få roboten att leka tittut,

0:01:58.859,0:02:00.542
en enkel lek mellan två personer

0:02:00.566,0:02:04.887
där man täcker sina ansikten och[br]sedan visar dem och säger "Tittut!"

0:02:04.911,0:02:09.340
Problemet är att tittut inte fungerar[br]om man inte ser varandra,

0:02:09.364,0:02:11.863
och min robot kunde inte se mig.

0:02:11.887,0:02:15.837
Men jag lånade min rumskamrats ansikte[br]för att göra klart projektet,

0:02:15.861,0:02:17.241
lämnade in uppgiften,

0:02:17.265,0:02:21.018
och tänkte, vet ni vad,[br]någon annan kommer att lösa problemet.

0:02:21.669,0:02:23.672
Inte så långt därefter,

0:02:23.696,0:02:27.855
var jag i Hong Kong och deltog i[br]en tävling för entreprenörer.

0:02:28.339,0:02:31.033
Organisatörerna tog med deltagarna

0:02:31.057,0:02:33.429
på en rundtur bland[br]lokala startup-företag.

0:02:33.453,0:02:36.168
Ett av dessa hade en mänsklig robot,

0:02:36.192,0:02:38.104
och de ville köra en demo.

0:02:38.128,0:02:41.108
Demon fungerade på alla[br]tills den kom till mig,

0:02:41.132,0:02:43.055
och ni kan säkert gissa varför.

0:02:43.079,0:02:46.044
Den kunde inte upptäcka mitt ansikte.

0:02:46.068,0:02:48.579
Jag frågade utvecklarna vad som hänt,

0:02:48.603,0:02:54.136
och det visade sig att de använt samma[br]mjukvara för ansiktsigenkänning som jag.

0:02:54.160,0:02:55.810
På andra sidan jordklotet,

0:02:55.834,0:02:59.686
lärde jag mig att fördomsfulla algoritmer[br]kan färdas lika snabbt

0:02:59.710,0:03:02.880
som det tar att ladda ner[br]några filer från internet.

0:03:03.745,0:03:06.821
Vad är det som pågår?[br]Varför upptäcks inte mitt ansikte?

0:03:06.845,0:03:10.201
Jo, vi måste titta på hur[br]vi ger maskinerna syn.

0:03:10.225,0:03:13.634
Datorigenkänning använder[br]maskininlärningsteknik

0:03:13.658,0:03:15.538
för att känna igen ansikten.

0:03:15.562,0:03:19.459
Så här fungerar det, du skapar en modell[br]med exempel på olika ansikten.

0:03:19.483,0:03:22.621
Här är ett ansikte, och ett till. [br]Detta är inte ett ansikte.

0:03:22.635,0:03:26.844
Över tid, kan du lära datorn[br]att upptäcka andra ansikten.

0:03:26.868,0:03:30.857
Men, om modellen inte speglar[br]mångfalden tillräckligt mycket,

0:03:30.881,0:03:34.230
kommer ansikten som skiljer sig för mycket[br]från den fastställda normen

0:03:34.254,0:03:35.903
bli svårare att upptäcka,

0:03:35.927,0:03:37.890
vilket var det som hände mig.

0:03:37.914,0:03:40.296
Men oroa er inte -[br]det finns något gott i det.

0:03:40.320,0:03:43.091
Träningsmodellerna kommer inte[br]från ingenstans.

0:03:43.115,0:03:44.903
Vi kan faktiskt skapa dem.

0:03:44.927,0:03:49.103
Det finns möjligheter[br]att skapa heltäckande modeller

0:03:49.127,0:03:52.951
som skapar en djupare bild[br]av mänskligheten.

0:03:52.975,0:03:55.196
Som ni sett i mina exempel

0:03:55.220,0:03:56.988
var mänskliga robotar anledningen

0:03:57.012,0:04:01.623
till att jag upptäckte exkluderingen[br]med fördomsfulla algoritmer.

0:04:01.647,0:04:06.462
Men fördomar i algoritmer kan också[br]leda till diskriminerande normer.

0:04:07.437,0:04:08.890
Över hela USA,

0:04:08.914,0:04:13.112
har polismyndigheterna börjat använda[br]mjukvara för ansiktsigenkänning

0:04:13.136,0:04:15.595
som ett bland andra redskap[br]för brottsbekämpning.

0:04:15.619,0:04:17.632
Georgetown Law publicerade en rapport

0:04:17.656,0:04:24.419
som visade att varannan vuxen i USA -[br]det är 117 miljoner människor -

0:04:24.443,0:04:27.977
har sina ansikten registrerade[br]i nätverk för ansiktsigenkänning.

0:04:28.001,0:04:32.553
Polisyndigheterna kan använda[br]de här nätverken helt oreglerat,

0:04:32.577,0:04:36.863
genom att använda algoritmer[br]vars tillförlitlighet inte granskats.

0:04:36.887,0:04:40.751
Trots att vi vet att ansiktsigenkänning[br]inte är tillförlitlig,

0:04:40.775,0:04:44.954
och att kunna kategorisera ansikten[br]fortfarande är en utmaning.

0:04:44.978,0:04:46.740
Du har kanske sett det på Facebook.

0:04:46.764,0:04:49.752
Mina vänner och jag[br]skrattar varje gång vi ser andra

0:04:49.776,0:04:52.234
som blivit felaktigt taggade[br]i våra bilder.

0:04:52.258,0:04:57.849
Men att felaktigt identifiera en misstänkt[br]kriminell är inget att skratta åt,

0:04:57.873,0:05:00.700
inte heller att åsidosätta[br]de mänskliga rättigheterna.

0:05:00.724,0:05:03.929
Maskininlärning används[br]för ansiktsigenkänning,

0:05:03.953,0:05:08.458
men den används också inom andra områden.

0:05:09.266,0:05:13.282
I boken "Weapons of Math Destruction,"

0:05:13.306,0:05:19.987
skriver forskaren Cathy O´Neil[br]om de framväxande UMD:na -

0:05:20.011,0:05:24.364
utbredda, mystiska och[br]destruktiva algoritmer

0:05:24.388,0:05:27.352
som i ökande utsträckning [br]används för att ta beslut

0:05:27.376,0:05:30.553
som påverkar fler och fler[br]aspekter i våra liv.

0:05:30.577,0:05:32.447
Vem blir anställd eller sparkad?

0:05:32.471,0:05:34.583
Får du ta lån?[br]Får du teckna försäkringar?

0:05:34.607,0:05:38.110
Kommer du in på det universitet du vill?

0:05:38.134,0:05:41.643
Betalar du och jag samma pris[br]för samma produkt

0:05:41.667,0:05:44.109
köpt på samma sätt?

0:05:44.133,0:05:47.892
Lagstiftningen börjar också [br]använda maskininlärning

0:05:47.916,0:05:50.205
i förebyggande polisarbete.

0:05:50.229,0:05:53.723
Vissa domare använder maskingenererade[br]riskbedömningar för att besluta

0:05:53.747,0:05:58.149
hur långa fängelsestraff som ska utdömas.

0:05:58.173,0:06:00.627
Vi behöver verkligen fundera[br]över de här besluten.

0:06:00.651,0:06:01.833
Är de rättvisa?

0:06:01.857,0:06:04.747
Vi har sett att fördomarna i algoritmerna

0:06:04.771,0:06:08.145
inte nödvändigtvis[br]leder till rättvisa resultat.

0:06:08.169,0:06:10.133
Så vad kan vi göra?

0:06:10.157,0:06:13.837
Tja, vi kan börja fundera på[br]hur vi skapar en mer inkluderande kod

0:06:13.861,0:06:16.851
och använda en mer inkluderande praxis.

0:06:16.875,0:06:19.184
Det börjar med människor.

0:06:19.708,0:06:21.669
Så vem som programmerar har betydelse.

0:06:21.693,0:06:25.812
Bygger vi arbetsgrupper[br]med individer olika erfarenheter

0:06:25.836,0:06:28.247
som kan se utanför varandras skygglappar?

0:06:28.271,0:06:31.816
På den tekniska sidan har det betydelse[br]hur vi programmerar.

0:06:31.840,0:06:35.491
Har vi med rättviseperspektivet[br]när vi utvecklar system?

0:06:35.515,0:06:38.428
Slutligen, varför vi programmerar[br]har betydelse.

0:06:38.785,0:06:43.868
Vi har använt datorkraft för beräkningar[br]som skapat enorma rikedomar.

0:06:43.892,0:06:48.339
Nu har vi möjlighet[br]att skapa ännu större jämlikhet

0:06:48.363,0:06:51.293
om vi prioriterar sociala förändringar

0:06:51.317,0:06:53.487
och inte tar dem i efterhand.

0:06:54.008,0:06:58.530
De här tre principerna[br]kommer att utgöra "inkodnings"-rörelsen.

0:06:58.554,0:07:00.206
Vem som kodar har betydelse,

0:07:00.230,0:07:01.773
hur vi kodar har betydelse

0:07:01.797,0:07:03.820
och varför vi kodar har betydelse.

0:07:03.844,0:07:06.943
Så för att komma närmare inkodning[br]kan vi börja fundera på

0:07:06.967,0:07:10.131
att bygga plattformar[br]som kan identifiera fördomar

0:07:10.155,0:07:13.373
genom att samla in folks erfarenheter[br]som den jag pratade om,

0:07:13.393,0:07:16.417
men också genom att[br]granska existerande mjukvara.

0:07:16.461,0:07:20.116
Vi kan också börja skapa mer[br]inkluderande modeller.

0:07:20.140,0:07:22.943
Tänk er en kampanj[br]för "Selfies för inkludering"

0:07:22.967,0:07:26.622
där du och jag kan hjälpa[br]utvecklarna testa och skapa

0:07:26.646,0:07:28.739
mer inkluderande modeller.

0:07:29.302,0:07:32.130
Vi kan också börja tänka mer samvetsgrant

0:07:32.154,0:07:37.545
kring de sociala effekterna[br]av tekniken som vi utvecklar.

0:07:37.569,0:07:39.962
För att få fart på "inkodnings"-rörelsen,

0:07:39.986,0:07:42.833
har jag lanserat [br]Algorithmic Justice League,

0:07:42.857,0:07:48.729
där alla som bryr sig om rättvisa kan[br]hjälpa till att kämpa mot fördomsfull kod.

0:07:48.753,0:07:52.049
På www.codegaze.com,[br]kan du rapportera partisk kod,

0:07:52.073,0:07:54.518
begära granskningar, bli testare

0:07:54.542,0:07:57.313
och delta i den pågående diskussionen,

0:07:57.337,0:07:59.624
#codedgaze

0:08:00.652,0:08:03.199
Jag bjuder in er till[br]att ansluta er till mig

0:08:03.253,0:08:06.972
i skapandet av en värld[br]där tekniken fungerar för oss alla,

0:08:06.996,0:08:08.893
inte bara för några av oss,

0:08:08.917,0:08:13.505
en värld där vi värdesätter inkludering[br]och fokuserar på social förändring.

0:08:13.529,0:08:14.704
Tack.

0:08:14.728,0:08:17.719
(Applåder)

0:08:20.873,0:08:23.727
Men jag har en fråga:

0:08:23.751,0:08:25.810
Kommer ni att ansluta er till kampen?

0:08:25.834,0:08:27.119
(Skratt)

0:08:27.143,0:08:30.120
(Applåder)