1
00:00:01,041 --> 00:00:04,175
Hej, jag är Joy, jag är poet i kod,

2
00:00:04,199 --> 00:00:09,192
med uppdrag att stoppa
en osynlig kraft som vaknat,

3
00:00:09,216 --> 00:00:12,072
en kraft som jag kallar
"den kodade blicken,"

4
00:00:12,096 --> 00:00:15,405
min term för fördomar i algoritmer.

5
00:00:15,429 --> 00:00:19,729
Algoritmiska fördomar, precis som
mänskliga, resulterar i orättvisa.

6
00:00:19,753 --> 00:00:25,775
Men, algoritmer kan, precis som virus,
sprida fördomar i stor skala

7
00:00:25,799 --> 00:00:27,381
och i snabb takt.

8
00:00:27,943 --> 00:00:32,330
Fördomar i algoritmer kan också
leda till att människor sållas bort

9
00:00:32,354 --> 00:00:34,482
och till diskriminerande praxis.

10
00:00:34,506 --> 00:00:36,567
Låt mig visa vad jag menar.

11
00:00:36,980 --> 00:00:39,856
(Video) Joy Buolamwini: Hej, kamera.
Jag har ett ansikte.

12
00:00:40,162 --> 00:00:42,026
Kan du se mitt ansikte?

13
00:00:42,051 --> 00:00:43,676
Utan glasögon?

14
00:00:43,701 --> 00:00:45,915
Du kan se hennes ansikte.

15
00:00:46,237 --> 00:00:48,482
Mitt ansikte då?

16
00:00:51,890 --> 00:00:55,640
Jag har en mask. Kan du se min mask?

17
00:00:56,474 --> 00:00:58,839
Joy Buolamwini: Hur hände det här?

18
00:00:58,863 --> 00:01:02,004
Varför sitter jag framför en dator

19
00:01:02,028 --> 00:01:03,452
med en vit mask,

20
00:01:03,476 --> 00:01:07,126
och försöker få en billig webbkamera
att upptäcka mig?

21
00:01:07,150 --> 00:01:09,591
Jo, när jag inte slåss
mot den kodade blicken,

22
00:01:09,625 --> 00:01:10,985
som en poet i kod,

23
00:01:11,009 --> 00:01:14,281
är jag doktorand på MIT Media Lab,

24
00:01:14,305 --> 00:01:19,222
och där har jag möjlighet att arbeta
i en massa egendomliga projekt,

25
00:01:19,246 --> 00:01:21,273
inklusive Aspire Mirror,

26
00:01:21,297 --> 00:01:26,431
ett projekt jag startade för att projicera
digitala masker på min spegelbild.

27
00:01:26,455 --> 00:01:28,805
Så på morgonen,
när jag ville känna mig stark,

28
00:01:28,829 --> 00:01:30,263
kunde jag projicera ett lejon,

29
00:01:30,287 --> 00:01:33,783
Om jag ville peppa mig själv,
projicerade jag kanske ett citat.

30
00:01:33,807 --> 00:01:36,796
Jag använde mjukvara för
generisk ansiktsigenkänning

31
00:01:36,820 --> 00:01:38,171
för att bygga systemet,

32
00:01:38,195 --> 00:01:43,298
men upptäckte att det var väldigt svårt
att testa om jag inte bar en vit mask.

33
00:01:44,282 --> 00:01:48,628
Tyvärr har jag upplevt
det här bekymret tidigare.

34
00:01:48,652 --> 00:01:52,955
När jag studerade datavetenskap på
Georgia Institute of Technology,

35
00:01:52,979 --> 00:01:55,034
brukade jag arbeta med mänskliga robotar,

36
00:01:55,058 --> 00:01:58,835
och en av mina uppgifter var
att få roboten att leka tittut,

37
00:01:58,859 --> 00:02:00,542
en enkel lek mellan två personer

38
00:02:00,566 --> 00:02:04,887
där man täcker sina ansikten och
sedan visar dem och säger "Tittut!"

39
00:02:04,911 --> 00:02:09,340
Problemet är att tittut inte fungerar
om man inte ser varandra,

40
00:02:09,364 --> 00:02:11,863
och min robot kunde inte se mig.

41
00:02:11,887 --> 00:02:15,837
Men jag lånade min rumskamrats ansikte
för att göra klart projektet,

42
00:02:15,861 --> 00:02:17,241
lämnade in uppgiften,

43
00:02:17,265 --> 00:02:21,018
och tänkte, vet ni vad,
någon annan kommer att lösa problemet.

44
00:02:21,669 --> 00:02:23,672
Inte så långt därefter,

45
00:02:23,696 --> 00:02:27,855
var jag i Hong Kong och deltog i
en tävling för entreprenörer.

46
00:02:28,339 --> 00:02:31,033
Organisatörerna tog med deltagarna

47
00:02:31,057 --> 00:02:33,429
på en rundtur bland
lokala startup-företag.

48
00:02:33,453 --> 00:02:36,168
Ett av dessa hade en mänsklig robot,

49
00:02:36,192 --> 00:02:38,104
och de ville köra en demo.

50
00:02:38,128 --> 00:02:41,108
Demon fungerade på alla
tills den kom till mig,

51
00:02:41,132 --> 00:02:43,055
och ni kan säkert gissa varför.

52
00:02:43,079 --> 00:02:46,044
Den kunde inte upptäcka mitt ansikte.

53
00:02:46,068 --> 00:02:48,579
Jag frågade utvecklarna vad som hänt,

54
00:02:48,603 --> 00:02:54,136
och det visade sig att de använt samma
mjukvara för ansiktsigenkänning som jag.

55
00:02:54,160 --> 00:02:55,810
På andra sidan jordklotet,

56
00:02:55,834 --> 00:02:59,686
lärde jag mig att fördomsfulla algoritmer
kan färdas lika snabbt

57
00:02:59,710 --> 00:03:02,880
som det tar att ladda ner
några filer från internet.

58
00:03:03,745 --> 00:03:06,821
Vad är det som pågår?
Varför upptäcks inte mitt ansikte?

59
00:03:06,845 --> 00:03:10,201
Jo, vi måste titta på hur
vi ger maskinerna syn.

60
00:03:10,225 --> 00:03:13,634
Datorigenkänning använder
maskininlärningsteknik

61
00:03:13,658 --> 00:03:15,538
för att känna igen ansikten.

62
00:03:15,562 --> 00:03:19,459
Så här fungerar det, du skapar en modell
med exempel på olika ansikten.

63
00:03:19,483 --> 00:03:22,621
Här är ett ansikte, och ett till. 
Detta är inte ett ansikte.

64
00:03:22,635 --> 00:03:26,844
Över tid, kan du lära datorn
att upptäcka andra ansikten.

65
00:03:26,868 --> 00:03:30,857
Men, om modellen inte speglar
mångfalden tillräckligt mycket,

66
00:03:30,881 --> 00:03:34,230
kommer ansikten som skiljer sig för mycket
från den fastställda normen

67
00:03:34,254 --> 00:03:35,903
bli svårare att upptäcka,

68
00:03:35,927 --> 00:03:37,890
vilket var det som hände mig.

69
00:03:37,914 --> 00:03:40,296
Men oroa er inte -
det finns något gott i det.

70
00:03:40,320 --> 00:03:43,091
Träningsmodellerna kommer inte
från ingenstans.

71
00:03:43,115 --> 00:03:44,903
Vi kan faktiskt skapa dem.

72
00:03:44,927 --> 00:03:49,103
Det finns möjligheter
att skapa heltäckande modeller

73
00:03:49,127 --> 00:03:52,951
som skapar en djupare bild
av mänskligheten.

74
00:03:52,975 --> 00:03:55,196
Som ni sett i mina exempel

75
00:03:55,220 --> 00:03:56,988
var mänskliga robotar anledningen

76
00:03:57,012 --> 00:04:01,623
till att jag upptäckte exkluderingen
med fördomsfulla algoritmer.

77
00:04:01,647 --> 00:04:06,462
Men fördomar i algoritmer kan också
leda till diskriminerande normer.

78
00:04:07,437 --> 00:04:08,890
Över hela USA,

79
00:04:08,914 --> 00:04:13,112
har polismyndigheterna börjat använda
mjukvara för ansiktsigenkänning

80
00:04:13,136 --> 00:04:15,595
som ett bland andra redskap
för brottsbekämpning.

81
00:04:15,619 --> 00:04:17,632
Georgetown Law publicerade en rapport

82
00:04:17,656 --> 00:04:24,419
som visade att varannan vuxen i USA -
det är 117 miljoner människor -

83
00:04:24,443 --> 00:04:27,977
har sina ansikten registrerade
i nätverk för ansiktsigenkänning.

84
00:04:28,001 --> 00:04:32,553
Polisyndigheterna kan använda
de här nätverken helt oreglerat,

85
00:04:32,577 --> 00:04:36,863
genom att använda algoritmer
vars tillförlitlighet inte granskats.

86
00:04:36,887 --> 00:04:40,751
Trots att vi vet att ansiktsigenkänning
inte är tillförlitlig,

87
00:04:40,775 --> 00:04:44,954
och att kunna kategorisera ansikten
fortfarande är en utmaning.

88
00:04:44,978 --> 00:04:46,740
Du har kanske sett det på Facebook.

89
00:04:46,764 --> 00:04:49,752
Mina vänner och jag
skrattar varje gång vi ser andra

90
00:04:49,776 --> 00:04:52,234
som blivit felaktigt taggade
i våra bilder.

91
00:04:52,258 --> 00:04:57,849
Men att felaktigt identifiera en misstänkt
kriminell är inget att skratta åt,

92
00:04:57,873 --> 00:05:00,700
inte heller att åsidosätta
de mänskliga rättigheterna.

93
00:05:00,724 --> 00:05:03,929
Maskininlärning används
för ansiktsigenkänning,

94
00:05:03,953 --> 00:05:08,458
men den används också inom andra områden.

95
00:05:09,266 --> 00:05:13,282
I boken "Weapons of Math Destruction,"

96
00:05:13,306 --> 00:05:19,987
skriver forskaren Cathy O´Neil
om de framväxande UMD:na -

97
00:05:20,011 --> 00:05:24,364
utbredda, mystiska och
destruktiva algoritmer

98
00:05:24,388 --> 00:05:27,352
som i ökande utsträckning 
används för att ta beslut

99
00:05:27,376 --> 00:05:30,553
som påverkar fler och fler
aspekter i våra liv.

100
00:05:30,577 --> 00:05:32,447
Vem blir anställd eller sparkad?

101
00:05:32,471 --> 00:05:34,583
Får du ta lån?
Får du teckna försäkringar?

102
00:05:34,607 --> 00:05:38,110
Kommer du in på det universitet du vill?

103
00:05:38,134 --> 00:05:41,643
Betalar du och jag samma pris
för samma produkt

104
00:05:41,667 --> 00:05:44,109
köpt på samma sätt?

105
00:05:44,133 --> 00:05:47,892
Lagstiftningen börjar också 
använda maskininlärning

106
00:05:47,916 --> 00:05:50,205
i förebyggande polisarbete.

107
00:05:50,229 --> 00:05:53,723
Vissa domare använder maskingenererade
riskbedömningar för att besluta

108
00:05:53,747 --> 00:05:58,149
hur långa fängelsestraff som ska utdömas.

109
00:05:58,173 --> 00:06:00,627
Vi behöver verkligen fundera
över de här besluten.

110
00:06:00,651 --> 00:06:01,833
Är de rättvisa?

111
00:06:01,857 --> 00:06:04,747
Vi har sett att fördomarna i algoritmerna

112
00:06:04,771 --> 00:06:08,145
inte nödvändigtvis
leder till rättvisa resultat.

113
00:06:08,169 --> 00:06:10,133
Så vad kan vi göra?

114
00:06:10,157 --> 00:06:13,837
Tja, vi kan börja fundera på
hur vi skapar en mer inkluderande kod

115
00:06:13,861 --> 00:06:16,851
och använda en mer inkluderande praxis.

116
00:06:16,875 --> 00:06:19,184
Det börjar med människor.

117
00:06:19,708 --> 00:06:21,669
Så vem som programmerar har betydelse.

118
00:06:21,693 --> 00:06:25,812
Bygger vi arbetsgrupper
med individer olika erfarenheter

119
00:06:25,836 --> 00:06:28,247
som kan se utanför varandras skygglappar?

120
00:06:28,271 --> 00:06:31,816
På den tekniska sidan har det betydelse
hur vi programmerar.

121
00:06:31,840 --> 00:06:35,491
Har vi med rättviseperspektivet
när vi utvecklar system?

122
00:06:35,515 --> 00:06:38,428
Slutligen, varför vi programmerar
har betydelse.

123
00:06:38,785 --> 00:06:43,868
Vi har använt datorkraft för beräkningar
som skapat enorma rikedomar.

124
00:06:43,892 --> 00:06:48,339
Nu har vi möjlighet
att skapa ännu större jämlikhet

125
00:06:48,363 --> 00:06:51,293
om vi prioriterar sociala förändringar

126
00:06:51,317 --> 00:06:53,487
och inte tar dem i efterhand.

127
00:06:54,008 --> 00:06:58,530
De här tre principerna
kommer att utgöra "inkodnings"-rörelsen.

128
00:06:58,554 --> 00:07:00,206
Vem som kodar har betydelse,

129
00:07:00,230 --> 00:07:01,773
hur vi kodar har betydelse

130
00:07:01,797 --> 00:07:03,820
och varför vi kodar har betydelse.

131
00:07:03,844 --> 00:07:06,943
Så för att komma närmare inkodning
kan vi börja fundera på

132
00:07:06,967 --> 00:07:10,131
att bygga plattformar
som kan identifiera fördomar

133
00:07:10,155 --> 00:07:13,373
genom att samla in folks erfarenheter
som den jag pratade om,

134
00:07:13,393 --> 00:07:16,417
men också genom att
granska existerande mjukvara.

135
00:07:16,461 --> 00:07:20,116
Vi kan också börja skapa mer
inkluderande modeller.

136
00:07:20,140 --> 00:07:22,943
Tänk er en kampanj
för "Selfies för inkludering"

137
00:07:22,967 --> 00:07:26,622
där du och jag kan hjälpa
utvecklarna testa och skapa

138
00:07:26,646 --> 00:07:28,739
mer inkluderande modeller.

139
00:07:29,302 --> 00:07:32,130
Vi kan också börja tänka mer samvetsgrant

140
00:07:32,154 --> 00:07:37,545
kring de sociala effekterna
av tekniken som vi utvecklar.

141
00:07:37,569 --> 00:07:39,962
För att få fart på "inkodnings"-rörelsen,

142
00:07:39,986 --> 00:07:42,833
har jag lanserat 
Algorithmic Justice League,

143
00:07:42,857 --> 00:07:48,729
där alla som bryr sig om rättvisa kan
hjälpa till att kämpa mot fördomsfull kod.

144
00:07:48,753 --> 00:07:52,049
På www.codegaze.com,
kan du rapportera partisk kod,

145
00:07:52,073 --> 00:07:54,518
begära granskningar, bli testare

146
00:07:54,542 --> 00:07:57,313
och delta i den pågående diskussionen,

147
00:07:57,337 --> 00:07:59,624
#codedgaze

148
00:08:00,652 --> 00:08:03,199
Jag bjuder in er till
att ansluta er till mig

149
00:08:03,253 --> 00:08:06,972
i skapandet av en värld
där tekniken fungerar för oss alla,

150
00:08:06,996 --> 00:08:08,893
inte bara för några av oss,

151
00:08:08,917 --> 00:08:13,505
en värld där vi värdesätter inkludering
och fokuserar på social förändring.

152
00:08:13,529 --> 00:08:14,704
Tack.

153
00:08:14,728 --> 00:08:17,719
(Applåder)

154
00:08:20,873 --> 00:08:23,727
Men jag har en fråga:

155
00:08:23,751 --> 00:08:25,810
Kommer ni att ansluta er till kampen?

156
00:08:25,834 --> 00:08:27,119
(Skratt)

157
00:08:27,143 --> 00:08:30,120
(Applåder)