1
00:00:01,041 --> 00:00:04,175
Hallo, ich bin Joy, eine Poetin des Codes,

2
00:00:04,199 --> 00:00:09,192
auf einer Mission, eine unbemerkte,
aufstrebende Macht aufzuhalten.

3
00:00:09,216 --> 00:00:12,072
Diese Macht nannte ich 
den "programmierten Blick".

4
00:00:12,096 --> 00:00:15,405
Das ist mein Begriff
für algorithmische Vorurteile.

5
00:00:15,405 --> 00:00:19,675
Algorithmische sowie menschliche
Vorurteile führen zu Ungerechtigkeit.

6
00:00:19,725 --> 00:00:25,275
Trotzdem können Algorithmen,
wie Viren, Vorurteile massiv verbreiten,

7
00:00:25,329 --> 00:00:27,381
mit rasanter Geschwindigkeit.

8
00:00:27,943 --> 00:00:32,330
Algorithmische Vorurteile können
auch zu Erfahrungen des Ausschlusses

9
00:00:32,354 --> 00:00:34,482
und diskriminierendem Verhalten führen.

10
00:00:34,506 --> 00:00:36,917
Ich zeige Ihnen, was ich meine.

11
00:00:36,980 --> 00:00:39,876
(Video) Joy Buolamwini:
Hi, Kamera. Ich habe ein Gesicht.

12
00:00:40,162 --> 00:00:42,026
Kannst du mein Gesicht sehen?

13
00:00:42,051 --> 00:00:43,676
Mein Gesicht ohne Brille?

14
00:00:43,701 --> 00:00:45,915
Du kannst ihr Gesicht sehen.

15
00:00:46,237 --> 00:00:48,482
Was ist mit meinem Gesicht?

16
00:00:51,890 --> 00:00:55,640
Ich habe eine Maske. 
Kannst du meine Maske sehen?

17
00:00:56,474 --> 00:00:58,839
JB: Wie konnte das passieren?

18
00:00:58,863 --> 00:01:01,604
Wieso sitze ich vor einem Computer,

19
00:01:01,668 --> 00:01:03,732
trage eine weiße Maske und versuche,

20
00:01:03,756 --> 00:01:07,116
von einer billigen Webcam 
erkannt zu werden?

21
00:01:07,160 --> 00:01:09,511
Wenn ich nicht gerade 
den programmierten Blick

22
00:01:09,525 --> 00:01:10,985
als Poetin des Codes bekämpfe,

23
00:01:11,009 --> 00:01:14,281
dann bin ich Masterstudentin
am MIT Media Lab

24
00:01:14,305 --> 00:01:18,992
und habe dort die Möglichkeit, an
verschiedensten, wunderlichen Projekten,

25
00:01:19,036 --> 00:01:21,273
u. a. dem "Aspire Mirror", zu arbeiten,

26
00:01:21,297 --> 00:01:26,021
einem Projekt, das digitale Masken 
auf mein Spiegelbild projiziert.

27
00:01:26,045 --> 00:01:28,925
Wenn ich mich in der Früh 
mächtig fühlen wollte,

28
00:01:28,965 --> 00:01:30,321
projizierte ich einen Löwen.

29
00:01:30,321 --> 00:01:33,607
Wenn ich aufgemuntert werden wollte,
erschien vielleicht ein Zitat.

30
00:01:33,633 --> 00:01:36,966
Deshalb verwendete ich eine gewöhnliche
Software für Gesichtserkennung,

31
00:01:37,000 --> 00:01:38,301
um das System zu erstellen.

32
00:01:38,345 --> 00:01:43,298
Es war aber sehr schwierig zu testen, 
außer wenn ich eine weiße Maske trug.

33
00:01:44,282 --> 00:01:48,628
Unglücklicherweise ist mir
dieses Problem schon einmal begegnet.

34
00:01:48,652 --> 00:01:52,955
Als ich Informatik im Bachelor
an der Georgia Tech studierte,

35
00:01:52,979 --> 00:01:55,034
arbeitete ich mit sozialen Robotern.

36
00:01:55,058 --> 00:01:58,835
Eine meiner Aufgaben war es, 
mit einem Roboter Kuckuck zu spielen.

37
00:01:58,859 --> 00:02:00,542
Das ist ein einfaches Wechselspiel,

38
00:02:00,566 --> 00:02:04,887
bei dem man das Gesicht zudeckt
und beim Aufdecken "Kuckuck!" sagt.

39
00:02:04,911 --> 00:02:09,340
Allerdings funktioniert das Kuckuckspiel
nicht, wenn man sich nicht sieht,

40
00:02:09,364 --> 00:02:11,863
und mein Roboter konnte mich nicht sehen.

41
00:02:11,887 --> 00:02:15,837
Um das Projekt abzuschließen, verwendete
ich das Gesicht meines Mitbewohners,

42
00:02:15,861 --> 00:02:17,241
schickte die Aufgabe ab

43
00:02:17,265 --> 00:02:21,018
und dachte mir: "Weißt du was, 
jemand anderes wird das Problem lösen."

44
00:02:21,669 --> 00:02:23,672
Relativ kurz danach

45
00:02:23,696 --> 00:02:27,855
war ich in Hongkong für einen
Unternehmer-Wettbewerb.

46
00:02:28,339 --> 00:02:30,537
Die Organisatoren beschlossen,

47
00:02:30,537 --> 00:02:33,429
den Teilnehmenden
örtliche Start-ups zu zeigen.

48
00:02:33,453 --> 00:02:36,168
Eines dieser Start-ups
hatte einen sozialen Roboter,

49
00:02:36,192 --> 00:02:38,104
den sie demonstrieren wollten.

50
00:02:38,128 --> 00:02:41,108
Die Demonstration funktionierte
bei jedem bis auf mich.

51
00:02:41,132 --> 00:02:43,055
Sie können wahrscheinlich erraten wieso.

52
00:02:43,079 --> 00:02:46,044
Er konnte mein Gesicht nicht erkennen.

53
00:02:46,068 --> 00:02:48,579
Ich fragte die Entwickler, was los sei.

54
00:02:48,603 --> 00:02:54,136
Es zeigte sich, dass wir dieselbe Software
zur Gesichtserkennung benutzt hatten.

55
00:02:54,160 --> 00:02:56,270
Auf der anderen Seite
der Welt erkannte ich,

56
00:02:56,270 --> 00:02:59,686
dass sich algorithmische 
Voreingenommenheit

57
00:02:59,710 --> 00:03:02,880
bereits während eines simplen
Downloads verbreiten kann.

58
00:03:03,745 --> 00:03:06,821
Also was ist da los?
Warum wird mein Gesicht nicht erkannt?

59
00:03:06,845 --> 00:03:10,201
Wir müssen uns anschauen,
wie wir Maschinen das Sehen beibringen.

60
00:03:10,225 --> 00:03:13,634
Computergestütztes Sehen
verwendet maschinelles Lernen,

61
00:03:13,658 --> 00:03:15,538
um Gesichter zu erkennen.

62
00:03:15,562 --> 00:03:19,459
Dabei erstellt man ein Trainingsset
mit Gesichterbeispielen.

63
00:03:19,483 --> 00:03:22,301
Das ist ein Gesicht. Das auch.
Das ist kein Gesicht.

64
00:03:22,325 --> 00:03:26,844
Im Laufe der Zeit kann man einem Computer
beibringen, andere Gesichter zu erkennen.

65
00:03:26,868 --> 00:03:30,857
Wenn die Trainingssets allerdings
nicht sehr diversifiziert sind,

66
00:03:30,881 --> 00:03:34,230
dann sind Gesichter, die zu stark
von der erstellten Norm abweichen,

67
00:03:34,254 --> 00:03:35,903
schwieriger zu erkennen.

68
00:03:35,927 --> 00:03:37,874
Das ist genau das, was mir passiert ist.

69
00:03:37,884 --> 00:03:40,806
Aber machen Sie sich keine Sorgen --
es gibt gute Nachrichten.

70
00:03:40,836 --> 00:03:43,091
Trainingssets tauchen nicht
aus dem Nichts auf.

71
00:03:43,115 --> 00:03:44,903
Wir erstellen sie.

72
00:03:44,927 --> 00:03:49,103
Also gibt es die Möglichkeit, 
inklusive Trainingssets zu erstellen,

73
00:03:49,127 --> 00:03:52,681
die ein breitgefächerteres Bild
der Menschheit widerspiegeln.

74
00:03:52,715 --> 00:03:55,056
Jetzt haben Sie anhand 
meiner Beispiele gesehen,

75
00:03:55,090 --> 00:03:56,988
wie soziale Roboter dazu geführt haben,

76
00:03:57,012 --> 00:04:01,623
dass ich von der Exklusion 
durch algorithmische Vorurteile erfuhr.

77
00:04:01,647 --> 00:04:07,412
Algorithmische Vorurteile können
zu diskriminierendem Verhalten führen.

78
00:04:07,437 --> 00:04:13,130
Überall in den USA beginnt die Polizei,
als Teil ihrer Kriminalitätsbekäpfung

79
00:04:13,136 --> 00:04:15,595
Software zur Gesichtserkennung
zu verwenden.

80
00:04:15,619 --> 00:04:17,632
Georgetown Law zeigte in einem Bericht,

81
00:04:17,656 --> 00:04:24,419
dass einer von zwei erwachsenen US-Bürgern
-- das sind 117 Mio. Menschen --

82
00:04:24,443 --> 00:04:27,977
bereits in Datenbanken 
zur Gesichtserkennung erfasst ist.

83
00:04:28,001 --> 00:04:32,553
Polizeikommissariate können zurzeit
uneingeschränkt auf diese zugreifen

84
00:04:32,577 --> 00:04:36,863
und benutzen dabei Algorithmen, die
nicht auf Genauigkeit überprüft wurden.

85
00:04:36,887 --> 00:04:40,751
Dennoch wissen wir, dass 
Gesichtserkennung nicht fehlerfrei ist

86
00:04:40,775 --> 00:04:44,574
und dass Gesichter zuzuordnen 
immer noch eine Herausforderung ist.

87
00:04:44,618 --> 00:04:46,830
Vielleicht haben Sie das 
auf Facebook gesehen.

88
00:04:46,850 --> 00:04:50,212
Meine Freund und ich lachen immer,
wenn andere Leute

89
00:04:50,236 --> 00:04:52,664
fälschlicherweise auf unseren
Fotos markiert werden.

90
00:04:52,674 --> 00:04:57,849
Aber jemanden fälschlicherweise
zu verdächtigen, ist nicht zum Lachen,

91
00:04:57,873 --> 00:05:00,700
sondern verstößt gegen Bürgerrechte.

92
00:05:00,724 --> 00:05:03,929
Maschinelles Lernen 
wird für Gesichtserkennung,

93
00:05:03,953 --> 00:05:08,458
aber auch über den Bereich von
computergestütztem Sehen hinaus verwendet.

94
00:05:09,266 --> 00:05:13,282
In ihrem Buch "Waffen der Mathezerstörung"

95
00:05:13,306 --> 00:05:19,987
schreibt Datenforscherin Cathy O'Neil
über neue Massenvernichtungswaffen --

96
00:05:20,011 --> 00:05:24,364
verbreitete, mysteriöse
und zerstörerische Algorithmen,

97
00:05:24,388 --> 00:05:27,352
die zunehmend dazu verwendet werden,
Entscheidungen zu treffen,

98
00:05:27,376 --> 00:05:30,113
die viele Teile unseres Lebens betreffen.

99
00:05:30,157 --> 00:05:32,447
Etwa wer eingestellt oder gefeuert wird.

100
00:05:32,491 --> 00:05:34,833
Bekommen Sie einen Kredit?
Oder eine Versicherung?

101
00:05:34,853 --> 00:05:38,110
Werden Sie an der Uni, an der Sie
studieren wollen, angenommen?

102
00:05:38,134 --> 00:05:41,643
Bezahlen Sie und ich denselben Preis
für dasselbe Produkt,

103
00:05:41,667 --> 00:05:44,109
das wir auf derselben Website 
gekauft haben?

104
00:05:44,133 --> 00:05:47,282
Die Strafverfolgung beginnt auch, 
maschinelles Lernen

105
00:05:47,282 --> 00:05:49,875
für Predictive Policing einzusetzen.

106
00:05:49,919 --> 00:05:53,723
Manche Richter benutzen maschinell
generierte Risikoraten, um festzusetzen,

107
00:05:53,747 --> 00:05:57,339
wie lange eine bestimmte Person
im Gefängnis bleiben wird.

108
00:05:57,513 --> 00:06:00,627
Deshalb müssen wir wirklich
über diese Entscheidungen nachdenken.

109
00:06:00,651 --> 00:06:01,833
Sind sie fair?

110
00:06:01,857 --> 00:06:04,747
Wir haben gesehen,
dass algorithmische Vorurteile

111
00:06:04,771 --> 00:06:08,145
nicht unbedingt
zu fairen Ergebnissen führen.

112
00:06:08,169 --> 00:06:10,133
Was können wir dagegen tun?

113
00:06:10,157 --> 00:06:13,697
Wir können darüber nachdenken, 
wie man inklusiveren Code schreibt

114
00:06:13,721 --> 00:06:16,941
und Programmiertechniken nutzt,
die inklusiver sind.

115
00:06:17,005 --> 00:06:19,184
Es fängt bei den Menschen an.

116
00:06:19,708 --> 00:06:21,669
Es spielt eine Rolle, wer programmiert.

117
00:06:21,693 --> 00:06:25,592
Erstellen wir inklusive Teams
aus diversifizierten Individuen,

118
00:06:25,646 --> 00:06:28,247
die gegenseitig ihre toten Winkel 
überprüfen können?

119
00:06:28,271 --> 00:06:31,816
In Hinblick auf die Technik spielt es
eine Rolle, wie programmiert wird.

120
00:06:31,840 --> 00:06:35,491
Berücksichtigen wir Fairness
beim Entwickeln von Systemen?

121
00:06:35,515 --> 00:06:38,428
"Warum" wir programmieren, 
spielt auch eine Rolle.

122
00:06:38,785 --> 00:06:43,868
Wir haben durch computergestütztes Design
enormen Wohlstand geschaffen.

123
00:06:43,892 --> 00:06:48,339
Nun haben wir die Möglichkeit, 
noch größere Gleichheit zu schaffen,

124
00:06:48,363 --> 00:06:51,017
wenn wir sozialen Wandel als Priorität

125
00:06:51,017 --> 00:06:53,965
und nicht als Nachtrag behandeln.

126
00:06:54,008 --> 00:06:58,530
Das sind also die drei Grundsätze
der "Incoding"-Bewegung.

127
00:06:58,554 --> 00:07:00,206
Es ist wichtig, wer programmiert,

128
00:07:00,230 --> 00:07:01,773
wie programmiert wird,

129
00:07:01,797 --> 00:07:03,820
und warum wir programmieren.

130
00:07:03,844 --> 00:07:06,943
Auf dem Weg zu "Incoding"
müssen wir darüber nachdenken,

131
00:07:06,967 --> 00:07:09,811
Plattformen, die Vorurteile
erkennen können, zu schaffen,

132
00:07:09,835 --> 00:07:13,233
mit Hilfe von Erfahrungen, 
wie z. B. meinen,

133
00:07:13,257 --> 00:07:16,327
aber auch bereits existierende 
Software zu überprüfen.

134
00:07:16,351 --> 00:07:19,796
Wir können auch damit beginnen,
inklusivere Trainingssets zu erstellen.

135
00:07:19,850 --> 00:07:22,943
Stellen Sie sich etwa eine Kampagne
"Selfies für Inklusion" vor,

136
00:07:22,967 --> 00:07:26,416
bei der Sie und ich den Entwicklern
beim Testen und Entwickeln

137
00:07:26,416 --> 00:07:29,269
inklusiverer Trainingssets helfen können.

138
00:07:29,302 --> 00:07:32,130
Wir können auch bewusster
über die sozialen Auswirkungen

139
00:07:32,154 --> 00:07:36,885
der Technologien, die wir 
entwickeln, nachdenken.

140
00:07:36,885 --> 00:07:40,264
Um die "Incoding"-Bewegung zu starten,

141
00:07:40,264 --> 00:07:43,540
gründete ich die
"Algorithmic Justice Leage".

142
00:07:43,540 --> 00:07:48,729
Jeder kann dabei helfen,
den programmierten Blick zu bekämpfen.

143
00:07:48,753 --> 00:07:51,724
Auf codedgaze.com können Sie
über Voreingenommenheit berichten,

144
00:07:51,724 --> 00:07:54,518
Überprüfungen verlangen, zum Tester werden

145
00:07:54,542 --> 00:07:57,313
und bei laufenden Debatten mitreden,

146
00:07:57,337 --> 00:08:00,641
#codedgaze.

147
00:08:00,742 --> 00:08:03,229
Ich lade Sie dazu ein, 
sich mir anzuschließen

148
00:08:03,253 --> 00:08:06,972
und eine Welt zu schaffen,
in der Technologie für uns alle,

149
00:08:06,996 --> 00:08:08,893
und nicht nur für manche, funktioniert,

150
00:08:08,917 --> 00:08:13,505
eine Welt, in der Inklusion wertgeschätzt
und soziale Veränderung im Zentrum steht.

151
00:08:13,529 --> 00:08:14,704
Danke.

152
00:08:14,728 --> 00:08:18,999
(Applaus)

153
00:08:20,873 --> 00:08:23,727
Ich habe eine Frage:

154
00:08:23,751 --> 00:08:25,810
Werden Sie sich mir anschließen?

155
00:08:25,834 --> 00:08:27,119
(Gelächter)

156
00:08:27,143 --> 00:08:30,830
(Applaus)