0:00:01.041,0:00:04.175 Hallo, ich bin Joy, eine Poetin des Codes, 0:00:04.199,0:00:09.192 auf einer Mission, eine unbemerkte,[br]aufstrebende Macht aufzuhalten. 0:00:09.216,0:00:12.072 Diese Macht nannte ich [br]den "programmierten Blick". 0:00:12.096,0:00:15.405 Das ist mein Begriff[br]für algorithmische Vorurteile. 0:00:15.405,0:00:19.675 Algorithmische sowie menschliche[br]Vorurteile führen zu Ungerechtigkeit. 0:00:19.725,0:00:25.275 Trotzdem können Algorithmen,[br]wie Viren, Vorurteile massiv verbreiten, 0:00:25.329,0:00:27.381 mit rasanter Geschwindigkeit. 0:00:27.943,0:00:32.330 Algorithmische Vorurteile können[br]auch zu Erfahrungen des Ausschlusses 0:00:32.354,0:00:34.482 und diskriminierendem Verhalten führen. 0:00:34.506,0:00:36.917 Ich zeige Ihnen, was ich meine. 0:00:36.980,0:00:39.876 (Video) Joy Buolamwini:[br]Hi, Kamera. Ich habe ein Gesicht. 0:00:40.162,0:00:42.026 Kannst du mein Gesicht sehen? 0:00:42.051,0:00:43.676 Mein Gesicht ohne Brille? 0:00:43.701,0:00:45.915 Du kannst ihr Gesicht sehen. 0:00:46.237,0:00:48.482 Was ist mit meinem Gesicht? 0:00:51.890,0:00:55.640 Ich habe eine Maske. [br]Kannst du meine Maske sehen? 0:00:56.474,0:00:58.839 JB: Wie konnte das passieren? 0:00:58.863,0:01:01.604 Wieso sitze ich vor einem Computer, 0:01:01.668,0:01:03.732 trage eine weiße Maske und versuche, 0:01:03.756,0:01:07.116 von einer billigen Webcam [br]erkannt zu werden? 0:01:07.160,0:01:09.511 Wenn ich nicht gerade [br]den programmierten Blick 0:01:09.525,0:01:10.985 als Poetin des Codes bekämpfe, 0:01:11.009,0:01:14.281 dann bin ich Masterstudentin[br]am MIT Media Lab 0:01:14.305,0:01:18.992 und habe dort die Möglichkeit, an[br]verschiedensten, wunderlichen Projekten, 0:01:19.036,0:01:21.273 u. a. dem "Aspire Mirror", zu arbeiten, 0:01:21.297,0:01:26.021 einem Projekt, das digitale Masken [br]auf mein Spiegelbild projiziert. 0:01:26.045,0:01:28.925 Wenn ich mich in der Früh [br]mächtig fühlen wollte, 0:01:28.965,0:01:30.321 projizierte ich einen Löwen. 0:01:30.321,0:01:33.607 Wenn ich aufgemuntert werden wollte,[br]erschien vielleicht ein Zitat. 0:01:33.633,0:01:36.966 Deshalb verwendete ich eine gewöhnliche[br]Software für Gesichtserkennung, 0:01:37.000,0:01:38.301 um das System zu erstellen. 0:01:38.345,0:01:43.298 Es war aber sehr schwierig zu testen, [br]außer wenn ich eine weiße Maske trug. 0:01:44.282,0:01:48.628 Unglücklicherweise ist mir[br]dieses Problem schon einmal begegnet. 0:01:48.652,0:01:52.955 Als ich Informatik im Bachelor[br]an der Georgia Tech studierte, 0:01:52.979,0:01:55.034 arbeitete ich mit sozialen Robotern. 0:01:55.058,0:01:58.835 Eine meiner Aufgaben war es, [br]mit einem Roboter Kuckuck zu spielen. 0:01:58.859,0:02:00.542 Das ist ein einfaches Wechselspiel, 0:02:00.566,0:02:04.887 bei dem man das Gesicht zudeckt[br]und beim Aufdecken "Kuckuck!" sagt. 0:02:04.911,0:02:09.340 Allerdings funktioniert das Kuckuckspiel[br]nicht, wenn man sich nicht sieht, 0:02:09.364,0:02:11.863 und mein Roboter konnte mich nicht sehen. 0:02:11.887,0:02:15.837 Um das Projekt abzuschließen, verwendete[br]ich das Gesicht meines Mitbewohners, 0:02:15.861,0:02:17.241 schickte die Aufgabe ab 0:02:17.265,0:02:21.018 und dachte mir: "Weißt du was, [br]jemand anderes wird das Problem lösen." 0:02:21.669,0:02:23.672 Relativ kurz danach 0:02:23.696,0:02:27.855 war ich in Hongkong für einen[br]Unternehmer-Wettbewerb. 0:02:28.339,0:02:30.537 Die Organisatoren beschlossen, 0:02:30.537,0:02:33.429 den Teilnehmenden[br]örtliche Start-ups zu zeigen. 0:02:33.453,0:02:36.168 Eines dieser Start-ups[br]hatte einen sozialen Roboter, 0:02:36.192,0:02:38.104 den sie demonstrieren wollten. 0:02:38.128,0:02:41.108 Die Demonstration funktionierte[br]bei jedem bis auf mich. 0:02:41.132,0:02:43.055 Sie können wahrscheinlich erraten wieso. 0:02:43.079,0:02:46.044 Er konnte mein Gesicht nicht erkennen. 0:02:46.068,0:02:48.579 Ich fragte die Entwickler, was los sei. 0:02:48.603,0:02:54.136 Es zeigte sich, dass wir dieselbe Software[br]zur Gesichtserkennung benutzt hatten. 0:02:54.160,0:02:56.270 Auf der anderen Seite[br]der Welt erkannte ich, 0:02:56.270,0:02:59.686 dass sich algorithmische [br]Voreingenommenheit 0:02:59.710,0:03:02.880 bereits während eines simplen[br]Downloads verbreiten kann. 0:03:03.745,0:03:06.821 Also was ist da los?[br]Warum wird mein Gesicht nicht erkannt? 0:03:06.845,0:03:10.201 Wir müssen uns anschauen,[br]wie wir Maschinen das Sehen beibringen. 0:03:10.225,0:03:13.634 Computergestütztes Sehen[br]verwendet maschinelles Lernen, 0:03:13.658,0:03:15.538 um Gesichter zu erkennen. 0:03:15.562,0:03:19.459 Dabei erstellt man ein Trainingsset[br]mit Gesichterbeispielen. 0:03:19.483,0:03:22.301 Das ist ein Gesicht. Das auch.[br]Das ist kein Gesicht. 0:03:22.325,0:03:26.844 Im Laufe der Zeit kann man einem Computer[br]beibringen, andere Gesichter zu erkennen. 0:03:26.868,0:03:30.857 Wenn die Trainingssets allerdings[br]nicht sehr diversifiziert sind, 0:03:30.881,0:03:34.230 dann sind Gesichter, die zu stark[br]von der erstellten Norm abweichen, 0:03:34.254,0:03:35.903 schwieriger zu erkennen. 0:03:35.927,0:03:37.874 Das ist genau das, was mir passiert ist. 0:03:37.884,0:03:40.806 Aber machen Sie sich keine Sorgen --[br]es gibt gute Nachrichten. 0:03:40.836,0:03:43.091 Trainingssets tauchen nicht[br]aus dem Nichts auf. 0:03:43.115,0:03:44.903 Wir erstellen sie. 0:03:44.927,0:03:49.103 Also gibt es die Möglichkeit, [br]inklusive Trainingssets zu erstellen, 0:03:49.127,0:03:52.681 die ein breitgefächerteres Bild[br]der Menschheit widerspiegeln. 0:03:52.715,0:03:55.056 Jetzt haben Sie anhand [br]meiner Beispiele gesehen, 0:03:55.090,0:03:56.988 wie soziale Roboter dazu geführt haben, 0:03:57.012,0:04:01.623 dass ich von der Exklusion [br]durch algorithmische Vorurteile erfuhr. 0:04:01.647,0:04:07.412 Algorithmische Vorurteile können[br]zu diskriminierendem Verhalten führen. 0:04:07.437,0:04:13.130 Überall in den USA beginnt die Polizei,[br]als Teil ihrer Kriminalitätsbekäpfung 0:04:13.136,0:04:15.595 Software zur Gesichtserkennung[br]zu verwenden. 0:04:15.619,0:04:17.632 Georgetown Law zeigte in einem Bericht, 0:04:17.656,0:04:24.419 dass einer von zwei erwachsenen US-Bürgern[br]-- das sind 117 Mio. Menschen -- 0:04:24.443,0:04:27.977 bereits in Datenbanken [br]zur Gesichtserkennung erfasst ist. 0:04:28.001,0:04:32.553 Polizeikommissariate können zurzeit[br]uneingeschränkt auf diese zugreifen 0:04:32.577,0:04:36.863 und benutzen dabei Algorithmen, die[br]nicht auf Genauigkeit überprüft wurden. 0:04:36.887,0:04:40.751 Dennoch wissen wir, dass [br]Gesichtserkennung nicht fehlerfrei ist 0:04:40.775,0:04:44.574 und dass Gesichter zuzuordnen [br]immer noch eine Herausforderung ist. 0:04:44.618,0:04:46.830 Vielleicht haben Sie das [br]auf Facebook gesehen. 0:04:46.850,0:04:50.212 Meine Freund und ich lachen immer,[br]wenn andere Leute 0:04:50.236,0:04:52.664 fälschlicherweise auf unseren[br]Fotos markiert werden. 0:04:52.674,0:04:57.849 Aber jemanden fälschlicherweise[br]zu verdächtigen, ist nicht zum Lachen, 0:04:57.873,0:05:00.700 sondern verstößt gegen Bürgerrechte. 0:05:00.724,0:05:03.929 Maschinelles Lernen [br]wird für Gesichtserkennung, 0:05:03.953,0:05:08.458 aber auch über den Bereich von[br]computergestütztem Sehen hinaus verwendet. 0:05:09.266,0:05:13.282 In ihrem Buch "Waffen der Mathezerstörung" 0:05:13.306,0:05:19.987 schreibt Datenforscherin Cathy O'Neil[br]über neue Massenvernichtungswaffen -- 0:05:20.011,0:05:24.364 verbreitete, mysteriöse[br]und zerstörerische Algorithmen, 0:05:24.388,0:05:27.352 die zunehmend dazu verwendet werden,[br]Entscheidungen zu treffen, 0:05:27.376,0:05:30.113 die viele Teile unseres Lebens betreffen. 0:05:30.157,0:05:32.447 Etwa wer eingestellt oder gefeuert wird. 0:05:32.491,0:05:34.833 Bekommen Sie einen Kredit?[br]Oder eine Versicherung? 0:05:34.853,0:05:38.110 Werden Sie an der Uni, an der Sie[br]studieren wollen, angenommen? 0:05:38.134,0:05:41.643 Bezahlen Sie und ich denselben Preis[br]für dasselbe Produkt, 0:05:41.667,0:05:44.109 das wir auf derselben Website [br]gekauft haben? 0:05:44.133,0:05:47.282 Die Strafverfolgung beginnt auch, [br]maschinelles Lernen 0:05:47.282,0:05:49.875 für Predictive Policing einzusetzen. 0:05:49.919,0:05:53.723 Manche Richter benutzen maschinell[br]generierte Risikoraten, um festzusetzen, 0:05:53.747,0:05:57.339 wie lange eine bestimmte Person[br]im Gefängnis bleiben wird. 0:05:57.513,0:06:00.627 Deshalb müssen wir wirklich[br]über diese Entscheidungen nachdenken. 0:06:00.651,0:06:01.833 Sind sie fair? 0:06:01.857,0:06:04.747 Wir haben gesehen,[br]dass algorithmische Vorurteile 0:06:04.771,0:06:08.145 nicht unbedingt[br]zu fairen Ergebnissen führen. 0:06:08.169,0:06:10.133 Was können wir dagegen tun? 0:06:10.157,0:06:13.697 Wir können darüber nachdenken, [br]wie man inklusiveren Code schreibt 0:06:13.721,0:06:16.941 und Programmiertechniken nutzt,[br]die inklusiver sind. 0:06:17.005,0:06:19.184 Es fängt bei den Menschen an. 0:06:19.708,0:06:21.669 Es spielt eine Rolle, wer programmiert. 0:06:21.693,0:06:25.592 Erstellen wir inklusive Teams[br]aus diversifizierten Individuen, 0:06:25.646,0:06:28.247 die gegenseitig ihre toten Winkel [br]überprüfen können? 0:06:28.271,0:06:31.816 In Hinblick auf die Technik spielt es[br]eine Rolle, wie programmiert wird. 0:06:31.840,0:06:35.491 Berücksichtigen wir Fairness[br]beim Entwickeln von Systemen? 0:06:35.515,0:06:38.428 "Warum" wir programmieren, [br]spielt auch eine Rolle. 0:06:38.785,0:06:43.868 Wir haben durch computergestütztes Design[br]enormen Wohlstand geschaffen. 0:06:43.892,0:06:48.339 Nun haben wir die Möglichkeit, [br]noch größere Gleichheit zu schaffen, 0:06:48.363,0:06:51.017 wenn wir sozialen Wandel als Priorität 0:06:51.017,0:06:53.965 und nicht als Nachtrag behandeln. 0:06:54.008,0:06:58.530 Das sind also die drei Grundsätze[br]der "Incoding"-Bewegung. 0:06:58.554,0:07:00.206 Es ist wichtig, wer programmiert, 0:07:00.230,0:07:01.773 wie programmiert wird, 0:07:01.797,0:07:03.820 und warum wir programmieren. 0:07:03.844,0:07:06.943 Auf dem Weg zu "Incoding"[br]müssen wir darüber nachdenken, 0:07:06.967,0:07:09.811 Plattformen, die Vorurteile[br]erkennen können, zu schaffen, 0:07:09.835,0:07:13.233 mit Hilfe von Erfahrungen, [br]wie z. B. meinen, 0:07:13.257,0:07:16.327 aber auch bereits existierende [br]Software zu überprüfen. 0:07:16.351,0:07:19.796 Wir können auch damit beginnen,[br]inklusivere Trainingssets zu erstellen. 0:07:19.850,0:07:22.943 Stellen Sie sich etwa eine Kampagne[br]"Selfies für Inklusion" vor, 0:07:22.967,0:07:26.416 bei der Sie und ich den Entwicklern[br]beim Testen und Entwickeln 0:07:26.416,0:07:29.269 inklusiverer Trainingssets helfen können. 0:07:29.302,0:07:32.130 Wir können auch bewusster[br]über die sozialen Auswirkungen 0:07:32.154,0:07:36.885 der Technologien, die wir [br]entwickeln, nachdenken. 0:07:36.885,0:07:40.264 Um die "Incoding"-Bewegung zu starten, 0:07:40.264,0:07:43.540 gründete ich die[br]"Algorithmic Justice Leage". 0:07:43.540,0:07:48.729 Jeder kann dabei helfen,[br]den programmierten Blick zu bekämpfen. 0:07:48.753,0:07:51.724 Auf codedgaze.com können Sie[br]über Voreingenommenheit berichten, 0:07:51.724,0:07:54.518 Überprüfungen verlangen, zum Tester werden 0:07:54.542,0:07:57.313 und bei laufenden Debatten mitreden, 0:07:57.337,0:08:00.641 #codedgaze. 0:08:00.742,0:08:03.229 Ich lade Sie dazu ein, [br]sich mir anzuschließen 0:08:03.253,0:08:06.972 und eine Welt zu schaffen,[br]in der Technologie für uns alle, 0:08:06.996,0:08:08.893 und nicht nur für manche, funktioniert, 0:08:08.917,0:08:13.505 eine Welt, in der Inklusion wertgeschätzt[br]und soziale Veränderung im Zentrum steht. 0:08:13.529,0:08:14.704 Danke. 0:08:14.728,0:08:18.999 (Applaus) 0:08:20.873,0:08:23.727 Ich habe eine Frage: 0:08:23.751,0:08:25.810 Werden Sie sich mir anschließen? 0:08:25.834,0:08:27.119 (Gelächter) 0:08:27.143,0:08:30.830 (Applaus)