Wie ich Vorurteile in Algorithmen bekämpfe

Joy Buolamwini, Master-Stundentin am MIT, arbeitete gerade
mit einer Gesichtserkennungssoftware, als sie ein Problem entdeckte: Die Software erkannte ihr Gesicht nicht. Denn die Menschen, die den Algorithmus programmiert hatten, hatten diesem nicht beigebracht, eine breite Palette an Hauttönen und Gesichtszügen zu erkennen. Jetzt ist Joy auf einer Mission mit dem Ziel, algorithmische Vorurteile im Bereich des maschinellen Lernens zu bekämpfen – ein Phänomen, das sie "den programmierten Blick" nennt. Ihr Vortrag öffnet den Zuschauern die Augen im Hinblick auf die Notwendigkeit, Verantwortung bei der Programmierung zu übernehmen ... vor allem da Algorithmen immer mehr Teile unseres Lebens beeinflussen.

Hallo, ich bin Joy, eine Poetin des Codes,

auf einer Mission, eine unbemerkte,
aufstrebende Macht aufzuhalten.

Diese Macht nannte ich
den "programmierten Blick".

Das ist mein Begriff
für algorithmische Vorurteile.

Algorithmische sowie menschliche
Vorurteile führen zu Ungerechtigkeit.

Trotzdem können Algorithmen,
wie Viren, Vorurteile massiv verbreiten,

mit rasanter Geschwindigkeit.

Algorithmische Vorurteile können
auch zu Erfahrungen des Ausschlusses

und diskriminierendem Verhalten führen.

Ich zeige Ihnen, was ich meine.

(Video) Joy Buolamwini:
Hi, Kamera. Ich habe ein Gesicht.

Kannst du mein Gesicht sehen?

Mein Gesicht ohne Brille?

Du kannst ihr Gesicht sehen.

Was ist mit meinem Gesicht?

Ich habe eine Maske.
Kannst du meine Maske sehen?

JB: Wie konnte das passieren?

Wieso sitze ich vor einem Computer,

trage eine weiße Maske und versuche,

von einer billigen Webcam
erkannt zu werden?

Wenn ich nicht gerade
den programmierten Blick

als Poetin des Codes bekämpfe,

dann bin ich Masterstudentin
am MIT Media Lab

und habe dort die Möglichkeit, an
verschiedensten, wunderlichen Projekten,

u. a. dem "Aspire Mirror", zu arbeiten,

einem Projekt, das digitale Masken
auf mein Spiegelbild projiziert.

Wenn ich mich in der Früh
mächtig fühlen wollte,

projizierte ich einen Löwen.

Wenn ich aufgemuntert werden wollte,
erschien vielleicht ein Zitat.

Deshalb verwendete ich eine gewöhnliche
Software für Gesichtserkennung,

um das System zu erstellen.

Es war aber sehr schwierig zu testen,
außer wenn ich eine weiße Maske trug.

Unglücklicherweise ist mir
dieses Problem schon einmal begegnet.

Als ich Informatik im Bachelor
an der Georgia Tech studierte,

arbeitete ich mit sozialen Robotern.

Eine meiner Aufgaben war es,
mit einem Roboter Kuckuck zu spielen.

Das ist ein einfaches Wechselspiel,

bei dem man das Gesicht zudeckt
und beim Aufdecken "Kuckuck!" sagt.

Allerdings funktioniert das Kuckuckspiel
nicht, wenn man sich nicht sieht,

und mein Roboter konnte mich nicht sehen.

Um das Projekt abzuschließen, verwendete
ich das Gesicht meines Mitbewohners,

schickte die Aufgabe ab

und dachte mir: "Weißt du was,
jemand anderes wird das Problem lösen."

Relativ kurz danach

war ich in Hongkong für einen
Unternehmer-Wettbewerb.

Die Organisatoren beschlossen,

den Teilnehmenden
örtliche Start-ups zu zeigen.

Eines dieser Start-ups
hatte einen sozialen Roboter,

den sie demonstrieren wollten.

Die Demonstration funktionierte
bei jedem bis auf mich.

Sie können wahrscheinlich erraten wieso.

Er konnte mein Gesicht nicht erkennen.

Ich fragte die Entwickler, was los sei.

Es zeigte sich, dass wir dieselbe Software
zur Gesichtserkennung benutzt hatten.

Auf der anderen Seite
der Welt erkannte ich,

dass sich algorithmische
Voreingenommenheit

bereits während eines simplen
Downloads verbreiten kann.

Also was ist da los?
Warum wird mein Gesicht nicht erkannt?

Wir müssen uns anschauen,
wie wir Maschinen das Sehen beibringen.

Computergestütztes Sehen
verwendet maschinelles Lernen,

um Gesichter zu erkennen.

Dabei erstellt man ein Trainingsset
mit Gesichterbeispielen.

Das ist ein Gesicht. Das auch.
Das ist kein Gesicht.

Im Laufe der Zeit kann man einem Computer
beibringen, andere Gesichter zu erkennen.

Wenn die Trainingssets allerdings
nicht sehr diversifiziert sind,

dann sind Gesichter, die zu stark
von der erstellten Norm abweichen,

schwieriger zu erkennen.

Das ist genau das, was mir passiert ist.

Aber machen Sie sich keine Sorgen --
es gibt gute Nachrichten.

Trainingssets tauchen nicht
aus dem Nichts auf.

Wir erstellen sie.

Also gibt es die Möglichkeit,
inklusive Trainingssets zu erstellen,

die ein breitgefächerteres Bild
der Menschheit widerspiegeln.

Jetzt haben Sie anhand
meiner Beispiele gesehen,

wie soziale Roboter dazu geführt haben,

dass ich von der Exklusion
durch algorithmische Vorurteile erfuhr.

Algorithmische Vorurteile können
zu diskriminierendem Verhalten führen.

Überall in den USA beginnt die Polizei,
als Teil ihrer Kriminalitätsbekäpfung

Software zur Gesichtserkennung
zu verwenden.

Georgetown Law zeigte in einem Bericht,

dass einer von zwei erwachsenen US-Bürgern
-- das sind 117 Mio. Menschen --

bereits in Datenbanken
zur Gesichtserkennung erfasst ist.

Polizeikommissariate können zurzeit
uneingeschränkt auf diese zugreifen

und benutzen dabei Algorithmen, die
nicht auf Genauigkeit überprüft wurden.

Dennoch wissen wir, dass
Gesichtserkennung nicht fehlerfrei ist

und dass Gesichter zuzuordnen
immer noch eine Herausforderung ist.

Vielleicht haben Sie das
auf Facebook gesehen.

Meine Freund und ich lachen immer,
wenn andere Leute

fälschlicherweise auf unseren
Fotos markiert werden.

Aber jemanden fälschlicherweise
zu verdächtigen, ist nicht zum Lachen,

sondern verstößt gegen Bürgerrechte.

Maschinelles Lernen
wird für Gesichtserkennung,

aber auch über den Bereich von
computergestütztem Sehen hinaus verwendet.

In ihrem Buch "Waffen der Mathezerstörung"

schreibt Datenforscherin Cathy O'Neil
über neue Massenvernichtungswaffen --

verbreitete, mysteriöse
und zerstörerische Algorithmen,

die zunehmend dazu verwendet werden,
Entscheidungen zu treffen,

die viele Teile unseres Lebens betreffen.

Etwa wer eingestellt oder gefeuert wird.

Bekommen Sie einen Kredit?
Oder eine Versicherung?

Werden Sie an der Uni, an der Sie
studieren wollen, angenommen?

Bezahlen Sie und ich denselben Preis
für dasselbe Produkt,

das wir auf derselben Website
gekauft haben?

Die Strafverfolgung beginnt auch,
maschinelles Lernen

für Predictive Policing einzusetzen.

Manche Richter benutzen maschinell
generierte Risikoraten, um festzusetzen,

wie lange eine bestimmte Person
im Gefängnis bleiben wird.

Deshalb müssen wir wirklich
über diese Entscheidungen nachdenken.

Sind sie fair?

Wir haben gesehen,
dass algorithmische Vorurteile

nicht unbedingt
zu fairen Ergebnissen führen.

Was können wir dagegen tun?

Wir können darüber nachdenken,
wie man inklusiveren Code schreibt

und Programmiertechniken nutzt,
die inklusiver sind.

Es fängt bei den Menschen an.

Es spielt eine Rolle, wer programmiert.

Erstellen wir inklusive Teams
aus diversifizierten Individuen,

die gegenseitig ihre toten Winkel
überprüfen können?

In Hinblick auf die Technik spielt es
eine Rolle, wie programmiert wird.

Berücksichtigen wir Fairness
beim Entwickeln von Systemen?

"Warum" wir programmieren,
spielt auch eine Rolle.

Wir haben durch computergestütztes Design
enormen Wohlstand geschaffen.

Nun haben wir die Möglichkeit,
noch größere Gleichheit zu schaffen,

wenn wir sozialen Wandel als Priorität

und nicht als Nachtrag behandeln.

Das sind also die drei Grundsätze
der "Incoding"-Bewegung.

Es ist wichtig, wer programmiert,

wie programmiert wird,

und warum wir programmieren.

Auf dem Weg zu "Incoding"
müssen wir darüber nachdenken,

Plattformen, die Vorurteile
erkennen können, zu schaffen,

mit Hilfe von Erfahrungen,
wie z. B. meinen,

aber auch bereits existierende
Software zu überprüfen.

Wir können auch damit beginnen,
inklusivere Trainingssets zu erstellen.

Stellen Sie sich etwa eine Kampagne
"Selfies für Inklusion" vor,

bei der Sie und ich den Entwicklern
beim Testen und Entwickeln

inklusiverer Trainingssets helfen können.

Wir können auch bewusster
über die sozialen Auswirkungen

der Technologien, die wir
entwickeln, nachdenken.

Um die "Incoding"-Bewegung zu starten,

gründete ich die
"Algorithmic Justice Leage".

Jeder kann dabei helfen,
den programmierten Blick zu bekämpfen.

Auf codedgaze.com können Sie
über Voreingenommenheit berichten,

Überprüfungen verlangen, zum Tester werden

und bei laufenden Debatten mitreden,

#codedgaze.

Ich lade Sie dazu ein,
sich mir anzuschließen

und eine Welt zu schaffen,
in der Technologie für uns alle,

und nicht nur für manche, funktioniert,

eine Welt, in der Inklusion wertgeschätzt
und soziale Veränderung im Zentrum steht.

Danke.

(Applaus)

Ich habe eine Frage:

Werden Sie sich mir anschließen?

(Gelächter)

(Applaus)