Return to Video

Wie ich Vorurteile in Algorithmen bekämpfe

  • 0:01 - 0:04
    Hallo, ich bin Joy, eine Poetin des Codes,
  • 0:04 - 0:09
    auf einer Mission, eine unbemerkte,
    aufstrebende Macht aufzuhalten.
  • 0:09 - 0:12
    Diese Macht nannte ich
    den "programmierten Blick".
  • 0:12 - 0:15
    Das ist mein Begriff
    für algorithmische Vorurteile.
  • 0:15 - 0:20
    Algorithmische sowie menschliche
    Vorurteile führen zu Ungerechtigkeit.
  • 0:20 - 0:25
    Trotzdem können Algorithmen,
    wie Viren, Vorurteile massiv verbreiten,
  • 0:25 - 0:27
    mit rasanter Geschwindigkeit.
  • 0:28 - 0:32
    Algorithmische Vorurteile können
    auch zu Erfahrungen des Ausschlusses
  • 0:32 - 0:34
    und diskriminierendem Verhalten führen.
  • 0:35 - 0:37
    Ich zeige Ihnen, was ich meine.
  • 0:37 - 0:40
    (Video) Joy Buolamwini:
    Hi, Kamera. Ich habe ein Gesicht.
  • 0:40 - 0:42
    Kannst du mein Gesicht sehen?
  • 0:42 - 0:44
    Mein Gesicht ohne Brille?
  • 0:44 - 0:46
    Du kannst ihr Gesicht sehen.
  • 0:46 - 0:48
    Was ist mit meinem Gesicht?
  • 0:52 - 0:56
    Ich habe eine Maske.
    Kannst du meine Maske sehen?
  • 0:56 - 0:59
    JB: Wie konnte das passieren?
  • 0:59 - 1:02
    Wieso sitze ich vor einem Computer,
  • 1:02 - 1:04
    trage eine weiße Maske und versuche,
  • 1:04 - 1:07
    von einer billigen Webcam
    erkannt zu werden?
  • 1:07 - 1:10
    Wenn ich nicht gerade
    den programmierten Blick
  • 1:10 - 1:11
    als Poetin des Codes bekämpfe,
  • 1:11 - 1:14
    dann bin ich Masterstudentin
    am MIT Media Lab
  • 1:14 - 1:19
    und habe dort die Möglichkeit, an
    verschiedensten, wunderlichen Projekten,
  • 1:19 - 1:21
    u. a. dem "Aspire Mirror", zu arbeiten,
  • 1:21 - 1:26
    einem Projekt, das digitale Masken
    auf mein Spiegelbild projiziert.
  • 1:26 - 1:29
    Wenn ich mich in der Früh
    mächtig fühlen wollte,
  • 1:29 - 1:30
    projizierte ich einen Löwen.
  • 1:30 - 1:34
    Wenn ich aufgemuntert werden wollte,
    erschien vielleicht ein Zitat.
  • 1:34 - 1:37
    Deshalb verwendete ich eine gewöhnliche
    Software für Gesichtserkennung,
  • 1:37 - 1:38
    um das System zu erstellen.
  • 1:38 - 1:43
    Es war aber sehr schwierig zu testen,
    außer wenn ich eine weiße Maske trug.
  • 1:44 - 1:49
    Unglücklicherweise ist mir
    dieses Problem schon einmal begegnet.
  • 1:49 - 1:53
    Als ich Informatik im Bachelor
    an der Georgia Tech studierte,
  • 1:53 - 1:55
    arbeitete ich mit sozialen Robotern.
  • 1:55 - 1:59
    Eine meiner Aufgaben war es,
    mit einem Roboter Kuckuck zu spielen.
  • 1:59 - 2:01
    Das ist ein einfaches Wechselspiel,
  • 2:01 - 2:05
    bei dem man das Gesicht zudeckt
    und beim Aufdecken "Kuckuck!" sagt.
  • 2:05 - 2:09
    Allerdings funktioniert das Kuckuckspiel
    nicht, wenn man sich nicht sieht,
  • 2:09 - 2:12
    und mein Roboter konnte mich nicht sehen.
  • 2:12 - 2:16
    Um das Projekt abzuschließen, verwendete
    ich das Gesicht meines Mitbewohners,
  • 2:16 - 2:17
    schickte die Aufgabe ab
  • 2:17 - 2:21
    und dachte mir: "Weißt du was,
    jemand anderes wird das Problem lösen."
  • 2:22 - 2:24
    Relativ kurz danach
  • 2:24 - 2:28
    war ich in Hongkong für einen
    Unternehmer-Wettbewerb.
  • 2:28 - 2:31
    Die Organisatoren beschlossen,
  • 2:31 - 2:33
    den Teilnehmenden
    örtliche Start-ups zu zeigen.
  • 2:33 - 2:36
    Eines dieser Start-ups
    hatte einen sozialen Roboter,
  • 2:36 - 2:38
    den sie demonstrieren wollten.
  • 2:38 - 2:41
    Die Demonstration funktionierte
    bei jedem bis auf mich.
  • 2:41 - 2:43
    Sie können wahrscheinlich erraten wieso.
  • 2:43 - 2:46
    Er konnte mein Gesicht nicht erkennen.
  • 2:46 - 2:49
    Ich fragte die Entwickler, was los sei.
  • 2:49 - 2:54
    Es zeigte sich, dass wir dieselbe Software
    zur Gesichtserkennung benutzt hatten.
  • 2:54 - 2:56
    Auf der anderen Seite
    der Welt erkannte ich,
  • 2:56 - 3:00
    dass sich algorithmische
    Voreingenommenheit
  • 3:00 - 3:03
    bereits während eines simplen
    Downloads verbreiten kann.
  • 3:04 - 3:07
    Also was ist da los?
    Warum wird mein Gesicht nicht erkannt?
  • 3:07 - 3:10
    Wir müssen uns anschauen,
    wie wir Maschinen das Sehen beibringen.
  • 3:10 - 3:14
    Computergestütztes Sehen
    verwendet maschinelles Lernen,
  • 3:14 - 3:16
    um Gesichter zu erkennen.
  • 3:16 - 3:19
    Dabei erstellt man ein Trainingsset
    mit Gesichterbeispielen.
  • 3:19 - 3:22
    Das ist ein Gesicht. Das auch.
    Das ist kein Gesicht.
  • 3:22 - 3:27
    Im Laufe der Zeit kann man einem Computer
    beibringen, andere Gesichter zu erkennen.
  • 3:27 - 3:31
    Wenn die Trainingssets allerdings
    nicht sehr diversifiziert sind,
  • 3:31 - 3:34
    dann sind Gesichter, die zu stark
    von der erstellten Norm abweichen,
  • 3:34 - 3:36
    schwieriger zu erkennen.
  • 3:36 - 3:38
    Das ist genau das, was mir passiert ist.
  • 3:38 - 3:41
    Aber machen Sie sich keine Sorgen --
    es gibt gute Nachrichten.
  • 3:41 - 3:43
    Trainingssets tauchen nicht
    aus dem Nichts auf.
  • 3:43 - 3:45
    Wir erstellen sie.
  • 3:45 - 3:49
    Also gibt es die Möglichkeit,
    inklusive Trainingssets zu erstellen,
  • 3:49 - 3:53
    die ein breitgefächerteres Bild
    der Menschheit widerspiegeln.
  • 3:53 - 3:55
    Jetzt haben Sie anhand
    meiner Beispiele gesehen,
  • 3:55 - 3:57
    wie soziale Roboter dazu geführt haben,
  • 3:57 - 4:02
    dass ich von der Exklusion
    durch algorithmische Vorurteile erfuhr.
  • 4:02 - 4:07
    Algorithmische Vorurteile können
    zu diskriminierendem Verhalten führen.
  • 4:07 - 4:13
    Überall in den USA beginnt die Polizei,
    als Teil ihrer Kriminalitätsbekäpfung
  • 4:13 - 4:16
    Software zur Gesichtserkennung
    zu verwenden.
  • 4:16 - 4:18
    Georgetown Law zeigte in einem Bericht,
  • 4:18 - 4:24
    dass einer von zwei erwachsenen US-Bürgern
    -- das sind 117 Mio. Menschen --
  • 4:24 - 4:28
    bereits in Datenbanken
    zur Gesichtserkennung erfasst ist.
  • 4:28 - 4:33
    Polizeikommissariate können zurzeit
    uneingeschränkt auf diese zugreifen
  • 4:33 - 4:37
    und benutzen dabei Algorithmen, die
    nicht auf Genauigkeit überprüft wurden.
  • 4:37 - 4:41
    Dennoch wissen wir, dass
    Gesichtserkennung nicht fehlerfrei ist
  • 4:41 - 4:45
    und dass Gesichter zuzuordnen
    immer noch eine Herausforderung ist.
  • 4:45 - 4:47
    Vielleicht haben Sie das
    auf Facebook gesehen.
  • 4:47 - 4:50
    Meine Freund und ich lachen immer,
    wenn andere Leute
  • 4:50 - 4:53
    fälschlicherweise auf unseren
    Fotos markiert werden.
  • 4:53 - 4:58
    Aber jemanden fälschlicherweise
    zu verdächtigen, ist nicht zum Lachen,
  • 4:58 - 5:01
    sondern verstößt gegen Bürgerrechte.
  • 5:01 - 5:04
    Maschinelles Lernen
    wird für Gesichtserkennung,
  • 5:04 - 5:08
    aber auch über den Bereich von
    computergestütztem Sehen hinaus verwendet.
  • 5:09 - 5:13
    In ihrem Buch "Waffen der Mathezerstörung"
  • 5:13 - 5:20
    schreibt Datenforscherin Cathy O'Neil
    über neue Massenvernichtungswaffen --
  • 5:20 - 5:24
    verbreitete, mysteriöse
    und zerstörerische Algorithmen,
  • 5:24 - 5:27
    die zunehmend dazu verwendet werden,
    Entscheidungen zu treffen,
  • 5:27 - 5:30
    die viele Teile unseres Lebens betreffen.
  • 5:30 - 5:32
    Etwa wer eingestellt oder gefeuert wird.
  • 5:32 - 5:35
    Bekommen Sie einen Kredit?
    Oder eine Versicherung?
  • 5:35 - 5:38
    Werden Sie an der Uni, an der Sie
    studieren wollen, angenommen?
  • 5:38 - 5:42
    Bezahlen Sie und ich denselben Preis
    für dasselbe Produkt,
  • 5:42 - 5:44
    das wir auf derselben Website
    gekauft haben?
  • 5:44 - 5:47
    Die Strafverfolgung beginnt auch,
    maschinelles Lernen
  • 5:47 - 5:50
    für Predictive Policing einzusetzen.
  • 5:50 - 5:54
    Manche Richter benutzen maschinell
    generierte Risikoraten, um festzusetzen,
  • 5:54 - 5:57
    wie lange eine bestimmte Person
    im Gefängnis bleiben wird.
  • 5:58 - 6:01
    Deshalb müssen wir wirklich
    über diese Entscheidungen nachdenken.
  • 6:01 - 6:02
    Sind sie fair?
  • 6:02 - 6:05
    Wir haben gesehen,
    dass algorithmische Vorurteile
  • 6:05 - 6:08
    nicht unbedingt
    zu fairen Ergebnissen führen.
  • 6:08 - 6:10
    Was können wir dagegen tun?
  • 6:10 - 6:14
    Wir können darüber nachdenken,
    wie man inklusiveren Code schreibt
  • 6:14 - 6:17
    und Programmiertechniken nutzt,
    die inklusiver sind.
  • 6:17 - 6:19
    Es fängt bei den Menschen an.
  • 6:20 - 6:22
    Es spielt eine Rolle, wer programmiert.
  • 6:22 - 6:26
    Erstellen wir inklusive Teams
    aus diversifizierten Individuen,
  • 6:26 - 6:28
    die gegenseitig ihre toten Winkel
    überprüfen können?
  • 6:28 - 6:32
    In Hinblick auf die Technik spielt es
    eine Rolle, wie programmiert wird.
  • 6:32 - 6:35
    Berücksichtigen wir Fairness
    beim Entwickeln von Systemen?
  • 6:36 - 6:38
    "Warum" wir programmieren,
    spielt auch eine Rolle.
  • 6:39 - 6:44
    Wir haben durch computergestütztes Design
    enormen Wohlstand geschaffen.
  • 6:44 - 6:48
    Nun haben wir die Möglichkeit,
    noch größere Gleichheit zu schaffen,
  • 6:48 - 6:51
    wenn wir sozialen Wandel als Priorität
  • 6:51 - 6:54
    und nicht als Nachtrag behandeln.
  • 6:54 - 6:59
    Das sind also die drei Grundsätze
    der "Incoding"-Bewegung.
  • 6:59 - 7:00
    Es ist wichtig, wer programmiert,
  • 7:00 - 7:02
    wie programmiert wird,
  • 7:02 - 7:04
    und warum wir programmieren.
  • 7:04 - 7:07
    Auf dem Weg zu "Incoding"
    müssen wir darüber nachdenken,
  • 7:07 - 7:10
    Plattformen, die Vorurteile
    erkennen können, zu schaffen,
  • 7:10 - 7:13
    mit Hilfe von Erfahrungen,
    wie z. B. meinen,
  • 7:13 - 7:16
    aber auch bereits existierende
    Software zu überprüfen.
  • 7:16 - 7:20
    Wir können auch damit beginnen,
    inklusivere Trainingssets zu erstellen.
  • 7:20 - 7:23
    Stellen Sie sich etwa eine Kampagne
    "Selfies für Inklusion" vor,
  • 7:23 - 7:26
    bei der Sie und ich den Entwicklern
    beim Testen und Entwickeln
  • 7:26 - 7:29
    inklusiverer Trainingssets helfen können.
  • 7:29 - 7:32
    Wir können auch bewusster
    über die sozialen Auswirkungen
  • 7:32 - 7:37
    der Technologien, die wir
    entwickeln, nachdenken.
  • 7:37 - 7:40
    Um die "Incoding"-Bewegung zu starten,
  • 7:40 - 7:44
    gründete ich die
    "Algorithmic Justice Leage".
  • 7:44 - 7:49
    Jeder kann dabei helfen,
    den programmierten Blick zu bekämpfen.
  • 7:49 - 7:52
    Auf codedgaze.com können Sie
    über Voreingenommenheit berichten,
  • 7:52 - 7:55
    Überprüfungen verlangen, zum Tester werden
  • 7:55 - 7:57
    und bei laufenden Debatten mitreden,
  • 7:57 - 8:01
    #codedgaze.
  • 8:01 - 8:03
    Ich lade Sie dazu ein,
    sich mir anzuschließen
  • 8:03 - 8:07
    und eine Welt zu schaffen,
    in der Technologie für uns alle,
  • 8:07 - 8:09
    und nicht nur für manche, funktioniert,
  • 8:09 - 8:14
    eine Welt, in der Inklusion wertgeschätzt
    und soziale Veränderung im Zentrum steht.
  • 8:14 - 8:15
    Danke.
  • 8:15 - 8:19
    (Applaus)
  • 8:21 - 8:24
    Ich habe eine Frage:
  • 8:24 - 8:26
    Werden Sie sich mir anschließen?
  • 8:26 - 8:27
    (Gelächter)
  • 8:27 - 8:31
    (Applaus)
Title:
Wie ich Vorurteile in Algorithmen bekämpfe
Speaker:
Joy Buolamwini
Description:

Joy Buolamwini, Master-Stundentin am MIT, arbeitete gerade
mit einer Gesichtserkennungssoftware, als sie ein Problem entdeckte: Die Software erkannte ihr Gesicht nicht. Denn die Menschen, die den Algorithmus programmiert hatten, hatten diesem nicht beigebracht, eine breite Palette an Hauttönen und Gesichtszügen zu erkennen. Jetzt ist Joy auf einer Mission mit dem Ziel, algorithmische Vorurteile im Bereich des maschinellen Lernens zu bekämpfen – ein Phänomen, das sie "den programmierten Blick" nennt. Ihr Vortrag öffnet den Zuschauern die Augen im Hinblick auf die Notwendigkeit, Verantwortung bei der Programmierung zu übernehmen ... vor allem da Algorithmen immer mehr Teile unseres Lebens beeinflussen.

more » « less
Video Language:
English
Team:
TED
Project:
TEDTalks
Duration:
08:46
Angelika Lueckert Leon approved German subtitles for How I'm fighting bias in algorithms
Angelika Lueckert Leon accepted German subtitles for How I'm fighting bias in algorithms
Angelika Lueckert Leon edited German subtitles for How I'm fighting bias in algorithms
Angelika Lueckert Leon edited German subtitles for How I'm fighting bias in algorithms
Angelika Lueckert Leon declined German subtitles for How I'm fighting bias in algorithms
Angelika Lueckert Leon edited German subtitles for How I'm fighting bias in algorithms
Tanja Daub edited German subtitles for How I'm fighting bias in algorithms
Patricia Calderón Koch edited German subtitles for How I'm fighting bias in algorithms
Show all

German subtitles

Revisions