36C3 - Der Deep Learning Hype

36C3 Vorspannmusik

Herald: Ich freue mich ganz besonders,
jetzt den nächsten Vortrag ankündigen zu

können, der zwei Themen vereint, die ich
beide interessant finde. Zwar geht es zum

einen um Machine Learning, im Speziellen
Deep Learning, aber auch gleichzeitig um

Nachhaltigkeit. Wie das Ganze verbunden
werden kann und ob vielleicht der Deep

Learning Hype irgendwie doch zu groß ist,
erklären uns Nadja Geisler und Benjamin

Hättasch, die an der TU Darmstadt arbeiten
und forschen oder irgendwo zwischendrin

sind. Und deswegen will ich jetzt gar
nicht weiter groß reden und freue mich auf

den Talk. Herzlich willkommen, Nadja und
Benjamin!

Applaus

Nadja Geisler: Herzlichen Dank! Hallo
erstmal und schön, dass wir hier sein

können, schön das ihr alle hier seid. Wir
freuen uns wirklich wahnsinnig. Es ist für

uns beide auch der erste Kongress, und das
ist etwas ganz Besonderes dann auch gleich

hier oben zu stehen. Ich bin Nadja und wie
er schon gesagt hat, bin ich mit dem

Master-Studium an der TU Darmstadt fertig
und werde wahrscheinlich demnächst dort

anfangen zu promovieren.
Benjamin Hättasch: Ich mache das schon

seit zwei Jahren und habe festgestellt:
Ich will mich nicht nur damit

beschäftigen, irgendwie toll Deep Learning
anzuwenden, sondern ein bisschen drüber

nachzudenken, was das alles so bedeutet.
Und weil wir da einiges herausgefunden

haben, sind wir heute hier, um euch das
auch zu erzählen.

Nadja: Unser Talk ist so zustande
gekommen, dass wir das 36C3 Motto gesehen

haben und uns dachten: Nachhaltigkeit
vereint doch eigentlich mehrere Aspekte,

die wir schon immer spannend fanden, was
das Thema Deep Learning und maschinelles

Lernen angeht. Aspekte, die sich unter dem
Stichwort zusammenfassen lassen, obwohl

sie an sich sehr unterschiedlich sind und
mit dem wir uns in verschiedene Art schon

beschäftigt hatten. Zu den Aspekten wollen
wir euch heute was erzählen, weil gerade

das Thema Nachhaltigkeit momentan
besonders aktuell, besonders wichtig und

besonders relevant für unsere Zukunft ist.
Bevor wir aber auf die drei verschiedenen

Ebenen von Nachhaltigkeit, über die wir
reden wollen, eingehen, das ist die

wissenschaftliche Ebene, die
gesellschaftliche Ebene und die Umwelt-

Ebene, müssen wir zuerst klären: Wovon
reden wir, wenn wir Deep Learning sagen?

Was sind die absoluten Basics für das, was
wir die nächsten 30, 45 Minuten reden

werden? Was müsst ihr wissen, damit wir
euch gut mitnehmen können? Und das wollen

wir jetzt machen. Das beinhaltet unter
anderem: was meinen Sie damit, wenn wir

Deep Learning sagen? Wie funktioniert das
auf einer intuitiven Ebene, nicht so sehr

auf einer detailreichen technischen Ebene?
Und wozu wird das aktuell jetzt schon

angewendet? Und wenn Deep Learning sagen,
dann vor allem dieses Konstrukt, was sich

dann neuronales Netz nennt, Artificial
Neural Network auf Englisch. Das sind so

Machine Learning Konstrukte, die es schon
sehr lange gibt, die dann zwischendurch

mal eine starke Flaute in der Beliebtheit
haben, weil sie eben doch nicht die

Ergebnisse gebracht haben, die man sich
erhofft hatte. Inzwischen sind sie wieder

extrem beliebt, um alle möglichen
Probleme, Aufgaben im maschinellen Lernen

anzugehen. Dabei bezeichnet ein neuronales
Netz im Wesentlichen eine Verknüpfung von

Knoten. Diese Knoten können je nach
Architektur verschieden miteinander

vernetzt und durch verschiedene
mathematische Funktionen verbunden sein.

Jeder Knoten wiederum repräsentiert
eigentlich nur eine nichtlineare

Berechnungsfunktion. So weit, so logisch.
Wir berechnen also sehr, sehr viel. Und

wenn diese Gewichte zwischen den
Berechnungen erst einmal fertig bestimmt

sind, sprich wenn das neuronale Netz
trainiert ist, dann lässt sich für jede

numerische Eingabe, die man im Netz gibt,
auch eine entsprechende Ausgabe bestimmen.

Diese Ausgabe macht dann Aussagen über
irgendwelche Größen, über irgendwelche

Klassifizierungen oder irgendwelche
Zuordnungen. Die wichtigste Voraussetzung

für viele, wenn auch nicht alle Arten von
neuronalen Netzen, sind entsprechende

Trainingsdaten und die auch noch in großer
Menge. Ob diese Trainingsdaten gelabelt

sein müssen, also so etwas wie schon eine
Bezeichnung der eigentlichen Zielgröße

haben müssen vorher oder nicht, das kann
unterschiedlich sein, ist aber an der

Stelle auch gar nicht so relevant. Was wir
brauchen, sind wahrscheinlich sehr, sehr

viele Daten, wenn wir mit neuronalen
Netzwerken arbeiten wollen. Anhand dieser

Daten, die möglichst vielfältig, möglichst
repräsentativ sein sollten für die spätere

Wirklichkeit oder das, was wir dann damit
bearbeiten und einfangen wollen, daran

wird das Modell gelernt. Um das Modell
später einzusetzen, das sieht man hier

ganz gut, wenn man einmal von links nach
rechts schaut, braucht man zunächst

Inputdaten. Die müssen in einem
numerischen Format sein. Wie man da

hinkommt? Das sind sehr viele verschiedene
Methoden, aber an dieser Stelle auch gar

nicht so weit relevant. Diese Inputdaten
gehen dann zu diesen Knoten, zu den

Neuronen, und jedes Neuron repräsentiert
irgendwo an bestimmte eine bestimmte

Eigenschaft, ein bestimmtes Feature. Bei
einer Bilderkennung könnte das eine Kante

sein oder eine Ecke oder ein
Helligkeitsunterschied, ganz verschiedene

Dinge. Je weiter wir in das neuronalen
Netz reingehen, je tiefer die Ebenen

werden, desto höher-levelig sind die
Eigenschaften, die wir repräsentieren. Das

Problem bei der ganzen Sache ist
normalerweise, dass wir gar nicht so genau

wissen, was dieses Neuron repräsentiert.
Bei einem Algorithmus, der Bilder

klassifiziert, der zum Beispiel Hunde und
Wölfe voneinander entscheiden kann, können

wir uns nicht ein Neuron anschauen und
können sagen: Aha! Das da schaut, ob da

eine Kante ist, die einen Schwanz
repräsentieren könnte. Sondern es sind für

uns einfach irgendwelche Zahlenwerte, die
wir nicht weiter interpretieren können.

Das bedeutet, wir haben Black Box Modelle.
Wir verstehen also nicht im Detail,

welches Gewicht wofür steht, was wir
eigentlich gelernt haben. Und im

Endeffekt, wenn ein Input reingeht, warum
der Output rauskommt, der am Ende

tatsächlich herauskommt. Das bildet also
im Prinzip die Basis für alle Systeme, die

irgendwie als Teil von Deep Learning
bezeichnet werden.

Benjamin: Was wir da an der Stelle also
haben, ist: Wir nehmen Mathe, wir nehmen

große Mengen von Daten und wenden einfach
Tricks aus der Statistik an. Wir nutzen

aus, dass bestimmte Dinge, wenn man es nur
oft genug betrachtet, wenn man es nur oft

genug anwendet, durchführt, dann eine
gewisse Systematik ergeben, dass man

Muster erkennen kann. Wir generalisieren.
Wie man hier also sieht, werden einfach

Tricks übernommen, die es in der Statistik
schon seit vielen hundert Jahren gibt. Und

dafür angewandt, um jetzt irgendwie zu
versuchen, aus einem Haufen Daten, ohne

ihn wirklich zu verstehen, ohne genau zu
wissen, was da drinsteckt, einfach durch

schiere Masse, Muster zu erkennen und
dann hoffentlich zu wissen: Okay, wenn ich

jetzt weit genug generalisiert habe, wird
mein System schon irgendwie gut genug sein

für mein Anwendungszweck. Das hat aber,
obwohl der Name Deep Learning und

Künstliche Intelligenz, alles nicht so
wahnsinnig viel damit zu tun, was wir als

Intelligenz verstehen, was wir als Lernen
verstehen. Der Tweet hier fasst das ganz

gut zusammen. Er sagt, das menschliche
Hirn funktioniert ganz anders. Wenn das

menschliche Hirn so wie Deep Learning
funktionieren würde, dann müssten wir

einfach 200 mal ins Gesicht geschlagen
werden, bevor wir überhaupt raffen, dass

wir das nicht mögen. So ist das
tatsächlich wenn ich bei Deep Learning,

wenn ich ihm 50, 100, 200 Wölfe und Hunde
zeige, dann weiß das System noch gar

nichts, weil es nicht schnell genug
interpretieren kann, nicht genug Kontext-

Informationen einbeziehen kann, nicht
genug von all dem nutzen können, was das

menschliche Hirn, was wir können, wenn wir
irgendwas machen, um irgendwie

Entscheidungen zu treffen. Und das ist ein
großes Problem. Warum genau, werden wir

gleich nochmal im Detail besprechen. Sorgt
aber dafür, dass wir einfach nur auf Masse

gehen und dadurch einfach eine bestimmte
Genauigkeit so leicht nicht erreichen

können, wie wir sie gerne hätten.
Nadja: Die intuitive Ursprungsidee hinter

neuronalen Netzen war tatsächlich mal
sozusagen die Funktionalität des Gehirns

nachzubauen. Unsere Neuronen feuern auch,
sind miteinander vernetzt, können

irgendwelche Dinge auslösen. Das ist aber
heutzutage nicht mehr wie Neuronale Netze

funktionieren. Wir bilden damit nicht
wirklich die Funktion organischer Gehirne

nach, sondern und das war zwar die
Intuition dahinter, das funktioniert aber

tatsächlich sehr anders. Der für uns
interessante Teil ist aber inzwischen, wie

wird das Ganze eigentlich angewendet, wo
begegnet uns das im Alltag, nicht nur in

Forschungslabors, nicht nur in
akademischen Institutionen, sondern auch

tatsächlich in Systemen, die wir jeden Tag
benutzen, die inzwischen weit verbreitet

sind. Mit allen Nach- und Vorteilen, nach
der großen Flaute, von der wir es eben

schon kurz hatten, erlebt das Feld gerade
wieder ein riesiges Hoch, und sie sind in

so vielen Bereichen im Einsatz, dass einen
kurzen Überblick davon zu verschaffen

quasi unmöglich ist. Extrem weit
verbreitet sind Sachen wie

Sprachassistenten. In den letzten Jahren
Siri, Alexa, Echo, all das. Sie müssen so

etwas können, wie Sprachverarbeitung, die
müssen so etwas können wie

Textverarbeitung, die müssen
Sprachsynthese beherrschen, sie müssen

auch irgendwo Information Retrieval
beherrschen und tatsächlich auch die

Informationen aus dem riesigen
Informationscluster, der das Internet nun

mal ist, hervorzuholen. Aber auch weit
verbreitet durch solche Unternehmen wie

Tesla oder Uber sind inzwischen die
Bereiche des autonomen Fahrens oder

generell des autonomen Transports, die
sich dann eher mit vielleicht

Bilderkennung bearbeiten müssen, mit
Navigation, mit Fein-Kontrolle an

motorischen Bauteilen etc. Nicht ganz so
offensichtlich, aber dennoch, wenn man

darüber nachdenkt oder wenn man es gesagt
bekommt, dann doch sehr gut sichtbar: Für

alle Menschen im Alltag sind
Recommendation Systems, so etwas wie

"Amazon Kunden kauften auch", "Sie könnte
interessieren", alles, was uns irgendwie

Vorschläge generiert. Die Sortierung von
Google Ergebnissen oder generell von

Suchmaschinen, wie mir Ergebnisse
angezeigt werden, was wie gerankt wird.

Aber auch sowas wie, was zeigt mir mein
Facebook Newsfeed überhaupt an? Wer

bekommt was, wann und wie oft zu sehen?
Das ist bei weitem nicht so

straightforward, nicht so offensichtlich,
wie sich das viele Leute denken. Deutlich

weniger bekannt sind dann schon Systeme,
die sowas wie

Rückfälligkeitseinschätzungen für
straffällig gewordene machen, die in

Gerichtsverfahren dazu verwendet werden,
um anhand von irgendwelchen Scores

Strafmaße zu vergeben. Das geschieht in
den USA schon seit Jahren. Aber auch

Sachen, die anhand von Gesichtserkennung
versuchen, verdächtige Personen zu

identifizieren, oder die Scoring
Algorithmen, die für irgendwelche sozialen

Systeme verwendet werden oder zur
Einschätzung für Versicherungen verwendet

werden. Aber auch Einstellungsverfahren,
die anhand von Stichwörtern, von

Lebensläufen, noch bevor jemals jemand auf
die Unterlagen drauf geschaut hat,

Kandidatinnen aussortieren.
Benjamin: Diese Systeme arbeiten auch da

wieder so, dass wir häufig nicht
verstehen, genau was sie tun. Teilweise

so, dass man im Nachhinein denkt: Um
Gottes Willen, wie können die so

funktionieren? Das heißt, sowohl diese
Einstellung bei Gesichtsinterpretation

oder für Bewerbungsverfahren, wo ein 15
sekündiges Video analysiert wird,

übernimmt regelmäßig solche Systeme wie,
wir messen jetzt Abstand zwischen Augen,

Nase, Mund, was weiß ich, was wir leider,
wenn man ganz ehrlich ist, kennen aus

irgendwelcher Genetik, die die Nazis
betrieben haben, um irgendwelche

überlegenen Rassen zu identifizieren. Und
solche Dinge werden in Systemen heutzutage

eingesetzt. Nicht unbedingt absichtlich.
Aber wenn man sich die Mühe macht zu

verstehen, was das System eigentlich
tut, stellt man plötzlich mit großem

Bedauern fest, dass es genau das tut.
Nadja: In all diesen Bereichen, in allen

Unteraufgaben davon und noch viel mehr
kommen diese Deep Learning Systeme mit all

ihren Nachteilen und oftmals mit
unbeabsichtigten Nebenwirkungen aktuell

zum Einsatz. Und es werden immer mehr.
Genug dazu, was die Grundlage ist, genug

dazu, was wir unter Deep Learning
verstehen und wo es angewendet wird. Wir

wollen uns als nächstes mit
wissenschaftlicher Nachhaltigkeit

beschäftigen. Und die erste Frage, die
sich die meisten Leute dazu stellen: Was

bedeutet denn wissenschaftliche
Nachhaltigkeit eigentlich? Wenn wir das

sagen, meinen wir solche Fragen wie, wie
relevant ist eigentlich das Thema, an dem

wir forschen? Wie relevant sind meine
Ergebnisse für die Zukunft, für die

weitere Entwicklung des Feldes, für den
Alltag der Menschen, um die es

letztendlich geht? Wir fragen uns aber
auch: Können wir diese Ergebnisse

überhaupt reproduzieren? Kann irgendjemand
anderes, wenn er dieses Paper gelesen hat,

zu den gleichen Zahlen, zu dem gleichen
Ergebnis oder zumindest zu der gleichen

Größenordnung kommen? Haben wir die dazu
notwendigen Mittel? Haben wir die Details

publiziert? Und sind die Ergebnisse so
verlässlich, dass es möglich ist? Wir

meinen auch: Können wir Dinge, die in der
Forschung entwickelt werden,

wiederverwenden? Oder sind sie nur für
diese eine sehr spezielle Aufgabe

relevant? Wir meinen auch: Sind wir
konkurrenzfähig? Oder sind andere Systeme,

die mit den gleichen oder sogar weniger
Aufwand entwickelbar, einsetzbar sind,

nicht vielleicht sogar besser? Wir meinen
auch: Mit welcher Systematik wurde dieses

System gebaut? Nach welchem System wurde
untersucht, was an dieser Stelle hilfreich

ist und was nicht? Oder war das völlig
willkürlich? Und schlussendlich meinen wir

auch: Was ist die Aussagekraft meiner
Ergebnisse? Wie war die

Evaluationsmethodik? Was ist dabei am Ende
rausgekommen, was tatsächlich relevant,

nennenswert, statistisch signifikant ist?
Benjamin: Und an der Stelle überlegen wir

uns kurz, ich weiß nicht, einige von euch
kommen sicherlich aus dem

wissenschaftlichen Bereich, andere aus der
Industrie, ist völlig egal, wie man sich

eigentlich wünschen würde, dass
Wissenschaft funktioniert, nämlich

irgendwie systematisch. Menschen denken
sich Dinge aus, überprüfen sie, stellen

fest, sie stimmen, und alles ist gut.
Tatsächlich haben wir in diesem Bereich

häufig, sehr häufig, ein völlig anderes
Verfahren. Es gibt Publikationen zu

irgendwelchen Arten: Wie
kann man diese

Neuronen, die wir vorhin hatten,
wie kann man diese Modelle

aufbauen? Was kann man
da machen? Dass die Daten dadurch fließen?

Dazu denken sich Leute was aus. Dann
publizieren sie das, veröffentlichen das,

und andere Leute denken sich, okay, das
klingt doch spannend. Lass das mal nehmen,

um daraus jetzt irgendwie für meinen
Anwendungsfall ein neues System zu bauen.

Das heißt, Sie nehmen dieses Modell, was
man irgendwo gehört hat, was gerade durch

die Fachwelt geistert. Dann überlegt man
sich grob: Wie baut man das auf? Wie nehme

ich das? Ich packe jetzt so viele
Schichten von diesem Typ hintereinander.

Sagen wir mal so und so viele, und die
Schichten machen wir so groß, wir arbeiten

jetzt mit so und so vielen dimensionalen
Vektoren. Das denkt man sich einfach aus,

was irgendwie plausibel klingt.
Dann guckt man,

dass man die Daten noch
irgendwie so lange schlägt,

bis sie irgendwie halbwegs
in das Format reinpassen, was man gerade

haben will, macht da irgendwelche
numerischen Werte draus, auf teilweise

sehr fragwürdige Art und Weise. Und dann
wird das Ganze in das Netzwerk gepackt,

und das ganze Ding nennt sich ja Deep
Learning. Das heißt, jetzt kommt das

Lernen. Das basiert halt darauf, dass man
die Daten reinschiebt, guckt, wie gut es

passt. Wie gut war die Vorhersage. Dann
anhand dessen das System anpasst, die

Daten wieder durchfließen lässt und das
Ganze immer und immer wiederholt, bis man

am Ende irgendwie schön Gewichte in diesen
Funktionen, die man im Prinzip

konstruiert, geraten hat oder gelernt hat,
die plausibel erscheinen für den Zweck,

den man braucht. Das ergibt dann das
Modell. Wenn die Zahlen, die dann

rauskommen, auf den Daten mit dem man das
testet, ganz gut aussehen, dann nehmen die

Leute das und schreiben ihr Paper darüber
und sagen Okay, für Klassifikationen von

Wölfen gegen Hunde haben wir jetzt
folgende Architektur, folgendes Dings.

Hier sind unsere Daten. Das sind die
Werte, die wir haben. Bitteschön, dass ist

jetzt das tolle neue Forschungsergebnis.
Wenn die Werte nicht so gut aussehen, dann

hat man wohl vielleicht die falsche State
of the Art System genommen, was gerade

jemand veröffentlicht hat. Oder man hat
eine Schlicht zu wenig, eine Schicht zu

viel, die Vektoren haben die falsche
Dimensionierung. Na naja, gut, dann rate

ich eben neue Parameter. Ist ja alles nur
Strom und Zeit, lässt das Ganze weiter

trainieren. Da laufen die GPUs heiß. Und
dann fängt man von vorne an damit und

guckt, ob jetzt gute Zahlen rauskommen.
Und je nachdem sagt man dann, Okay, ich

mache weiter, oder ich fall wieder durch.
Dazu kommt dann noch, das Ganze ist jetzt

ja schon irgendwie ziemlich
unwissenschaftlich. Das ist nicht mal mehr

empirische Forschung. Das ist wirklich
ausprobieren und hoffen, dass etwas Gutes

rauskommt. Aber danach kann man jetzt ja
noch die üblichen Schönungs-Methoden

anwenden, die es natürlich in der
Wissenschaft gibt, die man auch so leicht

gar nicht finden kann. Leider. Man kann
natürlich jetzt sagen, ich zeige nur die

Ergebnisse auf den Datensets, bei denen
die Zahlen gut aussehen, und auf dem

zweiten Datensets mit den Fotos aus einer
anderen Perspektive oder mit einem anderen

Hintergrund jetzt leider nicht gut
funktioniert hat, das muss ich ja

niemandem erzählen. Das veröffentliche ich
einfach nicht mit. Das bleibt bei mir, und

meinen anderen Zahlen sehen ja gut aus,
und das muss man jetzt erst mal jemand

nachmachen und zeigen, dass es mit etwas
anderem nicht funktioniert. Selbst wenn

nicht: Ich habe ja eine Publikation. Und
das ist leider in vielen Feldern

heutzutage was, was wichtig ist. Irgendwo
bei einer wichtigen Konferenz ein Paper zu

veröffentlichen, mit der man eine
minimale Verbesserung gegenüber dem

bisherigen State of the Art gezeigt hat.
Natürlich kann ich außerdem, eigentlich

sollte ich solche Experimente mehrfach
wiederholen und Mittelwerte bilden. Aber

ich kann natürlich Experimente mehrfach
wiederholen und einfach nur den besten

Score veröffentlichen. Und weitere solche
Tricks anwenden. Das heißt, wir haben

sowieso schon einen schlechten Prozess,
der dann auch noch teilweise missbraucht

wird, um schneller bessere Ergebnisse zu
kriegen und das dann zu publizieren. Das

ist das, was wir viel in diesen Feldern
sehen. Definitiv nicht bei allen Papern.

Gerade die Grundlagen Paper sind
sicherlich gut erforscht. Aber die vielen

Anwendungspaper können an der Stelle, und
allein schon indem, wie sie entstanden

sind, begründet, keinen wirklichen
Mehrwert liefern. Was ihre Relevanz und

ihren Vorteil, der daraus entsteht,
ergibt.

Nadja: Das Ganze ist natürlich plakativ
formuliert und natürlich bringen wir das

Ganze ein bisschen auf den Punkt, um zu
überspitzen. Aber Tatsache ist, wenn man

sich in einem Feld bewegt, was sehr viel
Druck hat, wenn man sich in einem Feld

bewegt, was so viele mögliche Gründe und
so viele Dinge hat, die diese

Fallstricke begünstigen, dann werden sie
auch immer mehr genutzt.

Benjamin: Genau. Wir sehen natürlich
besonders, es gibt gerade im Deep Learning

diese Möglichkeiten. Denn wir haben schon
gesagt: wir verstehen nicht, was diese

Modelle tun normalerweise. Es gibt ein
Forschungsfeld, was daran arbeitet. Aber

normalerweise verstehen wir nicht, was
diese Systeme tun. Das sind Blackbox

Modelle, die kriegen Daten rein, damit
wird irgendwas damit gemacht. Am Ende

kommen Daten raus. Das Ganze geht noch
über mehrere Schritte. Wir haben die

Daten, die werden irgendwie
vorverarbeitet. Dann kommen die Daten

rein, gehen durch dieses System, dann
werden sie eventuell nachverarbeitet. Am

Ende muss noch evaluiert werden,
entschieden werden: Was ist jetzt richtig?

Was ist exakt richtig? Was ist gerade so
richtig? Reicht mir das vielleicht, um es

als als wahr, stimmt es schon so, um es in
meinem Paper zu publizieren? Was ich genau

gemessen habe, wird häufig gar nicht erst
angegeben. Das heißt, dort ist es extrem

leicht möglich, auf diese Art und Weise zu
arbeiten. Und gerade dadurch, dass überall

heutzutage Expertinnen für dieses Feld
gesucht werden, dass überall jemand

Anwendungen haben möchte für Deep
Learning, kommt man damit eben ganz gut

durch. Deswegen passiert das dort
besonders. Man muss auf der anderen Seite,

wenn man die guten Jobs kriegen will, auch
solche Publikationen vorweisen. Also wird

das entsprechend gemacht. Und genauso: es
sind halt sehr viele Low Hanging Fruits

dabei. Das heißt Dinge, wo man weiß, okay,
mit wenig eigenen, großartigen Ideen und

mehr anwenden von Handwerkszeug kann ich
irgendwo was bauen, was es noch nicht

gibt. Und solange ich der Erste dazu bin,
kriege ich das leichter hin. Ich muss mich

nicht mit irgendwem vergleichen. Ich zeige
Okay, mein System kann das mit einer

akzeptablen Genauigkeit, exakte Zahlen und
Ergebnissen. Damit bin ich die erste

Person, die das geschafft hat, und kann
das entsprechend veröffentlichen. Deswegen

versuchen möglichst viele Leute, möglichst
schnell solche Dinge rauszuhauen, neue

Publikationen in diesen Bereichen zu
veröffentlichen. Wenn wir jetzt wissen

wollen, wie gut eigentlich ein System ist,
was vorgestellt wird, wäre es natürlich

schön, wenn wir die Experimente einfach
wiederholen könnten. Das ist allerdings

leider gar nicht so trivial. Denn auch
wenn die Systeme, die eingesetzt werden,

die Grundlagen-Systeme, häufig ein
gewisser Standard sind und irgendwie auch

als Open Source existieren, gilt das eben
nicht für die ganzen Anpassungen, die

ganzen Details, die die Personen einbauen.
Das gilt also nicht für den eigentlichen

Code, für die Pipeline, aber auch für die
Pre-Processing, für die Evaluierung. Das

gilt nicht unbedingt für die Daten. Häufig
sind Daten nicht verfügbar. Wir wissen,

Daten sind wertvoll, deswegen will man sie
nicht aus der Hand geben. Aber so

funktioniert Wissenschaft nicht. Ich kann
nicht auf meinen Daten, die ich für mich

behalte, arbeiten, sie niemandem zeigen
und sagen: Aber mein System ist gut, ich

habe es ja selbst getestet. Das ihr es
nicht überprüft könnt, Pech gehabt. Ich

habe in diesen Systemen enorm viele Hyper-
Parameter, die wir haben es ja gesagt,

erst einmal häufig geraten werden oder
durch durch grobes Ausprobieren bestimmt

werden. Wenn ich diese Parameter und diese
Hyper-Parameter nicht weiß, habe ich keine

Chance, das System nachzubauen. Ich weiß
auch nicht, mit welchen Initialisierungen,

die zufällig geschehen und
mit welchen Reihenfolgen

und Aufteilung der Daten
das Ganze geschehen ist.

Das heißt, wenn ich diese
ganzen Details nicht habe, habe ich

erst mal keine Chance, genau ein System
nachzubauen. Ich brauche aber genau diese

exakten Werte, weil diese Systeme enorm
fragil sind. Das heißt, wenn ich

Kleinigkeiten ändere, ein bisschen die
Dimensionen verändere, die Größe der

Schichten, gar so gar die Funktionen, die
da aneinandergekettet werden, ein bisschen

ändere, kriege ich völlig andere
Ergebnisse und weiß nicht mehr, ob das

andere System wirklich schlecht oder gut
war oder ob es eben nur daran liegt, dass

ich es nicht genau nachbauen kann.
Problem: Aktuell gibt es zwar

Bestrebungen, dass das so etwas besser
wird, aber keinen Zwang oder so dafür. Das

heißt, wenn ich ein Paper publiziere auf
einer der großen Konferenzen, in meinem

Anwendungsgebiet oder auch im Kern Machine
Learning Bereich, dann ist es gewünscht,

dass sie reproduzierbar sind. Es ist aber
nicht erzwungen. Das heißt, es gibt

zusätzlich nochmal das, ich möchte möchte,
dass mein Paper so ein Siegel kriegt, das

ist reproduzierbar. Dann muss ich dafür
ein paar Dinge machen. Da muss ich im

Prinzip diese Dinge hier bereitstellen,
die wir ja aufgelistet haben. Und dann

versuchen andere Leute nachzuvollziehen,
ob das, was ich mache, auch stimmt. Und

dann ich halt so ein Häkchen. Aber wenn
ich das nicht tue, dann mache ich es eben

nicht. Und das ist sicherlich eine Stelle,
die man hinterfragen muss, wo auch zum

Glück schon Dinge geschehen. Diese
Reproduzierbarkeit wird, rückt mehr in den

Fokus der Konferenzen. Der Effekt von dem
Ganzen ist natürlich dadurch: Wir haben

ganz viel Forschung, die nicht genutzt
werden kann von anderen Leuten. Das heißt,

ich muss natürlich Forschung an der Stelle
wiederholen. Andere Leute müssen sie

wiederholen und zusätzlich durch das,
sowohl durch diesen Effekt als auch durch

den Drang, möglichst viel und möglichst
schnell zu publizieren, wird halt extrem

viel Forschung auch so wiederholt und an
ähnlichen Problemen immer wieder

gearbeitet, um minimale Verbesserung zu
bekommen, weil man ja auch schon ein "Mein

System ist 0,5 Prozentpunkte besser als
das bisherige State of the Art System"

wieder publizieren kann. Das heißt,
wünschenswert wäre es, wir hätten überall

diese Reproduzierbarkeit. Das heißt, das
Wichtigste wäre natürlich wir alle immer,

wenn wir hier sitzen und wenn wir
irgendwas erforschen. Wir müssen unseren

Source Code veröffentlichen. Guck mal, da
ein Eichhörnchen.

Nadja: Das ist leider, was uns viel zu
häufig passiert, wenn es einen

wissenschaftlichen Code geht. Das heißt,
selbst die Autorinnen, die vorhatten ihren

Code zu publizieren, das Ganze öffentlich
zu machen, Open Source zu machen, werden

viel zu schnell vom nächsten Projekt, von
der größeren Deadline, von den

beschäftigten Doktorandinnen oder von der
Tatsache, dass der Code immer noch nicht

aufgeräumt ist, wenn man einfach nicht
dazu gekommen ist vor der Deadline,

abgelenkt. Wir haben einen extrem hohen
Publikationsdruck im Bereich Deep

Learning. Die Publikationen steigen
effektiv exponentiell. Man muss immer

schneller sein, um
wirklich noch state of

the art zu sein, um
selbst die eigene

Verbesserung noch an den
Markt bringen zu können.

Das sorgt dafür, dass
irgendwo unsauber

gearbeitet wird. Mein Code wird
nicht dokumentiert, da wird Spaghetti Code

geschrieben. Er wird irgendwie hingehackt,
Hauptsache, es funktioniert. Und danach

müsste ich mich hinsetzen und das Ganze
wieder aufarbeiten. Und das ist ein Riesen-

stück Arbeit. Und eigentlich steht ja
schon die nächste Publikation an. Und alles

ist es plötzlich interessanter, als den
Code zugänglich zu machen. Das gilt wieder

nicht für alle Paper. Natürlich gibt es
Leute, die das machen. Wir versuchen es

zum Beispiel auch. Aber es funktioniert
leider immer noch viel zu selten.

Tatsächlich gab es dazu oder gibt es doch
immer noch von einer großen Konferenz in

dem Bereich, die Reproducibility
Challenge, wo im wesentlichen

Wissenschaftler aufgefordert werden, sich
ein akzeptiertes Paper aus der Konferenz

2018 oder jetzt 2019 rauszusuchen und mit
allen Mitteln und Wegen zu versuchen, die

Ergebnisse nachzuvollziehen. Teilweise
oder im Detail, komplett, erst mal

rausfinden, was kann ich überhaupt? Die
Autoren sind angehalten, kurz publizieren

und zu kooperieren. Die Leute versuchen
wirklich, auch Zeitaufwand, mit dem

entsprechenden Fachwissen, die Ergebnisse
nachvollziehbar und erklärbar und

reproduzierbar zu machen. Die Erfolgsrate?
Ja, ein Teil können wir nachvollziehen,

immerhin 50 Prozent. Immerhin ein
Großteil, das nachvollziehen konnten 30

Prozent, gar nicht reproduzieren waren
aber immer noch 10 Prozent. Jetzt

ist das interessante aber ja der
Schwierigkeitsgrad, dass man das irgendwie

reproduzieren kann, ist an sich
schon mal gut, aber noch

nicht ausreichend. Wenn
ich die komplette

Forschung dafür neu machen
muss, dann lohnt das den Aufwand schlicht

und einfach nicht. Reasonable difficulty
ist in dem Fall sagen wir ein nicht sehr

konkretes Wort. Aber Tatsache ist, dass es
bei mindestens 20 Prozent der Paper sehr,

sehr schwierig war und überhaupt keine
Probleme aufgetreten sind bei einem

absolut vernachlässigbaren Teil. Was Sie
dabei noch gemacht haben, ist Sie haben

gefragt, diese Wissenschaftlerinnen, denen
diese Challenge gestellt wurde, haben wir

momentan eine Reproducibility Crisis im
Bereich Maschinenlearning? Seht ihr hier ein

Problem? Und die Anzahl der Leute, die ein
Problem sehen, ist über diese Challenge um

diverse Prozentpunkte gestiegen. Das
heißt, einfach mal selbst zu versuchen,

hat nochmal 15 Prozentpunkte mehr der
befragten Wissenschaftlerinnen ungefähr,

davon überzeugt, dass da tatsächlich
Probleme existiert und dazu geführt, dass

drei Viertel der befragten
Wissenschaftlerinnen ein Problem sehen, in

unterschiedlichem Ausmaße.
Benjamin: Noch ein Beispiel. Das ist

jetzt, es gibt tatsächlich inzwischen
Paper, die sich damit beschäftigen, wie

gut andere Paper reproduzierbar sind. In
dem Fall aus dem Bereich von

Recommendation. Es geht darum, aus einer
Menge von Dokumenten bestimmte Dokumente

für eine Anfrage oder Frage, oder was
weiss ich, vorzuschlagen. Da gab es in den

letzten Jahren 18 Publikationen, die alle
auf Deep Learning setzen, bei großen

Konferenzen. Und dann haben sich die Leute
mal hingesetzt und geguckt, wieviel können

wir davon reproduzieren? Inklusive, wir
schicken erst einmal dem Autor in eine

E-Mail, ob sie uns vielleicht ihren Code
geben können, bitten nochmal nach und

versuchen, die Sachen zum Laufen zu
bringen, versuchen irgendwie, teilweise

sogar ähnliche Hardware zu beschaffen, wie
die verwendet haben und bauen das nach.

Insgesamt haben sich von diesen, für
dieses Beispiel, von diesen 18 Papern,

ganze 7 Paper wirklich reproduzieren
können. Das heißt, bei denen können sie

die ganzen Sachen nachbauen, können es
laufen lassen und kommen dann auf ähnliche

Ergebnisse.
Nadja: Aber wichtig, erst nachdem Sie die

Arbeit investiert haben, erst nachdem Sie
nachgefragt haben, erst nachdem Sie

versucht haben, die Dinge aufzutreiben,
die nicht von sich aus herausgegeben

wurden.
Benjamin: Das ist nicht der Standard

Prozess. Also normalerweise, wenn ich
irgendwo auf der Konferenz ein Paper

schicke und sage, Okay, das möchte ich
veröffentlichen. Dann lesen Leute nur

dieses Paper. Gucken Sie sich eventuell
noch ein Video an oder vielleicht sogar

ganze zusätzliche Datensätze, die
hochgeladen werden. Aber normalerweise

lesen Sie nur dieses Paper, diese 6, 8,
10, manchmal 12 Seiten mit eng

geschriebenen Ergebnissen und entscheiden
nur anhand des Textes, der dort dann

steht, und anhand der Zahlen, die die
Autorin selbst herausgegeben haben, ob

diese Arbeit relevant, richtig und
irgendwie nutzbar erscheint. Und dann wird

entschieden, ob sie veröffentlicht wird
oder nicht. Aber sie können normalerweise

nicht in irgendeiner Form überprüfen, ob
das wirklich so ist. Sie müssen komplett

auf den Text vertrauen, ohne. Das ist
der Standardfall, wenn wir nicht explizit

Reproduzierbarkeit fordern für
irgendwelche Konferenzen. Und wie gesagt,

die bisherigen großen Konferenzen. Es gibt
keine, die einen von den angewandten

Konferenzen, die Reproduzierbarkeit
explizit fordert. Es ist immer nur ein

zusätzliches Challenge, oder ein
zusätzliches Siegel, oder was weiß ich.

Bisher basiert die Annahme und die
Veröffentlichung von irgendwelchen Papern

komplett nur auf dem Reviewen von den
eingereichten Sachen, ohne den Versuch es

auch zu reproduzieren. Noch zu dem
Beispiel, um es noch demotivierender zu

machen. Von diesen 7 Ergebnissen, die sie
reproduzieren konnten, haben sie dann

außerdem nochmal nicht Deep Learning
basierte Ansätze genommen, die damit

verglichen und festgestellt, dass wenn man
da sich ein bisschen Mühe gibt, sie von 6

von diesen 7 Paper noch besserere,
trotzdem noch bessere Ergebnisse kriegen.

Das heißt, von diesen 18 Publikationen hat
eine für externe Leute messbaren

wissenschaftlichen Fortschritt gebracht.
Und genau diese anderen Ansätze sind

nämlich leider etwas, was sehr stark durch
diesen Hype, der ja offensichtlich

funktioniert, so voll wie sie heute ist,
das Wort Deep Learning zieht, werden die

verdrängt. Der Rest sind häufig nur
Baselines. Ich muss ja nur im Paper

irgendwas angeben, was ein anderes System
ist, mit dem ich es vergleiche, damit ich

zeige, dass mein neues System besser ist
als das, was bisher da ist. Dann gebe ich

mir auch keine Mühe, dass ich diesen
Anteil, dieses andere System besonders gut

dastehen lasse. Denn dann wird es
schwieriger, dass mein neues System besser

abschneidet. Das heisst, es wird
hauptsächlich eben an diesem Deep

Learnings Krams geforscht, und alles
andere wird vernachlässigt, obwohl man da

noch sehr viel rausholen könnte, wenn man
es denn wollte und irgendeinen Vorteil

davon hätte. Und es wird wirklich alles
andere nur als Baseline betrachtet. Ganz

kurz noch Exkurs, das ist ein Foundation
Talk. Baseline, ich brauche irgendein

System, mit dem ich zeige, dass meine
Daten valide sind. Das ist irgendwie

Plausible ist, was ich raus kriege. Im
simpelsten Fall ist ein Baseline Ansatz

für eine binäre Entscheidung einfach ein
Münzwurf. Wenn ich ein System baue, was

zwischen Hund oder Wolf entscheiden muss
und es hat nur 5 Prozent Genauigkeit, dann

hätte ich mal lieber eine Münze geworfen.
Da würde ich mit 50 Prozent Genauigkeit

kriegen. Dann ist mein System
außerordentlich schlecht. Sobald ich über

diese 50 Prozent drüber kommen über diese
Baseline, kann ich in diesem Paper

inhaltlich begründen, warum mein neues
System besser ist als diese Baseline. Nun

gebe es vielleicht bessere, klügere
Ansätze als einen reinen Münzwurf. Aber

wenn ich den halt möglichst low halte,
habe ich es an der

anderen Stelle leichter.
Nadja: Dazu ganz kurz, um das in Zahlen zu

fassen. Kaggle ist eine Plattform, die
Daten-

wissenschaftliche Challenges
stellt, an der jeder

dann mitarbeiten kann und
einen Versuch einreichen kann, diese

Challenge zu schlagen. Z.B. im Bereich
Bilderkennung, aber eigentlich alles, was

da ist, an wissenschaftliche oder
maschinelles Lernen in Worte fasst. Das

ist der Unterschied zur akademischen
Forschung, dass wir uns nicht so sehr am

State of the art orientieren, sondern die
Leute versuchen, oftmals sind es auch

Privatpersonen, das zu nehmen, was
funktioniert. Da ist auch viel Deep

Learning dabei. Weil Deep Learning, halt
ein paar Sachens sind, wo viel entwickelt

wird, wo es viele fertige Frameworks gibt
und was verrufen ist als das, was

irgendwie mit allem funktioniert, unter
gewissen Voraussetzungen. Aber trotzdem

sehen wir das auch., dass klassische
Ansätze hier sehr, sehr hohen Anteil

einnehmen, einen höheren Anteil als
manchmal bei entsprechenden Konferenzen zu

finden ist. Das heißt, wenn es mir nur
darum geht, dass jetzt etwas funktioniert

und ich nicht maximalen Aufwand
reinstecken will, ich nicht unbedingt die

Buzzwords unterbringen will, ist Deep
Learning plötzlich nicht mehr ganz so

beliebt. Und dafür gibt's mit Sicherheit
ein Grund. Wir wollen aber noch zu zwei

weiteren Aspekten kommen. Und der nächste,
der der gesellschaftlichen Auswirkungen.

Weil auch, was unsere Gesamtgesellschaft
betrifft, müssen wir in der Forschung, was

das maschinelle Lernen und Deep Learning
angeht, ein bisschen auf Nachhaltigkeit

achten. Gerade das Thema Erklärbarkeit und
Transparenz, das Thema kann nicht das

System, was vielleicht sogar
lebenswichtige Entscheidungen trifft,

irgendwie verstehen. Dieses inzwischen
relativ weit verbreitete Beispiel kommt

aus der Software Compass, ich habe es
schon erwähnt, die wird verwendet, um bei

straffällig gewordene Menschen in
Gerichtsverfahren einen Score zu

ermitteln, mit welcher Wahrscheinlichkeit
sie rückfällig werden im weiteren Verlauf

ihres Lebens. Dieser Score wird vom
Richter dann verwendet, um das Strafmaß zu

bestimmen. Wenn wir uns jetzt den
Hintergrund der Hautfarbe, Hautfarbe

dieser Menschen anschauen, für die diese
Scores bestimmt wurden, erkennen wir eine

sehr unterschiedliche Verteilung zwischen
Menschen mit weißer Hautfarbe und Menschen

mit anderer Hautfarbe. Das heißt, oben
links sehen wir, dass hohe und niedrige

Scores annähernd gleichmäßig verteilt
werden, während wir eben bei Menschen mit

eindeutig weißer Hautfarbe oder die so
wahrgenommen werden eine sehr starke

Häufung niedrigen Scores haben. Das hat
sich an vielen Einzelbeispiele inzwischen

gezeigt, dass das schlicht und einfach
falsch ist. Dass für ähnliche Verbrechen

sehr unterschiedliche Strafen vergeben
wurden und das nicht der Fall ist, dass

die Personen mit dem höheren Score auch
zwangsläufig eher rückfällig geworden ist.

In einigen Fällen haben auch Menschen, die
in dem Bereich tätig sind, drauf geschaut

und haben gesagt, eigentlich hätte anhand
der Vorstrafen gerade andersherum

verteilt. Das ist ein Riesenproblem, weil
das System sind, die hier aktuell zum

Einsatz kommen und die für Menschen
lebenswichtige Entscheidungen

treffen müssen. Für niemanden er
sichtlich, warum dieser Score gegeben

wird. Die Firma sagt von sich, und das ist
insofern auch korrekt, wenn man es

wörtlich nimmt, dass der Hintergrund und
die Hautfarbe dieser Menschen nicht

eingegangen ist in das Training. Aber das
korreliert mit so vielen Dingen in den

USA, mit dem Einkommen, mit dem Wohnort
etc., dass das gar nicht der entscheidende

Faktor ist. Als weiteres Beispiel können
wir mal drüber nachdenken, was wir dann

mit dem Begriff eindeutige Handlungs-
Vorschrift meinen. Viele Menschen

bezeichnen damit Algorithmen, was sie
damit nicht bezeichnen wollen, dass wir

alles, was algorithmische System uns
vorschlagen, auch als Handlungs-Vorschrift

zu behandeln haben. Das ist nicht, wie wir
das gemeint haben, sondern wir müssen mit

diesem System immer reflektiert und
kritisierend umgehen. Ob jetzt Deep

Learning überhaupt noch auf diesen Begriff
passt, auf diese eindeutige Handlungs-

Vorschrift ist schon wieder extrem
fragwürdig. Denn wir reden hier von sehr

stark statistisch geprägten Systemen, wo
sehr viel Zufall mitspielt. Man könnte

sie, wie es in diesem Thread geschehen
ist, vielleicht eher als

maschinelles Bauchgefühl bezeichnen,
als eindeutige Handlungs-Vorschrift.

Benjamin: Das heißt, was wir hier
eigentlich erleben, ist eine wahnsinnige

Generalisierung nur. Wir nehmen
Datenpunkte aus der Vergangenheit, die wir

schon kennen. Wir wenden sie an, wir
trainieren darauf und danach versuchen wir

einfach und hoffen, dass, wenn wir diese
Sachen, die wir, die wir haben, wenn wir

nur weit genug generalisieren, wenn wir
irgendwo versuchen auf Teufel komm raus

und das System muss immer was liefern.
Normalerweise liefern die Systeme immer

einfach ein Ergebnis, egal, ob sie einen
guten Grund dafür sehen oder nicht. Sie

versuchen einfach, ein Muster zu finden
und dann liefern sie ein Ergebnis. Und das

bedeutet, dass das, was immer landläufig
als die KI sagt etwas vorher oder denkt

sich etwas aus oder was weiß ich, im
Prinzip nur ein auswendig lernen und

generalisieren und das Ergebnis irgendwie
wieder raushauen ist.

Nadja: Bei gelernten Systemen reden wir
oft von Prediction oder Vorhersage. Was

wir aber eigentlich getan haben, ist nicht
über die Zukunft nachzudenken, sondern

ausschließlich über die Vergangenheit. Und
dann ist es die interessante Frage, ob

wirklich Dinge vorhersagen oder eigentlich
nur reproduzieren.

Benjamin: Das Problem ist aber auch, dass
die Menschen den Computern vertrauen. Das

trifft vermutlich jetzt nicht auf alle
Leute hier im Raum zu. Das ist sehr

angenehm, aber in der Gesellschaft ist das
enorm verbreitet inzwischen. KI ist

irgendwas Tolles, KI ist super, KI wird
uns retten. KI kann das, was wir nicht

können. Beispiele: Wir haben diese große
Forschungsinitiative, überall muss KI

gemacht werden. Wenn ich KI in meine
Anträge schreibe, kriege ich Geld. Wenn

ich auf meine Hautcreme draufschreiben,
dass sie mit KI optimiert wurde, kann ich

sie besser verkaufen. Und wenn ich will,
dass mein System und ich als Firma gut

dastehe, dann kann es sich sogar lohnen,
was geschieht, was Google aber auch viele

andere machen, kann es sich lohnen, Leute
einzustellen, die so tun, als wären sie

Computer, zum Beispiel, die irgendwo
anrufen, weil der Computer dazu noch nicht

in der Lage ist und dann die Restaurant
Reservierung oder was weiß ich

durchführen, nur damit man dann am Ende
rausschreiben kann, dass die eigenen KI-

Systeme ja so wahnsinnig toll sind. Und
weil es ja kein Mensch ist, sondern der

Computer, der ja bestimmt viel weiser sein
muss, kann man dadurch sich Vorteile

verschaffen.
Nadja: Ein ganz besonders beunruhigendes

Beispiel haben wir uns außerdem noch
mitgebracht.

Musik
Dialog der Maschine und dem Mann auf japanisch

Um die Frage direkt vorwegzunehmen, ja,
das gibt es wirklich. Und ich hoffe

ehrlich gesagt, ich muss gar nicht
erklären, warum das so unglaublich

kritisch ist. Aber ich frag einfach mal,
was passiert mit uns Menschen so rein

soziologisch, so rein psychologisch, wenn
wir mit Maschinen interagieren, als wären

sie Menschen, als hätten sie Gefühle, wenn
sie Muster imitieren, wie sie in der

Beziehung und zwischenmenschlicher
Kommunikation stattfinden. Was passiert da

mit uns? Worauf lassen wir uns ein? Wie
viel Bios, den wir nicht haben sollten,

akzeptieren wir? Um noch zu einem ganz
anderen Thema zu kommen. Ich hoffe, das

müssen wir hier nur kurz anschneiden, denn
ich habe keine Antwort auf die Frage, die

ich gerade gestellt habe. Daten. Ich
glaube, das ist ein Rahmen, in dem ich

wenig erklären muss, warum
Datensparsamkeit wichtig ist. Wir haben

aber mit Deep Learning ein fundamentales
Problem. Wir brauchen nämlich extrem viele

Daten. Und das beißt sich ganz, ganz stark
mit unseren gesellschaftlichen Interessen.

Das ist aber ein Thema, über das könnte
man mindestens einen eigenen Talk halten.

Außerdem Beispiele wie das: Wie viele
werden es auch schon gesehen haben, eine

KI, die sich gefühlte 15 Minuten im Netz
bewegt hat. Und plötzlich überaus

rassistisch und anderweitig inakzeptable
Äußerungen gebracht hat, weil sie nun mal

aus dem Internet gelernt hat. Und die
interessante Frage stellt sich an der

Stelle ganz krass, sollten wir wirklich
versuchen, mit maschinellen Systemen

Menschen nachzubilden? Oder ist das
vielleicht eine sehr schlechte Idee?

Benjamin: Ein weiterer Punkt, den wir uns,
dem wir uns stellen müssen, der für uns

alle relevant ist, denn wir arbeiten in
irgendeiner Form an Systemen, die

irgendwie was in der Welt bewegen sollen.
Wer ist für all das verantwortlich? Ganz

typisches Beispiel haben wir bei den
autonomen Fahrzeugen. Da wird es schon x

mal diskutiert, wer ist dafür
verantwortlich, wenn ein Unfall passiert?

Aber bei jedem weiteren System gilt das
auch. Es gibt so viele Stellen, die daran

beteiligt sind. Wir haben die Person, die
das Ganze programmieren. Die Personen, die

es in Auftrag gegeben haben. Die Firma,
die das Ganze kauft, vermarktet.

Vielleicht öffentliche Stellen, die
entsprechende Regularien dafür

veröffentlichen. Wir haben
Versicherungskonzerne. Wir haben

Privatpersonen, die ein autonomes Fahrzeug
oder irgendein anderes intelligentes

System besitzen. Wer ist schuld? Wer kann
belangt werden, wenn irgendetwas passiert?

Und welche Auswirkungen hat das? Denn, je
nachdem, wer dafür belangt werden kann,

ergeben sich völlig unterschiedliche
Entscheidungen von den beteiligten

Personen, wogegen sie ihre Systeme
absichern, wie sie ihre Systeme designen.

Und diesen Punkt, dazu gibt es keine
befriedigende Antwort. Eine Umfrage unter

den Amerikaner sagt, dass sie, die
Mehrheit das inakzeptabel findet, dass ein

Computersystem oder algorithmische Systeme
genutzt werden, um in bestimmten

Bereichen, zum Beispiel bei der
Einschätzung von Strafmaßen oder für den

Bewerbungsprozess von Menschen, dass der
Computer wesentliche Entscheidungen dafür

trifft. Blöd nur, all das wird heutzutage
schon gemacht, und zwar eben mit immer

stärker werdenden Ausmaß.
Nadja: Und als Drittes kommen wir jetzt zu

einem Punkt, der oft vernachlässigt wird,
wenn es um Deep Learning geht. Ja, das

werden die alle, die wir heute gesagt
haben, aber der ganz besonders. Und wir

glauben, dass der trotzdem relevant ist.
Nämlich gerade zu Zeiten, wo das Thema

Klimawandel wieder mehr in den Medien
kommt, wo sowohl die Gegner als auch die

Befürworter von irgendwelchen Maßnahmen
stärker werden, ist das ein Thema über das

wir auch nachdenken müssen, auch
wenn es auf den ersten Blick

nichts mit unserer Arbeit zu tun hat.
Benjamin: Wir haben natürlich, bekannt ist

es im Bereich, z. B. von den
Cryptocurrencies, dass die enormen

Stromverbrauch haben, zum Beispiel ein
Bitcoin Transaktion verbraucht ungefähr so

viel Strom wie 500.000 Visa Transaktionen,
eine einzige! Und das entspricht ungefähr

dem Stromverbrauch eines Kühlschranks für
8 Jahre für eine Transaktion. Aber

Bitcoins ist nicht der einzige Bereich, wo
wir Probleme kriegen, in der Hinsicht. Wir

haben auch das generell in allen Formen,
wo wir große Daten haben. Deep Learning

braucht große Datenmengen, Datenmengen
müssen wir speichern, verarbeiten,

transportieren und dafür haben wir
weltweit inzwischen eine relativ groß

steigende Anzahl an Rechenzentren, die
zwischen 200 und 500 Milliarden

Kilowattstunden pro Jahr gerade
verbrauchen. Ganz genau kann man das

natürlich nicht sagen, weil die Firmen
auch diese Daten als Geheimnis betrachten.

Wenn man alle Rechenzentren zusammen als
Land betrachten würde, hätten wir fünf

Länder auf der Erde, die mehr Strom
verbrauchen, dann kommen die

Rechenzentren, dann kommen alle anderen
Länder, und auch das wird weiterhin

steigen. Wir haben, wenn man jetzt noch
kleiner guckt auf das, was wir jetzt

beschrieben haben, den Trainingsprozess
von einzelnen Modellen, auch da schon

einen erschreckend hohen Stromverbrauch,
der auch dort leider nicht linear, sondern

sondern deutlich darüber ansteigt. Wenn
wir also ein einzelnes, einzelne Modelle

trainieren wollen, sehen wir, dass die
großen State of the Art Systeme, die dann

natürlich von Firmen wie Google und
Facebook AI und anderen

Forschungsinstitute, Einrichtungen von
großen, großen Firmen vorgeschlagen

werden, dass dort Strom verbraucht wird
für hunderttausende teilweise Millionen an

Euro. Dass dort auch inzwischen natürlich
zusätzlich noch GPUs, CPUs eingesetzt

werden, die schwer zu bekommen sind, die
teuer anzuschaffen sind, sodass wir

natürlich auch sowohl durch den
Stromverbrauch als auch durch die

Infrastruktur. Erstens haben wir diesen
Umwelteffekt. Zweitens, wenn wir den

Effekt, dass immer weniger Firmen, immer
weniger große Einrichtungen in der Lage

sind, Deep Learning auf dem State of the
Art durchzuführen. Der Rest wird

abgehängt. Das heißt auch da
gesellschaftliche Auswirkungen ---

problematisch, Umweltauswirkungen ---
problematisch und leider ein Trend, der

offensichtlich genau in die falsche
Richtung geht. Wenn man sich das nochmal

hier anguckt, was das auch für den
CO2-Ausstoß bedeutet, sehen wir, dass das

Training von einem einzigen Modell, wie es
dann veröffentlicht wird am Ende, von so

einem großen Modell ungefähr so viel CO2
ausstößt wie fünf Autos in ihrer ganzen

Lebensdauer, inklusive Produktion und
inklusive sämtlichen Sprit, der dann darin

verbrannt wird. Und solche Forschung
findet ständig weiterhin statt, weil man

ja weiter publizieren will, wie wir am
Anfang schon erzählt haben. Das heißt,

dauerhaft werden solche Modelle gerade auf
der Welt trainiert, um dann irgendwo in

irgendeinem kleinen Teilbereich eine neue
Publikationen machen zu können.

Nadja: Jetzt komme ich und bringe die
Frohbotschaft. Nein, es ist nicht alles

ganz so schlimm, wie es jetzt gerade
scheint, wenn wir die Nachteile auflisten.

Tatsächlich kann der ganze Bereich des
maschinellen Lernen auch Vorteile mit sich

bringen und hier in diesem Beispiel sogar
auch tatsächlich das Deep Learning. Es

geht darum, dass Google über Jahre hinweg
versucht hatte, mithilfe von maschinellen

Lernen die Betriebe ihrer Datenzentren zu
optimieren. Da eine Einsparung im

Stromverbrauch zu erreichen. Wir reden
hier von Reinforsment Learning für die,

denen es was sagt. Was die Kühlungsteuerung,
die Abschaltung von Servernet et cetera

beeinflussen konnte und damit der
Stromverbrauch um bis zu 40 Prozent

gesenkt hat. Das ist auf jeden Fall eine
gute Nachricht. Natürlich ist auch mir die

Ironie klar, dass wir hier den
Stromverbrauch von Datenzentren sprechen,

ohne das Feld auch gar nicht so sehr nötig
wären. Trotzdem Man kann diese

Wissenschaft, man kann diesen Bereich auch
durchaus für gute Sachen nutzen, die uns

allen was helfen kann. Das lässt sich
natürlich nicht auf alle großen Strom und

CO2 Produzenten übertragen, die wir in
unserer Industrie so haben. In der

Autoindustrie wird das schon sehr viel
schwieriger, wenn wir von Montagerozessen

reden, von Produktionsprozessen reden. Da
kann man nicht einfach wild durch die

Gegend tauschen, welcher Task denn
ausgeführt wird. Wenn die Server

vielleicht nicht ausgelastet sind oder sie
nicht direkt ausführen, damit der Server

noch mal abgeschaltet bleiben kann. Aber
ist das was, womit wir uns auf jeden Fall

beschäftigen sollten. Mit Strom und CO2
ist das Lied um die Umweltauswirkungen

noch nicht zu Ende. Es geht auch darum,
wie wir unsere Infrastruktur belasten, wie

wir Straßen, Städte, Gebäude und so weiter
beanspruchen für den Bau, für den Betrieb,

für den Transport. Für die Vernetzung von
den ganzen Systemen, die wir für diesen

Forschungszweig brauchen. Es geht darum,
was wir für Platz beanspruchen mit

Forschungszentren, mit Datenzentren, mit
Supercomputern und GPU Produktion. Es geht

darum, wie viel Arbeitskraft und wie viel
Zeitaufwand gebunden ist. Nur um ein neues

Netz zu forschen. Es geht darum, wie viel
Forschungsgelder darin investiert werden,

mit denen man noch andere Dinge tun
könnte. Es geht um endliche Ressourcen

unserer Erde wie Metalle wie die
sogenannten Seltenen Erden oder wie Erdöl,

die dafür gebraucht werden. Und es gibt
noch so viel mehr. Das war nur ein ganz

kleiner Einblick in das Thema, und es ist
ganz wichtig: Es geht nicht nur um den

Stromverbrauch. Die Awareness an der
Stelle ist noch viel zu niedrig, um

darüber quantitativ Aussagen treffen zu
können. Aber es ist auf jeden Fall ein

Faktor. So viel wissen wir. Wir kommen
damit auch schon zur Frage: Wie kann es

eigentlich weitergehen?
Benjamin: Wichtig ist, dass wir alle uns

bewusst sind, dass wir die Verantwortung
tragen, wie es in dem Bereich weitergeht.

Denn sowohl die Leute, die in diesem Land
arbeiten, aber auch in allen Bereichen,

die damit verbunden sind. Wir forschen.
Wir bauen Systeme. Wir sorgen dafür, dass

solche Systeme weiter entstehen, dass sie
wichtiger werden, dass sie, obwohl wir

wissen, dass zum Beispiel das alles der
Generalisierung, aus Vereinfachungen

besteht. Dass sie trotzdem für Dinge
eingesetzt werden. Wir sorgen dafür, dass

unsere Sensorik, die wir in Autos
verbauen, irgendwelche 25 Gigabyte pro

Stunde an Daten produzieren, die man dann
wieder auswerten, um daraus etwas machen

kann. Wir sorgen dafür, dass Systeme
optimiert werden. Wir sorgen dafür, dass

das gebaut werden für die Industrie, damit
das komische Hautpflegeprodukten

plötzlich KI optimiert ist. Das kann
man natürlich alles einfach so machen,

weil man in dem Bereich gut Geld verdienen
kann. Ist aber vermutlich keine gute Idee,

sondern man sollte sich wirklich
überlegen: Was sind die Konsequenzen von

dem Ganzen, und was müssten wir eigentlich
alle ändern, um dieses ganze Feld

weiterzutreiben? Denn, das ist das Schöne,
zumindest im Forschungssektor. Es ist

alles von der Community angetrieben. Es
ist immer eine Entscheidung von allen

Forscher in den ganzen Bereichen, ob sie
genauso weitermachen oder ob sie ihre

Arten schieben, ob sie anders agieren, ob
sie mehr und mehr auf solche Dinge achten

oder eben nicht.
Nadja: Grundsätzlich um weiterzumachen,

gerade um die gesellschaftlichen
Auswirkungen des Themas zu beeinflussen.

Was müssen wir anstreben? Wir müssen
Diskurs anstreben. Wir müssen mit der

gesamten Gesellschaft, mit einer riesigen
Breite an Menschen darüber reden. Was

wollen wir von diesen Systemen? Unter
welchen Umständen machen wir das System?

Was sind die Auflagen, die wir stellen,
was akzeptabel und was nicht? Das

funktioniert nicht, wenn diese
Entscheidungen getroffen werden von fünf

Leuten, die irgendwie ihre eigenen
Interessen vertreten müssen. Das ist ein

Diskurs, der auf jeden Fall in die
gesellschaftliche Breite gehen muss. Es

gibt einfach keine klare Antwort, und die
Antworten, die wir brauchen, die müssen

wir zusammen finden. Wir müssen aber auch
Bildung auf allen Ebenen vorantreiben.

Weil ich muss als Informatikerin auch die
ethischen Auswirkungen eines Handelns

bedenken. Ich muss auch dem Enduser sagen
können, was das bedeutet, wenn er etwas

einsetzt. Auch wenn er die technischen
Details nicht versteht, muss er in der

Lage sein einzuschätzen, ob der Einsatz an
der Stelle sinnvoll ist und gerade auch

die Menschen, die die Legislatur
vorantreiben. Diese Menschen sollte es auf

jeden Fall geben müssen, genug davon
verstehen und auch wirklich einschätzen

können, was sie da gerade erlauben oder
nicht erlauben, damit wir auch die

positiven Aspekte solcher Felder mitnehmen
können. Awareness ist ganz besonders

wichtig, damit wir diesen Diskurs führen
können. Damit wir diese Bildung

vorantreiben kann, müssen wir darüber
reden: Wie funktionieren unsere Daten?

Unter welchen Umständen verwenden wir sie?
Wo kommen die Modelle her? Wie

funktionieren Erklärbarkeit und
Reproduzierbarkeit? Aber auch wer trägt

die Verantwortung? Was sind die
Konsequenzen? Und wie führen wir diesen

Diskurs? Am Ende gilt: Wir müssen
umdenken, statt nur zu folgen. Es

funktioniert nicht, wenn wir einfach so
weitermachen wie bisher. Sondern wir

müssen in manchen Dingen einfach
grundlegend auch nochmal nachdenken. Viele

dieser Maßnahmen sind tatsächlich doppelt
hilfreich, begünstigen sich gegenseitig.

Wir stecken da nicht unbedingt in einem
Teufelskreis. Wenn wir systematisch

arbeiten, dann tun wir der
Reproduzierbarkeit gefallen. Aber auch

unseren Ressourcenverbrauch, weil wir viel
weniger nochmal machen müssen, wenn wir

die Alternativen zu Deep Learning auch
nutzen, tun wir der Erklärbarkeit

Gefallen, aber auch der Datensparsamkeit.
Wahrscheinlich, wenn wir den Publications

Druck senken und damit die Qualität in die
Höhe schreiben. Dann fördern wir den

wissenschaftlichen Anspruch, und wir
helfen unserem Ressourcenverbrauch. Aber

insgesamt ist unsere große Herausforderung
momentan in der Gesellschaft verbreitete

Unwissenheit, und das nicht richtig
reflektiert wird, was das für Auswirkungen

hat, was wir machen und in welchen Skalen
bewegen. Damit sagen wir fürs Erste auch

schon Danke, schön, dass Sie hier waren.
Wir haben uns wirklich gefreut gesagt. So

dürfen wir hoffen. Wir geben ein paar
Denkanstöße mit. Wir können dieses Thema

nur sehr, sehr oberflächlich einsteigen in
50 Minuten. Wir sind jetzt schon relativ

weit in der Zeit. Trotzdem haben wir noch
ein paar Minuten für Fragen, aber auch

über den Vortrag hinaus. Sind wir da froh,
wenn Leute sich informieren,

recherchieren, selbst kritisieren und
reflektieren oder auf uns zukommen.

Dankeschön.

Applaus

Herald: Okay, alles klar. Wir haben noch
ein paar Minuten Zeit für Fragen.

Damit wir auch möglichst viele und zügig
durchkommen. Bewegt euch doch bitte direkt

zu den Mikrofonen. Und wir fangen direkt
hier mit Mikrofon 4 and.

Mik 4: Ich versuche, mich kurz zu halten.
KI für Autos ist ziemlich faszinierend,

die unterscheidet zuverlässig zwischen
einem Baum und einem Verkehrsschild. Ich

bin immer wieder enttäuscht, wenn ich KI
sehe für Suchmaschinenoptimierung, was ich

da angeboten bekomme. Ich glaube, das
Problem ist die Datengrundlage. Ein Baum,

da gibts keine Diskussion. Das ist ein
Baum. Was ist die schönste Website ist

oder das nächstbeste Video? Das ist eine
Geschmacksfrage. Worauf ich hinaus möchte:

wäre es nicht sinnvoll oder dringend
notwendig, darüber nachzudenken, wie die

Trainingsdaten qualifiziert sind, ob man
die qualitativ einsortieren sollte?

Nadja: Ich stimme soweit absolut zu,
Trainingstagendiskussion steht an. Müssen

wir führen? Qualität ist extrem wichtig.
Das Problem geht aber noch darüber hinaus.

Zum einen die Frage mit dem Auto und dem
Fußgänger, wie uns der Überkräsch 2018

gezeigt hat, gar nicht so trivial.
Festgestellt haben die Annahme, dass

Fußgänger nur auf dem Fußgängerüberweg zu
finden ist, das vielleicht gar nicht so

realistisch. Trivial ist es also nicht.
Natürlich sind Suchmaschinen auch eine

subjektive Entscheidung. Weil was ich
suche, weiß am Ende nur ich. Jemand mit

der gleichen Suchanfrage sucht vielleicht
etwas anderes. Natürlich ist das Internet

einfach eine extrem riesige Datenbasis mit
sehr unsauberen Daten. Das heißt, dass es

eine völlig andere Herausforderung als
Bildklassifikation von autonomen

Fahrzeugen. Grundsätzlich Trainingstagen,
Diskussionen, aber auch über das Monopol

von solchen Unternehmen, wie Google.
Gerade was Suchmaschinen angeht, müssen

wir definitiv reden. Herald: Alles was,
dann machen wir direkt weiter mit einer

Frage vom Signal-Engel aus dem Internet.
Signal-Engel: Das Internet fragt: Sollen

wir das mit dem Deep Learning dann
eigentlich lieber lassen? Oder seht ihr

auch sinnvolle Anwendungen, zum Beispiel
um irgendeinen hohen Datenaufwand für

freigiebige Nutzer irgendwie zu reduzieren
zum Beispiel.

Benjamin: Es sein zu lassen, ist
sicherlich nicht der richtige Ansatz. Das

zeigt sich ja, dass Deep Learming für
bestimmte Dinge sehr wertvoll ist. Wir

haben jetzt Beispiele gezeigt, wo es gut
funktioniert, schlechter funktioniert.

Gerade bei komplexen Dingen haben wir
wenig Ansätze, die anders gut

funktionieren. Die Verarbeitung
menschlicher Sprache zum Beispiel hat

einen Riesenschritt nach vorne gemacht
durch die Deep Learning, weil menschliche

Sprache so unglaublich komplex ist, dass
ich mit allen bisherigen Ansatz, bei denen

ich Silben zähle und Buchstaben vergleiche
oder so etwas nicht so wirklich

weiterkomme. Da brauche ich ganz viel
Wissen rein. Das heißt, man muss, aber man

muss sich eben überlegen. Ist es für
diesen Zweck der richtige Ansatz? Also,

ich will das jetzt nicht pauschal
beantworten. Das muss man sich gründlich

überlegen. Das sollte sicher Message sein.
Nadja: Wir stellen im Prinzip nicht die

Frage: Sollten wir die Planung verwenden,
sondern Wofür sollten wir es verwenden?

Und was müssen wir vorher bedenken?
Herald: Ich versuche, es mit den Fragen

hier im Raum so halbwegs chronologisch zu
machen. Aber mit Mikro 1 weiter.

Mik 1: Eine Frage zur Reproduzierbarkeit.
Ich saß gerade in einem Lightening Talk,

Da hatte jemand genau das Problem, das
nicht reproduzieren konnte. Eine seiner

Hauptforderungen, um das zu beheben, war,
das alles, was man braucht, zum

Reproduzieren zur Verfügung gestellt wird
und dass das auch von Journals enforced

wird. Über Reviews oder über irgendwelche
andere Sachen. Sieht Ihr, dass es

irgendwelche Bestrebungen in diese
Richtung gibt. Oder es ist ein zu großer

Hype, als dass man da irgendwie eingreifen
könnte sinnvoll.

Benjamin: Es gibt, wie
gesagt,

diese Sigel bei vielen Konferenzen,
sicherlich auch bei Journals. Je nach Feld

in dem Bereich, hier wird gar nicht so
viel in Journals publiziert, weil man

Konferenzen leichter hinkriegt. Und alles
geht schneller, Journals dauert irgendwie

immer zu lang. Es wäre
wünschenswert, dass da mehr passiert.

Dafür müssen sich aber quasi
diese Ältestenrates, die sich

zusammensetzen und diese Konferenzen
planen, organisieren, dafür entscheiden,

dass für sie das auf der Liste auch so
weit oben ist, dass sie das erzwingen.

Bisher ist es alles optional.
Wünschenswert wäre es definitiv.

Nadja: Sicherlich reden wir doch in
irgendeiner Form über Regularien. Und

dabei müssen wir dann immer noch
unterscheiden zwischen öffentlich

geförderten Forschungseinrichtungen und
privater Forschung. Das ist nämlich sehr

unterschiedliche Herausforderungen.
Herald: Okay, dann gehen wir gerade mal

kurz zum Mikro Nr. 7 da ganz am Rand.
Mik 7: Hallo, danke für den Vortrag.

Haltet ihr AGI für möglich? Und wann
könnte es soweit sein?

Nadja: AGI Omnipotenz, Intelligenz oder
...

Mik 7: Artifical General Intelligence.
Nadja: Momentaner Forschungsstand "Hell

know". Das war eine relativ
unprofessionelle Antwort. Aber momentan

haben wir hauptsächlich sehr
spezialisierte Expertensysteme, die genau

ein detailreichen Task machen kann. Selbst
bei Sprachassistenzsystemen, die irgendwie

ein Paar Tasks, die noch immer eine sehr
eingeschränkte Menge machen, haben in

aktuellen Forschungsstand zwar große
Fortschritte, aber man kann sie ja sehr

einfach die Schwächen ausnutzen. Es gibt
eine total spannende Professorin in USA,

die sagt, gibt mir irgendeinen
Sprachverarbeitungsystem, in drei Fragen

mache ich spätestens kaputt, und sie hat
es bisher immer geschafft. Wir haben

momentan mit dem aktuellen Stand der
Technik ziemlich krasse Limitationen in

den nächsten Jahren. Ich persönlich nicht
kommen. Grundsätzlich ist die künstliche

Intelligenz aber auf allen Ebenen etwas,
das sie im Auge behalten sollen. Also ich

würde auch wiederum nicht behaupten, dass
davon keinerlei Gefahr ausgeht.

Benjamin: Es ist aber
auch nicht der

zentrale Punkt zur Zeit.
Das meiste, was, woran die Leute

forschen, sind spezialisierte Systeme und
vielleicht noch zusätzliche Systeme, die

vorne dran gestellt werden, die dann
entscheiden, an welches Teilsystem das

Ganze weitergereicht wird. Aber daran zu
forschen, ein weltverstehendes System, was

irgendwie auch noch beliebige Formate von
Antworten geben kann, so sowas zu bauen,

das gibt es sicherlich die Forschung. Aber
es ist nicht das, was irgendwie auch in

den Publikationen Platz findet, weil man
dort überhaupt nicht soweit wäre und das

andere einfach viel einfacher ist und man
da vielleicht was veröffentlichen kann.

Wen das Fachliche interessiert, wäre das ein
schönes Einstiegspunt in das ein semantische

Modellierung. Weil wir bei vielen
Künstliche Intelligenzen darüber sprechen,

ist das Allgemeinwissen,
Hintergrundwissen, diese ganzen Sachen

fehlen und die Darstellung dafür auch. Das
ist eine der großen Herausforderungen,

so als Stichwort.
Herald: Okay. Nehmen wir doch eine Frage

aus dem Internet.
Signal-Engel: Ich sage erst mal Liebe

Grüße aus D. 120, das wisst ihr jetzt
besser als ich. Nadja lacht Die Frage

ist Ist die Reproduzierbarkeit nur oder
gerade im Deep Learning ein Problem, oder

betrifft das nicht sogar große Teile der
machienelearning Forschung?

Nadja: Definitiv große Teile
der machiene learning

Forschung. Ehrlich gesagt auch
darüber hinaus.

Reproduzierbarkeit ist bei
fast allen wissenschaftlichen

Publikationen ein Faktor, es gibt nur die
Sachen, die dafür anfälliger und weniger

anfällig sind. Gerade wenn man über
digitale Themen reden. Aber an sich

Reproduzierbarkeit ist immer in der
Forschung gewünscht und leider nicht weit

genug verbreitet. Also defintiv die
gesamte Informatik generell.

Benjamin: Generell vieles, was wir hier
gesagt haben, trifft auf machiene learning

im Allgemeinen zu. Aber das Deep Learning,
gerade durch diese riesigen Datenmengen

und so weiter. Da treten die Effekte
verstärken besonders auf. Deswegen haben

wir uns hier darauf konzentriert. Aber man
kann es auch beliebig...

Nadja: Und gerade weil es ein Passwort
ist, macht es auch nochmal

anfälliger dafür .
Herald: Ok, dann Mikrophon Nr. 8.

Mik 8: Daran anschließend. Ich hab
irgendwie das Gefühl, dass es ein großer

Teil auch Publicationsbios ist, wo so
lange gespielt wird an den Daten, bis

irgendwie ein Ergebnis raus kommt. Und ich
hab, es ist so einen Trend in der Psychologie, wo

die das Problem ganz massiv hatten. Und
die haben das dadurch gelöst, dass die

sagen, Hey, ich muss die Studien bei
manchen Journals vorregistrieren, so: Dass

sind meine. Das möchte ich machen. Und
dann kommt am Ende vielleicht ein

negativer Ergebnis raus. Gibt es da
Bemühungen, machiene learning, sodass man

sagt: Ich publiziere den Korpus vorher,
den ich auf dem ich lernen will, und wenn

dann nichts funktioniert, dann ist das
halt so.

Nadja: Ich würde
sagen, es ist relativ schwer

zu beantworten für den Bereich,
weil es vielleicht nicht ganz so

funktioniert. Ein Datenkorpus zu
publizieren an sich. Es gibt zum Daten

Konferenzen, die sich einfach auf sowas
konzentrieren. Aber auf einem Korpus kann

ich sehr viele Dinge tun, und dadurch
hilft mir das noch nicht unbedingt. Ich

glaube, dass da die Fragestellung einfach
komplexer ist. Ich kenne keine konkreten

Bemühungen, die jetzt in eine Richtung
gehen. Ich fände es wünschenswert...

Benjamin: Es wäre definitiv wünschenswert.
Aber es wird in der Form kaum gemacht. Es

sind eben keine. Ich bin bisher fast
nirgendwo. Oder bei den großen

Konferenzen bin ich niemals gezwungen,
vorher zu sagen, was ich glaube, wie es

ausgeht, sondern ich liefere erst wenn ich
mein Ergebnis vorstelle, sage ich, was da

rauskommt und welche Fehlschläge ich hatte
und ob ich überhaupt verklausuliert ins

Paper reinschreiben oder ob es komplett
sein lasse. Da zwingt mich niemand zu.

Nadja: Es gibt ein paar Bestrebungen, die
Publikation von Fehlschlägen oder

Messergebnissen zu machen. Aber auch das
wird immer noch von so vielen Leuten

belächelt, so als Unterhaltungsmedium mehr
als ernst zu nehmende Wissenschaft. Das

glaube ich auch ein Problem, weil
dadurch die gleichen

Fehler z.B. im machiene learning,
gerade wo wir nicht

systematisch arbeiten,
sondern auch ein bisschen nach

Bauchgefühl gehen müssen, wiederholt
werden, was eigentlich unmöglich ist.

Dieser typische Satz, das weiß man doch,
dass der Ansatz da nicht funktioniert.

Woher soll man das wissen, wenn
man noch studiert?

Herald: Okay, wir haben noch Zeit für eine
kurze Frage und gehen zum Mikrofon 5.

Mik 5: Ich will ein paar Details zu dieser
Beschreibung von Black Box Wissen. Ich

weiß, dass man durch featuremaps das
Netzwerk untersuchen kann, und wollte

wissen, was hier eine Blackbox, weil es
ist nicht so Black entscheidend.

Nadja: Es kommt drauf an wie die Systeme
gebaut sind. Es gibt zum Beispiel einen

Ansatz von Explainable Neural Netz (ExNN),
durchaus Valides Konzepts, und es wird

auch eingesetzt. Es gibt aber auch
Architekturen, die per se erst einmal

völlig unlesbar sind, und die Ansätze, die
darauf existierende Erklärbarkeit

reinzubringen, sind noch sehr beschränkt.
Es gibt sie. Sie tun auch sinnvolle Dinge

im Bereich, aber zum Beispiel beschränken
sie sich oft nur auf den Bereich des

eigentlichen Modells, was trainiert wurde.
Die Pipeline der Maschinenlearning ist aber

viel länger. Die beginnt ja schon bei der
Datenerhebung, bei der Auswahl, bei der

Verarbeitung. Bei der Auswahl der
Features, aber auch beim PostProcessing,

bei Evaluationsmetriken und so weiter.
Das sind alles irgendwo Stellschrauben für

Erklärbarkeit. Wir haben da auf jeden Fall
noch einen weiten Weg vor uns. Aber klar,

es gibt Bestrebungen in die Richtung, die
auch durchaus funktionieren

für das, wofür Sie gedacht sind.
Herald: Okay, dann sind wir am Ende der

Zeit angekommen. Vielen Dank nochmal Nadja
und Benjamin.

Applaus

36c3 Abspannmusik

Untertitel erstellt von c3subtitles.de
im Jahr 2020. Mach mit und hilf uns!