0:00:00.000,0:00:18.660
<i>36C3 Vorspannmusik</i>

0:00:18.660,0:00:25.180
Herald: Ich freue mich ganz besonders,[br]jetzt den nächsten Vortrag ankündigen zu

0:00:25.180,0:00:29.720
können, der zwei Themen vereint, die ich[br]beide interessant finde. Zwar geht es zum

0:00:29.720,0:00:33.822
einen um Machine Learning, im Speziellen[br]Deep Learning, aber auch gleichzeitig um

0:00:33.822,0:00:40.280
Nachhaltigkeit. Wie das Ganze verbunden[br]werden kann und ob vielleicht der Deep

0:00:40.280,0:00:44.591
Learning Hype irgendwie doch zu groß ist,[br]erklären uns Nadja Geisler und Benjamin

0:00:44.591,0:00:48.910
Hättasch, die an der TU Darmstadt arbeiten[br]und forschen oder irgendwo zwischendrin

0:00:48.910,0:00:55.290
sind. Und deswegen will ich jetzt gar[br]nicht weiter groß reden und freue mich auf

0:00:55.290,0:00:57.739
den Talk. Herzlich willkommen, Nadja und[br]Benjamin!

0:00:57.739,0:01:04.189
<i>Applaus</i>

0:01:04.189,0:01:07.120
Nadja Geisler: Herzlichen Dank! Hallo[br]erstmal und schön, dass wir hier sein

0:01:07.120,0:01:10.740
können, schön das ihr alle hier seid. Wir[br]freuen uns wirklich wahnsinnig. Es ist für

0:01:10.740,0:01:13.770
uns beide auch der erste Kongress, und das[br]ist etwas ganz Besonderes dann auch gleich

0:01:13.770,0:01:18.100
hier oben zu stehen. Ich bin Nadja und wie[br]er schon gesagt hat, bin ich mit dem

0:01:18.100,0:01:20.300
Master-Studium an der TU Darmstadt fertig[br]und werde wahrscheinlich demnächst dort

0:01:20.300,0:01:25.010
anfangen zu promovieren.[br]Benjamin Hättasch: Ich mache das schon

0:01:25.010,0:01:29.320
seit zwei Jahren und habe festgestellt:[br]Ich will mich nicht nur damit

0:01:29.320,0:01:32.810
beschäftigen, irgendwie toll Deep Learning[br]anzuwenden, sondern ein bisschen drüber

0:01:32.810,0:01:36.229
nachzudenken, was das alles so bedeutet.[br]Und weil wir da einiges herausgefunden

0:01:36.229,0:01:38.920
haben, sind wir heute hier, um euch das[br]auch zu erzählen.

0:01:38.920,0:01:42.970
Nadja: Unser Talk ist so zustande[br]gekommen, dass wir das 36C3 Motto gesehen

0:01:42.970,0:01:47.590
haben und uns dachten: Nachhaltigkeit[br]vereint doch eigentlich mehrere Aspekte,

0:01:47.590,0:01:50.240
die wir schon immer spannend fanden, was[br]das Thema Deep Learning und maschinelles

0:01:50.240,0:01:53.960
Lernen angeht. Aspekte, die sich unter dem[br]Stichwort zusammenfassen lassen, obwohl

0:01:53.960,0:01:56.829
sie an sich sehr unterschiedlich sind und[br]mit dem wir uns in verschiedene Art schon

0:01:56.829,0:02:00.539
beschäftigt hatten. Zu den Aspekten wollen[br]wir euch heute was erzählen, weil gerade

0:02:00.539,0:02:04.299
das Thema Nachhaltigkeit momentan[br]besonders aktuell, besonders wichtig und

0:02:04.299,0:02:09.520
besonders relevant für unsere Zukunft ist.[br]Bevor wir aber auf die drei verschiedenen

0:02:09.520,0:02:12.370
Ebenen von Nachhaltigkeit, über die wir[br]reden wollen, eingehen, das ist die

0:02:12.370,0:02:15.550
wissenschaftliche Ebene, die[br]gesellschaftliche Ebene und die Umwelt-

0:02:15.550,0:02:19.790
Ebene, müssen wir zuerst klären: Wovon[br]reden wir, wenn wir Deep Learning sagen?

0:02:19.790,0:02:23.770
Was sind die absoluten Basics für das, was[br]wir die nächsten 30, 45 Minuten reden

0:02:23.770,0:02:28.370
werden? Was müsst ihr wissen, damit wir[br]euch gut mitnehmen können? Und das wollen

0:02:28.370,0:02:31.190
wir jetzt machen. Das beinhaltet unter[br]anderem: was meinen Sie damit, wenn wir

0:02:31.190,0:02:34.430
Deep Learning sagen? Wie funktioniert das[br]auf einer intuitiven Ebene, nicht so sehr

0:02:34.430,0:02:38.360
auf einer detailreichen technischen Ebene?[br]Und wozu wird das aktuell jetzt schon

0:02:38.360,0:02:44.920
angewendet? Und wenn Deep Learning sagen,[br]dann vor allem dieses Konstrukt, was sich

0:02:44.920,0:02:50.290
dann neuronales Netz nennt, Artificial[br]Neural Network auf Englisch. Das sind so

0:02:50.290,0:02:53.500
Machine Learning Konstrukte, die es schon[br]sehr lange gibt, die dann zwischendurch

0:02:53.500,0:02:56.360
mal eine starke Flaute in der Beliebtheit[br]haben, weil sie eben doch nicht die

0:02:56.360,0:03:00.070
Ergebnisse gebracht haben, die man sich[br]erhofft hatte. Inzwischen sind sie wieder

0:03:00.070,0:03:04.670
extrem beliebt, um alle möglichen[br]Probleme, Aufgaben im maschinellen Lernen

0:03:04.670,0:03:09.790
anzugehen. Dabei bezeichnet ein neuronales[br]Netz im Wesentlichen eine Verknüpfung von

0:03:09.790,0:03:13.510
Knoten. Diese Knoten können je nach[br]Architektur verschieden miteinander

0:03:13.510,0:03:16.210
vernetzt und durch verschiedene[br]mathematische Funktionen verbunden sein.

0:03:16.210,0:03:20.730
Jeder Knoten wiederum repräsentiert[br]eigentlich nur eine nichtlineare

0:03:20.730,0:03:25.500
Berechnungsfunktion. So weit, so logisch.[br]Wir berechnen also sehr, sehr viel. Und

0:03:25.500,0:03:28.820
wenn diese Gewichte zwischen den[br]Berechnungen erst einmal fertig bestimmt

0:03:28.820,0:03:32.340
sind, sprich wenn das neuronale Netz[br]trainiert ist, dann lässt sich für jede

0:03:32.340,0:03:37.030
numerische Eingabe, die man im Netz gibt,[br]auch eine entsprechende Ausgabe bestimmen.

0:03:37.030,0:03:40.640
Diese Ausgabe macht dann Aussagen über[br]irgendwelche Größen, über irgendwelche

0:03:40.640,0:03:44.330
Klassifizierungen oder irgendwelche[br]Zuordnungen. Die wichtigste Voraussetzung

0:03:44.330,0:03:47.860
für viele, wenn auch nicht alle Arten von[br]neuronalen Netzen, sind entsprechende

0:03:47.860,0:03:51.660
Trainingsdaten und die auch noch in großer[br]Menge. Ob diese Trainingsdaten gelabelt

0:03:51.660,0:03:55.280
sein müssen, also so etwas wie schon eine[br]Bezeichnung der eigentlichen Zielgröße

0:03:55.280,0:03:59.310
haben müssen vorher oder nicht, das kann[br]unterschiedlich sein, ist aber an der

0:03:59.310,0:04:02.310
Stelle auch gar nicht so relevant. Was wir[br]brauchen, sind wahrscheinlich sehr, sehr

0:04:02.310,0:04:05.880
viele Daten, wenn wir mit neuronalen[br]Netzwerken arbeiten wollen. Anhand dieser

0:04:05.880,0:04:09.970
Daten, die möglichst vielfältig, möglichst[br]repräsentativ sein sollten für die spätere

0:04:09.970,0:04:14.560
Wirklichkeit oder das, was wir dann damit[br]bearbeiten und einfangen wollen, daran

0:04:14.560,0:04:19.230
wird das Modell gelernt. Um das Modell[br]später einzusetzen, das sieht man hier

0:04:19.230,0:04:22.449
ganz gut, wenn man einmal von links nach[br]rechts schaut, braucht man zunächst

0:04:22.449,0:04:25.430
Inputdaten. Die müssen in einem[br]numerischen Format sein. Wie man da

0:04:25.430,0:04:27.840
hinkommt? Das sind sehr viele verschiedene[br]Methoden, aber an dieser Stelle auch gar

0:04:27.840,0:04:31.410
nicht so weit relevant. Diese Inputdaten[br]gehen dann zu diesen Knoten, zu den

0:04:31.410,0:04:35.570
Neuronen, und jedes Neuron repräsentiert[br]irgendwo an bestimmte eine bestimmte

0:04:35.570,0:04:39.320
Eigenschaft, ein bestimmtes Feature. Bei[br]einer Bilderkennung könnte das eine Kante

0:04:39.320,0:04:42.160
sein oder eine Ecke oder ein[br]Helligkeitsunterschied, ganz verschiedene

0:04:42.160,0:04:46.710
Dinge. Je weiter wir in das neuronalen[br]Netz reingehen, je tiefer die Ebenen

0:04:46.710,0:04:49.860
werden, desto höher-levelig sind die[br]Eigenschaften, die wir repräsentieren. Das

0:04:49.860,0:04:52.850
Problem bei der ganzen Sache ist[br]normalerweise, dass wir gar nicht so genau

0:04:52.850,0:04:56.850
wissen, was dieses Neuron repräsentiert.[br]Bei einem Algorithmus, der Bilder

0:04:56.850,0:05:00.330
klassifiziert, der zum Beispiel Hunde und[br]Wölfe voneinander entscheiden kann, können

0:05:00.330,0:05:03.310
wir uns nicht ein Neuron anschauen und[br]können sagen: Aha! Das da schaut, ob da

0:05:03.310,0:05:06.650
eine Kante ist, die einen Schwanz[br]repräsentieren könnte. Sondern es sind für

0:05:06.650,0:05:10.110
uns einfach irgendwelche Zahlenwerte, die[br]wir nicht weiter interpretieren können.

0:05:10.110,0:05:13.200
Das bedeutet, wir haben Black Box Modelle.[br]Wir verstehen also nicht im Detail,

0:05:13.200,0:05:15.830
welches Gewicht wofür steht, was wir[br]eigentlich gelernt haben. Und im

0:05:15.830,0:05:19.820
Endeffekt, wenn ein Input reingeht, warum[br]der Output rauskommt, der am Ende

0:05:19.820,0:05:27.030
tatsächlich herauskommt. Das bildet also[br]im Prinzip die Basis für alle Systeme, die

0:05:27.030,0:05:29.240
irgendwie als Teil von Deep Learning[br]bezeichnet werden.

0:05:29.240,0:05:35.650
Benjamin: Was wir da an der Stelle also[br]haben, ist: Wir nehmen Mathe, wir nehmen

0:05:35.650,0:05:43.010
große Mengen von Daten und wenden einfach[br]Tricks aus der Statistik an. Wir nutzen

0:05:43.010,0:05:47.240
aus, dass bestimmte Dinge, wenn man es nur[br]oft genug betrachtet, wenn man es nur oft

0:05:47.240,0:05:52.400
genug anwendet, durchführt, dann eine[br]gewisse Systematik ergeben, dass man

0:05:52.400,0:05:58.590
Muster erkennen kann. Wir generalisieren.[br]Wie man hier also sieht, werden einfach

0:05:58.590,0:06:06.880
Tricks übernommen, die es in der Statistik[br]schon seit vielen hundert Jahren gibt. Und

0:06:06.880,0:06:11.050
dafür angewandt, um jetzt irgendwie zu[br]versuchen, aus einem Haufen Daten, ohne

0:06:11.050,0:06:15.370
ihn wirklich zu verstehen, ohne genau zu[br]wissen, was da drinsteckt, einfach durch

0:06:15.370,0:06:21.053
schiere Masse, Muster zu erkennen und[br]dann hoffentlich zu wissen: Okay, wenn ich

0:06:21.053,0:06:25.610
jetzt weit genug generalisiert habe, wird[br]mein System schon irgendwie gut genug sein

0:06:25.610,0:06:34.940
für mein Anwendungszweck. Das hat aber,[br]obwohl der Name Deep Learning und

0:06:34.940,0:06:41.250
Künstliche Intelligenz, alles nicht so[br]wahnsinnig viel damit zu tun, was wir als

0:06:41.250,0:06:47.160
Intelligenz verstehen, was wir als Lernen[br]verstehen. Der Tweet hier fasst das ganz

0:06:47.160,0:06:52.690
gut zusammen. Er sagt, das menschliche[br]Hirn funktioniert ganz anders. Wenn das

0:06:52.690,0:06:55.990
menschliche Hirn so wie Deep Learning[br]funktionieren würde, dann müssten wir

0:06:55.990,0:07:01.160
einfach 200 mal ins Gesicht geschlagen[br]werden, bevor wir überhaupt raffen, dass

0:07:01.160,0:07:04.370
wir das nicht mögen. So ist das[br]tatsächlich wenn ich bei Deep Learning,

0:07:04.370,0:07:09.040
wenn ich ihm 50, 100, 200 Wölfe und Hunde[br]zeige, dann weiß das System noch gar

0:07:09.040,0:07:14.139
nichts, weil es nicht schnell genug[br]interpretieren kann, nicht genug Kontext-

0:07:14.139,0:07:17.870
Informationen einbeziehen kann, nicht[br]genug von all dem nutzen können, was das

0:07:17.870,0:07:22.690
menschliche Hirn, was wir können, wenn wir[br]irgendwas machen, um irgendwie

0:07:22.690,0:07:27.910
Entscheidungen zu treffen. Und das ist ein[br]großes Problem. Warum genau, werden wir

0:07:27.910,0:07:36.370
gleich nochmal im Detail besprechen. Sorgt[br]aber dafür, dass wir einfach nur auf Masse

0:07:36.370,0:07:39.699
gehen und dadurch einfach eine bestimmte[br]Genauigkeit so leicht nicht erreichen

0:07:39.699,0:07:43.410
können, wie wir sie gerne hätten.[br]Nadja: Die intuitive Ursprungsidee hinter

0:07:43.410,0:07:47.870
neuronalen Netzen war tatsächlich mal[br]sozusagen die Funktionalität des Gehirns

0:07:47.870,0:07:51.060
nachzubauen. Unsere Neuronen feuern auch,[br]sind miteinander vernetzt, können

0:07:51.060,0:07:55.570
irgendwelche Dinge auslösen. Das ist aber[br]heutzutage nicht mehr wie Neuronale Netze

0:07:55.570,0:07:58.639
funktionieren. Wir bilden damit nicht[br]wirklich die Funktion organischer Gehirne

0:07:58.639,0:08:01.919
nach, sondern und das war zwar die[br]Intuition dahinter, das funktioniert aber

0:08:01.919,0:08:08.030
tatsächlich sehr anders. Der für uns[br]interessante Teil ist aber inzwischen, wie

0:08:08.030,0:08:11.920
wird das Ganze eigentlich angewendet, wo[br]begegnet uns das im Alltag, nicht nur in

0:08:11.920,0:08:15.480
Forschungslabors, nicht nur in[br]akademischen Institutionen, sondern auch

0:08:15.480,0:08:18.970
tatsächlich in Systemen, die wir jeden Tag[br]benutzen, die inzwischen weit verbreitet

0:08:18.970,0:08:23.620
sind. Mit allen Nach- und Vorteilen, nach[br]der großen Flaute, von der wir es eben

0:08:23.620,0:08:28.470
schon kurz hatten, erlebt das Feld gerade[br]wieder ein riesiges Hoch, und sie sind in

0:08:28.470,0:08:31.610
so vielen Bereichen im Einsatz, dass einen[br]kurzen Überblick davon zu verschaffen

0:08:31.610,0:08:35.519
quasi unmöglich ist. Extrem weit[br]verbreitet sind Sachen wie

0:08:35.519,0:08:39.370
Sprachassistenten. In den letzten Jahren[br]Siri, Alexa, Echo, all das. Sie müssen so

0:08:39.370,0:08:42.199
etwas können, wie Sprachverarbeitung, die[br]müssen so etwas können wie

0:08:42.199,0:08:45.370
Textverarbeitung, die müssen[br]Sprachsynthese beherrschen, sie müssen

0:08:45.370,0:08:47.710
auch irgendwo Information Retrieval[br]beherrschen und tatsächlich auch die

0:08:47.710,0:08:52.599
Informationen aus dem riesigen[br]Informationscluster, der das Internet nun

0:08:52.599,0:08:57.860
mal ist, hervorzuholen. Aber auch weit[br]verbreitet durch solche Unternehmen wie

0:08:57.860,0:09:01.050
Tesla oder Uber sind inzwischen die[br]Bereiche des autonomen Fahrens oder

0:09:01.050,0:09:04.779
generell des autonomen Transports, die[br]sich dann eher mit vielleicht

0:09:04.779,0:09:08.730
Bilderkennung bearbeiten müssen, mit[br]Navigation, mit Fein-Kontrolle an

0:09:08.730,0:09:12.600
motorischen Bauteilen etc. Nicht ganz so[br]offensichtlich, aber dennoch, wenn man

0:09:12.600,0:09:16.509
darüber nachdenkt oder wenn man es gesagt[br]bekommt, dann doch sehr gut sichtbar: Für

0:09:16.509,0:09:20.410
alle Menschen im Alltag sind[br]Recommendation Systems, so etwas wie

0:09:20.410,0:09:23.750
"Amazon Kunden kauften auch", "Sie könnte[br]interessieren", alles, was uns irgendwie

0:09:23.750,0:09:28.660
Vorschläge generiert. Die Sortierung von[br]Google Ergebnissen oder generell von

0:09:28.660,0:09:32.339
Suchmaschinen, wie mir Ergebnisse[br]angezeigt werden, was wie gerankt wird.

0:09:32.339,0:09:36.360
Aber auch sowas wie, was zeigt mir mein[br]Facebook Newsfeed überhaupt an? Wer

0:09:36.360,0:09:40.119
bekommt was, wann und wie oft zu sehen?[br]Das ist bei weitem nicht so

0:09:40.119,0:09:44.529
straightforward, nicht so offensichtlich,[br]wie sich das viele Leute denken. Deutlich

0:09:44.529,0:09:48.279
weniger bekannt sind dann schon Systeme,[br]die sowas wie

0:09:48.279,0:09:52.020
Rückfälligkeitseinschätzungen für[br]straffällig gewordene machen, die in

0:09:52.020,0:09:55.589
Gerichtsverfahren dazu verwendet werden,[br]um anhand von irgendwelchen Scores

0:09:55.589,0:10:02.100
Strafmaße zu vergeben. Das geschieht in[br]den USA schon seit Jahren. Aber auch

0:10:02.100,0:10:05.770
Sachen, die anhand von Gesichtserkennung[br]versuchen, verdächtige Personen zu

0:10:05.770,0:10:12.279
identifizieren, oder die Scoring[br]Algorithmen, die für irgendwelche sozialen

0:10:12.279,0:10:16.810
Systeme verwendet werden oder zur[br]Einschätzung für Versicherungen verwendet

0:10:16.810,0:10:21.939
werden. Aber auch Einstellungsverfahren,[br]die anhand von Stichwörtern, von

0:10:21.939,0:10:26.160
Lebensläufen, noch bevor jemals jemand auf[br]die Unterlagen drauf geschaut hat,

0:10:26.160,0:10:31.589
Kandidatinnen aussortieren.[br]Benjamin: Diese Systeme arbeiten auch da

0:10:31.589,0:10:35.140
wieder so, dass wir häufig nicht[br]verstehen, genau was sie tun. Teilweise

0:10:35.140,0:10:38.889
so, dass man im Nachhinein denkt: Um[br]Gottes Willen, wie können die so

0:10:38.889,0:10:43.480
funktionieren? Das heißt, sowohl diese[br]Einstellung bei Gesichtsinterpretation

0:10:43.480,0:10:49.819
oder für Bewerbungsverfahren, wo ein 15[br]sekündiges Video analysiert wird,

0:10:49.819,0:10:54.499
übernimmt regelmäßig solche Systeme wie,[br]wir messen jetzt Abstand zwischen Augen,

0:10:54.499,0:10:58.561
Nase, Mund, was weiß ich, was wir leider,[br]wenn man ganz ehrlich ist, kennen aus

0:10:58.561,0:11:03.660
irgendwelcher Genetik, die die Nazis[br]betrieben haben, um irgendwelche

0:11:03.660,0:11:10.139
überlegenen Rassen zu identifizieren. Und[br]solche Dinge werden in Systemen heutzutage

0:11:10.139,0:11:14.230
eingesetzt. Nicht unbedingt absichtlich.[br]Aber wenn man sich die Mühe macht zu

0:11:14.230,0:11:17.379
verstehen, was das System eigentlich[br]tut, stellt man plötzlich mit großem

0:11:17.379,0:11:21.119
Bedauern fest, dass es genau das tut.[br]Nadja: In all diesen Bereichen, in allen

0:11:21.119,0:11:24.620
Unteraufgaben davon und noch viel mehr[br]kommen diese Deep Learning Systeme mit all

0:11:24.620,0:11:28.300
ihren Nachteilen und oftmals mit[br]unbeabsichtigten Nebenwirkungen aktuell

0:11:28.300,0:11:34.379
zum Einsatz. Und es werden immer mehr.[br]Genug dazu, was die Grundlage ist, genug

0:11:34.379,0:11:37.300
dazu, was wir unter Deep Learning[br]verstehen und wo es angewendet wird. Wir

0:11:37.300,0:11:39.389
wollen uns als nächstes mit[br]wissenschaftlicher Nachhaltigkeit

0:11:39.389,0:11:44.190
beschäftigen. Und die erste Frage, die[br]sich die meisten Leute dazu stellen: Was

0:11:44.190,0:11:47.699
bedeutet denn wissenschaftliche[br]Nachhaltigkeit eigentlich? Wenn wir das

0:11:47.699,0:11:51.999
sagen, meinen wir solche Fragen wie, wie[br]relevant ist eigentlich das Thema, an dem

0:11:51.999,0:11:56.100
wir forschen? Wie relevant sind meine[br]Ergebnisse für die Zukunft, für die

0:11:56.100,0:12:00.079
weitere Entwicklung des Feldes, für den[br]Alltag der Menschen, um die es

0:12:00.079,0:12:04.529
letztendlich geht? Wir fragen uns aber[br]auch: Können wir diese Ergebnisse

0:12:04.529,0:12:09.129
überhaupt reproduzieren? Kann irgendjemand[br]anderes, wenn er dieses Paper gelesen hat,

0:12:09.129,0:12:11.879
zu den gleichen Zahlen, zu dem gleichen[br]Ergebnis oder zumindest zu der gleichen

0:12:11.879,0:12:16.399
Größenordnung kommen? Haben wir die dazu[br]notwendigen Mittel? Haben wir die Details

0:12:16.399,0:12:21.450
publiziert? Und sind die Ergebnisse so[br]verlässlich, dass es möglich ist? Wir

0:12:21.450,0:12:24.399
meinen auch: Können wir Dinge, die in der[br]Forschung entwickelt werden,

0:12:24.399,0:12:28.110
wiederverwenden? Oder sind sie nur für[br]diese eine sehr spezielle Aufgabe

0:12:28.110,0:12:32.559
relevant? Wir meinen auch: Sind wir[br]konkurrenzfähig? Oder sind andere Systeme,

0:12:32.559,0:12:36.709
die mit den gleichen oder sogar weniger[br]Aufwand entwickelbar, einsetzbar sind,

0:12:36.709,0:12:41.300
nicht vielleicht sogar besser? Wir meinen[br]auch: Mit welcher Systematik wurde dieses

0:12:41.300,0:12:45.889
System gebaut? Nach welchem System wurde[br]untersucht, was an dieser Stelle hilfreich

0:12:45.889,0:12:49.920
ist und was nicht? Oder war das völlig[br]willkürlich? Und schlussendlich meinen wir

0:12:49.920,0:12:52.660
auch: Was ist die Aussagekraft meiner[br]Ergebnisse? Wie war die

0:12:52.660,0:12:57.910
Evaluationsmethodik? Was ist dabei am Ende[br]rausgekommen, was tatsächlich relevant,

0:12:57.910,0:13:07.999
nennenswert, statistisch signifikant ist?[br]Benjamin: Und an der Stelle überlegen wir

0:13:07.999,0:13:11.149
uns kurz, ich weiß nicht, einige von euch[br]kommen sicherlich aus dem

0:13:11.149,0:13:16.320
wissenschaftlichen Bereich, andere aus der[br]Industrie, ist völlig egal, wie man sich

0:13:16.320,0:13:20.459
eigentlich wünschen würde, dass[br]Wissenschaft funktioniert, nämlich

0:13:20.459,0:13:24.260
irgendwie systematisch. Menschen denken[br]sich Dinge aus, überprüfen sie, stellen

0:13:24.260,0:13:28.239
fest, sie stimmen, und alles ist gut.[br]Tatsächlich haben wir in diesem Bereich

0:13:28.239,0:13:34.910
häufig, sehr häufig, ein völlig anderes[br]Verfahren. Es gibt Publikationen zu

0:13:34.910,0:13:37.154
irgendwelchen Arten: Wie [br]kann man diese

0:13:37.154,0:13:38.154
Neuronen, die wir vorhin hatten, [br]wie kann man diese Modelle

0:13:38.154,0:13:41.769
aufbauen? Was kann man[br]da machen? Dass die Daten dadurch fließen?

0:13:41.769,0:13:47.149
Dazu denken sich Leute was aus. Dann[br]publizieren sie das, veröffentlichen das,

0:13:47.149,0:13:51.249
und andere Leute denken sich, okay, das[br]klingt doch spannend. Lass das mal nehmen,

0:13:51.249,0:13:55.449
um daraus jetzt irgendwie für meinen[br]Anwendungsfall ein neues System zu bauen.

0:13:55.449,0:13:59.639
Das heißt, Sie nehmen dieses Modell, was[br]man irgendwo gehört hat, was gerade durch

0:13:59.639,0:14:07.450
die Fachwelt geistert. Dann überlegt man[br]sich grob: Wie baut man das auf? Wie nehme

0:14:07.450,0:14:12.540
ich das? Ich packe jetzt so viele[br]Schichten von diesem Typ hintereinander.

0:14:12.540,0:14:17.440
Sagen wir mal so und so viele, und die[br]Schichten machen wir so groß, wir arbeiten

0:14:17.440,0:14:21.540
jetzt mit so und so vielen dimensionalen[br]Vektoren. Das denkt man sich einfach aus,

0:14:21.540,0:14:24.019
was irgendwie plausibel klingt. [br]Dann guckt man,

0:14:24.019,0:14:25.019
dass man die Daten noch[br]irgendwie so lange schlägt,

0:14:25.019,0:14:28.410
bis sie irgendwie halbwegs[br]in das Format reinpassen, was man gerade

0:14:28.410,0:14:31.579
haben will, macht da irgendwelche[br]numerischen Werte draus, auf teilweise

0:14:31.579,0:14:36.579
sehr fragwürdige Art und Weise. Und dann[br]wird das Ganze in das Netzwerk gepackt,

0:14:36.579,0:14:39.749
und das ganze Ding nennt sich ja Deep[br]Learning. Das heißt, jetzt kommt das

0:14:39.749,0:14:44.119
Lernen. Das basiert halt darauf, dass man[br]die Daten reinschiebt, guckt, wie gut es

0:14:44.119,0:14:50.199
passt. Wie gut war die Vorhersage. Dann[br]anhand dessen das System anpasst, die

0:14:50.199,0:14:53.649
Daten wieder durchfließen lässt und das[br]Ganze immer und immer wiederholt, bis man

0:14:53.649,0:14:59.180
am Ende irgendwie schön Gewichte in diesen[br]Funktionen, die man im Prinzip

0:14:59.180,0:15:04.610
konstruiert, geraten hat oder gelernt hat,[br]die plausibel erscheinen für den Zweck,

0:15:04.610,0:15:08.449
den man braucht. Das ergibt dann das[br]Modell. Wenn die Zahlen, die dann

0:15:08.449,0:15:12.910
rauskommen, auf den Daten mit dem man das[br]testet, ganz gut aussehen, dann nehmen die

0:15:12.910,0:15:19.250
Leute das und schreiben ihr Paper darüber[br]und sagen Okay, für Klassifikationen von

0:15:19.250,0:15:24.079
Wölfen gegen Hunde haben wir jetzt[br]folgende Architektur, folgendes Dings.

0:15:24.079,0:15:28.089
Hier sind unsere Daten. Das sind die[br]Werte, die wir haben. Bitteschön, dass ist

0:15:28.089,0:15:32.089
jetzt das tolle neue Forschungsergebnis.[br]Wenn die Werte nicht so gut aussehen, dann

0:15:32.089,0:15:37.199
hat man wohl vielleicht die falsche State[br]of the Art System genommen, was gerade

0:15:37.199,0:15:40.939
jemand veröffentlicht hat. Oder man hat[br]eine Schlicht zu wenig, eine Schicht zu

0:15:40.939,0:15:44.939
viel, die Vektoren haben die falsche[br]Dimensionierung. Na naja, gut, dann rate

0:15:44.939,0:15:50.080
ich eben neue Parameter. Ist ja alles nur[br]Strom und Zeit, lässt das Ganze weiter

0:15:50.080,0:15:56.129
trainieren. Da laufen die GPUs heiß. Und[br]dann fängt man von vorne an damit und

0:15:56.129,0:16:01.959
guckt, ob jetzt gute Zahlen rauskommen.[br]Und je nachdem sagt man dann, Okay, ich

0:16:01.959,0:16:07.161
mache weiter, oder ich fall wieder durch.[br]Dazu kommt dann noch, das Ganze ist jetzt

0:16:07.161,0:16:11.419
ja schon irgendwie ziemlich[br]unwissenschaftlich. Das ist nicht mal mehr

0:16:11.419,0:16:16.159
empirische Forschung. Das ist wirklich[br]ausprobieren und hoffen, dass etwas Gutes

0:16:16.159,0:16:21.809
rauskommt. Aber danach kann man jetzt ja[br]noch die üblichen Schönungs-Methoden

0:16:21.809,0:16:27.359
anwenden, die es natürlich in der[br]Wissenschaft gibt, die man auch so leicht

0:16:27.359,0:16:31.699
gar nicht finden kann. Leider. Man kann[br]natürlich jetzt sagen, ich zeige nur die

0:16:31.699,0:16:34.990
Ergebnisse auf den Datensets, bei denen[br]die Zahlen gut aussehen, und auf dem

0:16:34.990,0:16:38.450
zweiten Datensets mit den Fotos aus einer[br]anderen Perspektive oder mit einem anderen

0:16:38.450,0:16:42.269
Hintergrund jetzt leider nicht gut[br]funktioniert hat, das muss ich ja

0:16:42.269,0:16:46.879
niemandem erzählen. Das veröffentliche ich[br]einfach nicht mit. Das bleibt bei mir, und

0:16:46.879,0:16:49.459
meinen anderen Zahlen sehen ja gut aus,[br]und das muss man jetzt erst mal jemand

0:16:49.459,0:16:52.649
nachmachen und zeigen, dass es mit etwas[br]anderem nicht funktioniert. Selbst wenn

0:16:52.649,0:16:56.839
nicht: Ich habe ja eine Publikation. Und[br]das ist leider in vielen Feldern

0:16:56.839,0:17:00.669
heutzutage was, was wichtig ist. Irgendwo[br]bei einer wichtigen Konferenz ein Paper zu

0:17:00.669,0:17:04.829
veröffentlichen, mit der man eine[br]minimale Verbesserung gegenüber dem

0:17:04.829,0:17:10.080
bisherigen State of the Art gezeigt hat.[br]Natürlich kann ich außerdem, eigentlich

0:17:10.080,0:17:13.790
sollte ich solche Experimente mehrfach[br]wiederholen und Mittelwerte bilden. Aber

0:17:13.790,0:17:16.959
ich kann natürlich Experimente mehrfach[br]wiederholen und einfach nur den besten

0:17:16.959,0:17:26.720
Score veröffentlichen. Und weitere solche[br]Tricks anwenden. Das heißt, wir haben

0:17:26.720,0:17:32.360
sowieso schon einen schlechten Prozess,[br]der dann auch noch teilweise missbraucht

0:17:32.360,0:17:37.510
wird, um schneller bessere Ergebnisse zu[br]kriegen und das dann zu publizieren. Das

0:17:37.510,0:17:41.929
ist das, was wir viel in diesen Feldern[br]sehen. Definitiv nicht bei allen Papern.

0:17:41.929,0:17:47.470
Gerade die Grundlagen Paper sind[br]sicherlich gut erforscht. Aber die vielen

0:17:47.470,0:17:53.809
Anwendungspaper können an der Stelle, und[br]allein schon indem, wie sie entstanden

0:17:53.809,0:17:57.519
sind, begründet, keinen wirklichen[br]Mehrwert liefern. Was ihre Relevanz und

0:17:57.519,0:18:01.000
ihren Vorteil, der daraus entsteht,[br]ergibt.

0:18:01.000,0:18:07.230
Nadja: Das Ganze ist natürlich plakativ[br]formuliert und natürlich bringen wir das

0:18:07.230,0:18:10.850
Ganze ein bisschen auf den Punkt, um zu[br]überspitzen. Aber Tatsache ist, wenn man

0:18:10.850,0:18:13.409
sich in einem Feld bewegt, was sehr viel[br]Druck hat, wenn man sich in einem Feld

0:18:13.409,0:18:17.069
bewegt, was so viele mögliche Gründe und[br]so viele Dinge hat, die diese

0:18:17.069,0:18:20.500
Fallstricke begünstigen, dann werden sie[br]auch immer mehr genutzt.

0:18:20.500,0:18:29.679
Benjamin: Genau. Wir sehen natürlich[br]besonders, es gibt gerade im Deep Learning

0:18:29.679,0:18:33.590
diese Möglichkeiten. Denn wir haben schon[br]gesagt: wir verstehen nicht, was diese

0:18:33.590,0:18:36.850
Modelle tun normalerweise. Es gibt ein[br]Forschungsfeld, was daran arbeitet. Aber

0:18:36.850,0:18:40.919
normalerweise verstehen wir nicht, was[br]diese Systeme tun. Das sind Blackbox

0:18:40.919,0:18:43.890
Modelle, die kriegen Daten rein, damit[br]wird irgendwas damit gemacht. Am Ende

0:18:43.890,0:18:49.950
kommen Daten raus. Das Ganze geht noch[br]über mehrere Schritte. Wir haben die

0:18:49.950,0:18:53.520
Daten, die werden irgendwie[br]vorverarbeitet. Dann kommen die Daten

0:18:53.520,0:18:57.730
rein, gehen durch dieses System, dann[br]werden sie eventuell nachverarbeitet. Am

0:18:57.730,0:19:00.960
Ende muss noch evaluiert werden,[br]entschieden werden: Was ist jetzt richtig?

0:19:00.960,0:19:04.260
Was ist exakt richtig? Was ist gerade so[br]richtig? Reicht mir das vielleicht, um es

0:19:04.260,0:19:09.841
als als wahr, stimmt es schon so, um es in[br]meinem Paper zu publizieren? Was ich genau

0:19:09.841,0:19:14.549
gemessen habe, wird häufig gar nicht erst[br]angegeben. Das heißt, dort ist es extrem

0:19:14.549,0:19:21.260
leicht möglich, auf diese Art und Weise zu[br]arbeiten. Und gerade dadurch, dass überall

0:19:21.260,0:19:27.570
heutzutage Expertinnen für dieses Feld[br]gesucht werden, dass überall jemand

0:19:27.570,0:19:31.250
Anwendungen haben möchte für Deep[br]Learning, kommt man damit eben ganz gut

0:19:31.250,0:19:34.950
durch. Deswegen passiert das dort[br]besonders. Man muss auf der anderen Seite,

0:19:34.950,0:19:39.529
wenn man die guten Jobs kriegen will, auch[br]solche Publikationen vorweisen. Also wird

0:19:39.529,0:19:44.389
das entsprechend gemacht. Und genauso: es[br]sind halt sehr viele Low Hanging Fruits

0:19:44.389,0:19:50.179
dabei. Das heißt Dinge, wo man weiß, okay,[br]mit wenig eigenen, großartigen Ideen und

0:19:50.179,0:19:56.549
mehr anwenden von Handwerkszeug kann ich[br]irgendwo was bauen, was es noch nicht

0:19:56.549,0:20:02.690
gibt. Und solange ich der Erste dazu bin,[br]kriege ich das leichter hin. Ich muss mich

0:20:02.690,0:20:06.019
nicht mit irgendwem vergleichen. Ich zeige[br]Okay, mein System kann das mit einer

0:20:06.019,0:20:10.590
akzeptablen Genauigkeit, exakte Zahlen und[br]Ergebnissen. Damit bin ich die erste

0:20:10.590,0:20:13.980
Person, die das geschafft hat, und kann[br]das entsprechend veröffentlichen. Deswegen

0:20:13.980,0:20:19.980
versuchen möglichst viele Leute, möglichst[br]schnell solche Dinge rauszuhauen, neue

0:20:19.980,0:20:30.210
Publikationen in diesen Bereichen zu[br]veröffentlichen. Wenn wir jetzt wissen

0:20:30.210,0:20:35.990
wollen, wie gut eigentlich ein System ist,[br]was vorgestellt wird, wäre es natürlich

0:20:35.990,0:20:40.120
schön, wenn wir die Experimente einfach[br]wiederholen könnten. Das ist allerdings

0:20:40.120,0:20:47.559
leider gar nicht so trivial. Denn auch[br]wenn die Systeme, die eingesetzt werden,

0:20:47.559,0:20:50.980
die Grundlagen-Systeme, häufig ein[br]gewisser Standard sind und irgendwie auch

0:20:50.980,0:20:57.380
als Open Source existieren, gilt das eben[br]nicht für die ganzen Anpassungen, die

0:20:57.380,0:21:00.880
ganzen Details, die die Personen einbauen.[br]Das gilt also nicht für den eigentlichen

0:21:00.880,0:21:06.870
Code, für die Pipeline, aber auch für die[br]Pre-Processing, für die Evaluierung. Das

0:21:06.870,0:21:12.320
gilt nicht unbedingt für die Daten. Häufig[br]sind Daten nicht verfügbar. Wir wissen,

0:21:12.320,0:21:16.669
Daten sind wertvoll, deswegen will man sie[br]nicht aus der Hand geben. Aber so

0:21:16.669,0:21:19.889
funktioniert Wissenschaft nicht. Ich kann[br]nicht auf meinen Daten, die ich für mich

0:21:19.889,0:21:23.309
behalte, arbeiten, sie niemandem zeigen[br]und sagen: Aber mein System ist gut, ich

0:21:23.309,0:21:29.919
habe es ja selbst getestet. Das ihr es[br]nicht überprüft könnt, Pech gehabt. Ich

0:21:29.919,0:21:35.110
habe in diesen Systemen enorm viele Hyper-[br]Parameter, die wir haben es ja gesagt,

0:21:35.110,0:21:39.940
erst einmal häufig geraten werden oder[br]durch durch grobes Ausprobieren bestimmt

0:21:39.940,0:21:44.179
werden. Wenn ich diese Parameter und diese[br]Hyper-Parameter nicht weiß, habe ich keine

0:21:44.179,0:21:49.410
Chance, das System nachzubauen. Ich weiß[br]auch nicht, mit welchen Initialisierungen,

0:21:49.410,0:21:51.420
die zufällig geschehen und [br]mit welchen Reihenfolgen

0:21:51.420,0:21:52.830
und Aufteilung der Daten[br]das Ganze geschehen ist.

0:21:52.830,0:21:55.679
Das heißt, wenn ich diese [br]ganzen Details nicht habe, habe ich

0:21:55.679,0:22:01.870
erst mal keine Chance, genau ein System[br]nachzubauen. Ich brauche aber genau diese

0:22:01.870,0:22:06.940
exakten Werte, weil diese Systeme enorm[br]fragil sind. Das heißt, wenn ich

0:22:06.940,0:22:12.300
Kleinigkeiten ändere, ein bisschen die[br]Dimensionen verändere, die Größe der

0:22:12.300,0:22:15.610
Schichten, gar so gar die Funktionen, die[br]da aneinandergekettet werden, ein bisschen

0:22:15.610,0:22:19.261
ändere, kriege ich völlig andere[br]Ergebnisse und weiß nicht mehr, ob das

0:22:19.261,0:22:23.549
andere System wirklich schlecht oder gut[br]war oder ob es eben nur daran liegt, dass

0:22:23.549,0:22:32.020
ich es nicht genau nachbauen kann.[br]Problem: Aktuell gibt es zwar

0:22:32.020,0:22:36.250
Bestrebungen, dass das so etwas besser[br]wird, aber keinen Zwang oder so dafür. Das

0:22:36.250,0:22:40.220
heißt, wenn ich ein Paper publiziere auf[br]einer der großen Konferenzen, in meinem

0:22:40.220,0:22:45.750
Anwendungsgebiet oder auch im Kern Machine[br]Learning Bereich, dann ist es gewünscht,

0:22:45.750,0:22:50.960
dass sie reproduzierbar sind. Es ist aber[br]nicht erzwungen. Das heißt, es gibt

0:22:50.960,0:22:56.090
zusätzlich nochmal das, ich möchte möchte,[br]dass mein Paper so ein Siegel kriegt, das

0:22:56.090,0:22:58.760
ist reproduzierbar. Dann muss ich dafür[br]ein paar Dinge machen. Da muss ich im

0:22:58.760,0:23:03.900
Prinzip diese Dinge hier bereitstellen,[br]die wir ja aufgelistet haben. Und dann

0:23:03.900,0:23:08.799
versuchen andere Leute nachzuvollziehen,[br]ob das, was ich mache, auch stimmt. Und

0:23:08.799,0:23:12.230
dann ich halt so ein Häkchen. Aber wenn[br]ich das nicht tue, dann mache ich es eben

0:23:12.230,0:23:18.259
nicht. Und das ist sicherlich eine Stelle,[br]die man hinterfragen muss, wo auch zum

0:23:18.259,0:23:22.899
Glück schon Dinge geschehen. Diese[br]Reproduzierbarkeit wird, rückt mehr in den

0:23:22.899,0:23:30.169
Fokus der Konferenzen. Der Effekt von dem[br]Ganzen ist natürlich dadurch: Wir haben

0:23:30.169,0:23:34.480
ganz viel Forschung, die nicht genutzt[br]werden kann von anderen Leuten. Das heißt,

0:23:34.480,0:23:37.190
ich muss natürlich Forschung an der Stelle[br]wiederholen. Andere Leute müssen sie

0:23:37.190,0:23:43.830
wiederholen und zusätzlich durch das,[br]sowohl durch diesen Effekt als auch durch

0:23:43.830,0:23:47.529
den Drang, möglichst viel und möglichst[br]schnell zu publizieren, wird halt extrem

0:23:47.529,0:23:51.330
viel Forschung auch so wiederholt und an[br]ähnlichen Problemen immer wieder

0:23:51.330,0:23:56.210
gearbeitet, um minimale Verbesserung zu[br]bekommen, weil man ja auch schon ein "Mein

0:23:56.210,0:24:00.130
System ist 0,5 Prozentpunkte besser als[br]das bisherige State of the Art System"

0:24:00.130,0:24:08.690
wieder publizieren kann. Das heißt,[br]wünschenswert wäre es, wir hätten überall

0:24:08.690,0:24:13.649
diese Reproduzierbarkeit. Das heißt, das[br]Wichtigste wäre natürlich wir alle immer,

0:24:13.649,0:24:17.269
wenn wir hier sitzen und wenn wir[br]irgendwas erforschen. Wir müssen unseren

0:24:17.269,0:24:19.460
Source Code veröffentlichen. Guck mal, da[br]ein Eichhörnchen.

0:24:19.460,0:24:23.830
Nadja: Das ist leider, was uns viel zu[br]häufig passiert, wenn es einen

0:24:23.830,0:24:27.700
wissenschaftlichen Code geht. Das heißt,[br]selbst die Autorinnen, die vorhatten ihren

0:24:27.700,0:24:31.000
Code zu publizieren, das Ganze öffentlich[br]zu machen, Open Source zu machen, werden

0:24:31.000,0:24:35.029
viel zu schnell vom nächsten Projekt, von[br]der größeren Deadline, von den

0:24:35.029,0:24:38.389
beschäftigten Doktorandinnen oder von der[br]Tatsache, dass der Code immer noch nicht

0:24:38.389,0:24:41.279
aufgeräumt ist, wenn man einfach nicht[br]dazu gekommen ist vor der Deadline,

0:24:41.279,0:24:45.330
abgelenkt. Wir haben einen extrem hohen[br]Publikationsdruck im Bereich Deep

0:24:45.330,0:24:49.330
Learning. Die Publikationen steigen[br]effektiv exponentiell. Man muss immer

0:24:49.330,0:24:51.060
schneller sein, um [br]wirklich noch state of

0:24:51.060,0:24:52.460
the art zu sein, um [br]selbst die eigene

0:24:52.460,0:24:54.300
Verbesserung noch an den [br]Markt bringen zu können.

0:24:54.300,0:24:55.300
Das sorgt dafür, dass[br]irgendwo unsauber

0:24:55.300,0:24:58.539
gearbeitet wird. Mein Code wird[br]nicht dokumentiert, da wird Spaghetti Code

0:24:58.539,0:25:02.350
geschrieben. Er wird irgendwie hingehackt,[br]Hauptsache, es funktioniert. Und danach

0:25:02.350,0:25:06.100
müsste ich mich hinsetzen und das Ganze[br]wieder aufarbeiten. Und das ist ein Riesen-

0:25:06.100,0:25:09.789
stück Arbeit. Und eigentlich steht ja[br]schon die nächste Publikation an. Und alles

0:25:09.789,0:25:12.539
ist es plötzlich interessanter, als den[br]Code zugänglich zu machen. Das gilt wieder

0:25:12.539,0:25:15.469
nicht für alle Paper. Natürlich gibt es[br]Leute, die das machen. Wir versuchen es

0:25:15.469,0:25:19.960
zum Beispiel auch. Aber es funktioniert[br]leider immer noch viel zu selten.

0:25:19.960,0:25:25.169
Tatsächlich gab es dazu oder gibt es doch[br]immer noch von einer großen Konferenz in

0:25:25.169,0:25:28.860
dem Bereich, die Reproducibility[br]Challenge, wo im wesentlichen

0:25:28.860,0:25:32.409
Wissenschaftler aufgefordert werden, sich[br]ein akzeptiertes Paper aus der Konferenz

0:25:32.409,0:25:37.180
2018 oder jetzt 2019 rauszusuchen und mit[br]allen Mitteln und Wegen zu versuchen, die

0:25:37.180,0:25:41.260
Ergebnisse nachzuvollziehen. Teilweise[br]oder im Detail, komplett, erst mal

0:25:41.260,0:25:44.960
rausfinden, was kann ich überhaupt? Die[br]Autoren sind angehalten, kurz publizieren

0:25:44.960,0:25:48.909
und zu kooperieren. Die Leute versuchen[br]wirklich, auch Zeitaufwand, mit dem

0:25:48.909,0:25:52.639
entsprechenden Fachwissen, die Ergebnisse[br]nachvollziehbar und erklärbar und

0:25:52.639,0:25:58.600
reproduzierbar zu machen. Die Erfolgsrate?[br]Ja, ein Teil können wir nachvollziehen,

0:25:58.600,0:26:03.480
immerhin 50 Prozent. Immerhin ein[br]Großteil, das nachvollziehen konnten 30

0:26:03.480,0:26:08.800
Prozent, gar nicht reproduzieren waren [br]aber immer noch 10 Prozent. Jetzt

0:26:08.800,0:26:12.510
ist das interessante aber ja der[br]Schwierigkeitsgrad, dass man das irgendwie

0:26:12.510,0:26:15.250
reproduzieren kann, ist an sich [br]schon mal gut, aber noch

0:26:15.250,0:26:17.370
nicht ausreichend. Wenn [br]ich die komplette

0:26:17.370,0:26:19.339
Forschung dafür neu machen[br]muss, dann lohnt das den Aufwand schlicht

0:26:19.339,0:26:24.929
und einfach nicht. Reasonable difficulty[br]ist in dem Fall sagen wir ein nicht sehr

0:26:24.929,0:26:28.909
konkretes Wort. Aber Tatsache ist, dass es[br]bei mindestens 20 Prozent der Paper sehr,

0:26:28.909,0:26:33.309
sehr schwierig war und überhaupt keine[br]Probleme aufgetreten sind bei einem

0:26:33.309,0:26:37.460
absolut vernachlässigbaren Teil. Was Sie[br]dabei noch gemacht haben, ist Sie haben

0:26:37.460,0:26:41.549
gefragt, diese Wissenschaftlerinnen, denen[br]diese Challenge gestellt wurde, haben wir

0:26:41.549,0:26:45.971
momentan eine Reproducibility Crisis im[br]Bereich Maschinenlearning? Seht ihr hier ein

0:26:45.971,0:26:52.470
Problem? Und die Anzahl der Leute, die ein[br]Problem sehen, ist über diese Challenge um

0:26:52.470,0:26:57.350
diverse Prozentpunkte gestiegen. Das[br]heißt, einfach mal selbst zu versuchen,

0:26:57.350,0:27:01.409
hat nochmal 15 Prozentpunkte mehr der[br]befragten Wissenschaftlerinnen ungefähr,

0:27:01.409,0:27:04.500
davon überzeugt, dass da tatsächlich[br]Probleme existiert und dazu geführt, dass

0:27:04.500,0:27:07.790
drei Viertel der befragten[br]Wissenschaftlerinnen ein Problem sehen, in

0:27:07.790,0:27:16.559
unterschiedlichem Ausmaße.[br]Benjamin: Noch ein Beispiel. Das ist

0:27:16.559,0:27:20.320
jetzt, es gibt tatsächlich inzwischen[br]Paper, die sich damit beschäftigen, wie

0:27:20.320,0:27:26.610
gut andere Paper reproduzierbar sind. In[br]dem Fall aus dem Bereich von

0:27:26.610,0:27:31.809
Recommendation. Es geht darum, aus einer[br]Menge von Dokumenten bestimmte Dokumente

0:27:31.809,0:27:35.820
für eine Anfrage oder Frage, oder was[br]weiss ich, vorzuschlagen. Da gab es in den

0:27:35.820,0:27:40.100
letzten Jahren 18 Publikationen, die alle[br]auf Deep Learning setzen, bei großen

0:27:40.100,0:27:46.440
Konferenzen. Und dann haben sich die Leute[br]mal hingesetzt und geguckt, wieviel können

0:27:46.440,0:27:50.200
wir davon reproduzieren? Inklusive, wir[br]schicken erst einmal dem Autor in eine

0:27:50.200,0:27:54.919
E-Mail, ob sie uns vielleicht ihren Code[br]geben können, bitten nochmal nach und

0:27:54.919,0:27:57.700
versuchen, die Sachen zum Laufen zu[br]bringen, versuchen irgendwie, teilweise

0:27:57.700,0:28:01.889
sogar ähnliche Hardware zu beschaffen, wie[br]die verwendet haben und bauen das nach.

0:28:01.889,0:28:07.019
Insgesamt haben sich von diesen, für[br]dieses Beispiel, von diesen 18 Papern,

0:28:07.019,0:28:11.490
ganze 7 Paper wirklich reproduzieren[br]können. Das heißt, bei denen können sie

0:28:11.490,0:28:15.630
die ganzen Sachen nachbauen, können es[br]laufen lassen und kommen dann auf ähnliche

0:28:15.630,0:28:18.870
Ergebnisse.[br]Nadja: Aber wichtig, erst nachdem Sie die

0:28:18.870,0:28:21.849
Arbeit investiert haben, erst nachdem Sie[br]nachgefragt haben, erst nachdem Sie

0:28:21.849,0:28:25.330
versucht haben, die Dinge aufzutreiben,[br]die nicht von sich aus herausgegeben

0:28:25.330,0:28:27.330
wurden.[br]Benjamin: Das ist nicht der Standard

0:28:27.330,0:28:30.779
Prozess. Also normalerweise, wenn ich[br]irgendwo auf der Konferenz ein Paper

0:28:30.779,0:28:34.490
schicke und sage, Okay, das möchte ich[br]veröffentlichen. Dann lesen Leute nur

0:28:34.490,0:28:38.960
dieses Paper. Gucken Sie sich eventuell[br]noch ein Video an oder vielleicht sogar

0:28:38.960,0:28:42.700
ganze zusätzliche Datensätze, die[br]hochgeladen werden. Aber normalerweise

0:28:42.700,0:28:47.200
lesen Sie nur dieses Paper, diese 6, 8,[br]10, manchmal 12 Seiten mit eng

0:28:47.200,0:28:51.450
geschriebenen Ergebnissen und entscheiden[br]nur anhand des Textes, der dort dann

0:28:51.450,0:28:55.720
steht, und anhand der Zahlen, die die[br]Autorin selbst herausgegeben haben, ob

0:28:55.720,0:29:02.329
diese Arbeit relevant, richtig und[br]irgendwie nutzbar erscheint. Und dann wird

0:29:02.329,0:29:06.929
entschieden, ob sie veröffentlicht wird[br]oder nicht. Aber sie können normalerweise

0:29:06.929,0:29:11.169
nicht in irgendeiner Form überprüfen, ob[br]das wirklich so ist. Sie müssen komplett

0:29:11.169,0:29:17.920
auf den Text vertrauen, ohne. Das ist[br]der Standardfall, wenn wir nicht explizit

0:29:17.920,0:29:22.700
Reproduzierbarkeit fordern für[br]irgendwelche Konferenzen. Und wie gesagt,

0:29:22.700,0:29:27.740
die bisherigen großen Konferenzen. Es gibt[br]keine, die einen von den angewandten

0:29:27.740,0:29:32.129
Konferenzen, die Reproduzierbarkeit[br]explizit fordert. Es ist immer nur ein

0:29:32.129,0:29:36.519
zusätzliches Challenge, oder ein[br]zusätzliches Siegel, oder was weiß ich.

0:29:36.519,0:29:40.560
Bisher basiert die Annahme und die[br]Veröffentlichung von irgendwelchen Papern

0:29:40.560,0:29:44.789
komplett nur auf dem Reviewen von den[br]eingereichten Sachen, ohne den Versuch es

0:29:44.789,0:29:51.350
auch zu reproduzieren. Noch zu dem[br]Beispiel, um es noch demotivierender zu

0:29:51.350,0:29:57.710
machen. Von diesen 7 Ergebnissen, die sie[br]reproduzieren konnten, haben sie dann

0:29:57.710,0:30:03.750
außerdem nochmal nicht Deep Learning[br]basierte Ansätze genommen, die damit

0:30:03.750,0:30:09.299
verglichen und festgestellt, dass wenn man[br]da sich ein bisschen Mühe gibt, sie von 6

0:30:09.299,0:30:12.820
von diesen 7 Paper noch besserere,[br]trotzdem noch bessere Ergebnisse kriegen.

0:30:12.820,0:30:20.070
Das heißt, von diesen 18 Publikationen hat[br]eine für externe Leute messbaren

0:30:20.070,0:30:28.340
wissenschaftlichen Fortschritt gebracht.[br]Und genau diese anderen Ansätze sind

0:30:28.340,0:30:34.059
nämlich leider etwas, was sehr stark durch[br]diesen Hype, der ja offensichtlich

0:30:34.059,0:30:39.620
funktioniert, so voll wie sie heute ist,[br]das Wort Deep Learning zieht, werden die

0:30:39.620,0:30:43.710
verdrängt. Der Rest sind häufig nur[br]Baselines. Ich muss ja nur im Paper

0:30:43.710,0:30:48.590
irgendwas angeben, was ein anderes System[br]ist, mit dem ich es vergleiche, damit ich

0:30:48.590,0:30:52.590
zeige, dass mein neues System besser ist[br]als das, was bisher da ist. Dann gebe ich

0:30:52.590,0:30:57.249
mir auch keine Mühe, dass ich diesen[br]Anteil, dieses andere System besonders gut

0:30:57.249,0:31:00.340
dastehen lasse. Denn dann wird es[br]schwieriger, dass mein neues System besser

0:31:00.340,0:31:04.610
abschneidet. Das heisst, es wird[br]hauptsächlich eben an diesem Deep

0:31:04.610,0:31:09.701
Learnings Krams geforscht, und alles[br]andere wird vernachlässigt, obwohl man da

0:31:09.701,0:31:13.679
noch sehr viel rausholen könnte, wenn man[br]es denn wollte und irgendeinen Vorteil

0:31:13.679,0:31:20.500
davon hätte. Und es wird wirklich alles[br]andere nur als Baseline betrachtet. Ganz

0:31:20.500,0:31:24.830
kurz noch Exkurs, das ist ein Foundation[br]Talk. Baseline, ich brauche irgendein

0:31:24.830,0:31:27.739
System, mit dem ich zeige, dass meine[br]Daten valide sind. Das ist irgendwie

0:31:27.739,0:31:31.080
Plausible ist, was ich raus kriege. Im[br]simpelsten Fall ist ein Baseline Ansatz

0:31:31.080,0:31:34.740
für eine binäre Entscheidung einfach ein[br]Münzwurf. Wenn ich ein System baue, was

0:31:34.740,0:31:39.080
zwischen Hund oder Wolf entscheiden muss[br]und es hat nur 5 Prozent Genauigkeit, dann

0:31:39.080,0:31:42.321
hätte ich mal lieber eine Münze geworfen.[br]Da würde ich mit 50 Prozent Genauigkeit

0:31:42.321,0:31:45.679
kriegen. Dann ist mein System[br]außerordentlich schlecht. Sobald ich über

0:31:45.679,0:31:49.240
diese 50 Prozent drüber kommen über diese[br]Baseline, kann ich in diesem Paper

0:31:49.240,0:31:54.639
inhaltlich begründen, warum mein neues[br]System besser ist als diese Baseline. Nun

0:31:54.639,0:31:57.610
gebe es vielleicht bessere, klügere[br]Ansätze als einen reinen Münzwurf. Aber

0:31:57.610,0:32:00.420
wenn ich den halt möglichst low halte,[br]habe ich es an der

0:32:00.420,0:32:04.179
anderen Stelle leichter.[br]Nadja: Dazu ganz kurz, um das in Zahlen zu

0:32:04.179,0:32:06.730
fassen. Kaggle ist eine Plattform, die[br]Daten-

0:32:06.730,0:32:07.730
wissenschaftliche Challenges[br]stellt, an der jeder

0:32:07.730,0:32:11.130
dann mitarbeiten kann und[br]einen Versuch einreichen kann, diese

0:32:11.130,0:32:14.379
Challenge zu schlagen. Z.B. im Bereich[br]Bilderkennung, aber eigentlich alles, was

0:32:14.379,0:32:17.870
da ist, an wissenschaftliche oder[br]maschinelles Lernen in Worte fasst. Das

0:32:17.870,0:32:20.659
ist der Unterschied zur akademischen[br]Forschung, dass wir uns nicht so sehr am

0:32:20.659,0:32:23.740
State of the art orientieren, sondern die[br]Leute versuchen, oftmals sind es auch

0:32:23.740,0:32:27.580
Privatpersonen, das zu nehmen, was[br]funktioniert. Da ist auch viel Deep

0:32:27.580,0:32:30.230
Learning dabei. Weil Deep Learning, halt[br]ein paar Sachens sind, wo viel entwickelt

0:32:30.230,0:32:33.450
wird, wo es viele fertige Frameworks gibt[br]und was verrufen ist als das, was

0:32:33.450,0:32:38.010
irgendwie mit allem funktioniert, unter[br]gewissen Voraussetzungen. Aber trotzdem

0:32:38.010,0:32:42.850
sehen wir das auch., dass klassische[br]Ansätze hier sehr, sehr hohen Anteil

0:32:42.850,0:32:47.369
einnehmen, einen höheren Anteil als[br]manchmal bei entsprechenden Konferenzen zu

0:32:47.369,0:32:50.630
finden ist. Das heißt, wenn es mir nur[br]darum geht, dass jetzt etwas funktioniert

0:32:50.630,0:32:53.080
und ich nicht maximalen Aufwand[br]reinstecken will, ich nicht unbedingt die

0:32:53.080,0:32:56.000
Buzzwords unterbringen will, ist Deep[br]Learning plötzlich nicht mehr ganz so

0:32:56.000,0:33:00.621
beliebt. Und dafür gibt's mit Sicherheit[br]ein Grund. Wir wollen aber noch zu zwei

0:33:00.621,0:33:03.450
weiteren Aspekten kommen. Und der nächste,[br]der der gesellschaftlichen Auswirkungen.

0:33:03.450,0:33:07.340
Weil auch, was unsere Gesamtgesellschaft[br]betrifft, müssen wir in der Forschung, was

0:33:07.340,0:33:10.440
das maschinelle Lernen und Deep Learning[br]angeht, ein bisschen auf Nachhaltigkeit

0:33:10.440,0:33:15.299
achten. Gerade das Thema Erklärbarkeit und[br]Transparenz, das Thema kann nicht das

0:33:15.299,0:33:18.539
System, was vielleicht sogar[br]lebenswichtige Entscheidungen trifft,

0:33:18.539,0:33:22.730
irgendwie verstehen. Dieses inzwischen[br]relativ weit verbreitete Beispiel kommt

0:33:22.730,0:33:26.850
aus der Software Compass, ich habe es[br]schon erwähnt, die wird verwendet, um bei

0:33:26.850,0:33:29.620
straffällig gewordene Menschen in[br]Gerichtsverfahren einen Score zu

0:33:29.620,0:33:32.249
ermitteln, mit welcher Wahrscheinlichkeit[br]sie rückfällig werden im weiteren Verlauf

0:33:32.249,0:33:37.370
ihres Lebens. Dieser Score wird vom[br]Richter dann verwendet, um das Strafmaß zu

0:33:37.370,0:33:43.110
bestimmen. Wenn wir uns jetzt den[br]Hintergrund der Hautfarbe, Hautfarbe

0:33:43.110,0:33:47.041
dieser Menschen anschauen, für die diese[br]Scores bestimmt wurden, erkennen wir eine

0:33:47.041,0:33:50.899
sehr unterschiedliche Verteilung zwischen[br]Menschen mit weißer Hautfarbe und Menschen

0:33:50.899,0:33:55.570
mit anderer Hautfarbe. Das heißt, oben[br]links sehen wir, dass hohe und niedrige

0:33:55.570,0:34:00.019
Scores annähernd gleichmäßig verteilt[br]werden, während wir eben bei Menschen mit

0:34:00.019,0:34:03.249
eindeutig weißer Hautfarbe oder die so[br]wahrgenommen werden eine sehr starke

0:34:03.249,0:34:07.929
Häufung niedrigen Scores haben. Das hat[br]sich an vielen Einzelbeispiele inzwischen

0:34:07.929,0:34:11.950
gezeigt, dass das schlicht und einfach[br]falsch ist. Dass für ähnliche Verbrechen

0:34:11.950,0:34:15.480
sehr unterschiedliche Strafen vergeben[br]wurden und das nicht der Fall ist, dass

0:34:15.480,0:34:19.070
die Personen mit dem höheren Score auch[br]zwangsläufig eher rückfällig geworden ist.

0:34:19.070,0:34:22.780
In einigen Fällen haben auch Menschen, die[br]in dem Bereich tätig sind, drauf geschaut

0:34:22.780,0:34:24.530
und haben gesagt, eigentlich hätte anhand[br]der Vorstrafen gerade andersherum

0:34:24.530,0:34:29.120
verteilt. Das ist ein Riesenproblem, weil[br]das System sind, die hier aktuell zum

0:34:29.120,0:34:31.690
Einsatz kommen und die für Menschen [br]lebenswichtige Entscheidungen

0:34:31.690,0:34:35.140
treffen müssen. Für niemanden er[br]sichtlich, warum dieser Score gegeben

0:34:35.140,0:34:38.810
wird. Die Firma sagt von sich, und das ist[br]insofern auch korrekt, wenn man es

0:34:38.810,0:34:43.110
wörtlich nimmt, dass der Hintergrund und[br]die Hautfarbe dieser Menschen nicht

0:34:43.110,0:34:47.179
eingegangen ist in das Training. Aber das[br]korreliert mit so vielen Dingen in den

0:34:47.179,0:34:50.480
USA, mit dem Einkommen, mit dem Wohnort[br]etc., dass das gar nicht der entscheidende

0:34:50.480,0:34:56.400
Faktor ist. Als weiteres Beispiel können[br]wir mal drüber nachdenken, was wir dann

0:34:56.400,0:35:00.230
mit dem Begriff eindeutige Handlungs-[br]Vorschrift meinen. Viele Menschen

0:35:00.230,0:35:04.620
bezeichnen damit Algorithmen, was sie[br]damit nicht bezeichnen wollen, dass wir

0:35:04.620,0:35:07.910
alles, was algorithmische System uns[br]vorschlagen, auch als Handlungs-Vorschrift

0:35:07.910,0:35:12.260
zu behandeln haben. Das ist nicht, wie wir[br]das gemeint haben, sondern wir müssen mit

0:35:12.260,0:35:17.280
diesem System immer reflektiert und[br]kritisierend umgehen. Ob jetzt Deep

0:35:17.280,0:35:20.570
Learning überhaupt noch auf diesen Begriff[br]passt, auf diese eindeutige Handlungs-

0:35:20.570,0:35:23.720
Vorschrift ist schon wieder extrem[br]fragwürdig. Denn wir reden hier von sehr

0:35:23.720,0:35:28.200
stark statistisch geprägten Systemen, wo[br]sehr viel Zufall mitspielt. Man könnte

0:35:28.200,0:35:31.390
sie, wie es in diesem Thread geschehen[br]ist, vielleicht eher als

0:35:31.390,0:35:34.290
maschinelles Bauchgefühl bezeichnen, [br]als eindeutige Handlungs-Vorschrift.

0:35:34.290,0:35:40.820
Benjamin: Das heißt, was wir hier[br]eigentlich erleben, ist eine wahnsinnige

0:35:40.820,0:35:44.680
Generalisierung nur. Wir nehmen[br]Datenpunkte aus der Vergangenheit, die wir

0:35:44.680,0:35:50.330
schon kennen. Wir wenden sie an, wir[br]trainieren darauf und danach versuchen wir

0:35:50.330,0:35:54.560
einfach und hoffen, dass, wenn wir diese[br]Sachen, die wir, die wir haben, wenn wir

0:35:54.560,0:35:59.370
nur weit genug generalisieren, wenn wir[br]irgendwo versuchen auf Teufel komm raus

0:35:59.370,0:36:03.550
und das System muss immer was liefern.[br]Normalerweise liefern die Systeme immer

0:36:03.550,0:36:08.810
einfach ein Ergebnis, egal, ob sie einen[br]guten Grund dafür sehen oder nicht. Sie

0:36:08.810,0:36:12.550
versuchen einfach, ein Muster zu finden[br]und dann liefern sie ein Ergebnis. Und das

0:36:12.550,0:36:18.870
bedeutet, dass das, was immer landläufig[br]als die KI sagt etwas vorher oder denkt

0:36:18.870,0:36:22.580
sich etwas aus oder was weiß ich, im[br]Prinzip nur ein auswendig lernen und

0:36:22.580,0:36:25.740
generalisieren und das Ergebnis irgendwie[br]wieder raushauen ist.

0:36:25.740,0:36:30.140
Nadja: Bei gelernten Systemen reden wir[br]oft von Prediction oder Vorhersage. Was

0:36:30.140,0:36:32.510
wir aber eigentlich getan haben, ist nicht[br]über die Zukunft nachzudenken, sondern

0:36:32.510,0:36:35.880
ausschließlich über die Vergangenheit. Und[br]dann ist es die interessante Frage, ob

0:36:35.880,0:36:40.740
wirklich Dinge vorhersagen oder eigentlich[br]nur reproduzieren.

0:36:40.740,0:36:47.770
Benjamin: Das Problem ist aber auch, dass[br]die Menschen den Computern vertrauen. Das

0:36:47.770,0:36:50.510
trifft vermutlich jetzt nicht auf alle[br]Leute hier im Raum zu. Das ist sehr

0:36:50.510,0:36:55.770
angenehm, aber in der Gesellschaft ist das[br]enorm verbreitet inzwischen. KI ist

0:36:55.770,0:37:00.770
irgendwas Tolles, KI ist super, KI wird[br]uns retten. KI kann das, was wir nicht

0:37:00.770,0:37:07.860
können. Beispiele: Wir haben diese große[br]Forschungsinitiative, überall muss KI

0:37:07.860,0:37:12.100
gemacht werden. Wenn ich KI in meine[br]Anträge schreibe, kriege ich Geld. Wenn

0:37:12.100,0:37:16.730
ich auf meine Hautcreme draufschreiben,[br]dass sie mit KI optimiert wurde, kann ich

0:37:16.730,0:37:21.910
sie besser verkaufen. Und wenn ich will,[br]dass mein System und ich als Firma gut

0:37:21.910,0:37:26.180
dastehe, dann kann es sich sogar lohnen,[br]was geschieht, was Google aber auch viele

0:37:26.180,0:37:31.490
andere machen, kann es sich lohnen, Leute[br]einzustellen, die so tun, als wären sie

0:37:31.490,0:37:35.400
Computer, zum Beispiel, die irgendwo[br]anrufen, weil der Computer dazu noch nicht

0:37:35.400,0:37:39.600
in der Lage ist und dann die Restaurant[br]Reservierung oder was weiß ich

0:37:39.600,0:37:43.290
durchführen, nur damit man dann am Ende[br]rausschreiben kann, dass die eigenen KI-

0:37:43.290,0:37:50.050
Systeme ja so wahnsinnig toll sind. Und[br]weil es ja kein Mensch ist, sondern der

0:37:50.050,0:37:55.700
Computer, der ja bestimmt viel weiser sein[br]muss, kann man dadurch sich Vorteile

0:37:55.700,0:37:58.430
verschaffen.[br]Nadja: Ein ganz besonders beunruhigendes

0:37:58.430,0:38:00.280
Beispiel haben wir uns außerdem noch[br]mitgebracht.

0:38:00.280,0:40:03.540
<i>Musik</i>[br]<i>Dialog der Maschine und dem Mann auf japanisch</i>

0:40:03.540,0:40:07.870
Um die Frage direkt vorwegzunehmen, ja,[br]das gibt es wirklich. Und ich hoffe

0:40:07.870,0:40:10.510
ehrlich gesagt, ich muss gar nicht[br]erklären, warum das so unglaublich

0:40:10.510,0:40:14.421
kritisch ist. Aber ich frag einfach mal,[br]was passiert mit uns Menschen so rein

0:40:14.421,0:40:18.230
soziologisch, so rein psychologisch, wenn[br]wir mit Maschinen interagieren, als wären

0:40:18.230,0:40:21.750
sie Menschen, als hätten sie Gefühle, wenn[br]sie Muster imitieren, wie sie in der

0:40:21.750,0:40:25.370
Beziehung und zwischenmenschlicher[br]Kommunikation stattfinden. Was passiert da

0:40:25.370,0:40:28.970
mit uns? Worauf lassen wir uns ein? Wie[br]viel Bios, den wir nicht haben sollten,

0:40:28.970,0:40:35.511
akzeptieren wir? Um noch zu einem ganz[br]anderen Thema zu kommen. Ich hoffe, das

0:40:35.511,0:40:37.670
müssen wir hier nur kurz anschneiden, denn[br]ich habe keine Antwort auf die Frage, die

0:40:37.670,0:40:41.050
ich gerade gestellt habe. Daten. Ich[br]glaube, das ist ein Rahmen, in dem ich

0:40:41.050,0:40:44.560
wenig erklären muss, warum[br]Datensparsamkeit wichtig ist. Wir haben

0:40:44.560,0:40:48.580
aber mit Deep Learning ein fundamentales[br]Problem. Wir brauchen nämlich extrem viele

0:40:48.580,0:40:53.450
Daten. Und das beißt sich ganz, ganz stark[br]mit unseren gesellschaftlichen Interessen.

0:40:53.450,0:40:57.640
Das ist aber ein Thema, über das könnte[br]man mindestens einen eigenen Talk halten.

0:40:57.640,0:41:01.320
Außerdem Beispiele wie das: Wie viele[br]werden es auch schon gesehen haben, eine

0:41:01.320,0:41:05.040
KI, die sich gefühlte 15 Minuten im Netz[br]bewegt hat. Und plötzlich überaus

0:41:05.040,0:41:08.060
rassistisch und anderweitig inakzeptable[br]Äußerungen gebracht hat, weil sie nun mal

0:41:08.060,0:41:11.440
aus dem Internet gelernt hat. Und die[br]interessante Frage stellt sich an der

0:41:11.440,0:41:15.030
Stelle ganz krass, sollten wir wirklich[br]versuchen, mit maschinellen Systemen

0:41:15.030,0:41:18.790
Menschen nachzubilden? Oder ist das[br]vielleicht eine sehr schlechte Idee?

0:41:18.790,0:41:27.080
Benjamin: Ein weiterer Punkt, den wir uns,[br]dem wir uns stellen müssen, der für uns

0:41:27.080,0:41:31.310
alle relevant ist, denn wir arbeiten in[br]irgendeiner Form an Systemen, die

0:41:31.310,0:41:36.860
irgendwie was in der Welt bewegen sollen.[br]Wer ist für all das verantwortlich? Ganz

0:41:36.860,0:41:41.860
typisches Beispiel haben wir bei den[br]autonomen Fahrzeugen. Da wird es schon x

0:41:41.860,0:41:47.140
mal diskutiert, wer ist dafür[br]verantwortlich, wenn ein Unfall passiert?

0:41:47.140,0:41:51.220
Aber bei jedem weiteren System gilt das[br]auch. Es gibt so viele Stellen, die daran

0:41:51.220,0:41:54.850
beteiligt sind. Wir haben die Person, die[br]das Ganze programmieren. Die Personen, die

0:41:54.850,0:41:58.800
es in Auftrag gegeben haben. Die Firma,[br]die das Ganze kauft, vermarktet.

0:41:58.800,0:42:02.080
Vielleicht öffentliche Stellen, die[br]entsprechende Regularien dafür

0:42:02.080,0:42:05.520
veröffentlichen. Wir haben[br]Versicherungskonzerne. Wir haben

0:42:05.520,0:42:09.680
Privatpersonen, die ein autonomes Fahrzeug[br]oder irgendein anderes intelligentes

0:42:09.680,0:42:16.640
System besitzen. Wer ist schuld? Wer kann[br]belangt werden, wenn irgendetwas passiert?

0:42:16.640,0:42:20.510
Und welche Auswirkungen hat das? Denn, je[br]nachdem, wer dafür belangt werden kann,

0:42:20.510,0:42:25.230
ergeben sich völlig unterschiedliche[br]Entscheidungen von den beteiligten

0:42:25.230,0:42:30.040
Personen, wogegen sie ihre Systeme[br]absichern, wie sie ihre Systeme designen.

0:42:30.040,0:42:37.060
Und diesen Punkt, dazu gibt es keine[br]befriedigende Antwort. Eine Umfrage unter

0:42:37.060,0:42:44.640
den Amerikaner sagt, dass sie, die[br]Mehrheit das inakzeptabel findet, dass ein

0:42:44.640,0:42:48.920
Computersystem oder algorithmische Systeme[br]genutzt werden, um in bestimmten

0:42:48.920,0:42:55.160
Bereichen, zum Beispiel bei der[br]Einschätzung von Strafmaßen oder für den

0:42:55.160,0:42:58.460
Bewerbungsprozess von Menschen, dass der[br]Computer wesentliche Entscheidungen dafür

0:42:58.460,0:43:04.610
trifft. Blöd nur, all das wird heutzutage[br]schon gemacht, und zwar eben mit immer

0:43:04.610,0:43:10.110
stärker werdenden Ausmaß.[br]Nadja: Und als Drittes kommen wir jetzt zu

0:43:10.110,0:43:14.000
einem Punkt, der oft vernachlässigt wird,[br]wenn es um Deep Learning geht. Ja, das

0:43:14.000,0:43:17.120
werden die alle, die wir heute gesagt[br]haben, aber der ganz besonders. Und wir

0:43:17.120,0:43:20.580
glauben, dass der trotzdem relevant ist.[br]Nämlich gerade zu Zeiten, wo das Thema

0:43:20.580,0:43:24.380
Klimawandel wieder mehr in den Medien[br]kommt, wo sowohl die Gegner als auch die

0:43:24.380,0:43:27.570
Befürworter von irgendwelchen Maßnahmen[br]stärker werden, ist das ein Thema über das

0:43:27.570,0:43:30.420
wir auch nachdenken müssen, auch[br]wenn es auf den ersten Blick

0:43:30.420,0:43:34.380
nichts mit unserer Arbeit zu tun hat.[br]Benjamin: Wir haben natürlich, bekannt ist

0:43:34.380,0:43:37.590
es im Bereich, z. B. von den[br]Cryptocurrencies, dass die enormen

0:43:37.590,0:43:43.810
Stromverbrauch haben, zum Beispiel ein[br]Bitcoin Transaktion verbraucht ungefähr so

0:43:43.810,0:43:52.620
viel Strom wie 500.000 Visa Transaktionen,[br]eine einzige! Und das entspricht ungefähr

0:43:52.620,0:43:58.060
dem Stromverbrauch eines Kühlschranks für[br]8 Jahre für eine Transaktion. Aber

0:43:58.060,0:44:04.230
Bitcoins ist nicht der einzige Bereich, wo[br]wir Probleme kriegen, in der Hinsicht. Wir

0:44:04.230,0:44:11.690
haben auch das generell in allen Formen,[br]wo wir große Daten haben. Deep Learning

0:44:11.690,0:44:15.040
braucht große Datenmengen, Datenmengen[br]müssen wir speichern, verarbeiten,

0:44:15.040,0:44:20.340
transportieren und dafür haben wir[br]weltweit inzwischen eine relativ groß

0:44:20.340,0:44:25.280
steigende Anzahl an Rechenzentren, die[br]zwischen 200 und 500 Milliarden

0:44:25.280,0:44:28.270
Kilowattstunden pro Jahr gerade[br]verbrauchen. Ganz genau kann man das

0:44:28.270,0:44:33.230
natürlich nicht sagen, weil die Firmen[br]auch diese Daten als Geheimnis betrachten.

0:44:33.230,0:44:38.200
Wenn man alle Rechenzentren zusammen als[br]Land betrachten würde, hätten wir fünf

0:44:38.200,0:44:41.200
Länder auf der Erde, die mehr Strom[br]verbrauchen, dann kommen die

0:44:41.200,0:44:44.720
Rechenzentren, dann kommen alle anderen[br]Länder, und auch das wird weiterhin

0:44:44.720,0:44:55.821
steigen. Wir haben, wenn man jetzt noch[br]kleiner guckt auf das, was wir jetzt

0:44:55.821,0:45:00.160
beschrieben haben, den Trainingsprozess[br]von einzelnen Modellen, auch da schon

0:45:00.160,0:45:05.780
einen erschreckend hohen Stromverbrauch,[br]der auch dort leider nicht linear, sondern

0:45:05.780,0:45:12.720
sondern deutlich darüber ansteigt. Wenn[br]wir also ein einzelnes, einzelne Modelle

0:45:12.720,0:45:16.850
trainieren wollen, sehen wir, dass die[br]großen State of the Art Systeme, die dann

0:45:16.850,0:45:21.670
natürlich von Firmen wie Google und[br]Facebook AI und anderen

0:45:21.670,0:45:25.200
Forschungsinstitute, Einrichtungen von[br]großen, großen Firmen vorgeschlagen

0:45:25.200,0:45:34.250
werden, dass dort Strom verbraucht wird[br]für hunderttausende teilweise Millionen an

0:45:34.250,0:45:42.650
Euro. Dass dort auch inzwischen natürlich[br]zusätzlich noch GPUs, CPUs eingesetzt

0:45:42.650,0:45:47.510
werden, die schwer zu bekommen sind, die[br]teuer anzuschaffen sind, sodass wir

0:45:47.510,0:45:50.561
natürlich auch sowohl durch den[br]Stromverbrauch als auch durch die

0:45:50.561,0:45:56.250
Infrastruktur. Erstens haben wir diesen[br]Umwelteffekt. Zweitens, wenn wir den

0:45:56.250,0:46:01.270
Effekt, dass immer weniger Firmen, immer[br]weniger große Einrichtungen in der Lage

0:46:01.270,0:46:06.570
sind, Deep Learning auf dem State of the[br]Art durchzuführen. Der Rest wird

0:46:06.570,0:46:10.210
abgehängt. Das heißt auch da[br]gesellschaftliche Auswirkungen ---

0:46:10.210,0:46:14.950
problematisch, Umweltauswirkungen ---[br]problematisch und leider ein Trend, der

0:46:14.950,0:46:19.740
offensichtlich genau in die falsche[br]Richtung geht. Wenn man sich das nochmal

0:46:19.740,0:46:26.760
hier anguckt, was das auch für den[br]CO2-Ausstoß bedeutet, sehen wir, dass das

0:46:26.760,0:46:33.300
Training von einem einzigen Modell, wie es[br]dann veröffentlicht wird am Ende, von so

0:46:33.300,0:46:38.360
einem großen Modell ungefähr so viel CO2[br]ausstößt wie fünf Autos in ihrer ganzen

0:46:38.360,0:46:43.210
Lebensdauer, inklusive Produktion und[br]inklusive sämtlichen Sprit, der dann darin

0:46:43.210,0:46:47.600
verbrannt wird. Und solche Forschung[br]findet ständig weiterhin statt, weil man

0:46:47.600,0:46:51.320
ja weiter publizieren will, wie wir am[br]Anfang schon erzählt haben. Das heißt,

0:46:51.320,0:46:55.030
dauerhaft werden solche Modelle gerade auf[br]der Welt trainiert, um dann irgendwo in

0:46:55.030,0:46:58.090
irgendeinem kleinen Teilbereich eine neue[br]Publikationen machen zu können.

0:46:58.090,0:47:02.800
Nadja: Jetzt komme ich und bringe die[br]Frohbotschaft. Nein, es ist nicht alles

0:47:02.800,0:47:06.200
ganz so schlimm, wie es jetzt gerade[br]scheint, wenn wir die Nachteile auflisten.

0:47:06.200,0:47:09.070
Tatsächlich kann der ganze Bereich des[br]maschinellen Lernen auch Vorteile mit sich

0:47:09.070,0:47:11.880
bringen und hier in diesem Beispiel sogar[br]auch tatsächlich das Deep Learning. Es

0:47:11.880,0:47:16.700
geht darum, dass Google über Jahre hinweg[br]versucht hatte, mithilfe von maschinellen

0:47:16.700,0:47:22.700
Lernen die Betriebe ihrer Datenzentren zu[br]optimieren. Da eine Einsparung im

0:47:22.700,0:47:25.220
Stromverbrauch zu erreichen. Wir reden[br]hier von Reinforsment Learning für die,

0:47:25.220,0:47:29.760
denen es was sagt. Was die Kühlungsteuerung,[br]die Abschaltung von Servernet et cetera

0:47:29.760,0:47:32.920
beeinflussen konnte und damit der[br]Stromverbrauch um bis zu 40 Prozent

0:47:32.920,0:47:36.840
gesenkt hat. Das ist auf jeden Fall eine[br]gute Nachricht. Natürlich ist auch mir die

0:47:36.840,0:47:40.130
Ironie klar, dass wir hier den[br]Stromverbrauch von Datenzentren sprechen,

0:47:40.130,0:47:44.300
ohne das Feld auch gar nicht so sehr nötig[br]wären. Trotzdem Man kann diese

0:47:44.300,0:47:49.250
Wissenschaft, man kann diesen Bereich auch[br]durchaus für gute Sachen nutzen, die uns

0:47:49.250,0:47:54.160
allen was helfen kann. Das lässt sich[br]natürlich nicht auf alle großen Strom und

0:47:54.160,0:47:58.440
CO2 Produzenten übertragen, die wir in[br]unserer Industrie so haben. In der

0:47:58.440,0:48:01.560
Autoindustrie wird das schon sehr viel[br]schwieriger, wenn wir von Montagerozessen

0:48:01.560,0:48:04.720
reden, von Produktionsprozessen reden. Da[br]kann man nicht einfach wild durch die

0:48:04.720,0:48:07.820
Gegend tauschen, welcher Task denn[br]ausgeführt wird. Wenn die Server

0:48:07.820,0:48:11.850
vielleicht nicht ausgelastet sind oder sie[br]nicht direkt ausführen, damit der Server

0:48:11.850,0:48:16.300
noch mal abgeschaltet bleiben kann. Aber[br]ist das was, womit wir uns auf jeden Fall

0:48:16.300,0:48:22.000
beschäftigen sollten. Mit Strom und CO2[br]ist das Lied um die Umweltauswirkungen

0:48:22.000,0:48:25.540
noch nicht zu Ende. Es geht auch darum,[br]wie wir unsere Infrastruktur belasten, wie

0:48:25.540,0:48:30.040
wir Straßen, Städte, Gebäude und so weiter[br]beanspruchen für den Bau, für den Betrieb,

0:48:30.040,0:48:33.390
für den Transport. Für die Vernetzung von[br]den ganzen Systemen, die wir für diesen

0:48:33.390,0:48:36.420
Forschungszweig brauchen. Es geht darum,[br]was wir für Platz beanspruchen mit

0:48:36.420,0:48:41.240
Forschungszentren, mit Datenzentren, mit[br]Supercomputern und GPU Produktion. Es geht

0:48:41.240,0:48:45.040
darum, wie viel Arbeitskraft und wie viel[br]Zeitaufwand gebunden ist. Nur um ein neues

0:48:45.040,0:48:48.120
Netz zu forschen. Es geht darum, wie viel[br]Forschungsgelder darin investiert werden,

0:48:48.120,0:48:51.160
mit denen man noch andere Dinge tun[br]könnte. Es geht um endliche Ressourcen

0:48:51.160,0:48:55.330
unserer Erde wie Metalle wie die[br]sogenannten Seltenen Erden oder wie Erdöl,

0:48:55.330,0:48:59.990
die dafür gebraucht werden. Und es gibt[br]noch so viel mehr. Das war nur ein ganz

0:48:59.990,0:49:03.010
kleiner Einblick in das Thema, und es ist[br]ganz wichtig: Es geht nicht nur um den

0:49:03.010,0:49:07.290
Stromverbrauch. Die Awareness an der[br]Stelle ist noch viel zu niedrig, um

0:49:07.290,0:49:11.700
darüber quantitativ Aussagen treffen zu[br]können. Aber es ist auf jeden Fall ein

0:49:11.700,0:49:15.530
Faktor. So viel wissen wir. Wir kommen[br]damit auch schon zur Frage: Wie kann es

0:49:15.530,0:49:21.890
eigentlich weitergehen?[br]Benjamin: Wichtig ist, dass wir alle uns

0:49:21.890,0:49:26.010
bewusst sind, dass wir die Verantwortung[br]tragen, wie es in dem Bereich weitergeht.

0:49:26.010,0:49:30.010
Denn sowohl die Leute, die in diesem Land[br]arbeiten, aber auch in allen Bereichen,

0:49:30.010,0:49:35.580
die damit verbunden sind. Wir forschen.[br]Wir bauen Systeme. Wir sorgen dafür, dass

0:49:35.580,0:49:40.290
solche Systeme weiter entstehen, dass sie[br]wichtiger werden, dass sie, obwohl wir

0:49:40.290,0:49:43.240
wissen, dass zum Beispiel das alles der[br]Generalisierung, aus Vereinfachungen

0:49:43.240,0:49:47.760
besteht. Dass sie trotzdem für Dinge[br]eingesetzt werden. Wir sorgen dafür, dass

0:49:47.760,0:49:54.180
unsere Sensorik, die wir in Autos[br]verbauen, irgendwelche 25 Gigabyte pro

0:49:54.180,0:49:57.261
Stunde an Daten produzieren, die man dann[br]wieder auswerten, um daraus etwas machen

0:49:57.261,0:50:02.930
kann. Wir sorgen dafür, dass Systeme[br]optimiert werden. Wir sorgen dafür, dass

0:50:02.930,0:50:09.260
das gebaut werden für die Industrie, damit[br]das komische Hautpflegeprodukten

0:50:09.260,0:50:14.280
plötzlich KI optimiert ist. Das kann[br]man natürlich alles einfach so machen,

0:50:14.280,0:50:18.690
weil man in dem Bereich gut Geld verdienen[br]kann. Ist aber vermutlich keine gute Idee,

0:50:18.690,0:50:22.910
sondern man sollte sich wirklich[br]überlegen: Was sind die Konsequenzen von

0:50:22.910,0:50:27.490
dem Ganzen, und was müssten wir eigentlich[br]alle ändern, um dieses ganze Feld

0:50:27.490,0:50:33.980
weiterzutreiben? Denn, das ist das Schöne,[br]zumindest im Forschungssektor. Es ist

0:50:33.980,0:50:38.250
alles von der Community angetrieben. Es[br]ist immer eine Entscheidung von allen

0:50:38.250,0:50:44.010
Forscher in den ganzen Bereichen, ob sie[br]genauso weitermachen oder ob sie ihre

0:50:44.010,0:50:50.530
Arten schieben, ob sie anders agieren, ob[br]sie mehr und mehr auf solche Dinge achten

0:50:50.530,0:50:54.030
oder eben nicht.[br]Nadja: Grundsätzlich um weiterzumachen,

0:50:54.030,0:50:56.380
gerade um die gesellschaftlichen[br]Auswirkungen des Themas zu beeinflussen.

0:50:56.380,0:51:00.040
Was müssen wir anstreben? Wir müssen[br]Diskurs anstreben. Wir müssen mit der

0:51:00.040,0:51:03.160
gesamten Gesellschaft, mit einer riesigen[br]Breite an Menschen darüber reden. Was

0:51:03.160,0:51:05.770
wollen wir von diesen Systemen? Unter[br]welchen Umständen machen wir das System?

0:51:05.770,0:51:09.530
Was sind die Auflagen, die wir stellen,[br]was akzeptabel und was nicht? Das

0:51:09.530,0:51:12.350
funktioniert nicht, wenn diese[br]Entscheidungen getroffen werden von fünf

0:51:12.350,0:51:15.030
Leuten, die irgendwie ihre eigenen[br]Interessen vertreten müssen. Das ist ein

0:51:15.030,0:51:17.600
Diskurs, der auf jeden Fall in die[br]gesellschaftliche Breite gehen muss. Es

0:51:17.600,0:51:20.870
gibt einfach keine klare Antwort, und die[br]Antworten, die wir brauchen, die müssen

0:51:20.870,0:51:24.110
wir zusammen finden. Wir müssen aber auch[br]Bildung auf allen Ebenen vorantreiben.

0:51:24.110,0:51:28.080
Weil ich muss als Informatikerin auch die[br]ethischen Auswirkungen eines Handelns

0:51:28.080,0:51:33.020
bedenken. Ich muss auch dem Enduser sagen[br]können, was das bedeutet, wenn er etwas

0:51:33.020,0:51:36.590
einsetzt. Auch wenn er die technischen[br]Details nicht versteht, muss er in der

0:51:36.590,0:51:40.220
Lage sein einzuschätzen, ob der Einsatz an[br]der Stelle sinnvoll ist und gerade auch

0:51:40.220,0:51:43.290
die Menschen, die die Legislatur[br]vorantreiben. Diese Menschen sollte es auf

0:51:43.290,0:51:46.270
jeden Fall geben müssen, genug davon[br]verstehen und auch wirklich einschätzen

0:51:46.270,0:51:49.311
können, was sie da gerade erlauben oder[br]nicht erlauben, damit wir auch die

0:51:49.311,0:51:54.020
positiven Aspekte solcher Felder mitnehmen[br]können. Awareness ist ganz besonders

0:51:54.020,0:51:57.120
wichtig, damit wir diesen Diskurs führen[br]können. Damit wir diese Bildung

0:51:57.120,0:52:00.150
vorantreiben kann, müssen wir darüber[br]reden: Wie funktionieren unsere Daten?

0:52:00.150,0:52:03.010
Unter welchen Umständen verwenden wir sie?[br]Wo kommen die Modelle her? Wie

0:52:03.010,0:52:05.990
funktionieren Erklärbarkeit und[br]Reproduzierbarkeit? Aber auch wer trägt

0:52:05.990,0:52:08.990
die Verantwortung? Was sind die[br]Konsequenzen? Und wie führen wir diesen

0:52:08.990,0:52:13.780
Diskurs? Am Ende gilt: Wir müssen[br]umdenken, statt nur zu folgen. Es

0:52:13.780,0:52:17.060
funktioniert nicht, wenn wir einfach so[br]weitermachen wie bisher. Sondern wir

0:52:17.060,0:52:21.010
müssen in manchen Dingen einfach[br]grundlegend auch nochmal nachdenken. Viele

0:52:21.010,0:52:24.430
dieser Maßnahmen sind tatsächlich doppelt[br]hilfreich, begünstigen sich gegenseitig.

0:52:24.430,0:52:27.320
Wir stecken da nicht unbedingt in einem[br]Teufelskreis. Wenn wir systematisch

0:52:27.320,0:52:30.260
arbeiten, dann tun wir der[br]Reproduzierbarkeit gefallen. Aber auch

0:52:30.260,0:52:33.910
unseren Ressourcenverbrauch, weil wir viel[br]weniger nochmal machen müssen, wenn wir

0:52:33.910,0:52:36.940
die Alternativen zu Deep Learning auch[br]nutzen, tun wir der Erklärbarkeit

0:52:36.940,0:52:39.820
Gefallen, aber auch der Datensparsamkeit.[br]Wahrscheinlich, wenn wir den Publications

0:52:39.820,0:52:44.050
Druck senken und damit die Qualität in die[br]Höhe schreiben. Dann fördern wir den

0:52:44.050,0:52:46.620
wissenschaftlichen Anspruch, und wir[br]helfen unserem Ressourcenverbrauch. Aber

0:52:46.620,0:52:50.120
insgesamt ist unsere große Herausforderung[br]momentan in der Gesellschaft verbreitete

0:52:50.120,0:52:53.150
Unwissenheit, und das nicht richtig[br]reflektiert wird, was das für Auswirkungen

0:52:53.150,0:52:57.500
hat, was wir machen und in welchen Skalen[br]bewegen. Damit sagen wir fürs Erste auch

0:52:57.500,0:53:01.240
schon Danke, schön, dass Sie hier waren.[br]Wir haben uns wirklich gefreut gesagt. So

0:53:01.240,0:53:04.240
dürfen wir hoffen. Wir geben ein paar[br]Denkanstöße mit. Wir können dieses Thema

0:53:04.240,0:53:07.070
nur sehr, sehr oberflächlich einsteigen in[br]50 Minuten. Wir sind jetzt schon relativ

0:53:07.070,0:53:10.061
weit in der Zeit. Trotzdem haben wir noch[br]ein paar Minuten für Fragen, aber auch

0:53:10.061,0:53:13.270
über den Vortrag hinaus. Sind wir da froh,[br]wenn Leute sich informieren,

0:53:13.270,0:53:18.510
recherchieren, selbst kritisieren und[br]reflektieren oder auf uns zukommen.

0:53:18.510,0:53:19.190
Dankeschön.

0:53:19.190,0:53:25.010
<i>Applaus</i>

0:53:25.010,0:53:28.830
Herald: Okay, alles klar. Wir haben noch[br]ein paar Minuten Zeit für Fragen.

0:53:28.830,0:53:33.210
Damit wir auch möglichst viele und zügig[br]durchkommen. Bewegt euch doch bitte direkt

0:53:33.210,0:53:37.520
zu den Mikrofonen. Und wir fangen direkt[br]hier mit Mikrofon 4 and.

0:53:37.520,0:53:46.320
Mik 4: Ich versuche, mich kurz zu halten.[br]KI für Autos ist ziemlich faszinierend,

0:53:46.320,0:53:51.200
die unterscheidet zuverlässig zwischen[br]einem Baum und einem Verkehrsschild. Ich

0:53:51.200,0:53:55.660
bin immer wieder enttäuscht, wenn ich KI[br]sehe für Suchmaschinenoptimierung, was ich

0:53:55.660,0:54:01.760
da angeboten bekomme. Ich glaube, das[br]Problem ist die Datengrundlage. Ein Baum,

0:54:01.760,0:54:05.590
da gibts keine Diskussion. Das ist ein[br]Baum. Was ist die schönste Website ist

0:54:05.590,0:54:12.620
oder das nächstbeste Video? Das ist eine[br]Geschmacksfrage. Worauf ich hinaus möchte:

0:54:12.620,0:54:18.620
wäre es nicht sinnvoll oder dringend[br]notwendig, darüber nachzudenken, wie die

0:54:18.620,0:54:24.500
Trainingsdaten qualifiziert sind, ob man[br]die qualitativ einsortieren sollte?

0:54:24.500,0:54:30.280
Nadja: Ich stimme soweit absolut zu,[br]Trainingstagendiskussion steht an. Müssen

0:54:30.280,0:54:34.450
wir führen? Qualität ist extrem wichtig.[br]Das Problem geht aber noch darüber hinaus.

0:54:34.450,0:54:38.660
Zum einen die Frage mit dem Auto und dem[br]Fußgänger, wie uns der Überkräsch 2018

0:54:38.660,0:54:41.740
gezeigt hat, gar nicht so trivial.[br]Festgestellt haben die Annahme, dass

0:54:41.740,0:54:45.150
Fußgänger nur auf dem Fußgängerüberweg zu[br]finden ist, das vielleicht gar nicht so

0:54:45.150,0:54:49.600
realistisch. Trivial ist es also nicht.[br]Natürlich sind Suchmaschinen auch eine

0:54:49.600,0:54:53.520
subjektive Entscheidung. Weil was ich[br]suche, weiß am Ende nur ich. Jemand mit

0:54:53.520,0:54:56.370
der gleichen Suchanfrage sucht vielleicht[br]etwas anderes. Natürlich ist das Internet

0:54:56.370,0:55:00.200
einfach eine extrem riesige Datenbasis mit[br]sehr unsauberen Daten. Das heißt, dass es

0:55:00.200,0:55:02.640
eine völlig andere Herausforderung als[br]Bildklassifikation von autonomen

0:55:02.640,0:55:06.470
Fahrzeugen. Grundsätzlich Trainingstagen,[br]Diskussionen, aber auch über das Monopol

0:55:06.470,0:55:09.641
von solchen Unternehmen, wie Google.[br]Gerade was Suchmaschinen angeht, müssen

0:55:09.641,0:55:14.440
wir definitiv reden. Herald: Alles was,[br]dann machen wir direkt weiter mit einer

0:55:14.440,0:55:18.640
Frage vom Signal-Engel aus dem Internet.[br]Signal-Engel: Das Internet fragt: Sollen

0:55:18.640,0:55:22.650
wir das mit dem Deep Learning dann[br]eigentlich lieber lassen? Oder seht ihr

0:55:22.650,0:55:26.820
auch sinnvolle Anwendungen, zum Beispiel[br]um irgendeinen hohen Datenaufwand für

0:55:26.820,0:55:31.030
freigiebige Nutzer irgendwie zu reduzieren[br]zum Beispiel.

0:55:31.030,0:55:35.080
Benjamin: Es sein zu lassen, ist[br]sicherlich nicht der richtige Ansatz. Das

0:55:35.080,0:55:39.340
zeigt sich ja, dass Deep Learming für[br]bestimmte Dinge sehr wertvoll ist. Wir

0:55:39.340,0:55:43.430
haben jetzt Beispiele gezeigt, wo es gut[br]funktioniert, schlechter funktioniert.

0:55:43.430,0:55:48.340
Gerade bei komplexen Dingen haben wir[br]wenig Ansätze, die anders gut

0:55:48.340,0:55:52.180
funktionieren. Die Verarbeitung[br]menschlicher Sprache zum Beispiel hat

0:55:52.180,0:55:55.710
einen Riesenschritt nach vorne gemacht[br]durch die Deep Learning, weil menschliche

0:55:55.710,0:55:59.250
Sprache so unglaublich komplex ist, dass[br]ich mit allen bisherigen Ansatz, bei denen

0:55:59.250,0:56:02.470
ich Silben zähle und Buchstaben vergleiche[br]oder so etwas nicht so wirklich

0:56:02.470,0:56:07.291
weiterkomme. Da brauche ich ganz viel[br]Wissen rein. Das heißt, man muss, aber man

0:56:07.291,0:56:12.000
muss sich eben überlegen. Ist es für[br]diesen Zweck der richtige Ansatz? Also,

0:56:12.000,0:56:17.180
ich will das jetzt nicht pauschal[br]beantworten. Das muss man sich gründlich

0:56:17.180,0:56:21.580
überlegen. Das sollte sicher Message sein.[br]Nadja: Wir stellen im Prinzip nicht die

0:56:21.580,0:56:24.150
Frage: Sollten wir die Planung verwenden,[br]sondern Wofür sollten wir es verwenden?

0:56:24.150,0:56:29.150
Und was müssen wir vorher bedenken?[br]Herald: Ich versuche, es mit den Fragen

0:56:29.150,0:56:33.040
hier im Raum so halbwegs chronologisch zu[br]machen. Aber mit Mikro 1 weiter.

0:56:33.040,0:56:38.020
Mik 1: Eine Frage zur Reproduzierbarkeit.[br]Ich saß gerade in einem Lightening Talk,

0:56:38.020,0:56:43.750
Da hatte jemand genau das Problem, das[br]nicht reproduzieren konnte. Eine seiner

0:56:43.750,0:56:47.710
Hauptforderungen, um das zu beheben, war,[br]das alles, was man braucht, zum

0:56:47.710,0:56:51.570
Reproduzieren zur Verfügung gestellt wird[br]und dass das auch von Journals enforced

0:56:51.570,0:56:56.920
wird. Über Reviews oder über irgendwelche[br]andere Sachen. Sieht Ihr, dass es

0:56:56.920,0:57:00.840
irgendwelche Bestrebungen in diese[br]Richtung gibt. Oder es ist ein zu großer

0:57:00.840,0:57:05.280
Hype, als dass man da irgendwie eingreifen[br]könnte sinnvoll.

0:57:05.280,0:57:07.680
Benjamin: Es gibt, wie[br]gesagt,

0:57:07.680,0:57:14.450
diese Sigel bei vielen Konferenzen,[br]sicherlich auch bei Journals. Je nach Feld

0:57:14.450,0:57:17.260
in dem Bereich, hier wird gar nicht so[br]viel in Journals publiziert, weil man

0:57:17.260,0:57:21.420
Konferenzen leichter hinkriegt. Und alles[br]geht schneller, Journals dauert irgendwie

0:57:21.420,0:57:25.280
immer zu lang. Es wäre[br]wünschenswert, dass da mehr passiert.

0:57:25.280,0:57:29.770
Dafür müssen sich aber quasi[br]diese Ältestenrates, die sich

0:57:29.770,0:57:33.140
zusammensetzen und diese Konferenzen[br]planen, organisieren, dafür entscheiden,

0:57:33.140,0:57:38.030
dass für sie das auf der Liste auch so[br]weit oben ist, dass sie das erzwingen.

0:57:38.030,0:57:41.440
Bisher ist es alles optional.[br]Wünschenswert wäre es definitiv.

0:57:41.440,0:57:44.400
Nadja: Sicherlich reden wir doch in[br]irgendeiner Form über Regularien. Und

0:57:44.400,0:57:46.620
dabei müssen wir dann immer noch[br]unterscheiden zwischen öffentlich

0:57:46.620,0:57:50.290
geförderten Forschungseinrichtungen und[br]privater Forschung. Das ist nämlich sehr

0:57:50.290,0:57:54.930
unterschiedliche Herausforderungen.[br]Herald: Okay, dann gehen wir gerade mal

0:57:54.930,0:58:01.370
kurz zum Mikro Nr. 7 da ganz am Rand.[br]Mik 7: Hallo, danke für den Vortrag.

0:58:01.370,0:58:05.820
Haltet ihr AGI für möglich? Und wann[br]könnte es soweit sein?

0:58:05.820,0:58:09.240
Nadja: AGI Omnipotenz, Intelligenz oder[br]...

0:58:09.240,0:58:14.030
Mik 7: Artifical General Intelligence.[br]Nadja: Momentaner Forschungsstand "Hell

0:58:14.030,0:58:18.220
know". Das war eine relativ[br]unprofessionelle Antwort. Aber momentan

0:58:18.220,0:58:20.531
haben wir hauptsächlich sehr[br]spezialisierte Expertensysteme, die genau

0:58:20.531,0:58:25.460
ein detailreichen Task machen kann. Selbst[br]bei Sprachassistenzsystemen, die irgendwie

0:58:25.460,0:58:29.530
ein Paar Tasks, die noch immer eine sehr[br]eingeschränkte Menge machen, haben in

0:58:29.530,0:58:32.890
aktuellen Forschungsstand zwar große[br]Fortschritte, aber man kann sie ja sehr

0:58:32.890,0:58:36.800
einfach die Schwächen ausnutzen. Es gibt[br]eine total spannende Professorin in USA,

0:58:36.800,0:58:39.890
die sagt, gibt mir irgendeinen[br]Sprachverarbeitungsystem, in drei Fragen

0:58:39.890,0:58:43.460
mache ich spätestens kaputt, und sie hat[br]es bisher immer geschafft. Wir haben

0:58:43.460,0:58:47.470
momentan mit dem aktuellen Stand der[br]Technik ziemlich krasse Limitationen in

0:58:47.470,0:58:51.980
den nächsten Jahren. Ich persönlich nicht[br]kommen. Grundsätzlich ist die künstliche

0:58:51.980,0:58:55.480
Intelligenz aber auf allen Ebenen etwas,[br]das sie im Auge behalten sollen. Also ich

0:58:55.480,0:58:57.770
würde auch wiederum nicht behaupten, dass[br]davon keinerlei Gefahr ausgeht.

0:58:57.770,0:58:59.210
Benjamin: Es ist aber[br]auch nicht der

0:58:59.210,0:59:01.990
zentrale Punkt zur Zeit. [br]Das meiste, was, woran die Leute

0:59:01.990,0:59:05.680
forschen, sind spezialisierte Systeme und[br]vielleicht noch zusätzliche Systeme, die

0:59:05.680,0:59:09.250
vorne dran gestellt werden, die dann[br]entscheiden, an welches Teilsystem das

0:59:09.250,0:59:14.190
Ganze weitergereicht wird. Aber daran zu[br]forschen, ein weltverstehendes System, was

0:59:14.190,0:59:18.160
irgendwie auch noch beliebige Formate von[br]Antworten geben kann, so sowas zu bauen,

0:59:18.160,0:59:21.890
das gibt es sicherlich die Forschung. Aber[br]es ist nicht das, was irgendwie auch in

0:59:21.890,0:59:25.770
den Publikationen Platz findet, weil man[br]dort überhaupt nicht soweit wäre und das

0:59:25.770,0:59:29.240
andere einfach viel einfacher ist und man[br]da vielleicht was veröffentlichen kann.

0:59:29.240,0:59:31.850
Wen das Fachliche interessiert, wäre das ein [br]schönes Einstiegspunt in das ein semantische

0:59:31.850,0:59:34.820
Modellierung. Weil wir bei vielen[br]Künstliche Intelligenzen darüber sprechen,

0:59:34.820,0:59:37.720
ist das Allgemeinwissen,[br]Hintergrundwissen, diese ganzen Sachen

0:59:37.720,0:59:40.780
fehlen und die Darstellung dafür auch. Das[br]ist eine der großen Herausforderungen,

0:59:40.780,0:59:44.320
so als Stichwort.[br]Herald: Okay. Nehmen wir doch eine Frage

0:59:44.320,0:59:47.640
aus dem Internet.[br]Signal-Engel: Ich sage erst mal Liebe

0:59:47.640,0:59:53.740
Grüße aus D. 120, das wisst ihr jetzt[br]besser als ich. <i>Nadja lacht</i> Die Frage

0:59:53.740,0:59:58.370
ist Ist die Reproduzierbarkeit nur oder[br]gerade im Deep Learning ein Problem, oder

0:59:58.370,1:00:01.550
betrifft das nicht sogar große Teile der[br]machienelearning Forschung?

1:00:01.550,1:00:03.450
Nadja: Definitiv große Teile[br]der machiene learning

1:00:03.450,1:00:05.430
Forschung. Ehrlich gesagt auch[br]darüber hinaus.

1:00:05.430,1:00:09.080
Reproduzierbarkeit ist bei[br]fast allen wissenschaftlichen

1:00:09.080,1:00:12.270
Publikationen ein Faktor, es gibt nur die[br]Sachen, die dafür anfälliger und weniger

1:00:12.270,1:00:15.270
anfällig sind. Gerade wenn man über[br]digitale Themen reden. Aber an sich

1:00:15.270,1:00:17.961
Reproduzierbarkeit ist immer in der[br]Forschung gewünscht und leider nicht weit

1:00:17.961,1:00:20.870
genug verbreitet. Also defintiv die[br]gesamte Informatik generell.

1:00:20.870,1:00:28.030
Benjamin: Generell vieles, was wir hier[br]gesagt haben, trifft auf machiene learning

1:00:28.030,1:00:31.571
im Allgemeinen zu. Aber das Deep Learning,[br]gerade durch diese riesigen Datenmengen

1:00:31.571,1:00:35.580
und so weiter. Da treten die Effekte[br]verstärken besonders auf. Deswegen haben

1:00:35.580,1:00:38.640
wir uns hier darauf konzentriert. Aber man[br]kann es auch beliebig...

1:00:38.640,1:00:41.770
Nadja: Und gerade weil es ein Passwort[br]ist, macht es auch nochmal

1:00:41.770,1:00:45.750
anfälliger dafür .[br]Herald: Ok, dann Mikrophon Nr. 8.

1:00:45.750,1:00:51.170
Mik 8: Daran anschließend. Ich hab[br]irgendwie das Gefühl, dass es ein großer

1:00:51.170,1:00:56.480
Teil auch Publicationsbios ist, wo so[br]lange gespielt wird an den Daten, bis

1:00:56.480,1:01:02.781
irgendwie ein Ergebnis raus kommt. Und ich[br]hab, es ist so einen Trend in der Psychologie, wo

1:01:02.781,1:01:06.080
die das Problem ganz massiv hatten. Und[br]die haben das dadurch gelöst, dass die

1:01:06.080,1:01:10.510
sagen, Hey, ich muss die Studien bei[br]manchen Journals vorregistrieren, so: Dass

1:01:10.510,1:01:14.520
sind meine. Das möchte ich machen. Und[br]dann kommt am Ende vielleicht ein

1:01:14.520,1:01:19.560
negativer Ergebnis raus. Gibt es da[br]Bemühungen, machiene learning, sodass man

1:01:19.560,1:01:24.731
sagt: Ich publiziere den Korpus vorher,[br]den ich auf dem ich lernen will, und wenn

1:01:24.731,1:01:28.020
dann nichts funktioniert, dann ist das[br]halt so.

1:01:28.020,1:01:29.490
Nadja: Ich würde [br]sagen, es ist relativ schwer

1:01:29.490,1:01:32.510
zu beantworten für den Bereich,[br]weil es vielleicht nicht ganz so

1:01:32.510,1:01:36.750
funktioniert. Ein Datenkorpus zu[br]publizieren an sich. Es gibt zum Daten

1:01:36.750,1:01:40.801
Konferenzen, die sich einfach auf sowas[br]konzentrieren. Aber auf einem Korpus kann

1:01:40.801,1:01:46.460
ich sehr viele Dinge tun, und dadurch[br]hilft mir das noch nicht unbedingt. Ich

1:01:46.460,1:01:50.900
glaube, dass da die Fragestellung einfach[br]komplexer ist. Ich kenne keine konkreten

1:01:50.900,1:01:53.450
Bemühungen, die jetzt in eine Richtung[br]gehen. Ich fände es wünschenswert...

1:01:53.450,1:01:58.770
Benjamin: Es wäre definitiv wünschenswert.[br]Aber es wird in der Form kaum gemacht. Es

1:01:58.770,1:02:03.200
sind eben keine. Ich bin bisher fast[br]nirgendwo. Oder bei den großen

1:02:03.200,1:02:08.070
Konferenzen bin ich niemals gezwungen,[br]vorher zu sagen, was ich glaube, wie es

1:02:08.070,1:02:13.141
ausgeht, sondern ich liefere erst wenn ich[br]mein Ergebnis vorstelle, sage ich, was da

1:02:13.141,1:02:17.510
rauskommt und welche Fehlschläge ich hatte[br]und ob ich überhaupt verklausuliert ins

1:02:17.510,1:02:20.540
Paper reinschreiben oder ob es komplett[br]sein lasse. Da zwingt mich niemand zu.

1:02:20.540,1:02:24.200
Nadja: Es gibt ein paar Bestrebungen, die[br]Publikation von Fehlschlägen oder

1:02:24.200,1:02:28.231
Messergebnissen zu machen. Aber auch das[br]wird immer noch von so vielen Leuten

1:02:28.231,1:02:31.510
belächelt, so als Unterhaltungsmedium mehr[br]als ernst zu nehmende Wissenschaft. Das

1:02:31.510,1:02:34.110
glaube ich auch ein Problem, weil [br]dadurch die gleichen

1:02:34.110,1:02:36.190
Fehler z.B. im machiene learning, [br]gerade wo wir nicht

1:02:36.190,1:02:38.440
systematisch arbeiten,[br]sondern auch ein bisschen nach

1:02:38.440,1:02:42.190
Bauchgefühl gehen müssen, wiederholt[br]werden, was eigentlich unmöglich ist.

1:02:42.190,1:02:46.050
Dieser typische Satz, das weiß man doch,[br]dass der Ansatz da nicht funktioniert.

1:02:46.050,1:02:48.010
Woher soll man das wissen, wenn [br]man noch studiert?

1:02:48.010,1:02:54.240
Herald: Okay, wir haben noch Zeit für eine[br]kurze Frage und gehen zum Mikrofon 5.

1:02:54.240,1:03:01.570
Mik 5: Ich will ein paar Details zu dieser[br]Beschreibung von Black Box Wissen. Ich

1:03:01.570,1:03:08.560
weiß, dass man durch featuremaps das[br]Netzwerk untersuchen kann, und wollte

1:03:08.560,1:03:14.370
wissen, was hier eine Blackbox, weil es[br]ist nicht so Black entscheidend.

1:03:14.370,1:03:18.390
Nadja: Es kommt drauf an wie die Systeme[br]gebaut sind. Es gibt zum Beispiel einen

1:03:18.390,1:03:23.620
Ansatz von Explainable Neural Netz (ExNN),[br]durchaus Valides Konzepts, und es wird

1:03:23.620,1:03:28.920
auch eingesetzt. Es gibt aber auch[br]Architekturen, die per se erst einmal

1:03:28.920,1:03:33.540
völlig unlesbar sind, und die Ansätze, die[br]darauf existierende Erklärbarkeit

1:03:33.540,1:03:37.350
reinzubringen, sind noch sehr beschränkt.[br]Es gibt sie. Sie tun auch sinnvolle Dinge

1:03:37.350,1:03:41.220
im Bereich, aber zum Beispiel beschränken[br]sie sich oft nur auf den Bereich des

1:03:41.220,1:03:44.650
eigentlichen Modells, was trainiert wurde.[br]Die Pipeline der Maschinenlearning ist aber

1:03:44.650,1:03:49.090
viel länger. Die beginnt ja schon bei der[br]Datenerhebung, bei der Auswahl, bei der

1:03:49.090,1:03:52.080
Verarbeitung. Bei der Auswahl der[br]Features, aber auch beim PostProcessing,

1:03:52.080,1:03:56.200
bei Evaluationsmetriken und so weiter. [br]Das sind alles irgendwo Stellschrauben für

1:03:56.200,1:04:00.420
Erklärbarkeit. Wir haben da auf jeden Fall[br]noch einen weiten Weg vor uns. Aber klar,

1:04:00.420,1:04:03.200
es gibt Bestrebungen in die Richtung, die[br]auch durchaus funktionieren

1:04:03.200,1:04:05.660
für das, wofür Sie gedacht sind.[br]Herald: Okay, dann sind wir am Ende der

1:04:05.660,1:04:11.200
Zeit angekommen. Vielen Dank nochmal Nadja[br]und Benjamin.

1:04:11.200,1:04:15.556
<i>Applaus</i>

1:04:15.556,1:04:34.640
<i>36c3 Abspannmusik</i>

1:04:34.640,1:04:38.785
Untertitel erstellt von c3subtitles.de[br]im Jahr 2020. Mach mit und hilf uns!