1
00:00:00,000 --> 00:00:18,660
<i>36C3 Vorspannmusik</i>

2
00:00:18,660 --> 00:00:25,180
Herald: Ich freue mich ganz besonders,
jetzt den nächsten Vortrag ankündigen zu

3
00:00:25,180 --> 00:00:29,720
können, der zwei Themen vereint, die ich
beide interessant finde. Zwar geht es zum

4
00:00:29,720 --> 00:00:33,822
einen um Machine Learning, im Speziellen
Deep Learning, aber auch gleichzeitig um

5
00:00:33,822 --> 00:00:40,280
Nachhaltigkeit. Wie das Ganze verbunden
werden kann und ob vielleicht der Deep

6
00:00:40,280 --> 00:00:44,591
Learning Hype irgendwie doch zu groß ist,
erklären uns Nadja Geisler und Benjamin

7
00:00:44,591 --> 00:00:48,910
Hättasch, die an der TU Darmstadt arbeiten
und forschen oder irgendwo zwischendrin

8
00:00:48,910 --> 00:00:55,290
sind. Und deswegen will ich jetzt gar
nicht weiter groß reden und freue mich auf

9
00:00:55,290 --> 00:00:57,739
den Talk. Herzlich willkommen, Nadja und
Benjamin!

10
00:00:57,739 --> 00:01:04,189
<i>Applaus</i>

11
00:01:04,189 --> 00:01:07,120
Nadja Geisler: Herzlichen Dank! Hallo
erstmal und schön, dass wir hier sein

12
00:01:07,120 --> 00:01:10,740
können, schön das ihr alle hier seid. Wir
freuen uns wirklich wahnsinnig. Es ist für

13
00:01:10,740 --> 00:01:13,770
uns beide auch der erste Kongress, und das
ist etwas ganz Besonderes dann auch gleich

14
00:01:13,770 --> 00:01:18,100
hier oben zu stehen. Ich bin Nadja und wie
er schon gesagt hat, bin ich mit dem

15
00:01:18,100 --> 00:01:20,300
Master-Studium an der TU Darmstadt fertig
und werde wahrscheinlich demnächst dort

16
00:01:20,300 --> 00:01:25,010
anfangen zu promovieren.
Benjamin Hättasch: Ich mache das schon

17
00:01:25,010 --> 00:01:29,320
seit zwei Jahren und habe festgestellt:
Ich will mich nicht nur damit

18
00:01:29,320 --> 00:01:32,810
beschäftigen, irgendwie toll Deep Learning
anzuwenden, sondern ein bisschen drüber

19
00:01:32,810 --> 00:01:36,229
nachzudenken, was das alles so bedeutet.
Und weil wir da einiges herausgefunden

20
00:01:36,229 --> 00:01:38,920
haben, sind wir heute hier, um euch das
auch zu erzählen.

21
00:01:38,920 --> 00:01:42,970
Nadja: Unser Talk ist so zustande
gekommen, dass wir das 36C3 Motto gesehen

22
00:01:42,970 --> 00:01:47,590
haben und uns dachten: Nachhaltigkeit
vereint doch eigentlich mehrere Aspekte,

23
00:01:47,590 --> 00:01:50,240
die wir schon immer spannend fanden, was
das Thema Deep Learning und maschinelles

24
00:01:50,240 --> 00:01:53,960
Lernen angeht. Aspekte, die sich unter dem
Stichwort zusammenfassen lassen, obwohl

25
00:01:53,960 --> 00:01:56,829
sie an sich sehr unterschiedlich sind und
mit dem wir uns in verschiedene Art schon

26
00:01:56,829 --> 00:02:00,539
beschäftigt hatten. Zu den Aspekten wollen
wir euch heute was erzählen, weil gerade

27
00:02:00,539 --> 00:02:04,299
das Thema Nachhaltigkeit momentan
besonders aktuell, besonders wichtig und

28
00:02:04,299 --> 00:02:09,520
besonders relevant für unsere Zukunft ist.
Bevor wir aber auf die drei verschiedenen

29
00:02:09,520 --> 00:02:12,370
Ebenen von Nachhaltigkeit, über die wir
reden wollen, eingehen, das ist die

30
00:02:12,370 --> 00:02:15,550
wissenschaftliche Ebene, die
gesellschaftliche Ebene und die Umwelt-

31
00:02:15,550 --> 00:02:19,790
Ebene, müssen wir zuerst klären: Wovon
reden wir, wenn wir Deep Learning sagen?

32
00:02:19,790 --> 00:02:23,770
Was sind die absoluten Basics für das, was
wir die nächsten 30, 45 Minuten reden

33
00:02:23,770 --> 00:02:28,370
werden? Was müsst ihr wissen, damit wir
euch gut mitnehmen können? Und das wollen

34
00:02:28,370 --> 00:02:31,190
wir jetzt machen. Das beinhaltet unter
anderem: was meinen Sie damit, wenn wir

35
00:02:31,190 --> 00:02:34,430
Deep Learning sagen? Wie funktioniert das
auf einer intuitiven Ebene, nicht so sehr

36
00:02:34,430 --> 00:02:38,360
auf einer detailreichen technischen Ebene?
Und wozu wird das aktuell jetzt schon

37
00:02:38,360 --> 00:02:44,920
angewendet? Und wenn Deep Learning sagen,
dann vor allem dieses Konstrukt, was sich

38
00:02:44,920 --> 00:02:50,290
dann neuronales Netz nennt, Artificial
Neural Network auf Englisch. Das sind so

39
00:02:50,290 --> 00:02:53,500
Machine Learning Konstrukte, die es schon
sehr lange gibt, die dann zwischendurch

40
00:02:53,500 --> 00:02:56,360
mal eine starke Flaute in der Beliebtheit
haben, weil sie eben doch nicht die

41
00:02:56,360 --> 00:03:00,070
Ergebnisse gebracht haben, die man sich
erhofft hatte. Inzwischen sind sie wieder

42
00:03:00,070 --> 00:03:04,670
extrem beliebt, um alle möglichen
Probleme, Aufgaben im maschinellen Lernen

43
00:03:04,670 --> 00:03:09,790
anzugehen. Dabei bezeichnet ein neuronales
Netz im Wesentlichen eine Verknüpfung von

44
00:03:09,790 --> 00:03:13,510
Knoten. Diese Knoten können je nach
Architektur verschieden miteinander

45
00:03:13,510 --> 00:03:16,210
vernetzt und durch verschiedene
mathematische Funktionen verbunden sein.

46
00:03:16,210 --> 00:03:20,730
Jeder Knoten wiederum repräsentiert
eigentlich nur eine nichtlineare

47
00:03:20,730 --> 00:03:25,500
Berechnungsfunktion. So weit, so logisch.
Wir berechnen also sehr, sehr viel. Und

48
00:03:25,500 --> 00:03:28,820
wenn diese Gewichte zwischen den
Berechnungen erst einmal fertig bestimmt

49
00:03:28,820 --> 00:03:32,340
sind, sprich wenn das neuronale Netz
trainiert ist, dann lässt sich für jede

50
00:03:32,340 --> 00:03:37,030
numerische Eingabe, die man im Netz gibt,
auch eine entsprechende Ausgabe bestimmen.

51
00:03:37,030 --> 00:03:40,640
Diese Ausgabe macht dann Aussagen über
irgendwelche Größen, über irgendwelche

52
00:03:40,640 --> 00:03:44,330
Klassifizierungen oder irgendwelche
Zuordnungen. Die wichtigste Voraussetzung

53
00:03:44,330 --> 00:03:47,860
für viele, wenn auch nicht alle Arten von
neuronalen Netzen, sind entsprechende

54
00:03:47,860 --> 00:03:51,660
Trainingsdaten und die auch noch in großer
Menge. Ob diese Trainingsdaten gelabelt

55
00:03:51,660 --> 00:03:55,280
sein müssen, also so etwas wie schon eine
Bezeichnung der eigentlichen Zielgröße

56
00:03:55,280 --> 00:03:59,310
haben müssen vorher oder nicht, das kann
unterschiedlich sein, ist aber an der

57
00:03:59,310 --> 00:04:02,310
Stelle auch gar nicht so relevant. Was wir
brauchen, sind wahrscheinlich sehr, sehr

58
00:04:02,310 --> 00:04:05,880
viele Daten, wenn wir mit neuronalen
Netzwerken arbeiten wollen. Anhand dieser

59
00:04:05,880 --> 00:04:09,970
Daten, die möglichst vielfältig, möglichst
repräsentativ sein sollten für die spätere

60
00:04:09,970 --> 00:04:14,560
Wirklichkeit oder das, was wir dann damit
bearbeiten und einfangen wollen, daran

61
00:04:14,560 --> 00:04:19,230
wird das Modell gelernt. Um das Modell
später einzusetzen, das sieht man hier

62
00:04:19,230 --> 00:04:22,449
ganz gut, wenn man einmal von links nach
rechts schaut, braucht man zunächst

63
00:04:22,449 --> 00:04:25,430
Inputdaten. Die müssen in einem
numerischen Format sein. Wie man da

64
00:04:25,430 --> 00:04:27,840
hinkommt? Das sind sehr viele verschiedene
Methoden, aber an dieser Stelle auch gar

65
00:04:27,840 --> 00:04:31,410
nicht so weit relevant. Diese Inputdaten
gehen dann zu diesen Knoten, zu den

66
00:04:31,410 --> 00:04:35,570
Neuronen, und jedes Neuron repräsentiert
irgendwo an bestimmte eine bestimmte

67
00:04:35,570 --> 00:04:39,320
Eigenschaft, ein bestimmtes Feature. Bei
einer Bilderkennung könnte das eine Kante

68
00:04:39,320 --> 00:04:42,160
sein oder eine Ecke oder ein
Helligkeitsunterschied, ganz verschiedene

69
00:04:42,160 --> 00:04:46,710
Dinge. Je weiter wir in das neuronalen
Netz reingehen, je tiefer die Ebenen

70
00:04:46,710 --> 00:04:49,860
werden, desto höher-levelig sind die
Eigenschaften, die wir repräsentieren. Das

71
00:04:49,860 --> 00:04:52,850
Problem bei der ganzen Sache ist
normalerweise, dass wir gar nicht so genau

72
00:04:52,850 --> 00:04:56,850
wissen, was dieses Neuron repräsentiert.
Bei einem Algorithmus, der Bilder

73
00:04:56,850 --> 00:05:00,330
klassifiziert, der zum Beispiel Hunde und
Wölfe voneinander entscheiden kann, können

74
00:05:00,330 --> 00:05:03,310
wir uns nicht ein Neuron anschauen und
können sagen: Aha! Das da schaut, ob da

75
00:05:03,310 --> 00:05:06,650
eine Kante ist, die einen Schwanz
repräsentieren könnte. Sondern es sind für

76
00:05:06,650 --> 00:05:10,110
uns einfach irgendwelche Zahlenwerte, die
wir nicht weiter interpretieren können.

77
00:05:10,110 --> 00:05:13,200
Das bedeutet, wir haben Black Box Modelle.
Wir verstehen also nicht im Detail,

78
00:05:13,200 --> 00:05:15,830
welches Gewicht wofür steht, was wir
eigentlich gelernt haben. Und im

79
00:05:15,830 --> 00:05:19,820
Endeffekt, wenn ein Input reingeht, warum
der Output rauskommt, der am Ende

80
00:05:19,820 --> 00:05:27,030
tatsächlich herauskommt. Das bildet also
im Prinzip die Basis für alle Systeme, die

81
00:05:27,030 --> 00:05:29,240
irgendwie als Teil von Deep Learning
bezeichnet werden.

82
00:05:29,240 --> 00:05:35,650
Benjamin: Was wir da an der Stelle also
haben, ist: Wir nehmen Mathe, wir nehmen

83
00:05:35,650 --> 00:05:43,010
große Mengen von Daten und wenden einfach
Tricks aus der Statistik an. Wir nutzen

84
00:05:43,010 --> 00:05:47,240
aus, dass bestimmte Dinge, wenn man es nur
oft genug betrachtet, wenn man es nur oft

85
00:05:47,240 --> 00:05:52,400
genug anwendet, durchführt, dann eine
gewisse Systematik ergeben, dass man

86
00:05:52,400 --> 00:05:58,590
Muster erkennen kann. Wir generalisieren.
Wie man hier also sieht, werden einfach

87
00:05:58,590 --> 00:06:06,880
Tricks übernommen, die es in der Statistik
schon seit vielen hundert Jahren gibt. Und

88
00:06:06,880 --> 00:06:11,050
dafür angewandt, um jetzt irgendwie zu
versuchen, aus einem Haufen Daten, ohne

89
00:06:11,050 --> 00:06:15,370
ihn wirklich zu verstehen, ohne genau zu
wissen, was da drinsteckt, einfach durch

90
00:06:15,370 --> 00:06:21,053
schiere Masse, Muster zu erkennen und
dann hoffentlich zu wissen: Okay, wenn ich

91
00:06:21,053 --> 00:06:25,610
jetzt weit genug generalisiert habe, wird
mein System schon irgendwie gut genug sein

92
00:06:25,610 --> 00:06:34,940
für mein Anwendungszweck. Das hat aber,
obwohl der Name Deep Learning und

93
00:06:34,940 --> 00:06:41,250
Künstliche Intelligenz, alles nicht so
wahnsinnig viel damit zu tun, was wir als

94
00:06:41,250 --> 00:06:47,160
Intelligenz verstehen, was wir als Lernen
verstehen. Der Tweet hier fasst das ganz

95
00:06:47,160 --> 00:06:52,690
gut zusammen. Er sagt, das menschliche
Hirn funktioniert ganz anders. Wenn das

96
00:06:52,690 --> 00:06:55,990
menschliche Hirn so wie Deep Learning
funktionieren würde, dann müssten wir

97
00:06:55,990 --> 00:07:01,160
einfach 200 mal ins Gesicht geschlagen
werden, bevor wir überhaupt raffen, dass

98
00:07:01,160 --> 00:07:04,370
wir das nicht mögen. So ist das
tatsächlich wenn ich bei Deep Learning,

99
00:07:04,370 --> 00:07:09,040
wenn ich ihm 50, 100, 200 Wölfe und Hunde
zeige, dann weiß das System noch gar

100
00:07:09,040 --> 00:07:14,139
nichts, weil es nicht schnell genug
interpretieren kann, nicht genug Kontext-

101
00:07:14,139 --> 00:07:17,870
Informationen einbeziehen kann, nicht
genug von all dem nutzen können, was das

102
00:07:17,870 --> 00:07:22,690
menschliche Hirn, was wir können, wenn wir
irgendwas machen, um irgendwie

103
00:07:22,690 --> 00:07:27,910
Entscheidungen zu treffen. Und das ist ein
großes Problem. Warum genau, werden wir

104
00:07:27,910 --> 00:07:36,370
gleich nochmal im Detail besprechen. Sorgt
aber dafür, dass wir einfach nur auf Masse

105
00:07:36,370 --> 00:07:39,699
gehen und dadurch einfach eine bestimmte
Genauigkeit so leicht nicht erreichen

106
00:07:39,699 --> 00:07:43,410
können, wie wir sie gerne hätten.
Nadja: Die intuitive Ursprungsidee hinter

107
00:07:43,410 --> 00:07:47,870
neuronalen Netzen war tatsächlich mal
sozusagen die Funktionalität des Gehirns

108
00:07:47,870 --> 00:07:51,060
nachzubauen. Unsere Neuronen feuern auch,
sind miteinander vernetzt, können

109
00:07:51,060 --> 00:07:55,570
irgendwelche Dinge auslösen. Das ist aber
heutzutage nicht mehr wie Neuronale Netze

110
00:07:55,570 --> 00:07:58,639
funktionieren. Wir bilden damit nicht
wirklich die Funktion organischer Gehirne

111
00:07:58,639 --> 00:08:01,919
nach, sondern und das war zwar die
Intuition dahinter, das funktioniert aber

112
00:08:01,919 --> 00:08:08,030
tatsächlich sehr anders. Der für uns
interessante Teil ist aber inzwischen, wie

113
00:08:08,030 --> 00:08:11,920
wird das Ganze eigentlich angewendet, wo
begegnet uns das im Alltag, nicht nur in

114
00:08:11,920 --> 00:08:15,480
Forschungslabors, nicht nur in
akademischen Institutionen, sondern auch

115
00:08:15,480 --> 00:08:18,970
tatsächlich in Systemen, die wir jeden Tag
benutzen, die inzwischen weit verbreitet

116
00:08:18,970 --> 00:08:23,620
sind. Mit allen Nach- und Vorteilen, nach
der großen Flaute, von der wir es eben

117
00:08:23,620 --> 00:08:28,470
schon kurz hatten, erlebt das Feld gerade
wieder ein riesiges Hoch, und sie sind in

118
00:08:28,470 --> 00:08:31,610
so vielen Bereichen im Einsatz, dass einen
kurzen Überblick davon zu verschaffen

119
00:08:31,610 --> 00:08:35,519
quasi unmöglich ist. Extrem weit
verbreitet sind Sachen wie

120
00:08:35,519 --> 00:08:39,370
Sprachassistenten. In den letzten Jahren
Siri, Alexa, Echo, all das. Sie müssen so

121
00:08:39,370 --> 00:08:42,199
etwas können, wie Sprachverarbeitung, die
müssen so etwas können wie

122
00:08:42,199 --> 00:08:45,370
Textverarbeitung, die müssen
Sprachsynthese beherrschen, sie müssen

123
00:08:45,370 --> 00:08:47,710
auch irgendwo Information Retrieval
beherrschen und tatsächlich auch die

124
00:08:47,710 --> 00:08:52,599
Informationen aus dem riesigen
Informationscluster, der das Internet nun

125
00:08:52,599 --> 00:08:57,860
mal ist, hervorzuholen. Aber auch weit
verbreitet durch solche Unternehmen wie

126
00:08:57,860 --> 00:09:01,050
Tesla oder Uber sind inzwischen die
Bereiche des autonomen Fahrens oder

127
00:09:01,050 --> 00:09:04,779
generell des autonomen Transports, die
sich dann eher mit vielleicht

128
00:09:04,779 --> 00:09:08,730
Bilderkennung bearbeiten müssen, mit
Navigation, mit Fein-Kontrolle an

129
00:09:08,730 --> 00:09:12,600
motorischen Bauteilen etc. Nicht ganz so
offensichtlich, aber dennoch, wenn man

130
00:09:12,600 --> 00:09:16,509
darüber nachdenkt oder wenn man es gesagt
bekommt, dann doch sehr gut sichtbar: Für

131
00:09:16,509 --> 00:09:20,410
alle Menschen im Alltag sind
Recommendation Systems, so etwas wie

132
00:09:20,410 --> 00:09:23,750
"Amazon Kunden kauften auch", "Sie könnte
interessieren", alles, was uns irgendwie

133
00:09:23,750 --> 00:09:28,660
Vorschläge generiert. Die Sortierung von
Google Ergebnissen oder generell von

134
00:09:28,660 --> 00:09:32,339
Suchmaschinen, wie mir Ergebnisse
angezeigt werden, was wie gerankt wird.

135
00:09:32,339 --> 00:09:36,360
Aber auch sowas wie, was zeigt mir mein
Facebook Newsfeed überhaupt an? Wer

136
00:09:36,360 --> 00:09:40,119
bekommt was, wann und wie oft zu sehen?
Das ist bei weitem nicht so

137
00:09:40,119 --> 00:09:44,529
straightforward, nicht so offensichtlich,
wie sich das viele Leute denken. Deutlich

138
00:09:44,529 --> 00:09:48,279
weniger bekannt sind dann schon Systeme,
die sowas wie

139
00:09:48,279 --> 00:09:52,020
Rückfälligkeitseinschätzungen für
straffällig gewordene machen, die in

140
00:09:52,020 --> 00:09:55,589
Gerichtsverfahren dazu verwendet werden,
um anhand von irgendwelchen Scores

141
00:09:55,589 --> 00:10:02,100
Strafmaße zu vergeben. Das geschieht in
den USA schon seit Jahren. Aber auch

142
00:10:02,100 --> 00:10:05,770
Sachen, die anhand von Gesichtserkennung
versuchen, verdächtige Personen zu

143
00:10:05,770 --> 00:10:12,279
identifizieren, oder die Scoring
Algorithmen, die für irgendwelche sozialen

144
00:10:12,279 --> 00:10:16,810
Systeme verwendet werden oder zur
Einschätzung für Versicherungen verwendet

145
00:10:16,810 --> 00:10:21,939
werden. Aber auch Einstellungsverfahren,
die anhand von Stichwörtern, von

146
00:10:21,939 --> 00:10:26,160
Lebensläufen, noch bevor jemals jemand auf
die Unterlagen drauf geschaut hat,

147
00:10:26,160 --> 00:10:31,589
Kandidatinnen aussortieren.
Benjamin: Diese Systeme arbeiten auch da

148
00:10:31,589 --> 00:10:35,140
wieder so, dass wir häufig nicht
verstehen, genau was sie tun. Teilweise

149
00:10:35,140 --> 00:10:38,889
so, dass man im Nachhinein denkt: Um
Gottes Willen, wie können die so

150
00:10:38,889 --> 00:10:43,480
funktionieren? Das heißt, sowohl diese
Einstellung bei Gesichtsinterpretation

151
00:10:43,480 --> 00:10:49,819
oder für Bewerbungsverfahren, wo ein 15
sekündiges Video analysiert wird,

152
00:10:49,819 --> 00:10:54,499
übernimmt regelmäßig solche Systeme wie,
wir messen jetzt Abstand zwischen Augen,

153
00:10:54,499 --> 00:10:58,561
Nase, Mund, was weiß ich, was wir leider,
wenn man ganz ehrlich ist, kennen aus

154
00:10:58,561 --> 00:11:03,660
irgendwelcher Genetik, die die Nazis
betrieben haben, um irgendwelche

155
00:11:03,660 --> 00:11:10,139
überlegenen Rassen zu identifizieren. Und
solche Dinge werden in Systemen heutzutage

156
00:11:10,139 --> 00:11:14,230
eingesetzt. Nicht unbedingt absichtlich.
Aber wenn man sich die Mühe macht zu

157
00:11:14,230 --> 00:11:17,379
verstehen, was das System eigentlich
tut, stellt man plötzlich mit großem

158
00:11:17,379 --> 00:11:21,119
Bedauern fest, dass es genau das tut.
Nadja: In all diesen Bereichen, in allen

159
00:11:21,119 --> 00:11:24,620
Unteraufgaben davon und noch viel mehr
kommen diese Deep Learning Systeme mit all

160
00:11:24,620 --> 00:11:28,300
ihren Nachteilen und oftmals mit
unbeabsichtigten Nebenwirkungen aktuell

161
00:11:28,300 --> 00:11:34,379
zum Einsatz. Und es werden immer mehr.
Genug dazu, was die Grundlage ist, genug

162
00:11:34,379 --> 00:11:37,300
dazu, was wir unter Deep Learning
verstehen und wo es angewendet wird. Wir

163
00:11:37,300 --> 00:11:39,389
wollen uns als nächstes mit
wissenschaftlicher Nachhaltigkeit

164
00:11:39,389 --> 00:11:44,190
beschäftigen. Und die erste Frage, die
sich die meisten Leute dazu stellen: Was

165
00:11:44,190 --> 00:11:47,699
bedeutet denn wissenschaftliche
Nachhaltigkeit eigentlich? Wenn wir das

166
00:11:47,699 --> 00:11:51,999
sagen, meinen wir solche Fragen wie, wie
relevant ist eigentlich das Thema, an dem

167
00:11:51,999 --> 00:11:56,100
wir forschen? Wie relevant sind meine
Ergebnisse für die Zukunft, für die

168
00:11:56,100 --> 00:12:00,079
weitere Entwicklung des Feldes, für den
Alltag der Menschen, um die es

169
00:12:00,079 --> 00:12:04,529
letztendlich geht? Wir fragen uns aber
auch: Können wir diese Ergebnisse

170
00:12:04,529 --> 00:12:09,129
überhaupt reproduzieren? Kann irgendjemand
anderes, wenn er dieses Paper gelesen hat,

171
00:12:09,129 --> 00:12:11,879
zu den gleichen Zahlen, zu dem gleichen
Ergebnis oder zumindest zu der gleichen

172
00:12:11,879 --> 00:12:16,399
Größenordnung kommen? Haben wir die dazu
notwendigen Mittel? Haben wir die Details

173
00:12:16,399 --> 00:12:21,450
publiziert? Und sind die Ergebnisse so
verlässlich, dass es möglich ist? Wir

174
00:12:21,450 --> 00:12:24,399
meinen auch: Können wir Dinge, die in der
Forschung entwickelt werden,

175
00:12:24,399 --> 00:12:28,110
wiederverwenden? Oder sind sie nur für
diese eine sehr spezielle Aufgabe

176
00:12:28,110 --> 00:12:32,559
relevant? Wir meinen auch: Sind wir
konkurrenzfähig? Oder sind andere Systeme,

177
00:12:32,559 --> 00:12:36,709
die mit den gleichen oder sogar weniger
Aufwand entwickelbar, einsetzbar sind,

178
00:12:36,709 --> 00:12:41,300
nicht vielleicht sogar besser? Wir meinen
auch: Mit welcher Systematik wurde dieses

179
00:12:41,300 --> 00:12:45,889
System gebaut? Nach welchem System wurde
untersucht, was an dieser Stelle hilfreich

180
00:12:45,889 --> 00:12:49,920
ist und was nicht? Oder war das völlig
willkürlich? Und schlussendlich meinen wir

181
00:12:49,920 --> 00:12:52,660
auch: Was ist die Aussagekraft meiner
Ergebnisse? Wie war die

182
00:12:52,660 --> 00:12:57,910
Evaluationsmethodik? Was ist dabei am Ende
rausgekommen, was tatsächlich relevant,

183
00:12:57,910 --> 00:13:07,999
nennenswert, statistisch signifikant ist?
Benjamin: Und an der Stelle überlegen wir

184
00:13:07,999 --> 00:13:11,149
uns kurz, ich weiß nicht, einige von euch
kommen sicherlich aus dem

185
00:13:11,149 --> 00:13:16,320
wissenschaftlichen Bereich, andere aus der
Industrie, ist völlig egal, wie man sich

186
00:13:16,320 --> 00:13:20,459
eigentlich wünschen würde, dass
Wissenschaft funktioniert, nämlich

187
00:13:20,459 --> 00:13:24,260
irgendwie systematisch. Menschen denken
sich Dinge aus, überprüfen sie, stellen

188
00:13:24,260 --> 00:13:28,239
fest, sie stimmen, und alles ist gut.
Tatsächlich haben wir in diesem Bereich

189
00:13:28,239 --> 00:13:34,910
häufig, sehr häufig, ein völlig anderes
Verfahren. Es gibt Publikationen zu

190
00:13:34,910 --> 00:13:37,154
irgendwelchen Arten: Wie 
kann man diese

191
00:13:37,154 --> 00:13:38,154
Neuronen, die wir vorhin hatten, 
wie kann man diese Modelle

192
00:13:38,154 --> 00:13:41,769
aufbauen? Was kann man
da machen? Dass die Daten dadurch fließen?

193
00:13:41,769 --> 00:13:47,149
Dazu denken sich Leute was aus. Dann
publizieren sie das, veröffentlichen das,

194
00:13:47,149 --> 00:13:51,249
und andere Leute denken sich, okay, das
klingt doch spannend. Lass das mal nehmen,

195
00:13:51,249 --> 00:13:55,449
um daraus jetzt irgendwie für meinen
Anwendungsfall ein neues System zu bauen.

196
00:13:55,449 --> 00:13:59,639
Das heißt, Sie nehmen dieses Modell, was
man irgendwo gehört hat, was gerade durch

197
00:13:59,639 --> 00:14:07,450
die Fachwelt geistert. Dann überlegt man
sich grob: Wie baut man das auf? Wie nehme

198
00:14:07,450 --> 00:14:12,540
ich das? Ich packe jetzt so viele
Schichten von diesem Typ hintereinander.

199
00:14:12,540 --> 00:14:17,440
Sagen wir mal so und so viele, und die
Schichten machen wir so groß, wir arbeiten

200
00:14:17,440 --> 00:14:21,540
jetzt mit so und so vielen dimensionalen
Vektoren. Das denkt man sich einfach aus,

201
00:14:21,540 --> 00:14:24,019
was irgendwie plausibel klingt. 
Dann guckt man,

202
00:14:24,019 --> 00:14:25,019
dass man die Daten noch
irgendwie so lange schlägt,

203
00:14:25,019 --> 00:14:28,410
bis sie irgendwie halbwegs
in das Format reinpassen, was man gerade

204
00:14:28,410 --> 00:14:31,579
haben will, macht da irgendwelche
numerischen Werte draus, auf teilweise

205
00:14:31,579 --> 00:14:36,579
sehr fragwürdige Art und Weise. Und dann
wird das Ganze in das Netzwerk gepackt,

206
00:14:36,579 --> 00:14:39,749
und das ganze Ding nennt sich ja Deep
Learning. Das heißt, jetzt kommt das

207
00:14:39,749 --> 00:14:44,119
Lernen. Das basiert halt darauf, dass man
die Daten reinschiebt, guckt, wie gut es

208
00:14:44,119 --> 00:14:50,199
passt. Wie gut war die Vorhersage. Dann
anhand dessen das System anpasst, die

209
00:14:50,199 --> 00:14:53,649
Daten wieder durchfließen lässt und das
Ganze immer und immer wiederholt, bis man

210
00:14:53,649 --> 00:14:59,180
am Ende irgendwie schön Gewichte in diesen
Funktionen, die man im Prinzip

211
00:14:59,180 --> 00:15:04,610
konstruiert, geraten hat oder gelernt hat,
die plausibel erscheinen für den Zweck,

212
00:15:04,610 --> 00:15:08,449
den man braucht. Das ergibt dann das
Modell. Wenn die Zahlen, die dann

213
00:15:08,449 --> 00:15:12,910
rauskommen, auf den Daten mit dem man das
testet, ganz gut aussehen, dann nehmen die

214
00:15:12,910 --> 00:15:19,250
Leute das und schreiben ihr Paper darüber
und sagen Okay, für Klassifikationen von

215
00:15:19,250 --> 00:15:24,079
Wölfen gegen Hunde haben wir jetzt
folgende Architektur, folgendes Dings.

216
00:15:24,079 --> 00:15:28,089
Hier sind unsere Daten. Das sind die
Werte, die wir haben. Bitteschön, dass ist

217
00:15:28,089 --> 00:15:32,089
jetzt das tolle neue Forschungsergebnis.
Wenn die Werte nicht so gut aussehen, dann

218
00:15:32,089 --> 00:15:37,199
hat man wohl vielleicht die falsche State
of the Art System genommen, was gerade

219
00:15:37,199 --> 00:15:40,939
jemand veröffentlicht hat. Oder man hat
eine Schlicht zu wenig, eine Schicht zu

220
00:15:40,939 --> 00:15:44,939
viel, die Vektoren haben die falsche
Dimensionierung. Na naja, gut, dann rate

221
00:15:44,939 --> 00:15:50,080
ich eben neue Parameter. Ist ja alles nur
Strom und Zeit, lässt das Ganze weiter

222
00:15:50,080 --> 00:15:56,129
trainieren. Da laufen die GPUs heiß. Und
dann fängt man von vorne an damit und

223
00:15:56,129 --> 00:16:01,959
guckt, ob jetzt gute Zahlen rauskommen.
Und je nachdem sagt man dann, Okay, ich

224
00:16:01,959 --> 00:16:07,161
mache weiter, oder ich fall wieder durch.
Dazu kommt dann noch, das Ganze ist jetzt

225
00:16:07,161 --> 00:16:11,419
ja schon irgendwie ziemlich
unwissenschaftlich. Das ist nicht mal mehr

226
00:16:11,419 --> 00:16:16,159
empirische Forschung. Das ist wirklich
ausprobieren und hoffen, dass etwas Gutes

227
00:16:16,159 --> 00:16:21,809
rauskommt. Aber danach kann man jetzt ja
noch die üblichen Schönungs-Methoden

228
00:16:21,809 --> 00:16:27,359
anwenden, die es natürlich in der
Wissenschaft gibt, die man auch so leicht

229
00:16:27,359 --> 00:16:31,699
gar nicht finden kann. Leider. Man kann
natürlich jetzt sagen, ich zeige nur die

230
00:16:31,699 --> 00:16:34,990
Ergebnisse auf den Datensets, bei denen
die Zahlen gut aussehen, und auf dem

231
00:16:34,990 --> 00:16:38,450
zweiten Datensets mit den Fotos aus einer
anderen Perspektive oder mit einem anderen

232
00:16:38,450 --> 00:16:42,269
Hintergrund jetzt leider nicht gut
funktioniert hat, das muss ich ja

233
00:16:42,269 --> 00:16:46,879
niemandem erzählen. Das veröffentliche ich
einfach nicht mit. Das bleibt bei mir, und

234
00:16:46,879 --> 00:16:49,459
meinen anderen Zahlen sehen ja gut aus,
und das muss man jetzt erst mal jemand

235
00:16:49,459 --> 00:16:52,649
nachmachen und zeigen, dass es mit etwas
anderem nicht funktioniert. Selbst wenn

236
00:16:52,649 --> 00:16:56,839
nicht: Ich habe ja eine Publikation. Und
das ist leider in vielen Feldern

237
00:16:56,839 --> 00:17:00,669
heutzutage was, was wichtig ist. Irgendwo
bei einer wichtigen Konferenz ein Paper zu

238
00:17:00,669 --> 00:17:04,829
veröffentlichen, mit der man eine
minimale Verbesserung gegenüber dem

239
00:17:04,829 --> 00:17:10,080
bisherigen State of the Art gezeigt hat.
Natürlich kann ich außerdem, eigentlich

240
00:17:10,080 --> 00:17:13,790
sollte ich solche Experimente mehrfach
wiederholen und Mittelwerte bilden. Aber

241
00:17:13,790 --> 00:17:16,959
ich kann natürlich Experimente mehrfach
wiederholen und einfach nur den besten

242
00:17:16,959 --> 00:17:26,720
Score veröffentlichen. Und weitere solche
Tricks anwenden. Das heißt, wir haben

243
00:17:26,720 --> 00:17:32,360
sowieso schon einen schlechten Prozess,
der dann auch noch teilweise missbraucht

244
00:17:32,360 --> 00:17:37,510
wird, um schneller bessere Ergebnisse zu
kriegen und das dann zu publizieren. Das

245
00:17:37,510 --> 00:17:41,929
ist das, was wir viel in diesen Feldern
sehen. Definitiv nicht bei allen Papern.

246
00:17:41,929 --> 00:17:47,470
Gerade die Grundlagen Paper sind
sicherlich gut erforscht. Aber die vielen

247
00:17:47,470 --> 00:17:53,809
Anwendungspaper können an der Stelle, und
allein schon indem, wie sie entstanden

248
00:17:53,809 --> 00:17:57,519
sind, begründet, keinen wirklichen
Mehrwert liefern. Was ihre Relevanz und

249
00:17:57,519 --> 00:18:01,000
ihren Vorteil, der daraus entsteht,
ergibt.

250
00:18:01,000 --> 00:18:07,230
Nadja: Das Ganze ist natürlich plakativ
formuliert und natürlich bringen wir das

251
00:18:07,230 --> 00:18:10,850
Ganze ein bisschen auf den Punkt, um zu
überspitzen. Aber Tatsache ist, wenn man

252
00:18:10,850 --> 00:18:13,409
sich in einem Feld bewegt, was sehr viel
Druck hat, wenn man sich in einem Feld

253
00:18:13,409 --> 00:18:17,069
bewegt, was so viele mögliche Gründe und
so viele Dinge hat, die diese

254
00:18:17,069 --> 00:18:20,500
Fallstricke begünstigen, dann werden sie
auch immer mehr genutzt.

255
00:18:20,500 --> 00:18:29,679
Benjamin: Genau. Wir sehen natürlich
besonders, es gibt gerade im Deep Learning

256
00:18:29,679 --> 00:18:33,590
diese Möglichkeiten. Denn wir haben schon
gesagt: wir verstehen nicht, was diese

257
00:18:33,590 --> 00:18:36,850
Modelle tun normalerweise. Es gibt ein
Forschungsfeld, was daran arbeitet. Aber

258
00:18:36,850 --> 00:18:40,919
normalerweise verstehen wir nicht, was
diese Systeme tun. Das sind Blackbox

259
00:18:40,919 --> 00:18:43,890
Modelle, die kriegen Daten rein, damit
wird irgendwas damit gemacht. Am Ende

260
00:18:43,890 --> 00:18:49,950
kommen Daten raus. Das Ganze geht noch
über mehrere Schritte. Wir haben die

261
00:18:49,950 --> 00:18:53,520
Daten, die werden irgendwie
vorverarbeitet. Dann kommen die Daten

262
00:18:53,520 --> 00:18:57,730
rein, gehen durch dieses System, dann
werden sie eventuell nachverarbeitet. Am

263
00:18:57,730 --> 00:19:00,960
Ende muss noch evaluiert werden,
entschieden werden: Was ist jetzt richtig?

264
00:19:00,960 --> 00:19:04,260
Was ist exakt richtig? Was ist gerade so
richtig? Reicht mir das vielleicht, um es

265
00:19:04,260 --> 00:19:09,841
als als wahr, stimmt es schon so, um es in
meinem Paper zu publizieren? Was ich genau

266
00:19:09,841 --> 00:19:14,549
gemessen habe, wird häufig gar nicht erst
angegeben. Das heißt, dort ist es extrem

267
00:19:14,549 --> 00:19:21,260
leicht möglich, auf diese Art und Weise zu
arbeiten. Und gerade dadurch, dass überall

268
00:19:21,260 --> 00:19:27,570
heutzutage Expertinnen für dieses Feld
gesucht werden, dass überall jemand

269
00:19:27,570 --> 00:19:31,250
Anwendungen haben möchte für Deep
Learning, kommt man damit eben ganz gut

270
00:19:31,250 --> 00:19:34,950
durch. Deswegen passiert das dort
besonders. Man muss auf der anderen Seite,

271
00:19:34,950 --> 00:19:39,529
wenn man die guten Jobs kriegen will, auch
solche Publikationen vorweisen. Also wird

272
00:19:39,529 --> 00:19:44,389
das entsprechend gemacht. Und genauso: es
sind halt sehr viele Low Hanging Fruits

273
00:19:44,389 --> 00:19:50,179
dabei. Das heißt Dinge, wo man weiß, okay,
mit wenig eigenen, großartigen Ideen und

274
00:19:50,179 --> 00:19:56,549
mehr anwenden von Handwerkszeug kann ich
irgendwo was bauen, was es noch nicht

275
00:19:56,549 --> 00:20:02,690
gibt. Und solange ich der Erste dazu bin,
kriege ich das leichter hin. Ich muss mich

276
00:20:02,690 --> 00:20:06,019
nicht mit irgendwem vergleichen. Ich zeige
Okay, mein System kann das mit einer

277
00:20:06,019 --> 00:20:10,590
akzeptablen Genauigkeit, exakte Zahlen und
Ergebnissen. Damit bin ich die erste

278
00:20:10,590 --> 00:20:13,980
Person, die das geschafft hat, und kann
das entsprechend veröffentlichen. Deswegen

279
00:20:13,980 --> 00:20:19,980
versuchen möglichst viele Leute, möglichst
schnell solche Dinge rauszuhauen, neue

280
00:20:19,980 --> 00:20:30,210
Publikationen in diesen Bereichen zu
veröffentlichen. Wenn wir jetzt wissen

281
00:20:30,210 --> 00:20:35,990
wollen, wie gut eigentlich ein System ist,
was vorgestellt wird, wäre es natürlich

282
00:20:35,990 --> 00:20:40,120
schön, wenn wir die Experimente einfach
wiederholen könnten. Das ist allerdings

283
00:20:40,120 --> 00:20:47,559
leider gar nicht so trivial. Denn auch
wenn die Systeme, die eingesetzt werden,

284
00:20:47,559 --> 00:20:50,980
die Grundlagen-Systeme, häufig ein
gewisser Standard sind und irgendwie auch

285
00:20:50,980 --> 00:20:57,380
als Open Source existieren, gilt das eben
nicht für die ganzen Anpassungen, die

286
00:20:57,380 --> 00:21:00,880
ganzen Details, die die Personen einbauen.
Das gilt also nicht für den eigentlichen

287
00:21:00,880 --> 00:21:06,870
Code, für die Pipeline, aber auch für die
Pre-Processing, für die Evaluierung. Das

288
00:21:06,870 --> 00:21:12,320
gilt nicht unbedingt für die Daten. Häufig
sind Daten nicht verfügbar. Wir wissen,

289
00:21:12,320 --> 00:21:16,669
Daten sind wertvoll, deswegen will man sie
nicht aus der Hand geben. Aber so

290
00:21:16,669 --> 00:21:19,889
funktioniert Wissenschaft nicht. Ich kann
nicht auf meinen Daten, die ich für mich

291
00:21:19,889 --> 00:21:23,309
behalte, arbeiten, sie niemandem zeigen
und sagen: Aber mein System ist gut, ich

292
00:21:23,309 --> 00:21:29,919
habe es ja selbst getestet. Das ihr es
nicht überprüft könnt, Pech gehabt. Ich

293
00:21:29,919 --> 00:21:35,110
habe in diesen Systemen enorm viele Hyper-
Parameter, die wir haben es ja gesagt,

294
00:21:35,110 --> 00:21:39,940
erst einmal häufig geraten werden oder
durch durch grobes Ausprobieren bestimmt

295
00:21:39,940 --> 00:21:44,179
werden. Wenn ich diese Parameter und diese
Hyper-Parameter nicht weiß, habe ich keine

296
00:21:44,179 --> 00:21:49,410
Chance, das System nachzubauen. Ich weiß
auch nicht, mit welchen Initialisierungen,

297
00:21:49,410 --> 00:21:51,420
die zufällig geschehen und 
mit welchen Reihenfolgen

298
00:21:51,420 --> 00:21:52,830
und Aufteilung der Daten
das Ganze geschehen ist.

299
00:21:52,830 --> 00:21:55,679
Das heißt, wenn ich diese 
ganzen Details nicht habe, habe ich

300
00:21:55,679 --> 00:22:01,870
erst mal keine Chance, genau ein System
nachzubauen. Ich brauche aber genau diese

301
00:22:01,870 --> 00:22:06,940
exakten Werte, weil diese Systeme enorm
fragil sind. Das heißt, wenn ich

302
00:22:06,940 --> 00:22:12,300
Kleinigkeiten ändere, ein bisschen die
Dimensionen verändere, die Größe der

303
00:22:12,300 --> 00:22:15,610
Schichten, gar so gar die Funktionen, die
da aneinandergekettet werden, ein bisschen

304
00:22:15,610 --> 00:22:19,261
ändere, kriege ich völlig andere
Ergebnisse und weiß nicht mehr, ob das

305
00:22:19,261 --> 00:22:23,549
andere System wirklich schlecht oder gut
war oder ob es eben nur daran liegt, dass

306
00:22:23,549 --> 00:22:32,020
ich es nicht genau nachbauen kann.
Problem: Aktuell gibt es zwar

307
00:22:32,020 --> 00:22:36,250
Bestrebungen, dass das so etwas besser
wird, aber keinen Zwang oder so dafür. Das

308
00:22:36,250 --> 00:22:40,220
heißt, wenn ich ein Paper publiziere auf
einer der großen Konferenzen, in meinem

309
00:22:40,220 --> 00:22:45,750
Anwendungsgebiet oder auch im Kern Machine
Learning Bereich, dann ist es gewünscht,

310
00:22:45,750 --> 00:22:50,960
dass sie reproduzierbar sind. Es ist aber
nicht erzwungen. Das heißt, es gibt

311
00:22:50,960 --> 00:22:56,090
zusätzlich nochmal das, ich möchte möchte,
dass mein Paper so ein Siegel kriegt, das

312
00:22:56,090 --> 00:22:58,760
ist reproduzierbar. Dann muss ich dafür
ein paar Dinge machen. Da muss ich im

313
00:22:58,760 --> 00:23:03,900
Prinzip diese Dinge hier bereitstellen,
die wir ja aufgelistet haben. Und dann

314
00:23:03,900 --> 00:23:08,799
versuchen andere Leute nachzuvollziehen,
ob das, was ich mache, auch stimmt. Und

315
00:23:08,799 --> 00:23:12,230
dann ich halt so ein Häkchen. Aber wenn
ich das nicht tue, dann mache ich es eben

316
00:23:12,230 --> 00:23:18,259
nicht. Und das ist sicherlich eine Stelle,
die man hinterfragen muss, wo auch zum

317
00:23:18,259 --> 00:23:22,899
Glück schon Dinge geschehen. Diese
Reproduzierbarkeit wird, rückt mehr in den

318
00:23:22,899 --> 00:23:30,169
Fokus der Konferenzen. Der Effekt von dem
Ganzen ist natürlich dadurch: Wir haben

319
00:23:30,169 --> 00:23:34,480
ganz viel Forschung, die nicht genutzt
werden kann von anderen Leuten. Das heißt,

320
00:23:34,480 --> 00:23:37,190
ich muss natürlich Forschung an der Stelle
wiederholen. Andere Leute müssen sie

321
00:23:37,190 --> 00:23:43,830
wiederholen und zusätzlich durch das,
sowohl durch diesen Effekt als auch durch

322
00:23:43,830 --> 00:23:47,529
den Drang, möglichst viel und möglichst
schnell zu publizieren, wird halt extrem

323
00:23:47,529 --> 00:23:51,330
viel Forschung auch so wiederholt und an
ähnlichen Problemen immer wieder

324
00:23:51,330 --> 00:23:56,210
gearbeitet, um minimale Verbesserung zu
bekommen, weil man ja auch schon ein "Mein

325
00:23:56,210 --> 00:24:00,130
System ist 0,5 Prozentpunkte besser als
das bisherige State of the Art System"

326
00:24:00,130 --> 00:24:08,690
wieder publizieren kann. Das heißt,
wünschenswert wäre es, wir hätten überall

327
00:24:08,690 --> 00:24:13,649
diese Reproduzierbarkeit. Das heißt, das
Wichtigste wäre natürlich wir alle immer,

328
00:24:13,649 --> 00:24:17,269
wenn wir hier sitzen und wenn wir
irgendwas erforschen. Wir müssen unseren

329
00:24:17,269 --> 00:24:19,460
Source Code veröffentlichen. Guck mal, da
ein Eichhörnchen.

330
00:24:19,460 --> 00:24:23,830
Nadja: Das ist leider, was uns viel zu
häufig passiert, wenn es einen

331
00:24:23,830 --> 00:24:27,700
wissenschaftlichen Code geht. Das heißt,
selbst die Autorinnen, die vorhatten ihren

332
00:24:27,700 --> 00:24:31,000
Code zu publizieren, das Ganze öffentlich
zu machen, Open Source zu machen, werden

333
00:24:31,000 --> 00:24:35,029
viel zu schnell vom nächsten Projekt, von
der größeren Deadline, von den

334
00:24:35,029 --> 00:24:38,389
beschäftigten Doktorandinnen oder von der
Tatsache, dass der Code immer noch nicht

335
00:24:38,389 --> 00:24:41,279
aufgeräumt ist, wenn man einfach nicht
dazu gekommen ist vor der Deadline,

336
00:24:41,279 --> 00:24:45,330
abgelenkt. Wir haben einen extrem hohen
Publikationsdruck im Bereich Deep

337
00:24:45,330 --> 00:24:49,330
Learning. Die Publikationen steigen
effektiv exponentiell. Man muss immer

338
00:24:49,330 --> 00:24:51,060
schneller sein, um 
wirklich noch state of

339
00:24:51,060 --> 00:24:52,460
the art zu sein, um 
selbst die eigene

340
00:24:52,460 --> 00:24:54,300
Verbesserung noch an den 
Markt bringen zu können.

341
00:24:54,300 --> 00:24:55,300
Das sorgt dafür, dass
irgendwo unsauber

342
00:24:55,300 --> 00:24:58,539
gearbeitet wird. Mein Code wird
nicht dokumentiert, da wird Spaghetti Code

343
00:24:58,539 --> 00:25:02,350
geschrieben. Er wird irgendwie hingehackt,
Hauptsache, es funktioniert. Und danach

344
00:25:02,350 --> 00:25:06,100
müsste ich mich hinsetzen und das Ganze
wieder aufarbeiten. Und das ist ein Riesen-

345
00:25:06,100 --> 00:25:09,789
stück Arbeit. Und eigentlich steht ja
schon die nächste Publikation an. Und alles

346
00:25:09,789 --> 00:25:12,539
ist es plötzlich interessanter, als den
Code zugänglich zu machen. Das gilt wieder

347
00:25:12,539 --> 00:25:15,469
nicht für alle Paper. Natürlich gibt es
Leute, die das machen. Wir versuchen es

348
00:25:15,469 --> 00:25:19,960
zum Beispiel auch. Aber es funktioniert
leider immer noch viel zu selten.

349
00:25:19,960 --> 00:25:25,169
Tatsächlich gab es dazu oder gibt es doch
immer noch von einer großen Konferenz in

350
00:25:25,169 --> 00:25:28,860
dem Bereich, die Reproducibility
Challenge, wo im wesentlichen

351
00:25:28,860 --> 00:25:32,409
Wissenschaftler aufgefordert werden, sich
ein akzeptiertes Paper aus der Konferenz

352
00:25:32,409 --> 00:25:37,180
2018 oder jetzt 2019 rauszusuchen und mit
allen Mitteln und Wegen zu versuchen, die

353
00:25:37,180 --> 00:25:41,260
Ergebnisse nachzuvollziehen. Teilweise
oder im Detail, komplett, erst mal

354
00:25:41,260 --> 00:25:44,960
rausfinden, was kann ich überhaupt? Die
Autoren sind angehalten, kurz publizieren

355
00:25:44,960 --> 00:25:48,909
und zu kooperieren. Die Leute versuchen
wirklich, auch Zeitaufwand, mit dem

356
00:25:48,909 --> 00:25:52,639
entsprechenden Fachwissen, die Ergebnisse
nachvollziehbar und erklärbar und

357
00:25:52,639 --> 00:25:58,600
reproduzierbar zu machen. Die Erfolgsrate?
Ja, ein Teil können wir nachvollziehen,

358
00:25:58,600 --> 00:26:03,480
immerhin 50 Prozent. Immerhin ein
Großteil, das nachvollziehen konnten 30

359
00:26:03,480 --> 00:26:08,800
Prozent, gar nicht reproduzieren waren 
aber immer noch 10 Prozent. Jetzt

360
00:26:08,800 --> 00:26:12,510
ist das interessante aber ja der
Schwierigkeitsgrad, dass man das irgendwie

361
00:26:12,510 --> 00:26:15,250
reproduzieren kann, ist an sich 
schon mal gut, aber noch

362
00:26:15,250 --> 00:26:17,370
nicht ausreichend. Wenn 
ich die komplette

363
00:26:17,370 --> 00:26:19,339
Forschung dafür neu machen
muss, dann lohnt das den Aufwand schlicht

364
00:26:19,339 --> 00:26:24,929
und einfach nicht. Reasonable difficulty
ist in dem Fall sagen wir ein nicht sehr

365
00:26:24,929 --> 00:26:28,909
konkretes Wort. Aber Tatsache ist, dass es
bei mindestens 20 Prozent der Paper sehr,

366
00:26:28,909 --> 00:26:33,309
sehr schwierig war und überhaupt keine
Probleme aufgetreten sind bei einem

367
00:26:33,309 --> 00:26:37,460
absolut vernachlässigbaren Teil. Was Sie
dabei noch gemacht haben, ist Sie haben

368
00:26:37,460 --> 00:26:41,549
gefragt, diese Wissenschaftlerinnen, denen
diese Challenge gestellt wurde, haben wir

369
00:26:41,549 --> 00:26:45,971
momentan eine Reproducibility Crisis im
Bereich Maschinenlearning? Seht ihr hier ein

370
00:26:45,971 --> 00:26:52,470
Problem? Und die Anzahl der Leute, die ein
Problem sehen, ist über diese Challenge um

371
00:26:52,470 --> 00:26:57,350
diverse Prozentpunkte gestiegen. Das
heißt, einfach mal selbst zu versuchen,

372
00:26:57,350 --> 00:27:01,409
hat nochmal 15 Prozentpunkte mehr der
befragten Wissenschaftlerinnen ungefähr,

373
00:27:01,409 --> 00:27:04,500
davon überzeugt, dass da tatsächlich
Probleme existiert und dazu geführt, dass

374
00:27:04,500 --> 00:27:07,790
drei Viertel der befragten
Wissenschaftlerinnen ein Problem sehen, in

375
00:27:07,790 --> 00:27:16,559
unterschiedlichem Ausmaße.
Benjamin: Noch ein Beispiel. Das ist

376
00:27:16,559 --> 00:27:20,320
jetzt, es gibt tatsächlich inzwischen
Paper, die sich damit beschäftigen, wie

377
00:27:20,320 --> 00:27:26,610
gut andere Paper reproduzierbar sind. In
dem Fall aus dem Bereich von

378
00:27:26,610 --> 00:27:31,809
Recommendation. Es geht darum, aus einer
Menge von Dokumenten bestimmte Dokumente

379
00:27:31,809 --> 00:27:35,820
für eine Anfrage oder Frage, oder was
weiss ich, vorzuschlagen. Da gab es in den

380
00:27:35,820 --> 00:27:40,100
letzten Jahren 18 Publikationen, die alle
auf Deep Learning setzen, bei großen

381
00:27:40,100 --> 00:27:46,440
Konferenzen. Und dann haben sich die Leute
mal hingesetzt und geguckt, wieviel können

382
00:27:46,440 --> 00:27:50,200
wir davon reproduzieren? Inklusive, wir
schicken erst einmal dem Autor in eine

383
00:27:50,200 --> 00:27:54,919
E-Mail, ob sie uns vielleicht ihren Code
geben können, bitten nochmal nach und

384
00:27:54,919 --> 00:27:57,700
versuchen, die Sachen zum Laufen zu
bringen, versuchen irgendwie, teilweise

385
00:27:57,700 --> 00:28:01,889
sogar ähnliche Hardware zu beschaffen, wie
die verwendet haben und bauen das nach.

386
00:28:01,889 --> 00:28:07,019
Insgesamt haben sich von diesen, für
dieses Beispiel, von diesen 18 Papern,

387
00:28:07,019 --> 00:28:11,490
ganze 7 Paper wirklich reproduzieren
können. Das heißt, bei denen können sie

388
00:28:11,490 --> 00:28:15,630
die ganzen Sachen nachbauen, können es
laufen lassen und kommen dann auf ähnliche

389
00:28:15,630 --> 00:28:18,870
Ergebnisse.
Nadja: Aber wichtig, erst nachdem Sie die

390
00:28:18,870 --> 00:28:21,849
Arbeit investiert haben, erst nachdem Sie
nachgefragt haben, erst nachdem Sie

391
00:28:21,849 --> 00:28:25,330
versucht haben, die Dinge aufzutreiben,
die nicht von sich aus herausgegeben

392
00:28:25,330 --> 00:28:27,330
wurden.
Benjamin: Das ist nicht der Standard

393
00:28:27,330 --> 00:28:30,779
Prozess. Also normalerweise, wenn ich
irgendwo auf der Konferenz ein Paper

394
00:28:30,779 --> 00:28:34,490
schicke und sage, Okay, das möchte ich
veröffentlichen. Dann lesen Leute nur

395
00:28:34,490 --> 00:28:38,960
dieses Paper. Gucken Sie sich eventuell
noch ein Video an oder vielleicht sogar

396
00:28:38,960 --> 00:28:42,700
ganze zusätzliche Datensätze, die
hochgeladen werden. Aber normalerweise

397
00:28:42,700 --> 00:28:47,200
lesen Sie nur dieses Paper, diese 6, 8,
10, manchmal 12 Seiten mit eng

398
00:28:47,200 --> 00:28:51,450
geschriebenen Ergebnissen und entscheiden
nur anhand des Textes, der dort dann

399
00:28:51,450 --> 00:28:55,720
steht, und anhand der Zahlen, die die
Autorin selbst herausgegeben haben, ob

400
00:28:55,720 --> 00:29:02,329
diese Arbeit relevant, richtig und
irgendwie nutzbar erscheint. Und dann wird

401
00:29:02,329 --> 00:29:06,929
entschieden, ob sie veröffentlicht wird
oder nicht. Aber sie können normalerweise

402
00:29:06,929 --> 00:29:11,169
nicht in irgendeiner Form überprüfen, ob
das wirklich so ist. Sie müssen komplett

403
00:29:11,169 --> 00:29:17,920
auf den Text vertrauen, ohne. Das ist
der Standardfall, wenn wir nicht explizit

404
00:29:17,920 --> 00:29:22,700
Reproduzierbarkeit fordern für
irgendwelche Konferenzen. Und wie gesagt,

405
00:29:22,700 --> 00:29:27,740
die bisherigen großen Konferenzen. Es gibt
keine, die einen von den angewandten

406
00:29:27,740 --> 00:29:32,129
Konferenzen, die Reproduzierbarkeit
explizit fordert. Es ist immer nur ein

407
00:29:32,129 --> 00:29:36,519
zusätzliches Challenge, oder ein
zusätzliches Siegel, oder was weiß ich.

408
00:29:36,519 --> 00:29:40,560
Bisher basiert die Annahme und die
Veröffentlichung von irgendwelchen Papern

409
00:29:40,560 --> 00:29:44,789
komplett nur auf dem Reviewen von den
eingereichten Sachen, ohne den Versuch es

410
00:29:44,789 --> 00:29:51,350
auch zu reproduzieren. Noch zu dem
Beispiel, um es noch demotivierender zu

411
00:29:51,350 --> 00:29:57,710
machen. Von diesen 7 Ergebnissen, die sie
reproduzieren konnten, haben sie dann

412
00:29:57,710 --> 00:30:03,750
außerdem nochmal nicht Deep Learning
basierte Ansätze genommen, die damit

413
00:30:03,750 --> 00:30:09,299
verglichen und festgestellt, dass wenn man
da sich ein bisschen Mühe gibt, sie von 6

414
00:30:09,299 --> 00:30:12,820
von diesen 7 Paper noch besserere,
trotzdem noch bessere Ergebnisse kriegen.

415
00:30:12,820 --> 00:30:20,070
Das heißt, von diesen 18 Publikationen hat
eine für externe Leute messbaren

416
00:30:20,070 --> 00:30:28,340
wissenschaftlichen Fortschritt gebracht.
Und genau diese anderen Ansätze sind

417
00:30:28,340 --> 00:30:34,059
nämlich leider etwas, was sehr stark durch
diesen Hype, der ja offensichtlich

418
00:30:34,059 --> 00:30:39,620
funktioniert, so voll wie sie heute ist,
das Wort Deep Learning zieht, werden die

419
00:30:39,620 --> 00:30:43,710
verdrängt. Der Rest sind häufig nur
Baselines. Ich muss ja nur im Paper

420
00:30:43,710 --> 00:30:48,590
irgendwas angeben, was ein anderes System
ist, mit dem ich es vergleiche, damit ich

421
00:30:48,590 --> 00:30:52,590
zeige, dass mein neues System besser ist
als das, was bisher da ist. Dann gebe ich

422
00:30:52,590 --> 00:30:57,249
mir auch keine Mühe, dass ich diesen
Anteil, dieses andere System besonders gut

423
00:30:57,249 --> 00:31:00,340
dastehen lasse. Denn dann wird es
schwieriger, dass mein neues System besser

424
00:31:00,340 --> 00:31:04,610
abschneidet. Das heisst, es wird
hauptsächlich eben an diesem Deep

425
00:31:04,610 --> 00:31:09,701
Learnings Krams geforscht, und alles
andere wird vernachlässigt, obwohl man da

426
00:31:09,701 --> 00:31:13,679
noch sehr viel rausholen könnte, wenn man
es denn wollte und irgendeinen Vorteil

427
00:31:13,679 --> 00:31:20,500
davon hätte. Und es wird wirklich alles
andere nur als Baseline betrachtet. Ganz

428
00:31:20,500 --> 00:31:24,830
kurz noch Exkurs, das ist ein Foundation
Talk. Baseline, ich brauche irgendein

429
00:31:24,830 --> 00:31:27,739
System, mit dem ich zeige, dass meine
Daten valide sind. Das ist irgendwie

430
00:31:27,739 --> 00:31:31,080
Plausible ist, was ich raus kriege. Im
simpelsten Fall ist ein Baseline Ansatz

431
00:31:31,080 --> 00:31:34,740
für eine binäre Entscheidung einfach ein
Münzwurf. Wenn ich ein System baue, was

432
00:31:34,740 --> 00:31:39,080
zwischen Hund oder Wolf entscheiden muss
und es hat nur 5 Prozent Genauigkeit, dann

433
00:31:39,080 --> 00:31:42,321
hätte ich mal lieber eine Münze geworfen.
Da würde ich mit 50 Prozent Genauigkeit

434
00:31:42,321 --> 00:31:45,679
kriegen. Dann ist mein System
außerordentlich schlecht. Sobald ich über

435
00:31:45,679 --> 00:31:49,240
diese 50 Prozent drüber kommen über diese
Baseline, kann ich in diesem Paper

436
00:31:49,240 --> 00:31:54,639
inhaltlich begründen, warum mein neues
System besser ist als diese Baseline. Nun

437
00:31:54,639 --> 00:31:57,610
gebe es vielleicht bessere, klügere
Ansätze als einen reinen Münzwurf. Aber

438
00:31:57,610 --> 00:32:00,420
wenn ich den halt möglichst low halte,
habe ich es an der

439
00:32:00,420 --> 00:32:04,179
anderen Stelle leichter.
Nadja: Dazu ganz kurz, um das in Zahlen zu

440
00:32:04,179 --> 00:32:06,730
fassen. Kaggle ist eine Plattform, die
Daten-

441
00:32:06,730 --> 00:32:07,730
wissenschaftliche Challenges
stellt, an der jeder

442
00:32:07,730 --> 00:32:11,130
dann mitarbeiten kann und
einen Versuch einreichen kann, diese

443
00:32:11,130 --> 00:32:14,379
Challenge zu schlagen. Z.B. im Bereich
Bilderkennung, aber eigentlich alles, was

444
00:32:14,379 --> 00:32:17,870
da ist, an wissenschaftliche oder
maschinelles Lernen in Worte fasst. Das

445
00:32:17,870 --> 00:32:20,659
ist der Unterschied zur akademischen
Forschung, dass wir uns nicht so sehr am

446
00:32:20,659 --> 00:32:23,740
State of the art orientieren, sondern die
Leute versuchen, oftmals sind es auch

447
00:32:23,740 --> 00:32:27,580
Privatpersonen, das zu nehmen, was
funktioniert. Da ist auch viel Deep

448
00:32:27,580 --> 00:32:30,230
Learning dabei. Weil Deep Learning, halt
ein paar Sachens sind, wo viel entwickelt

449
00:32:30,230 --> 00:32:33,450
wird, wo es viele fertige Frameworks gibt
und was verrufen ist als das, was

450
00:32:33,450 --> 00:32:38,010
irgendwie mit allem funktioniert, unter
gewissen Voraussetzungen. Aber trotzdem

451
00:32:38,010 --> 00:32:42,850
sehen wir das auch., dass klassische
Ansätze hier sehr, sehr hohen Anteil

452
00:32:42,850 --> 00:32:47,369
einnehmen, einen höheren Anteil als
manchmal bei entsprechenden Konferenzen zu

453
00:32:47,369 --> 00:32:50,630
finden ist. Das heißt, wenn es mir nur
darum geht, dass jetzt etwas funktioniert

454
00:32:50,630 --> 00:32:53,080
und ich nicht maximalen Aufwand
reinstecken will, ich nicht unbedingt die

455
00:32:53,080 --> 00:32:56,000
Buzzwords unterbringen will, ist Deep
Learning plötzlich nicht mehr ganz so

456
00:32:56,000 --> 00:33:00,621
beliebt. Und dafür gibt's mit Sicherheit
ein Grund. Wir wollen aber noch zu zwei

457
00:33:00,621 --> 00:33:03,450
weiteren Aspekten kommen. Und der nächste,
der der gesellschaftlichen Auswirkungen.

458
00:33:03,450 --> 00:33:07,340
Weil auch, was unsere Gesamtgesellschaft
betrifft, müssen wir in der Forschung, was

459
00:33:07,340 --> 00:33:10,440
das maschinelle Lernen und Deep Learning
angeht, ein bisschen auf Nachhaltigkeit

460
00:33:10,440 --> 00:33:15,299
achten. Gerade das Thema Erklärbarkeit und
Transparenz, das Thema kann nicht das

461
00:33:15,299 --> 00:33:18,539
System, was vielleicht sogar
lebenswichtige Entscheidungen trifft,

462
00:33:18,539 --> 00:33:22,730
irgendwie verstehen. Dieses inzwischen
relativ weit verbreitete Beispiel kommt

463
00:33:22,730 --> 00:33:26,850
aus der Software Compass, ich habe es
schon erwähnt, die wird verwendet, um bei

464
00:33:26,850 --> 00:33:29,620
straffällig gewordene Menschen in
Gerichtsverfahren einen Score zu

465
00:33:29,620 --> 00:33:32,249
ermitteln, mit welcher Wahrscheinlichkeit
sie rückfällig werden im weiteren Verlauf

466
00:33:32,249 --> 00:33:37,370
ihres Lebens. Dieser Score wird vom
Richter dann verwendet, um das Strafmaß zu

467
00:33:37,370 --> 00:33:43,110
bestimmen. Wenn wir uns jetzt den
Hintergrund der Hautfarbe, Hautfarbe

468
00:33:43,110 --> 00:33:47,041
dieser Menschen anschauen, für die diese
Scores bestimmt wurden, erkennen wir eine

469
00:33:47,041 --> 00:33:50,899
sehr unterschiedliche Verteilung zwischen
Menschen mit weißer Hautfarbe und Menschen

470
00:33:50,899 --> 00:33:55,570
mit anderer Hautfarbe. Das heißt, oben
links sehen wir, dass hohe und niedrige

471
00:33:55,570 --> 00:34:00,019
Scores annähernd gleichmäßig verteilt
werden, während wir eben bei Menschen mit

472
00:34:00,019 --> 00:34:03,249
eindeutig weißer Hautfarbe oder die so
wahrgenommen werden eine sehr starke

473
00:34:03,249 --> 00:34:07,929
Häufung niedrigen Scores haben. Das hat
sich an vielen Einzelbeispiele inzwischen

474
00:34:07,929 --> 00:34:11,950
gezeigt, dass das schlicht und einfach
falsch ist. Dass für ähnliche Verbrechen

475
00:34:11,950 --> 00:34:15,480
sehr unterschiedliche Strafen vergeben
wurden und das nicht der Fall ist, dass

476
00:34:15,480 --> 00:34:19,070
die Personen mit dem höheren Score auch
zwangsläufig eher rückfällig geworden ist.

477
00:34:19,070 --> 00:34:22,780
In einigen Fällen haben auch Menschen, die
in dem Bereich tätig sind, drauf geschaut

478
00:34:22,780 --> 00:34:24,530
und haben gesagt, eigentlich hätte anhand
der Vorstrafen gerade andersherum

479
00:34:24,530 --> 00:34:29,120
verteilt. Das ist ein Riesenproblem, weil
das System sind, die hier aktuell zum

480
00:34:29,120 --> 00:34:31,690
Einsatz kommen und die für Menschen 
lebenswichtige Entscheidungen

481
00:34:31,690 --> 00:34:35,140
treffen müssen. Für niemanden er
sichtlich, warum dieser Score gegeben

482
00:34:35,140 --> 00:34:38,810
wird. Die Firma sagt von sich, und das ist
insofern auch korrekt, wenn man es

483
00:34:38,810 --> 00:34:43,110
wörtlich nimmt, dass der Hintergrund und
die Hautfarbe dieser Menschen nicht

484
00:34:43,110 --> 00:34:47,179
eingegangen ist in das Training. Aber das
korreliert mit so vielen Dingen in den

485
00:34:47,179 --> 00:34:50,480
USA, mit dem Einkommen, mit dem Wohnort
etc., dass das gar nicht der entscheidende

486
00:34:50,480 --> 00:34:56,400
Faktor ist. Als weiteres Beispiel können
wir mal drüber nachdenken, was wir dann

487
00:34:56,400 --> 00:35:00,230
mit dem Begriff eindeutige Handlungs-
Vorschrift meinen. Viele Menschen

488
00:35:00,230 --> 00:35:04,620
bezeichnen damit Algorithmen, was sie
damit nicht bezeichnen wollen, dass wir

489
00:35:04,620 --> 00:35:07,910
alles, was algorithmische System uns
vorschlagen, auch als Handlungs-Vorschrift

490
00:35:07,910 --> 00:35:12,260
zu behandeln haben. Das ist nicht, wie wir
das gemeint haben, sondern wir müssen mit

491
00:35:12,260 --> 00:35:17,280
diesem System immer reflektiert und
kritisierend umgehen. Ob jetzt Deep

492
00:35:17,280 --> 00:35:20,570
Learning überhaupt noch auf diesen Begriff
passt, auf diese eindeutige Handlungs-

493
00:35:20,570 --> 00:35:23,720
Vorschrift ist schon wieder extrem
fragwürdig. Denn wir reden hier von sehr

494
00:35:23,720 --> 00:35:28,200
stark statistisch geprägten Systemen, wo
sehr viel Zufall mitspielt. Man könnte

495
00:35:28,200 --> 00:35:31,390
sie, wie es in diesem Thread geschehen
ist, vielleicht eher als

496
00:35:31,390 --> 00:35:34,290
maschinelles Bauchgefühl bezeichnen, 
als eindeutige Handlungs-Vorschrift.

497
00:35:34,290 --> 00:35:40,820
Benjamin: Das heißt, was wir hier
eigentlich erleben, ist eine wahnsinnige

498
00:35:40,820 --> 00:35:44,680
Generalisierung nur. Wir nehmen
Datenpunkte aus der Vergangenheit, die wir

499
00:35:44,680 --> 00:35:50,330
schon kennen. Wir wenden sie an, wir
trainieren darauf und danach versuchen wir

500
00:35:50,330 --> 00:35:54,560
einfach und hoffen, dass, wenn wir diese
Sachen, die wir, die wir haben, wenn wir

501
00:35:54,560 --> 00:35:59,370
nur weit genug generalisieren, wenn wir
irgendwo versuchen auf Teufel komm raus

502
00:35:59,370 --> 00:36:03,550
und das System muss immer was liefern.
Normalerweise liefern die Systeme immer

503
00:36:03,550 --> 00:36:08,810
einfach ein Ergebnis, egal, ob sie einen
guten Grund dafür sehen oder nicht. Sie

504
00:36:08,810 --> 00:36:12,550
versuchen einfach, ein Muster zu finden
und dann liefern sie ein Ergebnis. Und das

505
00:36:12,550 --> 00:36:18,870
bedeutet, dass das, was immer landläufig
als die KI sagt etwas vorher oder denkt

506
00:36:18,870 --> 00:36:22,580
sich etwas aus oder was weiß ich, im
Prinzip nur ein auswendig lernen und

507
00:36:22,580 --> 00:36:25,740
generalisieren und das Ergebnis irgendwie
wieder raushauen ist.

508
00:36:25,740 --> 00:36:30,140
Nadja: Bei gelernten Systemen reden wir
oft von Prediction oder Vorhersage. Was

509
00:36:30,140 --> 00:36:32,510
wir aber eigentlich getan haben, ist nicht
über die Zukunft nachzudenken, sondern

510
00:36:32,510 --> 00:36:35,880
ausschließlich über die Vergangenheit. Und
dann ist es die interessante Frage, ob

511
00:36:35,880 --> 00:36:40,740
wirklich Dinge vorhersagen oder eigentlich
nur reproduzieren.

512
00:36:40,740 --> 00:36:47,770
Benjamin: Das Problem ist aber auch, dass
die Menschen den Computern vertrauen. Das

513
00:36:47,770 --> 00:36:50,510
trifft vermutlich jetzt nicht auf alle
Leute hier im Raum zu. Das ist sehr

514
00:36:50,510 --> 00:36:55,770
angenehm, aber in der Gesellschaft ist das
enorm verbreitet inzwischen. KI ist

515
00:36:55,770 --> 00:37:00,770
irgendwas Tolles, KI ist super, KI wird
uns retten. KI kann das, was wir nicht

516
00:37:00,770 --> 00:37:07,860
können. Beispiele: Wir haben diese große
Forschungsinitiative, überall muss KI

517
00:37:07,860 --> 00:37:12,100
gemacht werden. Wenn ich KI in meine
Anträge schreibe, kriege ich Geld. Wenn

518
00:37:12,100 --> 00:37:16,730
ich auf meine Hautcreme draufschreiben,
dass sie mit KI optimiert wurde, kann ich

519
00:37:16,730 --> 00:37:21,910
sie besser verkaufen. Und wenn ich will,
dass mein System und ich als Firma gut

520
00:37:21,910 --> 00:37:26,180
dastehe, dann kann es sich sogar lohnen,
was geschieht, was Google aber auch viele

521
00:37:26,180 --> 00:37:31,490
andere machen, kann es sich lohnen, Leute
einzustellen, die so tun, als wären sie

522
00:37:31,490 --> 00:37:35,400
Computer, zum Beispiel, die irgendwo
anrufen, weil der Computer dazu noch nicht

523
00:37:35,400 --> 00:37:39,600
in der Lage ist und dann die Restaurant
Reservierung oder was weiß ich

524
00:37:39,600 --> 00:37:43,290
durchführen, nur damit man dann am Ende
rausschreiben kann, dass die eigenen KI-

525
00:37:43,290 --> 00:37:50,050
Systeme ja so wahnsinnig toll sind. Und
weil es ja kein Mensch ist, sondern der

526
00:37:50,050 --> 00:37:55,700
Computer, der ja bestimmt viel weiser sein
muss, kann man dadurch sich Vorteile

527
00:37:55,700 --> 00:37:58,430
verschaffen.
Nadja: Ein ganz besonders beunruhigendes

528
00:37:58,430 --> 00:38:00,280
Beispiel haben wir uns außerdem noch
mitgebracht.

529
00:38:00,280 --> 00:40:03,540
<i>Musik</i>
<i>Dialog der Maschine und dem Mann auf japanisch</i>

530
00:40:03,540 --> 00:40:07,870
Um die Frage direkt vorwegzunehmen, ja,
das gibt es wirklich. Und ich hoffe

531
00:40:07,870 --> 00:40:10,510
ehrlich gesagt, ich muss gar nicht
erklären, warum das so unglaublich

532
00:40:10,510 --> 00:40:14,421
kritisch ist. Aber ich frag einfach mal,
was passiert mit uns Menschen so rein

533
00:40:14,421 --> 00:40:18,230
soziologisch, so rein psychologisch, wenn
wir mit Maschinen interagieren, als wären

534
00:40:18,230 --> 00:40:21,750
sie Menschen, als hätten sie Gefühle, wenn
sie Muster imitieren, wie sie in der

535
00:40:21,750 --> 00:40:25,370
Beziehung und zwischenmenschlicher
Kommunikation stattfinden. Was passiert da

536
00:40:25,370 --> 00:40:28,970
mit uns? Worauf lassen wir uns ein? Wie
viel Bios, den wir nicht haben sollten,

537
00:40:28,970 --> 00:40:35,511
akzeptieren wir? Um noch zu einem ganz
anderen Thema zu kommen. Ich hoffe, das

538
00:40:35,511 --> 00:40:37,670
müssen wir hier nur kurz anschneiden, denn
ich habe keine Antwort auf die Frage, die

539
00:40:37,670 --> 00:40:41,050
ich gerade gestellt habe. Daten. Ich
glaube, das ist ein Rahmen, in dem ich

540
00:40:41,050 --> 00:40:44,560
wenig erklären muss, warum
Datensparsamkeit wichtig ist. Wir haben

541
00:40:44,560 --> 00:40:48,580
aber mit Deep Learning ein fundamentales
Problem. Wir brauchen nämlich extrem viele

542
00:40:48,580 --> 00:40:53,450
Daten. Und das beißt sich ganz, ganz stark
mit unseren gesellschaftlichen Interessen.

543
00:40:53,450 --> 00:40:57,640
Das ist aber ein Thema, über das könnte
man mindestens einen eigenen Talk halten.

544
00:40:57,640 --> 00:41:01,320
Außerdem Beispiele wie das: Wie viele
werden es auch schon gesehen haben, eine

545
00:41:01,320 --> 00:41:05,040
KI, die sich gefühlte 15 Minuten im Netz
bewegt hat. Und plötzlich überaus

546
00:41:05,040 --> 00:41:08,060
rassistisch und anderweitig inakzeptable
Äußerungen gebracht hat, weil sie nun mal

547
00:41:08,060 --> 00:41:11,440
aus dem Internet gelernt hat. Und die
interessante Frage stellt sich an der

548
00:41:11,440 --> 00:41:15,030
Stelle ganz krass, sollten wir wirklich
versuchen, mit maschinellen Systemen

549
00:41:15,030 --> 00:41:18,790
Menschen nachzubilden? Oder ist das
vielleicht eine sehr schlechte Idee?

550
00:41:18,790 --> 00:41:27,080
Benjamin: Ein weiterer Punkt, den wir uns,
dem wir uns stellen müssen, der für uns

551
00:41:27,080 --> 00:41:31,310
alle relevant ist, denn wir arbeiten in
irgendeiner Form an Systemen, die

552
00:41:31,310 --> 00:41:36,860
irgendwie was in der Welt bewegen sollen.
Wer ist für all das verantwortlich? Ganz

553
00:41:36,860 --> 00:41:41,860
typisches Beispiel haben wir bei den
autonomen Fahrzeugen. Da wird es schon x

554
00:41:41,860 --> 00:41:47,140
mal diskutiert, wer ist dafür
verantwortlich, wenn ein Unfall passiert?

555
00:41:47,140 --> 00:41:51,220
Aber bei jedem weiteren System gilt das
auch. Es gibt so viele Stellen, die daran

556
00:41:51,220 --> 00:41:54,850
beteiligt sind. Wir haben die Person, die
das Ganze programmieren. Die Personen, die

557
00:41:54,850 --> 00:41:58,800
es in Auftrag gegeben haben. Die Firma,
die das Ganze kauft, vermarktet.

558
00:41:58,800 --> 00:42:02,080
Vielleicht öffentliche Stellen, die
entsprechende Regularien dafür

559
00:42:02,080 --> 00:42:05,520
veröffentlichen. Wir haben
Versicherungskonzerne. Wir haben

560
00:42:05,520 --> 00:42:09,680
Privatpersonen, die ein autonomes Fahrzeug
oder irgendein anderes intelligentes

561
00:42:09,680 --> 00:42:16,640
System besitzen. Wer ist schuld? Wer kann
belangt werden, wenn irgendetwas passiert?

562
00:42:16,640 --> 00:42:20,510
Und welche Auswirkungen hat das? Denn, je
nachdem, wer dafür belangt werden kann,

563
00:42:20,510 --> 00:42:25,230
ergeben sich völlig unterschiedliche
Entscheidungen von den beteiligten

564
00:42:25,230 --> 00:42:30,040
Personen, wogegen sie ihre Systeme
absichern, wie sie ihre Systeme designen.

565
00:42:30,040 --> 00:42:37,060
Und diesen Punkt, dazu gibt es keine
befriedigende Antwort. Eine Umfrage unter

566
00:42:37,060 --> 00:42:44,640
den Amerikaner sagt, dass sie, die
Mehrheit das inakzeptabel findet, dass ein

567
00:42:44,640 --> 00:42:48,920
Computersystem oder algorithmische Systeme
genutzt werden, um in bestimmten

568
00:42:48,920 --> 00:42:55,160
Bereichen, zum Beispiel bei der
Einschätzung von Strafmaßen oder für den

569
00:42:55,160 --> 00:42:58,460
Bewerbungsprozess von Menschen, dass der
Computer wesentliche Entscheidungen dafür

570
00:42:58,460 --> 00:43:04,610
trifft. Blöd nur, all das wird heutzutage
schon gemacht, und zwar eben mit immer

571
00:43:04,610 --> 00:43:10,110
stärker werdenden Ausmaß.
Nadja: Und als Drittes kommen wir jetzt zu

572
00:43:10,110 --> 00:43:14,000
einem Punkt, der oft vernachlässigt wird,
wenn es um Deep Learning geht. Ja, das

573
00:43:14,000 --> 00:43:17,120
werden die alle, die wir heute gesagt
haben, aber der ganz besonders. Und wir

574
00:43:17,120 --> 00:43:20,580
glauben, dass der trotzdem relevant ist.
Nämlich gerade zu Zeiten, wo das Thema

575
00:43:20,580 --> 00:43:24,380
Klimawandel wieder mehr in den Medien
kommt, wo sowohl die Gegner als auch die

576
00:43:24,380 --> 00:43:27,570
Befürworter von irgendwelchen Maßnahmen
stärker werden, ist das ein Thema über das

577
00:43:27,570 --> 00:43:30,420
wir auch nachdenken müssen, auch
wenn es auf den ersten Blick

578
00:43:30,420 --> 00:43:34,380
nichts mit unserer Arbeit zu tun hat.
Benjamin: Wir haben natürlich, bekannt ist

579
00:43:34,380 --> 00:43:37,590
es im Bereich, z. B. von den
Cryptocurrencies, dass die enormen

580
00:43:37,590 --> 00:43:43,810
Stromverbrauch haben, zum Beispiel ein
Bitcoin Transaktion verbraucht ungefähr so

581
00:43:43,810 --> 00:43:52,620
viel Strom wie 500.000 Visa Transaktionen,
eine einzige! Und das entspricht ungefähr

582
00:43:52,620 --> 00:43:58,060
dem Stromverbrauch eines Kühlschranks für
8 Jahre für eine Transaktion. Aber

583
00:43:58,060 --> 00:44:04,230
Bitcoins ist nicht der einzige Bereich, wo
wir Probleme kriegen, in der Hinsicht. Wir

584
00:44:04,230 --> 00:44:11,690
haben auch das generell in allen Formen,
wo wir große Daten haben. Deep Learning

585
00:44:11,690 --> 00:44:15,040
braucht große Datenmengen, Datenmengen
müssen wir speichern, verarbeiten,

586
00:44:15,040 --> 00:44:20,340
transportieren und dafür haben wir
weltweit inzwischen eine relativ groß

587
00:44:20,340 --> 00:44:25,280
steigende Anzahl an Rechenzentren, die
zwischen 200 und 500 Milliarden

588
00:44:25,280 --> 00:44:28,270
Kilowattstunden pro Jahr gerade
verbrauchen. Ganz genau kann man das

589
00:44:28,270 --> 00:44:33,230
natürlich nicht sagen, weil die Firmen
auch diese Daten als Geheimnis betrachten.

590
00:44:33,230 --> 00:44:38,200
Wenn man alle Rechenzentren zusammen als
Land betrachten würde, hätten wir fünf

591
00:44:38,200 --> 00:44:41,200
Länder auf der Erde, die mehr Strom
verbrauchen, dann kommen die

592
00:44:41,200 --> 00:44:44,720
Rechenzentren, dann kommen alle anderen
Länder, und auch das wird weiterhin

593
00:44:44,720 --> 00:44:55,821
steigen. Wir haben, wenn man jetzt noch
kleiner guckt auf das, was wir jetzt

594
00:44:55,821 --> 00:45:00,160
beschrieben haben, den Trainingsprozess
von einzelnen Modellen, auch da schon

595
00:45:00,160 --> 00:45:05,780
einen erschreckend hohen Stromverbrauch,
der auch dort leider nicht linear, sondern

596
00:45:05,780 --> 00:45:12,720
sondern deutlich darüber ansteigt. Wenn
wir also ein einzelnes, einzelne Modelle

597
00:45:12,720 --> 00:45:16,850
trainieren wollen, sehen wir, dass die
großen State of the Art Systeme, die dann

598
00:45:16,850 --> 00:45:21,670
natürlich von Firmen wie Google und
Facebook AI und anderen

599
00:45:21,670 --> 00:45:25,200
Forschungsinstitute, Einrichtungen von
großen, großen Firmen vorgeschlagen

600
00:45:25,200 --> 00:45:34,250
werden, dass dort Strom verbraucht wird
für hunderttausende teilweise Millionen an

601
00:45:34,250 --> 00:45:42,650
Euro. Dass dort auch inzwischen natürlich
zusätzlich noch GPUs, CPUs eingesetzt

602
00:45:42,650 --> 00:45:47,510
werden, die schwer zu bekommen sind, die
teuer anzuschaffen sind, sodass wir

603
00:45:47,510 --> 00:45:50,561
natürlich auch sowohl durch den
Stromverbrauch als auch durch die

604
00:45:50,561 --> 00:45:56,250
Infrastruktur. Erstens haben wir diesen
Umwelteffekt. Zweitens, wenn wir den

605
00:45:56,250 --> 00:46:01,270
Effekt, dass immer weniger Firmen, immer
weniger große Einrichtungen in der Lage

606
00:46:01,270 --> 00:46:06,570
sind, Deep Learning auf dem State of the
Art durchzuführen. Der Rest wird

607
00:46:06,570 --> 00:46:10,210
abgehängt. Das heißt auch da
gesellschaftliche Auswirkungen ---

608
00:46:10,210 --> 00:46:14,950
problematisch, Umweltauswirkungen ---
problematisch und leider ein Trend, der

609
00:46:14,950 --> 00:46:19,740
offensichtlich genau in die falsche
Richtung geht. Wenn man sich das nochmal

610
00:46:19,740 --> 00:46:26,760
hier anguckt, was das auch für den
CO2-Ausstoß bedeutet, sehen wir, dass das

611
00:46:26,760 --> 00:46:33,300
Training von einem einzigen Modell, wie es
dann veröffentlicht wird am Ende, von so

612
00:46:33,300 --> 00:46:38,360
einem großen Modell ungefähr so viel CO2
ausstößt wie fünf Autos in ihrer ganzen

613
00:46:38,360 --> 00:46:43,210
Lebensdauer, inklusive Produktion und
inklusive sämtlichen Sprit, der dann darin

614
00:46:43,210 --> 00:46:47,600
verbrannt wird. Und solche Forschung
findet ständig weiterhin statt, weil man

615
00:46:47,600 --> 00:46:51,320
ja weiter publizieren will, wie wir am
Anfang schon erzählt haben. Das heißt,

616
00:46:51,320 --> 00:46:55,030
dauerhaft werden solche Modelle gerade auf
der Welt trainiert, um dann irgendwo in

617
00:46:55,030 --> 00:46:58,090
irgendeinem kleinen Teilbereich eine neue
Publikationen machen zu können.

618
00:46:58,090 --> 00:47:02,800
Nadja: Jetzt komme ich und bringe die
Frohbotschaft. Nein, es ist nicht alles

619
00:47:02,800 --> 00:47:06,200
ganz so schlimm, wie es jetzt gerade
scheint, wenn wir die Nachteile auflisten.

620
00:47:06,200 --> 00:47:09,070
Tatsächlich kann der ganze Bereich des
maschinellen Lernen auch Vorteile mit sich

621
00:47:09,070 --> 00:47:11,880
bringen und hier in diesem Beispiel sogar
auch tatsächlich das Deep Learning. Es

622
00:47:11,880 --> 00:47:16,700
geht darum, dass Google über Jahre hinweg
versucht hatte, mithilfe von maschinellen

623
00:47:16,700 --> 00:47:22,700
Lernen die Betriebe ihrer Datenzentren zu
optimieren. Da eine Einsparung im

624
00:47:22,700 --> 00:47:25,220
Stromverbrauch zu erreichen. Wir reden
hier von Reinforsment Learning für die,

625
00:47:25,220 --> 00:47:29,760
denen es was sagt. Was die Kühlungsteuerung,
die Abschaltung von Servernet et cetera

626
00:47:29,760 --> 00:47:32,920
beeinflussen konnte und damit der
Stromverbrauch um bis zu 40 Prozent

627
00:47:32,920 --> 00:47:36,840
gesenkt hat. Das ist auf jeden Fall eine
gute Nachricht. Natürlich ist auch mir die

628
00:47:36,840 --> 00:47:40,130
Ironie klar, dass wir hier den
Stromverbrauch von Datenzentren sprechen,

629
00:47:40,130 --> 00:47:44,300
ohne das Feld auch gar nicht so sehr nötig
wären. Trotzdem Man kann diese

630
00:47:44,300 --> 00:47:49,250
Wissenschaft, man kann diesen Bereich auch
durchaus für gute Sachen nutzen, die uns

631
00:47:49,250 --> 00:47:54,160
allen was helfen kann. Das lässt sich
natürlich nicht auf alle großen Strom und

632
00:47:54,160 --> 00:47:58,440
CO2 Produzenten übertragen, die wir in
unserer Industrie so haben. In der

633
00:47:58,440 --> 00:48:01,560
Autoindustrie wird das schon sehr viel
schwieriger, wenn wir von Montagerozessen

634
00:48:01,560 --> 00:48:04,720
reden, von Produktionsprozessen reden. Da
kann man nicht einfach wild durch die

635
00:48:04,720 --> 00:48:07,820
Gegend tauschen, welcher Task denn
ausgeführt wird. Wenn die Server

636
00:48:07,820 --> 00:48:11,850
vielleicht nicht ausgelastet sind oder sie
nicht direkt ausführen, damit der Server

637
00:48:11,850 --> 00:48:16,300
noch mal abgeschaltet bleiben kann. Aber
ist das was, womit wir uns auf jeden Fall

638
00:48:16,300 --> 00:48:22,000
beschäftigen sollten. Mit Strom und CO2
ist das Lied um die Umweltauswirkungen

639
00:48:22,000 --> 00:48:25,540
noch nicht zu Ende. Es geht auch darum,
wie wir unsere Infrastruktur belasten, wie

640
00:48:25,540 --> 00:48:30,040
wir Straßen, Städte, Gebäude und so weiter
beanspruchen für den Bau, für den Betrieb,

641
00:48:30,040 --> 00:48:33,390
für den Transport. Für die Vernetzung von
den ganzen Systemen, die wir für diesen

642
00:48:33,390 --> 00:48:36,420
Forschungszweig brauchen. Es geht darum,
was wir für Platz beanspruchen mit

643
00:48:36,420 --> 00:48:41,240
Forschungszentren, mit Datenzentren, mit
Supercomputern und GPU Produktion. Es geht

644
00:48:41,240 --> 00:48:45,040
darum, wie viel Arbeitskraft und wie viel
Zeitaufwand gebunden ist. Nur um ein neues

645
00:48:45,040 --> 00:48:48,120
Netz zu forschen. Es geht darum, wie viel
Forschungsgelder darin investiert werden,

646
00:48:48,120 --> 00:48:51,160
mit denen man noch andere Dinge tun
könnte. Es geht um endliche Ressourcen

647
00:48:51,160 --> 00:48:55,330
unserer Erde wie Metalle wie die
sogenannten Seltenen Erden oder wie Erdöl,

648
00:48:55,330 --> 00:48:59,990
die dafür gebraucht werden. Und es gibt
noch so viel mehr. Das war nur ein ganz

649
00:48:59,990 --> 00:49:03,010
kleiner Einblick in das Thema, und es ist
ganz wichtig: Es geht nicht nur um den

650
00:49:03,010 --> 00:49:07,290
Stromverbrauch. Die Awareness an der
Stelle ist noch viel zu niedrig, um

651
00:49:07,290 --> 00:49:11,700
darüber quantitativ Aussagen treffen zu
können. Aber es ist auf jeden Fall ein

652
00:49:11,700 --> 00:49:15,530
Faktor. So viel wissen wir. Wir kommen
damit auch schon zur Frage: Wie kann es

653
00:49:15,530 --> 00:49:21,890
eigentlich weitergehen?
Benjamin: Wichtig ist, dass wir alle uns

654
00:49:21,890 --> 00:49:26,010
bewusst sind, dass wir die Verantwortung
tragen, wie es in dem Bereich weitergeht.

655
00:49:26,010 --> 00:49:30,010
Denn sowohl die Leute, die in diesem Land
arbeiten, aber auch in allen Bereichen,

656
00:49:30,010 --> 00:49:35,580
die damit verbunden sind. Wir forschen.
Wir bauen Systeme. Wir sorgen dafür, dass

657
00:49:35,580 --> 00:49:40,290
solche Systeme weiter entstehen, dass sie
wichtiger werden, dass sie, obwohl wir

658
00:49:40,290 --> 00:49:43,240
wissen, dass zum Beispiel das alles der
Generalisierung, aus Vereinfachungen

659
00:49:43,240 --> 00:49:47,760
besteht. Dass sie trotzdem für Dinge
eingesetzt werden. Wir sorgen dafür, dass

660
00:49:47,760 --> 00:49:54,180
unsere Sensorik, die wir in Autos
verbauen, irgendwelche 25 Gigabyte pro

661
00:49:54,180 --> 00:49:57,261
Stunde an Daten produzieren, die man dann
wieder auswerten, um daraus etwas machen

662
00:49:57,261 --> 00:50:02,930
kann. Wir sorgen dafür, dass Systeme
optimiert werden. Wir sorgen dafür, dass

663
00:50:02,930 --> 00:50:09,260
das gebaut werden für die Industrie, damit
das komische Hautpflegeprodukten

664
00:50:09,260 --> 00:50:14,280
plötzlich KI optimiert ist. Das kann
man natürlich alles einfach so machen,

665
00:50:14,280 --> 00:50:18,690
weil man in dem Bereich gut Geld verdienen
kann. Ist aber vermutlich keine gute Idee,

666
00:50:18,690 --> 00:50:22,910
sondern man sollte sich wirklich
überlegen: Was sind die Konsequenzen von

667
00:50:22,910 --> 00:50:27,490
dem Ganzen, und was müssten wir eigentlich
alle ändern, um dieses ganze Feld

668
00:50:27,490 --> 00:50:33,980
weiterzutreiben? Denn, das ist das Schöne,
zumindest im Forschungssektor. Es ist

669
00:50:33,980 --> 00:50:38,250
alles von der Community angetrieben. Es
ist immer eine Entscheidung von allen

670
00:50:38,250 --> 00:50:44,010
Forscher in den ganzen Bereichen, ob sie
genauso weitermachen oder ob sie ihre

671
00:50:44,010 --> 00:50:50,530
Arten schieben, ob sie anders agieren, ob
sie mehr und mehr auf solche Dinge achten

672
00:50:50,530 --> 00:50:54,030
oder eben nicht.
Nadja: Grundsätzlich um weiterzumachen,

673
00:50:54,030 --> 00:50:56,380
gerade um die gesellschaftlichen
Auswirkungen des Themas zu beeinflussen.

674
00:50:56,380 --> 00:51:00,040
Was müssen wir anstreben? Wir müssen
Diskurs anstreben. Wir müssen mit der

675
00:51:00,040 --> 00:51:03,160
gesamten Gesellschaft, mit einer riesigen
Breite an Menschen darüber reden. Was

676
00:51:03,160 --> 00:51:05,770
wollen wir von diesen Systemen? Unter
welchen Umständen machen wir das System?

677
00:51:05,770 --> 00:51:09,530
Was sind die Auflagen, die wir stellen,
was akzeptabel und was nicht? Das

678
00:51:09,530 --> 00:51:12,350
funktioniert nicht, wenn diese
Entscheidungen getroffen werden von fünf

679
00:51:12,350 --> 00:51:15,030
Leuten, die irgendwie ihre eigenen
Interessen vertreten müssen. Das ist ein

680
00:51:15,030 --> 00:51:17,600
Diskurs, der auf jeden Fall in die
gesellschaftliche Breite gehen muss. Es

681
00:51:17,600 --> 00:51:20,870
gibt einfach keine klare Antwort, und die
Antworten, die wir brauchen, die müssen

682
00:51:20,870 --> 00:51:24,110
wir zusammen finden. Wir müssen aber auch
Bildung auf allen Ebenen vorantreiben.

683
00:51:24,110 --> 00:51:28,080
Weil ich muss als Informatikerin auch die
ethischen Auswirkungen eines Handelns

684
00:51:28,080 --> 00:51:33,020
bedenken. Ich muss auch dem Enduser sagen
können, was das bedeutet, wenn er etwas

685
00:51:33,020 --> 00:51:36,590
einsetzt. Auch wenn er die technischen
Details nicht versteht, muss er in der

686
00:51:36,590 --> 00:51:40,220
Lage sein einzuschätzen, ob der Einsatz an
der Stelle sinnvoll ist und gerade auch

687
00:51:40,220 --> 00:51:43,290
die Menschen, die die Legislatur
vorantreiben. Diese Menschen sollte es auf

688
00:51:43,290 --> 00:51:46,270
jeden Fall geben müssen, genug davon
verstehen und auch wirklich einschätzen

689
00:51:46,270 --> 00:51:49,311
können, was sie da gerade erlauben oder
nicht erlauben, damit wir auch die

690
00:51:49,311 --> 00:51:54,020
positiven Aspekte solcher Felder mitnehmen
können. Awareness ist ganz besonders

691
00:51:54,020 --> 00:51:57,120
wichtig, damit wir diesen Diskurs führen
können. Damit wir diese Bildung

692
00:51:57,120 --> 00:52:00,150
vorantreiben kann, müssen wir darüber
reden: Wie funktionieren unsere Daten?

693
00:52:00,150 --> 00:52:03,010
Unter welchen Umständen verwenden wir sie?
Wo kommen die Modelle her? Wie

694
00:52:03,010 --> 00:52:05,990
funktionieren Erklärbarkeit und
Reproduzierbarkeit? Aber auch wer trägt

695
00:52:05,990 --> 00:52:08,990
die Verantwortung? Was sind die
Konsequenzen? Und wie führen wir diesen

696
00:52:08,990 --> 00:52:13,780
Diskurs? Am Ende gilt: Wir müssen
umdenken, statt nur zu folgen. Es

697
00:52:13,780 --> 00:52:17,060
funktioniert nicht, wenn wir einfach so
weitermachen wie bisher. Sondern wir

698
00:52:17,060 --> 00:52:21,010
müssen in manchen Dingen einfach
grundlegend auch nochmal nachdenken. Viele

699
00:52:21,010 --> 00:52:24,430
dieser Maßnahmen sind tatsächlich doppelt
hilfreich, begünstigen sich gegenseitig.

700
00:52:24,430 --> 00:52:27,320
Wir stecken da nicht unbedingt in einem
Teufelskreis. Wenn wir systematisch

701
00:52:27,320 --> 00:52:30,260
arbeiten, dann tun wir der
Reproduzierbarkeit gefallen. Aber auch

702
00:52:30,260 --> 00:52:33,910
unseren Ressourcenverbrauch, weil wir viel
weniger nochmal machen müssen, wenn wir

703
00:52:33,910 --> 00:52:36,940
die Alternativen zu Deep Learning auch
nutzen, tun wir der Erklärbarkeit

704
00:52:36,940 --> 00:52:39,820
Gefallen, aber auch der Datensparsamkeit.
Wahrscheinlich, wenn wir den Publications

705
00:52:39,820 --> 00:52:44,050
Druck senken und damit die Qualität in die
Höhe schreiben. Dann fördern wir den

706
00:52:44,050 --> 00:52:46,620
wissenschaftlichen Anspruch, und wir
helfen unserem Ressourcenverbrauch. Aber

707
00:52:46,620 --> 00:52:50,120
insgesamt ist unsere große Herausforderung
momentan in der Gesellschaft verbreitete

708
00:52:50,120 --> 00:52:53,150
Unwissenheit, und das nicht richtig
reflektiert wird, was das für Auswirkungen

709
00:52:53,150 --> 00:52:57,500
hat, was wir machen und in welchen Skalen
bewegen. Damit sagen wir fürs Erste auch

710
00:52:57,500 --> 00:53:01,240
schon Danke, schön, dass Sie hier waren.
Wir haben uns wirklich gefreut gesagt. So

711
00:53:01,240 --> 00:53:04,240
dürfen wir hoffen. Wir geben ein paar
Denkanstöße mit. Wir können dieses Thema

712
00:53:04,240 --> 00:53:07,070
nur sehr, sehr oberflächlich einsteigen in
50 Minuten. Wir sind jetzt schon relativ

713
00:53:07,070 --> 00:53:10,061
weit in der Zeit. Trotzdem haben wir noch
ein paar Minuten für Fragen, aber auch

714
00:53:10,061 --> 00:53:13,270
über den Vortrag hinaus. Sind wir da froh,
wenn Leute sich informieren,

715
00:53:13,270 --> 00:53:18,510
recherchieren, selbst kritisieren und
reflektieren oder auf uns zukommen.

716
00:53:18,510 --> 00:53:19,190
Dankeschön.

717
00:53:19,190 --> 00:53:25,010
<i>Applaus</i>

718
00:53:25,010 --> 00:53:28,830
Herald: Okay, alles klar. Wir haben noch
ein paar Minuten Zeit für Fragen.

719
00:53:28,830 --> 00:53:33,210
Damit wir auch möglichst viele und zügig
durchkommen. Bewegt euch doch bitte direkt

720
00:53:33,210 --> 00:53:37,520
zu den Mikrofonen. Und wir fangen direkt
hier mit Mikrofon 4 and.

721
00:53:37,520 --> 00:53:46,320
Mik 4: Ich versuche, mich kurz zu halten.
KI für Autos ist ziemlich faszinierend,

722
00:53:46,320 --> 00:53:51,200
die unterscheidet zuverlässig zwischen
einem Baum und einem Verkehrsschild. Ich

723
00:53:51,200 --> 00:53:55,660
bin immer wieder enttäuscht, wenn ich KI
sehe für Suchmaschinenoptimierung, was ich

724
00:53:55,660 --> 00:54:01,760
da angeboten bekomme. Ich glaube, das
Problem ist die Datengrundlage. Ein Baum,

725
00:54:01,760 --> 00:54:05,590
da gibts keine Diskussion. Das ist ein
Baum. Was ist die schönste Website ist

726
00:54:05,590 --> 00:54:12,620
oder das nächstbeste Video? Das ist eine
Geschmacksfrage. Worauf ich hinaus möchte:

727
00:54:12,620 --> 00:54:18,620
wäre es nicht sinnvoll oder dringend
notwendig, darüber nachzudenken, wie die

728
00:54:18,620 --> 00:54:24,500
Trainingsdaten qualifiziert sind, ob man
die qualitativ einsortieren sollte?

729
00:54:24,500 --> 00:54:30,280
Nadja: Ich stimme soweit absolut zu,
Trainingstagendiskussion steht an. Müssen

730
00:54:30,280 --> 00:54:34,450
wir führen? Qualität ist extrem wichtig.
Das Problem geht aber noch darüber hinaus.

731
00:54:34,450 --> 00:54:38,660
Zum einen die Frage mit dem Auto und dem
Fußgänger, wie uns der Überkräsch 2018

732
00:54:38,660 --> 00:54:41,740
gezeigt hat, gar nicht so trivial.
Festgestellt haben die Annahme, dass

733
00:54:41,740 --> 00:54:45,150
Fußgänger nur auf dem Fußgängerüberweg zu
finden ist, das vielleicht gar nicht so

734
00:54:45,150 --> 00:54:49,600
realistisch. Trivial ist es also nicht.
Natürlich sind Suchmaschinen auch eine

735
00:54:49,600 --> 00:54:53,520
subjektive Entscheidung. Weil was ich
suche, weiß am Ende nur ich. Jemand mit

736
00:54:53,520 --> 00:54:56,370
der gleichen Suchanfrage sucht vielleicht
etwas anderes. Natürlich ist das Internet

737
00:54:56,370 --> 00:55:00,200
einfach eine extrem riesige Datenbasis mit
sehr unsauberen Daten. Das heißt, dass es

738
00:55:00,200 --> 00:55:02,640
eine völlig andere Herausforderung als
Bildklassifikation von autonomen

739
00:55:02,640 --> 00:55:06,470
Fahrzeugen. Grundsätzlich Trainingstagen,
Diskussionen, aber auch über das Monopol

740
00:55:06,470 --> 00:55:09,641
von solchen Unternehmen, wie Google.
Gerade was Suchmaschinen angeht, müssen

741
00:55:09,641 --> 00:55:14,440
wir definitiv reden. Herald: Alles was,
dann machen wir direkt weiter mit einer

742
00:55:14,440 --> 00:55:18,640
Frage vom Signal-Engel aus dem Internet.
Signal-Engel: Das Internet fragt: Sollen

743
00:55:18,640 --> 00:55:22,650
wir das mit dem Deep Learning dann
eigentlich lieber lassen? Oder seht ihr

744
00:55:22,650 --> 00:55:26,820
auch sinnvolle Anwendungen, zum Beispiel
um irgendeinen hohen Datenaufwand für

745
00:55:26,820 --> 00:55:31,030
freigiebige Nutzer irgendwie zu reduzieren
zum Beispiel.

746
00:55:31,030 --> 00:55:35,080
Benjamin: Es sein zu lassen, ist
sicherlich nicht der richtige Ansatz. Das

747
00:55:35,080 --> 00:55:39,340
zeigt sich ja, dass Deep Learming für
bestimmte Dinge sehr wertvoll ist. Wir

748
00:55:39,340 --> 00:55:43,430
haben jetzt Beispiele gezeigt, wo es gut
funktioniert, schlechter funktioniert.

749
00:55:43,430 --> 00:55:48,340
Gerade bei komplexen Dingen haben wir
wenig Ansätze, die anders gut

750
00:55:48,340 --> 00:55:52,180
funktionieren. Die Verarbeitung
menschlicher Sprache zum Beispiel hat

751
00:55:52,180 --> 00:55:55,710
einen Riesenschritt nach vorne gemacht
durch die Deep Learning, weil menschliche

752
00:55:55,710 --> 00:55:59,250
Sprache so unglaublich komplex ist, dass
ich mit allen bisherigen Ansatz, bei denen

753
00:55:59,250 --> 00:56:02,470
ich Silben zähle und Buchstaben vergleiche
oder so etwas nicht so wirklich

754
00:56:02,470 --> 00:56:07,291
weiterkomme. Da brauche ich ganz viel
Wissen rein. Das heißt, man muss, aber man

755
00:56:07,291 --> 00:56:12,000
muss sich eben überlegen. Ist es für
diesen Zweck der richtige Ansatz? Also,

756
00:56:12,000 --> 00:56:17,180
ich will das jetzt nicht pauschal
beantworten. Das muss man sich gründlich

757
00:56:17,180 --> 00:56:21,580
überlegen. Das sollte sicher Message sein.
Nadja: Wir stellen im Prinzip nicht die

758
00:56:21,580 --> 00:56:24,150
Frage: Sollten wir die Planung verwenden,
sondern Wofür sollten wir es verwenden?

759
00:56:24,150 --> 00:56:29,150
Und was müssen wir vorher bedenken?
Herald: Ich versuche, es mit den Fragen

760
00:56:29,150 --> 00:56:33,040
hier im Raum so halbwegs chronologisch zu
machen. Aber mit Mikro 1 weiter.

761
00:56:33,040 --> 00:56:38,020
Mik 1: Eine Frage zur Reproduzierbarkeit.
Ich saß gerade in einem Lightening Talk,

762
00:56:38,020 --> 00:56:43,750
Da hatte jemand genau das Problem, das
nicht reproduzieren konnte. Eine seiner

763
00:56:43,750 --> 00:56:47,710
Hauptforderungen, um das zu beheben, war,
das alles, was man braucht, zum

764
00:56:47,710 --> 00:56:51,570
Reproduzieren zur Verfügung gestellt wird
und dass das auch von Journals enforced

765
00:56:51,570 --> 00:56:56,920
wird. Über Reviews oder über irgendwelche
andere Sachen. Sieht Ihr, dass es

766
00:56:56,920 --> 00:57:00,840
irgendwelche Bestrebungen in diese
Richtung gibt. Oder es ist ein zu großer

767
00:57:00,840 --> 00:57:05,280
Hype, als dass man da irgendwie eingreifen
könnte sinnvoll.

768
00:57:05,280 --> 00:57:07,680
Benjamin: Es gibt, wie
gesagt,

769
00:57:07,680 --> 00:57:14,450
diese Sigel bei vielen Konferenzen,
sicherlich auch bei Journals. Je nach Feld

770
00:57:14,450 --> 00:57:17,260
in dem Bereich, hier wird gar nicht so
viel in Journals publiziert, weil man

771
00:57:17,260 --> 00:57:21,420
Konferenzen leichter hinkriegt. Und alles
geht schneller, Journals dauert irgendwie

772
00:57:21,420 --> 00:57:25,280
immer zu lang. Es wäre
wünschenswert, dass da mehr passiert.

773
00:57:25,280 --> 00:57:29,770
Dafür müssen sich aber quasi
diese Ältestenrates, die sich

774
00:57:29,770 --> 00:57:33,140
zusammensetzen und diese Konferenzen
planen, organisieren, dafür entscheiden,

775
00:57:33,140 --> 00:57:38,030
dass für sie das auf der Liste auch so
weit oben ist, dass sie das erzwingen.

776
00:57:38,030 --> 00:57:41,440
Bisher ist es alles optional.
Wünschenswert wäre es definitiv.

777
00:57:41,440 --> 00:57:44,400
Nadja: Sicherlich reden wir doch in
irgendeiner Form über Regularien. Und

778
00:57:44,400 --> 00:57:46,620
dabei müssen wir dann immer noch
unterscheiden zwischen öffentlich

779
00:57:46,620 --> 00:57:50,290
geförderten Forschungseinrichtungen und
privater Forschung. Das ist nämlich sehr

780
00:57:50,290 --> 00:57:54,930
unterschiedliche Herausforderungen.
Herald: Okay, dann gehen wir gerade mal

781
00:57:54,930 --> 00:58:01,370
kurz zum Mikro Nr. 7 da ganz am Rand.
Mik 7: Hallo, danke für den Vortrag.

782
00:58:01,370 --> 00:58:05,820
Haltet ihr AGI für möglich? Und wann
könnte es soweit sein?

783
00:58:05,820 --> 00:58:09,240
Nadja: AGI Omnipotenz, Intelligenz oder
...

784
00:58:09,240 --> 00:58:14,030
Mik 7: Artifical General Intelligence.
Nadja: Momentaner Forschungsstand "Hell

785
00:58:14,030 --> 00:58:18,220
know". Das war eine relativ
unprofessionelle Antwort. Aber momentan

786
00:58:18,220 --> 00:58:20,531
haben wir hauptsächlich sehr
spezialisierte Expertensysteme, die genau

787
00:58:20,531 --> 00:58:25,460
ein detailreichen Task machen kann. Selbst
bei Sprachassistenzsystemen, die irgendwie

788
00:58:25,460 --> 00:58:29,530
ein Paar Tasks, die noch immer eine sehr
eingeschränkte Menge machen, haben in

789
00:58:29,530 --> 00:58:32,890
aktuellen Forschungsstand zwar große
Fortschritte, aber man kann sie ja sehr

790
00:58:32,890 --> 00:58:36,800
einfach die Schwächen ausnutzen. Es gibt
eine total spannende Professorin in USA,

791
00:58:36,800 --> 00:58:39,890
die sagt, gibt mir irgendeinen
Sprachverarbeitungsystem, in drei Fragen

792
00:58:39,890 --> 00:58:43,460
mache ich spätestens kaputt, und sie hat
es bisher immer geschafft. Wir haben

793
00:58:43,460 --> 00:58:47,470
momentan mit dem aktuellen Stand der
Technik ziemlich krasse Limitationen in

794
00:58:47,470 --> 00:58:51,980
den nächsten Jahren. Ich persönlich nicht
kommen. Grundsätzlich ist die künstliche

795
00:58:51,980 --> 00:58:55,480
Intelligenz aber auf allen Ebenen etwas,
das sie im Auge behalten sollen. Also ich

796
00:58:55,480 --> 00:58:57,770
würde auch wiederum nicht behaupten, dass
davon keinerlei Gefahr ausgeht.

797
00:58:57,770 --> 00:58:59,210
Benjamin: Es ist aber
auch nicht der

798
00:58:59,210 --> 00:59:01,990
zentrale Punkt zur Zeit. 
Das meiste, was, woran die Leute

799
00:59:01,990 --> 00:59:05,680
forschen, sind spezialisierte Systeme und
vielleicht noch zusätzliche Systeme, die

800
00:59:05,680 --> 00:59:09,250
vorne dran gestellt werden, die dann
entscheiden, an welches Teilsystem das

801
00:59:09,250 --> 00:59:14,190
Ganze weitergereicht wird. Aber daran zu
forschen, ein weltverstehendes System, was

802
00:59:14,190 --> 00:59:18,160
irgendwie auch noch beliebige Formate von
Antworten geben kann, so sowas zu bauen,

803
00:59:18,160 --> 00:59:21,890
das gibt es sicherlich die Forschung. Aber
es ist nicht das, was irgendwie auch in

804
00:59:21,890 --> 00:59:25,770
den Publikationen Platz findet, weil man
dort überhaupt nicht soweit wäre und das

805
00:59:25,770 --> 00:59:29,240
andere einfach viel einfacher ist und man
da vielleicht was veröffentlichen kann.

806
00:59:29,240 --> 00:59:31,850
Wen das Fachliche interessiert, wäre das ein 
schönes Einstiegspunt in das ein semantische

807
00:59:31,850 --> 00:59:34,820
Modellierung. Weil wir bei vielen
Künstliche Intelligenzen darüber sprechen,

808
00:59:34,820 --> 00:59:37,720
ist das Allgemeinwissen,
Hintergrundwissen, diese ganzen Sachen

809
00:59:37,720 --> 00:59:40,780
fehlen und die Darstellung dafür auch. Das
ist eine der großen Herausforderungen,

810
00:59:40,780 --> 00:59:44,320
so als Stichwort.
Herald: Okay. Nehmen wir doch eine Frage

811
00:59:44,320 --> 00:59:47,640
aus dem Internet.
Signal-Engel: Ich sage erst mal Liebe

812
00:59:47,640 --> 00:59:53,740
Grüße aus D. 120, das wisst ihr jetzt
besser als ich. <i>Nadja lacht</i> Die Frage

813
00:59:53,740 --> 00:59:58,370
ist Ist die Reproduzierbarkeit nur oder
gerade im Deep Learning ein Problem, oder

814
00:59:58,370 --> 01:00:01,550
betrifft das nicht sogar große Teile der
machienelearning Forschung?

815
01:00:01,550 --> 01:00:03,450
Nadja: Definitiv große Teile
der machiene learning

816
01:00:03,450 --> 01:00:05,430
Forschung. Ehrlich gesagt auch
darüber hinaus.

817
01:00:05,430 --> 01:00:09,080
Reproduzierbarkeit ist bei
fast allen wissenschaftlichen

818
01:00:09,080 --> 01:00:12,270
Publikationen ein Faktor, es gibt nur die
Sachen, die dafür anfälliger und weniger

819
01:00:12,270 --> 01:00:15,270
anfällig sind. Gerade wenn man über
digitale Themen reden. Aber an sich

820
01:00:15,270 --> 01:00:17,961
Reproduzierbarkeit ist immer in der
Forschung gewünscht und leider nicht weit

821
01:00:17,961 --> 01:00:20,870
genug verbreitet. Also defintiv die
gesamte Informatik generell.

822
01:00:20,870 --> 01:00:28,030
Benjamin: Generell vieles, was wir hier
gesagt haben, trifft auf machiene learning

823
01:00:28,030 --> 01:00:31,571
im Allgemeinen zu. Aber das Deep Learning,
gerade durch diese riesigen Datenmengen

824
01:00:31,571 --> 01:00:35,580
und so weiter. Da treten die Effekte
verstärken besonders auf. Deswegen haben

825
01:00:35,580 --> 01:00:38,640
wir uns hier darauf konzentriert. Aber man
kann es auch beliebig...

826
01:00:38,640 --> 01:00:41,770
Nadja: Und gerade weil es ein Passwort
ist, macht es auch nochmal

827
01:00:41,770 --> 01:00:45,750
anfälliger dafür .
Herald: Ok, dann Mikrophon Nr. 8.

828
01:00:45,750 --> 01:00:51,170
Mik 8: Daran anschließend. Ich hab
irgendwie das Gefühl, dass es ein großer

829
01:00:51,170 --> 01:00:56,480
Teil auch Publicationsbios ist, wo so
lange gespielt wird an den Daten, bis

830
01:00:56,480 --> 01:01:02,781
irgendwie ein Ergebnis raus kommt. Und ich
hab, es ist so einen Trend in der Psychologie, wo

831
01:01:02,781 --> 01:01:06,080
die das Problem ganz massiv hatten. Und
die haben das dadurch gelöst, dass die

832
01:01:06,080 --> 01:01:10,510
sagen, Hey, ich muss die Studien bei
manchen Journals vorregistrieren, so: Dass

833
01:01:10,510 --> 01:01:14,520
sind meine. Das möchte ich machen. Und
dann kommt am Ende vielleicht ein

834
01:01:14,520 --> 01:01:19,560
negativer Ergebnis raus. Gibt es da
Bemühungen, machiene learning, sodass man

835
01:01:19,560 --> 01:01:24,731
sagt: Ich publiziere den Korpus vorher,
den ich auf dem ich lernen will, und wenn

836
01:01:24,731 --> 01:01:28,020
dann nichts funktioniert, dann ist das
halt so.

837
01:01:28,020 --> 01:01:29,490
Nadja: Ich würde 
sagen, es ist relativ schwer

838
01:01:29,490 --> 01:01:32,510
zu beantworten für den Bereich,
weil es vielleicht nicht ganz so

839
01:01:32,510 --> 01:01:36,750
funktioniert. Ein Datenkorpus zu
publizieren an sich. Es gibt zum Daten

840
01:01:36,750 --> 01:01:40,801
Konferenzen, die sich einfach auf sowas
konzentrieren. Aber auf einem Korpus kann

841
01:01:40,801 --> 01:01:46,460
ich sehr viele Dinge tun, und dadurch
hilft mir das noch nicht unbedingt. Ich

842
01:01:46,460 --> 01:01:50,900
glaube, dass da die Fragestellung einfach
komplexer ist. Ich kenne keine konkreten

843
01:01:50,900 --> 01:01:53,450
Bemühungen, die jetzt in eine Richtung
gehen. Ich fände es wünschenswert...

844
01:01:53,450 --> 01:01:58,770
Benjamin: Es wäre definitiv wünschenswert.
Aber es wird in der Form kaum gemacht. Es

845
01:01:58,770 --> 01:02:03,200
sind eben keine. Ich bin bisher fast
nirgendwo. Oder bei den großen

846
01:02:03,200 --> 01:02:08,070
Konferenzen bin ich niemals gezwungen,
vorher zu sagen, was ich glaube, wie es

847
01:02:08,070 --> 01:02:13,141
ausgeht, sondern ich liefere erst wenn ich
mein Ergebnis vorstelle, sage ich, was da

848
01:02:13,141 --> 01:02:17,510
rauskommt und welche Fehlschläge ich hatte
und ob ich überhaupt verklausuliert ins

849
01:02:17,510 --> 01:02:20,540
Paper reinschreiben oder ob es komplett
sein lasse. Da zwingt mich niemand zu.

850
01:02:20,540 --> 01:02:24,200
Nadja: Es gibt ein paar Bestrebungen, die
Publikation von Fehlschlägen oder

851
01:02:24,200 --> 01:02:28,231
Messergebnissen zu machen. Aber auch das
wird immer noch von so vielen Leuten

852
01:02:28,231 --> 01:02:31,510
belächelt, so als Unterhaltungsmedium mehr
als ernst zu nehmende Wissenschaft. Das

853
01:02:31,510 --> 01:02:34,110
glaube ich auch ein Problem, weil 
dadurch die gleichen

854
01:02:34,110 --> 01:02:36,190
Fehler z.B. im machiene learning, 
gerade wo wir nicht

855
01:02:36,190 --> 01:02:38,440
systematisch arbeiten,
sondern auch ein bisschen nach

856
01:02:38,440 --> 01:02:42,190
Bauchgefühl gehen müssen, wiederholt
werden, was eigentlich unmöglich ist.

857
01:02:42,190 --> 01:02:46,050
Dieser typische Satz, das weiß man doch,
dass der Ansatz da nicht funktioniert.

858
01:02:46,050 --> 01:02:48,010
Woher soll man das wissen, wenn 
man noch studiert?

859
01:02:48,010 --> 01:02:54,240
Herald: Okay, wir haben noch Zeit für eine
kurze Frage und gehen zum Mikrofon 5.

860
01:02:54,240 --> 01:03:01,570
Mik 5: Ich will ein paar Details zu dieser
Beschreibung von Black Box Wissen. Ich

861
01:03:01,570 --> 01:03:08,560
weiß, dass man durch featuremaps das
Netzwerk untersuchen kann, und wollte

862
01:03:08,560 --> 01:03:14,370
wissen, was hier eine Blackbox, weil es
ist nicht so Black entscheidend.

863
01:03:14,370 --> 01:03:18,390
Nadja: Es kommt drauf an wie die Systeme
gebaut sind. Es gibt zum Beispiel einen

864
01:03:18,390 --> 01:03:23,620
Ansatz von Explainable Neural Netz (ExNN),
durchaus Valides Konzepts, und es wird

865
01:03:23,620 --> 01:03:28,920
auch eingesetzt. Es gibt aber auch
Architekturen, die per se erst einmal

866
01:03:28,920 --> 01:03:33,540
völlig unlesbar sind, und die Ansätze, die
darauf existierende Erklärbarkeit

867
01:03:33,540 --> 01:03:37,350
reinzubringen, sind noch sehr beschränkt.
Es gibt sie. Sie tun auch sinnvolle Dinge

868
01:03:37,350 --> 01:03:41,220
im Bereich, aber zum Beispiel beschränken
sie sich oft nur auf den Bereich des

869
01:03:41,220 --> 01:03:44,650
eigentlichen Modells, was trainiert wurde.
Die Pipeline der Maschinenlearning ist aber

870
01:03:44,650 --> 01:03:49,090
viel länger. Die beginnt ja schon bei der
Datenerhebung, bei der Auswahl, bei der

871
01:03:49,090 --> 01:03:52,080
Verarbeitung. Bei der Auswahl der
Features, aber auch beim PostProcessing,

872
01:03:52,080 --> 01:03:56,200
bei Evaluationsmetriken und so weiter. 
Das sind alles irgendwo Stellschrauben für

873
01:03:56,200 --> 01:04:00,420
Erklärbarkeit. Wir haben da auf jeden Fall
noch einen weiten Weg vor uns. Aber klar,

874
01:04:00,420 --> 01:04:03,200
es gibt Bestrebungen in die Richtung, die
auch durchaus funktionieren

875
01:04:03,200 --> 01:04:05,660
für das, wofür Sie gedacht sind.
Herald: Okay, dann sind wir am Ende der

876
01:04:05,660 --> 01:04:11,200
Zeit angekommen. Vielen Dank nochmal Nadja
und Benjamin.

877
01:04:11,200 --> 01:04:15,556
<i>Applaus</i>

878
01:04:15,556 --> 01:04:34,640
<i>36c3 Abspannmusik</i>

879
01:04:34,640 --> 01:04:38,785
Untertitel erstellt von c3subtitles.de
im Jahr 2020. Mach mit und hilf uns!