1
00:00:00,000 --> 00:00:18,530
35c3 preroll music
2
00:00:18,950 --> 00:00:21,970
Herald: Dass er auf dem 22c3 schon
mindestens dabei war habe ich schon
3
00:00:21,970 --> 00:00:28,320
gesagt, aber ansonsten gibt er uns wieder
einen Überblick. Auch in 2018 war sehr
4
00:00:28,320 --> 00:00:31,980
viel los, für die von euch die in
Kongressen denken, das war das Jahr
5
00:00:31,980 --> 00:00:37,800
zwischen dem 35c3 und dem 34c3. Es ist
wieder viel passiert in Sachen
6
00:00:37,800 --> 00:00:44,090
Netzpolitik, und unser nächster Sprecher
wird uns einen Überblick über die Dinge
7
00:00:44,090 --> 00:00:49,490
die auf deutscher und europäischer Ebene
passiert sind geben, und was sich in 2019
8
00:00:49,490 --> 00:00:53,530
tun wird. Bitte begrüßt mit mir den
Chefredakteur von Netzpolitik.org,
9
00:00:53,530 --> 00:01:03,220
Markus Beckedahl.
Applaus
10
00:01:03,220 --> 00:01:06,850
Markus: Schönen guten Morgen. Ich hoffe
meine Stimme hält durch. Wir kommen zu
11
00:01:06,850 --> 00:01:10,020
einer neuen Ausgabe von "Das Beste und
Schlechteste der Netzpolitik in
12
00:01:10,020 --> 00:01:14,529
Deutschland und der EU von gestern und
heute". Ich habe das Problem: Ich habe nur
13
00:01:14,529 --> 00:01:18,480
40 Minuten. Viele Themen die auch relevant
sind musste ich leider rausschmeißen, es
14
00:01:18,480 --> 00:01:23,159
sind aber noch genug übrig geblieben. Das
neue gegenüber letztem Jahr ist: wir haben
15
00:01:23,159 --> 00:01:25,979
eine Bundesregierung. Im vergangenen Jahr
hatten wir ja gescheiterte
16
00:01:25,979 --> 00:01:31,939
Koalitionsverhandlungen, mittlerweile gibt
es eine große Koalition, Merkel 4.0. Was
17
00:01:31,939 --> 00:01:35,772
neu ist, oder was alt ist: wir haben immer
noch keinen Digitalminister, aber wir
18
00:01:35,772 --> 00:01:39,040
wissen auch von der EU-Ebene: das beste
Internetministerium bringt nichts, wenn
19
00:01:39,040 --> 00:01:46,849
wir Günther Oettinger da hinsetzen.
Applaus
20
00:01:46,849 --> 00:01:50,820
Die gute Nachricht ist: nach 13 Jahren
Angela Merkel als Kanzlerin ist
21
00:01:50,820 --> 00:01:56,170
Digitalisierung, ist Netzpolitik auf
einmal ein Thema. Es gibt eine Vielzahl an
22
00:01:56,170 --> 00:01:59,989
Arbeits- und Expertenkreisen, wir
verlieren langsam den Überblick bei
23
00:01:59,989 --> 00:02:04,379
Netzpolitik.org, ich lese nur mal einige
vor, die ist jetzt neu gegründet gibt:
24
00:02:04,379 --> 00:02:08,348
Digitalkabinett, Digitalrat,
Daten-Ethikkommission, Denkfabrik digitale
25
00:02:08,348 --> 00:02:13,500
Arbeitsgesellschaft, KI-Plattform lernende
Systeme, Kommission Wettbewerbsrecht 4.0,
26
00:02:13,500 --> 00:02:17,440
Innovation Council, Enquete-Kommissionen
zur künstlichen Intelligenz, Enquete-
27
00:02:17,440 --> 00:02:22,200
Kommission zur Zukunft der Bildung, oder
Arbeit, irgendsowas. Das sind nur einige
28
00:02:22,200 --> 00:02:29,030
davon. Das ist erst mal nicht schlecht.
Das Problem ist: Es fehlt an Koordinierung
29
00:02:29,030 --> 00:02:32,950
in dieser Bundesregierung. Zuständig für
Koordinierung ist übrigens Dorothee Bär.
30
00:02:32,950 --> 00:02:38,770
Sie ist Beauftragte der Bundesregierung
für Digitalisierung, laut Bundesregierung
31
00:02:38,770 --> 00:02:43,470
zuständig für die Koordinierung der
Netzpolitik innerhalb der Bundesregierung,
32
00:02:43,470 --> 00:02:48,520
und für die Kommunikation nach außen. Sie
findet Datenschutz störend, versteht
33
00:02:48,520 --> 00:02:53,060
darunter aber manchmal Busfahrpläne, die
aber nichts mit personenbezogenen Daten zu
34
00:02:53,060 --> 00:02:57,710
tun haben. Und es gibt so ein schönes
aktuelles Zitat von ihr, was sie sich
35
00:02:57,710 --> 00:03:03,840
wünscht. Ich zitiere: "Nerds von außen
müssen uns dringend ihren Sachverstand und
36
00:03:03,840 --> 00:03:07,210
ihre Schaffenskraft für eine gewisse Zeit
zum Wohle aller leihen."
37
00:03:07,210 --> 00:03:13,680
Gelächter und Applaus
Also, liebe Bundesregierung, es könnte so
38
00:03:13,680 --> 00:03:18,020
einfach sein. Warum nicht mal neben all
den Industrielobbyisten auch mal Vertreter
39
00:03:18,020 --> 00:03:23,310
der digitalen Zivilgesellschaft ins
Kanzleramt einladen? Warum laden
40
00:03:23,310 --> 00:03:27,180
eigentlich fast alle Fraktionen im
Bundestag immer Nerds als Sachverständige
41
00:03:27,180 --> 00:03:33,900
ein, aber CDU/CSU eigentlich nie? Also, it
could be so easy, dann kommen die Nerds
42
00:03:33,900 --> 00:03:39,390
auch, weil die Angebote stehen seit vielen
Jahren, man muss sie auch annehmen.
43
00:03:39,390 --> 00:03:43,210
Die Digitale Agenda heißt jetzt
Umsetzungsstrategie, und was fehlt ist
44
00:03:43,210 --> 00:03:48,460
leider die Strategie. Ist ja nichts Neues,
aber die Bundesregierung hat irgendwann
45
00:03:48,460 --> 00:03:52,440
vor ein, zwei Monaten ihre Umsetzungsstrategie
präsentiert und ich habe verschiedene
46
00:03:52,440 --> 00:03:56,130
Anläufe genommen das ganze auf
Netzpolitik.org zu kommentieren. Ich habe
47
00:03:56,130 --> 00:03:59,170
es nicht geschafft, weil ich wusste gar
nicht wo ich anfangen soll. Das ist so ein
48
00:03:59,170 --> 00:04:03,260
Sammelsurium, Sammelwerk, alle Ministerien
wurden eingeladen "schickt uns mal was ihr
49
00:04:03,260 --> 00:04:06,180
gerade irgendwie mit Digitalisierung
macht" und das haben sie dann irgendwie
50
00:04:06,180 --> 00:04:12,310
chronologisch hintereinander geheftet.
Aber wenigstens sieht man da drin:
51
00:04:12,310 --> 00:04:19,100
irgendwie passiert viel, aber nicht mit so
viel Strategie. Kommen wir zum Wetter.
52
00:04:19,100 --> 00:04:22,900
Erst mal zu den schlechten Sachen: Sturm
zieht auf, oder für die Zielgruppe, die
53
00:04:22,900 --> 00:04:30,710
Sturm nur aus dem Internet kennt: zeigt
auf Bild Ein Running Gag seit vielen
54
00:04:30,710 --> 00:04:35,669
Jahren, seitdem ich Netzpolitik mache ist
die EU-Urheberrechtsreform. Mittlerweile
55
00:04:35,669 --> 00:04:39,779
machen sie die zweite Reform die ich
mitbekomme, und die EU Urheberrechtsreform
56
00:04:39,779 --> 00:04:43,669
ist auf der Zielgeraden. Umstritten sind
vor allen Dingen zwei Punkte, das eine sind
57
00:04:43,669 --> 00:04:47,660
die sogenannten Upload-Filter, Artikel 13,
das andere ist das Leistungsschutzrechtrecht,
58
00:04:47,660 --> 00:04:53,110
Artikel 11. Beim Leistungsschutzrecht kann
ich euch nicht so genau erklären was die
59
00:04:53,110 --> 00:04:57,770
Logik dahinter ist, das habe ich nicht so
ganz verstanden. Die Frage die wir uns
60
00:04:57,770 --> 00:05:02,110
stellen: können wir eigentlich bei
Netzpolitik.org künftig weiterhin andere
61
00:05:02,110 --> 00:05:05,930
Artikel mit Überschrift verlinken und
zitieren, ohne Lizenzgebühren zu zahlen?
62
00:05:05,930 --> 00:05:10,979
Das können uns auch die verantwortlichen
Politiker nicht mehr so genau erklären.
63
00:05:10,979 --> 00:05:16,220
Super Arbeit hat hier aber vor allem Julia
Reda gemacht, mit ihrem Team. Ohne sie
64
00:05:16,220 --> 00:05:20,429
wäre alles noch viel schlechter gelaufen,
also erstmal ein großer Dank.
65
00:05:20,429 --> 00:05:26,510
Applaus
Aber vor allen Dingen die Uploadfilter
66
00:05:26,510 --> 00:05:30,090
sind ein Problem, weil Uploadfilter
stellen eine größere Gefahr für
67
00:05:30,090 --> 00:05:33,570
Meinungsfreiheit dar als das
Netzwerkdurchsetzungsgesetz. Auch weil
68
00:05:33,570 --> 00:05:37,420
hier automatisierte Entscheidungssysteme
mit definieren was wir wie angezeigt
69
00:05:37,420 --> 00:05:42,560
bekommen und was überhaupt veröffentlicht
werden kann. Und die entscheidende Frage
70
00:05:42,560 --> 00:05:47,819
ist: Wo sind die demokratischen Kontrollen
bei der Frage, was da wieso in den Filtern
71
00:05:47,819 --> 00:05:52,250
auftaucht, und was deswegen nicht mehr
angezeigt werden kann. Dazu kommt später
72
00:05:52,250 --> 00:05:58,560
noch mehr. Das Leistungsschutzrecht, das
deutsche Leistungsschutzrecht. quasi der
73
00:05:58,560 --> 00:06:03,280
Exportschlager in die EU, ist vielleicht
nicht gültig. Wir haben ja schon vor
74
00:06:03,280 --> 00:06:06,859
eineinhalb Jahren auf netzpolitik.org
angekündigt, dass es nicht EU-konform ist,
75
00:06:06,859 --> 00:06:11,509
war gerade wieder in den Medien – zeigt:
Netzpolitik.org-Leser wissen früher
76
00:06:11,509 --> 00:06:18,669
Bescheid. Wir haben auch mal geklagt rund
um das Leistungsschutzrecht, und zwar
77
00:06:18,669 --> 00:06:23,050
wollten wir wissen, wer in der
entscheidenden Sitzung des Bundeskabinetts
78
00:06:23,050 --> 00:06:28,530
vor fünf Jahren mit dabei war, und was
dort besprochen wurde zu dem Fall. Weil
79
00:06:28,530 --> 00:06:36,729
damals war der Kanzleramtsminister Eckart
von Klaeden zuständig, unter anderem dafür
80
00:06:36,729 --> 00:06:40,379
oder damit beschäftigt, und sein Bruder
war der Springer-Lobbyist Dietrich von
81
00:06:40,379 --> 00:06:44,780
Klaeden, und wir sahen darin einen
Interessenskonflikt, und haben das
82
00:06:44,780 --> 00:06:48,050
durchgeklagt bis zum
Bundesverwaltungsgericht. Wir haben leider
83
00:06:48,050 --> 00:06:54,059
nur halb recht bekommen. Wir haben, oder
kriegen jetzt die Teilnehmerliste. Die
84
00:06:54,059 --> 00:06:57,139
Bundesregierung wollte nie irgendwie die
Teilnehmerliste rausrücken wer denn jetzt
85
00:06:57,139 --> 00:07:01,560
bei der Kabinettssitzung dabei war, mit
der Begründung man könnte darauf auf das
86
00:07:01,560 --> 00:07:06,309
Verhalten oder Abstimmungsverhalten
einzelner Minister schließen. Das haben
87
00:07:06,309 --> 00:07:10,360
wir erkämpft, nicht erkämpft haben wir
dass wir die für 30 Jahre geschützten
88
00:07:10,360 --> 00:07:16,639
Kabinettsprotokolle bekommen, die bleiben
leider weiter geschützt. Aber was auch neu
89
00:07:16,639 --> 00:07:20,550
ist: Girl's Day im Innenministerium...
Gelächter
90
00:07:20,550 --> 00:07:26,689
Das ist ein kleines Problem, also nicht
nur das. Die letzte große Koalition hat
91
00:07:26,689 --> 00:07:31,089
uns mehr Überwachungsbefugnisse wie kaum
eine andere Regierung vor ihr gebracht,
92
00:07:31,089 --> 00:07:34,339
und jetzt geht sie in die Verlängerung.
Und an der Spitze des BMI sind eigentlich
93
00:07:34,339 --> 00:07:41,430
nur Überwachungs-Hardliner zu sehen. Wir
hatten sie schonmal eben, verpflichtende
94
00:07:41,430 --> 00:07:46,020
Uploadfilter können ein wichtiger
Bestandteil einer Zensur-Infrastruktur
95
00:07:46,020 --> 00:07:53,461
werden, und sie sind es sogar schon. Es
gibt behördliche, oder auf EU-Ebene gibt
96
00:07:53,461 --> 00:07:59,479
es gerade die Diskussion in Folge des EU-
Forum Internet. Ich glaube ich habe vor
97
00:07:59,479 --> 00:08:03,309
zwei oder drei Jahren mal hier mal über
das EU-Forum Internet, noch in Hamburg
98
00:08:03,309 --> 00:08:09,759
damals, auf dem CCC-Congress gesprochen.
Das war so ein Treffen zwischen den großen
99
00:08:09,759 --> 00:08:14,450
Plattform und EU-Sicherheitsbehörden, EU-
Politikern, wo im Rahmen einer
100
00:08:14,450 --> 00:08:19,300
Privatisierung der Rechtsdurchsetzung
Plattformen motiviert wurden, doch mehr
101
00:08:19,300 --> 00:08:23,309
zu machen, wie Uploadfilter einzubauen. Das
haben die auch teilweise jetzt
102
00:08:23,309 --> 00:08:27,119
größtenteils gemacht, von 20 Plattformen,
die da mitdiskutieren, sollen 17 schon
103
00:08:27,119 --> 00:08:31,759
Uploadfilter irgendeiner Art installiert
haben. Jetzt kommt demnächst noch die
104
00:08:31,759 --> 00:08:37,740
Verordnung zur Bekämpfung von
Terrorpropaganda, und das ist unserer
105
00:08:37,740 --> 00:08:43,751
Meinung nach, ja, dasselbe was wir damals
mit Zensursula verhindert haben, nur auf
106
00:08:43,751 --> 00:08:48,130
einem höheren Netz-Layer, nämlich bei
Plattformen. Und dahinter steht,
107
00:08:48,130 --> 00:08:53,380
behördliche Lösch-Anforderungen müssen von
Anbietern binnen einer Stunde umgesetzt
108
00:08:53,380 --> 00:08:58,580
werden, das heißt es geht nur durch
automatisierte Uploadfilter, und mit
109
00:08:58,580 --> 00:09:04,020
proaktiven Maßnahmen bekämpft werden,
damit sind gemeint Instrumente zur
110
00:09:04,020 --> 00:09:09,810
automatischen Erkennung. Und wo bleibt
eigentlich der Aufschrei, wenn hier
111
00:09:09,810 --> 00:09:14,560
eigentlich fast genau dasselbe passiert
wie damals in der Zensursula-Debatte, nur
112
00:09:14,560 --> 00:09:19,970
keinen interessiert es. Das ist ein echtes
Problem. Horst Seehofer hat es mit auf den
113
00:09:19,970 --> 00:09:24,040
Weg gebracht, will sich aber jetzt nicht
mehr dazu äußern. Es gab zuletzt eine EU-
114
00:09:24,040 --> 00:09:30,000
Innenminister-Sitzung wo das dann vom EU-
Rat beschlossen wurde. Dort sprach dann
115
00:09:30,000 --> 00:09:35,250
der österreichische Innenminister statt
Horst Seehofer. Sprachform "das Internet
116
00:09:35,250 --> 00:09:39,500
sei ein Brandbeschleuniger ins Negative",
das sagt der österreichische
117
00:09:39,500 --> 00:09:43,620
Innenminister, der den Identitären
nahesteht. Es dürfe kein neuer virtueller
118
00:09:43,620 --> 00:09:48,350
Islamischer Staat im Internet entstehen,
und der Vorschlag solle Lücken schließen,
119
00:09:48,350 --> 00:09:54,310
die in der realen Welt bereits abgedichtet
seien. Was ist eigentlich Terror-
120
00:09:54,310 --> 00:09:57,740
Propaganda? Das ist eine spannende Frage,
noch nicht so ganz geklärt. Aber wir
121
00:09:57,740 --> 00:10:02,460
hatten in diesem Jahr einen Fall wo, sagen
wir mal, zumindest ein Teil des politischen
122
00:10:02,460 --> 00:10:08,210
Spektrums der Meinung war, das hat mit
Terror zu tun: und zwar die Debatte um den
123
00:10:08,210 --> 00:10:15,450
Hambacher Forst. Es gab Stimmen aus der
NRW-Regierung von RWE und von der Union,
124
00:10:15,450 --> 00:10:20,340
dass darunter auch schon bestimmte Klima-
Proteste wie beim Hambacher Forst fallen
125
00:10:20,340 --> 00:10:27,680
könnten. Die werden dann möglicherweise
demnächst automatisiert herausgefiltert.
126
00:10:27,680 --> 00:10:32,270
Und wie das in der Praxis abläuft haben
wir mal recherchiert. Es gibt bereits eine
127
00:10:32,270 --> 00:10:35,880
scharf geschaltete Hash-Datenbank großer
Plattformbetreiber. Europol verkündet da
128
00:10:35,880 --> 00:10:41,410
regelmäßig: schon 50000 Hashes da drin,
schon 100 000 Hashes. Hashes sind digitale
129
00:10:41,410 --> 00:10:45,960
Fingerabdrücke von einmal als
terroristisch markierten Inhalten, und die
130
00:10:45,960 --> 00:10:51,260
werden halt von Europol an diese Datenbank
weitergeleitet. Uns hat mal interessiert:
131
00:10:51,260 --> 00:10:55,260
Wie finden eigentlich die demokratischen
Kontrollen statt? Wir haben uns erstmal an
132
00:10:55,260 --> 00:10:58,590
die EU-Kommission gewandt, die das ja
alles auf den Weg gebracht hat. Die EU-
133
00:10:58,590 --> 00:11:02,830
Kommission sagt so "boah, ja, keine
Ahnung." Dann haben wir Europol gefragt,
134
00:11:02,830 --> 00:11:07,250
die halt quasi diese ganzen Inhalte in
diese Datenbank rein packen. Die so: "Ja,
135
00:11:07,250 --> 00:11:14,920
boah, keine Ahnung." Mit anderen Worten:
Wir haben da eine Datenbank, die diese
136
00:11:14,920 --> 00:11:22,410
Uploadfilter ja quasi unterstützt, und es
gibt keine demokratische Kontrolle weil es
137
00:11:22,410 --> 00:11:26,280
keinen interessiert was da immer
reinkommt, kann da möglicherweise für
138
00:11:26,280 --> 00:11:30,190
immer drin bleiben, und wir können da
nicht mal darüber sprechen, weil beim
139
00:11:30,190 --> 00:11:34,940
Hochladen das automatisiert weg gelöscht
und man weiß gar nicht, dass etwas
140
00:11:34,940 --> 00:11:41,870
existiert. Kommen wir zum nächsten. Auch
auf EU-Ebene. EU ist gerade relativ viel,
141
00:11:41,870 --> 00:11:48,681
weil die EU-Legislaturperiode im Mai
endet, das heißt ganz viele Vorhaben sind
142
00:11:48,681 --> 00:11:53,740
jetzt auf der Zielgeraden bevor alle
dann ab März, April im Wahlkampf sind.
143
00:11:53,740 --> 00:11:56,790
Und auf EU-Ebene gibt es auch noch
den Gesetzentwurf zu elektronischen
144
00:11:56,790 --> 00:11:59,990
Beweismitteln, E-Evidence. Ich glaub Klaus
Landefeld hat da gestern drüber
145
00:11:59,990 --> 00:12:06,580
gesprochen. Die Idee dahinter ist ein
äquivalent zum amerikanischen Cloud Act zu
146
00:12:06,580 --> 00:12:11,190
schaffen: Betreiber von Internetdiensten
müssen Daten ihrer Nutzer nach dem
147
00:12:11,190 --> 00:12:15,280
Vorschlag innerhalb von sechs Stunden
herausgeben – an Behörden aller EU-
148
00:12:15,280 --> 00:12:22,130
Staaten. Sonst drohen Strafen von bis zu
zwei Prozent ihres globalen Umsatzes.
149
00:12:22,130 --> 00:12:29,140
Das heißt, zukünftig kann, wenn das
so durchgeht, eine ungarische
150
00:12:29,140 --> 00:12:35,460
Sicherheitsbehörde bei einem deutschen
Host-Provider anrufen und sagen "Ey, gebt
151
00:12:35,460 --> 00:12:39,700
uns mal die Daten von den ungarischen
Oppositionellen die ihr bei euch hostet"
152
00:12:39,700 --> 00:12:42,200
und man hat sechs Stunden Zeit darauf zu
reagieren – wie hoch ist die
153
00:12:42,200 --> 00:12:46,770
Wahrscheinlichkeit, dass ein Host-Provider
da den Rechtsweg einschlägt und das Risiko
154
00:12:46,770 --> 00:12:51,570
eingeht eine Haftstrafe, äh nicht
Haftstrafe, bis zu zwei Prozent des
155
00:12:51,570 --> 00:12:55,700
Umsatzes Strafe zu riskieren? Und wir
haben das Problem: dieser Entwurf, der da
156
00:12:55,700 --> 00:12:58,680
gerade auf der Zielgeraden ist, der
schwächt die Möglichkeiten der
157
00:12:58,680 --> 00:13:02,140
durchsetzenden Behörden in anderen
Staaten, sich der Durchsetzung einer
158
00:13:02,140 --> 00:13:06,600
Anordnung aufgrund einer Verletzung der
EU-Grundrechtecharta zu widersetzen.
159
00:13:06,600 --> 00:13:11,990
Wichtiger Punkt für Jura-Nerds. Der
Entwurf geht fälschlicherweise davon aus,
160
00:13:11,990 --> 00:13:17,530
dass Metadaten weniger sensibel als
Contentdaten sind – Bestandsdatenauskunft
161
00:13:17,530 --> 00:13:20,990
und so, übliche Problematik. Der Entwurf
bringt die Möglichkeit ins Spiel,
162
00:13:20,990 --> 00:13:25,670
Anordnung ohne Gerichtsbeschluss zu
treffen, und vor allen Dingen der Entwurf
163
00:13:25,670 --> 00:13:30,630
bringt keine Rechtssicherheit für
Betroffene. Und das ist ein ziemliches
164
00:13:30,630 --> 00:13:38,170
Problem, wie ich eben schon beschrieben
habe, weil, ja, Provider hier eigentlich,
165
00:13:38,170 --> 00:13:43,410
oder Host-Provider Sicherheitsbehörden
ausgeliefert sind. Eine Debatte die es
166
00:13:43,410 --> 00:13:49,370
immer schon gibt, hier habe ich mal ein
Bild von 2007 rausgesucht, vom Erfa
167
00:13:49,370 --> 00:13:52,400
Karlsruhe, als damals das
Bundesverfassungsgericht über
168
00:13:52,400 --> 00:13:58,760
Staatstrojaner anfing zu diskutieren. Der
Staatstrojaner heißt jetzt Quellen-TKÜ und
169
00:13:58,760 --> 00:14:03,510
soll mit den meisten neuen Polizeigesetz
auf Landesebene durchgesetzt werden.
170
00:14:03,510 --> 00:14:08,710
Wir haben das übliche Problem mit
Staatstrojanern: Was wir unter
171
00:14:08,710 --> 00:14:14,941
Staatstrojaner verstehen, nämlich ja
quasi ein hochkomplexes System aus
172
00:14:14,941 --> 00:14:19,790
Schwarzmärkten, wo Sicherheitslücken
verkauft werden, aus dubiosen Anbietern,
173
00:14:19,790 --> 00:14:25,851
die Staatstrojaner-Software mit diesen
Sicherheitslücken munitionieren. Das kommt
174
00:14:25,851 --> 00:14:29,820
bei vielen Politikern an wie "Ja, so ein
Staatstrojaner ist wie ein Telefon was man
175
00:14:29,820 --> 00:14:33,690
im Media Markt kauft, den kauft man halt
und setzt ein und kommt auf jeden Computer
176
00:14:33,690 --> 00:14:40,370
drauf." Wir müssen also noch weiter
erklären, worum es geht, weil es gilt
177
00:14:40,370 --> 00:14:46,310
weiterhin: im Namen der Sicherheit wird
hier massive IT-Unsicherheit geschaffen,
178
00:14:46,310 --> 00:14:51,443
wenn wir weiter den Weg der Staatstrojaner
verfolgen, und das ist der falsche Weg.
179
00:14:51,804 --> 00:14:58,734
Applaus
180
00:14:58,734 --> 00:15:01,280
Und vor allem: der Staatstrojaner ist auch
181
00:15:01,280 --> 00:15:06,680
wieder ein schönes Beispiel dafür, wie
eine Überwachungsbefugnis auf den Weg
182
00:15:06,680 --> 00:15:11,119
gebracht wird, und mit welcher Begründung
es dann wieder ausgeweitet wird.
183
00:15:11,119 --> 00:15:16,680
Wir haben in diesem Jahr recherchiert, wofür
die meisten Staatstrojaner eingesetzt werden.
184
00:15:16,680 --> 00:15:19,831
Die damalige Begründung war wie immer
schwerste Straftaten, darunter versteht
185
00:15:19,831 --> 00:15:24,960
man Terror, Mord, oder Totschlag. Und
herausgekommen ist: das meiste, die
186
00:15:24,960 --> 00:15:30,250
meisten Einsatzziele haben was mit Drogen
zu tun. Ich glaube eine andere
187
00:15:30,250 --> 00:15:35,570
Drogenpolitik würde hier viel mehr helfen
als mit Staatstrojaner IT-Unsicherheit zu schaffen.
188
00:15:35,570 --> 00:15:42,080
Applaus
189
00:15:42,080 --> 00:15:46,940
Gelächter
Ja.
190
00:15:46,940 --> 00:15:50,210
Gibt's demnächst bei uns im
Merchandising-Shop. lacht
191
00:15:50,210 --> 00:15:55,150
Polizeigesetze, haben hier Marie
Bröckling und Constanze Kurz schon am
192
00:15:55,150 --> 00:15:59,900
ersten Abend sehr schön
auseinandergenommen, gibt es in fast allen
193
00:15:59,900 --> 00:16:04,440
Bundesländern mittlerweile, haben als
Neuigkeit dabei eine sogenannte "drohende
194
00:16:04,440 --> 00:16:08,500
Gefahr", also jemanden ohne konkreten
Verdacht einer Straftat zu polizeilichen
195
00:16:08,500 --> 00:16:14,610
Zwangs- und Überwachungsmaßnahmen zu
machen. In Bayern kann man damit
196
00:16:14,610 --> 00:16:20,540
zukünftig, wenn man Pech hat, auch für
immer weggesperrt werden. In Bayern wurde
197
00:16:20,540 --> 00:16:25,640
es dann auch irgendwie erklärt, also, CSU-
Logik: Mehr Überwachung und Ausbau der
198
00:16:25,640 --> 00:16:32,910
Polizei zum Geheimdienst fördert
Grundrechte. Das war der ehemalige, oder
199
00:16:32,910 --> 00:16:36,840
immer noch der aktuelle und ehemalige
Innenminister Herrmann, der tatsächlich
200
00:16:36,840 --> 00:16:41,290
verkaufte, Ziel sei die Stärkung der
Bürgerrechte, aber das ist totaler
201
00:16:41,290 --> 00:16:44,490
Bullshit, das war nur ein Anlass um
dahinter versteckt den Überwachungs- und
202
00:16:44,490 --> 00:16:48,820
Kontroll-Apparat auszubauen. Bayern ist
hier ganz weit vorne. Aber die
203
00:16:48,820 --> 00:16:52,300
Polizeigesetze haben auch einen großen
Vorteil: Endlich gehen wieder zehntausende
204
00:16:52,300 --> 00:16:55,711
Menschen in Deutschland für Grundrechte
auf die Straße, und zwar nicht nur in
205
00:16:55,711 --> 00:17:01,790
Bayern, auch in Niedersachsen, in
Brandenburg, in NRW, demnächst in Sachsen,
206
00:17:01,790 --> 00:17:05,939
also: Polizeigesetzes stoppen ist die
Chance wieder für größere
207
00:17:05,939 --> 00:17:10,720
gesellschaftliche Bündnisse für
Grundrechte auf die Straße zu bringen.
208
00:17:10,720 --> 00:17:18,110
Applaus
209
00:17:18,110 --> 00:17:20,699
Ja, wenns zum Thema Bündnispartner geht,
210
00:17:20,699 --> 00:17:24,979
haben wir auch eine neue alte Debatte:
Kfz-Kennzeichenerfassung. Die
211
00:17:24,979 --> 00:17:30,420
Bundesregierung hat total versagt beim
Ziel Klimaschutz zu fördern und
212
00:17:30,420 --> 00:17:36,750
Feinstaubbelastung in den Städten zurück
zu führen, und vor allen Dingen, naja,
213
00:17:36,750 --> 00:17:40,620
dieser ganze Diesel-Skandal, der zu
Feinstaub führt, was eigentlich
214
00:17:40,620 --> 00:17:45,110
Manipulationen sind, das ist von der
Bundesregierung total verkackt worden,
215
00:17:45,110 --> 00:17:51,060
aber die Antwort darauf ist: mehr
Überwachung! Und zwar Kfz-Kennzeichen sein
216
00:17:51,060 --> 00:17:54,830
Scanner – Kennzeichen-Scanner seien laut
Andreas Scheuer – das ist übrigens unser
217
00:17:54,830 --> 00:18:00,340
Verkehrsminister – die einzig praktikable
und effektive Möglichkeit, Fahrverbote
218
00:18:00,340 --> 00:18:04,670
älterer Dieselautos durchzusetzen. Das sei
keine Überwachung, der Datenschutz sei
219
00:18:04,670 --> 00:18:09,890
gewährt. Allerdings gibt es deutlich
mildere Mittel zur Kontrolle der
220
00:18:09,890 --> 00:18:12,530
Fahrverbote, wenn das unser
Verkehrsminister nicht weiß, dann hat er
221
00:18:12,530 --> 00:18:16,960
ein Problem, und wir auch. Es gibt zum
Beispiel die blaue Plakette, oder kleine
222
00:18:16,960 --> 00:18:21,910
RFID-Funksender, die andere Länder bereits
in Mautsystem einsetzen, wo man nicht die
223
00:18:21,910 --> 00:18:27,730
ganzen Gesichter der Fahrer und
Fahrerinnen mitfotografieren muss.
224
00:18:27,730 --> 00:18:31,720
Und hier habe ich noch ein schönes Zitat
von Andreas Scheuer: "Der Einsatz von
225
00:18:31,720 --> 00:18:35,880
Videoüberwachung gerade im Verkehrsbereich
wird seit vielen Jahren als akzeptiert
226
00:18:35,880 --> 00:18:40,840
empfunden. Das gelte es zu beachten, wenn
der Gesetzentwurf als problematischer
227
00:18:40,840 --> 00:18:45,410
Eingriff in die Privatsphäre bezeichnet
wird. Auch hier spricht niemand vom
228
00:18:45,410 --> 00:18:48,606
Überwachungsstaat." Wir schon.
229
00:18:48,606 --> 00:18:55,380
Applaus
230
00:18:55,380 --> 00:18:59,760
Auch das ist 2018 gewesen, bunte Proteste
gegen den Testversuch zur biometrischen
231
00:18:59,760 --> 00:19:05,810
Video-Überwachung am Bahnhof Berlin
Südkreuz. Viele kreative Bilder.
232
00:19:05,810 --> 00:19:07,979
Der wissenschaftliche Test der
Videoüberwachung ist aus
233
00:19:07,979 --> 00:19:11,110
wissenschaftlicher Sicht ein Witz, wie der
Chaos Computer Club unter anderem
234
00:19:11,110 --> 00:19:14,880
festgestellt hat. Aber wir sollten
grundsätzlicher diskutieren als über
235
00:19:14,880 --> 00:19:20,390
Fehlerquoten, weil die Fehlerquoten werden
mit der Zeit wahrscheinlich zurückgehen.
236
00:19:20,390 --> 00:19:24,850
Und grundsätzlicher heißt: Eine anlasslose
Massenüberwachung des öffentlichen Raumes
237
00:19:24,850 --> 00:19:31,752
durch biometrische Videoüberwachung
gefährdet einfach unsere Freiheit. Punkt.
238
00:19:31,752 --> 00:19:37,875
Applaus
239
00:19:37,875 --> 00:19:41,925
2018 ist das Jahr wo wir endlich mit
Computern sprechen können, und sie
240
00:19:41,925 --> 00:19:45,890
sprechen auch zurück. Oder anders
ausgedrückt: 2018 ist das Jahr, wo
241
00:19:45,890 --> 00:19:49,220
Menschen sich freiwillig Wanzen in die
Wohnung stellen und dafür bezahlen.
242
00:19:49,220 --> 00:19:55,190
Applaus
243
00:19:55,190 --> 00:20:00,300
Und die Diskussion um Alexa, Google und
wie sie alle heißen und Co. fängt gerade
244
00:20:00,300 --> 00:20:03,609
erst an. Und es gibt da viele Fragen, die
wir diskutieren sollten: wo liegen
245
00:20:03,609 --> 00:20:06,130
eigentlich die Daten? Liegen die auf
deutschen Servern unter deutschen
246
00:20:06,130 --> 00:20:09,870
Datenschutzgesetzen, oder werden die in
die USA transferiert und über PRISM sind
247
00:20:09,870 --> 00:20:15,260
sie dann den Sicherheitsbehörden dort
zugänglich? Wer hat alles Zugriff darauf?
248
00:20:15,260 --> 00:20:20,280
Wie sicher ist das eigentlich? Wann kommt
der Punkt, wo Alexa und Co. eigentlich
249
00:20:20,280 --> 00:20:25,910
alles für immer speichern, weil es einfach
bequemer für den Nutzer und für Amazon
250
00:20:25,910 --> 00:20:30,610
ist? Trainieren wir eigentlich mit Alexa
und Co. ein globales Stimmen-Biometrie-
251
00:20:30,610 --> 00:20:36,281
System, wo wir dann zukünftig überall
anhand unserer Stimme erkannt werden, weil
252
00:20:36,281 --> 00:20:41,260
überall Alexas- und Google-Teile
rumstehen, und da erkennen mich die
253
00:20:41,260 --> 00:20:48,640
Systeme dann, egal wo ich bin? Und wenn
wir so eine KI trainieren, damit sie uns
254
00:20:48,640 --> 00:20:52,730
besser kennt und besser versteht und so
weiter, und wir uns daran gewöhnen, ab
255
00:20:52,730 --> 00:20:56,190
wann ist der Punkt eigentlich erreicht,
dass wir nicht mehr die Alexa-Welt oder
256
00:20:56,190 --> 00:21:00,230
die Google-Welt verlassen können, weil wir
sie so auf uns trainiert haben, dass wir
257
00:21:00,230 --> 00:21:05,090
woanders wieder von vorne anfangen
müssten? Und vor allen Dingen: What could
258
00:21:05,090 --> 00:21:11,650
possibly go wrong? Das hat die c't gerade
gefragt, da hat jemand eine Datenschutz-
259
00:21:11,650 --> 00:21:20,090
Rechtsauskunft an Amazon geschickt und hat
fremde Alexa-Daten zugeschickt bekommen.
260
00:21:20,090 --> 00:21:23,550
Die Herausforderung ist: künstliche
Intelligenz und Sprachsteuerung sind
261
00:21:23,550 --> 00:21:27,690
gekommen um zu bleiben, das ist auch gut
so. Aber umso wichtiger sind freie,
262
00:21:27,690 --> 00:21:31,870
dezentrale, offene Alternativen dazu,
denen wir vertrauen können, damit wir
263
00:21:31,870 --> 00:21:35,959
diese Technik auch bei uns zuhause
einbauen können und nutzen können.
264
00:21:35,959 --> 00:21:38,230
Das wünsche ich mir.
265
00:21:38,230 --> 00:21:42,870
Applaus
266
00:21:42,870 --> 00:21:47,130
Ansonsten gilt: von den größten
Datenschützern kann man viel lernen:
267
00:21:47,130 --> 00:21:52,090
Mark Zuckerberg hat auch sein Mikrofon
verklebt. Für die Leute, die noch nicht
268
00:21:52,090 --> 00:21:56,809
auf die Idee gekommen sind. Kommen wir zum
nächsten Thema, 2017 will ihre Bot-Debatte
269
00:21:56,809 --> 00:22:02,470
zurück. Wir hattens hier vorher in einem
Talk von Constanze und Ingo zu
270
00:22:02,470 --> 00:22:07,410
Desinformationen. Die Debatte um Des- und
Miss-Information müssen wir führen, aber
271
00:22:07,410 --> 00:22:11,290
Social Bots sind da echt das kleinste
Problem. Und auch hier haben wir wieder
272
00:22:11,290 --> 00:22:15,680
wie beim Staatstrojaner das Problem, dass
viele Politiker irgendsoeine wirre
273
00:22:15,680 --> 00:22:19,980
Vorstellung haben, was so ein Social Bot
ist, und aneinander teilweise vorbeireden,
274
00:22:19,980 --> 00:22:26,420
weil für die einen sind das russische
Trolle, für die anderen ist es die
275
00:22:26,420 --> 00:22:31,140
künstliche Intelligenz eines Chatbots, mit
dem man kommuniziert, wenn man mit dem
276
00:22:31,140 --> 00:22:38,380
Kundenservice kommuniziert. Was halt eine
ganz andere Debatte ist, aber man muss
277
00:22:38,380 --> 00:22:42,309
dann auch immer Politiker fragen "Worüber
reden Sie jetzt genau?" um zu verstehen,
278
00:22:42,309 --> 00:22:48,679
wo man hin möchte. Und was klar ist: Wenn
man mit einer KI kommuniziert, dann
279
00:22:48,679 --> 00:22:51,610
brauchen wir Transparenz, das ist
eigentlich ein Verbraucherrecht, das
280
00:22:51,610 --> 00:22:56,250
müssen wir auch umsetzen. Aber Transparenz
brauchen wir auch bei Studien, die Panik
281
00:22:56,250 --> 00:23:00,119
verursachen, weil sie überall Social Bots
sehen, die sonst keiner nachvollziehen
282
00:23:00,119 --> 00:23:04,360
kann. Und vor allem brauchen wir auch
Transparenz über die Herangehensweise
283
00:23:04,360 --> 00:23:10,640
dieser Studien-Macher. Weil: Mittlerweile
es eigentlich gängig, jemanden oder einen
284
00:23:10,640 --> 00:23:16,310
Twitter-Account z.B. als Social Bot zu
definieren, wenn mehr als 50 Tweets pro
285
00:23:16,310 --> 00:23:20,700
Tag abgesetzt wurden. Und wir haben leider
echt das Problem, dass wir in unserer
286
00:23:20,700 --> 00:23:23,950
Gesellschaft viele Menschen mit viel zu
viel Zeit und viel zu viel Wut haben, die
287
00:23:23,950 --> 00:23:30,190
locker auf 50 Tweets pro Tag kommen, die
aber keine Social Bots sind, weswegen man
288
00:23:30,190 --> 00:23:35,740
jetzt eine Klarnamenspflicht einführen
muss. Und die Debatte des Jahres war:
289
00:23:35,740 --> 00:23:40,460
Cambridge Analytica und Facebook. Für uns
war es so ein bisschen ungewöhnlich, das
290
00:23:40,460 --> 00:23:43,730
war nicht der erste Datenskandal von
Facebook, es war nicht der letzte – allein
291
00:23:43,730 --> 00:23:47,690
in diesem Jahr sind wir insgesamt auf 21
Datenskandale bei Facebook gekommen - aber
292
00:23:47,690 --> 00:23:50,500
normalerweise dauerten die immer nur zwei,
drei Tage, dann brachte Facebook neue
293
00:23:50,500 --> 00:23:52,440
Features heraus und dann waren alle
Journalisten nur noch über die neuen
294
00:23:52,440 --> 00:23:56,530
Features am Berichten und es drehte sich
wieder. Cambridge Analytica dauert immer
295
00:23:56,530 --> 00:24:01,380
noch an, hat zu verschiedenen Anhörungen
geführt, zeigt aber auch:
296
00:24:01,380 --> 00:24:07,040
Cambridge Analytica ist nur die Spitze des
Eisberges, und nur eine von möglicherweise
297
00:24:07,040 --> 00:24:11,610
tausenden Firmen die ähnlich vorgegangen
sind, die ähnlich Daten abgegriffen haben
298
00:24:11,610 --> 00:24:16,549
und möglicherweise auf ähnliche Art und
Weise diese Daten nutzen, um Menschen über
299
00:24:16,549 --> 00:24:21,721
Facebook oder woanders zu manipulieren.
Und Glückwunsch an alle Menschen, die aus
300
00:24:21,721 --> 00:24:25,899
Protest gegen die Firmenpraktiken von
Facebook zu Instagram und WhatsApp
301
00:24:25,899 --> 00:24:30,070
gewechselt sind.
Gelächter
302
00:24:30,070 --> 00:24:36,380
Das brachte uns aber auch die Debatte: wie
gehen wir mit der Macht monopolistischer
303
00:24:36,380 --> 00:24:40,442
Plattformen um? Wie können wir sie
grundrechtsfreundlich regulieren, um mehr
304
00:24:40,442 --> 00:24:44,540
Wettbewerb und Verbraucherrechte
durchzusetzen? Facebook zerschlagen und
305
00:24:44,540 --> 00:24:50,040
Google zerschlagen ist da ein notwendiger
Weg, weil die einfach zu mächtig, zu groß
306
00:24:50,040 --> 00:24:55,309
geworden sind. Und vor allen Dingen, zum Beispiel
als Facebook WhatsApp aufkaufte, hatten sie
307
00:24:55,309 --> 00:24:59,050
der EU-Kommission versprochen, keinen
Datenaustausch zu machen. Das würde ich
308
00:24:59,050 --> 00:25:03,140
ein bisschen bezweifeln und deswegen das
einfach zurücknehmen. Und es geht bei
309
00:25:03,140 --> 00:25:06,450
dieser ganzen Debatte um
Plattformregulierung darum: wie setzen wir
310
00:25:06,450 --> 00:25:10,260
dort welche Rechte wie durch, wie stärken
wir die Rechte der Nutzer gegenüber
311
00:25:10,260 --> 00:25:14,150
Plattformen und ihrer Friss oder stirb
Policies? Wie schaffen wir mehr Meinungs-
312
00:25:14,150 --> 00:25:19,570
und Medienfreiheit? Oder Medienvielfalt?
Wie schaffen wir mehr Dezentralität und
313
00:25:19,570 --> 00:25:23,790
Wettbewerb, und wie können wir offene und
datenschutzfreundliche Alternativen
314
00:25:23,790 --> 00:25:30,210
fördern? Da gibt es noch viel zu wenig,
vor allen Dingen aus der Politik. 2018 hat
315
00:25:30,210 --> 00:25:35,880
auch gezeigt: Facebook tötet. In Myanmar,
in Nigeria, überall dort wo das
316
00:25:35,880 --> 00:25:39,730
Unternehmen Geld verdient, sich aber nicht
verantwortlich fühlt und z.B. ausreichend
317
00:25:39,730 --> 00:25:43,060
Fact Checker mit den richtigen
Sprachkenntnissen beschäftigt. Auch das
318
00:25:43,060 --> 00:25:48,459
ist ein Problem. Und 2018 hat den schönen
Film "The Cleaners" gebracht, der die
319
00:25:48,459 --> 00:25:57,070
Content-Moderation-Politik der großen
Konzerne mal ins Fernsehen gebracht hat.
320
00:25:57,070 --> 00:26:02,020
Und da kann man auch sehen, oder 2018 hat
auch gezeigt: das
321
00:26:02,020 --> 00:26:05,929
Netzwerkdurchsetzungsgesetz in Aktion
macht weniger Schaden als befürchtet, weil
322
00:26:05,929 --> 00:26:12,220
das viel zu kompliziert zu melden ist, und
die Plattform einfach eh alles löschen auf
323
00:26:12,220 --> 00:26:17,770
Basis ihrer Content Policies und
Community-Regeln, und das ist echt ein
324
00:26:17,770 --> 00:26:20,320
Problem. Aber wenigstens hat das
Netzwerkdurchsetzungsgesetz
325
00:26:20,320 --> 00:26:23,790
Transparenzberichte gebracht. Wir sind
gespannt auf die nächsten, die sie
326
00:26:23,790 --> 00:26:29,710
rausbringen müssen. Kommen wir mal zu
heiter bis wolkig. Die gute Nachricht für
327
00:26:29,710 --> 00:26:33,990
2018 ist: bis morgen haben alle 50 Megabit
Breitbandinternet.
328
00:26:33,996 --> 00:26:40,876
Jubel und Applaus
329
00:26:40,876 --> 00:26:43,400
Also hat Angela Merkel noch im Jahr 2017
330
00:26:43,400 --> 00:26:49,240
versprochen. Wer hat keine 50 Megabit zu
Hause? Ah, selbst bei den Nerds gibt es
331
00:26:49,240 --> 00:26:52,700
viele, die das nicht haben. Ja, ich kenne
auch viele in Berlin, die in zentralen
332
00:26:52,700 --> 00:26:56,360
Gegenden liegen und froh sind über 16
Megabit, wenn sie das überhaupt bekommen.
333
00:26:56,360 --> 00:26:59,090
Aber dafür haben wir einen
Verkehrsminister, der mittlerweile
334
00:26:59,090 --> 00:27:04,870
Funktürme selbst eröffnet, wie hier in
Kleßen-Görne, eines der bekanntesten ex-
335
00:27:04,870 --> 00:27:10,060
Funklöcher in Deutschland. 360 Bewohner,
anscheinend mit die kleinste Kommune in
336
00:27:10,060 --> 00:27:13,830
Brandenburg, jetzt mit Netz, weil die
deutsche Telekom von ihm genötigt wurde,
337
00:27:13,830 --> 00:27:19,090
für einen PR-Termin da einen Funkturm
aufzubauen. Und erinnert ihr euch noch an
338
00:27:19,090 --> 00:27:24,250
die Durchhalteparolen, dass, wenn das
jetzt bis morgen nichts wird mit 5G alle
339
00:27:24,250 --> 00:27:29,890
Probleme gelöst werden? Ja, wenn 5G mal
kommt. Mal gucken. Aber das nächste
340
00:27:29,890 --> 00:27:36,780
Versprechen ist jetzt: bis 2025 haben wir
alle Gigabit! Also vielleicht. Es gab auch
341
00:27:36,780 --> 00:27:41,130
mal ein paar Förder-Milliarden, die
versprochen worden sind, jetzt nach zwei
342
00:27:41,130 --> 00:27:44,630
Jahren, nachdem die 4 Milliarden
Bundesmittel irgendwie gelockert wurden,
343
00:27:44,630 --> 00:27:50,360
kann man sagen: 82 Millionen Euro sind
davon bereits ausgegeben worden.
344
00:27:50,360 --> 00:27:52,670
Applaus
345
00:27:52,670 --> 00:27:55,040
Naja, einen Teil davon an Berater, man
346
00:27:55,040 --> 00:27:59,480
kann auch sagen: Der Breitbandausbau
fördert vor allen Dingen PowerPoint-Bingo.
347
00:27:59,480 --> 00:28:03,370
Applaus
348
00:28:03,370 --> 00:28:05,049
Es gibt ein bisschen Fortschritt beim
349
00:28:05,049 --> 00:28:11,120
Thema Zero-Rating-Angebote, zumindest gibt
es neue Gerichtsurteile: das StreamOn-
350
00:28:11,120 --> 00:28:14,659
Angebot der Telekom verletzt die
Netzneutralität. Ja. Sie müssen jetzt
351
00:28:14,659 --> 00:28:18,900
nachbessern und so weiter. Das
Grundproblem besteht: Zero-Rating-Angebote
352
00:28:18,900 --> 00:28:23,130
generell verletzen die Netzneutralität,
und hier brauchen wir eine Klarstellung.
353
00:28:23,130 --> 00:28:26,669
Und vor allen Dingen: Es sind nicht nur
die Telekommunikationsunternehmen,
354
00:28:26,669 --> 00:28:29,929
die sich die Hände in der
Netzneutralitätsdebatte schmutzig machen,
355
00:28:29,929 --> 00:28:33,570
es sind auch vor allem die Unternehmen und
die Organisationen, die an Zero-Rating-
356
00:28:33,570 --> 00:28:37,679
Programmen teilnehmen und sich darüber
einen Wettbewerbsvorteil verschaffen, weil
357
00:28:37,679 --> 00:28:41,770
sie bevorzugt durchgelassen werden. Und
hiermit meine ich explizit öffentlich-
358
00:28:41,770 --> 00:28:45,620
rechtliche Anstalten, die in dieser Seite
leider teilweise die Seiten gewechselt
359
00:28:45,620 --> 00:28:51,055
haben und da mitmachen oder noch
mitverhandeln. Shame on you.
360
00:28:51,055 --> 00:28:55,104
Applaus
361
00:28:55,108 --> 00:28:57,550
Wir haben jetzt eine KI-Strategie.
362
00:28:57,550 --> 00:29:00,840
Eine Einbeziehung der Zivilgesellschaft ist
bisher nicht gesucht worden, bei den
363
00:29:00,840 --> 00:29:04,640
Treffen im Kanzleramt waren vor Dingen
immer nur Wissenschaftler und vor allen
364
00:29:04,640 --> 00:29:08,870
Dingen Industrie-Lobbyisten da, bei der
Konsultation gab es noch nicht einmal den
365
00:29:08,870 --> 00:29:14,789
Knopf den man anklicken konnte, dass man
Teil der Zivilgesellschaft ist. Was wir
366
00:29:14,789 --> 00:29:18,320
brauchen, was vielleicht damit kommt, ich
bin mir nicht so sicher: mehr Forschung
367
00:29:18,320 --> 00:29:22,900
für bessere Anonymisierung von Big Data
und synthetischen Daten und viel mehr
368
00:29:22,900 --> 00:29:27,240
Forschungsschwerpunkte mit Privacy by
Design, Privacy by Default als Bedingung.
369
00:29:27,730 --> 00:29:31,580
Ein anderes Ding was neu war: 2018 war das
erste Jahr, wo sich viele Menschen und
370
00:29:31,580 --> 00:29:35,360
Unternehmen zum ersten Mal mit Datenschutz
beschäftigt haben. Da gab es viel
371
00:29:35,360 --> 00:29:39,060
Verunsicherung. Es wurden Abmahnwellen
herbeigeredet, die dann nicht gekommen
372
00:29:39,060 --> 00:29:42,781
sind. Vieles ist im Detail leider noch
nicht geklärt, das ist immer das Problem
373
00:29:42,781 --> 00:29:48,559
mit großen komplexen politischen
Kompromissen der Fall. Aber zumindest gibt
374
00:29:48,559 --> 00:29:52,080
es theoretisch Verbesserungen für Bürger,
es gibt einen Marktortprinzip, theoretisch
375
00:29:52,080 --> 00:29:56,420
kann ich bei uns klagen, es gibt
europaweit einheitliche Rechte, es gibt
376
00:29:56,420 --> 00:30:00,170
bis zu vier Prozent Schadensersatz,
massive Bußgelder, damit verbunden
377
00:30:00,170 --> 00:30:03,620
Ansprüche auf Unterstützung durch
Aufsichtsbehörden, und die Datenschützer
378
00:30:03,620 --> 00:30:07,430
warten auf qualifizierte Beschwerden. Und
wir haben einen neuen Volkssport:
379
00:30:07,430 --> 00:30:11,400
Datenschutzauskunftsanfragen. Kann ich nur
empfehlen. Wenn ihr nicht wisst wie das
380
00:30:11,400 --> 00:30:15,651
geht: die Seite DeineDatenDeineRechte.de
haben verschiedene Musterschreiben dafür
381
00:30:15,651 --> 00:30:19,319
entwickelt. Währenddessen
versucht Max Schrems mal mit dem
382
00:30:19,319 --> 00:30:23,170
Marktortprinzip auszutesten, er klagt
nämlich in Österreich, bei sich zuhause,
383
00:30:23,170 --> 00:30:28,120
gegen Facebook, und Facebook ist der
Meinung: Sie möchten weiterhin in Irland
384
00:30:28,120 --> 00:30:33,070
klagen, wo ihr Büro ist. Ansonsten
Glückwunsch an Andrea Voßhoff.
385
00:30:33,070 --> 00:30:36,689
Sie hat ihre Amtszeit als
Bundesdatenschutzbeauftragte am 7. Januar
386
00:30:36,689 --> 00:30:40,710
endlich rum. Wir kriegen dann einen
Nachfolger, Ulrich Kelber wirkt jetzt
387
00:30:40,710 --> 00:30:44,600
schon deutlich engagierter, was wiederum
aber auch kein Problem darstellt oder kein
388
00:30:44,600 --> 00:30:51,740
Problem ist. Und eine Sache müssen wir
noch konsequenter fordern: Es gibt viele
389
00:30:51,740 --> 00:30:56,750
Politiker, die fordern eine Verdoppelung
des Personals des Verfassungsschutzes.
390
00:30:56,750 --> 00:31:00,370
Stattdessen brauchen wir mindestens eine
Verdoppelung des Personals der
391
00:31:00,370 --> 00:31:06,065
Datenschutzbehörden, weil die verteidigen
unsere Verfassung viel mehr.
392
00:31:06,065 --> 00:31:10,425
Applaus
393
00:31:10,425 --> 00:31:12,140
Kommen wir zur EU
Privacy-Verordnung auf
394
00:31:12,140 --> 00:31:16,750
EU-Ebene. Die kleine Schwester der
Datenschutz-Grundverordnung, im EU-
395
00:31:16,750 --> 00:31:24,390
Parlament mit einer Stimme knapp für mehr
Nutzerrechte gestimmt, ist jetzt im EU-Rat
396
00:31:24,390 --> 00:31:29,480
versackt. Unsere Bundesregierung war eine
der Regierung, die da immer mit blockiert
397
00:31:29,480 --> 00:31:34,340
haben, die EU Privacy-Verordnung könnte
uns verschiedene Sachen bringen: keine
398
00:31:34,340 --> 00:31:37,420
Datenverarbeitung ohne Einverständnis,
einfacher Schutz vor online-Tracking,
399
00:31:37,420 --> 00:31:41,140
Privacy by Default auch in Browsern zum
Beispiel, Grenzen für Offline-Tracking,
400
00:31:41,140 --> 00:31:45,280
Recht auf Verschlüsselung, und mehr
Transparenz für überstaatliche Zugriffe.
401
00:31:45,280 --> 00:31:49,000
Wollen die Regierungen natürlich nicht.
Aber wir sollten noch mal diskutieren:
402
00:31:49,000 --> 00:31:52,480
Welche Werte sollen Innovationen
eigentlich bringen? Was sind das für tolle
403
00:31:52,480 --> 00:31:55,610
Dateninnovationen, wenn die Nutzer nicht
im Bilde sind, was da im Hintergrund
404
00:31:55,610 --> 00:31:59,500
passiert? Auch deswegen brauchen wir klare
Regeln gegen intransparentes Tracking.
405
00:32:01,130 --> 00:32:06,500
Ansonsten: der Digitalpakt kommt. Oder
auch nicht. Vielleicht. In der Grundsache
406
00:32:06,500 --> 00:32:12,190
gut, wie immer 20 Jahre zu spät. Die
Gefahr im Digitalpakt ist und bleibt,
407
00:32:12,190 --> 00:32:14,810
dass es vor allen Dingen eine
Investitionsförderung für Microsoft,
408
00:32:14,810 --> 00:32:18,790
Deutsche Telekom und Bertelsmann wird. Und
wir wissen alle: die am besten
409
00:32:18,790 --> 00:32:21,850
ausgestattete Schulen bringen nichts, wenn
die Lehrer nicht wissen, was sie mit den
410
00:32:21,850 --> 00:32:26,460
Computern anstellen sollen. Und was
darüber hinaus fehlt ist eine konsequente
411
00:32:26,460 --> 00:32:30,835
Strategie zur Förderung von offenen
Unterrichtsmaterialien. Müsste man mal.
412
00:32:30,835 --> 00:32:36,875
Applaus
413
00:32:36,875 --> 00:32:38,740
Ja, running gag jedes Jahr: Freifunk-
414
00:32:38,740 --> 00:32:42,310
Initiativen könnten gemeinnützig werden.
Der Bundesrat hat das erneut abgestimmt,
415
00:32:42,310 --> 00:32:46,090
das liegt jetzt erneut im Bundestag, der
sich ja neu zusammengesetzt hat gegenüber
416
00:32:46,090 --> 00:32:50,840
letztem Jahr. GroKo, macht mal endlich.
Damit fördert man nicht nur das digitale
417
00:32:50,840 --> 00:32:54,660
Ehrenamt, sondern es ist auch ein guter
Beitrag zur Verringerung der digitalen
418
00:32:54,660 --> 00:32:58,090
Spaltung vor Ort. Kommen wir zu den
schönen Dingen.
419
00:32:59,270 --> 00:33:00,610
Ah, ich trink noch mal kurz.
420
00:33:06,300 --> 00:33:09,530
Es gibt auch viele Leuchttürme. und
so feiern wir hier auf dem Kongress auch
421
00:33:09,530 --> 00:33:13,690
vor allem das schöne freie und offene
Internet. Eines der spannendsten Citizen
422
00:33:13,690 --> 00:33:17,060
Science-Projekte in diesem Jahr war der
Radmesser, vom Tagesspiegel gefördert, vom
423
00:33:17,060 --> 00:33:20,919
Medieninnovationszentrum Babelsberg (in
dessen Jury ich sitze, als Disclaimer).
424
00:33:21,659 --> 00:33:25,979
Die haben Sensoren entwickelt, die an 100
Radfahrer in Berlin abgegeben wurden, die
425
00:33:25,979 --> 00:33:31,170
den Rad-Abstand zu Autos untersucht haben,
in einem längeren Test.
426
00:33:31,170 --> 00:33:34,280
Applaus
Weil Autos müssen sich eigentlich an
427
00:33:34,280 --> 00:33:40,170
vorgeschriebene 1,5 Meter Abstand halten.
Und wenn wir nicht genug Fahrradwege haben
428
00:33:40,170 --> 00:33:44,550
und auf Straßen fahren müssen, dann sind
wir sozusagen dem ausgeliefert, dass
429
00:33:44,550 --> 00:33:48,811
eigentlich Autos sich daran halten müssen
und die das aber nicht tun und uns
430
00:33:48,811 --> 00:33:53,169
gefährden als Fahrradfahrer. Dieses
Projekt hat schön gezeigt, dass man auch
431
00:33:53,169 --> 00:33:57,030
mit Citizen Science-Projekten A)
spannende, kreative Sachen machen kann,
432
00:33:57,030 --> 00:34:02,410
aber auch eine politische Debatte im
Umgang mit Radfahrern in Berlin in diesem
433
00:34:02,410 --> 00:34:07,610
Fall befeuern kann und dieses ganze Modell
soll auf andere Städte ausgeweitet werden.
434
00:34:07,610 --> 00:34:12,749
Eines der schönsten Erfolge war in diesem
Jahr "offene Gesetze". Die
435
00:34:12,749 --> 00:34:16,470
Bundesgesetzblätter sind die zentralen
Dokumente der deutschen Demokratie, aber
436
00:34:16,470 --> 00:34:20,410
bislang waren die gemeinfreien Werke vom
Staat privatisiert worden und vom
437
00:34:20,410 --> 00:34:24,359
Urheberrecht geschützt. Sie waren zwar
zugänglich, aber mit so vielen Schikanen
438
00:34:24,359 --> 00:34:27,840
versehen dass man eigentlich mehr Geld
reinwerfen musste. Dank der
439
00:34:27,840 --> 00:34:30,448
OpenKnowledgeFoundation hat sich das
geändert, die haben einfach alles
440
00:34:30,448 --> 00:34:34,620
gescraped und auf OffeneGesetze.de
veröffentlicht. Und jetzt hat die
441
00:34:34,620 --> 00:34:39,730
Justizministerin verkündet, dass das
zukünftig alles von sich aus freigestellt
442
00:34:39,730 --> 00:34:43,389
wird und das Gesetz geändert wird. Das ist
ein großer Erfolg.
443
00:34:43,389 --> 00:34:47,529
Applaus
444
00:34:47,539 --> 00:34:49,030
Aber das sollte nur ein erster Schritt
445
00:34:49,030 --> 00:34:54,210
sein, auch die Rechtsprechung sollte offen
zugänglich sein. Es gibt Fortschritte bei
446
00:34:54,210 --> 00:34:58,540
Open Access, und zwar im Rahmen des
Projekt DEAL versuchen deutsche
447
00:34:58,540 --> 00:35:01,869
Wissenschaftseinrichtungen mit den drei
größten Wissenschaftsverlagen freien
448
00:35:01,869 --> 00:35:07,080
Zugang für ihre Forschungsergebnisse zu
verhandeln. Wer die Logik dahinter nicht
449
00:35:07,080 --> 00:35:12,510
versteht: total absurd. Wir finanzieren
Wissenschaft, die finanzieren mit unseren
450
00:35:12,510 --> 00:35:16,350
Steuergeldern wiederum ein paar private
Verlage, zahlen denen ganz viel Geld damit
451
00:35:16,350 --> 00:35:20,609
die wiederum unsere von uns finanzierte
wissenschaftlichen Ergebnisse publizieren.
452
00:35:20,609 --> 00:35:25,540
Könnte man auch anders machen, hat man
bisher nicht. Aber jetzt stellen sich
453
00:35:25,540 --> 00:35:32,460
viele Universitäten schlechten neuen deals
in den Weg. Im Moment zahlen z.B. hunderte
454
00:35:32,460 --> 00:35:35,730
Unis nicht mehr an den Verlag Elsevier,
weil er sich diesem Projekt DEAL
455
00:35:35,730 --> 00:35:39,561
verweigert. Aber auch hier muss klar sein:
öffentlich finanzierte Forschung muss
456
00:35:39,561 --> 00:35:41,460
offen zugänglich sein.
Applaus
457
00:35:41,460 --> 00:35:46,980
Wir brauchen richtiges Open Access, aber
wir sind zumindest auf dem Weg dahin.
458
00:35:46,980 --> 00:35:52,130
Das Weizenbaum-Institut wurde gestartet.
Ein Institut, von der Bundesregierung
459
00:35:52,130 --> 00:35:54,570
finanziert, zur Erforschung der
gesellschaftlichen Auswirkungen von
460
00:35:54,570 --> 00:36:00,270
Digitalisierung. Ich finde das gut und das
sage ich ganz unironisch. Es ist aber wie
461
00:36:00,270 --> 00:36:06,770
immer leider 20 Jahre zu spät. Aber besser
zu spät als nie. Dann gab es in diesem
462
00:36:06,770 --> 00:36:12,290
Jahr zum ersten Mal eine "Bits und Bäume",
wo sich Umweltbewegung und Netzbewegung
463
00:36:12,290 --> 00:36:18,860
drei Tage lang unterhalten haben. Das ist
auch ein Fortschritt. Wir hatten mal vor
464
00:36:18,860 --> 00:36:22,370
zehn Jahren eine "Sustainable
IT"-Konferenz in Berlin organisiert, da
465
00:36:22,370 --> 00:36:24,880
hatten wir noch das Problem dass die
Umweltbewegung nicht wusste, dass sie auch
466
00:36:24,880 --> 00:36:28,150
von der Digitalisierung betroffen ist. Die
gute Nachricht ist: Sie haben es jetzt
467
00:36:28,150 --> 00:36:32,770
mittlerweile kapiert, zumindest Teile
davon. Und wir hatten in diesem Jahr 800
468
00:36:32,770 --> 00:36:38,660
Menschen in Berlin bei unserer "Das ist
Netzpolitik"-Konferenzen, der fünften. Und
469
00:36:38,660 --> 00:36:41,760
auf der ersten "Das ist
Netzpolitik"-Konferenz vor fünf Jahren
470
00:36:41,760 --> 00:36:46,680
waren eigentlich fast alle im Publikum und
auf der Bühne so alt wie ich, männlich.
471
00:36:46,680 --> 00:36:50,930
Und in diesem Jahr war ich zum ersten Mal
einer der ältesten. Der Großteil war
472
00:36:50,930 --> 00:36:55,610
jünger, und viel weiblicher geworden. Das
ist eine schöne Entwicklung, zeigt auch:
473
00:36:55,610 --> 00:36:59,821
Wir haben zum Glück keine
Nachwuchsprobleme. Und deswegen machen wir
474
00:36:59,821 --> 00:37:05,060
auch im nächsten Jahr die nächste "Das
ist Netzpolitik"-Konferenz 13.9.2019,
475
00:37:05,160 --> 00:37:11,350
Volksbühne in Berlin, und danach feiern
wir unseren 15. Geburtstag von netzpolitik.org.
476
00:37:11,350 --> 00:37:15,670
Und jetzt kommen wir noch zu den letzten schönen
Sachen: Hans-Georg Maaßen ist endlich weg.
477
00:37:15,670 --> 00:37:22,270
Jubel und Applaus
478
00:37:22,270 --> 00:37:26,584
Wir sind noch da, und wir sind noch viel
mehr geworden.
479
00:37:26,584 --> 00:37:30,964
Applaus
480
00:37:30,964 --> 00:37:32,630
Und wenn ihr uns unterstützen wollt, weil
481
00:37:32,630 --> 00:37:38,740
wir leben davon dass uns Menschen
freiwillig Spenden geben damit wir ein
482
00:37:38,740 --> 00:37:43,031
offenes Angebot für alle schaffen können.
Eine stille SMS ist eine Möglichkeit, wenn
483
00:37:43,031 --> 00:37:46,700
ihr jetzt sagt, naja ihr habt gerade kein Online-
Banking zur Hand. Anscheinend muss man
484
00:37:46,700 --> 00:37:52,210
eine SMS an 81190 mit dem Text "STILLESMS"
senden. Das ist eine Möglichkeit, aber
485
00:37:52,210 --> 00:37:56,849
noch besser sind natürlich Daueraufträge,
weil die machen uns, oder beruhigen uns
486
00:37:56,849 --> 00:38:02,440
dann mehr. Ansonsten gilt: Niemals
aufgeben. 2019 wird ein anstrengendes
487
00:38:02,440 --> 00:38:07,510
Jahr. Anfang des Jahres haben wir mit
eEvidence, mit der Terror-Propaganda-
488
00:38:07,510 --> 00:38:13,500
Richtlinie und der EU Urheberrechtsreform
drei große Brocken auf EU-Ebene die
489
00:38:13,500 --> 00:38:18,240
Schlimmes bringen könnten. Die
Bundesregierung läuft sich gerade warm und
490
00:38:18,240 --> 00:38:21,340
wird im nächsten Jahr mehr
Überwachungsgesetze auf den Weg bringen.
491
00:38:21,340 --> 00:38:25,590
Der Kampf um Kontrolle und Macht im Netz
verschärft sich auf allen Fronten.
492
00:38:25,590 --> 00:38:30,100
Deswegen: Fight For Digital Rights. Viel
Spaß auf dem Kongress. Informiert euch,
493
00:38:30,100 --> 00:38:33,650
werdet aktiv, macht mit, und kommt gut
nach Hause. Danke.
494
00:38:33,650 --> 00:38:42,461
Applaus
495
00:38:42,461 --> 00:38:45,821
Und wir haben hier noch Aufkleber und
496
00:38:45,821 --> 00:38:50,510
Jutesäcke. Wer welche haben will, weil
wir waren jetzt nicht in der Lage aufgrund
497
00:38:50,510 --> 00:38:53,950
unserer vielen Vorträge jetzt auch noch
nen Stand irgendwo zu machen, und dachten,
498
00:38:53,950 --> 00:38:56,834
wir machen das nach unseren Talks.
499
00:38:56,834 --> 00:38:58,634
Herald: Vielen lieben Dank, Markus.
500
00:38:58,634 --> 00:39:04,430
Wieder das gleiche: Wenn ihr Fragen habt,
ihr findet 8 Mikrophone hier unten im
501
00:39:04,430 --> 00:39:08,480
Saal. Bitte positioniert euch hinter dem
Mikrofon, die die jetzt schon den Raum
502
00:39:08,480 --> 00:39:12,310
verlassen: Bitte seid ruhig, damit wir die
Fragen entgegen nehmen können.
503
00:39:16,030 --> 00:39:20,670
Aus dem Internet haben wir die erste Frage?
Signal Angel: Ja, hier im Internet ist man
504
00:39:20,670 --> 00:39:24,599
unsicher ob du das fact checking und
darauf aufbauend das Filtern bei Facebook
505
00:39:24,599 --> 00:39:28,960
gut oder schlecht findest und wie du das
gegebenenfalls mit der Ablehnung der EU-
506
00:39:28,960 --> 00:39:30,790
Uploadfilter zusammenbringt?
507
00:39:31,930 --> 00:39:34,740
M: Gar nicht. lacht Also ich bringe das gar
508
00:39:34,740 --> 00:39:40,980
nicht mit der EU-Uploadfilter-Sache
zusammen. Ich finde es wichtig und
509
00:39:40,980 --> 00:39:48,680
richtig, dass es demokratische Fact-
Checking-Institutionen gibt, auch auf
510
00:39:48,680 --> 00:39:51,820
Plattformen wie Facebook. Ich finde es
nicht okay, dass Facebook denkt, das machen
511
00:39:51,820 --> 00:39:58,490
irgendwelche Freien oder Fremden und
kriegen dafür kein Geld. Hier sollte vor
512
00:39:58,490 --> 00:40:04,110
allen Dingen Facebook in Ländern wie
Nigeria oder Myanmar, wo man viel Geld
513
00:40:04,110 --> 00:40:08,800
verdienen möchte, aber keinerlei
Verantwortung dafür übernimmt,
514
00:40:08,800 --> 00:40:13,930
dass da sich ganz viele Falschmeldungen,
Hass-Meldungen ganz schnell verbreiten und
515
00:40:13,930 --> 00:40:19,939
das zu Pogromen und Völkermorden führt.
Also, hier müsste Facebook viel mehr machen.
516
00:40:20,959 --> 00:40:22,659
Herald: Bitte wartet noch mit den
517
00:40:22,659 --> 00:40:28,070
Jutesäcken, bis dieser Vortrag komplett
vorbei ist und die Q&A vorbei sind. Danke.
518
00:40:28,540 --> 00:40:32,690
Wenn es noch weitere Fragen gibt, bitte an
die Mikrofone aufstellen.
519
00:40:36,630 --> 00:40:39,841
Okay, Jutesäcke nur noch für
Fragen, das ist auch ein Weg.
520
00:40:45,016 --> 00:40:47,176
Okay, wenn es keine weiteren Fragen gibt,
521
00:40:47,176 --> 00:40:50,360
bist du sicherlich später auch noch
erreichbar für die ganzen Leute.
522
00:40:50,360 --> 00:40:54,640
Vielen, v-- ah, es gibt noch an Mikrofon 4
eine Frage, habe ich gehört.
523
00:40:55,030 --> 00:41:00,820
M4: Kurze Folgefrage zu dem eben: Wie
würdest du das, also wo siehst du die
524
00:41:00,820 --> 00:41:05,510
Grenze zwischen der Verantwortung von
Facebook, und wo beginnt Zensur, quasi?
525
00:41:05,510 --> 00:41:09,470
Weil das ist ja eine schwierige Sache wenn
Facebook eingreift, was veröffentlicht
526
00:41:09,470 --> 00:41:13,080
werden darf und was nicht.
M: Ich glaube das Grundproblem ist, dass
527
00:41:13,080 --> 00:41:17,460
wir im Moment in der Internet-Regulierung
nur zwei Wege haben: Entweder ist man
528
00:41:17,460 --> 00:41:21,480
Provider, dann ist man nicht haftbar für
etwas was passiert, oder man ist ein
529
00:41:21,480 --> 00:41:26,910
Medium, man ist haftbar für das was
passiert. Und wir haben es bei Facebook,
530
00:41:26,910 --> 00:41:32,440
YouTube und Co. mit monopolistisch-
zentralisierten Plattformen zu tun, die
531
00:41:32,440 --> 00:41:38,410
genau in der Mitte stehen, und die wir mit
einem dritten Weg regulieren sollten. Weil
532
00:41:38,410 --> 00:41:42,970
Weil natürlich tragen sie eine gewisse Art
von Verantwortung, aber ich möchte jetzt
533
00:41:42,970 --> 00:41:51,420
eigentlich nicht dass Mark Zuckerberg auch
meine Facebook Netzpolitik-Seite,
534
00:41:51,420 --> 00:41:58,090
rechtlich dafür haftbar gemacht wird. Mit
anderen Worten: Wir brauchen da richtige
535
00:41:58,090 --> 00:42:05,869
neue Regulierungsarten um das Problem zu
lösen, so mal kurz gesagt. Die Antwort ist
536
00:42:05,869 --> 00:42:09,320
viel viel komplexer.
H: Vielen lieben Dank, bitte einen
537
00:42:09,320 --> 00:42:12,560
riesigen Applaus für Markus Beckedahl.
Applaus
538
00:42:12,560 --> 00:42:18,020
35c3 postroll music
539
00:42:18,020 --> 00:42:35,861
Untertitel erstellt von c3subtitles.de
im Jahr 2019. Mach mit und hilf uns!