-
35c3 preroll music
-
Herald: Dass er auf dem 22c3 schon
mindestens dabei war habe ich schon
-
gesagt, aber ansonsten gibt er uns wieder
einen Überblick. Auch in 2018 war sehr
-
viel los, für die von euch die in
Kongressen denken, das war das Jahr
-
zwischen dem 35c3 und dem 34c3. Es ist
wieder viel passiert in Sachen
-
Netzpolitik, und unser nächster Sprecher
wird uns einen Überblick über die Dinge
-
die auf deutscher und europäischer Ebene
passiert sind geben, und was sich in 2019
-
tun wird. Bitte begrüßt mit mir den
Chefredakteur von Netzpolitik.org,
-
Markus Beckedahl.
Applaus
-
Markus: Schönen guten Morgen. Ich hoffe
meine Stimme hält durch. Wir kommen zu
-
einer neuen Ausgabe von "Das Beste und
Schlechteste der Netzpolitik in
-
Deutschland und der EU von gestern und
heute". Ich habe das Problem: Ich habe nur
-
40 Minuten. Viele Themen die auch relevant
sind musste ich leider rausschmeißen, es
-
sind aber noch genug übrig geblieben. Das
neue gegenüber letztem Jahr ist: wir haben
-
eine Bundesregierung. Im vergangenen Jahr
hatten wir ja gescheiterte
-
Koalitionsverhandlungen, mittlerweile gibt
es eine große Koalition, Merkel 4.0. Was
-
neu ist, oder was alt ist: wir haben immer
noch keinen Digitalminister, aber wir
-
wissen auch von der EU-Ebene: das beste
Internetministerium bringt nichts, wenn
-
wir Günther Oettinger da hinsetzen.
Applaus
-
Die gute Nachricht ist: nach 13 Jahren
Angela Merkel als Kanzlerin ist
-
Digitalisierung, ist Netzpolitik auf
einmal ein Thema. Es gibt eine Vielzahl an
-
Arbeits- und Expertenkreisen, wir
verlieren langsam den Überblick bei
-
Netzpolitik.org, ich lese nur mal einige
vor, die ist jetzt neu gegründet gibt:
-
Digitalkabinett, Digitalrat,
Daten-Ethikkommission, Denkfabrik digitale
-
Arbeitsgesellschaft, KI-Plattform lernende
Systeme, Kommission Wettbewerbsrecht 4.0,
-
Innovation Council, Enquete-Kommissionen
zur künstlichen Intelligenz, Enquete-
-
Kommission zur Zukunft der Bildung, oder
Arbeit, irgendsowas. Das sind nur einige
-
davon. Das ist erst mal nicht schlecht.
Das Problem ist: Es fehlt an Koordinierung
-
in dieser Bundesregierung. Zuständig für
Koordinierung ist übrigens Dorothee Bär.
-
Sie ist Beauftragte der Bundesregierung
für Digitalisierung, laut Bundesregierung
-
zuständig für die Koordinierung der
Netzpolitik innerhalb der Bundesregierung,
-
und für die Kommunikation nach außen. Sie
findet Datenschutz störend, versteht
-
darunter aber manchmal Busfahrpläne, die
aber nichts mit personenbezogenen Daten zu
-
tun haben. Und es gibt so ein schönes
aktuelles Zitat von ihr, was sie sich
-
wünscht. Ich zitiere: "Nerds von außen
müssen uns dringend ihren Sachverstand und
-
ihre Schaffenskraft für eine gewisse Zeit
zum Wohle aller leihen."
-
Gelächter und Applaus
Also, liebe Bundesregierung, es könnte so
-
einfach sein. Warum nicht mal neben all
den Industrielobbyisten auch mal Vertreter
-
der digitalen Zivilgesellschaft ins
Kanzleramt einladen? Warum laden
-
eigentlich fast alle Fraktionen im
Bundestag immer Nerds als Sachverständige
-
ein, aber CDU/CSU eigentlich nie? Also, it
could be so easy, dann kommen die Nerds
-
auch, weil die Angebote stehen seit vielen
Jahren, man muss sie auch annehmen.
-
Die Digitale Agenda heißt jetzt
Umsetzungsstrategie, und was fehlt ist
-
leider die Strategie. Ist ja nichts Neues,
aber die Bundesregierung hat irgendwann
-
vor ein, zwei Monaten ihre Umsetzungsstrategie
präsentiert und ich habe verschiedene
-
Anläufe genommen das ganze auf
Netzpolitik.org zu kommentieren. Ich habe
-
es nicht geschafft, weil ich wusste gar
nicht wo ich anfangen soll. Das ist so ein
-
Sammelsurium, Sammelwerk, alle Ministerien
wurden eingeladen "schickt uns mal was ihr
-
gerade irgendwie mit Digitalisierung
macht" und das haben sie dann irgendwie
-
chronologisch hintereinander geheftet.
Aber wenigstens sieht man da drin:
-
irgendwie passiert viel, aber nicht mit so
viel Strategie. Kommen wir zum Wetter.
-
Erst mal zu den schlechten Sachen: Sturm
zieht auf, oder für die Zielgruppe, die
-
Sturm nur aus dem Internet kennt: zeigt
auf Bild Ein Running Gag seit vielen
-
Jahren, seitdem ich Netzpolitik mache ist
die EU-Urheberrechtsreform. Mittlerweile
-
machen sie die zweite Reform die ich
mitbekomme, und die EU Urheberrechtsreform
-
ist auf der Zielgeraden. Umstritten sind
vor allen Dingen zwei Punkte, das eine sind
-
die sogenannten Upload-Filter, Artikel 13,
das andere ist das Leistungsschutzrechtrecht,
-
Artikel 11. Beim Leistungsschutzrecht kann
ich euch nicht so genau erklären was die
-
Logik dahinter ist, das habe ich nicht so
ganz verstanden. Die Frage die wir uns
-
stellen: können wir eigentlich bei
Netzpolitik.org künftig weiterhin andere
-
Artikel mit Überschrift verlinken und
zitieren, ohne Lizenzgebühren zu zahlen?
-
Das können uns auch die verantwortlichen
Politiker nicht mehr so genau erklären.
-
Super Arbeit hat hier aber vor allem Julia
Reda gemacht, mit ihrem Team. Ohne sie
-
wäre alles noch viel schlechter gelaufen,
also erstmal ein großer Dank.
-
Applaus
Aber vor allen Dingen die Uploadfilter
-
sind ein Problem, weil Uploadfilter
stellen eine größere Gefahr für
-
Meinungsfreiheit dar als das
Netzwerkdurchsetzungsgesetz. Auch weil
-
hier automatisierte Entscheidungssysteme
mit definieren was wir wie angezeigt
-
bekommen und was überhaupt veröffentlicht
werden kann. Und die entscheidende Frage
-
ist: Wo sind die demokratischen Kontrollen
bei der Frage, was da wieso in den Filtern
-
auftaucht, und was deswegen nicht mehr
angezeigt werden kann. Dazu kommt später
-
noch mehr. Das Leistungsschutzrecht, das
deutsche Leistungsschutzrecht. quasi der
-
Exportschlager in die EU, ist vielleicht
nicht gültig. Wir haben ja schon vor
-
eineinhalb Jahren auf netzpolitik.org
angekündigt, dass es nicht EU-konform ist,
-
war gerade wieder in den Medien – zeigt:
Netzpolitik.org-Leser wissen früher
-
Bescheid. Wir haben auch mal geklagt rund
um das Leistungsschutzrecht, und zwar
-
wollten wir wissen, wer in der
entscheidenden Sitzung des Bundeskabinetts
-
vor fünf Jahren mit dabei war, und was
dort besprochen wurde zu dem Fall. Weil
-
damals war der Kanzleramtsminister Eckart
von Klaeden zuständig, unter anderem dafür
-
oder damit beschäftigt, und sein Bruder
war der Springer-Lobbyist Dietrich von
-
Klaeden, und wir sahen darin einen
Interessenskonflikt, und haben das
-
durchgeklagt bis zum
Bundesverwaltungsgericht. Wir haben leider
-
nur halb recht bekommen. Wir haben, oder
kriegen jetzt die Teilnehmerliste. Die
-
Bundesregierung wollte nie irgendwie die
Teilnehmerliste rausrücken wer denn jetzt
-
bei der Kabinettssitzung dabei war, mit
der Begründung man könnte darauf auf das
-
Verhalten oder Abstimmungsverhalten
einzelner Minister schließen. Das haben
-
wir erkämpft, nicht erkämpft haben wir
dass wir die für 30 Jahre geschützten
-
Kabinettsprotokolle bekommen, die bleiben
leider weiter geschützt. Aber was auch neu
-
ist: Girl's Day im Innenministerium...
Gelächter
-
Das ist ein kleines Problem, also nicht
nur das. Die letzte große Koalition hat
-
uns mehr Überwachungsbefugnisse wie kaum
eine andere Regierung vor ihr gebracht,
-
und jetzt geht sie in die Verlängerung.
Und an der Spitze des BMI sind eigentlich
-
nur Überwachungs-Hardliner zu sehen. Wir
hatten sie schonmal eben, verpflichtende
-
Uploadfilter können ein wichtiger
Bestandteil einer Zensur-Infrastruktur
-
werden, und sie sind es sogar schon. Es
gibt behördliche, oder auf EU-Ebene gibt
-
es gerade die Diskussion in Folge des EU-
Forum Internet. Ich glaube ich habe vor
-
zwei oder drei Jahren mal hier mal über
das EU-Forum Internet, noch in Hamburg
-
damals, auf dem CCC-Congress gesprochen.
Das war so ein Treffen zwischen den großen
-
Plattform und EU-Sicherheitsbehörden, EU-
Politikern, wo im Rahmen einer
-
Privatisierung der Rechtsdurchsetzung
Plattformen motiviert wurden, doch mehr
-
zu machen, wie Uploadfilter einzubauen. Das
haben die auch teilweise jetzt
-
größtenteils gemacht, von 20 Plattformen,
die da mitdiskutieren, sollen 17 schon
-
Uploadfilter irgendeiner Art installiert
haben. Jetzt kommt demnächst noch die
-
Verordnung zur Bekämpfung von
Terrorpropaganda, und das ist unserer
-
Meinung nach, ja, dasselbe was wir damals
mit Zensursula verhindert haben, nur auf
-
einem höheren Netz-Layer, nämlich bei
Plattformen. Und dahinter steht,
-
behördliche Lösch-Anforderungen müssen von
Anbietern binnen einer Stunde umgesetzt
-
werden, das heißt es geht nur durch
automatisierte Uploadfilter, und mit
-
proaktiven Maßnahmen bekämpft werden,
damit sind gemeint Instrumente zur
-
automatischen Erkennung. Und wo bleibt
eigentlich der Aufschrei, wenn hier
-
eigentlich fast genau dasselbe passiert
wie damals in der Zensursula-Debatte, nur
-
keinen interessiert es. Das ist ein echtes
Problem. Horst Seehofer hat es mit auf den
-
Weg gebracht, will sich aber jetzt nicht
mehr dazu äußern. Es gab zuletzt eine EU-
-
Innenminister-Sitzung wo das dann vom EU-
Rat beschlossen wurde. Dort sprach dann
-
der österreichische Innenminister statt
Horst Seehofer. Sprachform "das Internet
-
sei ein Brandbeschleuniger ins Negative",
das sagt der österreichische
-
Innenminister, der den Identitären
nahesteht. Es dürfe kein neuer virtueller
-
Islamischer Staat im Internet entstehen,
und der Vorschlag solle Lücken schließen,
-
die in der realen Welt bereits abgedichtet
seien. Was ist eigentlich Terror-
-
Propaganda? Das ist eine spannende Frage,
noch nicht so ganz geklärt. Aber wir
-
hatten in diesem Jahr einen Fall wo, sagen
wir mal, zumindest ein Teil des politischen
-
Spektrums der Meinung war, das hat mit
Terror zu tun: und zwar die Debatte um den
-
Hambacher Forst. Es gab Stimmen aus der
NRW-Regierung von RWE und von der Union,
-
dass darunter auch schon bestimmte Klima-
Proteste wie beim Hambacher Forst fallen
-
könnten. Die werden dann möglicherweise
demnächst automatisiert herausgefiltert.
-
Und wie das in der Praxis abläuft haben
wir mal recherchiert. Es gibt bereits eine
-
scharf geschaltete Hash-Datenbank großer
Plattformbetreiber. Europol verkündet da
-
regelmäßig: schon 50000 Hashes da drin,
schon 100 000 Hashes. Hashes sind digitale
-
Fingerabdrücke von einmal als
terroristisch markierten Inhalten, und die
-
werden halt von Europol an diese Datenbank
weitergeleitet. Uns hat mal interessiert:
-
Wie finden eigentlich die demokratischen
Kontrollen statt? Wir haben uns erstmal an
-
die EU-Kommission gewandt, die das ja
alles auf den Weg gebracht hat. Die EU-
-
Kommission sagt so "boah, ja, keine
Ahnung." Dann haben wir Europol gefragt,
-
die halt quasi diese ganzen Inhalte in
diese Datenbank rein packen. Die so: "Ja,
-
boah, keine Ahnung." Mit anderen Worten:
Wir haben da eine Datenbank, die diese
-
Uploadfilter ja quasi unterstützt, und es
gibt keine demokratische Kontrolle weil es
-
keinen interessiert was da immer
reinkommt, kann da möglicherweise für
-
immer drin bleiben, und wir können da
nicht mal darüber sprechen, weil beim
-
Hochladen das automatisiert weg gelöscht
und man weiß gar nicht, dass etwas
-
existiert. Kommen wir zum nächsten. Auch
auf EU-Ebene. EU ist gerade relativ viel,
-
weil die EU-Legislaturperiode im Mai
endet, das heißt ganz viele Vorhaben sind
-
jetzt auf der Zielgeraden bevor alle
dann ab März, April im Wahlkampf sind.
-
Und auf EU-Ebene gibt es auch noch
den Gesetzentwurf zu elektronischen
-
Beweismitteln, E-Evidence. Ich glaub Klaus
Landefeld hat da gestern drüber
-
gesprochen. Die Idee dahinter ist ein
äquivalent zum amerikanischen Cloud Act zu
-
schaffen: Betreiber von Internetdiensten
müssen Daten ihrer Nutzer nach dem
-
Vorschlag innerhalb von sechs Stunden
herausgeben – an Behörden aller EU-
-
Staaten. Sonst drohen Strafen von bis zu
zwei Prozent ihres globalen Umsatzes.
-
Das heißt, zukünftig kann, wenn das
so durchgeht, eine ungarische
-
Sicherheitsbehörde bei einem deutschen
Host-Provider anrufen und sagen "Ey, gebt
-
uns mal die Daten von den ungarischen
Oppositionellen die ihr bei euch hostet"
-
und man hat sechs Stunden Zeit darauf zu
reagieren – wie hoch ist die
-
Wahrscheinlichkeit, dass ein Host-Provider
da den Rechtsweg einschlägt und das Risiko
-
eingeht eine Haftstrafe, äh nicht
Haftstrafe, bis zu zwei Prozent des
-
Umsatzes Strafe zu riskieren? Und wir
haben das Problem: dieser Entwurf, der da
-
gerade auf der Zielgeraden ist, der
schwächt die Möglichkeiten der
-
durchsetzenden Behörden in anderen
Staaten, sich der Durchsetzung einer
-
Anordnung aufgrund einer Verletzung der
EU-Grundrechtecharta zu widersetzen.
-
Wichtiger Punkt für Jura-Nerds. Der
Entwurf geht fälschlicherweise davon aus,
-
dass Metadaten weniger sensibel als
Contentdaten sind – Bestandsdatenauskunft
-
und so, übliche Problematik. Der Entwurf
bringt die Möglichkeit ins Spiel,
-
Anordnung ohne Gerichtsbeschluss zu
treffen, und vor allen Dingen der Entwurf
-
bringt keine Rechtssicherheit für
Betroffene. Und das ist ein ziemliches
-
Problem, wie ich eben schon beschrieben
habe, weil, ja, Provider hier eigentlich,
-
oder Host-Provider Sicherheitsbehörden
ausgeliefert sind. Eine Debatte die es
-
immer schon gibt, hier habe ich mal ein
Bild von 2007 rausgesucht, vom Erfa
-
Karlsruhe, als damals das
Bundesverfassungsgericht über
-
Staatstrojaner anfing zu diskutieren. Der
Staatstrojaner heißt jetzt Quellen-TKÜ und
-
soll mit den meisten neuen Polizeigesetz
auf Landesebene durchgesetzt werden.
-
Wir haben das übliche Problem mit
Staatstrojanern: Was wir unter
-
Staatstrojaner verstehen, nämlich ja
quasi ein hochkomplexes System aus
-
Schwarzmärkten, wo Sicherheitslücken
verkauft werden, aus dubiosen Anbietern,
-
die Staatstrojaner-Software mit diesen
Sicherheitslücken munitionieren. Das kommt
-
bei vielen Politikern an wie "Ja, so ein
Staatstrojaner ist wie ein Telefon was man
-
im Media Markt kauft, den kauft man halt
und setzt ein und kommt auf jeden Computer
-
drauf." Wir müssen also noch weiter
erklären, worum es geht, weil es gilt
-
weiterhin: im Namen der Sicherheit wird
hier massive IT-Unsicherheit geschaffen,
-
wenn wir weiter den Weg der Staatstrojaner
verfolgen, und das ist der falsche Weg.
-
Applaus
-
Und vor allem: der Staatstrojaner ist auch
-
wieder ein schönes Beispiel dafür, wie
eine Überwachungsbefugnis auf den Weg
-
gebracht wird, und mit welcher Begründung
es dann wieder ausgeweitet wird.
-
Wir haben in diesem Jahr recherchiert, wofür
die meisten Staatstrojaner eingesetzt werden.
-
Die damalige Begründung war wie immer
schwerste Straftaten, darunter versteht
-
man Terror, Mord, oder Totschlag. Und
herausgekommen ist: das meiste, die
-
meisten Einsatzziele haben was mit Drogen
zu tun. Ich glaube eine andere
-
Drogenpolitik würde hier viel mehr helfen
als mit Staatstrojaner IT-Unsicherheit zu schaffen.
-
Applaus
-
Gelächter
Ja.
-
Gibt's demnächst bei uns im
Merchandising-Shop. lacht
-
Polizeigesetze, haben hier Marie
Bröckling und Constanze Kurz schon am
-
ersten Abend sehr schön
auseinandergenommen, gibt es in fast allen
-
Bundesländern mittlerweile, haben als
Neuigkeit dabei eine sogenannte "drohende
-
Gefahr", also jemanden ohne konkreten
Verdacht einer Straftat zu polizeilichen
-
Zwangs- und Überwachungsmaßnahmen zu
machen. In Bayern kann man damit
-
zukünftig, wenn man Pech hat, auch für
immer weggesperrt werden. In Bayern wurde
-
es dann auch irgendwie erklärt, also, CSU-
Logik: Mehr Überwachung und Ausbau der
-
Polizei zum Geheimdienst fördert
Grundrechte. Das war der ehemalige, oder
-
immer noch der aktuelle und ehemalige
Innenminister Herrmann, der tatsächlich
-
verkaufte, Ziel sei die Stärkung der
Bürgerrechte, aber das ist totaler
-
Bullshit, das war nur ein Anlass um
dahinter versteckt den Überwachungs- und
-
Kontroll-Apparat auszubauen. Bayern ist
hier ganz weit vorne. Aber die
-
Polizeigesetze haben auch einen großen
Vorteil: Endlich gehen wieder zehntausende
-
Menschen in Deutschland für Grundrechte
auf die Straße, und zwar nicht nur in
-
Bayern, auch in Niedersachsen, in
Brandenburg, in NRW, demnächst in Sachsen,
-
also: Polizeigesetzes stoppen ist die
Chance wieder für größere
-
gesellschaftliche Bündnisse für
Grundrechte auf die Straße zu bringen.
-
Applaus
-
Ja, wenns zum Thema Bündnispartner geht,
-
haben wir auch eine neue alte Debatte:
Kfz-Kennzeichenerfassung. Die
-
Bundesregierung hat total versagt beim
Ziel Klimaschutz zu fördern und
-
Feinstaubbelastung in den Städten zurück
zu führen, und vor allen Dingen, naja,
-
dieser ganze Diesel-Skandal, der zu
Feinstaub führt, was eigentlich
-
Manipulationen sind, das ist von der
Bundesregierung total verkackt worden,
-
aber die Antwort darauf ist: mehr
Überwachung! Und zwar Kfz-Kennzeichen sein
-
Scanner – Kennzeichen-Scanner seien laut
Andreas Scheuer – das ist übrigens unser
-
Verkehrsminister – die einzig praktikable
und effektive Möglichkeit, Fahrverbote
-
älterer Dieselautos durchzusetzen. Das sei
keine Überwachung, der Datenschutz sei
-
gewährt. Allerdings gibt es deutlich
mildere Mittel zur Kontrolle der
-
Fahrverbote, wenn das unser
Verkehrsminister nicht weiß, dann hat er
-
ein Problem, und wir auch. Es gibt zum
Beispiel die blaue Plakette, oder kleine
-
RFID-Funksender, die andere Länder bereits
in Mautsystem einsetzen, wo man nicht die
-
ganzen Gesichter der Fahrer und
Fahrerinnen mitfotografieren muss.
-
Und hier habe ich noch ein schönes Zitat
von Andreas Scheuer: "Der Einsatz von
-
Videoüberwachung gerade im Verkehrsbereich
wird seit vielen Jahren als akzeptiert
-
empfunden. Das gelte es zu beachten, wenn
der Gesetzentwurf als problematischer
-
Eingriff in die Privatsphäre bezeichnet
wird. Auch hier spricht niemand vom
-
Überwachungsstaat." Wir schon.
-
Applaus
-
Auch das ist 2018 gewesen, bunte Proteste
gegen den Testversuch zur biometrischen
-
Video-Überwachung am Bahnhof Berlin
Südkreuz. Viele kreative Bilder.
-
Der wissenschaftliche Test der
Videoüberwachung ist aus
-
wissenschaftlicher Sicht ein Witz, wie der
Chaos Computer Club unter anderem
-
festgestellt hat. Aber wir sollten
grundsätzlicher diskutieren als über
-
Fehlerquoten, weil die Fehlerquoten werden
mit der Zeit wahrscheinlich zurückgehen.
-
Und grundsätzlicher heißt: Eine anlasslose
Massenüberwachung des öffentlichen Raumes
-
durch biometrische Videoüberwachung
gefährdet einfach unsere Freiheit. Punkt.
-
Applaus
-
2018 ist das Jahr wo wir endlich mit
Computern sprechen können, und sie
-
sprechen auch zurück. Oder anders
ausgedrückt: 2018 ist das Jahr, wo
-
Menschen sich freiwillig Wanzen in die
Wohnung stellen und dafür bezahlen.
-
Applaus
-
Und die Diskussion um Alexa, Google und
wie sie alle heißen und Co. fängt gerade
-
erst an. Und es gibt da viele Fragen, die
wir diskutieren sollten: wo liegen
-
eigentlich die Daten? Liegen die auf
deutschen Servern unter deutschen
-
Datenschutzgesetzen, oder werden die in
die USA transferiert und über PRISM sind
-
sie dann den Sicherheitsbehörden dort
zugänglich? Wer hat alles Zugriff darauf?
-
Wie sicher ist das eigentlich? Wann kommt
der Punkt, wo Alexa und Co. eigentlich
-
alles für immer speichern, weil es einfach
bequemer für den Nutzer und für Amazon
-
ist? Trainieren wir eigentlich mit Alexa
und Co. ein globales Stimmen-Biometrie-
-
System, wo wir dann zukünftig überall
anhand unserer Stimme erkannt werden, weil
-
überall Alexas- und Google-Teile
rumstehen, und da erkennen mich die
-
Systeme dann, egal wo ich bin? Und wenn
wir so eine KI trainieren, damit sie uns
-
besser kennt und besser versteht und so
weiter, und wir uns daran gewöhnen, ab
-
wann ist der Punkt eigentlich erreicht,
dass wir nicht mehr die Alexa-Welt oder
-
die Google-Welt verlassen können, weil wir
sie so auf uns trainiert haben, dass wir
-
woanders wieder von vorne anfangen
müssten? Und vor allen Dingen: What could
-
possibly go wrong? Das hat die c't gerade
gefragt, da hat jemand eine Datenschutz-
-
Rechtsauskunft an Amazon geschickt und hat
fremde Alexa-Daten zugeschickt bekommen.
-
Die Herausforderung ist: künstliche
Intelligenz und Sprachsteuerung sind
-
gekommen um zu bleiben, das ist auch gut
so. Aber umso wichtiger sind freie,
-
dezentrale, offene Alternativen dazu,
denen wir vertrauen können, damit wir
-
diese Technik auch bei uns zuhause
einbauen können und nutzen können.
-
Das wünsche ich mir.
-
Applaus
-
Ansonsten gilt: von den größten
Datenschützern kann man viel lernen:
-
Mark Zuckerberg hat auch sein Mikrofon
verklebt. Für die Leute, die noch nicht
-
auf die Idee gekommen sind. Kommen wir zum
nächsten Thema, 2017 will ihre Bot-Debatte
-
zurück. Wir hattens hier vorher in einem
Talk von Constanze und Ingo zu
-
Desinformationen. Die Debatte um Des- und
Miss-Information müssen wir führen, aber
-
Social Bots sind da echt das kleinste
Problem. Und auch hier haben wir wieder
-
wie beim Staatstrojaner das Problem, dass
viele Politiker irgendsoeine wirre
-
Vorstellung haben, was so ein Social Bot
ist, und aneinander teilweise vorbeireden,
-
weil für die einen sind das russische
Trolle, für die anderen ist es die
-
künstliche Intelligenz eines Chatbots, mit
dem man kommuniziert, wenn man mit dem
-
Kundenservice kommuniziert. Was halt eine
ganz andere Debatte ist, aber man muss
-
dann auch immer Politiker fragen "Worüber
reden Sie jetzt genau?" um zu verstehen,
-
wo man hin möchte. Und was klar ist: Wenn
man mit einer KI kommuniziert, dann
-
brauchen wir Transparenz, das ist
eigentlich ein Verbraucherrecht, das
-
müssen wir auch umsetzen. Aber Transparenz
brauchen wir auch bei Studien, die Panik
-
verursachen, weil sie überall Social Bots
sehen, die sonst keiner nachvollziehen
-
kann. Und vor allem brauchen wir auch
Transparenz über die Herangehensweise
-
dieser Studien-Macher. Weil: Mittlerweile
es eigentlich gängig, jemanden oder einen
-
Twitter-Account z.B. als Social Bot zu
definieren, wenn mehr als 50 Tweets pro
-
Tag abgesetzt wurden. Und wir haben leider
echt das Problem, dass wir in unserer
-
Gesellschaft viele Menschen mit viel zu
viel Zeit und viel zu viel Wut haben, die
-
locker auf 50 Tweets pro Tag kommen, die
aber keine Social Bots sind, weswegen man
-
jetzt eine Klarnamenspflicht einführen
muss. Und die Debatte des Jahres war:
-
Cambridge Analytica und Facebook. Für uns
war es so ein bisschen ungewöhnlich, das
-
war nicht der erste Datenskandal von
Facebook, es war nicht der letzte – allein
-
in diesem Jahr sind wir insgesamt auf 21
Datenskandale bei Facebook gekommen - aber
-
normalerweise dauerten die immer nur zwei,
drei Tage, dann brachte Facebook neue
-
Features heraus und dann waren alle
Journalisten nur noch über die neuen
-
Features am Berichten und es drehte sich
wieder. Cambridge Analytica dauert immer
-
noch an, hat zu verschiedenen Anhörungen
geführt, zeigt aber auch:
-
Cambridge Analytica ist nur die Spitze des
Eisberges, und nur eine von möglicherweise
-
tausenden Firmen die ähnlich vorgegangen
sind, die ähnlich Daten abgegriffen haben
-
und möglicherweise auf ähnliche Art und
Weise diese Daten nutzen, um Menschen über
-
Facebook oder woanders zu manipulieren.
Und Glückwunsch an alle Menschen, die aus
-
Protest gegen die Firmenpraktiken von
Facebook zu Instagram und WhatsApp
-
gewechselt sind.
Gelächter
-
Das brachte uns aber auch die Debatte: wie
gehen wir mit der Macht monopolistischer
-
Plattformen um? Wie können wir sie
grundrechtsfreundlich regulieren, um mehr
-
Wettbewerb und Verbraucherrechte
durchzusetzen? Facebook zerschlagen und
-
Google zerschlagen ist da ein notwendiger
Weg, weil die einfach zu mächtig, zu groß
-
geworden sind. Und vor allen Dingen, zum Beispiel
als Facebook WhatsApp aufkaufte, hatten sie
-
der EU-Kommission versprochen, keinen
Datenaustausch zu machen. Das würde ich
-
ein bisschen bezweifeln und deswegen das
einfach zurücknehmen. Und es geht bei
-
dieser ganzen Debatte um
Plattformregulierung darum: wie setzen wir
-
dort welche Rechte wie durch, wie stärken
wir die Rechte der Nutzer gegenüber
-
Plattformen und ihrer Friss oder stirb
Policies? Wie schaffen wir mehr Meinungs-
-
und Medienfreiheit? Oder Medienvielfalt?
Wie schaffen wir mehr Dezentralität und
-
Wettbewerb, und wie können wir offene und
datenschutzfreundliche Alternativen
-
fördern? Da gibt es noch viel zu wenig,
vor allen Dingen aus der Politik. 2018 hat
-
auch gezeigt: Facebook tötet. In Myanmar,
in Nigeria, überall dort wo das
-
Unternehmen Geld verdient, sich aber nicht
verantwortlich fühlt und z.B. ausreichend
-
Fact Checker mit den richtigen
Sprachkenntnissen beschäftigt. Auch das
-
ist ein Problem. Und 2018 hat den schönen
Film "The Cleaners" gebracht, der die
-
Content-Moderation-Politik der großen
Konzerne mal ins Fernsehen gebracht hat.
-
Und da kann man auch sehen, oder 2018 hat
auch gezeigt: das
-
Netzwerkdurchsetzungsgesetz in Aktion
macht weniger Schaden als befürchtet, weil
-
das viel zu kompliziert zu melden ist, und
die Plattform einfach eh alles löschen auf
-
Basis ihrer Content Policies und
Community-Regeln, und das ist echt ein
-
Problem. Aber wenigstens hat das
Netzwerkdurchsetzungsgesetz
-
Transparenzberichte gebracht. Wir sind
gespannt auf die nächsten, die sie
-
rausbringen müssen. Kommen wir mal zu
heiter bis wolkig. Die gute Nachricht für
-
2018 ist: bis morgen haben alle 50 Megabit
Breitbandinternet.
-
Jubel und Applaus
-
Also hat Angela Merkel noch im Jahr 2017
-
versprochen. Wer hat keine 50 Megabit zu
Hause? Ah, selbst bei den Nerds gibt es
-
viele, die das nicht haben. Ja, ich kenne
auch viele in Berlin, die in zentralen
-
Gegenden liegen und froh sind über 16
Megabit, wenn sie das überhaupt bekommen.
-
Aber dafür haben wir einen
Verkehrsminister, der mittlerweile
-
Funktürme selbst eröffnet, wie hier in
Kleßen-Görne, eines der bekanntesten ex-
-
Funklöcher in Deutschland. 360 Bewohner,
anscheinend mit die kleinste Kommune in
-
Brandenburg, jetzt mit Netz, weil die
deutsche Telekom von ihm genötigt wurde,
-
für einen PR-Termin da einen Funkturm
aufzubauen. Und erinnert ihr euch noch an
-
die Durchhalteparolen, dass, wenn das
jetzt bis morgen nichts wird mit 5G alle
-
Probleme gelöst werden? Ja, wenn 5G mal
kommt. Mal gucken. Aber das nächste
-
Versprechen ist jetzt: bis 2025 haben wir
alle Gigabit! Also vielleicht. Es gab auch
-
mal ein paar Förder-Milliarden, die
versprochen worden sind, jetzt nach zwei
-
Jahren, nachdem die 4 Milliarden
Bundesmittel irgendwie gelockert wurden,
-
kann man sagen: 82 Millionen Euro sind
davon bereits ausgegeben worden.
-
Applaus
-
Naja, einen Teil davon an Berater, man
-
kann auch sagen: Der Breitbandausbau
fördert vor allen Dingen PowerPoint-Bingo.
-
Applaus
-
Es gibt ein bisschen Fortschritt beim
-
Thema Zero-Rating-Angebote, zumindest gibt
es neue Gerichtsurteile: das StreamOn-
-
Angebot der Telekom verletzt die
Netzneutralität. Ja. Sie müssen jetzt
-
nachbessern und so weiter. Das
Grundproblem besteht: Zero-Rating-Angebote
-
generell verletzen die Netzneutralität,
und hier brauchen wir eine Klarstellung.
-
Und vor allen Dingen: Es sind nicht nur
die Telekommunikationsunternehmen,
-
die sich die Hände in der
Netzneutralitätsdebatte schmutzig machen,
-
es sind auch vor allem die Unternehmen und
die Organisationen, die an Zero-Rating-
-
Programmen teilnehmen und sich darüber
einen Wettbewerbsvorteil verschaffen, weil
-
sie bevorzugt durchgelassen werden. Und
hiermit meine ich explizit öffentlich-
-
rechtliche Anstalten, die in dieser Seite
leider teilweise die Seiten gewechselt
-
haben und da mitmachen oder noch
mitverhandeln. Shame on you.
-
Applaus
-
Wir haben jetzt eine KI-Strategie.
-
Eine Einbeziehung der Zivilgesellschaft ist
bisher nicht gesucht worden, bei den
-
Treffen im Kanzleramt waren vor Dingen
immer nur Wissenschaftler und vor allen
-
Dingen Industrie-Lobbyisten da, bei der
Konsultation gab es noch nicht einmal den
-
Knopf den man anklicken konnte, dass man
Teil der Zivilgesellschaft ist. Was wir
-
brauchen, was vielleicht damit kommt, ich
bin mir nicht so sicher: mehr Forschung
-
für bessere Anonymisierung von Big Data
und synthetischen Daten und viel mehr
-
Forschungsschwerpunkte mit Privacy by
Design, Privacy by Default als Bedingung.
-
Ein anderes Ding was neu war: 2018 war das
erste Jahr, wo sich viele Menschen und
-
Unternehmen zum ersten Mal mit Datenschutz
beschäftigt haben. Da gab es viel
-
Verunsicherung. Es wurden Abmahnwellen
herbeigeredet, die dann nicht gekommen
-
sind. Vieles ist im Detail leider noch
nicht geklärt, das ist immer das Problem
-
mit großen komplexen politischen
Kompromissen der Fall. Aber zumindest gibt
-
es theoretisch Verbesserungen für Bürger,
es gibt einen Marktortprinzip, theoretisch
-
kann ich bei uns klagen, es gibt
europaweit einheitliche Rechte, es gibt
-
bis zu vier Prozent Schadensersatz,
massive Bußgelder, damit verbunden
-
Ansprüche auf Unterstützung durch
Aufsichtsbehörden, und die Datenschützer
-
warten auf qualifizierte Beschwerden. Und
wir haben einen neuen Volkssport:
-
Datenschutzauskunftsanfragen. Kann ich nur
empfehlen. Wenn ihr nicht wisst wie das
-
geht: die Seite DeineDatenDeineRechte.de
haben verschiedene Musterschreiben dafür
-
entwickelt. Währenddessen
versucht Max Schrems mal mit dem
-
Marktortprinzip auszutesten, er klagt
nämlich in Österreich, bei sich zuhause,
-
gegen Facebook, und Facebook ist der
Meinung: Sie möchten weiterhin in Irland
-
klagen, wo ihr Büro ist. Ansonsten
Glückwunsch an Andrea Voßhoff.
-
Sie hat ihre Amtszeit als
Bundesdatenschutzbeauftragte am 7. Januar
-
endlich rum. Wir kriegen dann einen
Nachfolger, Ulrich Kelber wirkt jetzt
-
schon deutlich engagierter, was wiederum
aber auch kein Problem darstellt oder kein
-
Problem ist. Und eine Sache müssen wir
noch konsequenter fordern: Es gibt viele
-
Politiker, die fordern eine Verdoppelung
des Personals des Verfassungsschutzes.
-
Stattdessen brauchen wir mindestens eine
Verdoppelung des Personals der
-
Datenschutzbehörden, weil die verteidigen
unsere Verfassung viel mehr.
-
Applaus
-
Kommen wir zur EU
Privacy-Verordnung auf
-
EU-Ebene. Die kleine Schwester der
Datenschutz-Grundverordnung, im EU-
-
Parlament mit einer Stimme knapp für mehr
Nutzerrechte gestimmt, ist jetzt im EU-Rat
-
versackt. Unsere Bundesregierung war eine
der Regierung, die da immer mit blockiert
-
haben, die EU Privacy-Verordnung könnte
uns verschiedene Sachen bringen: keine
-
Datenverarbeitung ohne Einverständnis,
einfacher Schutz vor online-Tracking,
-
Privacy by Default auch in Browsern zum
Beispiel, Grenzen für Offline-Tracking,
-
Recht auf Verschlüsselung, und mehr
Transparenz für überstaatliche Zugriffe.
-
Wollen die Regierungen natürlich nicht.
Aber wir sollten noch mal diskutieren:
-
Welche Werte sollen Innovationen
eigentlich bringen? Was sind das für tolle
-
Dateninnovationen, wenn die Nutzer nicht
im Bilde sind, was da im Hintergrund
-
passiert? Auch deswegen brauchen wir klare
Regeln gegen intransparentes Tracking.
-
Ansonsten: der Digitalpakt kommt. Oder
auch nicht. Vielleicht. In der Grundsache
-
gut, wie immer 20 Jahre zu spät. Die
Gefahr im Digitalpakt ist und bleibt,
-
dass es vor allen Dingen eine
Investitionsförderung für Microsoft,
-
Deutsche Telekom und Bertelsmann wird. Und
wir wissen alle: die am besten
-
ausgestattete Schulen bringen nichts, wenn
die Lehrer nicht wissen, was sie mit den
-
Computern anstellen sollen. Und was
darüber hinaus fehlt ist eine konsequente
-
Strategie zur Förderung von offenen
Unterrichtsmaterialien. Müsste man mal.
-
Applaus
-
Ja, running gag jedes Jahr: Freifunk-
-
Initiativen könnten gemeinnützig werden.
Der Bundesrat hat das erneut abgestimmt,
-
das liegt jetzt erneut im Bundestag, der
sich ja neu zusammengesetzt hat gegenüber
-
letztem Jahr. GroKo, macht mal endlich.
Damit fördert man nicht nur das digitale
-
Ehrenamt, sondern es ist auch ein guter
Beitrag zur Verringerung der digitalen
-
Spaltung vor Ort. Kommen wir zu den
schönen Dingen.
-
Ah, ich trink noch mal kurz.
-
Es gibt auch viele Leuchttürme. und
so feiern wir hier auf dem Kongress auch
-
vor allem das schöne freie und offene
Internet. Eines der spannendsten Citizen
-
Science-Projekte in diesem Jahr war der
Radmesser, vom Tagesspiegel gefördert, vom
-
Medieninnovationszentrum Babelsberg (in
dessen Jury ich sitze, als Disclaimer).
-
Die haben Sensoren entwickelt, die an 100
Radfahrer in Berlin abgegeben wurden, die
-
den Rad-Abstand zu Autos untersucht haben,
in einem längeren Test.
-
Applaus
Weil Autos müssen sich eigentlich an
-
vorgeschriebene 1,5 Meter Abstand halten.
Und wenn wir nicht genug Fahrradwege haben
-
und auf Straßen fahren müssen, dann sind
wir sozusagen dem ausgeliefert, dass
-
eigentlich Autos sich daran halten müssen
und die das aber nicht tun und uns
-
gefährden als Fahrradfahrer. Dieses
Projekt hat schön gezeigt, dass man auch
-
mit Citizen Science-Projekten A)
spannende, kreative Sachen machen kann,
-
aber auch eine politische Debatte im
Umgang mit Radfahrern in Berlin in diesem
-
Fall befeuern kann und dieses ganze Modell
soll auf andere Städte ausgeweitet werden.
-
Eines der schönsten Erfolge war in diesem
Jahr "offene Gesetze". Die
-
Bundesgesetzblätter sind die zentralen
Dokumente der deutschen Demokratie, aber
-
bislang waren die gemeinfreien Werke vom
Staat privatisiert worden und vom
-
Urheberrecht geschützt. Sie waren zwar
zugänglich, aber mit so vielen Schikanen
-
versehen dass man eigentlich mehr Geld
reinwerfen musste. Dank der
-
OpenKnowledgeFoundation hat sich das
geändert, die haben einfach alles
-
gescraped und auf OffeneGesetze.de
veröffentlicht. Und jetzt hat die
-
Justizministerin verkündet, dass das
zukünftig alles von sich aus freigestellt
-
wird und das Gesetz geändert wird. Das ist
ein großer Erfolg.
-
Applaus
-
Aber das sollte nur ein erster Schritt
-
sein, auch die Rechtsprechung sollte offen
zugänglich sein. Es gibt Fortschritte bei
-
Open Access, und zwar im Rahmen des
Projekt DEAL versuchen deutsche
-
Wissenschaftseinrichtungen mit den drei
größten Wissenschaftsverlagen freien
-
Zugang für ihre Forschungsergebnisse zu
verhandeln. Wer die Logik dahinter nicht
-
versteht: total absurd. Wir finanzieren
Wissenschaft, die finanzieren mit unseren
-
Steuergeldern wiederum ein paar private
Verlage, zahlen denen ganz viel Geld damit
-
die wiederum unsere von uns finanzierte
wissenschaftlichen Ergebnisse publizieren.
-
Könnte man auch anders machen, hat man
bisher nicht. Aber jetzt stellen sich
-
viele Universitäten schlechten neuen deals
in den Weg. Im Moment zahlen z.B. hunderte
-
Unis nicht mehr an den Verlag Elsevier,
weil er sich diesem Projekt DEAL
-
verweigert. Aber auch hier muss klar sein:
öffentlich finanzierte Forschung muss
-
offen zugänglich sein.
Applaus
-
Wir brauchen richtiges Open Access, aber
wir sind zumindest auf dem Weg dahin.
-
Das Weizenbaum-Institut wurde gestartet.
Ein Institut, von der Bundesregierung
-
finanziert, zur Erforschung der
gesellschaftlichen Auswirkungen von
-
Digitalisierung. Ich finde das gut und das
sage ich ganz unironisch. Es ist aber wie
-
immer leider 20 Jahre zu spät. Aber besser
zu spät als nie. Dann gab es in diesem
-
Jahr zum ersten Mal eine "Bits und Bäume",
wo sich Umweltbewegung und Netzbewegung
-
drei Tage lang unterhalten haben. Das ist
auch ein Fortschritt. Wir hatten mal vor
-
zehn Jahren eine "Sustainable
IT"-Konferenz in Berlin organisiert, da
-
hatten wir noch das Problem dass die
Umweltbewegung nicht wusste, dass sie auch
-
von der Digitalisierung betroffen ist. Die
gute Nachricht ist: Sie haben es jetzt
-
mittlerweile kapiert, zumindest Teile
davon. Und wir hatten in diesem Jahr 800
-
Menschen in Berlin bei unserer "Das ist
Netzpolitik"-Konferenzen, der fünften. Und
-
auf der ersten "Das ist
Netzpolitik"-Konferenz vor fünf Jahren
-
waren eigentlich fast alle im Publikum und
auf der Bühne so alt wie ich, männlich.
-
Und in diesem Jahr war ich zum ersten Mal
einer der ältesten. Der Großteil war
-
jünger, und viel weiblicher geworden. Das
ist eine schöne Entwicklung, zeigt auch:
-
Wir haben zum Glück keine
Nachwuchsprobleme. Und deswegen machen wir
-
auch im nächsten Jahr die nächste "Das
ist Netzpolitik"-Konferenz 13.9.2019,
-
Volksbühne in Berlin, und danach feiern
wir unseren 15. Geburtstag von netzpolitik.org.
-
Und jetzt kommen wir noch zu den letzten schönen
Sachen: Hans-Georg Maaßen ist endlich weg.
-
Jubel und Applaus
-
Wir sind noch da, und wir sind noch viel
mehr geworden.
-
Applaus
-
Und wenn ihr uns unterstützen wollt, weil
-
wir leben davon dass uns Menschen
freiwillig Spenden geben damit wir ein
-
offenes Angebot für alle schaffen können.
Eine stille SMS ist eine Möglichkeit, wenn
-
ihr jetzt sagt, naja ihr habt gerade kein Online-
Banking zur Hand. Anscheinend muss man
-
eine SMS an 81190 mit dem Text "STILLESMS"
senden. Das ist eine Möglichkeit, aber
-
noch besser sind natürlich Daueraufträge,
weil die machen uns, oder beruhigen uns
-
dann mehr. Ansonsten gilt: Niemals
aufgeben. 2019 wird ein anstrengendes
-
Jahr. Anfang des Jahres haben wir mit
eEvidence, mit der Terror-Propaganda-
-
Richtlinie und der EU Urheberrechtsreform
drei große Brocken auf EU-Ebene die
-
Schlimmes bringen könnten. Die
Bundesregierung läuft sich gerade warm und
-
wird im nächsten Jahr mehr
Überwachungsgesetze auf den Weg bringen.
-
Der Kampf um Kontrolle und Macht im Netz
verschärft sich auf allen Fronten.
-
Deswegen: Fight For Digital Rights. Viel
Spaß auf dem Kongress. Informiert euch,
-
werdet aktiv, macht mit, und kommt gut
nach Hause. Danke.
-
Applaus
-
Und wir haben hier noch Aufkleber und
-
Jutesäcke. Wer welche haben will, weil
wir waren jetzt nicht in der Lage aufgrund
-
unserer vielen Vorträge jetzt auch noch
nen Stand irgendwo zu machen, und dachten,
-
wir machen das nach unseren Talks.
-
Herald: Vielen lieben Dank, Markus.
-
Wieder das gleiche: Wenn ihr Fragen habt,
ihr findet 8 Mikrophone hier unten im
-
Saal. Bitte positioniert euch hinter dem
Mikrofon, die die jetzt schon den Raum
-
verlassen: Bitte seid ruhig, damit wir die
Fragen entgegen nehmen können.
-
Aus dem Internet haben wir die erste Frage?
Signal Angel: Ja, hier im Internet ist man
-
unsicher ob du das fact checking und
darauf aufbauend das Filtern bei Facebook
-
gut oder schlecht findest und wie du das
gegebenenfalls mit der Ablehnung der EU-
-
Uploadfilter zusammenbringt?
-
M: Gar nicht. lacht Also ich bringe das gar
-
nicht mit der EU-Uploadfilter-Sache
zusammen. Ich finde es wichtig und
-
richtig, dass es demokratische Fact-
Checking-Institutionen gibt, auch auf
-
Plattformen wie Facebook. Ich finde es
nicht okay, dass Facebook denkt, das machen
-
irgendwelche Freien oder Fremden und
kriegen dafür kein Geld. Hier sollte vor
-
allen Dingen Facebook in Ländern wie
Nigeria oder Myanmar, wo man viel Geld
-
verdienen möchte, aber keinerlei
Verantwortung dafür übernimmt,
-
dass da sich ganz viele Falschmeldungen,
Hass-Meldungen ganz schnell verbreiten und
-
das zu Pogromen und Völkermorden führt.
Also, hier müsste Facebook viel mehr machen.
-
Herald: Bitte wartet noch mit den
-
Jutesäcken, bis dieser Vortrag komplett
vorbei ist und die Q&A vorbei sind. Danke.
-
Wenn es noch weitere Fragen gibt, bitte an
die Mikrofone aufstellen.
-
Okay, Jutesäcke nur noch für
Fragen, das ist auch ein Weg.
-
Okay, wenn es keine weiteren Fragen gibt,
-
bist du sicherlich später auch noch
erreichbar für die ganzen Leute.
-
Vielen, v-- ah, es gibt noch an Mikrofon 4
eine Frage, habe ich gehört.
-
M4: Kurze Folgefrage zu dem eben: Wie
würdest du das, also wo siehst du die
-
Grenze zwischen der Verantwortung von
Facebook, und wo beginnt Zensur, quasi?
-
Weil das ist ja eine schwierige Sache wenn
Facebook eingreift, was veröffentlicht
-
werden darf und was nicht.
M: Ich glaube das Grundproblem ist, dass
-
wir im Moment in der Internet-Regulierung
nur zwei Wege haben: Entweder ist man
-
Provider, dann ist man nicht haftbar für
etwas was passiert, oder man ist ein
-
Medium, man ist haftbar für das was
passiert. Und wir haben es bei Facebook,
-
YouTube und Co. mit monopolistisch-
zentralisierten Plattformen zu tun, die
-
genau in der Mitte stehen, und die wir mit
einem dritten Weg regulieren sollten. Weil
-
Weil natürlich tragen sie eine gewisse Art
von Verantwortung, aber ich möchte jetzt
-
eigentlich nicht dass Mark Zuckerberg auch
meine Facebook Netzpolitik-Seite,
-
rechtlich dafür haftbar gemacht wird. Mit
anderen Worten: Wir brauchen da richtige
-
neue Regulierungsarten um das Problem zu
lösen, so mal kurz gesagt. Die Antwort ist
-
viel viel komplexer.
H: Vielen lieben Dank, bitte einen
-
riesigen Applaus für Markus Beckedahl.
Applaus
-
35c3 postroll music
-
Untertitel erstellt von c3subtitles.de
im Jahr 2019. Mach mit und hilf uns!