35C3 Vorspannmusik
Herald: Ich helfe gerne auf diesem Chaos
Veranstaltungen und ich rede auch sehr
sehr gerne darüber. Vor ein paar Jahren
sagte darauf mal jemand: "CCC das sind
doch die Guten.". Zu solch einer
Wahrnehmung tragen auch unsere beiden
nächsten Sprecher bei, indem sie mit
Journalismus Engagement und Talks wie dem
folgenden Aufklärung betreiben. Bitte
begrüßt mit wir die beiden "netzpolitik
dot org" Redakteure Constanze Kurz und
Ingo Dachwitz zu ihrem Talk "Micro
Targeting und Manipulation von Cambridge
Analytica zur EU-Wahl".
Audience: applause
Constanze Kurz: Herzlichen Dank. Ein etwas
pathetischer Anfang. Guten Morgen. Wir
freuen uns dass ihr schon so zahlreich
alle wach seid. Wir haben uns vorgenommen
über den Cambridge Analytica Skandal zu
reden, aber nicht im Kern, sondern ihn nur
als Anlass zu nehmen über die Frage der
politischen Manipulation des öffentlichen
Diskurses und der politischen öffentlichen
Meinung zu sprechen. Wir wollen ein
bisschen zurückblicken auf das Jahr 2018,
wo diese Debatte erstmals aus meiner Sicht
auch international geführt wurde. Und wir
wollen so ein paar Ideen die vor allen
Dingen aus Brüssel und Straßburg derzeit
kommen. Denn die anstehende EU-Wahl bringt
so ein bisschen politischen Druck auf.
Daüber wollen wir sprechen und wir haben
natürlich wie es sich gehört ein paar
Forderungen von denen wir meinen, dass sie
sinnvoll wären, um Desaster wie wir sie
quasi in der Vergangenheit den letzten
zwei Jahren erlebt haben möglichst zu
verhindern oder zumindest nicht unerkannt
zu lassen. Wir erinnern uns daran der
Skandal über den wir ja gleich sprechen,
ist ja eigentlich schon mehrere Jahre lang
oder jedenfalls liegt er einige Jahre
zurück und ich glaube sich Methoden zu
überlegen wie man in Zukunft diese Form
der hinterrücks Manipulation zumindest
erkennen kann scheint wichtig zu sein.
Ingo Dachwitz: Genau. Und wir steigen ein,
würde ich mal sagen, mit einer kleinen
Begriffsklärung. Einfach nochmal zur
Vergegenwärtigung, weil der Cambridge
Analytica Skandal jetzt ja auch schon doch
ein paar Monate her ist und irgendwie
dieses Wort Microtargeting schwirrt
manchmal so rum im politischen Diskurs.
Wir wollen es nochmal kurz klären
worum...worüber reden wir eigentlich wenn
wir über Microtargeting sprechen. Gemeint
ist die gezielte Ansprache von kleinen und
Kleinstgruppen, bis hin zur wirklich
individuellen Größe mit zugeschnittenen
Botschaften. Grundsätzlich eigentlich
politischer und kommerzieller Art. Wir
wollen uns heute auf den politischen
Bereich ein bisschen fokussieren. Die
Grundlage, die Basis für diese gezielte
Ansprache, beim sogenannten
Microtargeting, sind Datenprofile. Also
zum Microtargeting gehören immer zwei
Dinge. Es ist nicht nur das Zuschneiden
von Botschaften und das Aussenden von
politischen Botschaften sondern es ist
immer auch der davorgeschaltete
Analyseschritt. Die Definition von
Zielgruppen und Zielen und das eben auf
Basis von Datenprofilen. Also
soziodemografische Faktoren, lokale
Faktoren, also...ja Ort, Ortsdaten,
ökonomischer Status, Verhaltensdaten,
Vorlieben, Eigenschaften und eben auch auf
Basis von Psychometrischen Analysen; was
genau das ist werden wir gleich nochmal
ein bisschen erklären. Das...diese Methode
kommt ursprünglich eigentlich aus dem
kommerziellen Marketing, ist inzwischen
aber weitverbreitet und immer weiter
verbreitet auch im politischen Bereich.
Und das sagen wir mal vorweg: uns geht es
ja heute hier weder darum einzelne Akteure
jetzt irgendwie zu beleuchten, sondern
eher so ein bisschen strukturell auf die
Manipulationsmethoden zu schauen die
diesen Baukasten den es gibt. Und wir
werden eben auch nicht in erster Linie
über Wirkung sprechen. Denn empirische
Studien dazu, wie genau eigentlich
Microtargeting wirkt
sind rar. Und es gibt sehr
unterschiedliche und umstrittene Deutungen
dieses Phänomens. Auf jeden Fall können
wir schonmal festhalten, es ist sehr
Kontextabhängig wie Microtargeting wirkt
und hat sehr viel eben damit zu tun welche
Akteure es einsetzen, für welchen Zweck
sie eingesetzt werden und in welchem
Rahmen sie eingesetzt werden.
C: Wenn man es mal ganz praktisch machen
will, so geht in der Regel eine gewisse
Analyse diesen Versuchungen, Kampagnen
durchzuführen voraus. Ganz praktisch wenn
man sich mal vorstellen will: wir hatten
ja vor drei Tagen hier einen Vortrag über
die Polizeigesetze wenn man also eine
politische Partei ist. Man hat ein
Programm wo man bestimmte technische
Überwachungs- und Kontrollbefugnisse und
innere Sicherheitsprogramm an den Mann
bringen will, dann lässt man sich eine
ordentliche Wähleranalyse machen, die in
der Regel eben auch heute eine
Datenanalyse ist. Und dann wird einem
vielleicht der Analytiker sagen: "Naja, ab
einem bestimmten Alter spricht diese
Message besonders an. Oder aber auch
Alleinstehende spricht diese Message
besonders an". Und dann nimmt man genau
die Daten die Ingo sagte und versucht sehr
zielgenaue Nachrichten auszuspähen. Ich
glaube soweit ist es auch im Wesentlichen
bekannt. Ich glaube der Punkt den man hier
machen muss ist die Granularität.
Vielleicht noch in Bezug...da werden wir
nachher nochmal ein bisschen genauer
darüber sprechen...zu dem was Friederike
von Privacy International gestern
berichtet hat: über die Frage sind eben
nicht nur die Benutzer dieser Plattformen
sind, sondern auch Menschen die gar keinen
Account haben bei diesen Werbeplattformen.
Dass sie sich längst auf die Mobiltelefone
kapriziert. Dass die Form von sogenannten,
das nennt sich dann: Cross-Device
Campaigns. Also dass man versucht auf den
Zeitpunkt festzustellen, wo derjenige
gerade rezeptiv ist, weil er vielleicht
gerade in einer Tram sitzt und elf Minuten
Zeit hat für bestimmte Messages. Man sieht
einfach, dass das sich ein bisschen
zuzieht. Aber im Wesentlichen bleibt der
Kern dieser Technik eben wie beschrieben.
Im Jahr 2018 begann diese...also die Fake
News Debatte ist älter, wenn ihr euch
erinnert. Aber der Begriff ist so ein
bisschen, zumindest aus meiner Sicht, im
Laufe des Jahres ersetzt worden durch
Falschinformationen und Desinformationen.
Und wir wollen sozusagen in dem ganz
kleinen definitorischen Block den wir hier
so haben, bisschen über Desinformationen
reden. Wir halten den für sehr viel
sinnvoller als den Begriff Fake News. Er
ist auch älter und hat vor allen Dingen
ne' politische Komponente. Wie viele
vielleicht wissen, oder zumindest der Teil
der noch Russisch hatte in der Schule -
gibt ja n' paar hier -, kommt'et aus dem
Russischen "dezinformácija" und ist
eigentlich so ein Begriff aus der
politischen Propaganda der Geheimdienste.
Denn schon vor der digitalen Welt wurde
natürlich diese Form von Versuchen die
öffentliche Meinung zu beeinflussen
durchgeführt. Ist ja nicht neu und man
bedient sich nur der Möglichkeiten die
diese Werbeplattformen heute bieten. Und
ich glaube, das sollte man auch nicht
vergessen: Wir haben so ein bisschen
Debatte vor allen Dingen um Großbritannien
und dem Wahlkampf von Donald Trump. Aber
diese Vorgehensweisen sind älter, sie sind
orientiert an der Bedürfnisweckung in der
Werbeindustrie und haben sich sozusagen
eigentlich nur spezialisiert auf bestimmte
Ziele. Wir wissen darüber ne' ganze Menge.
Zum einen, weil dieser Donald-Trump-
Wahlkampf und das Referendum in
Großbritannien ja längst nicht die ersten
waren, sondern auch schon der vergangene
Obama-Wahlkampf diese Methoden benutzt
hat...aber...Sicherlich hat sich's mehr
zugespitzt und waren teilweise die
Ergebnisse so knapp, dass anders darüber
debattiert wurde. Und ausländische Player
haben in diesen Desinformationskampagnen
natürlich eine Rolle gespielt. Und das hat
es zugespitzt. Wir wollen gar nicht so
sehr darüber reden wie wirksam, also, im
Sinne des Ergebnisses diese politischen
Kampagnen sind, weil die meisten der
Untersuchungen dazu, vor allen Dingen die
auf die wir uns hier beziehen, die wir
nachher auch offenlegen sozusagen unsere
Quellen sind, sind gar nicht so...Sie
kommen noch gar nicht zu einem
Endergebnis. Viele haben vielleicht die
Papiere von den US amerikanischen Behörden
gelesen und es gab ja auch eine politische
Debatte darum aber im Ergebnis im Sinne
von gerichtsfest ja dass man jemanden oder
einer bestimmten Gruppe etwas nachweisen
kann haben wir relativ wenig. Auch die
Briten sind in Bezug auf Referendum und
die Behörden die untersuchen und auch der
parlamentarische Ausschuss der noch immer
seine Untersuchung fortsetzt, noch nicht
zu einem Endergebnis gelangt hat, werden
wir also auch 2019 noch erfahren.
I: Nochmal übersetzt zur Ausgangslage Wenn
wir über die EU-Wahl reden die im Mai 2019
stattfinden wird. Wie steht es um die
politische öffentlichkeit in welchem
Kontext finden diese Themen statt über die
wir heute sprechen. Zum einen ist da
sicherlich zu nennen dass wir feststellen
können dass die politische Öffentlichkeit
nervös gewissermaßen ist. Wir können eine
Polarisierung feststellen gerade in der
digitalen Öffentlichkeit und eben auch ein
großes Misstrauen gegenüber einerseits
etablierten Medien andererseits aber
eigentlich gegenüber allen Nachrichten die
wir im Netz finden können. Es herrscht
eine große Misstrauenskultur. Und der
zweite Punkt den wir vielleicht zur
Ausgangslage noch mal sagen können ist die
Struktur, ist ein struktureller Punkt,
denn wir können ja feststellen, deshalb
die Grafik, die digitale Öffentlichkeit.
Es gibt zwei Firmen, zwei Konzerne die
essenziell sind eigentlich für die
Herstellung digitaler Öffentlichkeit und
auch politischer Öffentlichkeit im
digitalen und die heißen Facebook und
Google mit ihren sehr unterschiedlichen
Diensten. Um es nochmal aufzuzählen
Facebook, Instagram, WhatsApp, das
Facebook Netzwerk das große Werbenetzwerk
Audience Network mit dem Facebook eben
nicht nur Web-Inhalte, Werbung auf eigenen
Seiten sondern auch auf anderen Seiten
ausspielt und natürlich Google mit
YouTube, der Google-Suche, Google News,
dem DoubleClick Network und dem Analytics
Diensten, die sozusagen enorm wichtig und
fast dominierend dafür sind wie digitale
Öffentlichkeit hergestellt wird. Und wir
können eben sehen dass diese beiden
Dienste kommen mit diesen Tools für micro
targeting an Bord, die sind integraler
Bestandteil der Art und Weise wie Facebook
und Google digitale Öffentlichkeit
herstellen und strukturieren. Einfach um
mal ein paar Tools zu nennen. Da gehören
die Insight Werkzeuge dazu, also
diejenigen die Seiten betreiben oder
Kampagnen betreiben haben eben weitgehende
Einblicke in Nutzungs und Zielgruppen
Analysen. Es gibt sehr einfache
Zielgruppenbaukästen für das Ad-Targeting
wo man sich wirklich sehr leicht
zusammenstellen kann wie sieht eigentlich,
wie soll die Zielgruppe aussehen die ich
ansprechen möchte? Welche Region? Welches
Alter? Welche Eigenschaften? Welche
Interessen? Kinderleichtes
zusammenstellen; Und dann gibt es, was
vielleicht auch einige wissen aber dann
doch irgendwie in der öffentlichen Debatte
noch nicht weit genug bekannt ist
eigentlich, gibt es die Möglichkeit sowohl
bei Facebook als auch bei Google mit der
sogenannten Custom Audience Funktion, dass
Werbetreibende Menschen mit dem Targeting
erreichen zu denen sie vorher schon mal
Kontakt hatten. Wenn ich als
Werbetreibender, sei es politischer oder
kommerzieller Art, eine Liste mit
Kontaktdaten habe, E-Mail-Adressen,
Telefonnummern oder ähnliches, dann kann
ich diese bei den Diensten hochladen bzw.
mit diesen abgleichen und dann genau die
Menschen erreichen die ich erreichen will
und nicht nur das, über diese Custom
Audience Funktion hinaus gibt es auch die
Look-alike Audience Funktionen wo diese
Dienste mir nicht nur den Zugang zu den
Menschen ermöglichen deren E-Mail-Adressen
nicht ohnehin schon in meiner Kontaktliste
habe, sondern Menschen die, was deren
Eigenschaften und Daten Profile angeht,
genau so oder sehr ähnlich sind wie die
Menschen die ich schon in meiner Datenbank
gespeichert habe. Diese Micro Targeting
Tools sind integraler Bestandteil der
Plattform und sind die Bordmittel ohne die
die digitale Öffentlichkeit, zumindest auf
diesen Plattformen, nicht funktioniert.
C: Nun haben wir ja die
Datenschutzgrundverordnung die in Kraft
getreten ist und die verschiedenen
Behörden in Europa die dafür zuständig
sind und insbesondere besonders betroffene
britische ICO hat sich nathürlich der
Frage beschäftigt ob diese Tatsache,
gerade in dem Beispiel das Ingo brachte
dass man zum Beispiel eine Adressleiste
hat, eine Mail-Liste oder so, ob die nach
der neuen Rechtslage überhaupt noch da
hochgeladen werden dürfen bei denen
Werbeplattform. Da gibt's einen gewissen
Streit. Die britische ICO steht zum
Beispiel auf dem Standpunkt, dass das so
nicht mehr ginge und hat die politischen,
sämtliche politischen Parteien in
Großbritannien aufgefordert das so nicht
fortzusetzen. Aber es wird sicherlich noch
eine Weile dauern ehe solche Fälle
letztlich vor Gericht landen.
I: in Deutschland, nur der Vollständigkeit
halber, in Deutschland gibt's die Debatte
auch. Das Bayerische Landesamt für
Datenschutzaufsicht beispielsweise
vertritt die Auffassung und versucht sie
im nächsten Jahr verstärkt durchzusetzen,
dass auch das ohne Einwilligung der
Betroffenen auf diesen Listen nicht mehr
möglich ist.
C: Nun, bei gewissen war es auch vorher
nicht erlaubt, also etwa wenn es um
Ethnien geht oder andere Formen von
direkter Diskriminierung, aber die
Antworten die im Rahmen dieses Cambridge
Analytica Skandals, auf die wir gleich
noch mal ein bisschen kommen aber auch
relativ kurz, waren ja im Prinzip
interessant weil die Konzerne mal
Antworten geben mussten und nach Angaben
von Facebook ist es ja so, dass ihr
Verhalten genau drei wichtige Kriterien
ausgewertet werden. Das sind zum einen
Likeing, also wo klickt man hin zum liken,
zum anderen auf welche Werbung klickt der
Account Besitzer selbst und welche Apps
benutzt er. Wenn man sich da mal überlegt,
falls hier Menschen dabei sind, die diese
Konzerne benutzen, da kann sich natürlich,
da kann man rückschließen auch auf die
Kriterien die eigentlich wegen das
Diskriminierungsverbot nicht nutzbar
wären, jedenfalls nicht direkt nutzbar
wären. Aber wir wollen jetzt mal noch kurz
auf den Skandal kommen um nochmal in
Erinnerung zu rufen, es war ja so ein
elendes Facebook Jahr, im Prinzip hatte
man ja im Monat zwei verschiedene Arten
von kleinen und größeren Skandalen über
die man gesprochen hat und viele haben
dabei vergessen was die Essenz dieses
Cambridge Analytica Skandals eigentlich
war, warum der international so riesige
Wellen geschlagen hat sodass sich der
Konzernchef sowohl in den US-Kongress wie
auch ins Europaparlament setzen musste und
das britische Parlament und da seine "We
get back to you"-Reden gehalten hat. Es
war ja eigentlich ein relativ einmaliger
Vorgang.
I: genau in diesem Maße haben wir
eigentlich noch nie. Es gab auch Berichte
über Cambridge Analytica bereits seit 2015
eigentlich hätten wir auch schon aber in
diesen Maßnahmen noch nie eine öffentliche
Debatte und eine öffentliche Einsicht in
diese Methoden des politischen Micro
Targeting bekommen. Der Skandal um
Cambridge Analytica ist natürlich deshalb
ein besonderer weil, a) der Facebook
Konzern betroffen ist und dessen besonders
laxer bis verantwortungsloser Umgang mit
den Daten seiner Nutzerinnen und Nutzer
und andererseits eben im Raum stand und
inzwischen ja auch bestätigt ist durch die
Untersuchungsberichte dass Daten von
Facebook-NutzernInnen ohne ihr Wissen
beispielsweise für das Targeting in Trumps
Wahlkampf eingesetzt worden sind. Um es
einmal kurz up zu wrappen. Worum ging es
bei Cambridge Analytica? Ein ehemaliger
Forscher oder damals noch Forscher an der
Cambridge University hat sich
zusammengetan mit der Firma Cambridge
Analytica bzw. SCL, der Mutterfirma von
Cambridge Analytica. Camebridge Analytica,
da gibt es ganz interessante Geschichten
zu wie der Name zustande kommt, es ist
scheinbar vor allen Dingen ein Konstrukt
gewesen damit man dem US Manipulateur und
damals Trump Berater Steve Bannon gefallen
kann. Was haben die gemacht? Sie haben
eine eigentlich ursprünglich für
wissenschaftliche Zwecke entwickelte und
auch genehmigte App eingesetzt zum Sammeln
von umfangreichen Daten: Profil
Informationen, Like Informationen von
insgesamt 320 000 Menschen die dafür
bezahlt worden sind. Kleinere Click-Worker
die für Centbeträge eben diese App genutzt
haben, eine mit Facebook verbundene App
und haben dort einerseits einen Fragebogen
ausgefüllt der dazu dient eine
Persönlichkeitsanalyse nach dem
sogenannten OCEAN-Modell, ein
psychologisches Modell das relativ weit
verbreitet und etabliert ist, zu machen,
das einem die Einordnung der
Persönlichkeit anhand von fünf
Charaktereigenschaften ermöglicht. Die
haben aber nicht nur diesen Fragebogen
ausgefüllt sondern eben einerseits einen
umfangreichen Datensatz bewusst oder
unbewusst über sich preisgegeben ihrer
Facebook-Daten und über in insgesamt
87 Millionen Freundinnen und Freunde mit
denen sie auf Facebook verbunden waren und
Cambridge Analytica beziehungsweise diese
Forschungsfirma des Cambridge Forschers
Alexander Cowan, haben dann diese
Persönlichkeitsanalysen von den 320.000
Menschen, die diesen Fragebogen ausgefüllt
haben, gemacht und dann anhand der
Facebook-Daten Ähnlichkeiten wieder nach
Datenprofilenähnlichkeiten ausgewertet,
sodass sie am Ende Persönlichkeitsprofile,
psychologische Persönlichkeitsprofile von
87 Millionen Menschen hatten, unter
anderem 30 Millionen US-AmerikanerInnen
und US-Amerikaner. Diese Daten sind an
Cambridge Analytica bzw. SCL gegangen. Die
wiederum haben sie mit ihren umfangreichen
eigenen Datenbanken, in den USA haben die
politischen Akteure deutlich mehr laxeren
Zugriff auf Datenbanken über Wahlverhalten
und registrierte Wählerinnen und Wähler,
verbunden und diese genutzt, um die Trump-
Kampagne...ja...politisch in der
politischen Kommunikation zu stärken.
Wofür haben Sie das eingesetzt? Unter
anderem haben sie, so beschreibt es der
Whistleblower Christopher Wylie, eben
ganze passende Informationsökosysteme aus
Blogs und Webseiten eigentlich aufgesetzt.
Für die Manipulation Einzelner bzw. von
Gruppen. Je nach Themengebiet haben sie
eben einzelne Blogs und Webseiten
aufgesetzt, um den Eindruck einer
neutralen Öffentlichkeit oder einer
neutralen Berichterstattung zu machen und
Leute auf bestimmte Themen dann eben
anzusprechen, sei es etwa Waffenrecht oder
ähnliches oder die Migrationsfrage.
C: Also besonders politisch umstrittene
Fragen. Also wo sich ich Leute wohl eher
polarisierend wirkt.
I: Nicht nur das. Dann ist es eingesetzt
worden für das Microtargeting im
Haustürwahlkampf der in den USA eine
besonders große Rolle spielt. Also bis zu
32 unterschiedliche Gesprächsleitfäden
haben die Haustürwahlkämpfer eben bekommen
und wussten in etwa, ok, wenn ich jetzt an
dieser Tür klingel, welchen Leitfaden muss
ich jetzt einsetzen. Und was wir online
gesehen haben, ist eine gezielte Negativ-
Kampagne gegen Hillary Clinton bei der die
Trump-Kampagne oder Pro-Trump-Campaigner
nicht versucht haben, Leute davon zu
überzeugen Donald Trump zu wählen, weil
sie wussten bestimmte Wählergruppen sind
überhaupt nicht zu erreichen für diesen
Typen, sondern es ging um strategische
Demobilisierung der Gegenseite. Also
bestimmte Wählergruppen in denen Hillary
Clinton besonders stark ist oder
klassischerweise stark gewesen wäre,
Frauen, People of Color und so weiter,
sind mit gezielten negativ Informationen,
beispielsweise auf Facebook versorgt
worden, um die Gegenkandidatin zu
diskreditieren. Beispielsweise Frauen
haben dann sehr viel Wahlwerbung bekommen
die auf den Seitensprung oder die Untreue
von Bill Clinton angespielt haben, um das
Bild von Hillary Clinton als wackere
Feministin, das die demokratische Kampagne
so ein bisschen versucht hat zu zeichnen,
eben zu schwächen.
C: Und es hat negative campaigning in den
Vereinigten Staaten sehr viel weiter
verbreitet als in den typischen
europäischen oder gar deutschen
Wahlkämpfen. Dennoch hat das natürlich ne'
andere Form von Manipulationsmacht, wenn
eben nicht an alle gerichtet über
Fernsehspots läuft, sondern eben typisiert
ausgespielt wird. Es gibt
kein...keine...Es gibt kein Endergebnis,
inwieweit tatsächlich das Wahlergebnis
davon beeinflusst war. Es gibt das klare
Ergebnis, dass es eine Beeinflussung gab,
aber nicht etwa das Ergebnis, dass es
keinen Präsidenten Donald Trump gegeben
hätte, ohne diese Form der
Onlinemanipulation. Wer sich ein bisschen
auseinandersetzt mit dem US amerikanischen
Wahlsystem, weiß natürlich, dass man an
bestimmten Lokationen, eine Manipulation
sehr viel wirksamer durchführen kann, wenn
man etwas über die Verteilung sozusagen
weiß. Und so hat natürlich auch Location
Data, also die Frage wo befinden sich
Personen die denen ich möglichst eine
demotivierende Message zukommen lassen
will, damit sie nicht zur Wahl gehen. Hat
dadurch eine größere Rolle gespielt, im
Vergleich zu dem Obama Wahlkampf davor, wo
es übrigens kaum kritisiert wurde. Wo
es auch eine sehr enge Zusammenarbeit gab.
I: Und am Ende sind es etwa 70.000 Stimmen
gewesen, die über den Wahlentscheid oder
über den Wahlausgang entschieden haben, in
drei unterschiedlichen Bundesstaaten.
Also, so knapp ist diese Wahl am Ende
ausgegangen.
C: Okay. Wir wollen ein bisschen sprechen
über dat Brexit Referendum. Zum einen,
weil das Ergebnis auch so furchtbar knapp
war, weil die Untersuchung im britischen
Parlament sehr viel öffentlicher sind und
genauer sind und, weil natürlich die
Aussagen die auch nach dem Brexit...nach
dem Cambridge Analytica Skandal dann dort
gemacht wurden nachzulesen sind. Aber
auch, weil das ICO eine britische ganze
Fragenkataloge, sowohl an die Konzerne,
wie aber auch an die politische Parteien
gestellt hat. Und eben versucht hat
auszuwerten was ist denn eigentlich...was
wird eigentlich wirklich getan. Denn man
kann, glaub ich aus meiner Sicht,
zumindest nicht immer nur diese
Werbekonzerne und Datenfirmen an die
Kandaren nehmen, sondern man muss sich
natürlich auch fragen, wie sind denn die
politischen Parteien, die Aufgabe die
Regulation dafür machen, eigentlich selber
daran beteiligt. Da ist ja ein ganz klarer
Interessenkonflikt. Denn wir reden hier
anders als, glaub ich, gerade am Anfang
des Jahres viel so diskutiert wurde. Wir
reden ja über ganz klare Machtfragen. Wenn
es tatsächlich so sein sollte, dass anders
als beim US-Wahlkampf wo, meine Güte, nach
vier Jahren wird jemand neues gewählt und
maximal acht Jahre kann Trump Präsident
sein. So ist, denk ich mal, die
Entscheidung für ein Land aus der EU
auszusteigen sicherlich für mehrere
Generationen eine weitreichende
Entscheidung. Also von dem Ergebnis, finde
ich, noch schwerwiegender und knapper.
I: Genau, was haben wir gesehen beim
Brexit Referendum oder was haben die
Untersuchungsberichte rausgefunden,unter
anderem. Also, wir gehen jetzt einfach mal
so ein paar Beispiele durch, um so einen
Blick nochmal ein bisschen zu erweitern.
Unter anderem beim Brexit Referendum ist
unter anderem zu sehen gewesen, dass die
Leave-Kampagnen, also die pro Brexit
Kampagnen, untereinander fleißig Date
ausgetauscht haben. Was natürlich nicht
der Zweckbindung des dem
Datenschutzgrundsatz der Zweckbindung
entspricht. Wenn ich als
jemand...ein...wenn ich als jemand der
sich für das Thema interessiert einer
Kampagne meine Daten zur Verfügung stelle,
beispielsweise Kontaktdaten, gehe ich
nicht davon aus, dass meine Daten an
andere Konzerne oder weitere Kampagnen,
die formell unabhängig sind und eigentlich
auch nicht zusammenarbeiten dürfen,
weitergegeben werden. Was haben Sie noch
rausgefunden? Unter anderem gibt es einen
britischen Versicherungskonzern, dessen
Geschäftsführung eng verbunden ist mit
einer der Leave-Kampagnen, oder war mit
einer der Leave-Kampagnen, die unter
anderem dann die Kundenlisten dieses
Versicherungskonzerns eingesetzt haben, um
zielgerichtet Menschen anzurufen und
mit...oder mit Wahlkampfbotschaften Pro-
Leave zu bombardieren.
C: Typisch kann man noch sagen, etwa eine
ganz klassische oder mehr ebige
Desinformationskampagne. Also die
Wahrhaftigkeit der Nachrichten die
ausgespielt wurde war fragwürdig. Da sind
aber auch immer noch Gruppen dran die
daran auswerten und auch - wir haben
vorhin schon erwähnt - die
parlamentarische Untersuchung und die
Untersuchung des ICO - sozusagen wie so
eine Bundesdatenschutzbehörde vergleichbar
kann man sagen in Großbritannien - ist
noch immer nicht abgeschlossen.
I: Genau...in Anbetracht der Zeit machen
wir die folgenden Beispiele, die diesen
Blick so mal ein bisschen erweitern, mal
eher kurz. Aber wir wollen sie doch
zumindest einmal erwähnen, damit man es
mal gehört hat. In Irland hat in diesem
Jahr ein Referendum über das, bis dato
sehr straffe und scharfe Abtreibungsrecht
stattgefunden. Mit einer hochgradig
polarisierten und in der Öffentlichkeit
umkämpften Kampagne oder Kampagnen. Und
unter anderem konnten wir feststellen,
dass in diesem politischen Kampf um
die... um das Abtreibungsreferendum nicht
nur Akteure aus Irland mitgespielt haben,
sondern es ist öffentlich geworden, dass
auch religiöse Fundamentalistengruppen aus
den USA, beispielsweise die irische
Bevölkerung, mit Microtargeting versucht
haben zu erreichen. Haben unter anderem
sogenannte Aufklärungswebseiten,
Facebookkampagnen und so weiter
aufgesetzt, um vermeintlich Unentschiedene
zu erreichen und mit vermeintlichen Fakten
eben aufzuklären. Facebook hat, als es
öffentlich wurde, dann irgendwann auch
unterbunden, dass Akteure (oder zumindest
versucht zu unterbinden), dass Akteure aus
dem Ausland hier mitmischen dürfen.
C: Also...Typisch ist eben, weil wir daran
nur festhalten wollen, ist, dass man mit
relativ kleinen Summen, also Summen, die
für finanzstarke Länder einfach überhaupt
keine Rolle spielen, in hohem Maße
Einfluss nehmen kann auf 'ne ausländische
Referendum oder eine Wahl.
Das ist natürlich auch nicht neu.
Aber, ich glaube,
auf diese heimliche
Hinterrücks-Art-und-Weise
und möglicherweise unbemerkt von
denjenigen, die betroffen sind, oder erst
später bemerkt, ist natürlich insofern ein
neues Phänomen. Aber et wird sozusagen
noch schlimmer, wenn man einen Blick nach
Afrika wirft.
I: Genau... In Kenia hat 2017 ein
ebenfalls hochgradig polarisierter
Wahlkampf... Präsidentschaftswahlkampf
zwischen, im Wesentlichen zwei Parteien
oder Parteiengruppierungen, stattgefunden.
Und was wir sehen können, ist, dass das in
Kenia, wie in vielen afrikanischen
Staaten, die Datenschutzgesetze natürlich
deutlich schwächer sind und die Parteien
über einen erheblichen... erhebliches Maß
an eigenen Datenbanken verfügen,
gleichzeitig Zugriff auf Wahlregister
haben, mit Ausweisnummern, Telefonnummern,
Namen und biometrischen Angaben, von den
zum Wahlen Registrierten. Und auch dort
haben wir ein gezieltes, groß angelegtes
Negative Campaigning gesehen. Unter
anderem auf oder durch die Kampagne des
damaligen Präsidenten und auch heute oder
dann wiedergewählten Präsidenten Uhuru
Kenyatta. Unter Nutzung beispielsweise der
auch in Deutschland und den USA nicht ganz
unbekannten Negative-Campaigning-
Organisationen Harris Media aus den USA.
Und was wir da gesehen haben in Kenia ist,
dass eine Entwicklung, die wahrscheinlich
so ein bisschen vorwegnimmt, was wir auch
in europäischen Wahlkämpfen erleben
werden, nämlich dass sich dort sehr viel
verlagert hat in Messenger-Gruppen und
dass dort sozusagen auch das
zielgerichtete Werben, vor allen Dingen
dann in zugeschnittenen Messenger-Gruppen,
WhatsApp-Gruppen,
stattgefunden hat, in
denen dann eben auch gezielt,
ja, mobilisiert wurde
und Menschen dann einfach, weil ihre
Telefonnummern bei den wahlwerbenden
Akteuren bekannt waren, hinzugefügt wurden
ohne gefragt zu werden, und dann dort
bombardiert wurden mit Nachrichten.
C: Ich denke, wir können; Wir wissen ja
bereits, dass 2019 so
ein bisschen über 20 Wahlen
in Europa stattfinden und die EU-Wahl...
Ist glaube ich interessant, auf die neuen
Kanäle zu blicken. Betrifft dann
natürlich nicht nur WhatsApp, sondern da
muss man glaube ich auch Instagram im Auge
behalten. Man kann eigentlich so dieses
Follow-the-Money-Modell ganz gut fahren.
Man kann also gucken, wo gehen die oder wo
steigen die Zahlen für Advertisement und
dann kann man immer ungefähr sehen, wo die
nächsten technisch interessanten für diese
Manipulationszwecke ebenfalls benutzten
Plattformen sind. Das hat sich so ein
bisschen kapriziert auf Facebook. Es liegt
aber auch daran, dass natürlich die
Nutzung in den verschiedenen Kontinenten
sehr unterschiedlich ist.
In Afrika ist halt
Facebook enorm verbreitet,
aber auch die
Twitter-Nutzung relativ stark. Wir könnten
jetzt noch andere Beispiele nennen, die
wir jetzt mal weglassen. In Frankreich ist
es sehr intensiv debattiert worden. Wir
haben südamerikanische Fälle.
I: Brasilien.
C: Wir haben Fälle wie in Kenia, wo,
also internationale Fälle, wo sozusagen so
polarisiert war, dass es zu
Gewaltausbrüchen geführt hat, was wir
jetzt so in Europa noch nicht gesehen
haben. Wir wollen uns aber jetzt nochmal
auf das eine Beispiel in Österreich
nochmal stürzen,
weil auch so ein typischer Fall ist,
wo man, glaube ich,
so Muster erkennen kann.
I: Genau. Das fühlt sich ja immer so weit
weg an, oder kann man sich für manche
jedenfalls. Im österreichischen Wahlkampf,
Parlamentswahl und
Präsidentschaftswahlkampf, haben wir unter
anderem erleben können,
wie ein Berater und Wahlkampfmanager
der Sozialdemokratischen Partei,
Tal Silberstein,
so ganz tief in
den Methodenkoffer der Desinformation oder
eigentlich der digitalen Manipulation
gegriffen hat. Hat nämlich Facebook-
Seiten, gefakte Facebook-Seiten aufgesetzt
u.a. die Seite "Wir für Sebastian Kurz",
also der SPÖ Wahlkampfmanager oder
Wahlkämpfer setzt eine Seite auf "Wir für
Sebastian Kurz", die so den Anschein
vermitteln sollte, dass dahinter eine ÖVP
Kampagne, die Partei von Sebastian Kurz,
steht. Einerseits um die Kampagne in ...
Okay Constanze weist auf die Zeit hin ...
u.a. auch um Daten zu sammeln sozusagen um
eine Facebook-Seite mit, ich glaube, 15
bis 20 Tausend Followern am Ende gewesen,
u.a. um wiederum Informationen über ÖVP
Sympathisanten auf Facebook zu bekommen,
die dann mit gezielter Negativkampagne
erreicht werden können. Die andere Seite
"Die Wahrheit über Sebastian Kurz" ging
dann in die andere Richtung. Da wurde dann
versucht einen FPÖ-Schlag zu geben.
C: Also auch hier ist natürlich heftig
debattiert worden, kann man sich
vorstellen, die Opposition ... auch im
Parlament, auch hier ist es nicht wirklich
im Ergebnis klar, ob diese Form der
versuchten Kampagnen im Ergebnis wirklich
das Ziel erreicht haben.
I: Genau. Aber ohnehin muss man
tatsächlich sagen, dass in Österreich der
Einsatz von Microtargeting und auch
verdeckten Microtargeting deutlich stärker
gewesen ist. Das Tal-Silberstein Beispiel
ist jetzt natürlich ein besonders krasses
aber eben auch natürlich die anderen
politischen Akteure haben das eingesetzt.
Deutschland, das können wir ganz kurz
machen tatsächlich, wir haben...
C: Wo die Angst war groß, muss man sagen.
Einfach weil die Debatte ja schon
losgegangen war und dann gab es noch, wenn
ihr euch erinnert, den Bundestags-Hack,
also die Angst war relativ groß, dass man
eine Form von Manipulation von Innen oder
von Außen nicht so richtig beherrschen
könnte, dass die Leaks, die ja auch im US-
Wahlkampf eine große Rolle gespielt haben,
der E-Mails möglicherweise durch den
Bundestags-Hack auch noch eine Rolle
spielen, also es gab eine große Angst und
Unsicherheit im Bundestag vor der Wahl.
I: Man muss sagen, dass die Parteien außer
einer relativ Wischiwaschi Selbsterklärung
C: Genau
I: Oder Selbstverpflichtung nicht viel
dazu beigetragen haben diese Angst
beiseite zu schieben zumindest nicht,
indem sie aufgeklärt haben.
Wir haben versucht bei netzpolitik.org in
einer längeren Recherche so ein bisschen
zu zeigen, welche Methoden setzen
eigentlich die Parteien ein, auch wie viel
Geld setzen sie ein für Online-Campaigning
beispielsweise und für Targeted
Advertising. Man muss es sagen wir sind da
eigentlich gegen Wände gerannt.
C: Ingo hat die einfach mal gefragt. Die
sind ja nicht nur diejenigen die die
Regulierung entscheiden, sondern auch
selber dafür Gelder einsetzen. Also hat
sich Ingo hingesetzt und hat die alle mal
angeschrieben hat er gesagt: "Ey Freunde
sach mal, leg die mal offen" nicht nur wie
viel, sondern auch wem und mit welchem
Ziel ihr versucht diese Kampagnen zu
fahren, die sich Desinformation nennen
will sollen erst mal Wahlwerbung. Die
Ergebnisse sind relativ eindeutig nämlich
fast Null. I: Genau fast null. Man muss
eben sagen, die Grünen sind diejenigen die
tatsächlich Aufklärung oder die am
offensten waren in der Kommunikation. Die
Linken haben auch relativ viel Einblick
gegeben und haben relativ offen darüber
gesprochen. Aber FDP, AfD, CDU und SPD
waren extrem verschlossen darüber und
haben eben wenig dazu beigetragen
eigentlich für Aufklärung zu sorgen an der
Stelle. Wir wollen es noch mal runter
dampfen weil wir eben gesagt haben es geht
ja eigentlich nicht um die Beispiele und
einzelnen Akteure sondern es geht um die
Methoden mit welchen Methoden der
Manipulation müssen wir denn rechnen.
Worauf müssen wir achten oder worauf
sollte man es einstellen, wenn wir an die
Europawahl 2019 denken. Haben Sie einfach
nochmal so ein bisschen versucht
aufzuschreiben das Verführen also die auf
individuelle Persönlichkeitsprofile
zugeschnittenen Botschaften.
C: Wir wollen damit nicht unbedingt sagen,
dass irgendwie der Einzelne weder jetzt
plötzlich die Aufgabe kriegt. So sind doch
unsere Forderungen die wir bringen wollen
nicht gestaltet aber auch diejenigen, die
darüber berichten oder die betroffen sind
müssen sich natürlich irgendwie mit den
Methoden der versuchten Manipulation
auseinandersetzen. Also soll ich jetzt
nicht sagen der Einzelne soll darauf
achten, sondern wir sind schon dafür dass
wir eine politische Lösung dafür brauchen
und auch eine gezielte
Informationssendung. I: Genau diese Liste
kann helfen. Wir gehen jetzt nicht nur im
Einzelnen durch. Lasst uns mal kurz gucken
auf die Maßnahmen, die in der EU bereits
ergriffen wurden weil natürlich das Thema
in der politischen Debatte auch ankommen
ist. C: Zum einen gibt es seit Dezember
gerade erst einen sogenannten Aktionsplan.
Der ist natürlich ein bisschen größer
geraten als nur Gegenmaßnahmen für
Desinformationskampagnen zu finden, aber
der Aktionsplan ist von der EU-Kommission
der hat natürlich erst einmal überhaupt
Maßnahmen ausgerollt und vorgeschlagen.
Dabei blieb es dann. Denn es ist ja nicht
so dass eine EU Regulierung jetzt eine
Richtlinie oder Verordnung oder so wäre
schnell durchzudrücken sei man hat quasi
so eine Art Vorschläge unterbreitet und
fordert die einzelnen Länder auf die
umzusetzen, die sind aber größer als nur
Desinformationen. Da geht es natürlich
auch um IT-Sicherheit gar keine Frage weil
man aus den vergangenen
Desinformationskampagne natürlich auch
schließen kann, dass strategische Hacks
benutzt werden. Da geht es um die
Schaffung von Stellen. Das heißt man
versucht Informationen zu sammeln aber
auch ganz gezielte Gegenpropaganda zu
bezahlen das ist gerade aktuell den Briten
auf die Nase gefallen. Denn in
Großbritannien wird ganz intensiv darüber
gestritten, dass einer von der britischen
Regierung bezahlte Klitsche gegen den
Oppositionschef eine Kampagne fährt man
hat eigentlich Gegenpropaganda machen
wollen und plötzlich hat man Jeremy Corbyn
den Oppositionsführer quasi sein Ziel hat
ihn als Putin-Versteher diskreditiert. Wo
es große Aufregung im britischen Parlament
gab es dieses Vorhaben jetzt bauen wir
dieselben Strukturen zur Gegenpropaganda
ist in mehreren Ländern schon gescheitert
und im britischen Fall kurz ansprach hat,
kann man auch gerne nachlesen, dass die
Institute of Statecraft gab es auch eine
parlamentarische Debatte darüber im
Dezember hat schon Auswirkungen auf andere
Länder denn die haben auch gleich noch
Spanien getargetet wo ihnen von der
Regierung benannte Geheimdienstchef nicht
gepasst hat da haben sie dieselben
Methoden für ein auslãndische Land
angewandt. Wir sehen Der Aktionsplan ist
erst mal schön gemeint besteht auch aus
Methoden die ausgesprochen fragwürdig sind
und ist natürlich in keiner Weise bindend
sondern ist erst mal ein Vorschlag und
wird viele politischen Parteien überhaupt
nicht interessieren weil sie diese
Maßnahmen selber nämlich benutzen wollen.
I: Was man mal positiv an der Stelle
zumindest bei diesem Aktionsplan sagen
muss, natürlich die EU-Kommission ja die
EU hat überhaupt wenige Befugnisse in dem
Bereich. Aber ein erster Schritt natürlich
viel zu spät ist aber überhaupt erst
einmal ein Monitoring der sozusagen dieser
Manipulation Mehoden und des Themas
Desinformation zu machen. Bei einem ersten
Treffen im Jahr im Frühjahr 2018 musste
die EU feststellen die Wahlbehörden
beispielsweise in den Ländern sind
vollkommen blank bei diesem Thema, das
findet einfach nicht statt.
C: Das wurde teilweise nicht beantwortet,
den Katalog, die haben manchmal gar nicht
antwortet auf die Fragen. Nicht nur, dass
sie nichts hatten, sie haben auch keine
Fragen beantwortet oder Maßnahmen
angekündigt. Dazu sagen wir wollen mal auf
die Forderungen. I: Wir nennen noch einmal
der Vollständigkeit halber dass das EU-
Parlament auch Forderungen allerdings
unverbindliche zu dem Themenkomplex
verabschiedet hat die finden sich in
unserer Leseliste aber auf die gehen wir
nicht mehr ein sondern wir kommen jetzt
mal auf unsere Forderungen zum Schluss.
Was... C: Die erste ...es müssen wir
angesichts der doch ziemlich
polarisierender Debatte um die
Datenschutzgrundverordnung nochmal
feststellen. Diese Form von in Europa
harmonisiert im Datenschutz ist ein
Manipulation Schutz. Denn wenn die
einzelnen Länder in Europa feststellen,
dass die Art wie politische Campaigning
mit den verschiedenen Daten Arten über die
Werbeplattform durchgeführt wird jetzt
nicht mehr rechtmäßig ist, das ist ein
strategischer Vorteil in Europa, wo wir so
viele Wahlen haben um zumindest eine
Möglichkeit zu haben aufzudecken wenn
jemand hintenrum manipulieren will mit
einer politischen Kampagne. Und so müssen
wir den Datenschutz auch anders sehen als
früher. Ist Manipulation Schutz und wird
es in Zukunft sogar noch stärker werden
denn unsere Profile dazu Tracking werden
wir bei Frederike gestern gelernt. Er
nimmt ja in einem Maße zu auch dann wenn
wir keine Facebook-Opfer sind uns da keine
Kunasek gelegt haben. Und wer von euch
Google frei ist sind wahrscheinlich nicht
so viele in diesem Raum. Da hat sich das
glaube ich verschoben in der Wahrnehmung
und da sollten wir auch darauf bestehen,
dass wir diesen Datenschutz so sehen. Aber
wir haben natürlich noch ein paar
konkretere Forderungen die wir ganz gerne
in Europa hätten I: Die wir in den letzten
zwei Minuten bekommen noch durchgehen. Ein
großer Block ist natürlich das Thema
Transparenz, weil wir feststellen können,
dass Wahlkampf hat natürlich immer oder
politische Kommunikation hat natürlich
immer etwas mit Manipulation oder
zumindest was mit Überzeugung zu tun. Aber
was wir sehen können ist, dass die
digitalen Plattformen mit ihren Tools es
ermöglichen, dass eine ganz krasse
Asymmetrie entsteht zwischen denjenigen
die politische Kommunikation betreiben und
manipulieren wollen und denjenigen die
manipuliert werden. Deshalb ist es
unbedingt notwendig für Transparenz zu
sorgen, also beispielsweise dass
politische Werbung entsprechend
gekennzeichnet ist da wo sie ausgespielt
wird, für alle immer nachvollziehbar. Mit
einer Kennzeichnung oder zumindest der
Möglichkeit sich das anzuschauen. Wer ist
eigentlich die Person die mich hier
erreicht. Wer finanziert diese Anzeige.
C: Und dazu würde natürlich auch eine
Information-Sammlung zählen nicht nur
sondern umfassend Transparenz-Register
sondern auch welche Anbieter bieten
Dienstleistungen auf der Anbieterseite an,
welche sind das und welche einzelne
Dienste werden benutzt mit welchen
Geldern. Es gibt in manchen Ländern, die
Briten haben wir etwa erhoben. Das ist
ganz interessant weil man auch über die
Daten von 2016/17/18 sieht wohin die
Gelder verschoben werden und ob zum
Beispiel unter Crossdevicing fällt und
bei welchem Konzern es landet mit welchen
Summen wir reden etwa zuletzt von 3,2
Millionen Pfund also gar nicht so wenig.
Diese Daten gibt es in Deutschland nicht.
Wir wissen nicht die Anbieterseite und wir
wissen in Deutschland zum Beispiel nicht
wie viel wofür ausgegeben wird. Sollten
wir ändern würde aber bedeuten, dass man
in Deutschland insbesonders Parteiengesetz
ändern muss. Denn da stehen die
wesentlichen Regelungen drin für die
Transparenz bei der Parteienfinanzierung.
Die sind ja okay in Deutschland aber
beziehen sich ja nicht so sehr darauf
wohin diese ganze Gleichheit zwischen
Kandidaten, sodass man ihnen wie man es im
Fernsehen hat, gleiche Möglichkeiten
einräumt die sind in Deutschland im
Rundfunkstaatsvertrag geregelt. Der
umfasst aber diese Werbekonzerne gar
nicht. Diese Gleichheit der Kandidaten,
dass sie also in gleicher Weise an die
Wähler herankommen ist so nicht gegeben
bei diesen Werbeplattformen. Genau das
Recht ist das eine. Das andere ist aber
auch dass wir als Wählerinnen und Wähler
die Parteien in die Pflicht nehmen
sollten. Also es kann eigentlich nicht
sein dass sie icht darüber Auskunft geben
wie viel Geld sie und woher das Geld kommt
aber wie viel Geld sie ausgeben für
bestimmte Maßnahmen und nach welchen
Kriterien sie welche Gruppen eigentlich
ansprechen mit welchen Botschaften. Dass
man denen da immer hinterherlaufen muss,
dass man kaum dazu kommt, kann nicht sein
sondern sie müssen proaktiv dazu gebracht
werden Transparenz und Fakten
voranzubringen. Genau, zu psychometrisches
Profiling im politischen Kontext ohnehin
schwierig.
C: Diese Art von Verhaltensauswertung;
Ich hätte nichts dagegen
wenn das vor allen Dingen
politische Campaigning vor allem für
bestimmte besonders anfällige
Bevölkerungsgruppen die besonders
schutzbedürftig sind einfach nicht mehr
erlaubt wird.
I: Wir machen den letzten Punkt insgesamt
das Ökosystem, dieses Informationökosystem
indem die politische Öffentlichkeit heute
stattfindet auf den digitalen Plattformen
wie Facebook und Google bilden inzwischen
eine Form der Manipulations-Industrie die
nicht durch kleinere Maßnahmen. Sicherlich
ist es wichtig in kleineren Maßnahmen
Transparenz und Verantwortlichkeit
herzustellen, aber das Grundproblem ist
diese Manipulations-Industrie die diese
Tools von vornherein mitliefert und die
ein hohes Missbrauchspotenzial haben die
in die Verantwortung genommen werden muss
und eigentlich überwunden werden muss.
klatschen
C: Im übrigen
Applaus
Und jetzt der letzte Satz
Applaus
C: Weil wir jetzt an Ende hetzen müssen,
wir werden noch einmal darüber
schreiben und über die Forderung die wir
jetzt nicht so genau beschrieben haben
schriftlich uns bei
netzpolitik.org äußern.
Im übrigen sind wir der Meinung, dass
Facebook und Google zerschlagen werden
müssen. Vielen Dank!
klatschen
35C3 Outro
Untertitel erstellt von c3subtitles.de
im Jahr 2020. Mach mit und hilf uns!