35C3 - Microtargeting und Manipulation

35C3 Vorspannmusik

Herald: Ich helfe gerne auf diesem Chaos
Veranstaltungen und ich rede auch sehr

sehr gerne darüber. Vor ein paar Jahren
sagte darauf mal jemand: "CCC das sind

doch die Guten.". Zu solch einer
Wahrnehmung tragen auch unsere beiden

nächsten Sprecher bei, indem sie mit
Journalismus Engagement und Talks wie dem

folgenden Aufklärung betreiben. Bitte
begrüßt mit wir die beiden "netzpolitik

dot org" Redakteure Constanze Kurz und
Ingo Dachwitz zu ihrem Talk "Micro

Targeting und Manipulation von Cambridge
Analytica zur EU-Wahl".

Audience: applause

Constanze Kurz: Herzlichen Dank. Ein etwas
pathetischer Anfang. Guten Morgen. Wir

freuen uns dass ihr schon so zahlreich
alle wach seid. Wir haben uns vorgenommen

über den Cambridge Analytica Skandal zu
reden, aber nicht im Kern, sondern ihn nur

als Anlass zu nehmen über die Frage der
politischen Manipulation des öffentlichen

Diskurses und der politischen öffentlichen
Meinung zu sprechen. Wir wollen ein

bisschen zurückblicken auf das Jahr 2018,
wo diese Debatte erstmals aus meiner Sicht

auch international geführt wurde. Und wir
wollen so ein paar Ideen die vor allen

Dingen aus Brüssel und Straßburg derzeit
kommen. Denn die anstehende EU-Wahl bringt

so ein bisschen politischen Druck auf.
Daüber wollen wir sprechen und wir haben

natürlich wie es sich gehört ein paar
Forderungen von denen wir meinen, dass sie

sinnvoll wären, um Desaster wie wir sie
quasi in der Vergangenheit den letzten

zwei Jahren erlebt haben möglichst zu
verhindern oder zumindest nicht unerkannt

zu lassen. Wir erinnern uns daran der
Skandal über den wir ja gleich sprechen,

ist ja eigentlich schon mehrere Jahre lang
oder jedenfalls liegt er einige Jahre

zurück und ich glaube sich Methoden zu
überlegen wie man in Zukunft diese Form

der hinterrücks Manipulation zumindest
erkennen kann scheint wichtig zu sein.

Ingo Dachwitz: Genau. Und wir steigen ein,
würde ich mal sagen, mit einer kleinen

Begriffsklärung. Einfach nochmal zur
Vergegenwärtigung, weil der Cambridge

Analytica Skandal jetzt ja auch schon doch
ein paar Monate her ist und irgendwie

dieses Wort Microtargeting schwirrt
manchmal so rum im politischen Diskurs.

Wir wollen es nochmal kurz klären
worum...worüber reden wir eigentlich wenn

wir über Microtargeting sprechen. Gemeint
ist die gezielte Ansprache von kleinen und

Kleinstgruppen, bis hin zur wirklich
individuellen Größe mit zugeschnittenen

Botschaften. Grundsätzlich eigentlich
politischer und kommerzieller Art. Wir

wollen uns heute auf den politischen
Bereich ein bisschen fokussieren. Die

Grundlage, die Basis für diese gezielte
Ansprache, beim sogenannten

Microtargeting, sind Datenprofile. Also
zum Microtargeting gehören immer zwei

Dinge. Es ist nicht nur das Zuschneiden
von Botschaften und das Aussenden von

politischen Botschaften sondern es ist
immer auch der davorgeschaltete

Analyseschritt. Die Definition von
Zielgruppen und Zielen und das eben auf

Basis von Datenprofilen. Also
soziodemografische Faktoren, lokale

Faktoren, also...ja Ort, Ortsdaten,
ökonomischer Status, Verhaltensdaten,

Vorlieben, Eigenschaften und eben auch auf
Basis von Psychometrischen Analysen; was

genau das ist werden wir gleich nochmal
ein bisschen erklären. Das...diese Methode

kommt ursprünglich eigentlich aus dem
kommerziellen Marketing, ist inzwischen

aber weitverbreitet und immer weiter
verbreitet auch im politischen Bereich.

Und das sagen wir mal vorweg: uns geht es
ja heute hier weder darum einzelne Akteure

jetzt irgendwie zu beleuchten, sondern
eher so ein bisschen strukturell auf die

Manipulationsmethoden zu schauen die
diesen Baukasten den es gibt. Und wir

werden eben auch nicht in erster Linie
über Wirkung sprechen. Denn empirische

Studien dazu, wie genau eigentlich
Microtargeting wirkt

sind rar. Und es gibt sehr
unterschiedliche und umstrittene Deutungen

dieses Phänomens. Auf jeden Fall können
wir schonmal festhalten, es ist sehr

Kontextabhängig wie Microtargeting wirkt
und hat sehr viel eben damit zu tun welche

Akteure es einsetzen, für welchen Zweck
sie eingesetzt werden und in welchem

Rahmen sie eingesetzt werden.
C: Wenn man es mal ganz praktisch machen

will, so geht in der Regel eine gewisse
Analyse diesen Versuchungen, Kampagnen

durchzuführen voraus. Ganz praktisch wenn
man sich mal vorstellen will: wir hatten

ja vor drei Tagen hier einen Vortrag über
die Polizeigesetze wenn man also eine

politische Partei ist. Man hat ein
Programm wo man bestimmte technische

Überwachungs- und Kontrollbefugnisse und
innere Sicherheitsprogramm an den Mann

bringen will, dann lässt man sich eine
ordentliche Wähleranalyse machen, die in

der Regel eben auch heute eine
Datenanalyse ist. Und dann wird einem

vielleicht der Analytiker sagen: "Naja, ab
einem bestimmten Alter spricht diese

Message besonders an. Oder aber auch
Alleinstehende spricht diese Message

besonders an". Und dann nimmt man genau
die Daten die Ingo sagte und versucht sehr

zielgenaue Nachrichten auszuspähen. Ich
glaube soweit ist es auch im Wesentlichen

bekannt. Ich glaube der Punkt den man hier
machen muss ist die Granularität.

Vielleicht noch in Bezug...da werden wir
nachher nochmal ein bisschen genauer

darüber sprechen...zu dem was Friederike
von Privacy International gestern

berichtet hat: über die Frage sind eben
nicht nur die Benutzer dieser Plattformen

sind, sondern auch Menschen die gar keinen
Account haben bei diesen Werbeplattformen.

Dass sie sich längst auf die Mobiltelefone
kapriziert. Dass die Form von sogenannten,

das nennt sich dann: Cross-Device
Campaigns. Also dass man versucht auf den

Zeitpunkt festzustellen, wo derjenige
gerade rezeptiv ist, weil er vielleicht

gerade in einer Tram sitzt und elf Minuten
Zeit hat für bestimmte Messages. Man sieht

einfach, dass das sich ein bisschen
zuzieht. Aber im Wesentlichen bleibt der

Kern dieser Technik eben wie beschrieben.
Im Jahr 2018 begann diese...also die Fake

News Debatte ist älter, wenn ihr euch
erinnert. Aber der Begriff ist so ein

bisschen, zumindest aus meiner Sicht, im
Laufe des Jahres ersetzt worden durch

Falschinformationen und Desinformationen.
Und wir wollen sozusagen in dem ganz

kleinen definitorischen Block den wir hier
so haben, bisschen über Desinformationen

reden. Wir halten den für sehr viel
sinnvoller als den Begriff Fake News. Er

ist auch älter und hat vor allen Dingen
ne' politische Komponente. Wie viele

vielleicht wissen, oder zumindest der Teil
der noch Russisch hatte in der Schule -

gibt ja n' paar hier -, kommt'et aus dem
Russischen "dezinformácija" und ist

eigentlich so ein Begriff aus der
politischen Propaganda der Geheimdienste.

Denn schon vor der digitalen Welt wurde
natürlich diese Form von Versuchen die

öffentliche Meinung zu beeinflussen
durchgeführt. Ist ja nicht neu und man

bedient sich nur der Möglichkeiten die
diese Werbeplattformen heute bieten. Und

ich glaube, das sollte man auch nicht
vergessen: Wir haben so ein bisschen

Debatte vor allen Dingen um Großbritannien
und dem Wahlkampf von Donald Trump. Aber

diese Vorgehensweisen sind älter, sie sind
orientiert an der Bedürfnisweckung in der

Werbeindustrie und haben sich sozusagen
eigentlich nur spezialisiert auf bestimmte

Ziele. Wir wissen darüber ne' ganze Menge.
Zum einen, weil dieser Donald-Trump-

Wahlkampf und das Referendum in
Großbritannien ja längst nicht die ersten

waren, sondern auch schon der vergangene
Obama-Wahlkampf diese Methoden benutzt

hat...aber...Sicherlich hat sich's mehr
zugespitzt und waren teilweise die

Ergebnisse so knapp, dass anders darüber
debattiert wurde. Und ausländische Player

haben in diesen Desinformationskampagnen
natürlich eine Rolle gespielt. Und das hat

es zugespitzt. Wir wollen gar nicht so
sehr darüber reden wie wirksam, also, im

Sinne des Ergebnisses diese politischen
Kampagnen sind, weil die meisten der

Untersuchungen dazu, vor allen Dingen die
auf die wir uns hier beziehen, die wir

nachher auch offenlegen sozusagen unsere
Quellen sind, sind gar nicht so...Sie

kommen noch gar nicht zu einem
Endergebnis. Viele haben vielleicht die

Papiere von den US amerikanischen Behörden
gelesen und es gab ja auch eine politische

Debatte darum aber im Ergebnis im Sinne
von gerichtsfest ja dass man jemanden oder

einer bestimmten Gruppe etwas nachweisen
kann haben wir relativ wenig. Auch die

Briten sind in Bezug auf Referendum und
die Behörden die untersuchen und auch der

parlamentarische Ausschuss der noch immer
seine Untersuchung fortsetzt, noch nicht

zu einem Endergebnis gelangt hat, werden
wir also auch 2019 noch erfahren.

I: Nochmal übersetzt zur Ausgangslage Wenn
wir über die EU-Wahl reden die im Mai 2019

stattfinden wird. Wie steht es um die
politische öffentlichkeit in welchem

Kontext finden diese Themen statt über die
wir heute sprechen. Zum einen ist da

sicherlich zu nennen dass wir feststellen
können dass die politische Öffentlichkeit

nervös gewissermaßen ist. Wir können eine
Polarisierung feststellen gerade in der

digitalen Öffentlichkeit und eben auch ein
großes Misstrauen gegenüber einerseits

etablierten Medien andererseits aber
eigentlich gegenüber allen Nachrichten die

wir im Netz finden können. Es herrscht
eine große Misstrauenskultur. Und der

zweite Punkt den wir vielleicht zur
Ausgangslage noch mal sagen können ist die

Struktur, ist ein struktureller Punkt,
denn wir können ja feststellen, deshalb

die Grafik, die digitale Öffentlichkeit.
Es gibt zwei Firmen, zwei Konzerne die

essenziell sind eigentlich für die
Herstellung digitaler Öffentlichkeit und

auch politischer Öffentlichkeit im
digitalen und die heißen Facebook und

Google mit ihren sehr unterschiedlichen
Diensten. Um es nochmal aufzuzählen

Facebook, Instagram, WhatsApp, das
Facebook Netzwerk das große Werbenetzwerk

Audience Network mit dem Facebook eben
nicht nur Web-Inhalte, Werbung auf eigenen

Seiten sondern auch auf anderen Seiten
ausspielt und natürlich Google mit

YouTube, der Google-Suche, Google News,
dem DoubleClick Network und dem Analytics

Diensten, die sozusagen enorm wichtig und
fast dominierend dafür sind wie digitale

Öffentlichkeit hergestellt wird. Und wir
können eben sehen dass diese beiden

Dienste kommen mit diesen Tools für micro
targeting an Bord, die sind integraler

Bestandteil der Art und Weise wie Facebook
und Google digitale Öffentlichkeit

herstellen und strukturieren. Einfach um
mal ein paar Tools zu nennen. Da gehören

die Insight Werkzeuge dazu, also
diejenigen die Seiten betreiben oder

Kampagnen betreiben haben eben weitgehende
Einblicke in Nutzungs und Zielgruppen

Analysen. Es gibt sehr einfache
Zielgruppenbaukästen für das Ad-Targeting

wo man sich wirklich sehr leicht
zusammenstellen kann wie sieht eigentlich,

wie soll die Zielgruppe aussehen die ich
ansprechen möchte? Welche Region? Welches

Alter? Welche Eigenschaften? Welche
Interessen? Kinderleichtes

zusammenstellen; Und dann gibt es, was
vielleicht auch einige wissen aber dann

doch irgendwie in der öffentlichen Debatte
noch nicht weit genug bekannt ist

eigentlich, gibt es die Möglichkeit sowohl
bei Facebook als auch bei Google mit der

sogenannten Custom Audience Funktion, dass
Werbetreibende Menschen mit dem Targeting

erreichen zu denen sie vorher schon mal
Kontakt hatten. Wenn ich als

Werbetreibender, sei es politischer oder
kommerzieller Art, eine Liste mit

Kontaktdaten habe, E-Mail-Adressen,
Telefonnummern oder ähnliches, dann kann

ich diese bei den Diensten hochladen bzw.
mit diesen abgleichen und dann genau die

Menschen erreichen die ich erreichen will
und nicht nur das, über diese Custom

Audience Funktion hinaus gibt es auch die
Look-alike Audience Funktionen wo diese

Dienste mir nicht nur den Zugang zu den
Menschen ermöglichen deren E-Mail-Adressen

nicht ohnehin schon in meiner Kontaktliste
habe, sondern Menschen die, was deren

Eigenschaften und Daten Profile angeht,
genau so oder sehr ähnlich sind wie die

Menschen die ich schon in meiner Datenbank
gespeichert habe. Diese Micro Targeting

Tools sind integraler Bestandteil der
Plattform und sind die Bordmittel ohne die

die digitale Öffentlichkeit, zumindest auf
diesen Plattformen, nicht funktioniert.

C: Nun haben wir ja die
Datenschutzgrundverordnung die in Kraft

getreten ist und die verschiedenen
Behörden in Europa die dafür zuständig

sind und insbesondere besonders betroffene
britische ICO hat sich nathürlich der

Frage beschäftigt ob diese Tatsache,
gerade in dem Beispiel das Ingo brachte

dass man zum Beispiel eine Adressleiste
hat, eine Mail-Liste oder so, ob die nach

der neuen Rechtslage überhaupt noch da
hochgeladen werden dürfen bei denen

Werbeplattform. Da gibt's einen gewissen
Streit. Die britische ICO steht zum

Beispiel auf dem Standpunkt, dass das so
nicht mehr ginge und hat die politischen,

sämtliche politischen Parteien in
Großbritannien aufgefordert das so nicht

fortzusetzen. Aber es wird sicherlich noch
eine Weile dauern ehe solche Fälle

letztlich vor Gericht landen.
I: in Deutschland, nur der Vollständigkeit

halber, in Deutschland gibt's die Debatte
auch. Das Bayerische Landesamt für

Datenschutzaufsicht beispielsweise
vertritt die Auffassung und versucht sie

im nächsten Jahr verstärkt durchzusetzen,
dass auch das ohne Einwilligung der

Betroffenen auf diesen Listen nicht mehr
möglich ist.

C: Nun, bei gewissen war es auch vorher
nicht erlaubt, also etwa wenn es um

Ethnien geht oder andere Formen von
direkter Diskriminierung, aber die

Antworten die im Rahmen dieses Cambridge
Analytica Skandals, auf die wir gleich

noch mal ein bisschen kommen aber auch
relativ kurz, waren ja im Prinzip

interessant weil die Konzerne mal
Antworten geben mussten und nach Angaben

von Facebook ist es ja so, dass ihr
Verhalten genau drei wichtige Kriterien

ausgewertet werden. Das sind zum einen
Likeing, also wo klickt man hin zum liken,

zum anderen auf welche Werbung klickt der
Account Besitzer selbst und welche Apps

benutzt er. Wenn man sich da mal überlegt,
falls hier Menschen dabei sind, die diese

Konzerne benutzen, da kann sich natürlich,
da kann man rückschließen auch auf die

Kriterien die eigentlich wegen das
Diskriminierungsverbot nicht nutzbar

wären, jedenfalls nicht direkt nutzbar
wären. Aber wir wollen jetzt mal noch kurz

auf den Skandal kommen um nochmal in
Erinnerung zu rufen, es war ja so ein

elendes Facebook Jahr, im Prinzip hatte
man ja im Monat zwei verschiedene Arten

von kleinen und größeren Skandalen über
die man gesprochen hat und viele haben

dabei vergessen was die Essenz dieses
Cambridge Analytica Skandals eigentlich

war, warum der international so riesige
Wellen geschlagen hat sodass sich der

Konzernchef sowohl in den US-Kongress wie
auch ins Europaparlament setzen musste und

das britische Parlament und da seine "We
get back to you"-Reden gehalten hat. Es

war ja eigentlich ein relativ einmaliger
Vorgang.

I: genau in diesem Maße haben wir
eigentlich noch nie. Es gab auch Berichte

über Cambridge Analytica bereits seit 2015
eigentlich hätten wir auch schon aber in

diesen Maßnahmen noch nie eine öffentliche
Debatte und eine öffentliche Einsicht in

diese Methoden des politischen Micro
Targeting bekommen. Der Skandal um

Cambridge Analytica ist natürlich deshalb
ein besonderer weil, a) der Facebook

Konzern betroffen ist und dessen besonders
laxer bis verantwortungsloser Umgang mit

den Daten seiner Nutzerinnen und Nutzer
und andererseits eben im Raum stand und

inzwischen ja auch bestätigt ist durch die
Untersuchungsberichte dass Daten von

Facebook-NutzernInnen ohne ihr Wissen
beispielsweise für das Targeting in Trumps

Wahlkampf eingesetzt worden sind. Um es
einmal kurz up zu wrappen. Worum ging es

bei Cambridge Analytica? Ein ehemaliger
Forscher oder damals noch Forscher an der

Cambridge University hat sich
zusammengetan mit der Firma Cambridge

Analytica bzw. SCL, der Mutterfirma von
Cambridge Analytica. Camebridge Analytica,

da gibt es ganz interessante Geschichten
zu wie der Name zustande kommt, es ist

scheinbar vor allen Dingen ein Konstrukt
gewesen damit man dem US Manipulateur und

damals Trump Berater Steve Bannon gefallen
kann. Was haben die gemacht? Sie haben

eine eigentlich ursprünglich für
wissenschaftliche Zwecke entwickelte und

auch genehmigte App eingesetzt zum Sammeln
von umfangreichen Daten: Profil

Informationen, Like Informationen von
insgesamt 320 000 Menschen die dafür

bezahlt worden sind. Kleinere Click-Worker
die für Centbeträge eben diese App genutzt

haben, eine mit Facebook verbundene App
und haben dort einerseits einen Fragebogen

ausgefüllt der dazu dient eine
Persönlichkeitsanalyse nach dem

sogenannten OCEAN-Modell, ein
psychologisches Modell das relativ weit

verbreitet und etabliert ist, zu machen,
das einem die Einordnung der

Persönlichkeit anhand von fünf
Charaktereigenschaften ermöglicht. Die

haben aber nicht nur diesen Fragebogen
ausgefüllt sondern eben einerseits einen

umfangreichen Datensatz bewusst oder
unbewusst über sich preisgegeben ihrer

Facebook-Daten und über in insgesamt
87 Millionen Freundinnen und Freunde mit

denen sie auf Facebook verbunden waren und
Cambridge Analytica beziehungsweise diese

Forschungsfirma des Cambridge Forschers
Alexander Cowan, haben dann diese

Persönlichkeitsanalysen von den 320.000
Menschen, die diesen Fragebogen ausgefüllt

haben, gemacht und dann anhand der
Facebook-Daten Ähnlichkeiten wieder nach

Datenprofilenähnlichkeiten ausgewertet,
sodass sie am Ende Persönlichkeitsprofile,

psychologische Persönlichkeitsprofile von
87 Millionen Menschen hatten, unter

anderem 30 Millionen US-AmerikanerInnen
und US-Amerikaner. Diese Daten sind an

Cambridge Analytica bzw. SCL gegangen. Die
wiederum haben sie mit ihren umfangreichen

eigenen Datenbanken, in den USA haben die
politischen Akteure deutlich mehr laxeren

Zugriff auf Datenbanken über Wahlverhalten
und registrierte Wählerinnen und Wähler,

verbunden und diese genutzt, um die Trump-
Kampagne...ja...politisch in der

politischen Kommunikation zu stärken.
Wofür haben Sie das eingesetzt? Unter

anderem haben sie, so beschreibt es der
Whistleblower Christopher Wylie, eben

ganze passende Informationsökosysteme aus
Blogs und Webseiten eigentlich aufgesetzt.

Für die Manipulation Einzelner bzw. von
Gruppen. Je nach Themengebiet haben sie

eben einzelne Blogs und Webseiten
aufgesetzt, um den Eindruck einer

neutralen Öffentlichkeit oder einer
neutralen Berichterstattung zu machen und

Leute auf bestimmte Themen dann eben
anzusprechen, sei es etwa Waffenrecht oder

ähnliches oder die Migrationsfrage.
C: Also besonders politisch umstrittene

Fragen. Also wo sich ich Leute wohl eher
polarisierend wirkt.

I: Nicht nur das. Dann ist es eingesetzt
worden für das Microtargeting im

Haustürwahlkampf der in den USA eine
besonders große Rolle spielt. Also bis zu

32 unterschiedliche Gesprächsleitfäden
haben die Haustürwahlkämpfer eben bekommen

und wussten in etwa, ok, wenn ich jetzt an
dieser Tür klingel, welchen Leitfaden muss

ich jetzt einsetzen. Und was wir online
gesehen haben, ist eine gezielte Negativ-

Kampagne gegen Hillary Clinton bei der die
Trump-Kampagne oder Pro-Trump-Campaigner

nicht versucht haben, Leute davon zu
überzeugen Donald Trump zu wählen, weil

sie wussten bestimmte Wählergruppen sind
überhaupt nicht zu erreichen für diesen

Typen, sondern es ging um strategische
Demobilisierung der Gegenseite. Also

bestimmte Wählergruppen in denen Hillary
Clinton besonders stark ist oder

klassischerweise stark gewesen wäre,
Frauen, People of Color und so weiter,

sind mit gezielten negativ Informationen,
beispielsweise auf Facebook versorgt

worden, um die Gegenkandidatin zu
diskreditieren. Beispielsweise Frauen

haben dann sehr viel Wahlwerbung bekommen
die auf den Seitensprung oder die Untreue

von Bill Clinton angespielt haben, um das
Bild von Hillary Clinton als wackere

Feministin, das die demokratische Kampagne
so ein bisschen versucht hat zu zeichnen,

eben zu schwächen.
C: Und es hat negative campaigning in den

Vereinigten Staaten sehr viel weiter
verbreitet als in den typischen

europäischen oder gar deutschen
Wahlkämpfen. Dennoch hat das natürlich ne'

andere Form von Manipulationsmacht, wenn
eben nicht an alle gerichtet über

Fernsehspots läuft, sondern eben typisiert
ausgespielt wird. Es gibt

kein...keine...Es gibt kein Endergebnis,
inwieweit tatsächlich das Wahlergebnis

davon beeinflusst war. Es gibt das klare
Ergebnis, dass es eine Beeinflussung gab,

aber nicht etwa das Ergebnis, dass es
keinen Präsidenten Donald Trump gegeben

hätte, ohne diese Form der
Onlinemanipulation. Wer sich ein bisschen

auseinandersetzt mit dem US amerikanischen
Wahlsystem, weiß natürlich, dass man an

bestimmten Lokationen, eine Manipulation
sehr viel wirksamer durchführen kann, wenn

man etwas über die Verteilung sozusagen
weiß. Und so hat natürlich auch Location

Data, also die Frage wo befinden sich
Personen die denen ich möglichst eine

demotivierende Message zukommen lassen
will, damit sie nicht zur Wahl gehen. Hat

dadurch eine größere Rolle gespielt, im
Vergleich zu dem Obama Wahlkampf davor, wo

es übrigens kaum kritisiert wurde. Wo
es auch eine sehr enge Zusammenarbeit gab.

I: Und am Ende sind es etwa 70.000 Stimmen
gewesen, die über den Wahlentscheid oder

über den Wahlausgang entschieden haben, in
drei unterschiedlichen Bundesstaaten.

Also, so knapp ist diese Wahl am Ende
ausgegangen.

C: Okay. Wir wollen ein bisschen sprechen
über dat Brexit Referendum. Zum einen,

weil das Ergebnis auch so furchtbar knapp
war, weil die Untersuchung im britischen

Parlament sehr viel öffentlicher sind und
genauer sind und, weil natürlich die

Aussagen die auch nach dem Brexit...nach
dem Cambridge Analytica Skandal dann dort

gemacht wurden nachzulesen sind. Aber
auch, weil das ICO eine britische ganze

Fragenkataloge, sowohl an die Konzerne,
wie aber auch an die politische Parteien

gestellt hat. Und eben versucht hat
auszuwerten was ist denn eigentlich...was

wird eigentlich wirklich getan. Denn man
kann, glaub ich aus meiner Sicht,

zumindest nicht immer nur diese
Werbekonzerne und Datenfirmen an die

Kandaren nehmen, sondern man muss sich
natürlich auch fragen, wie sind denn die

politischen Parteien, die Aufgabe die
Regulation dafür machen, eigentlich selber

daran beteiligt. Da ist ja ein ganz klarer
Interessenkonflikt. Denn wir reden hier

anders als, glaub ich, gerade am Anfang
des Jahres viel so diskutiert wurde. Wir

reden ja über ganz klare Machtfragen. Wenn
es tatsächlich so sein sollte, dass anders

als beim US-Wahlkampf wo, meine Güte, nach
vier Jahren wird jemand neues gewählt und

maximal acht Jahre kann Trump Präsident
sein. So ist, denk ich mal, die

Entscheidung für ein Land aus der EU
auszusteigen sicherlich für mehrere

Generationen eine weitreichende
Entscheidung. Also von dem Ergebnis, finde

ich, noch schwerwiegender und knapper.
I: Genau, was haben wir gesehen beim

Brexit Referendum oder was haben die
Untersuchungsberichte rausgefunden,unter

anderem. Also, wir gehen jetzt einfach mal
so ein paar Beispiele durch, um so einen

Blick nochmal ein bisschen zu erweitern.
Unter anderem beim Brexit Referendum ist

unter anderem zu sehen gewesen, dass die
Leave-Kampagnen, also die pro Brexit

Kampagnen, untereinander fleißig Date
ausgetauscht haben. Was natürlich nicht

der Zweckbindung des dem
Datenschutzgrundsatz der Zweckbindung

entspricht. Wenn ich als
jemand...ein...wenn ich als jemand der

sich für das Thema interessiert einer
Kampagne meine Daten zur Verfügung stelle,

beispielsweise Kontaktdaten, gehe ich
nicht davon aus, dass meine Daten an

andere Konzerne oder weitere Kampagnen,
die formell unabhängig sind und eigentlich

auch nicht zusammenarbeiten dürfen,
weitergegeben werden. Was haben Sie noch

rausgefunden? Unter anderem gibt es einen
britischen Versicherungskonzern, dessen

Geschäftsführung eng verbunden ist mit
einer der Leave-Kampagnen, oder war mit

einer der Leave-Kampagnen, die unter
anderem dann die Kundenlisten dieses

Versicherungskonzerns eingesetzt haben, um
zielgerichtet Menschen anzurufen und

mit...oder mit Wahlkampfbotschaften Pro-
Leave zu bombardieren.

C: Typisch kann man noch sagen, etwa eine
ganz klassische oder mehr ebige

Desinformationskampagne. Also die
Wahrhaftigkeit der Nachrichten die

ausgespielt wurde war fragwürdig. Da sind
aber auch immer noch Gruppen dran die

daran auswerten und auch - wir haben
vorhin schon erwähnt - die

parlamentarische Untersuchung und die
Untersuchung des ICO - sozusagen wie so

eine Bundesdatenschutzbehörde vergleichbar
kann man sagen in Großbritannien - ist

noch immer nicht abgeschlossen.
I: Genau...in Anbetracht der Zeit machen

wir die folgenden Beispiele, die diesen
Blick so mal ein bisschen erweitern, mal

eher kurz. Aber wir wollen sie doch
zumindest einmal erwähnen, damit man es

mal gehört hat. In Irland hat in diesem
Jahr ein Referendum über das, bis dato

sehr straffe und scharfe Abtreibungsrecht
stattgefunden. Mit einer hochgradig

polarisierten und in der Öffentlichkeit
umkämpften Kampagne oder Kampagnen. Und

unter anderem konnten wir feststellen,
dass in diesem politischen Kampf um

die... um das Abtreibungsreferendum nicht
nur Akteure aus Irland mitgespielt haben,

sondern es ist öffentlich geworden, dass
auch religiöse Fundamentalistengruppen aus

den USA, beispielsweise die irische
Bevölkerung, mit Microtargeting versucht

haben zu erreichen. Haben unter anderem
sogenannte Aufklärungswebseiten,

Facebookkampagnen und so weiter
aufgesetzt, um vermeintlich Unentschiedene

zu erreichen und mit vermeintlichen Fakten
eben aufzuklären. Facebook hat, als es

öffentlich wurde, dann irgendwann auch
unterbunden, dass Akteure (oder zumindest

versucht zu unterbinden), dass Akteure aus
dem Ausland hier mitmischen dürfen.

C: Also...Typisch ist eben, weil wir daran
nur festhalten wollen, ist, dass man mit

relativ kleinen Summen, also Summen, die
für finanzstarke Länder einfach überhaupt

keine Rolle spielen, in hohem Maße
Einfluss nehmen kann auf 'ne ausländische

Referendum oder eine Wahl.
Das ist natürlich auch nicht neu.

Aber, ich glaube,
auf diese heimliche

Hinterrücks-Art-und-Weise
und möglicherweise unbemerkt von

denjenigen, die betroffen sind, oder erst
später bemerkt, ist natürlich insofern ein

neues Phänomen. Aber et wird sozusagen
noch schlimmer, wenn man einen Blick nach

Afrika wirft.
I: Genau... In Kenia hat 2017 ein

ebenfalls hochgradig polarisierter
Wahlkampf... Präsidentschaftswahlkampf

zwischen, im Wesentlichen zwei Parteien
oder Parteiengruppierungen, stattgefunden.

Und was wir sehen können, ist, dass das in
Kenia, wie in vielen afrikanischen

Staaten, die Datenschutzgesetze natürlich
deutlich schwächer sind und die Parteien

über einen erheblichen... erhebliches Maß
an eigenen Datenbanken verfügen,

gleichzeitig Zugriff auf Wahlregister
haben, mit Ausweisnummern, Telefonnummern,

Namen und biometrischen Angaben, von den
zum Wahlen Registrierten. Und auch dort

haben wir ein gezieltes, groß angelegtes
Negative Campaigning gesehen. Unter

anderem auf oder durch die Kampagne des
damaligen Präsidenten und auch heute oder

dann wiedergewählten Präsidenten Uhuru
Kenyatta. Unter Nutzung beispielsweise der

auch in Deutschland und den USA nicht ganz
unbekannten Negative-Campaigning-

Organisationen Harris Media aus den USA.
Und was wir da gesehen haben in Kenia ist,

dass eine Entwicklung, die wahrscheinlich
so ein bisschen vorwegnimmt, was wir auch

in europäischen Wahlkämpfen erleben
werden, nämlich dass sich dort sehr viel

verlagert hat in Messenger-Gruppen und
dass dort sozusagen auch das

zielgerichtete Werben, vor allen Dingen
dann in zugeschnittenen Messenger-Gruppen,

WhatsApp-Gruppen,
stattgefunden hat, in

denen dann eben auch gezielt,
ja, mobilisiert wurde

und Menschen dann einfach, weil ihre
Telefonnummern bei den wahlwerbenden

Akteuren bekannt waren, hinzugefügt wurden
ohne gefragt zu werden, und dann dort

bombardiert wurden mit Nachrichten.
C: Ich denke, wir können; Wir wissen ja

bereits, dass 2019 so
ein bisschen über 20 Wahlen

in Europa stattfinden und die EU-Wahl...

Ist glaube ich interessant, auf die neuen
Kanäle zu blicken. Betrifft dann

natürlich nicht nur WhatsApp, sondern da
muss man glaube ich auch Instagram im Auge

behalten. Man kann eigentlich so dieses
Follow-the-Money-Modell ganz gut fahren.

Man kann also gucken, wo gehen die oder wo
steigen die Zahlen für Advertisement und

dann kann man immer ungefähr sehen, wo die
nächsten technisch interessanten für diese

Manipulationszwecke ebenfalls benutzten
Plattformen sind. Das hat sich so ein

bisschen kapriziert auf Facebook. Es liegt
aber auch daran, dass natürlich die

Nutzung in den verschiedenen Kontinenten
sehr unterschiedlich ist.

In Afrika ist halt
Facebook enorm verbreitet,

aber auch die
Twitter-Nutzung relativ stark. Wir könnten

jetzt noch andere Beispiele nennen, die
wir jetzt mal weglassen. In Frankreich ist

es sehr intensiv debattiert worden. Wir
haben südamerikanische Fälle.

I: Brasilien.
C: Wir haben Fälle wie in Kenia, wo,

also internationale Fälle, wo sozusagen so
polarisiert war, dass es zu

Gewaltausbrüchen geführt hat, was wir
jetzt so in Europa noch nicht gesehen

haben. Wir wollen uns aber jetzt nochmal
auf das eine Beispiel in Österreich

nochmal stürzen,
weil auch so ein typischer Fall ist,

wo man, glaube ich,
so Muster erkennen kann.

I: Genau. Das fühlt sich ja immer so weit
weg an, oder kann man sich für manche

jedenfalls. Im österreichischen Wahlkampf,
Parlamentswahl und

Präsidentschaftswahlkampf, haben wir unter
anderem erleben können,

wie ein Berater und Wahlkampfmanager
der Sozialdemokratischen Partei,

Tal Silberstein,
so ganz tief in

den Methodenkoffer der Desinformation oder
eigentlich der digitalen Manipulation

gegriffen hat. Hat nämlich Facebook-
Seiten, gefakte Facebook-Seiten aufgesetzt

u.a. die Seite "Wir für Sebastian Kurz",
also der SPÖ Wahlkampfmanager oder

Wahlkämpfer setzt eine Seite auf "Wir für
Sebastian Kurz", die so den Anschein

vermitteln sollte, dass dahinter eine ÖVP
Kampagne, die Partei von Sebastian Kurz,

steht. Einerseits um die Kampagne in ...
Okay Constanze weist auf die Zeit hin ...

u.a. auch um Daten zu sammeln sozusagen um
eine Facebook-Seite mit, ich glaube, 15

bis 20 Tausend Followern am Ende gewesen,
u.a. um wiederum Informationen über ÖVP

Sympathisanten auf Facebook zu bekommen,
die dann mit gezielter Negativkampagne

erreicht werden können. Die andere Seite
"Die Wahrheit über Sebastian Kurz" ging

dann in die andere Richtung. Da wurde dann
versucht einen FPÖ-Schlag zu geben.

C: Also auch hier ist natürlich heftig
debattiert worden, kann man sich

vorstellen, die Opposition ... auch im
Parlament, auch hier ist es nicht wirklich

im Ergebnis klar, ob diese Form der
versuchten Kampagnen im Ergebnis wirklich

das Ziel erreicht haben.
I: Genau. Aber ohnehin muss man

tatsächlich sagen, dass in Österreich der
Einsatz von Microtargeting und auch

verdeckten Microtargeting deutlich stärker
gewesen ist. Das Tal-Silberstein Beispiel

ist jetzt natürlich ein besonders krasses
aber eben auch natürlich die anderen

politischen Akteure haben das eingesetzt.
Deutschland, das können wir ganz kurz

machen tatsächlich, wir haben...
C: Wo die Angst war groß, muss man sagen.

Einfach weil die Debatte ja schon
losgegangen war und dann gab es noch, wenn

ihr euch erinnert, den Bundestags-Hack,
also die Angst war relativ groß, dass man

eine Form von Manipulation von Innen oder
von Außen nicht so richtig beherrschen

könnte, dass die Leaks, die ja auch im US-
Wahlkampf eine große Rolle gespielt haben,

der E-Mails möglicherweise durch den
Bundestags-Hack auch noch eine Rolle

spielen, also es gab eine große Angst und
Unsicherheit im Bundestag vor der Wahl.

I: Man muss sagen, dass die Parteien außer
einer relativ Wischiwaschi Selbsterklärung

C: Genau
I: Oder Selbstverpflichtung nicht viel

dazu beigetragen haben diese Angst
beiseite zu schieben zumindest nicht,

indem sie aufgeklärt haben.
Wir haben versucht bei netzpolitik.org in

einer längeren Recherche so ein bisschen
zu zeigen, welche Methoden setzen

eigentlich die Parteien ein, auch wie viel
Geld setzen sie ein für Online-Campaigning

beispielsweise und für Targeted
Advertising. Man muss es sagen wir sind da

eigentlich gegen Wände gerannt.
C: Ingo hat die einfach mal gefragt. Die

sind ja nicht nur diejenigen die die
Regulierung entscheiden, sondern auch

selber dafür Gelder einsetzen. Also hat
sich Ingo hingesetzt und hat die alle mal

angeschrieben hat er gesagt: "Ey Freunde
sach mal, leg die mal offen" nicht nur wie

viel, sondern auch wem und mit welchem
Ziel ihr versucht diese Kampagnen zu

fahren, die sich Desinformation nennen
will sollen erst mal Wahlwerbung. Die

Ergebnisse sind relativ eindeutig nämlich
fast Null. I: Genau fast null. Man muss

eben sagen, die Grünen sind diejenigen die
tatsächlich Aufklärung oder die am

offensten waren in der Kommunikation. Die
Linken haben auch relativ viel Einblick

gegeben und haben relativ offen darüber
gesprochen. Aber FDP, AfD, CDU und SPD

waren extrem verschlossen darüber und
haben eben wenig dazu beigetragen

eigentlich für Aufklärung zu sorgen an der
Stelle. Wir wollen es noch mal runter

dampfen weil wir eben gesagt haben es geht
ja eigentlich nicht um die Beispiele und

einzelnen Akteure sondern es geht um die
Methoden mit welchen Methoden der

Manipulation müssen wir denn rechnen.
Worauf müssen wir achten oder worauf

sollte man es einstellen, wenn wir an die
Europawahl 2019 denken. Haben Sie einfach

nochmal so ein bisschen versucht
aufzuschreiben das Verführen also die auf

individuelle Persönlichkeitsprofile
zugeschnittenen Botschaften.

C: Wir wollen damit nicht unbedingt sagen,
dass irgendwie der Einzelne weder jetzt

plötzlich die Aufgabe kriegt. So sind doch
unsere Forderungen die wir bringen wollen

nicht gestaltet aber auch diejenigen, die
darüber berichten oder die betroffen sind

müssen sich natürlich irgendwie mit den
Methoden der versuchten Manipulation

auseinandersetzen. Also soll ich jetzt
nicht sagen der Einzelne soll darauf

achten, sondern wir sind schon dafür dass
wir eine politische Lösung dafür brauchen

und auch eine gezielte
Informationssendung. I: Genau diese Liste

kann helfen. Wir gehen jetzt nicht nur im
Einzelnen durch. Lasst uns mal kurz gucken

auf die Maßnahmen, die in der EU bereits
ergriffen wurden weil natürlich das Thema

in der politischen Debatte auch ankommen
ist. C: Zum einen gibt es seit Dezember

gerade erst einen sogenannten Aktionsplan.
Der ist natürlich ein bisschen größer

geraten als nur Gegenmaßnahmen für
Desinformationskampagnen zu finden, aber

der Aktionsplan ist von der EU-Kommission
der hat natürlich erst einmal überhaupt

Maßnahmen ausgerollt und vorgeschlagen.
Dabei blieb es dann. Denn es ist ja nicht

so dass eine EU Regulierung jetzt eine
Richtlinie oder Verordnung oder so wäre

schnell durchzudrücken sei man hat quasi
so eine Art Vorschläge unterbreitet und

fordert die einzelnen Länder auf die
umzusetzen, die sind aber größer als nur

Desinformationen. Da geht es natürlich
auch um IT-Sicherheit gar keine Frage weil

man aus den vergangenen
Desinformationskampagne natürlich auch

schließen kann, dass strategische Hacks
benutzt werden. Da geht es um die

Schaffung von Stellen. Das heißt man
versucht Informationen zu sammeln aber

auch ganz gezielte Gegenpropaganda zu
bezahlen das ist gerade aktuell den Briten

auf die Nase gefallen. Denn in
Großbritannien wird ganz intensiv darüber

gestritten, dass einer von der britischen
Regierung bezahlte Klitsche gegen den

Oppositionschef eine Kampagne fährt man
hat eigentlich Gegenpropaganda machen

wollen und plötzlich hat man Jeremy Corbyn
den Oppositionsführer quasi sein Ziel hat

ihn als Putin-Versteher diskreditiert. Wo
es große Aufregung im britischen Parlament

gab es dieses Vorhaben jetzt bauen wir
dieselben Strukturen zur Gegenpropaganda

ist in mehreren Ländern schon gescheitert
und im britischen Fall kurz ansprach hat,

kann man auch gerne nachlesen, dass die
Institute of Statecraft gab es auch eine

parlamentarische Debatte darüber im
Dezember hat schon Auswirkungen auf andere

Länder denn die haben auch gleich noch
Spanien getargetet wo ihnen von der

Regierung benannte Geheimdienstchef nicht
gepasst hat da haben sie dieselben

Methoden für ein auslãndische Land
angewandt. Wir sehen Der Aktionsplan ist

erst mal schön gemeint besteht auch aus
Methoden die ausgesprochen fragwürdig sind

und ist natürlich in keiner Weise bindend
sondern ist erst mal ein Vorschlag und

wird viele politischen Parteien überhaupt
nicht interessieren weil sie diese

Maßnahmen selber nämlich benutzen wollen.
I: Was man mal positiv an der Stelle

zumindest bei diesem Aktionsplan sagen
muss, natürlich die EU-Kommission ja die

EU hat überhaupt wenige Befugnisse in dem
Bereich. Aber ein erster Schritt natürlich

viel zu spät ist aber überhaupt erst
einmal ein Monitoring der sozusagen dieser

Manipulation Mehoden und des Themas
Desinformation zu machen. Bei einem ersten

Treffen im Jahr im Frühjahr 2018 musste
die EU feststellen die Wahlbehörden

beispielsweise in den Ländern sind
vollkommen blank bei diesem Thema, das

findet einfach nicht statt.
C: Das wurde teilweise nicht beantwortet,

den Katalog, die haben manchmal gar nicht
antwortet auf die Fragen. Nicht nur, dass

sie nichts hatten, sie haben auch keine
Fragen beantwortet oder Maßnahmen

angekündigt. Dazu sagen wir wollen mal auf
die Forderungen. I: Wir nennen noch einmal

der Vollständigkeit halber dass das EU-
Parlament auch Forderungen allerdings

unverbindliche zu dem Themenkomplex
verabschiedet hat die finden sich in

unserer Leseliste aber auf die gehen wir
nicht mehr ein sondern wir kommen jetzt

mal auf unsere Forderungen zum Schluss.
Was... C: Die erste ...es müssen wir

angesichts der doch ziemlich
polarisierender Debatte um die

Datenschutzgrundverordnung nochmal
feststellen. Diese Form von in Europa

harmonisiert im Datenschutz ist ein
Manipulation Schutz. Denn wenn die

einzelnen Länder in Europa feststellen,
dass die Art wie politische Campaigning

mit den verschiedenen Daten Arten über die
Werbeplattform durchgeführt wird jetzt

nicht mehr rechtmäßig ist, das ist ein
strategischer Vorteil in Europa, wo wir so

viele Wahlen haben um zumindest eine
Möglichkeit zu haben aufzudecken wenn

jemand hintenrum manipulieren will mit
einer politischen Kampagne. Und so müssen

wir den Datenschutz auch anders sehen als
früher. Ist Manipulation Schutz und wird

es in Zukunft sogar noch stärker werden
denn unsere Profile dazu Tracking werden

wir bei Frederike gestern gelernt. Er
nimmt ja in einem Maße zu auch dann wenn

wir keine Facebook-Opfer sind uns da keine
Kunasek gelegt haben. Und wer von euch

Google frei ist sind wahrscheinlich nicht
so viele in diesem Raum. Da hat sich das

glaube ich verschoben in der Wahrnehmung
und da sollten wir auch darauf bestehen,

dass wir diesen Datenschutz so sehen. Aber
wir haben natürlich noch ein paar

konkretere Forderungen die wir ganz gerne
in Europa hätten I: Die wir in den letzten

zwei Minuten bekommen noch durchgehen. Ein
großer Block ist natürlich das Thema

Transparenz, weil wir feststellen können,
dass Wahlkampf hat natürlich immer oder

politische Kommunikation hat natürlich
immer etwas mit Manipulation oder

zumindest was mit Überzeugung zu tun. Aber
was wir sehen können ist, dass die

digitalen Plattformen mit ihren Tools es
ermöglichen, dass eine ganz krasse

Asymmetrie entsteht zwischen denjenigen
die politische Kommunikation betreiben und

manipulieren wollen und denjenigen die
manipuliert werden. Deshalb ist es

unbedingt notwendig für Transparenz zu
sorgen, also beispielsweise dass

politische Werbung entsprechend
gekennzeichnet ist da wo sie ausgespielt

wird, für alle immer nachvollziehbar. Mit
einer Kennzeichnung oder zumindest der

Möglichkeit sich das anzuschauen. Wer ist
eigentlich die Person die mich hier

erreicht. Wer finanziert diese Anzeige.
C: Und dazu würde natürlich auch eine

Information-Sammlung zählen nicht nur
sondern umfassend Transparenz-Register

sondern auch welche Anbieter bieten
Dienstleistungen auf der Anbieterseite an,

welche sind das und welche einzelne
Dienste werden benutzt mit welchen

Geldern. Es gibt in manchen Ländern, die
Briten haben wir etwa erhoben. Das ist

ganz interessant weil man auch über die
Daten von 2016/17/18 sieht wohin die

Gelder verschoben werden und ob zum
Beispiel unter Crossdevicing fällt und

bei welchem Konzern es landet mit welchen
Summen wir reden etwa zuletzt von 3,2

Millionen Pfund also gar nicht so wenig.
Diese Daten gibt es in Deutschland nicht.

Wir wissen nicht die Anbieterseite und wir
wissen in Deutschland zum Beispiel nicht

wie viel wofür ausgegeben wird. Sollten
wir ändern würde aber bedeuten, dass man

in Deutschland insbesonders Parteiengesetz
ändern muss. Denn da stehen die

wesentlichen Regelungen drin für die
Transparenz bei der Parteienfinanzierung.

Die sind ja okay in Deutschland aber
beziehen sich ja nicht so sehr darauf

wohin diese ganze Gleichheit zwischen
Kandidaten, sodass man ihnen wie man es im

Fernsehen hat, gleiche Möglichkeiten
einräumt die sind in Deutschland im

Rundfunkstaatsvertrag geregelt. Der
umfasst aber diese Werbekonzerne gar

nicht. Diese Gleichheit der Kandidaten,
dass sie also in gleicher Weise an die

Wähler herankommen ist so nicht gegeben
bei diesen Werbeplattformen. Genau das

Recht ist das eine. Das andere ist aber
auch dass wir als Wählerinnen und Wähler

die Parteien in die Pflicht nehmen
sollten. Also es kann eigentlich nicht

sein dass sie icht darüber Auskunft geben
wie viel Geld sie und woher das Geld kommt

aber wie viel Geld sie ausgeben für
bestimmte Maßnahmen und nach welchen

Kriterien sie welche Gruppen eigentlich
ansprechen mit welchen Botschaften. Dass

man denen da immer hinterherlaufen muss,
dass man kaum dazu kommt, kann nicht sein

sondern sie müssen proaktiv dazu gebracht
werden Transparenz und Fakten

voranzubringen. Genau, zu psychometrisches
Profiling im politischen Kontext ohnehin

schwierig.
C: Diese Art von Verhaltensauswertung;

Ich hätte nichts dagegen

wenn das vor allen Dingen
politische Campaigning vor allem für

bestimmte besonders anfällige
Bevölkerungsgruppen die besonders

schutzbedürftig sind einfach nicht mehr
erlaubt wird.

I: Wir machen den letzten Punkt insgesamt
das Ökosystem, dieses Informationökosystem

indem die politische Öffentlichkeit heute
stattfindet auf den digitalen Plattformen

wie Facebook und Google bilden inzwischen
eine Form der Manipulations-Industrie die

nicht durch kleinere Maßnahmen. Sicherlich
ist es wichtig in kleineren Maßnahmen

Transparenz und Verantwortlichkeit
herzustellen, aber das Grundproblem ist

diese Manipulations-Industrie die diese
Tools von vornherein mitliefert und die

ein hohes Missbrauchspotenzial haben die
in die Verantwortung genommen werden muss

und eigentlich überwunden werden muss.

klatschen

C: Im übrigen
Applaus

Und jetzt der letzte Satz
Applaus

C: Weil wir jetzt an Ende hetzen müssen,
wir werden noch einmal darüber

schreiben und über die Forderung die wir
jetzt nicht so genau beschrieben haben

schriftlich uns bei
netzpolitik.org äußern.

Im übrigen sind wir der Meinung, dass

Facebook und Google zerschlagen werden
müssen. Vielen Dank!

klatschen

35C3 Outro

Untertitel erstellt von c3subtitles.de
im Jahr 2020. Mach mit und hilf uns!