0:00:00.000,0:00:18.580
36C3 Vorspanngeräusche
0:00:18.580,0:00:23.160
Herald: Heute Abend geht es in diesem Saal[br]über Staatstrojaner, also Trojaner, also
0:00:23.160,0:00:27.090
Schadsoftware im engeren Sinne, bloß halt[br]nicht solche von Kriminellen, sondern
0:00:27.090,0:00:30.980
solche von Unternehmen, die das[br]professionell mehr oder weniger legal
0:00:30.980,0:00:34.810
machen. Staatstrojaner sollte man gar[br]nicht erst bauen, wenn man sie baut,
0:00:34.810,0:00:38.270
kommen sie in die falschen Hände. Wie das[br]passiert und wie man dann unser
0:00:38.270,0:00:43.070
Rechtssystem und unsere Gerichte nutzen[br]kann, um etwas dagegen zu tun auf dem
0:00:43.070,0:00:47.850
vernünftigen rechtsstaatlichen Weg, das[br]erklärt uns unser Ulf Buermeyer, der in
0:00:47.850,0:00:52.079
vielen anderen Fällen auch schon[br]Rechtsbeistand für Clubthemen geleistet
0:00:52.079,0:00:57.680
hat. Und Thorsten Schröder ist auch dabei.[br]Oldschool Hacker, 20 Jahre dabei, 30 Jahre
0:00:57.680,0:01:02.100
weiß ich nicht. Und hat sich das[br]angeschaut, was da in dieser Schadsoftware
0:01:02.100,0:01:06.030
von FinFisher eigentlich drinsteckt.[br]Großen Applaus für Ulf Buermeyer und
0:01:06.030,0:01:11.820
Thorsten Schröder.[br]Applaus
0:01:11.820,0:01:18.539
Ulf Buermeyer: Hi, schön, dass ihr da[br]seid, herzlich willkommen!
0:01:18.539,0:01:22.229
Thorsten Schröder: Hallo, hallo.[br]U: Ja, herzlich willkommen zu „FinFisher,
0:01:22.229,0:01:26.500
See You in Court!“ Falls es der eine oder[br]andere kennt, eine amerikanische
0:01:26.500,0:01:31.440
Bürgerrechtsorganisation hat „See you in[br]Court!“ mal zu Donald Trump gesagt, als er
0:01:31.440,0:01:35.770
illegal versucht hat, Immigration in die[br]Vereinigten Staaten zu verhindern. Und wir
0:01:35.770,0:01:40.440
widmen uns genau dem umgekehrten Thema,[br]nämlich der illegalen Auswanderung von
0:01:40.440,0:01:45.880
fieser Software. Und bevor wir dazu[br]kommen, noch ein klitzekleiner historischer
0:01:45.880,0:01:53.200
Rückblick. Keine Sorge, das wird kein[br]krasser Juratalk, dafür bürgt schon
0:01:53.200,0:01:55.520
Thorsten.[br]T: Ich versuch’s.
0:01:55.520,0:02:00.640
U: Aber in diesem Talk geht es um ein[br]weiteres Kapitel im Kampf gegen digitales
0:02:00.640,0:02:06.610
Ungeziefer, und zwar eine ganz besondere[br]Form von digitalem Ungeziefer.
0:02:06.610,0:02:12.890
T: Staatstrojaner, die wir auch schon vor[br]ein paar Jahren mal auf einem Kongress
0:02:12.890,0:02:18.739
bereits besprochen haben. Aber eben[br]Software, die von Staaten eingesetzt
0:02:18.739,0:02:22.650
werden, gegen Kriminelle, gegen[br]Oppositionelle und so weiter.
0:02:22.650,0:02:26.569
U: Thorsten hat schon gesagt, das ist ein[br]Thema, das den Club und auch mich
0:02:26.569,0:02:32.401
persönlich schon seit Jahren beschäftigt.[br]Das Foto zum Beispiel ist vom 25C3. Da gab
0:02:32.401,0:02:36.620
es nämlich eine gute Nachricht aus[br]Karlsruhe zu feiern. Vielleicht erinnert
0:02:36.620,0:02:42.000
sich der eine oder andere noch daran. Das[br]Bundesverfassungsgericht hatte 2008 ein
0:02:42.000,0:02:47.090
neues Grundrecht erfunden, nämlich das[br]Grundrecht, das wir heute kennen als das
0:02:47.090,0:02:53.060
Computer Grundrecht oder, auf schlau,[br]das Grundrecht auf Integrität und
0:02:53.060,0:02:58.860
Vertraulichkeit informationstechnischer[br]Systeme. Eine Bezeichnung, auf die nur
0:02:58.860,0:03:03.540
Menschen kommen können, die viel zu lange[br]Jura studiert haben. Jedenfalls hatten wir
0:03:03.540,0:03:07.660
damals, als Conz und ich diesen Talk[br]gemacht haben, vor dem roten Vorhang
0:03:07.660,0:03:12.380
gehofft, dass dieses Grundrecht etwas[br]ändern würde. Aber leider müssen wir
0:03:12.380,0:03:22.269
sagen …[br]T: Tat es nicht. Wir haben 2011 einen
0:03:22.269,0:03:26.930
Staatstrojaner gefunden, der genau diese[br]Rechte nicht eingehalten hat.
0:03:26.930,0:03:30.601
Möglicherweise war das zu dem Zeitpunkt[br]bei diesen Entwicklern auch noch nicht
0:03:30.601,0:03:35.959
angekommen. Diesen Trojaner hatten wir[br]einmal auf einer Festplatte in einem
0:03:35.959,0:03:43.600
braunen Umschlag zugetragen bekommen. Ja,[br]den haben wir dann analysiert und einen
0:03:43.600,0:03:51.270
sehr ausführlichen Bericht auch dazu[br]verfasst und einen Talk auf dem 28c3.
0:03:51.270,0:03:54.210
U: Hier sieht man das,[br]Jugendbildnisse von Thorsten und mir.
0:03:54.210,0:03:58.080
T: Da war ich noch richtig jung, wie man[br]sieht. Da habe ich auch das erste Mal mit
0:03:58.080,0:04:01.220
Ulf auf einer Bühne gestanden.[br]Lustigerweise stehen wir nur auf der
0:04:01.220,0:04:04.840
Bühne, wenn’s um Staatstrojaner geht.[br]U: Das ist auch derselbe schwarze Pulli
0:04:04.840,0:04:07.550
bei mir, glaube ich. Ich habe den extra[br]nochmal gewaschen.
0:04:07.550,0:04:11.170
T: Ja, da haben wir den Staatstrojaner[br]vorgestellt und nicht nur beschrieben,
0:04:11.170,0:04:15.970
sondern auch demonstrieren können, wie der[br]gegen diese Grundrechte verstößt, indem er
0:04:15.970,0:04:24.960
einen Rechner in eine Wanze verwandelt und[br]somit in jedem Teil der Wohnung auch
0:04:24.960,0:04:28.330
abhören kann und man Software[br]nachladen kann und so weiter.
0:04:28.330,0:04:31.750
U: Mit dem Software nachladen war[br]vielleicht der krasseste Verstoß.
0:04:31.750,0:04:34.789
Eigentlich hatte das[br]Bundesverfassungsgericht nämlich sehr
0:04:34.789,0:04:39.620
genau vorgeschrieben, was ein Trojaner so[br]können darf und was nicht. Es hatte diese
0:04:39.620,0:04:42.890
Trojaner eben nicht grundsätzlich[br]verboten, aber relativ hohe Hürden
0:04:42.890,0:04:49.020
aufgestellt. Und diese Hürden allerdings[br]hat der Trojaner aus dem Hause DigiTask
0:04:49.020,0:04:53.699
damals nicht eingehalten. Thorsten und ein[br]paar andere Leute aus dem Club hatten ja
0:04:53.699,0:04:57.359
sogar so eine Fernsteuersoftware gebaut,[br]ihr konntet den quasi fernsteuern mit
0:04:57.359,0:05:00.749
einer kleinen Windowssoftware.[br]T: Also eigentlich sollte dieser Trojaner
0:05:00.749,0:05:04.609
ja nur Skype abhören und vielleicht mal so[br]ein bisschen die Chatlogs mitlesen. Bei
0:05:04.609,0:05:08.380
der Analyse ist allerdings aufgefallen,[br]dass er weitaus mehr kann, unter anderem
0:05:08.380,0:05:12.979
auch Software nachladen, aber eben auch[br]Screenshots anfertigen und auch
0:05:12.979,0:05:18.050
Screenshots von nicht abgeschickten Emails[br]und Gedanken und was auch immer man in so
0:05:18.050,0:05:22.009
einen Rechner auch reintippt.[br]U: Im Grunde genau das Gruselszenario,
0:05:22.009,0:05:26.699
das wir gerade auch beim Club immer wieder[br]kritisiert hatten, weswegen Staatstrojaner
0:05:26.699,0:05:30.880
so gefährlich sind. Das war nun leider[br]allerdings nicht das Ende der Debatte, wie
0:05:30.880,0:05:35.029
es sich für so einen richtigen Zombie[br]gehört, sind Staatstrojaner einfach nicht
0:05:35.029,0:05:39.639
kaputt zu bekommen. Und so haben wir in[br]Deutschland seit 2017 wieder eine
0:05:39.639,0:05:44.759
Rechtsgrundlage für Staatstrojaner, eine[br]neue sogar, nämlich dieses Mal im
0:05:44.759,0:05:49.809
Strafverfahren. Das Bundeskriminalamt darf[br]die schon viel länger einsetzen seit 2009
0:05:49.809,0:05:54.111
allerdings nur zur Abwehr von Terrorismus[br]und diesmal wirklich. Diesmal steht es
0:05:54.111,0:05:59.759
sogar im Gesetz. Aber seit 2017 gibt’s ein[br]neues Gesetz, das im Prinzip in den
0:05:59.759,0:06:04.539
meisten Strafverfahren erlaubt, so[br]Trojaner einzusetzen. Deswegen hat die
0:06:04.539,0:06:08.770
Gesellschaft für Freiheitsrechte dagegen[br]geklagt. Darüber haben wir letztes Jahr
0:06:08.770,0:06:13.249
schon kurz gesprochen, weil wir sagen, was[br]dieser Trojaner kann, ist wieder mal
0:06:13.249,0:06:18.509
verfassungswidrig. Und wir kritisieren[br]aber nicht nur, dass der die Grenzen nicht
0:06:18.509,0:06:24.749
einhält, die das Bundesverfassungsgericht[br]aufgestellt hat, sondern wir fragen uns,
0:06:24.749,0:06:30.020
wie kommt der Trojaner eigentlich rein ins[br]System? Wie kommt er eigentlich rein? Bin
0:06:30.020,0:06:34.919
ich denn etwa schon drin? Damit geht’s uns[br]um die IT-Sicherheit insgesamt, weil wir
0:06:34.919,0:06:40.249
uns fragen, welche Sicherheitslücken[br]werden eigentlich freigehalten, offen
0:06:40.249,0:06:44.400
gehalten, ganz bewusst, damit so ein[br]Trojaner ins System eingespielt werden
0:06:44.400,0:06:48.879
kann. Denn nur in Ausnahmefällen haben die[br]Behörden direkt Zugriff auf das System. In
0:06:48.879,0:06:52.979
aller Regel müssen die Trojaner aus der[br]Ferne eingespielt werden und dazu braucht
0:06:52.979,0:06:58.120
man eben Sicherheitslücken. Deswegen die[br]Minimalforderung der GFF in diesem
0:06:58.120,0:07:03.229
Verfahren: Das geht gar nicht! Wenn man[br]schon eine Rechtsgrundlage für Trojaner
0:07:03.229,0:07:07.619
schafft, dann muss man auch klare[br]Spielregeln aufstellen, welche
0:07:07.619,0:07:11.789
Sicherheitslücken eigentlich ausgenutzt[br]werden dürfen. Denn sonst gibt es einen
0:07:11.789,0:07:15.241
großen Anreiz 0-days oder[br]Sicherheitslücken, die dem Hersteller noch
0:07:15.241,0:07:18.689
nicht bekannt sind, geheimzuhalten.[br]Und damit werden alle Computer
0:07:18.689,0:07:23.960
auf der Welt die Sicherheitslücke[br]weiter aufweisen. Apropos auf der Welt:
0:07:23.960,0:07:29.539
nicht nur deutsche Behörden finden[br]Trojaner außerordentlich sexy. Ganz im
0:07:29.539,0:07:34.789
Gegenteil. Die Weltkarte des Trojaner-[br]Einsatzes ist bemerkenswert rot.
0:07:34.789,0:07:41.189
T: Zumindest was diese FinFisher Spyware[br]angeht, gibt es hier vom Citizen Lab
0:07:41.189,0:07:47.280
erstellt, diese Karte, wo diese[br]Schadsoftware schon überall gefunden bzw.
0:07:47.280,0:07:53.240
eingesetzt wurde. Das ist natürlich schön,[br]dass wir uns in Deutschland darum bemühen,
0:07:53.240,0:07:57.082
da entsprechende Rechtsgrundlagen zu[br]schaffen. Wenn wir das hinkriegen, dass es
0:07:57.082,0:08:00.890
so eine Rechtsgrundlage gibt oder eben[br]diesen Schutz der Privatsphäre, dann heißt
0:08:00.890,0:08:03.319
das noch lange nicht, dass[br]wir das Problem los sind.
0:08:03.319,0:08:06.960
U: Ganz im Gegenteil![br]T: Das Ding ist halt, dass gerade in
0:08:06.960,0:08:11.909
diesem Fall wir davon ausgehen können,[br]dass diese Software, die hier weltweit
0:08:11.909,0:08:17.410
eingesetzt wird, um Leute[br]auszuspionieren, Made in Germany ist.
0:08:17.410,0:08:21.650
U: Das ist genau das Problem. Made in[br]Germany, aber eben nicht nur eingesetzt in
0:08:21.650,0:08:26.080
Deutschland, sondern auch in Staaten, wo[br]es mit der Rechtsstaatlichkeit vielleicht
0:08:26.080,0:08:30.639
nicht ganz so entspannt zugeht. Denn[br]besonders spannend sind Trojaner natürlich
0:08:30.639,0:08:35.430
für Menschen, die aus guten Gründen Stress[br]haben mit ihrer Opposition. Zum Beispiel
0:08:35.430,0:08:42.169
hier Präsident José Eduardo dos Santos aus[br]Angola. Der, jedenfalls nach Berichten,
0:08:42.169,0:08:49.870
auf der Kundenliste von FinFisher steht.[br]Oder Hamad bin Isa Al Chalifa, der sich
0:08:49.870,0:08:55.529
selbst im Jahr 2002 zum König von Bahrain[br]ausrief. Und bei der Rangliste der
0:08:55.529,0:09:00.319
Pressefreiheit aus dem Jahr 2017,[br]herausgegeben von Reporter ohne Grenzen,
0:09:00.319,0:09:07.180
belegt Bahrain den stolzen Platz 164 von[br]180. Mit anderen Worten: Pressefreiheit
0:09:07.180,0:09:10.949
bedeutet in diesem Land, zu schreiben, was[br]der Chef will. Die Presse in Bahrain
0:09:10.949,0:09:15.370
gehört zu den unfreiesten der Welt. Zensur[br]und repressive Gesetzgebung verhindern
0:09:15.370,0:09:20.089
freien Journalismus. Sechs Blogger und[br]Bürgerjournalisten sitzen in Haft, und das
0:09:20.089,0:09:24.769
alles wird unter anderem ermöglicht[br]dadurch, dass gezielt versucht wird,
0:09:24.769,0:09:32.120
Menschen zu hacken, die sich kritisch[br]äußern. Aber, die Probleme beginnen direkt
0:09:32.120,0:09:41.700
vor unserer Haustür.[br]T: Ja, wir haben auch in Europa, bzw. den
0:09:41.700,0:09:48.370
Anwärtern für die Europäische Union,[br]Staatslenker, die auch ein Problem haben
0:09:48.370,0:09:55.880
mit ihrer eigenen Bevölkerung und mit der[br]Opposition. Und nun gab es da halt diverse
0:09:55.880,0:10:01.160
Unruhen. Es gab einen Putschversuch. Im[br]Sommer 2016 gab es einen Putschversuch in
0:10:01.160,0:10:07.790
der Türkei. Die Türkei wandelte sich[br]danach zunehmend in ein eher repressives
0:10:07.790,0:10:11.720
Regime.[br]U: Und nach dem gescheiterten
0:10:11.720,0:10:17.779
Putschversuch wurden insgesamt mehr als[br]50 000 Menschen verhaftet. Mehr als 140 000
0:10:17.779,0:10:21.550
Menschen wurden aus ihren Berufen[br]entfernt. Die Türkei ist inzwischen das
0:10:21.550,0:10:27.050
Land geworden, in dem im Verhältnis zur[br]Bevölkerungszahl weltweit die meisten
0:10:27.050,0:10:31.069
Journalisten und Journalistinnen[br]inhaftiert sind. Eine lupenreine
0:10:31.069,0:10:35.500
Demokratie? Zurzeit befinden sich[br]mindestens 34 Journalisten in politischer
0:10:35.500,0:10:40.360
Gefangenschaft. Hunderte Zeitungen und[br]andere Medienorgane wurden geschlossen.
0:10:40.360,0:10:45.360
T: Es ist auch sehr, sehr auffällig, wie[br]dringend immer darauf hingewiesen wird,
0:10:45.360,0:10:50.990
dass die Leute, die dort inhaftiert sind,[br]unter Terrorverdacht stehen. Jeder, der
0:10:50.990,0:10:54.410
gerade zur falschen Zeit am falschen[br]Ort ist, wird dann auch mit diesem
0:10:54.410,0:10:56.850
Terrorismusverdacht erst[br]einmal weggesperrt.
0:10:56.850,0:11:01.220
U: Erfreulicherweise allerdings gibt es[br]trotz aller Repressalien auch in der
0:11:01.220,0:11:05.040
Türkei noch eine Oppositionsbewegung.[br]Beispielsweise, das sieht man auf diesem
0:11:05.040,0:11:12.310
Bild im Sommer 2017, als Oppositionelle in[br]der Türkei unter dem Motto adalet auf die
0:11:12.310,0:11:17.680
Straße gingen, um gegen das Regime zu[br]protestieren. Daraufhin allerdings hatte
0:11:17.680,0:11:23.170
der türkische Geheimdienst eine besonders[br]perfide Idee. Denn Demonstrationen gegen
0:11:23.170,0:11:28.610
den großen Meister gehen natürlich gar[br]nicht. Deswegen stellte der Geheimdienst
0:11:28.610,0:11:34.380
eine Website ins Netz, die – das seht ihr[br]auf dem Bild – auf den ersten Blick so
0:11:34.380,0:11:38.519
aussieht, als könnte das eine[br]Organisations-Website der
0:11:38.519,0:11:43.170
Oppositionsbewegung sein. Das sieht ja so[br]aus mit dem Logo und dem Bild, als wenn
0:11:43.170,0:11:48.380
das Menschen wären, die hinter diesen[br]Protesten stünden. Und auf dieser Seite,
0:11:48.380,0:11:52.050
von der man denken könnte, es sei eine[br]Protestwebsite, gab es dann diesen
0:11:52.050,0:11:57.160
schönen Button unten rechts, der so[br]aussieht, als ginge es dort in den Google
0:11:57.160,0:12:02.689
Play Store. Dort wurde eine Android-[br]Software, so eine APK-Datei, also eine
0:12:02.689,0:12:08.910
Android-Installationsdatei, zum Download[br]bereitgehalten für einige Wochen. Das
0:12:08.910,0:12:12.839
Problem ist nur, ihr ahnt es schon: es[br]handelte sich nicht etwa um einen
0:12:12.839,0:12:17.410
Messenger oder eine Kalender-App, mit der[br]die Oppositionellen sich hätten
0:12:17.410,0:12:23.089
organisieren können. In Wirklichkeit[br]handelte es sich dabei um einen Android-
0:12:23.089,0:12:30.759
Trojaner, den wir im weiteren als den[br]adalet-Trojaner bezeichnen. Die Frage ist
0:12:30.759,0:12:37.570
nur …[br]T: Woher kommt der Trojaner? Wir sind der
0:12:37.570,0:12:42.379
Meinung, nach aktuellem Stand, dass dieser[br]Trojaner, der in der Türkei gegen diese
0:12:42.379,0:12:47.730
Bewegung eingesetzt wurde, dass er aus[br]Deutschland stammt. Und wir haben einiges
0:12:47.730,0:12:54.670
an Arbeit investiert, um das auch mit[br]vielen Belegen begründen zu können, diesen
0:12:54.670,0:12:57.759
Verdacht.[br]U: Denn: Man kann sich das vorstellen,
0:12:57.759,0:13:01.779
Anna Biselli hat das so schön gesagt vor[br]zwei Tagen, wenn irgendwo ein Trog ist,
0:13:01.779,0:13:06.000
dann sind die Schweine nicht weit. Und[br]ebenso ist es bei Cyberwaffen. Wenn ein
0:13:06.000,0:13:11.120
Diktator mit Dollarbündeln wedelt, dann[br]finden sich immer wieder zwielichtige
0:13:11.120,0:13:15.040
Software-Unternehmen, die mit solchen[br]Trojanern Geld verdienen wollen.
0:13:15.040,0:13:19.170
Menschenrechte hin oder her.[br]Beispielsweise die Unternehmensgruppe
0:13:19.170,0:13:26.340
FinFisher aus München. Selbstbeschreibung:[br]Excellence in Cyber Investigation. Gegen
0:13:26.340,0:13:31.900
solche Trojaner-Hersteller vorzugehen ist[br]rechtlich schwierig. Das Problem dabei ist
0:13:31.900,0:13:36.279
nämlich, dass solche Trojaner unter[br]bestimmten Voraussetzungen ja legal
0:13:36.279,0:13:41.050
eingesetzt werden können. Das heißt[br]einfach nur Trojaner zu bauen ist nicht
0:13:41.050,0:13:45.579
illegal. Das gilt ganz besonders, wenn[br]auch deutsche Behörden zur dankbaren
0:13:45.579,0:13:50.540
Kundschaft gehören, beispielsweise nach[br]Presseberichten von Netzpolitik.org, das
0:13:50.540,0:13:55.160
Bundeskriminalamt, aber auch das Berliner[br]Landeskriminalamt. Mit anderen Worten:
0:13:55.160,0:14:01.110
FinFisher hat beste Beziehungen zu[br]deutschen Behörden. Aber man darf diese
0:14:01.110,0:14:09.630
Trojaner nicht einfach so exportieren,[br]denn sie gelten als Cyberwaffen. Der
0:14:09.630,0:14:14.529
Export von Trojanern ist zwar nicht[br]generell verboten, aber sie stehen auf der
0:14:14.529,0:14:19.769
sogenannten Ausfuhrliste. Das bedeutet,[br]man braucht vor dem Export von Trojanern
0:14:19.769,0:14:24.170
normalerweise eine Genehmigung der[br]Bundesregierung. Nur die EU-Staaten und
0:14:24.170,0:14:28.660
einige weitere Länder sind von dieser[br]Erfordernis, eine Genehmigung einzuholen,
0:14:28.660,0:14:34.259
ausgenommen. Und nun hatten wir in dem[br]adalet-Fall einen sehr, sehr schönen Fall.
0:14:34.259,0:14:38.620
Die türkische Regierung setzt einen[br]Trojaner gegen ihre Opposition ein. Mit
0:14:38.620,0:14:42.499
der türkischen Regierung gab es ohnehin[br]schon Stress genug. Und dieser Trojaner
0:14:42.499,0:14:48.790
stammt nun auch noch mutmaßlich aus[br]Deutschland. Und der Export war auch noch
0:14:48.790,0:14:52.529
illegal, weil es dafür keine Genehmigung[br]gab. Jedenfalls sagt das die
0:14:52.529,0:14:57.990
Bundesregierung. Und daher war für uns,[br]das heißt in diesem Fall Netzpolitik.org
0:14:57.990,0:15:02.529
zum Beispiel und die Gesellschaft für[br]Freiheitsrechte, ganz schnell klar, das
0:15:02.529,0:15:05.490
muss ein Fall für die[br]Staatsanwaltschaft werden. Wir haben
0:15:05.490,0:15:11.220
deswegen eine Koalition geschmiedet gegen[br]den illegalen Export von Staatstrojanern
0:15:11.220,0:15:15.280
unter Koordination der Gesellschaft für[br]Freiheitsrechte. Das hat da meine Kollegin
0:15:15.280,0:15:21.199
Sarah Lincoln gemacht. Reporter ohne[br]Grenzen, Netzpolitik.org und das ECCHR aus
0:15:21.199,0:15:24.889
Berlin – das European Center for[br]Constitutional and Human Rights – ihre
0:15:24.889,0:15:28.870
Kompetenz gebündelt, und wir haben[br]gemeinsam eine Strafanzeige geschrieben
0:15:28.870,0:15:33.899
und sie hier in diesem Sommer eingereicht,[br]um zu erreichen, dass die Verantwortlichen
0:15:33.899,0:15:38.120
bei der Firma FinFisher zur Rechenschaft[br]gezogen werden. Weil wir finden, genauso
0:15:38.120,0:15:42.499
wie deutsche Waffen nicht auf der ganzen[br]Welt mitmorden dürfen, genauso dürfen auch
0:15:42.499,0:15:46.459
nicht mit deutschen Trojanern[br]Menschenrechte weltweit oder in diesem
0:15:46.459,0:15:58.060
Fall in der Türkei verletzt werden.[br]Applaus
0:15:58.060,0:16:01.930
U: Hier haben wir nochmal[br]den Ablauf zusammengestellt.
0:16:01.930,0:16:12.010
T: Das ist jetzt die Timeline der Anzeige[br]bzw. wann das Sample, wir reden hier von
0:16:12.010,0:16:15.912
einem Sample, wenn wir jetzt von so einem[br]APK, so einer Schadsoftwareinstallation
0:16:15.912,0:16:22.139
reden, wann das verbreitet wurde, das war[br]dann im Juni 2017. Das ist definitiv nach
0:16:22.139,0:16:27.140
Einführung der Export-Richtlinien. Man[br]kann hier mit Gewissheit sagen, dass die
0:16:27.140,0:16:30.819
Zielgruppe die Oppositionellen in der[br]Türkei waren. Das ergibt sich aus dem
0:16:30.819,0:16:38.990
Kontext dieser Website und allem[br]drumherum. Und ja, es gab eine Anfrage an
0:16:38.990,0:16:43.429
die Bundesregierung, die letztlich[br]bestätigte, dass es in diesem Zeitraum
0:16:43.429,0:16:48.720
zwischen 2015 und 2017 keinerlei[br]Genehmigungen in dieser Richtung gab.
0:16:48.720,0:16:53.320
U: Damit war für uns klar, das reicht[br]jedenfalls für eine Strafanzeige.
0:16:53.320,0:16:57.458
Natürlich müssen noch ein paar Fakten[br]ermittelt werden. Aber jedenfalls reicht
0:16:57.458,0:17:01.879
es, um die Staatsanwaltschaft auf diesen[br]Fall aufmerksam zu machen. Und wir haben
0:17:01.879,0:17:05.809
auch eine ganze Reihe von Indizien, dass[br]der Fall sehr ernst genommen wird. Im
0:17:05.809,0:17:11.008
September 2019 haben wir diese[br]Strafanzeige dann veröffentlicht, unter
0:17:11.008,0:17:15.968
anderem auch auf Netzpolitik.org. Und wir[br]können mit Sicherheit davon ausgehen, dass
0:17:15.968,0:17:20.550
das die Herrschaften hinter FinFisher[br]nicht begeistert hat. Denn sie haben
0:17:20.550,0:17:26.051
Netzpolitik.org abgemahnt und dazu[br]gezwungen, den Artikel vorzeitig vom Netz
0:17:26.051,0:17:30.071
zu nehmen. Erfreulicherweise allerdings[br]hatte die Spendenkampagne von Netzpolitik
0:17:30.071,0:17:33.830
einigen Erfolg. Ich hoffe jedenfalls,[br]finanziell wird sich das nicht lohnen für
0:17:33.830,0:17:37.737
die Abmahner, aber klar, der Artikel ist[br]zurzeit nicht verfügbar, jedenfalls nicht
0:17:37.737,0:17:42.195
bei Netzpolitik. Es soll ja in diesem[br]Internet auch Archivseiten geben. Und dort
0:17:42.195,0:17:47.280
könnt ihr ihn nach wie vor lesen in seiner[br]vollen Schönheit. FinFisher und Kohl
0:17:47.280,0:17:54.142
schlagen zurück. Wir denken, getroffene[br]Hunde bellen. Und außerdem lassen wir uns
0:17:54.142,0:17:58.300
davon natürlich nicht einschüchtern. Wir[br]haben – Wir heißt in diesem Fall die
0:17:58.300,0:18:02.820
Gesellschaft für Freiheitsrechte – den Club[br]gebeten, sich die bisherigen Beweismittel
0:18:02.820,0:18:06.678
gegen FinFisher nochmal ganz genau[br]anzusehen und zu überlegen, ob es nicht
0:18:06.678,0:18:12.851
noch weitere Beweise geben könnte. Und das[br]Ziel dieser Mission war, noch genauer
0:18:12.851,0:18:16.740
nachzuweisen, dass tatsächlich die[br]Voraussetzungen vorliegen für den
0:18:16.740,0:18:20.764
Straftatbestand aus dem[br]Außenwirtschaftsgesetz. Ja, das ist die
0:18:20.764,0:18:25.691
Norm des deutschen Rechts, die[br]ungenehmigte Exporte unter Strafe stellt,
0:18:25.691,0:18:30.609
genaugenommen §18, Absatz 2, Nr. 1[br]und Absatz 5 Nr. 1 dieses
0:18:30.609,0:18:34.748
Außenwirtschaftsgesetzes. Ich erspare euch[br]die juristischen Details. Es ist im
0:18:34.748,0:18:37.430
Einzelnen ziemlich komplex.[br]Diese Norm verweist auf die
0:18:37.430,0:18:41.660
Außenwirtschaftsverordnung und die[br]wiederum auf einen langen Anhang, wo dann
0:18:41.660,0:18:47.015
quasi einzelne Kategorien von Gütern[br]aufgeführt sind, vom Kampfpanzer bis zum
0:18:47.015,0:18:49.720
Staatstrojaner kann man[br]dann nachlesen, was man
0:18:49.720,0:18:54.705
alles nur mit Genehmigung ausführen darf.[br]Und wir sind der Auffassung, dagegen wurde
0:18:54.705,0:19:00.539
verstoßen. Zwei rechtliche Fragen standen[br]im Mittelpunkt unserer Bitte an den Chaos
0:19:00.539,0:19:04.890
Computer Club, doch noch einmal ganz[br]genau, sich diese Trojaner anzuschauen.
0:19:04.890,0:19:09.680
Zwei rechtliche Fragen, oder, wie soll ich[br]sagen, zwei Tatsachenfragen, zwei Fakten-
0:19:09.680,0:19:13.870
Fragen, die aber eine große rechtliche[br]Bedeutung haben. Und zwar zum einen …
0:19:13.870,0:19:20.340
T: Zum einen der Herstellungszeitpunkt,[br]was wichtig ist und relevant ist, wenn es
0:19:20.340,0:19:27.244
darum geht herauszufinden: wurde diese[br]Software nach dem Stichtag Mitte 2015
0:19:27.244,0:19:30.680
hergestellt?[br]U: Ja, genau.
0:19:30.680,0:19:35.252
T: Wenn wir nachweisen können, dass eine[br]Software erst zu einem bestimmten
0:19:35.252,0:19:38.966
Zeitpunkt hergestellt wurde, dann können[br]wir auch davon ausgehen, dass sie erst
0:19:38.966,0:19:44.795
anschließend exportiert oder verkauft oder[br]eingesetzt wird. Und die zweite wichtige
0:19:44.795,0:19:49.402
Frage, wenn wir da jetzt mal ganz neutral[br]an die Sache rangehen. Wer hat dieses
0:19:49.402,0:19:52.830
Sample hergestellt? Es gibt den[br]Anfangsverdacht, dass es sich hierbei um
0:19:52.830,0:19:57.495
FinSpy von FinFischer handelt. Aber das[br]ist eben die Frage, die geklärt werden
0:19:57.495,0:20:02.470
sollte. Und das haben wir als Chaos[br]Computer Club dann einfach mal getan.
0:20:02.470,0:20:07.023
U: Und dazu gab es ja schon bisherige[br]Analysen. Andere Leute haben sich auch
0:20:07.023,0:20:12.571
schon mal FinFischer-Samples oder FinSpy-[br]Samples angeschaut. Diese Analysen waren
0:20:12.571,0:20:16.552
auch für euch der Ausgangspunkt.[br]T: Genau, so ganz am Anfang hieß es ja
0:20:16.552,0:20:20.308
auch, vor allen Dingen könnt ihr euch[br]nicht mal diese ganzen Analysen anschauen,
0:20:20.308,0:20:24.140
die da bisher veröffentlicht wurden, unter[br]anderem sehr viel von Citizen Lab. Die
0:20:24.140,0:20:28.389
haben sehr viel in diese Richtung gemacht,[br]nicht nur FinFischer Produkte werden da
0:20:28.389,0:20:33.703
von denen analysiert, sondern auch noch[br]andere. Dann ging es eben darum, zu prüfen,
0:20:33.703,0:20:37.550
ob das alles plausibel ist, was da drin[br]ist, ob man das alles reproduzieren kann,
0:20:37.550,0:20:41.356
ob man das Ganze dann auch nochmal als[br]Bericht so zusammenfassen kann, dass es
0:20:41.356,0:20:46.250
für deutsche Ermittlungsbehörden und ein[br]deutsches Gericht auch verwertbar ist.
0:20:46.250,0:20:50.600
Dazu haben wir uns dann auch noch ein[br]Gutachten von anderen Dritten angeschaut,
0:20:50.600,0:20:54.370
die so etwas ähnliches auch schon getan[br]haben. Da gibt es schon einen
0:20:54.370,0:21:02.902
Plausibilitätscheck aus 2018 von einer[br]Firma. Und 2018 hat Access Now auch noch
0:21:02.902,0:21:08.989
einmal einen Bericht, eine Zusammenfassung[br]all dessen veröffentlicht. Und jetzt für
0:21:08.989,0:21:15.030
die Klage gab es dann auch nochmal eine[br]technische Analyse. Ganz speziell dieses
0:21:15.030,0:21:21.150
adalet-Samples. Also dem eigentlichen[br]Gegenstand der ganzen Klage. Und wir haben
0:21:21.150,0:21:26.929
uns natürlich diese ganzen Dokumente[br]angeguckt, haben halt geschaut, sind da
0:21:26.929,0:21:30.594
irgendwo vielleicht noch Lücken, die wir[br]füllen können? Gibt es Dinge, die wir
0:21:30.594,0:21:34.072
ausführlicher beschreiben können,[br]transparenter machen können? Und das war
0:21:34.072,0:21:38.290
dann letztlich die Hauptarbeit, die wir[br]dabei geleistet haben. Wer jetzt erwartet,
0:21:38.290,0:21:42.060
dass es irgendwie total bahnbrechende[br]Neuigkeiten gibt über irgendwelche FinSpy-
0:21:42.060,0:21:47.374
oder FinFisher Trojaner, die Leute muss[br]ich leider enttäuschen. Wir haben halt
0:21:47.374,0:21:51.471
sehr viel der Arbeit anderer Leute[br]verifiziert. Wir haben aber auch noch ein
0:21:51.471,0:21:56.891
paar andere Indizien gefunden, die sehr[br]viel schwerer wiegen als manche andere
0:21:56.891,0:21:59.530
Punkte, die in den Reports vorher genannt[br]werden.
0:21:59.530,0:22:03.304
U: Und ihr habt schon, finde ich, einige[br]sehr, sehr spannende technische Details
0:22:03.304,0:22:07.162
noch rausgekramt, zu denen wir gleich noch[br]kommen. Z. B diese Provisionierung, wie
0:22:07.162,0:22:10.690
werden die Trojaner eigentlich angepasst?[br]Das fand ich schon ein sehr, sehr
0:22:10.690,0:22:14.861
spannendes technisches Detail. Ihr habt[br]dann vorgestern war es, ne, gestern war
0:22:14.861,0:22:19.005
es, die Analyse des CCC veröffentlicht.[br]T: Genau das haben wir gestern schon
0:22:19.005,0:22:22.953
veröffentlicht, damit man ein bisschen[br]Material hat. Ich hoffe auch, dass es,
0:22:22.953,0:22:27.233
wenn es die Zeit erlaubt, im Anschluss an[br]diesen Talk noch ein bisschen Q&A gibt.
0:22:27.233,0:22:31.859
Ja, wir haben einen sehr ausführlichen[br]Bericht darüber geschrieben, wie wir das
0:22:31.859,0:22:35.945
Ganze bewerten und wie wir die einzelnen[br]Indizien gewichten und zu was für einem
0:22:35.945,0:22:43.575
Schluss wir da gekommen sind. Was uns halt[br]sehr wichtig war an der Arbeit: Wir haben
0:22:43.575,0:22:47.845
am Ende auch alles veröffentlicht, im[br]Gegensatz zu all den anderen
0:22:47.845,0:22:51.940
Organisationen, die diese Arbeit auch[br]schon und auch sehr viel Arbeit investiert
0:22:51.940,0:22:57.388
haben. Wir haben sämtliche Samples, diese[br]Schadsoftware-Samples haben wir auf GitHub
0:22:57.388,0:23:01.580
veröffentlicht. Gibt’s nachher[br]noch einen Link.
0:23:01.580,0:23:09.172
Applaus[br]T: Es gibt auch in diesem GitHub
0:23:09.172,0:23:14.997
Repository gibt es auch sämtliche[br]Werkzeuge und Zwischenergebnisse, die wir
0:23:14.997,0:23:21.016
in unseren Analysen erlangt haben und[br]entwickelt haben. Mit dem Ziel, dass jeder
0:23:21.016,0:23:26.497
in der Lage ist, unsere Ergebnisse zu[br]reproduzieren. Das heißt, ihr habt die
0:23:26.497,0:23:30.780
Samples, ihr habt die Werkzeuge und die[br]Vorgehensweise, die wir ausführlich in
0:23:30.780,0:23:36.130
diesen 60 Seiten Bericht beschrieben[br]haben. Und ihr könnt das alles
0:23:36.130,0:23:41.776
nachvollziehen. Transparenz von unserer[br]Seite. Wir haben eine lückenfüllende
0:23:41.776,0:23:47.817
Zusammenfassung geschrieben.[br]U: Und nochmal ganz kurz der „Auftrag“
0:23:47.817,0:23:51.278
Selbstverständlich kann man[br]dem CCC keinen Auftrag geben.
0:23:51.278,0:23:54.599
Insbesondere hat die GFF den CCC[br]natürlich nicht bezahlt. Ja, das ist
0:23:54.599,0:23:58.200
ganz wichtig zu sagen. Es ist nicht[br]irgendwie eine gekaufte Stellungnahme,
0:23:58.200,0:24:01.928
sondern wir haben einfach nur gebeten,[br]wenn ihr euch dafür interessiert, schaut
0:24:01.928,0:24:05.637
euch das doch mal an. Das wäre wahnsinnig[br]hilfreich. Und ich finde in der Tat
0:24:05.637,0:24:09.480
großartig, dass der Club jetzt in der[br]Person von Thorsten insbesondere sich die
0:24:09.480,0:24:13.810
Zeit genommen hat. Ja, das ist nochmal[br]ganz kurz zusammenfassend der Auftrag.
0:24:13.810,0:24:17.718
Analysen verifizieren, die es schon gibt,[br]Lücken schließen in der Indizienkette und
0:24:17.718,0:24:21.580
natürlich weitere Samples gezielt[br]analysieren und die beiden zentralen
0:24:21.580,0:24:26.670
Fragestellungen aus rechtlicher[br]Perspektive: Wann ist dieser adalet-
0:24:26.670,0:24:30.710
Trojaner aus der Türkei oder der in der[br]Türkei eingesetzt wurde, hergestellt
0:24:30.710,0:24:36.260
worden und wo kommt er tatsächlich her?[br]Ja, und das sind jetzt eine ganze Reihe
0:24:36.260,0:24:40.000
von Samples, die hier auf GitHub.[br]T: Genau das. Hier sehen wir jetzt kurz
0:24:40.000,0:24:45.120
mal so ein Listing der Samples, die wir[br]analysiert haben. Das sind auch die
0:24:45.120,0:24:51.770
Original Schadsoftwaredateien. Da ist also[br]dieser Trojaner drinne, das befindet sich
0:24:51.770,0:24:55.820
gerade alles in dem GitHub Repository von[br]Linus Neumann, mit dem ich diese ganze
0:24:55.820,0:25:00.990
Analyse durchgeführt habe. Vielen[br]Dank auch nochmal an Linus.
0:25:00.990,0:25:09.010
Applaus[br]TS: Wir haben einige Nächte verbracht mit
0:25:09.010,0:25:13.930
diesen tollen Trojanern.[br]U: Eingesetzt wurden diese Samples eben
0:25:13.930,0:25:17.868
in Türkei, sagst du, in Vietnam und in[br]Myanmar. Das sind so die Länder, wo wir es
0:25:17.868,0:25:20.310
wissen.[br]T: Ja, was heißt Wissen, oder eben sehr
0:25:20.310,0:25:24.640
stark annehmen. Es ist nicht so leicht zu[br]sagen, wo sie eingesetzt wurden, wer sie
0:25:24.640,0:25:30.250
gekauft hat. Man kann das schlussfolgern[br]aus verschiedenen Indizien. Bei der Türkei
0:25:30.250,0:25:36.890
ist es relativ leicht, sag ich mal im[br]Kontext gesehen, weil wir ja auch diese
0:25:36.890,0:25:41.371
Website hatten, die sich dann auch gezielt[br]gegen die Zielgruppe richtete. Es gibt
0:25:41.371,0:25:46.920
auch Samples, wo man relativ sicher sagen[br]kann, dass sie z. B. in Myanmar eingesetzt
0:25:46.920,0:25:55.150
wurden, weil da eine sehr bekannte,[br]burmesische Social Platform genutzt wurde.
0:25:55.150,0:25:59.830
Also, dieser Name wurde genutzt, um dieses[br]Sample zu verbreiten. Das ist ein klares
0:25:59.830,0:26:04.351
Indiz, dass das gegen diese[br]Bevölkerungsgruppe ging. Bei Vietnam weiß
0:26:04.351,0:26:09.370
ich nicht genau. Diese Atrribution ist[br]halt eh schon ein schwieriges Thema.
0:26:09.370,0:26:13.110
Genauso schwierig ist es eben[br]herauszufinden, wo es eingesetzt wurde,
0:26:13.110,0:26:17.091
weil die ganzen Metadaten, die man dann in[br]den Samples findet, IP-Adressen,
0:26:17.091,0:26:20.350
Telefonnummern und so weiter. Die[br]sagen am Ende nicht viel aus.
0:26:20.350,0:26:23.595
U: Dazu sehen wir gleich noch ein[br]bisschen mehr. Aber fangen wir doch
0:26:23.595,0:26:27.244
vielleicht an mit der ersten zentralen[br]Frage, nämlich der Feststellung des
0:26:27.244,0:26:31.116
Herstellungszeitpunktes. Dazu habt ihr[br]euch eine ganze Reihe Gedanken gemacht,
0:26:31.116,0:26:35.023
wie man darauf kommen könnte.[br]T: Die zentralen Fragen waren, wann wurde
0:26:35.023,0:26:38.800
das hergestellt? Also haben wir uns all[br]diese ganzen Samples angesehen und haben
0:26:38.800,0:26:45.797
geguckt, ob wir da Indizien finden, dass[br]diese Software möglicherweise nach 2015
0:26:45.797,0:26:50.820
hergestellt wurde. Da gibt es verschiedene[br]Möglichkeiten. Grundsätzlich alles, was
0:26:50.820,0:26:57.194
wir jetzt in den Binaries und in diesen[br]Schadsoftware-Samples finden. Das ist dann
0:26:57.194,0:27:01.490
so der frühestmögliche Zeitpunkt. Wenn ich[br]beweisen kann, dass zum Beispiel eine
0:27:01.490,0:27:06.470
Komponente dieser Schadsoftware erst im[br]Mai 2016 überhaupt hergestellt oder
0:27:06.470,0:27:10.640
veröffentlicht wurde, dann bedeutet das[br]natürlich auch, dass das ganze
0:27:10.640,0:27:15.270
Schadsoftware-Sample erst nach diesem[br]Zeitpunkt hergestellt werden kann. Das ist
0:27:15.270,0:27:19.142
der frühestmöglichen Zeitpunkt. Das kann[br]also auch durchaus sein, dass es 2017
0:27:19.142,0:27:23.039
zusammengebaut und verschickt und verkauft[br]wurde. Das wissen wir nicht so genau.
0:27:23.039,0:27:26.750
U: Aber jedenfalls, eine Library, die[br]noch nicht veröffentlicht war, kann nicht
0:27:26.750,0:27:29.750
eingebaut werden, ne?[br]T: Genau deswegen haben wir sehr gezielt,
0:27:29.750,0:27:34.280
geh nochmal zurück, sehr gezielt nach[br]solchen Artefakten von Compilern gesucht
0:27:34.280,0:27:38.570
oder irgendwelche Zeichenketten aus[br]irgendwelchen Open-Source Produkten. Es
0:27:38.570,0:27:43.770
gibt aber auch in diesen APK-Dateien. Das[br]sind halt so die Android-Apps, liegen als
0:27:43.770,0:27:48.420
APK vor, das ist technisch gesehen nichts[br]weiter als ein ZIP-Archiv, was
0:27:48.420,0:27:53.330
wahrscheinlich alle von euch kennen[br]dürften. Und in diesen Archiven liegen
0:27:53.330,0:27:57.570
dann auch Zertifikate der Entwickler, die[br]dieses Paket veröffentlichen. Und anhand
0:27:57.570,0:28:03.250
dieser Zertifikate kann man z. B. auch[br]einen Zeitstempel einsehen, wann dieses
0:28:03.250,0:28:10.230
Zertifikat erstellt wurde. Das sagt jetzt[br]für unsere juristische Sichtweise nicht
0:28:10.230,0:28:13.640
besonders viel aus, weil man kann[br]ja ein Zertifikat mit einem beliebigen
0:28:13.640,0:28:18.990
Zeitstempel herstellen. Ich kann ja sagen,[br]ich gehe zurück in die Vergangenheit, oder
0:28:18.990,0:28:21.750
ich erstelle das in der Zukunft.[br]Das kann man alles machen.
0:28:21.750,0:28:25.150
U: Nur warum sollte man das tun?[br]T: Warum sollte man das tun? Vielleicht
0:28:25.150,0:28:28.926
gibt’s einen guten Grund dafür. Aber wir[br]haben uns ja auch aus diesem Grund und
0:28:28.926,0:28:33.900
genau deshalb Samples angeschaut, die bis[br]ins Jahr 2012 zurückreichen. Also wir
0:28:33.900,0:28:43.740
haben uns diese Trojaner-APKs angesehen,[br]die 2012 bis 2019 in die Öffentlichkeit
0:28:43.740,0:28:49.909
gelangten. Und wir können zumindest sagen,[br]wenn wir jetzt im Jahr 2019 sehen oder ein
0:28:49.909,0:28:53.340
Muster erkennen können, dass bestimmte[br]Zertifikate vielleicht auch in der
0:28:53.340,0:28:56.880
Vergangenheit genutzt wurden, dann kann[br]man sich schon fragen, ob das jetzt
0:28:56.880,0:29:02.400
plausibel ist oder nicht. Ansonsten gibt[br]es noch öffentliche Dokumentation. Dazu
0:29:02.400,0:29:06.810
gehörte das Sample selber. Das haben wir[br]auch nur aus dem Internet aus
0:29:06.810,0:29:12.790
verschiedenen Quellen, aber gegeben.[br]Deswegen ist es wichtig, sämtliche 28
0:29:12.790,0:29:16.560
Samples, die wir da hatten, anzuschauen:[br]Wann wurden die eigentlich im Einzelnen
0:29:16.560,0:29:20.470
hergestellt?[br]U: Ein Ansatzpunkt war der
0:29:20.470,0:29:26.430
Herstellungszeitpunkt von Bibliotheken.[br]T: Genau, hier sehen wir ein disassembly
0:29:26.430,0:29:31.676
von einem Shared Object, was da[br]mitgeliefert wurde, das bedeutet, diese
0:29:31.676,0:29:38.810
Android-Anwendungen sind ja eigentlich nur[br]Java-Anwendungen. Das heißt, da liegt Java
0:29:38.810,0:29:44.759
Bytecode drin und in Java hat man auch die[br]Möglichkeit, über das Java Native
0:29:44.759,0:29:50.390
Interface auch anderen Code aufzurufen,[br]der zum Beispiel vom Betriebssystem
0:29:50.390,0:29:55.755
bereitgestellt wird, oder eben in C, also[br]mit anderen Programmiersprachen
0:29:55.755,0:29:59.940
entwickelte Libraries, die mitgeliefert[br]werden und in dem Fall war; in diesem
0:29:59.940,0:30:05.470
Sample gab’s noch so Shared Object Files.[br]Das ist halt unter Linux-Betriebssysten haben
0:30:05.470,0:30:09.591
sie die Endung .so, unter Windows gibt's[br]ein ähnliches Konzept. Das sind dann
0:30:09.591,0:30:13.361
dynamische Bibliotheken, die als DLL[br]mitgeliefert werden. Und in dem Fall gab
0:30:13.361,0:30:19.656
es eine Bibliothek, in der wir bestimmte[br]Zeichenketten gefunden haben, die darauf
0:30:19.656,0:30:26.431
hindeuten, dass das definitiv erst 2016[br]hergestellt worden sein kann. Das sieht
0:30:26.431,0:30:30.400
man hier daran, das ist SQLite das ist ein[br]Open-Source-Projekt, so eine Open-Source
0:30:30.400,0:30:35.929
Datenbank. Und die hinterlässt dann in[br]diesem Kompilat diesen String. Das ist ein
0:30:35.929,0:30:41.303
Datum und irgendein Hash. Und wenn wir[br]uns dann mal anschauen, okay, wann taucht
0:30:41.303,0:30:45.370
denn dieser String eigentlich auf? Dann[br]können wir uns auf der Open-Source-Projekt-
0:30:45.370,0:30:52.731
Webseite anschauen, dass da tatsächlich[br]die SQLite Version 3.13 im Mai 2016
0:30:52.731,0:30:57.830
veröffentlicht wurde. Und lustigerweise[br]sehen wir hier genau diese Checksumme mit
0:30:57.830,0:31:03.730
genau dem gleichen String und somit können[br]wir eigentlich 100% davon ausgehen, dass
0:31:03.730,0:31:07.160
das hier sich sicherlich niemand[br]ausgedacht hat im Jahr 2012.
0:31:07.160,0:31:10.110
Ulf lacht[br]TS: Es ist ziemlich unwahrscheinlich.
0:31:10.110,0:31:17.100
Applaus[br]T: Ich hoffe ich laser dir nicht die Augen.
0:31:17.100,0:31:20.310
UB: Passt schon, ich schrei dann.[br]Und dann habt ihr euch die
0:31:20.310,0:31:23.973
Zertifikate angeschaut,[br]mit denen die Software signiert worden
0:31:23.973,0:31:27.800
ist, ne, die einzelnen Zertifizierungen?[br]T: Das haben wir auch gemacht, das haben
0:31:27.800,0:31:31.752
aber auch die anderen Researcher gemacht,[br]die sich das vor uns angeschaut haben. Die
0:31:31.752,0:31:35.400
haben das natürlich genauso analysiert.[br]Aber wir wollten ja auch die Analysen
0:31:35.400,0:31:38.970
analysieren, und das haben wir getan.[br]Deswegen der Vollständigkeit halber in
0:31:38.970,0:31:42.740
unserem Report natürlich auch nochmal ein[br]Zeitstrahl. Wir haben später noch eine
0:31:42.740,0:31:48.630
schöne Tabelle, wo man das gut sehen kann.[br]Hier sehen wir den Output, wenn man sich
0:31:48.630,0:31:52.900
dieses Zertifikat mal anschaut, was der[br]Entwickler genutzt hat, um dieses Paket zu
0:31:52.900,0:32:00.091
signieren. Hier sehen wir, dass es erzeugt[br]wurde im Oktober 2016. Passt also
0:32:00.091,0:32:04.130
zeitlich, wenn wir davon ausgehen, dass[br]das Zertifikat erstellt wurde, als dieses
0:32:04.130,0:32:10.400
Sample zusammengebaut wurde. Liegt halt[br]auch nach Mai 2016. Bis wann das gültig
0:32:10.400,0:32:16.230
ist, ist eigentlich völlig egal. Ja, das[br]Schöne wäre jetzt eigentlich, was hätten
0:32:16.230,0:32:20.010
wir jetzt hier, wenn wir da jetzt[br]irgendwelche Werte manipulieren, wenn wir
0:32:20.010,0:32:27.220
es zurück datieren? Schön. Dann könnten[br]wir Researcher in die Irre führen, wenn
0:32:27.220,0:32:31.460
jetzt hier zum Beispiel stehen würde, das[br]Zertifikat wurde 2012 erstellt. Dann
0:32:31.460,0:32:35.737
könnten wir überhaupt gar nichts darüber[br]aussagen. So vielleicht schon eher, was
0:32:35.737,0:32:39.360
hier noch auffällig ist, das wird später[br]noch relevant, es gibt auch diese
0:32:39.360,0:32:44.790
Fingerprints für diese Zertifikate. Das[br]sind diese langen SHA-Werte hier. Das ist
0:32:44.790,0:32:51.710
ein kryptographischer Hash über dieses[br]Zertifikat, über den key und der ist
0:32:51.710,0:32:59.024
einmalig. Also, wenn wir uns jetzt in den[br]28 Samples alle Zertifikate angucken, dann
0:32:59.024,0:33:03.831
vergleichen wir natürlich auch diesen[br]SHA-Wert, weil das ist der Fingerprint,
0:33:03.831,0:33:07.830
das drückt das schon ganz gut aus. Das ist[br]ein Fingerabdruck, wenn wir genau diesen
0:33:07.830,0:33:12.080
Fingerabdruck in einem anderem Sample[br]finden, dann können wir zumindest auch
0:33:12.080,0:33:16.280
eine Aussage darüber treffen, dass beide[br]Samples, unabhängig davon, wann sie
0:33:16.280,0:33:20.140
jeweils veröffentlicht wurden, dass beide[br]vom gleichen Hersteller stammen. Und das
0:33:20.140,0:33:23.890
ist auch ein wichtiger Punkt für diese[br]ganze Schlussfolgerung am Ende.
0:33:23.890,0:33:28.450
U: Zunächst mal aber können diese beiden[br]Aspekte, die du genannt hast, die
0:33:28.450,0:33:34.740
Bibliotheken und die Zertifikate im Grunde[br]den Schluss tragen, dass dieses adalet-
0:33:34.740,0:33:39.800
Sample jedenfalls nicht vor dem 18. Mai[br]2016 erstellt worden sein kann. Einfach
0:33:39.800,0:33:42.720
weil es da diese SQlite-Bibliothek[br]noch nicht gab.
0:33:42.720,0:33:47.460
T: Genau, das ist ein so schweres Indiz,[br]dass ich definitiv sagen kann, dass es
0:33:47.460,0:33:51.310
nicht vor Mai 2016 hergestellt worden ist.[br]UB: Damit liegt dieses Datum jedenfalls
0:33:51.310,0:33:55.090
nach dem Inkrafttreten der Verbote, von[br]denen ich anfangs gesprochen habe. Das
0:33:55.090,0:33:58.928
heißt also, dieses Sample wäre dann, wenn[br]es tatsächlich in die Türkei exportiert
0:33:58.928,0:34:04.470
worden ist, unter Verstoß dagegen[br]exportiert worden. Zweiter Aspekt
0:34:04.470,0:34:09.118
vielleicht noch wichtiger, die[br]Feststellung der Herkunft. Was für ein
0:34:09.118,0:34:13.263
Vieh war denn jetzt eigentlich dieses[br]adalet-Trojanerchen?
0:34:13.263,0:34:20.649
T: Dafür haben wir, wie ich sagte,[br]Samples aus dem Zeitraum von sieben Jahren
0:34:20.649,0:34:25.369
uns angeschaut und geguckt. Was haben die[br]für Gemeinsamkeiten? Was lässt darauf
0:34:25.369,0:34:29.290
schließen, dass die aus einem Hause[br]stammen? Da braucht uns in dem Moment noch
0:34:29.290,0:34:34.181
gar nicht interessieren, wie dieses Haus[br]überhaupt heißt. Uns ist nur wichtig
0:34:34.181,0:34:37.850
gewesen herauszufinden, ob die einen[br]Zusammenhang haben. Dafür haben wir diese
0:34:37.850,0:34:41.521
Code-Signing-Zertifikate miteinander[br]verglichen, wie ich eben schon sagte. Es
0:34:41.521,0:34:45.041
gibt noch ein paar andere Indizien[br]übrigens, für diese Zeitgeschichte. Aber
0:34:45.041,0:34:48.609
die spielt jetzt hier keine besonders[br]große Rolle. Der Coding-Style ist auch
0:34:48.609,0:34:52.220
eine wichtige Rolle. Wie ich schon sagte,[br]diese APKs, diese Anwendungen, sind
0:34:52.220,0:34:57.511
eigentlich in Java programmiert. Man kann[br]auch noch Shared-Object-Bibliotheken
0:34:57.511,0:35:01.250
daneben legen, die vielleicht in anderen[br]Programmiersprachen entwickelt wurden.
0:35:01.250,0:35:07.550
Aber man kann sowohl im Dekompilat des[br]Java-Codes als auch im Disassembly dieser
0:35:07.550,0:35:13.508
Bibliotheken einen gewissen Coding-Style[br]ablesen. Man kann verschiedene
0:35:13.508,0:35:17.470
Variablennamen miteinander vergleichen,[br]wenn keine Obfuscation am Start war. Also
0:35:17.470,0:35:24.210
Mittel, um Code-Herkunft und Code-Struktur[br]zu verschleiern. Wir können die Code-Basis
0:35:24.210,0:35:27.990
miteinander vergleichen, also auf einer[br]rein funktionellen Ebene. Wir können uns
0:35:27.990,0:35:31.720
anschauen. Sind die Funktionen in der[br]einen Anwendung vorhanden, die aus dem
0:35:31.720,0:35:35.190
Jahr 2012 stammt, und sind die gleichen[br]Funktionen auch vorhanden in der
0:35:35.190,0:35:40.500
Anwendung, die aus 2014 stammt und 2017[br]und so weiter? Das können wir schon
0:35:40.500,0:35:45.070
miteinander vergleichen und auch Diffs[br]feststellen, also Unterschiede zwischen
0:35:45.070,0:35:49.440
den Versionen. So können wir von einer[br]Evolution sprechen oder eine Beobachtung
0:35:49.440,0:35:55.500
dieser Evolution einer bestimmten[br]Schadsoftware. Wir haben sehr stark darauf
0:35:55.500,0:36:01.550
geachtet, ob wir zum Beispiel sehen[br]können, welche Sprache, welche
0:36:01.550,0:36:07.640
Muttersprache die Entwickler sprechen. Das[br]sehen wir an manchen Stellen sehr
0:36:07.640,0:36:11.620
deutlich. Komme ich nachher noch mit[br]Beispielen zu. Dann schauen wir uns auch
0:36:11.620,0:36:14.760
an, wann und wie die[br]provisioniert wurden und ob es
0:36:14.760,0:36:18.490
da irgendwelche Ähnlichkeiten gibt.[br]U: Provisionierung bedeutet quasi, dass
0:36:18.490,0:36:22.270
dieser Trojaner jeweils angepasst wurde[br]für den spezifischen Einsatzzweck. Das
0:36:22.270,0:36:26.170
heißt, dieser Trojaner ist im Prinzip eine[br]Massenware oder jedenfalls eine vielfach
0:36:26.170,0:36:29.770
eingesetzte Software. Aber für das[br]jeweilige Land wurden dann
0:36:29.770,0:36:33.850
unterschiedliche Parameter gesetzt. Dazu[br]kommen wir auch gleich noch. Das Spannende
0:36:33.850,0:36:37.622
dabei ist, was Thorsten gerade beschrieben[br]hat. Das sind zunächst mal vor allem
0:36:37.622,0:36:41.210
Parallelen zwischen unterschiedlichen[br]Samples. Das heißt, da kann man sagen,
0:36:41.210,0:36:44.880
diese Samples kommen wohl mehr oder[br]weniger aus derselben Küche. Aber das sagt
0:36:44.880,0:36:48.740
ja zunächst mal noch nicht, welche Küche[br]das ist. Um das sagen zu können, braucht
0:36:48.740,0:36:53.650
es noch einen zweiten Schritt, nämlich das[br]Finden von Samples bestätigter Herkunft.
0:36:53.650,0:36:57.350
Das heißt, wenn man weiß, bestimmte[br]Samples gehören zusammen, kommen aus
0:36:57.350,0:37:01.450
demselben Haus, und man kann dann[br]wenigstens ein Sample oder zwei Samples
0:37:01.450,0:37:05.490
einem ganz konkreten Hersteller zuweisen.[br]Dann gilt es, jedenfalls mit sehr hoher
0:37:05.490,0:37:10.780
Wahrscheinlichkeit, auch für alle anderen[br]Samples aus dieser Herstellungslinie. Und
0:37:10.780,0:37:14.380
da muss man ganz ehrlich sagen, sind wir[br]zu großer Dankbarkeit verpflichtet.
0:37:14.380,0:37:21.870
T: Ja, Phineas Fisher hatte einen[br]größeren Batzen Daten aus dem Hause
0:37:21.870,0:37:24.720
FinFisher getragen und veröffentlicht.[br]U: Tipp!
0:37:24.720,0:37:29.660
T: Es gibt da ein 41 Gigabyte großes[br]File, wo sehr viele Samples drinne sind,
0:37:29.660,0:37:32.200
die wir auch analysiert haben.[br]U: Hier sieht man das.
0:37:32.200,0:37:37.090
T: Vielen Dank nochmal Phineas Fisher![br]Applaus
0:37:37.090,0:37:43.440
U: Mit anderen Worten, es ist für diese[br]Analyse ein großer Vorteil, dass es
0:37:43.440,0:37:48.900
bestimmte Samples gibt, die aus diesem[br]Phineas Fisher Hack stammen und die man
0:37:48.900,0:37:52.430
mit sehr großer Wahrscheinlichkeit[br]aufgrund vieler Indizien dieser
0:37:52.430,0:37:57.137
Firmengruppe FinFisher zuordnen kann. Das[br]heißt, man hat 2 Anker, oder wieviele
0:37:57.137,0:37:59.330
Samples sind da drin? 2?[br]T: Jaja.
0:37:59.330,0:38:03.580
U: Das heißt, man hat quasi 2 Ankerpunkte[br]und kann sich dann von diesen Ankerpunkten
0:38:03.580,0:38:08.220
über den Vergleich von Samples weiter[br]vorhangeln. Aber das ändert natürlich
0:38:08.220,0:38:13.780
nichts daran: Attribution is hard.[br]T: Sehr hart. Wir suchen also natürlich
0:38:13.780,0:38:18.360
noch weiter nach Indizien, die auf den[br]Urheber schließen lassen. Die
0:38:18.360,0:38:22.420
Attributierung von Schadsoftware, wenn mal[br]irgendwie wieder der Bundestag gehackt
0:38:22.420,0:38:26.370
wurde oder irgendjemand anders, da kommen[br]dann immer ganz schnell Leute, die sagen,
0:38:26.370,0:38:30.130
die Russen waren es, die Chinesen waren es[br]und so weiter. Das ist alles nicht so
0:38:30.130,0:38:34.020
leicht. Wir müssen diese Attributierung[br]allerdings auch ein Stück weit durchführen
0:38:34.020,0:38:39.110
und hangeln uns dann aber auch entlang an[br]dem jeweiligen Kontext, zum Beispiel, wo
0:38:39.110,0:38:47.520
so ein Sample eingesetzt wurde. Wie dieses[br]adalet-Sample zum Beispiel. Es gibt ja
0:38:47.520,0:38:52.120
grundsätzlich die Möglichkeit, das auch zu[br]faken. Wenn ich sage, ich bin jetzt
0:38:52.120,0:38:57.020
irgendwie irgendeine Hackergruppe oder ein[br]Konkurrent von FinFisher, dann will ich
0:38:57.020,0:39:01.620
die vielleicht in einem schlechteren Licht[br]dastehen lassen. Und fake jetzt vielleicht
0:39:01.620,0:39:05.880
mal irgendwie Malware von denen und mache[br]dann so False-FlagGeschichten. Das ist
0:39:05.880,0:39:10.470
natürlich alles möglich, aber in diesen[br]einzelnen Fällen relativ unwahrscheinlich.
0:39:10.470,0:39:12.670
U: Auch sowas könnte[br]man theoretisch faken.
0:39:12.670,0:39:18.240
T: Das kann man definitiv faken. Das ist[br]jetzt, was wir jetzt hier sehen, die
0:39:18.240,0:39:21.290
verarbeitete Ausgabe von so einer[br]Konfiguration, von so einer
0:39:21.290,0:39:25.261
Provisionierung. wie Ulf schon sagte,[br]diese einzelnen Samples werden ja nicht
0:39:25.261,0:39:28.800
jedes Mal neu kompiliert und neu[br]entwickelt. Da gibt es dann einfach
0:39:28.800,0:39:33.390
verschiedene Parameter, die für den Case[br]des jeweiligen Einsatzes notwendig sind.
0:39:33.390,0:39:38.180
Und das wäre dann so eine Konfiguration.[br]Da steht dann jetzt zum Beispiel, ja der
0:39:38.180,0:39:42.680
Proxy fürs nach-Hause-Telefonieren hat die[br]IP-Adresse oder den Hostnamen. Dann sieht
0:39:42.680,0:39:49.400
man hier auch noch eine TargetID, in dem[br]Fall adalet. Das hat, wer auch immer
0:39:49.400,0:39:53.000
diesen Trojaner zusammengebaut hat, sich[br]ausgedacht. Dann gibt es noch
0:39:53.000,0:39:58.140
Telefonnummern, wo SMS hingeschickt werden[br]oder wo angerufen werden kann. Und in dem
0:39:58.140,0:40:03.070
Fall kann man ganz gut sehen, dass diese[br]Attributierung schlecht, hard ist. Denn
0:40:03.070,0:40:07.450
die IP-Adresse stammt aus Deutschland. Die[br]Telefonnummer ist eine israelische, und
0:40:07.450,0:40:12.980
die andere Telefonnummer ist eine[br]internationale Mehrwert-Rufnummer. Da
0:40:12.980,0:40:18.300
lässt sich jetzt noch nicht so stark[br]darauf schließen, dass das tatsächlich von
0:40:18.300,0:40:21.880
türkischen Behörden eingesetzt wurde.[br]U: Etwas anders sieht es aus bei der
0:40:21.880,0:40:26.260
Familie der Samples, die ihr analysiert[br]habt. Denn da hilft euch ja das
0:40:26.260,0:40:28.490
Zertifikat, das zum Signieren verwendet[br]wurde.
0:40:28.490,0:40:32.300
T: Genau das sind ein paar Indizien, die[br]wir da herausgepickt haben, anhand derer
0:40:32.300,0:40:36.110
wir irgendwie bestimmte Gruppen[br]zusammenfassen können. Also was gehört
0:40:36.110,0:40:42.640
definitiv zusammen, was nicht? Diese Liste[br]sieht jetzt sehr wirr aus. Was hier grün
0:40:42.640,0:40:46.613
markiert ist, ist das adalet-Sample, von[br]dem wir quasi so ausgehen. Wir wollen also
0:40:46.613,0:40:53.560
Parallelen finden zu diesem adalet-Sample.[br]Alles, was hier rot markiert ist, hat eine
0:40:53.560,0:40:57.671
Parallele. Das stammt nämlich alles aus[br]dem Leak von Phineas Fischer. Alles was da
0:40:57.671,0:41:04.960
oben gelb markiert ist, wurde 2012[br]schon mal veröffentlicht und es gibt
0:41:04.960,0:41:09.121
entsprechende Analysen und verschiedene[br]Indizien, die darauf hinweisen, dass es
0:41:09.121,0:41:13.960
auch aus dem Hause FinFischer stammt. Wenn[br]wir jetzt mal davon ausgehen, dass das
0:41:13.960,0:41:17.780
hier aus dem Hause FinFisher stammt, weil[br]es in dem Leak war, dann haben wir hier
0:41:17.780,0:41:23.560
ein Sample, das nennt sich „421and“. „421“[br]scheint die Versionsnummer zu sein, „and“
0:41:23.560,0:41:30.740
heißt Android. Wir sehen hier, das ist[br]dieser Fingerprint von diesem Zertifikat,
0:41:30.740,0:41:34.820
was ich vorhin noch erklärt habe. Diesen[br]Fingerprint finden wir hier oben wieder.
0:41:34.820,0:41:40.550
Zwei Jahre vorher sind da oben schon[br]Samples in die Öffentlichkeit gelangt, die
0:41:40.550,0:41:45.020
genau den gleichen Fingerprint haben. Und[br]dann haben wir hier oben dieses „Andriod“.
0:41:45.020,0:41:49.070
Das ist ein Tippfehler, aber der stammt[br]halt so von denen. Das muss ein Demo-
0:41:49.070,0:41:56.280
Sample sein. Da hat diese Firma offenbar[br]mal gezeigt, was dieser Trojaner so kann.
0:41:56.280,0:42:01.220
Und dann haben sie den halt so[br]provisioniert, mit Zeichenketten, also
0:42:01.220,0:42:07.710
Webserver-URLs, die auf Gamma[br]International schließen lassen. Und es
0:42:07.710,0:42:11.870
wurde aber auch noch ein in-the-wild-[br]Sample damit signiert, mit dem gleichen
0:42:11.870,0:42:17.630
Zertifikat. Dieses „derise“ ist das, was[br]in Vietnam identifiziert wurde und auch
0:42:17.630,0:42:23.940
vietnamesische IP-Adressen, Telefonnummern[br]und so weiter drinne hat. Wie gesagt
0:42:23.940,0:42:28.230
Attributierung ist schwierig, aber an dem[br]Fall kann man auf jeden Fall sagen, dass
0:42:28.230,0:42:34.870
hier Demo-Samples und in-the-wild-Samples[br]definitiv aus einem Hause stammen, anhand
0:42:34.870,0:42:41.150
dieser Zertifikats-Fingerprints.[br]U: Der nächste Schritt, den ihr gemacht
0:42:41.150,0:42:45.420
habt, ist tatsächlich euch mal die Struktur[br]der einzelnen Samples anzuschauen, also
0:42:45.420,0:42:49.850
insbesondere wie diese Software von ihrem[br]logischen Ablauf her funktioniert.
0:42:49.850,0:42:53.660
T: Genau. Wir haben uns dann verschiedene[br]Funktionen angeguckt und haben halt mal
0:42:53.660,0:42:56.940
geguckt „Was sehen wir so an den[br]Funktionen?“. Ich habe ja gesagt, wir
0:42:56.940,0:43:00.760
schauen uns auch so ein bisschen diesen[br]Coding-Style an, was für Variablen werden
0:43:00.760,0:43:04.420
da genommen, wenn wir uns Java-Code[br]angucken können, der nicht obfuskiert ist.
0:43:04.420,0:43:10.640
Hier sehen wir zwei Samples und zwar das,[br]was aus dem Leak stammt von 2014. Das ist
0:43:10.640,0:43:17.460
auch irgendwie so eine Art Demo. Und 2016[br]– also, ich sage jetzt mal 2016, weil das
0:43:17.460,0:43:23.670
definitiv noch 2016 hergestellt wurde – [br]das adalet-Sample. Sie hatten hier so ein
0:43:23.670,0:43:26.940
Refactoring durchgeführt. Also eine[br]Umbenennung aller Variablen und
0:43:26.940,0:43:33.290
Funktionsnamen und so weiter. Das ist ein[br]und dieselbe Funktion, das kann man sehen,
0:43:33.290,0:43:37.200
wenn man sich den Code durchliest. Jetzt[br]wollte ich hier aber keinen Source Code an
0:43:37.200,0:43:42.740
die Wand werfen. Deswegen habe ich hier so[br]einen Call Flow, abgeleitet aus dem Source
0:43:42.740,0:43:49.440
Code. Das ist eine Funktion namens Run. In[br]dem Sample von 2014 liegt das in einer
0:43:49.440,0:43:55.310
Klasse namens SMS. In dem Sample adalet[br]legt es in einer Klasse namens s1ms, was
0:43:55.310,0:44:01.650
in Leetspeak hin geschrieben wurde. Und[br]wir sehen hier ganz klar, dass in dieser
0:44:01.650,0:44:05.560
Funktion effektiv der gleiche Code[br]ausgeführt wird mit ganz marginalen
0:44:05.560,0:44:11.250
Abweichungen. Das kann, zumindest nach[br]unserer Einschätzung, definitiv kein
0:44:11.250,0:44:16.510
Zufall sein. Das heißt, das ist eine[br]Weiterentwicklung der ganzen Samples aus
0:44:16.510,0:44:22.480
dem Jahr 2012, 2014 und jetzt auch in[br]2016. Das ist die Information, was wir da
0:44:22.480,0:44:27.290
rausziehen konnten.[br]U: Und zugleich kann man ja auch Schlüsse
0:44:27.290,0:44:32.280
ziehen aus diesem Leetspeak. Denn wenn man[br]sich überlegt: der Begriff SMS ist etwas
0:44:32.280,0:44:35.810
typisch Deutsches. Man versteht es[br]vielleicht noch in anderen Ländern, aber
0:44:35.810,0:44:40.780
man spricht normalerweise nicht von SMS.[br]Jedenfalls nicht im englischen Sprachraum
0:44:40.780,0:44:45.260
und insbesondere, wenn man dann noch das[br]Verb „simsen“ sich überlegt. Also in
0:44:45.260,0:44:51.170
Leetspeak dann „S 1 M S“ wie simsen. Das[br]ist was ganz typisch deutsches. Und ich
0:44:51.170,0:44:54.369
jedenfalls kann mir nicht so richtig[br]vorstellen, dass ein türkischer
0:44:54.369,0:44:56.650
Programmierer mit einem Mal von "simsen"[br]spricht.
0:44:56.650,0:45:00.090
T: Genauso wenig kann ich mir vorstellen,[br]dass das ein englischsprachiger
0:45:00.090,0:45:05.030
Programmierer tut. Dieses Wort „simsen“[br]wurde irgendwann mal modern und jeder hat
0:45:05.030,0:45:09.380
es benutzt sodass es sogar in den Duden[br]aufgenommen wurde. Und das Wort simsen
0:45:09.380,0:45:12.921
findet man halt wirklich nur im deutschen[br]Sprachgebrauch, und es ist schwer
0:45:12.921,0:45:16.910
vorstellbar, dass jemand, der nicht[br]Deutsch-Muttersprachler ist, dieses Wort
0:45:16.910,0:45:23.260
in einem Code verwenden würde, wenn es im[br]Kontext um SMS abfangen geht und das Ganze
0:45:23.260,0:45:27.100
auch noch mit Leetspeak verschleiert wird.[br]U: Aber ihr habt ja noch eine andere
0:45:27.100,0:45:31.020
Technologie, Stichwort Verschleierung,[br]gefunden, die außerordentlich pfiffig ist,
0:45:31.020,0:45:34.890
muss man sagen. Jedenfalls ich war sehr[br]beeindruckt, als ich diese Analyse gelesen
0:45:34.890,0:45:38.760
habe, nämlich wie eigentlich diese Daten,[br]diese Parameter, die wir eben schon kurz
0:45:38.760,0:45:42.900
gesehen haben zur Provisionierung[br]eigentlich in den Viren-Samples abgelegt
0:45:42.900,0:45:47.600
oder eigentlich versteckt worden.[br]T: Da hat sich der Entwickler ein
0:45:47.600,0:45:51.320
Verfahren ausgedacht, das ist so eine Art[br]Covered Channel, also ein versteckter
0:45:51.320,0:45:54.790
Kanal, so ein bisschen ähnlich wie[br]Steganografie, wenn man das kennt. Ich
0:45:54.790,0:45:58.200
verstecke Informationen in[br]Dateistrukturen, sodass man das
0:45:58.200,0:46:03.010
automatisiert oder mit bloßem Auge nicht[br]besonders leicht erkennen kann. Was für
0:46:03.010,0:46:06.940
Konfigurationen muss man hier verstecken?[br]Wie ich schon sagte, es gibt halt so die
0:46:06.940,0:46:10.864
Telefonnummern, die angerufen werden oder[br]wo SMS hin geschickt werden. Es gibt IP-
0:46:10.864,0:46:15.130
Adressen, zu denen sich die Schadsoftware[br]verbindet, damit ein Command-and-Control-
0:46:15.130,0:46:20.100
Server da übernehmen und lenken kann. Und[br]wie lange die Maßnahme dauert et cetera.
0:46:20.100,0:46:24.770
Das alles ist in einer Konfiguration[br]abgespeichert, die irgendwie in dieses APK
0:46:24.770,0:46:28.510
rein gedrückt werden muss.[br]U: Und dabei ist euch aufgefallen, als
0:46:28.510,0:46:32.580
ihr euch die Samples angesehen habt, dass[br]alle ein identisches Verfahren einsetzen.
0:46:32.580,0:46:36.200
T: Die benutzen alle das identische[br]Verfahren. Also, wir haben das jetzt auch
0:46:36.200,0:46:40.100
nicht entdeckt. Dieses Verfahren haben[br]andere, Josh Grunzweig beispielsweise
0:46:40.100,0:46:44.860
2012, auch schon in einem Blog-Beitrag[br]veröffentlicht, als er FinSpy-Samples
0:46:44.860,0:46:49.880
analysiert hat. Das ist nichts[br]bahnbrechendes Neues, aber wir konnten
0:46:49.880,0:46:56.390
zumindest jetzt einfach mal über die[br]7 Jahre hinweg beobachten, dass dieses
0:46:56.390,0:46:59.910
Verfahren in allen Samples eingesetzt[br]wird. Und damit, da es eben auch kein
0:46:59.910,0:47:03.761
Standardverfahren ist, um in irgendwelchen[br]APKs Schadsoftware zu verstecken oder
0:47:03.761,0:47:08.360
überhaupt Daten zu verstecken, können wir[br]im Grunde genommen davon ausgehen, dass
0:47:08.360,0:47:13.070
diese Technologie wirklich von einem[br]Hersteller stammt. Das heißt, dass all
0:47:13.070,0:47:17.030
diese Samples, diese 28 Stück, die wir uns[br]angeguckt haben, dass die aus einem Hause
0:47:17.030,0:47:19.370
stammen.[br]U: Und wie sieht das jetzt genau aus? Das
0:47:19.370,0:47:22.610
hier ist der Datei-Kopf. Nee, das ist[br]nicht der Datei-Kopf sondern …
0:47:22.610,0:47:26.420
T: Das sind Teile eines … Also ein APK[br]ist, wie ich schon sagte, technisch
0:47:26.420,0:47:30.850
gesehen nur ein ZIP-Archiv. Und in diesem[br]ZIP-Archiv stecken Metainformationen über
0:47:30.850,0:47:37.180
die im Archiv enthaltenen Dateien. Und[br]dafür gibt es dann diese Central Directory
0:47:37.180,0:47:42.810
Structure und verschiedene Felder. Das ist[br]dann so ein Header. Da sind verschiedene
0:47:42.810,0:47:49.430
Bytes und Bitfelder festgelegt, die die[br]Eigenschaften dieser im Archiv enthaltenen
0:47:49.430,0:47:56.300
Datei beschreiben. Eine wichtige[br]Metainformation, die genutzt werden kann,
0:47:56.300,0:48:00.671
um Daten zu transportieren, ohne dass man[br]es leicht sieht, sind diese
0:48:00.671,0:48:08.290
Dateisystemattribute. Die ZIP-[br]Spezifikation sieht vor, dass es 2 Byte
0:48:08.290,0:48:14.380
oder 16 Bit für interne File-Attribute[br]gibt. Und sie sieht vor, dass es 32 Bit
0:48:14.380,0:48:20.000
für die Dateisystemattribute auf dem Ziel-[br]Betriebssystem gibt. Somit haben wir hier
0:48:20.000,0:48:26.700
6 Byte pro Central Directory Structure zur[br]Verfügung, um Daten zu verstecken, denn
0:48:26.700,0:48:30.710
wir können da ja beliebig idiotische File-[br]Attribute setzen. Und das ist das, was sie
0:48:30.710,0:48:34.710
gemacht haben. Die ergeben dann zwar, wenn[br]man die Dateien entpackt, auf dem Ziel-
0:48:34.710,0:48:38.530
Betriebssystem keinen Sinn mehr, müssen[br]sie aber auch nicht, weil die Daten gar
0:48:38.530,0:48:42.380
nicht genutzt werden. Das sind einfach[br]irgendwelche Dummy-Dateien. Das sieht man
0:48:42.380,0:48:48.380
hier. Hier sehen wir im Hex-Editor so ein[br]APK und diese Strukturen. Wir haben diese
0:48:48.380,0:48:53.550
Signatur, diese PKZIP-Signatur ganz am[br]Anfang, die ist hier gelb markiert, und
0:48:53.550,0:49:00.500
ein Offset von 36 Byte später, kommen dann[br]diese 6 Byte Dateisystemattribute. Und wer
0:49:00.500,0:49:05.050
sich so ein bisschen mit Unix oder[br]Dateisystemen auskennt, sieht auch, dass
0:49:05.050,0:49:11.250
das jetzt hier keine Bitfelder sind für[br]Attribute, die Sinn ergeben. Nein, was wir
0:49:11.250,0:49:19.141
hier sehen, sind BASE64 codierte Daten.[br]Und wenn man jetzt dieses ZIP-File einmal
0:49:19.141,0:49:25.510
parst und sich alle diese CDS-Signaturen[br]herauspickt und dann diese Dateisystem …
0:49:25.510,0:49:32.810
diese Dateiattribute aneinander hängt,[br]anschließend diesen ganzen String, der
0:49:32.810,0:49:39.920
dabei herausfällt BASE64-dekodiert, dann[br]fällt daraus später eine Binärdatei, die
0:49:39.920,0:49:44.470
genau die Konfiguration dieser[br]Schadsoftware beinhaltet. Das wurde,
0:49:44.470,0:49:47.910
wie gesagt, alles schon mal[br]dokumentiert, wir haben das jetzt einfach
0:49:47.910,0:49:51.860
alles noch einmal nachvollzogen und auf[br]alle Samples angewendet und geguckt, was
0:49:51.860,0:49:55.300
dabei rausfällt. Das heißt dann im ersten[br]Schritt: Wir müssen die Dateien
0:49:55.300,0:49:58.510
extrahieren. In einem zweiten Schritt[br]müssen wir die Dateien parsen.
0:49:58.510,0:50:02.360
U: Und das Tool dazu findet sich jetzt[br]wieder auf der Website. Das heißt, das
0:50:02.360,0:50:06.180
müsst ihr uns oder vorallem Thorsten und[br]Linus nicht glauben. Das könnt ihr alles
0:50:06.180,0:50:09.900
selber nachprüfen, wenn ihr eines der[br]Samples runterladet und die Tools darüber
0:50:09.900,0:50:13.630
laufen lasst. Und wir hoffen, dass auf[br]diese Art und Weise noch weitere Samples
0:50:13.630,0:50:17.460
analysiert werden können. Das ist jetzt[br]noch mal ein Überblick, wie sowas dann in
0:50:17.460,0:50:21.410
der Gesamtheit aussehen kann. Wir müssen[br]ein ganz bisschen springen an der Stelle
0:50:21.410,0:50:25.430
und schauen, wo wir dann weitermachen.[br]Genau das ist dann so eine Konfiguration,
0:50:25.430,0:50:28.950
wie sie in der Summe aussieht.[br]T: Genau, das ist jetzt dieses „Andriod“
0:50:28.950,0:50:34.290
Beispiel, was 2012 schon auf VirusTotal[br]gelandet ist. Hier sehen wir, wie ich
0:50:34.290,0:50:38.637
schon angedeutet habe, es gibt dann so[br]Hostnamen, die schon den Namen beinhalten.
0:50:38.637,0:50:42.020
Ich muss aber auch nochmal dazusagen: Es[br]hat jetzt keine besonders große
0:50:42.020,0:50:45.830
Aussagekraft, wenn man ein Sample für sich[br]betrachtet und solche Zeichenketten da
0:50:45.830,0:50:50.030
drin findet. Denn Josh Grunzweig, der das[br]schon 2012 in seinem Blog dokumentiert
0:50:50.030,0:50:53.490
hat, hat auch schon ein Tool[br]veröffentlicht auf GitHub, womit man genau
0:50:53.490,0:50:59.671
so eine Konfiguration herstellen kann und[br]in so ein APK reindrücken kann. Das heißt,
0:50:59.671,0:51:02.550
man könnte im Grunde[br]genommen sowas auch faken.
0:51:02.550,0:51:07.030
U: Das heißt, die Aussage ist tatsächlich[br]weniger „Was steht drin in diesen
0:51:07.030,0:51:11.700
versteckten Konfigurationsinformationen?“[br]Sondern die Aussage ist: Alle Samples
0:51:11.700,0:51:15.820
verwenden die gleiche Technik, die gleiche[br]proprietäre und auch ziemlich ausgefuchste
0:51:15.820,0:51:20.540
Technik, um diese Daten zu verstecken in[br]der APK-Datei. Und diese Gleichheit ist
0:51:20.540,0:51:24.993
die eigentliche Aussage dieser Analyse.[br]Alle untersuchten Samples nutzen eben
0:51:24.993,0:51:28.260
diesen proprietären Mechanismus. Und du[br]sagst, das Format wurde aber
0:51:28.260,0:51:32.760
weiterentwickelt?[br]T: Es sieht ganz danach aus, wenn man,
0:51:32.760,0:51:36.980
sich den Inhalt dieser Binärdatei anguckt.[br]Sie benutzen dann so eine Art Directory,
0:51:36.980,0:51:42.661
um Nummern bestimmten Funktionen oder[br]Variablennamen zuzuweisen. Das ist auch
0:51:42.661,0:51:47.080
der Punkt, was es einfach macht, diese[br]Konfiguration zu parsen, zu verarbeiten
0:51:47.080,0:51:50.300
und herauszufinden, welche[br]Werte bedeuten was.
0:51:50.300,0:51:53.070
U: Diese Werte sind zum[br]Beispiel diese hier.
0:51:53.070,0:51:56.711
T: Beispielsweise das. Im adalet-Sample[br]gibt es, wie ich vorhin schon gezeigt
0:51:56.711,0:52:00.600
habe, verschiedene Werte, die jetzt auch[br]nicht unbedingt auf die Türkei hindeuten.
0:52:00.600,0:52:04.720
Dann gibt es auch aus dem gleichen[br]Zeitraum noch einen flash28-Sample, was
0:52:04.720,0:52:08.770
große Ähnlichkeiten und Parallelen mit dem[br]adalet-Sampel aufweist. Da wird z. B. ein
0:52:08.770,0:52:14.170
Proxy aus Neuseeland genommen, ansonsten[br]die gleiche Telefonnummer und dieses
0:52:14.170,0:52:19.640
derise-Sample hat, wie ich auch schon[br]angedeutet habe, sämtliche Werte, die
0:52:19.640,0:52:23.860
davon relevant sind, zeigen Richtung[br]Vietnam. Ob das etwas aussagt? Keine
0:52:23.860,0:52:27.920
Ahnung. In jedem Fall haben wir auch all[br]das, diese ganzen Configs, die wir daraus
0:52:27.920,0:52:35.400
extrahiert haben, haben wir auch auf[br]GitHub veröffentlicht. Das findet ihr bei
0:52:35.400,0:52:39.110
Linus in der FinSpy-Dokumentation, wo[br]auch der Bericht und alle anderen Samples
0:52:39.110,0:52:41.310
liegen.[br]U: Genau und vielleicht mag sich ja mal
0:52:41.310,0:52:44.750
jemand diese Telefonnummern anschauen,[br]vielleicht kennt die ja jemand aus
0:52:44.750,0:52:48.130
irgendwelchen anderen Zusammenhängen. Das[br]könnten noch ganz interessante
0:52:48.130,0:52:51.900
Rückschlüsse werden. Da würden wir uns[br]über Hinweise freuen. Und insgesamt sieht
0:52:51.900,0:52:58.970
man dabei – das ist die Übersicht über die[br]Samples, die ihr analysiert habt. Aber man
0:52:58.970,0:53:03.010
sieht, denke ich, ganz gut, dass es da so[br]etwas wie eine Familienstruktur gibt.
0:53:03.010,0:53:06.820
T: Genau. Der einzige, der hier so ein[br]bisschen aus der Reihe fällt, ist das Ding
0:53:06.820,0:53:10.640
hier. Das Ding, hab ich jetzt einfach mal[br]Container genannt, weil es sonst keinen
0:53:10.640,0:53:14.170
Namen hatte. Das ist ein APK, was[br]überhaupt keine Parallelen zu den anderen
0:53:14.170,0:53:18.031
aufweist. Aber dieses eine Sample hebt[br]sich insofern von den anderen ab, als dass
0:53:18.031,0:53:21.980
wir das jetzt hier noch mit aufgenommen[br]haben, das dropped, also legt, quasi eine
0:53:21.980,0:53:26.700
Schadsoftware APK überhaupt erst ab. In[br]diesem grau markierten Sample gibt es
0:53:26.700,0:53:32.380
einen lokalen Root Kernel Exploit gegen[br]den Linux-Kernel auf Android-Devices. Die
0:53:32.380,0:53:38.110
nutzen da die als „Dirty COW“ bekannte[br]Schwachstelle aus, um Root auf dem Telefon
0:53:38.110,0:53:42.170
zu werden. Da liegen dann noch Werkzeuge,[br]um persistent Root zu bleiben. Und dann
0:53:42.170,0:53:47.800
liegt da halt auch noch ein Sample,[br]nämlich dieses hier, dieses PyawApp. Ich
0:53:47.800,0:53:52.859
weiß nicht, wie man das ausspricht. Das[br]ist das Ding, wo wir davon ausgehen, dass
0:53:52.859,0:53:58.120
es in diesem Kontext Myanmar zugeschrieben[br]wird. Weil Pyaw ein sehr bekanntes
0:53:58.120,0:54:03.490
soziales Netzwerk in der Region ist.[br]U: Und die Antwort aus technischer
0:54:03.490,0:54:08.280
Perspektive. Vieles davon haben wir im[br]Grunde schon gesagt. Aber in der
0:54:08.280,0:54:12.430
Zusammenfassung …[br]T: Wie gesagt, sämtliche Samples, die wir
0:54:12.430,0:54:15.440
hier analysiert haben, benutzen den[br]gleichen Mechanismus für die
0:54:15.440,0:54:19.530
Provisionierung. Diese ganzen[br]Konfigurationen liegen in einem sehr
0:54:19.530,0:54:25.550
speziellen, Binärformat vor. Das ist kein[br]allgemeingültiges Format, muss also
0:54:25.550,0:54:29.300
definitiv aus einem Hause stammen. Wir[br]haben große Ähnlichkeiten auch unterhalb
0:54:29.300,0:54:34.600
des Java-Codes, wo es auch Hinweise darauf[br]gibt, dass es aus deutschem Hause stammt.
0:54:34.600,0:54:42.980
Wir können ganz genau sagen, dass das[br]adalet-Sample frühestens im Jahr 2016
0:54:42.980,0:54:49.160
hergestellt wurde. Und die Samples[br]zwischen 2012 und 2014 können auch ganz
0:54:49.160,0:54:53.510
eindeutig der Firma FinFisher zugeordnet[br]werden, weswegen da eigentlich in der
0:54:53.510,0:54:57.420
Schlussfolgerung auch klar gesagt werden[br]kann, dass all diese Samples, die wir uns
0:54:57.420,0:55:02.300
zwischen 2012 und 2019 angeguckt haben,[br]der Firma oder der Firmengruppe FinFisher
0:55:02.300,0:55:04.760
zuzuordnen ist.[br]U: Und all das könnt ihr nochmal im
0:55:04.760,0:55:09.310
Detail nachlesen in der Studie des CCC,[br]die schon veröffentlicht wurde gestern und
0:55:09.310,0:55:13.660
wie gesagt, ganz wichtig, wir möchten die[br]eigentlich gerne noch auf Englisch
0:55:13.660,0:55:17.330
publizieren. Wir haben deswegen schon mal[br]eine URL für ein Pad auf die Folie
0:55:17.330,0:55:20.779
geworfen. Das Pad gibt’s da nicht, das[br]füllen wir noch aus mit einer Roh-
0:55:20.779,0:55:24.440
Übersetzung aus Google Translate. Oder[br]vielleicht mag das auch jemand von euch
0:55:24.440,0:55:26.730
machen.[br]T: Wir würden das gerne crowdsourcen.
0:55:26.730,0:55:30.460
U: Das ist ein bisschen die Idee dabei,[br]weil das schon ein bisschen Arbeit ist,
0:55:30.460,0:55:34.210
und wir schaffen das einfach schnell,[br]jetzt, während des Kongresses nicht. Aber
0:55:34.210,0:55:37.880
vielleicht hat jemand Lust uns zu helfen.[br]Das wird die URL. Und vor allem ganz
0:55:37.880,0:55:41.740
wichtig: Check the facts! Das werden wir[br]natürlich aus GFF-Perspektive machen. Wir
0:55:41.740,0:55:45.241
gehen davon aus, dass es auch die[br]Staatsanwaltschaft machen wird. Aber ich
0:55:45.241,0:55:49.040
persönlich finde es großartig, dass der[br]CCC die Tools und die ganzen Unterlagen,
0:55:49.040,0:55:52.859
die zur Analyse vorlagen, ins Netz[br]gestellt hat. Einfach, damit man das nicht
0:55:52.859,0:55:56.390
unbedingt glauben muss, sondern dass man[br]selber sich davon überzeugen kann.
0:55:56.390,0:56:00.400
T: Transparenz ist uns sehr wichtig. Und[br]hier auch noch ein kleiner Gruß ans BKA
0:56:00.400,0:56:07.100
und LKA. Ihr habt diese Samples ja auch in[br]einer ganz neuen Version. Vielleicht könnt
0:56:07.100,0:56:10.710
ihr euch das ja mal angucken, und wir sind[br]offen für Pull-Requests.
0:56:10.710,0:56:21.670
Applaus[br]U: Ein Pull-Request aus Wiesbaden? Das
0:56:21.670,0:56:24.340
wäre doch mal eine gute Idee oder eben[br]auch aus Berlin.
0:56:24.340,0:56:26.450
T: Ihr könnt auch Tor benutzen, das ist[br]egal.
0:56:26.450,0:56:30.020
U: Kein Problem, da sind wir ganz offen.[br]Und das Berliner LKA könnte da auch
0:56:30.020,0:56:33.649
mitmachen. Die haben ja auch mal ein[br]Sample gekauft, das aber nie eingesetzt.
0:56:33.649,0:56:37.369
Sie brauchen das eh nicht mehr. Insofern,[br]das hätten sie über. Was bedeutet das
0:56:37.369,0:56:41.040
jetzt alles für das Strafverfahren? Aus[br]unserer Perspektive als GFF: Wir haben
0:56:41.040,0:56:44.890
keine Zweifel und natürlich auch aus der[br]Perspektive des Clubs, dass der deutsche
0:56:44.890,0:56:48.740
Trojaner FinFisher gegen die türkische[br]Opposition eingesetzt wurde, davon sind
0:56:48.740,0:56:52.880
wir fest überzeugt. Irgendwie muss dieser[br]Trojaner aus München in die Hände
0:56:52.880,0:56:56.660
türkischer Behörden gelangt sein oder[br]sonst aus den Händen der Firmengruppe
0:56:56.660,0:57:00.800
FinFisher. Und diese Verstoße gegen die[br]Exportkontrollvorschriften wären auch noch
0:57:00.800,0:57:04.550
nicht verjährt. Und deswegen liegt der[br]Ball jetzt bei der Staatsanwaltschaft
0:57:04.550,0:57:09.740
München 1. Denn eine Frage ist noch offen:[br]Wie genau ist eigentlich der Trojaner in
0:57:09.740,0:57:14.230
die Türkei gelangt? Wir können jetzt quasi[br]nicht irgendwie nachweisen, da ist der
0:57:14.230,0:57:18.710
Agent mit dem schwarzen Aktentäschchen[br]nach Istanbul gereist, oder da ist der
0:57:18.710,0:57:24.080
USB-Stick geflogen, sondern das müssten[br]die Strafverfolger noch aufklären. Aber
0:57:24.080,0:57:27.300
wie gesagt, dafür haben wir die[br]Strafanzeige gestellt. Dazu hat die
0:57:27.300,0:57:31.080
Staatsanwaltschaft alle Mittel. Und wir[br]hoffen, dass sie das sehr konsequent tun
0:57:31.080,0:57:34.710
wird. Denn eins ist klar: Menschenrechte[br]kann man nicht nur mit Kalaschnikows
0:57:34.710,0:57:39.250
verletzen, sondern selbstverständlich auch[br]mit Staatstrojanern. Und dem muss ein Ende
0:57:39.250,0:57:40.840
gemacht werden. Vielen Dank!
0:57:40.840,0:57:43.600
Applaus
0:57:43.600,0:57:53.830
U: Herzlichen Dank, wir haben noch ganz[br]ein wenig Zeit, oder?
0:57:53.830,0:57:56.770
T: Naja, eine Minute.[br]Herald: Euer Applaus. Wunderschön!
0:57:56.770,0:58:00.290
U: Dankeschön![br]Herald: Wir haben leider keine Zeit mehr
0:58:00.290,0:58:05.640
für Fragen. Ich habe ganz zu Anfang vor[br]diesem Talk erwähnt, dass es die C3 Post
0:58:05.640,0:58:11.849
gibt. Und die beiden Speaker haben[br]erwähnt, dass sie am 28C3 einen
0:58:11.849,0:58:16.550
Datenträger bekommen haben. Damals[br]bestimmt anders zugestellt, es gab noch
0:58:16.550,0:58:20.910
keine C3 Post. Heute bin ich Postbote, und[br]ich darf zustellen. Ein Paket.
0:58:20.910,0:58:26.110
U: Herzlichen Dank, ach so, das ist deins.[br]Erst nach dem Talk öffnen, machen wir,
0:58:26.110,0:58:30.330
ganz herzlichen Dank.[br]T: Dankeschön.
0:58:30.330,0:58:33.570
Applaus
0:58:33.570,0:58:39.771
Herald: Und wenn ihr für einen Malware-[br]Hersteller arbeitet, ich hoffe, dieses
0:58:39.771,0:58:45.580
Paket enthält euren Albtraum für heute[br]Nacht. Großen Applaus für Thorsten
0:58:45.580,0:58:47.930
Schröder und Ulf Buermeyer!
0:58:47.930,0:58:49.990
Applaus
0:58:49.990,0:58:53.340
Abspannmusik
0:58:53.340,0:59:05.730
Untertitel erstellt von c3subtitles.de[br]im Jahr 2020. Mach mit und hilf uns!