35c3 Vorspannmusik
Herald: Nun folgt der Vortrag "Mehr
schlecht als recht: Grauzone
Sicherheitsforschung" mit Dominik und
Fabian. Stellt euch vor ihr seid Forscher.
Ihr wollt euch ein Stück Software genauer
angucken, verstehen wie es funktioniert,
und macht das, was üblich ist: Reverse
Engineering. Dabei findet eine
Sicherheitslücke. Wenn man so in den
Programm-Schedule von diesem Kongress
guckt, ist das jetzt nicht allzu
unübliches was passiert. Aber plötzlich
kommt Post vom Anwalt. Von dieser
Geschichte erzählen uns die beiden
Forscher Dominik und Fabian. Begrüßt sie
und ihren Leidensweg mit einem großen
Applaus.
Dominik: Danke schön. Genau, wir halten,
mein Kollege Fabian und ich halten einen
Talk. Warum stehen wir hier? Hats gerade
schon angedeutet, das hat irgendwas mit
rechtlichen Dingen zu tun. Disclaimer
vorweg: Wir sind keine Rechtsanwälte.
Applaus
D: Ich muss auch dazu sagen: Es sind nicht
nur wir beide betroffen gewesen, es waren
acht Leute insgesamt die rechtliche
Turbulenzen verwickelt waren. Das waren
zwei Gruppen komplett unabhängiger
Forscher, einmal das Team, im Folgenden
Team FAU, von der Friedrich-Alexander-
Universität Erlangen. Das sind drei Leute
von der FAU und mich, Ich bin inzwischen
an der TU Berlin, und das andere Team, des
Team TUM aus München, TU München, vier
Leute inklusive Fabian. Und eigentlich
einer noch von der TU Eindhoven, der wurde
aber im Laufe des Prozesses irgendwie von
der Gegenseite einfach ignoriert. Ja, ist
okay, er hat sich nicht darüber beschwert.
Gelächter
D: Das einzige was wir gemeinsam haben
ist, dass wir keiner Lösung trauen, die
absolute Sicherheit bewirkt. Wer macht so
was? Die sogenannte Antragstellerin, das
ist eine Anbieterin von Sicherheitslösung.
Das Versprechen ist: "Gib mir deine
Software, ich mache sie sicher, egal wie
böse das Betriebssystem ist." Schützt vor
Malware, Man-in-the-Middle, Code
Injektionen, Spyware. Also einfach vor
allem. Und warum haben wir beide Gruppen
uns das angeschaut? Wegen der relativ
hohen Verbreitung im deutschen Markt, das
war der Grund. Genau. Wie ist das Ganze,
wie hat das angefangen? Wir haben das
letztes Jahr angeschaut, und daraus ging
dann so eine Veröffentlichung hervor.
Langsam ging das los, erst einmal einen
Artikel in der Süddeutschen ende letzten
Jahres. Ihr seht rechts auf den Folien
immer schön die Zeitleiste - Blau ist
dafür das color coding des Team FAU, Grün
ist die TU München. Wir haben das gemeldet
und ohne weitere Details einen
Zeitungsartikel veröffentlicht, und dann
einen Monat später gab es einen Vortrag
auf dem Kongress dazu, "Die fabelhafte
Welt des Mobilebankings" von Vincent
Haupert von der FAU in Nürnberg. Und
darauf ausliegend haben wir dann ein Paper
noch geschrieben, also ein
wissenschaftliches Papier, das wir auf der
DIMVA dieses Jahres vorgestellt haben,
"Honey, I Shrunk Your App Security". Da
haben wir dann nicht nur die
Antragstellerin betrachtet, sondern auch
noch das umliegende Umfeld. Also, wir
haben uns auch nicht auf diese eine Firma
verschossen, sondern wir haben uns dann
auch noch ein bisschen den Markt
angeschaut. Das war eigentlich so das von
uns, und dann war es für uns auch vorbei
das Thema. Deswegen kommt jetzt Fabian.
Fabian: Ja, danke Dominik, das Problem an
dieser ganzen Geschichte ist, das es
leider ziemlich verzwickt ist, und es gibt
zwei Zeitstränge, die quasi an einigen
Stellen parallel ablaufen, ich erzähl euch
jetzt, was gleichzeitig an der TUM
geschah. Was passiert ist, ist dass ein
Kollege von mir aus unserer Autorengruppe
an der TUM sich die Elster-App für die
Elektronische Lohnsteuererklärung
angeschaut hat und festgestellt hat "naja,
das was da drinne ist, dass sieht ziemlich
nach dem aus, was der Vincent auf dem 34c3
schon mal auf dem Talk erwähnt hat". So
ist der allererste Kontakt zu Stande
gekommen. Zu dem Zeitpunkt war das Paper
auf der DIMVA gerade conditionally
accepted, wenn ich mich richtig entsinne,
und dann floss ein bisschen was von
unserer Analyse in das Paper noch mit ein.
Was wir außerdem gefunden haben ist ein
sogenannte Whitebox-Kryptografie, die ein
zusätzlicher Schutz-Baustein in der
Software der Antragstellerin ist. Und wir
hatten eigentlich, wir wollten uns das
schon immer mal länger anschauen, und
haben gedacht "okay, zu diesem
akademischen Diskurs 'bringt Whitebox-
Kryptographie etwas, bringt ist nichts'
ohne jetzt genau zu wissen, was das genau
ist" wollten wir was beitragen. Wir haben
dann versucht, ein Paper zu
veröffentlichen und haben ein Paper auf
dem 12. USENIX-Workshop on offensive
Technologies, der kurz WOOT'18,
eingereicht und wir haben uns dann sehr
gefreut, dass es conditionally accepted
wurde, knapp einen Monat später. Haben wir
tatsächlich nicht mit gerechnet. Dann sind
wir überrascht worden das erste Mal so
knapp, man sieht das hier an der
Zeitleiste, ein paar Wochen nach dem wir
das conditionally accepted bekommen haben,
gab es eine E-Mail vom CTO der
Antragstellerin mit dem Betreff
"Responsible Disclosure violation", da
sind das erste mal aus allen Wolken
gefallen. Eigentlich, man muss dazu sagen,
unsere Findings, das es eigentlich... Wir
haben da zwar reverse engineering
betrieben, aber es war eigentlich, wir
haben nicht so direkt ein Sicherheitsleck
da gefunden tatsächlich. Es ging
eigentlich mehr um etwas vergleich mit der
akademischen Welt. Wir haben trotzdem die
Forschungsergebnisse, die wir hatten, und
einen Vorabzug des Papers der Firma um die
es da ging zur Verfügung gestellt, und
haben dann, die waren natürlich nicht
begeistert, und dann haben wir über
verschiedene Aspekte unseres Papiers mit
denen zehn Tage lang diskutiert.
D: Hm, ja, Überraschung. Wir hatten ja zu
dem Zeitpunkt, habe ich vorhin schon
dargelegt, eigentlich abgeschlossen gehabt
mit dem Thema, wir hatten unser Papier
released, das ist so in der Wissenschaft
üblicherweise, da hat man dann nicht mehr
so viel damit zu tun. Und plötzlich
flattert so ein Schreiben, offiziell
aussehendes Schreiben, also erstmal eine
Mail am Freitagabend, am Montag kam dann
auch das per Post: "Bitte einmal
unterschreiben". Im Volksmund wird das
eine Abmahnung genannt. Worum ging es da?
In E-Mails von der Rechtsanwaltskanzlei
zur "Forderung der Abgabe einer
strafebewährten Unterlassungserklärung",
das muss ablesen. Mit der Frist von, also
Freitag Abend kam das an, nur zwei
Werktagen, was nicht sehr viel ist.
Verstoß gegen, ja gegen was könnten wir
verstoßen haben? Wir sind böse Hacker,
deswegen wahrscheinlich irgendwas mit
Hackersachen, genau, Urheberrecht, und
natürlich waren wir auch noch Wettbewerber
und haben unlauteren Wettbewerb betrieben.
Wir haben uns gewundert. Die Forderungen
waren folgendermaßen: kein Reverse
Engineering mehr machen, also zumindest
der Software der Antragstellerin, keine
Schutzmaßnahmen umgehen, die die hier
irgendwie, das ist ja irgendwie ihr Job,
ne? Die machen Schutzmaßnahmen, wir dürfen
die nicht mehr umgehen. Damit ist dann der
Schutz perfekt.
Gelächter und Applaus
D: Nichts mehr veröffentlichen, und keine
Software mehr erwerben oder besitzen, die
entweder A oder B ermöglicht, also kein,
hört auf mit eurem Job, ein Leben lang.
Strafe je Verstoß 10 000 Euro. Also jedes
mal, wenn ich IDA aus versehen irgendwo...
Egal. Strafrechtliche Konsequenzen auch
noch angedroht. Also so ein böser
Nebensatz der sagt "ja übrigens, obwohl
ihr hier vielleicht das unterschreibt, ihr
könntet dann trotzdem noch auf anderem
Wege belangt werden". Das fanden wir nicht
so gut. Ich hatte jetzt die glückliche
Situation: Easy, an der Uni, ich bin ja
Forscher und so. Ich habe da angerufen
"Ja, ich hab ein Problem, brauche die
Rechtsabteilung." Und die Rechtsabteilung
sofort: "Ja, überhaupt gar kein Problem,
machen Sie sich keine Sorgen, Wir kümmern
uns um das Thema." Damit bin ich fertig,
danke für eure Aufmerksamkeit, ich gebe
zurück an Fabian.
Gelächter und Applaus
F: Ja, jetzt wäre es ja schön gewesen,
wenn das für uns auch so einfach gewesen
wäre. Wir haben diesen schönen Brief in
Form eines Vorabzugs per E-Mail an einem
Freitag bekommen, ich glaube es war
irgendwie so 15:00, 15:30 oderso. Wir
saßen glücklicherweise noch in einer
Besprechung meiner Chefin, meiner
Professorin, die mein Promotionsprojekt
betreut, und die hat dann gleich reagiert
und mal die Rechtsabteilung angerufen. Na
gut, Uni, ich weiß nicht, könnt ihr euch
überlegen, was passiert, wenn mal mal um
16 Uhr an einem Freitag da versucht
irgendjemanden zu erreichen. Es war zum
Glück tatsächlich noch jemand da, also es
war noch jemand da der unsere Anfrage erst
mal aufgenommen hat. Es hieß allerdings
tatsächlich nur, dass der Herr
Oberregierungsrat, der sich das anschauen
könnte, der ist leider nicht mehr im Haus,
ich gebe ihm das gleich am Montag. Ihr
habt hier so einen kleinen Kalender, um zu
sehen wie knapp das war: Also am 20. haben
wir es bekommen, der 24. war die Frist -
bis dahin sollten wir das Zurückschicken,
unterschrieben, dann könnten wir
vielleicht den zivilrechtlichen
Forderungen entgehen, wurde uns
versprochen in diesem Abmahnschreiben.
Gut, am Wochenende ist da nichts passiert,
wir mussten dann zähneknirschend ins
Wochenende gehen, ohne etwas bewegen zu
können. Am 23. und 24. haben wir dauernd
mit der Rechtsabteilung telefoniert,
mehrfach, oft. Und haben versucht,
irgendwie denen zu erklären, was
eigentlich passiert ist. Tatsächlich die
sind erstmal aus allen Wolken gefallen,
"Oh Gott was ist denn da schiefgelaufen?".
Dann haben wir erstmal versucht zu sagen:
Okay, was ist die Historie? Wir haben ja
schon im Vorfeld eine Diskussion zu
unserem Paper mit denen geführt, haben
denen unser Paper gegeben, und dann gleich
das nächste Problem: Naja das sind... Ich
will jetzt hier Juristen nicht
runtermachen, keineswegs, aber die haben
halt ein anderes Fachgebiet, und wir
machen unsere Forschung. Wir machen unsere
Forschung da und sollen denen jetzt auf
einmal erzählen, was unsere verschiedenen
Analyse-Techniken bedeuten und wie das
rechtlich einzuordnen ist. Das war sehr
schwierig. Und die Rechtsabteilung hat das
auch am Anfang nicht so locker gesehen.
Die erste Reaktion war glaube ich "Oh
Gott, wir informieren erst mal den
Vizekanzler. Wir sehen da potenziell auch
noch Schadenersatzforderungen auf uns
zukommen, potenziell auch nach
ausländischem Recht". Und das war nicht
witzig. Wir haben dann um eine
Fristverlängerung gebeten. Die
Rechtsabteilung hat das netterweise für
uns übernommen. Das ist ein Schreiben an
den gegnerischen Rechtsanwalt. Wichtig ist
eigentlich nur das fette: wir bitten um
eine Fristverlängerung bis Dienstag den
31. Juli. Wie ihr jetzt auf diesem
Kalender sehen könnt, das wäre jetzt genau
eine Woche gewesen. Gekriegt: Einen Tag
haben wir. Danke. Okay, also weiter
hetzen. Wir müssen irgendwie mit unserer
Rechtsabteilung klären, was wir jetzt
machen können. Wir haben mit denen
tatsächlich juristische Fachartikel
gewälzt. Dann kam am 25. leider noch der
nächste Brüller: "Wir können das
Antwortschreiben leider nur vorbereiten,
unterschreiben müsst ihr es selbst, wir
können es als Uni nicht zurückweisen. Auf
dem Briefkopf steht euer Name, ihr müsst
es unterschreiben, die TUM ist nicht
offiziell Prozesspartei bis jetzt." Da war
auf unserer Seite erst einmal Stille. Wir
konnten es nicht fassen. Wir mussten dann
tatsächlich darauf eingehen und haben
deren vorbereitetes Antwortschreiben dann
selbst unterzeichnet und die Forderungen
der Antragstellerin zurückgewiesen.
D: Ganz kurz, erinnert mich daran, Ich
habe es komplett vergessen. Das (verweist
auf Slides) war natürlich nicht wie es
war. Also, sie haben sofort gesagt "Ja es
steht ihr Name drauf, good luck, have fun.
Sie sollten sich dringend einen Anwalt
nehmen. Geht uns nichts an." Also, das war
dann Geil. Weiter: rechtlicher
Hintergrund. Fabian.
F: Okay. Also das was jetzt folgt, das
wussten wir natürlich zu dem damaligen
Zeitpunkt noch nicht, das ist das was wir
jetzt über den, also das was jetzt noch
alles kommt im Vortrag, da haben wir das
so angesammelt an Wissen. Wie gesagt,
Disclaimer: Wir sind keine Anwälte, aber
ich versuche trotzdem mal so ein bisschen
euch auseinander zu nehmen: Wo ist das
Problem, juristisch, soweit wir es
verstehen? Wir haben uns für unsere
Analyse der Software, um die es da ging,
verschiedener Methoden aus dem Reverse
Engineering Baukasten-bedient. Der ist
jetzt hier mal als Querbalken grün
dargestellt. Und da ist zum Beispiel halt
drin: dekompilieren, verschiedene
statische Analyse-Techniken. Man kann das
Programm zum Beispiel testen indem man es
in einem Emulator ausführt und nicht
direkt auf der Hardware, und den Emulator
kann man dann ein bisschen pimpen an ein
paar Stellen. Man kann das Programm auch
einfach nur als Blackbox nehmen und
einfach dem zuschauen, was es tut. Wenn
man es im Debugger ausführt tatsächlich,
dann sieht man auch wie sich die
Registerwerte verändern. Disassemblieren
tatsächlich wird auch durch den Debugger
gemacht, tatsächlich ist das ja, man kann
es auch bei Objectdump rein schmeißen.
Juristisch ist es so: dekompilieren, never
do it, das ist verboten. Nach
verschiedenen Paragrafen aus dem
Urheberrecht, und einen Teilanspruch, je
nachdem welchen Anwalt man trifft, leiten
die das auch her aus dem Gesetz gegen den
unlauteren Wettbewerb, wo steht: man darf
nicht mit technischen Maßnahmen
Geschäftsgeheimnisse einer anderen Firma
sich aneignen. Testen und beobachten
wiederum tatsächlich ist völlig okay, das
ist explizit erlaubt nach dem
Urheberrecht. Und dankenswerterweise auch
nicht ausschließbar nach den AGB. Bei den
ganzen Zwischendingern ist es so: Joa.
Also, je nachdem in welchem juristischen
Fachartikel man da liest, wenn es denn da
mal, und da gibt es nur ein paar davon.
Wir haben gefragt, keiner konnte uns das
so richtig sagen, wir mussten uns im
Vorgang dann auch Anwälte nehmen, auch die
meinten "Ja, das ist nicht abschließend
geklärt nach unserer Meinung". Es gibt bei
dem dekompilieren netterweise eine
Ausnahme, das ist die Herstellung von
Interoperabilität. Wie gesagt, ich bin
wieder kein Jurist, aber ich vermute, das
trifft zum Beispiel sowas wie Treiber-
Entwicklung - ihr habt einen Closed-
Source-Treiber und es gibt eine
Schnittstelle, und ihr wollt jetzt ein
Open-Source-Pendant dazu anbieten, oder es
gibt irgendeine klar definierte
Schnittstelle und aus Wettbewerbsgründen,
damit der Wettbewerb bestehen kann, darf
man im Notfall auch dekompilieren um
herauszukriegen, wie diese Schnittstelle
zu bedienen ist. In einem Emulator
ausführen: Wir haben mal unsere Anwälte
dann später gefragt, die meinen es ist
wahrscheinlich eher verboten. Das müsst
ihr euch jetzt mal auf der Zunge zergehen
lassen: Also das ausführen, also die
Begründung war dann: naja, das Programm
läuft dann ja nicht mehr in seiner
natürlichen Umgebung.
Gelächter
Schwierig. Und statische Analyse
teilweise, wir haben auch juristische
Fachartikel gelesen da war disassemblieren
schon verboten. Also, wenn ihr im Hex-
editor das Programm aufmacht und den
Disassemblierer in eurem Kopf habt
tatsächlich, ihr könnt dann aus den Hex-
Ziffern die Opcodes herleiten, und selbst
wenn ihr in eurem Kopf dekompilieren
könnt, das ist fein. Wenn ihr aber ein
Tool dafür benutzt, dass das automatisch
macht, ist schwierig. Eigentlich war unser
Ziel des Ganzen: Wir wollten eigentlich
gerne mit der... Also, wir hatten kein
Interesse an Streit. Wir haben gesagt "Na
ja okay, was können wir denn machen ohne
unsere wissenschaftliche Unabhängigkeit zu
verlieren um das der Gegenseite so ein
bisschen schmackhaft zu machen dass wir
das Paper veröffentlichen?" Wir haben mit
denen diskutiert, ein paar Formulierungen
die wirklich einfach drin waren, die
wissenschaftlich null Relevanz haben, wo
man nicht sagen kann "Hey wir hätten uns
da einen faulen Kompromiss gemacht" haben
wir gestrichen. Aber das hat alles nichts
gebracht. Letzten Endes haben wir trotz
intensiver Diskussion mit der
Antragsgegnerin das Paper dann finally
zurückgezogen. Obwohl die WOOT uns
signalisiert hat, also es kam
zwischenzeitlich von der WOOT die eMail
"Wir nehmen das an in der Fassung", es war
also nicht mehr conditionally accepted, es
war finally accepted zu dem Zeitpunkt. Wir
haben gesagt wir bringen das dann
irgendwann später vielleicht mal. Und dann
sind wir in Urlaub gefahren und haben
gehofft, Na ja, jetzt ist ja hoffentlich
Ruhe. Oder?
D: Das war dann auch, so ein Wochenende
war Ruhe. Hier ist das unboxing-Video, was
dann die nächste Woche ankam. (Sound aus
dem Video: Papier reißt "Aah, zur
Wiederverwendung eher schlecht, dafür sehr
gehaltvoll") Ja, das war das Schreiben.
(Video: An Inhalt, oder zumindest an Masse
fehlt es nicht.) Das Schreiben vom
Gericht, vom Nürnberger Landesgericht war
sehr gehaltvoll. Und was war das dann? Sie
haben versucht, eine einstweilige
Verfügung zu erreichen. Das Gericht hat es
aber nicht direkt akzeptiert, sondern hat
gesagt "Das ist ein sehr komplexes Thema."
Erstmal großer Wert und so, wir wollen das
gerne, also man kann da als Gericht sagen
"ja, das winken wir direkt durch,
einstweilige Verfügung wird akzeptiert"
und dann muss man dagegen klagen und so
weiter, oder man sagt als Gericht, das
würde man gerne mal verhandeln. Das hätten
Sie gerne verhandelt, mit Anwaltszwang,
also wir haben uns dann auch Anwälte
genommen. Und volles Programm natürlich,
und persönliches Erscheinen wird
angeordnet. Dann sind wir alle nach
ziemlich viel Schriftwechsel, also dann,
man denkt so "Verhandlungen, da geht man
hin und schaut mal was passiert". In
Wirklichkeit war da mit unseren Anwälten
wirklich Beschuss, also es gab seitenweise
von der Gegenseite von uns irgendwelche
Schreiben die das Recht interpretiert
haben und dem Gericht versuchen, im
Vorfeld schon mal klarzumachen, dass die
jeweilige Gegenseite Quatsch redet.
Jedenfalls nach diesen gesamten hin und
her haben wir uns dann auch getroffen im
Gerichtssaal, und war alles überfüllt. Die
Richter haben gemeint "Naja, so eine volle
zivil-Verhandlung hatten sie noch nie".
Wir waren acht Leute, der komplette
Lehrstuhl ist noch mit angereist aus
Interesse.
Gelächter und Applaus
War sehr interessant, also es waren recht
lange Verhandlungen, unser Anwalt hat mit
zwei Stunden gerechnet, maximal, und es
waren dann sieben.
Gelächter
Es war, also, und da waren natürlich sehr
interessante Stilblüten mit dabei, die ich
jetzt hier nicht zeitlich alle vorbringen
will, aber solche Sachen wie, die
Verteidiger, oder ne, waren ja keine
Verteidiger, die Rechtsanwälte der
Antragstellerin haben so Sachen
losgelassen wie: "Es kann der Sicherheit
der Software unserer Klientin ja nicht
dienlich sein, wenn die Sicherheit in der
öffentlichkeit diskutiert wird".
Gelächter
Genau, also das war interessant. Die
Richter haben ihren Job tatsächlich
verhältnismäßig, also wir hatten Glück
dass sie sich wirklich darauf eingelassen
haben auf das Thema, nicht nur Täter, wie
Schreibtischtäter, sondern wirklich sich
damit auseinandergesetzt haben. Die
Schriftführerin ist irgendwann nach Hause
gegangen weil sie Feierabend machen
musste, und sieben Stunden später hat dann
die, sieben Stunden später hat dann die
dritte Richterin das niedertippen dürfen,
die Schriftführerin war weg. Wir haben
einen Vergleich geschlossen mit der
Gegenseite. Wir haben uns darauf geeinigt,
dass die Gegenseite erst mal alles zahlt.
Das war uns sehr wichtig. Aber dafür haben
wir zugestanden, dass wir in Zukunft
Responsible Disclosure ihnen gegenüber
einhalten. Wenn wir jemals wieder deren
App anschauen, dann sagen wir erst mal
Bescheid, "Wir haben eine neue
Sicherheitslücke, wir geben Ihnen X Tage
Zeit, die wir für angemessen halten."
Daraufhin darf die Gegenseite dann sagen,
"Ja, das ist uns nicht genug" oder "Wir
brauchen mehr Infos" oder "ja, passt, wir
fixen das", im Idealfall. Und wir dürfen
dann die Kommentare der Gegenseite prüfen
und dürfen entsprechend agieren, und, was
uns besonders wichtig war: Wir dürfen
weiterhin veröffentlichen, trotzdem, und
sie tragen komplett die
Verhandlungskosten. Sagen wir mal ein
okay-es Ergebnis, nach dem Vergleich waren
wir alle super durch, und es gab auch
einen Heise-Artikel dazu, der rege
kommentiert wurde. Also eigentlich gerade
nochmal alles gut gegangen, oder? Also, es
klingt jetzt so mittelgut. Acht Forscher
wurden wochenlang, es ist echt Stress, wie
gesagt, Papierkrieg bis zum Umkippen,
lauter Sachen, die man noch nie hätte
träumen lassen wollen können. Wir haben
keinerlei Unklarheiten beantwortet, nur
dadurch dass wir gesagt haben "Ja, wir
nehmen den Vergleich an". Bis jetzt. Also,
wenn wir gewonnen hätten, dann wäre
dekompilieren trotzdem nicht legal
gewesen, dann hätten wir nur gesagt "Wir
haben nicht dekompiliert" oder so was, und
das Paper von der TU ist weiterhin nicht
veröffentlicht, das wird aber, also sie
sind auf dem Weg, das kommt dann schon
doch irgendwann, ist halt jetzt ein halbes
Jahr später oder so. Was nehmen wir aus
dem gesamten mit? Erst mal: keine Panik,
aber... also, das ist so ein Standar-Ding,
don't Panik. Aber ich habe natürlich zu
wenig gepanikt. Ich habe am Freitag
gedacht, ja, ist ja eh Wochenende, Montag
wird es meine Uni schon richten. Äh, ne.
gelächter
Nicht blind Sachen unterschreiben
natürlich. Ich glaube dass ist auch
obvious. Wenn wir den ersten Wisch
unterschrieben hätten, dann hätten wir
einfach unsere Jobs an den Haken hängen
können. Kompletter Käse. Die Uni-Juristen
sind keine IT-Experten, also selbst da an
den Unis wo sie das gemacht haben war's
nicht so leicht, das denen zu vermitteln.
Die FAU zum Beispiel, da die Juristen
haben sich hervorgetan, die waren Positiv
zu erwähnen. Ja, wie auch immer. Nicht
übertreiben in Publikatoinen, das ist so
ein bisschen gegen uns selbst. Wir
tendieren dazu in der Wissenschaft immer
alle so "voll gut, was wir gemach haben"
und so weiter. Wenn wir Sachen rein
schreiben die am Schluss vielleicht
rechtlich belangen, verwerflich sind dann
problematisch, und auch warum den
Firmennamen groß in den Titel packen wenn
man es nicht muss oder so etwas könnte man
sich dann für die Zukunft überlegen ob man
das wirklich will und das Wichtigste
natürlich: never decompile. Niemals jemals
einen decompiler verwenden. Kein F5 mehr,
Taste gleich rausreißen aus der Tastatur.
Glücklicherweise: Die Beweislast liegt
beim Gegner. Falls doch jemand mal
ausrutscht auf der Maus oder der Tastatur:
Die Beweislast liegt beim Gegner. Nicht
reinschreiben. Also wenn man wirklich ein
Papier oder sowas veröffentlicht: Man hat
nicht dekompiliert. Hat man einfach nicht.
Problem ist: Es gibt irgendwie wieder
Ansprüche, also wenn ein Verdacht besteht
dann könnten da auch wieder... Das geht
jetzt auch zu tief ins Detail. Never
decompile. Dann haben wir uns einige
Fragen gestellt, die jetzt im verlauf der
Fabian noch ein bisschen beantworten
möchte.
Fabian: Bevor wir jetzt zum Ende des talks
und zum Resume kommen, wir haben natürlich
uns selber während des Prozesses schon
einige Fragen gestellt und auch von
außerhalb welche bekommen. Das best-of
möchte ich euch jetzt nicht vorenthalten.
Natürlich, naja, wenn die Richter... Das
muss man klar sagen, während es
Gerichtsprozesses haben sich die Richter
sehr tief in die Karten schauen lassen, haben
der Gegenseite quasi wortwörtlich gesagt:
"Also Leute, vor dieser Kammer habt ihr
mit euren Forderungen keine Chance. Das
könnte vergessen." Da kann man sich
natürlich jetzt fragen: Warum haben wir
das dann nicht einfach durchgezogen
sondern uns verglichen? Na ja, ich habe
euch mal so ein bisschen aufgemalt. Was
wir ja gekriegt haben... das ist der
Instanz-Weg, wir haben jetzt ein
einstweilige-Verfügungs-Verfahren gehabt.
Das ist das worum es bei uns ging. Die
Abmahnung haben wir gekriegt, die haben
wir alle unabhängig voneinander
zurückgewiesen. Und dann geht der Weg,
weil es ein einstweiliges-Verfügungs-
Verfahren ist, erst einmal zum
Landgericht, dann zum Oberlandesgericht
wenn die Gegenseite Berufung oder Revision
geht. Und danach gibts auf jeden Fall erst
einmal beim einstweiligen Verfahren eine
Entscheidung. Davon unberührt ist aber
noch ein eigentliches Verfügungs-Verfahren
das ist quasi, also einstweilig ist das
Eilverfahren. Ich habe mal gehört, ich
hoffe es stimmt, in Bayern muss man zum
Beispiel auch einen Monat nach Kenntnis
als Firma des Vorfalls einreichen sonst
ist es offensichtlich nicht mehr eilig
wenn man einen Monat damit wartet bis man
zu Gericht geht. Unabhängig davon kann man
noch mal versuchen die gleichen Ansprüche
in einem normalen Verfügungs-Verfahren
durchsetzen. Einstweilige ist einfach nur
die Eilig-Geschichte. Das eben der Zustand
eingefroren wird. So, wo waren wir denn
jetzt? Wir haben die erste Stufe dieser
fünfstündigen Pyramide, die haben wir
quasi gezündet. Wir waren beim Landgericht
haben auch auf ein Urteil, also waren da
und hätten es auf ein Urteil ankommen
lassen können, es wäre wahrscheinlich in
unserem Sinne ausgegangen. Die meisten
Fälle von denen wir wissen, und von denen
auch die TUM-Anwälte wussten oder von
unserem Team die Anwälte wussten, die
enden schon bei der Abmahnung. Die meisten
Firmen haben null Interesse da dran, in
einem öffentlichen Rechtsstreit die
Sicherheit ihrer Software zu diskutieren.
War bei uns nicht so. Mit dem Vergleich,
darin enthalten ist eine
Abgeltungsklausel. Das bedeutet: Alle
Ansprüche sind erledigt, völlig egal ob
sie berechtigt sind oder nicht. Damit kann
man nicht in Berufung oder Revision gehen.
Das heißt wir haben dem Gegner die vier
Stufen, die noch hätten gezündet werden
können, alle erspart, haben wir uns
erspart. Dem Gegner auch. Wobei wir
vermuten, dass wir am Ende die gewesen
wären, die den vielleicht etwas kürzeren
Atem gehabt hätten. Und wie gesagt, dieser
Vergleich für uns ist in unserem Sinne.
Wir wollen sowieso eigentlich responsible
disclosen dass uns im Laufe des Verfahrens
immer wieder mal vorgeworfen wurde "na ja,
die Kommunikation war ich jetzt nicht so
gut." Das tut uns leid, aber war halt ein
Missgeschick. Was auch nicht, also zum
Beispiel: Man könnte auch einen Gutachter
bestellen, Verfügungsverfahren ist viel
länger, das kann sich über Jahre
hinziehen, man muss auch nicht gleich
machen da gibts Verjährungsfristen, und so
weiter. Wir wollten dann nicht auf einer
tickenden Zeitbombe sitzen bleiben. Jetzt
gibt es natürlich das nächste Problem:
Kann man IT-Sicherheitsforscher jetzt denn
durch rechtliche Schritte zum Schweigen
bringen? Hm, Schwierig. unsere Meinung.
Jein. Also. bei uns hat es irgendwie nicht
funktioniert. Also wir haben uns das Recht
erkämpft unsere Forschung jetzt gerade auf
Seiten der TUM, also dass wir es immer
noch veröffentlichen können, wenn wir das
wollen. Wir haben kein NDA unterzeichnet,
wir können hier mit euch heute über den
Vorfall sprechen und tun das auch um die
Awareness für dieses Problem zu steigern,
damit euch hoffentlich nicht so etwas
ähnliches passiert wie uns. Auf der
anderen Seite hatten wir schon das Gefühl,
da das alles so ungeklärt ist, besonders
diese verschiedenen Nuancen der Analysen,
dass man eigentlich ja irgendwie immer
einen Grund konstruieren kann der
rechtlich für einen Juristen scheinbar ja
auch plausibel zu klingen scheint, sodass
man sagen kann "naja, Anspruch ist
vielleicht berechtigt" und dann ist der
Forscher, wenn er keinen Bock hat durch
einen wahnsinnig lange Instanz-Weg zu
gehen, eigentlich immer mundtot machen.
Und der psychische Druck ist enorm, das
sage ich, euch das war einer der
stressigsten, vielleicht der stressigste
Sommer in meinem Leben. Wer vertritt denn
Uni-Sicherheitsforscher? Eigentlich haben
mich viele Leute gefragt "Naja Leute, ihr
seid doch Arbeitnehmer. Ihr seid alle
abhängige Forscher, ihr habt ja ne Uni,
also wieso kümmert sich eigentlich nicht
die Uni darum, warum müsst ihr das
machen?" Warum das geht, das kann ich euch
rechtlich leider nicht komplett
auseinander nehmen, es gibt da zwei im
bayerischen Beamtenrecht, oh Gott ich
glaube Abschnitt 8 Absatz 2, 3 in
Verbindung mit 2(1), lasst mich lügen. Ihr
seht schon wie sehr ich mich mit diesem
Scheiß beschäftigen musste obwohl ich kein
Jurist bin. Aber beantragt haben wir das,
eine Antwort haben wir dazu heute noch nicht.
Im schlimmsten Fall muss das ins
bayerische Wissenschaftsministerium rauf,
um eine Aussage zu kriegen ob das geht
oder nicht, aber das ist tatsächlich auf
TUM-Seite bis heute ungeklärt. Wie geht
man als Forscher mit Nebentätigkeiten um?
Mehrere von uns haben ein kleines Gewerbe
nebenbei in dem sie zum Beispiel
Pentesting oder allgemeine IT-Tätigkeiten,
die man halt so macht, dass wir das
irgendwie abrechnen können und ordentlich
abrechnen kann. Wenn jetzt, das ist
tatsächlich ja in der Abmahnung aktiv
passiert, vonseiten einer Firma
konstruiert werden kann "Na Ja, deine
Firma, das ist ein Konkurrent, der steht
ja im Wettbewerb mit mir und unterliegt
dann viel strengeren Regeln." Das finde
ich sehr kritisch. Also zum Glück haben die
Richter tatsächlich gesagt: "Na ja, also,
stellen die jetzt ein Konkurrenzprodukt
her? Nein.". Aber trotzdem, der Vorwurf
steht natürlich erstmal im Raum. Was wäre
schön zu haben, was würde, was hätten wir
gewünscht zu haben? Es wäre natürlich
kurzfristig erst mal cool wenn man das
ganze Risiko von dem Unternehmen verklagt
zu werden irgendwie versichern könnte
sodass man, wenn der Worst Case eintritt,
dass man da wirklich jemanden hat er will
sich nicht einigen und er will dich durch
die vollen fünf Instanzen durchschicken,
dass man das irgendwie abfangen kann und
dass man das nicht auf private Rechnung
machen muss. Man kriegt vielleicht mal
Geld wieder bei Gericht wenn man Recht
kriegt, aber die Anwälte, jedenfalls
unsere, die wir engagiert haben, die
wollten natürlich monatlich bezahlt
werden. Man kann ja auch mal eine Instanz
verlieren. Da wäre es natürlich cool, man
hätte irgendeine Art
Rechtschutzversicherung. Keiner von uns
hatte eine. Nächstes Problem: Das sind
Sachen aus dem Urheberrecht, das ist ja
ein Copyright-Verfahren, das ist wohl,
haben uns unsere Anwälte gesagt, "selbst
wenn es eine gehabt hätten, Urheberrecht
ist meistens ausgeschlossen." Das liegt an
den ganzen Filesharing-Geschichten,
normalerweise fallen nämlich die alle
darein. Und wenn man wegen unlauteren
Wettbewerb verklagt wird weil man nebenbei
eine Firma hat, dann braucht man ja
eigentlich, also Gewerbe ist dann auch
irgendwie gerne ausgeschlossen bei der
Rechtsschutzversicherung. Also tatsächlich
haben sie genau die beiden Punkte
getroffen, wo es weh tut. Okay es wäre gut
wenn es da eine Versicherung geben würde,
die auch für Sicherheitsforscher so ein
Risiko versichern würde. Unterstützung
durch Forschungsinstitute. Auch vor allen
Dingen, also wir hätten durch die Uni
Unterstützung gebraucht. Ich hatte schon
den Eindruck tatsächlich dass da durchaus
viele Leute waren die bemüht waren uns zu
helfen und die die das auch versucht haben
aber die dann irgendwie über einen
Paragraphen gestolpert sind, sodass sie es
nicht machen konnten. Und es hat sich an
einigen Stellen tatsächlich auch leider
das Gefühl gehabt es gibt so einen
Unwillen im System der hat sagt "Naja, das
fassen wir lieber nicht an." Da bräuchte
man eine klare Bekennung zu Forschern,
halt auch externen Forschern, weil nur den
Mitarbeitern, das hätte jetzt Dominik zum
Beispiel nichts gebracht und vor allen
Dingen auch Studenten, wenn die auf so
einer Arbeit mit drauf stehen. Sowas wie
Rechtsschutz und Mithaftung wäre
interessant. Vielleicht gibt es eine
Mithaftung tatsächlich, aber ihr wollt ja
auch als Arbeitnehmer einer Uni nicht
unbedingt gleich eure eigene Uni
verklagen, oder? Also, das haben wir kurz
überlegt, aber einen mehr-Fronten-Krieg
gegen eine Firma und unseren Arbeitgeber
das ist nicht so cool. Dann natürlich wäre
Gelächter
Dann wäre natürlich
auch noch cool eine rechtliche Basis für
Sicherheitsforschung zu haben, die viele
oder am besten alle Analysen die man als
Sicherheitsforscher so macht irgendwie
erlaubt. Also, wir sind da ja mit
irgendwelchen Copyright, das ist sowieso
schon eigentlich ein bisschen wahnsinnig,
mit irgendwelchen Copyright-Klagen
überzogen worden. Frag mich bitte nicht
genau aus, aber soweit ich weiß gibts seit
2016 da im Digital Millennium Copyright
Act, das ist das Entsprechung zum
Urheberrechtsgesetz in den USA, eine
explizite Ausnahmeregelung für
Sicherheitsforschung. Wenn die da wäre,
könnte man vielleicht viele rechtliche
Fragen gleich im Keim ersticken und hätte
auch mehr Sicherheit, wenn man mit Juristen
drüber redet, die sich jetzt nicht, also
diese ganzen Nuancen in der
Sicherheitsforschung der Analysen, die das
eigentlich gar nicht so genau beurteilen
können. Gut, das wars von unserer Seite,
wir stehen euch jetzt für Fragen zur
Verfügung.
D: Danke schön.
Applaus
Herald: Vielen Dank erst einmal für diese
Vorstellung dieses Leidensweges, das ist
ja wirklich erschreckend. Genau, wir
kommen zur Q&A. Wer Fragen hat kommt bitte
an eins der Mikros. Meine Lieblingsansage
ist immer: Fragen, Punkt 1, bestehen aus
einem Satz mit einem Fragezeichen am Ende.
Zweitens, wenn in in ein Mikro redet
wirklich nah ran, nicht in den Mund
stecken aber kurz davor. Der Nachredner
wird es euch danken. Und für alle die ganz
dringend wohin müssen: bitte macht das so
leise wie irgendwie möglich damit ihr
nicht den Rest stört. Und damit kommen wir
zu den Fragen und beginnen direkt beim
Mikro Nr. 2.
Mikro 2: Danke für die aufregende Story.
Vergleich mit einseitiger Kostenübernahme
ist ja nicht der Standard. Meine Frage
wäre: könnt ihr wenigstens beschreiben wie
hoch die Kosten waren, die die Gegenseite
übernehmen musste, jetzt die
Gerichtskosten und die Kosten eurer
Anwälte?
F: Also da gibts so eine rechtsanwaltliche
Gebührentabelle, die bestimmt nicht
rechtsanwaltliche Gebührentabelle heißt
sondern irgendwie anders. Es gibt bestimmt
einen coolen juristischen Begriff dafür,
und nach der wird das berechnet, und nach
dem Teil sind auch die Kosten abgerechnet
worden.
D: Streitwert 200.000 Euro am Schluss.
F: Genau. Also, wir hatten auch erst mal
Angst bei diesem Streitwert, der so
wahnsinnig hoch ist. Tatsächlich bei einer
einstweiligen Verfügung wollen sie
eigentlich nur diese
Unterlassungserklärung haben, "hey, wir
dürfen das nicht mehr", bei Androhung
einer Strafe, und diese Streitwert-
Geschichte, danach berechnen sich
eigentlich nur die Kosten für Gericht und
die Anwälte. Soweit ich weiß.
H: Mikrofon Nr. 1
Mikro 1: Eine Frage, die ihr mit Ja oder
Nein beantworten könnt: Hatte es für einen
von euch acht noch berufliche
Konsequenzen?
D: Ja. Nicht mich, aber ja.
F: Okay, also wir sind zwei verschiedene
Teams, deswegen teilen wir das so...
D: Für eins von acht ja.
F: Okay, eins von acht, also auf unserer
Seite, nicht dass ich wüsste. Also keine
direkten beruflichen Konsequenzen. Also
nervlich auf jeden Fall, also auch schon
so dass man sich überlegt, hey, will man
so ein Projekt nochmal anschieben? Aber
ich persönlich bin froh, dass ich
durchgefochten habe bis zum Schluss. Ich
bin auch mit dem Vergleich zufrieden.
H: Mikrofon Nr. 3
Mikro 3: Hi. Haben Eure Anwälte mal die
Frage beantwortet, ob das was da im
juristischen Text als dekompilieren steht
auch wirklich das ist, was wir als
Techniker darunter verstehen. Ist es
wirklich F5 drücken oder ist es mehr so
dass kompilierte Programm in eine andere
Form überführen.
D: Irgendwie sowas in der Richtung.
Deswegen sagen wir Grauzone.
Sicherheitsforschung. Dekompilieren ist
auf jeden Fall böse. Deswegen hat wir
diese schönen Grafiken. Es könnte alles
irgendwie mit drunterfallen, übersetzen in
andere Formen.
F: Also wenn du ganz viel Lust hast 69e
tatsächlich aus dem Urheberrechtsgesetz
das ist tatsächlich der
Dekompilierungsparagraf, der allerdings
erst mal die Ausnahmen regelt wo man noch
dekompilieren darf. Da steht tatsächlich
als Überschrift ganz groß dekompilieren
und es wird nicht näher bestimmt, was jetzt
genau dekompilieren ist. Ich gehe davon
aus, also das weiß ich tatsächlich jetzt
nicht das ist was genau jetzt für den
Juristen dekompilieren ist. Also wie
gesagt wir haben einen juristischen
Fachartikel gelesen da war Disassemblieren
schon dekompilieren.
D: Und genau diese Frage kann unser
Rechtsanwalt nicht beantworten. Das müsste
dann quasi das Gericht entscheiden.
F: Also da kam von unserer Seite ganz klar
die Ansage: Wir kennen keine Referenz
Urteil dazu. Wir haben keine Datenbasis
dass wir sagen können Hey so wird das dann
schon ausgehen. Das müsste man mal klären.
Juristisch. Alles was wir ihnen sagen
können sind nur Meinungen. Das kann jeder
Richter anders sehen und entscheiden wie
er möchte.
H: Haben wir eine Frage aus dem Internet?
Signal Angel: Es stellt sich die Frage, es
wurde im Vortrag angemerkt, dass die
Studenten und Forscher ein Recht auf
Versicherung haben sollten. Es ist weniger
so eine klare Frage, als: Hätten nicht alle
Recht darauf eine Versicherung zu haben,
wenn sie ihre eigene Software, die Sie
verwenden, auf Sicherheit überprüfen
wollen.
F: Das war so gemeint die Forderung: Es
wäre erst mal schön eine Versicherung
gäbe, die es dann versichern würde
D: Also kurzfristig.
F: Also kurzfristig. Das wäre erst mal
schön. Wir kennen kein. Wir haben uns
gefragt: Schließen wir erst mal eine
Rechtsschutzversicherung ab, als das
Schreiben reingekommen ist. Die nicht mehr
den Schaden bezahlt, der jetzt gerade
eingetreten ist. Aber für zukünftige Fälle
wäre das ja sinnvoll gewesen. Wir haben
uns dann also ein bisschen informiert und
sind auf diese Probleme gestoßen. Selbst
wenn wir eine Rechtsschutzversicherung
gehabt hätten, hätten wir vielleicht das
gleiche Problem gehabt. Naja ist nicht
abgedeckt durch die Police, könnt ihr
selber zahlen.
D: Natürlich stimme ich dem Internet dann
auch zu. Es wäre das was man also man
sollte sich das dann selbst anschauen
dürfen. Aber das ist das Recht das muss
geändert werden vielleicht
H: Mikrofon Nummer zwei bitte.
Mikro 2: Der CCC macht ja auch so was wenn
jemand Daten findet oder wie auch immer
ran kommt, dass sich da dann mit
einschaltet. Habt ihr den CCC bei euch
auch mit angesprochen und wenn ja wie ist
das gelaufen und und aus gegangen?
D: Da hatten wir wechselnde Erfahrungen.
Ich hab recht eng mit dem CCC kommuniziert
gehabt und war ziemlich gute. Wir hatten
auch unsere Anwälte über den CCC empfohlen
bekommen. JBB war zum Beispiel sehr zwei
Daumen hoch wenn man mal sowas hat.
Aber das ist halt irgendwie bei acht Leuten
verzwickt gewesen das zu kommunizieren.
F: Also auf unserer Seite tatsächlich ist
das so ein bisschen. Ich will jetzt dem
CCC das nicht vorwerfen. Es kann doch
einfach nur ein Kommunikationsproblem auf
unserer Seite gewesen sein. Aber
tatsächlich bei uns ist von der
Ausgestaltung der CCCler nicht ganz so
viel angekommen. Der Herr Jäger, die
Kanzlei JBB, der die Nürnberger
Forschungsgruppe vertreten hat in dieser
Sache, der wollte uns nicht auch mit
vertreten. Das war einfach Pech dass die
Gegenseite uns vor ein Gericht gezerrt wo
wir eigentlich völlig separat voneinander
geforscht haben. Der wollte potenzielle
Interessenkonflikte vermeiden, weil wir ja
doch sehr heterogen sind und dann hat er
gesagt: "Naja ich empfehle euch einen
Kollegen." Tatsächlich. Aber ja. Das war
dann halt schon sehr sehr weit weg.
H: Mikrofon Nummer 1
Mikro 1: Vielen Dank für den Talk erst mal
und die Frage bei den ganzen
zurückgebliebenen Unklarheiten und ja auch
so einer klagewilligen Antragstellerin was
ja wohl auch nicht selbstverständlich ist.
Wäre es nicht voll sinnvoll gewesen das
einmal durch zu klagen um irgendwie ein
Grundsatzurteil zu bekommen oder einen
Präzedenzfall und die Kosten die dabei
entstehen, die natürlich gefährlich sind,
nicht eher solidarisch zu tragen.
D: Meiner Meinung nach hätten wir am
Schluss nur bewiesen gehabt dass man uns
nicht beweisen kann dass wir dekompiliert
haben. Das wäre das, was am Schluss dabei
hätte raus kommen können. Medienwirksam
wäre es vielleicht sinnvoll gewesen zu
verlieren, aber da hatte absolut niemand
Lust drauf.
F: Also meintest du jetzt tatsächlich dass
die Gegenseite das versucht das bis zum
Ende durch zu klagen um das irgendwie zu
gewinnen und sich nicht zu einigen oder
worauf bezog sich die Frage?
D: Ja schon auf uns.
Mikro 1: Die Frage bezieht sich darauf ob
diese Praktiken die bei dieser
Sicherheitsforschung angewendet werden
nicht dann doch durch die Gerichte so
eingeordnet werden ob das legal ist oder
nicht weil so bleibt ja das jein.
F: Ja das ist richtig. Das Problem ist
dass die Komponente die man dabei nicht
ganz vergessen darf. Das sind acht
Forscher, die alle auch im Leben noch was
anderes vorhaben. Einige waren zu dem
Zeitpunkt der Klage zum Beispiel schon gar
nicht mehr bei uns an der TU. Du stehst
mit dieser riesigen Autorengruppe da vor
Gericht und das musst du über zwei oder
drei Jahre. Wir haben versucht alle
Entscheidung im Konsens zu treffen. Das
habe ich einen Sommer lang war ich quasi
Telefonzentrale für die Münchner Seite der
Autorengruppe und es war ein Vollzeitjob
weil jeder überall wo anders war und das
versuchen irgendwie über Jahre hinaus
zusammenzuhalten ist ein Albtraum. Das ist
ein wahnsinnig psychologischer Druck und
du weißt da auch vom Gericht. Du versuchst
ja erst einmal die niedrig hängenden
Früchte zu nehmen. Also zum Beispiel in
dem Schreiben der gegnerischen
Rechtsanwälte - da waren formale Fehler
drin. Da fehlt mal ein Paragraph
tatsächlich. Du liest das Dokument und
stellst fest
D: Ne Seite.
F: Stellst fest da fehlen Absätze. Das
Dokument ist nicht schlüssig an sich. Rein
formal. Natürlich fängst du nicht erst mal
in den Brunnen der Dekompilierung ganz
tief hinabzusteigen. Du sagt erst einmal
Hey Leute, da fehlen Seiten - wie viel Mühe
gebt euch denn mit euren Schreiben? Das
ziehst du ihm ja als erstes mal um die
Ohren. Und ob dann am Ende wir wirklich
uns jetzt auf das Dekompilierungs-Ding da
gestürzt hätten. Das ist völlig, völlig
offen.
H: Gut, Zeit ist um. Wer noch Fragen hat.
Ihr beide seid vielleicht ja noch einen
Moment hier vorne erreichbar. Wer noch
eine Frage loswerden will, kommt einfach
nach vorne. Ansonsten war's das und damit
wünsche ich mir noch einmal einen großen
Applaus für die beiden.
Applaus
Abspannmusik
Untertitel erstellt von c3subtitles.de
im Jahr 2020. Mach mit und hilf uns!