1 00:00:00,000 --> 00:00:18,120 35C3 Vorspannmusik 2 00:00:18,120 --> 00:00:24,570 Herald-Engel: Ja es ist mir eine riesige Freude, heute hier auf dem 35C3 einen Talk 3 00:00:24,570 --> 00:00:29,970 mit dem Titel "Archäologische Studien im Datenmüll" vorzustellen. Er wird gehalten 4 00:00:29,970 --> 00:00:34,720 von Katharina Nocun - sie ist Bloggerin, Autorin, aber eigentlich kennt man sie 5 00:00:34,720 --> 00:00:39,320 auch als Datenschutzaktivistin - und der wunderbaren Letty. Also einen warmen 6 00:00:39,320 --> 00:00:41,720 Applaus und viel Spaß bei diesem spannenden Thema. 7 00:00:41,720 --> 00:00:52,780 Applaus 8 00:00:52,780 --> 00:00:57,629 Letty: Ja danke, Pupe. Es ist schön, dass sich alle Haralde zum Horst machen mit dem 9 00:00:57,629 --> 00:01:02,950 Französisch. Wir würden zu Beginn mal 'ne Frage stellen - zwei Fragen stellen und 10 00:01:02,950 --> 00:01:07,429 zwar die erste ist: Wie viel Personen haben hier die Weihnachtsgeschenke bei 11 00:01:07,429 --> 00:01:10,429 Amazon gekauft? Katharina Nocun: Hola! Lachen 12 00:01:10,429 --> 00:01:14,619 L: Ups! Lachen Okay ich würde mal grob sagen die Hälfte. Lasst mal bitte eure 13 00:01:14,619 --> 00:01:18,970 Arme oben, denn es geht weiter: Wer von euch hat nur die Recherche bei Amazon 14 00:01:18,970 --> 00:01:22,680 gemacht und danach woanders gekauft? Kommen da noch welche hinzu? Ne, die die 15 00:01:22,680 --> 00:01:27,450 gekauft haben bitte oben lassen, das wär super. Okay es sieht so - okay wer nicht 16 00:01:27,450 --> 00:01:31,380 bei Amazon kauft, recherchiert auch nicht scheinbar. Okay. Oder es gab wenige, die 17 00:01:31,380 --> 00:01:34,350 dazugekommen sind. K: Also ich würd sagen das ist deutlich 18 00:01:34,350 --> 00:01:37,540 mehr als 50 %. L: Ja? Man sieht das nicht. 19 00:01:37,540 --> 00:01:40,470 K: Ja, aber diejenigen, die eben aufgezeigt haben, die werden mir sicher 20 00:01:40,470 --> 00:01:45,110 zustimmen, wenn ich sage, das ist ziemlich bequem, wenn nicht sogar verdammt bequem, 21 00:01:45,110 --> 00:01:49,399 alles bei einem Anbieter zu suchen oder auch bestellen zu können. Und man stellt 22 00:01:49,399 --> 00:01:55,640 sich das in der Theorie ja auch so sehr komfortabel vor. Ich weiß nicht, wer bei 23 00:01:55,640 --> 00:02:01,280 DHL die Entscheidung getroffen hat, auf Formel 1-Autos Werbung zu schalten. Ich 24 00:02:01,280 --> 00:02:04,970 finde der Mensch hat aber sehr viel Humor. Lachen 25 00:02:04,970 --> 00:02:09,020 K: Denn in der Realität sieht es ja ein bisschen anders aus, ne? Also so richtig gut 26 00:02:09,020 --> 00:02:14,180 bezahlte Fahrer und schnelle Lieferung, die gibt's in der Praxis eher selten und 27 00:02:14,180 --> 00:02:19,590 bei Amazon würde ich sagen gar nicht. Und der ein oder andere kennt's vielleicht, 28 00:02:19,590 --> 00:02:26,300 dass da ein Paket abgegeben wurde oder zugestellt wurde, ist noch kein - ist noch 29 00:02:26,300 --> 00:02:30,310 lange keine Garantie dafür, dass es wirklich da ist, wo man's hin haben will. 30 00:02:30,310 --> 00:02:35,359 Also hier so ein Best of für alle, die es noch nicht gelesen haben auf der Folie - 31 00:02:35,359 --> 00:02:40,900 gesehen beim Tagesspiegel - Zitat: "Habe das Paket im Müll versteckt - im blauen 32 00:02:40,900 --> 00:02:43,440 Papiercontainer". L: What could possibly go wrong? 33 00:02:43,440 --> 00:02:48,690 K: Ja und da kommt ja richtig Freude auf wenn man das liest und man denkt sich: "Ja 34 00:02:48,690 --> 00:02:53,970 wie können wir dieses Problem lösen?" Natürlich hat Amazon da ein Produkt für - 35 00:02:53,970 --> 00:03:00,620 zumindest für seine US-Kunden. In den USA kann man sich als Prime-Kunde entscheiden, 36 00:03:00,620 --> 00:03:04,930 ich nutze jetzt Amazon Key. Amazon Key - ähm ja - kontrolliert dann quasi - ist ein 37 00:03:04,930 --> 00:03:08,460 intelligentes Schließsystem für die Haustür, gibts auch fürs Auto, und dann 38 00:03:08,460 --> 00:03:13,590 kann man beispielsweise sagen, ja also dem Amazon Paketdienst dem vertraue ich 39 00:03:13,590 --> 00:03:19,720 grundsätzlich - der kann die Pakete auch innerhalb meines Hausflurs abstellen und 40 00:03:19,720 --> 00:03:23,060 der kann auch die Tür aufschließen. Passend dazu gibt's auch ein 41 00:03:23,060 --> 00:03:27,079 Videoüberwachungssystem, wo man dann kontrollieren kann beispielsweise wann die 42 00:03:27,079 --> 00:03:32,840 Kinder betrunken nachts nach Hause kommen. Und ich weiß nicht wie es euch geht, aber 43 00:03:32,840 --> 00:03:36,230 ich finde das verdammt creepy. Ich würde das niemals machen, denn ich denke mir, na 44 00:03:36,230 --> 00:03:41,850 ja ich will mir genau überlegen, wem ich Einblick in meine Wohnung geben will. Aber 45 00:03:41,850 --> 00:03:46,739 als Datenschützerin habe ich mich gefragt, ist nicht der Einblick den Amazon in unser 46 00:03:46,739 --> 00:03:51,180 Leben bekommt durch unser Klickverhalten nicht viel intimer, als so ein harmloser 47 00:03:51,180 --> 00:03:55,630 Blick in den Hausflur? Weil wer bei mir in die Wohnung guckt, der weiß vielleicht wie 48 00:03:55,630 --> 00:03:59,820 ich lebe, ja? Aber wer mein Onlineverhalten kennt - wer weiß, wann ich 49 00:03:59,820 --> 00:04:05,320 wo wie klicke, der kann sich vielleicht denken, wie ich denke - und das ist viel 50 00:04:05,320 --> 00:04:11,859 intimer. Ich hab mich daher im letzten Jahr oder vorletzten Jahr, genauer gesagt 51 00:04:11,859 --> 00:04:16,720 im Jahr 2016, dazu entschieden, ein Experiment zu machen: Ich wollte wissen, 52 00:04:16,720 --> 00:04:21,959 was speichert Amazon eigentlich über seine Nutzer und im Zuge dessen habe ich dann 53 00:04:21,959 --> 00:04:24,370 auch angefangen alle meine Weihnachtsgeschenke und sonstigen 54 00:04:24,370 --> 00:04:28,229 Geschenke bei Amazon zu bestellen und auch alles dort zu recherchieren, um einen 55 00:04:28,229 --> 00:04:36,520 möglichst fetten Datensatz zu generieren. Und mein Ziel war natürlich von Anfang an: 56 00:04:36,520 --> 00:04:42,770 Ich möchte an diese Daten ran. Ich möchte sie sezieren. Ich möchte Sie sehen. Ich 57 00:04:42,770 --> 00:04:46,919 möchte wissen was genau Amazon über seine Kunden speichert. Denn ich weiß nicht ob 58 00:04:46,919 --> 00:04:52,250 ihr es wusstet, aber nach Artikel 15 der Datenschutz-Grundverordnung hat jeder 59 00:04:52,250 --> 00:04:56,780 Nutzer in ganz Europa das Recht jederzeit zu seinem Anbieter zu gehen und zu sagen: 60 00:04:56,780 --> 00:05:01,199 "Hey ich möchte eine kostenlose Kopie meiner Daten haben" und der Anbieter muss 61 00:05:01,199 --> 00:05:06,850 dann liefern. In der Praxis macht das aber kaum jemand. Und bei Amazon hat das soweit 62 00:05:06,850 --> 00:05:10,479 ich wusste noch nie jemand so richtig durchgezogen, dass da was Verwertbares 63 00:05:10,479 --> 00:05:14,150 rausgekommen ist. Also habe ich mich entschlossen, ich gehe auf die 64 00:05:14,150 --> 00:05:21,159 Datenpirsch. Was hab ich also gemacht? Ich habe ganz viel eingekauft. Was hab ich 65 00:05:21,159 --> 00:05:26,919 denn eingekauft? Ich hab fast 60 Bücher innerhalb von 14 Monaten gekauft und falls 66 00:05:26,919 --> 00:05:29,990 ihr euch jetzt fragt - ja ich hab tatsächlich mittlerweile mindestens 50 67 00:05:29,990 --> 00:05:36,400 Prozent davon auch gelesen. Ich habe... Applaus 68 00:05:36,400 --> 00:05:41,919 K: ...Ich hab außerdem aber auch so praktische Sachen bestellt wie 69 00:05:41,919 --> 00:05:47,889 beispielsweise Sprühkreide für eine Protestaktion und eine Button-Maschine. In 70 00:05:47,889 --> 00:05:52,241 meinem Kaufprofil hat sich dann aber auch so komischer Kram angesammelt, wie 71 00:05:52,241 --> 00:05:56,039 beispielsweise das Lavendeleinschlafkissenspray. Der eine 72 00:05:56,039 --> 00:06:02,389 oder andere kennt es vielleicht aus dem Radisson Blu am CCH. Was leider nicht auf 73 00:06:02,389 --> 00:06:06,770 dem Bild zu sehen ist, ist der Hometrainer, den ich mir gekauft habe. Der 74 00:06:06,770 --> 00:06:11,169 war so erfolgreich, dass ich ihn nach drei Monaten wieder weiterverkauft hab. Ich 75 00:06:11,169 --> 00:06:14,600 habe mir aber auch sinnvolle Sachen gekauft, wie beispielsweise 'ne Maus, 76 00:06:14,600 --> 00:06:19,430 einen Ordner oder auch Schnürsenkel und bin auch durch Amazon Besitzerin der 77 00:06:19,430 --> 00:06:26,229 schönsten Hausschuhe auf diesem Planeten. Im August 2017 habe ich mir dann gedacht, 78 00:06:26,229 --> 00:06:31,300 so jetzt ist der Datensatz schön fett angefüttert mit Klicks und Käufen. Jetzt 79 00:06:31,300 --> 00:06:36,669 frage ich mal meine Daten ab. Und das war leider - muss ich sagen - der Beginn einer 80 00:06:36,669 --> 00:06:42,979 langen und intensiven Brieffreundschaft mit der Datenschutzabteilung. Und zunächst 81 00:06:42,979 --> 00:06:45,970 habe ich nicht das bekommen, was ich haben wollte. Ich habe dann aber immer weiter 82 00:06:45,970 --> 00:06:49,680 nachgefragt und irgendwann haben sie angefangen mir CD-ROMs zuzuschicken. 83 00:06:49,680 --> 00:06:53,639 Lachen K: Ja, musst' ich erstmal im Keller 84 00:06:53,639 --> 00:06:58,000 gucken, wie man denn so antike Datenträger auslesen kann und auf der ersten CD fand 85 00:06:58,000 --> 00:07:03,661 sich leider auch nur das, was ich erwartet hatte: Eine Kopie meiner Profildaten, die 86 00:07:03,661 --> 00:07:07,499 auch online einsehbar sind, plus ein paar Zusatzinformationen - also nicht das was 87 00:07:07,499 --> 00:07:10,830 ich eigentlich wollte. Ich hab dann weiter Stress gemacht, habe dann irgendwann 'ne 88 00:07:10,830 --> 00:07:15,120 zweite CD-ROM zugeschickt bekommen. Eigentlich habe ich drei zugeschickt 89 00:07:15,120 --> 00:07:16,550 bekommen - die andere ist in der Post verschwunden. 90 00:07:16,550 --> 00:07:23,409 L: In der Mülltonne. K: Wahrscheinlich. Ja und dann habe ich 91 00:07:23,409 --> 00:07:27,130 auf dieser letzten CD mal geguckt was ist denn da drauf? Und da waren so Sachen drauf 92 00:07:27,130 --> 00:07:31,819 wie ein PDF, wo ich sehen konnte, was für Suchanfragen ich getätigt habe. Ich konnte 93 00:07:31,819 --> 00:07:36,439 sehen, auf welche Werbe-E-Mails ich wann reagiert hab - auf die Sekunde genau. Und 94 00:07:36,439 --> 00:07:40,669 ich konnte sehen, auf welche Werbeanzeigen ich reagiert habe. Das Interessante war 95 00:07:40,669 --> 00:07:46,659 allerdings so eine Excel-Tabelle und diese Excel-Tabelle trug den unschuldigen Namen 96 00:07:46,659 --> 00:07:52,209 "Clickstream". Die habe ich mal aufgemacht und das hat erst mal eine ganze Zeit lang 97 00:07:52,209 --> 00:07:56,859 zum Laden gebraucht. Und irgendwann habe ich dann gesehen - okay diese Excel- 98 00:07:56,859 --> 00:08:06,739 Tabelle hat 15.365 Zeilen und jede Zeile hat bis zu 50 Zusatzangaben, also 50 99 00:08:06,739 --> 00:08:11,659 Spalten. Ich war gestern mal im Supermarkt, um das zu visualisieren. So 100 00:08:11,659 --> 00:08:14,739 viel Papier wär das, wenn das ausgedruckt wär. Mein eigentliches Ziel war es, auf 101 00:08:14,739 --> 00:08:18,439 einen Stapel zu packen das wäre dann größer als ich mit meinen 1,70m. 102 00:08:18,439 --> 00:08:22,120 Allerdings haben wir das aus Sicherheitsgründen sein lassen, denn das 103 00:08:22,120 --> 00:08:26,530 wäre zusammengekracht. L: Ja und als Katha mich gefragt hat, ob 104 00:08:26,530 --> 00:08:30,629 ich ihre Daten auswerten will, dachte ich als Erstes an meine Datenbankenvorlesung - 105 00:08:30,629 --> 00:08:35,350 so Beziehung zwischen Kunden und Lieferanten und was kauft man. Aber der 106 00:08:35,350 --> 00:08:38,560 Clickstream von Amazon sind nicht nur die Käufe. Denn eigentlich wird alles 107 00:08:38,560 --> 00:08:41,979 abgespeichert, was wir mit der Seite machen. Es ist egal ob wir nur auf die 108 00:08:41,979 --> 00:08:45,610 Startseite gehen, ob wir Produkte suchen oder ob wir uns ein Produkt genau 109 00:08:45,610 --> 00:08:50,780 anschauen. Es wird sogar gespeichert, wenn wir uns ein Bild vergrößern und natürlich 110 00:08:50,780 --> 00:08:55,580 auch jede Interaktion, die wir haben, wenn wir auf unserem Nutzerkonto sind. Und weil 111 00:08:55,580 --> 00:08:58,790 wir hier ja einen Foundationstalk machen, habe ich mir gedacht, ich will euch auch 112 00:08:58,790 --> 00:09:02,210 ein bisschen mitnehmen in die Reise in die Daten, die unbekannt sind und wie man 113 00:09:02,210 --> 00:09:05,620 eigentlich mit so einem unbekannten Datensatz vorgehen kann, ihn explorativ 114 00:09:05,620 --> 00:09:08,950 analysieren kann, um zu wissen, was steckt überhaupt in diesen Daten drin? Was kann 115 00:09:08,950 --> 00:09:13,680 man vielleicht mit den Daten sehen? Also wie schon gesagt, wir haben 50 Spalten 116 00:09:13,680 --> 00:09:17,400 oder auch Dimensionen genannt, und da ich die nicht alle hier auflisten kann, habe 117 00:09:17,400 --> 00:09:21,320 ich versucht, 'ne grobe Zuordnung zu Gruppen zu finden. Wir haben als erstes 118 00:09:21,320 --> 00:09:26,200 natürlich 'ne Zeitangabe, ganz klar. Wir haben Account-Details, sowas wie seid ihr 119 00:09:26,200 --> 00:09:32,270 Prime-Kunde oder Business-Kunde, und 'nen Ortsbezug. Amazon speichert die IP-Adresse 120 00:09:32,270 --> 00:09:35,340 nicht vollständig - der letzte Block ist weggestrichen. Aber was sie außerdem 121 00:09:35,340 --> 00:09:39,560 speichern ist, in welchem Land, in welchem Bundesland und welcher Internet-Service- 122 00:09:39,560 --> 00:09:43,000 Provider, also der Internetanbieter, den ihr da genutzt habt, um die Seite zu 123 00:09:43,000 --> 00:09:48,350 besuchen. Außerdem wird natürlich die URL gespeichert, die ihr da besucht habt und 124 00:09:48,350 --> 00:09:52,630 wenn es auch noch ein Produkt ist, wird dazu die Produkt-ID auch abgespeichert. 125 00:09:52,630 --> 00:09:57,900 Achso, hm, oh jetzt habe ich die Sessiondetails vergessen. Ja, die Session- 126 00:09:57,900 --> 00:10:01,770 Details sind so alles, was so im Cookie auch landet, damit man einfach sieht in 127 00:10:01,770 --> 00:10:06,340 welcher Session man sich gerade befindet. Und es gibt noch eine ID, die euch über 128 00:10:06,340 --> 00:10:11,580 alle Dienste von Amazon hinweg identifizieren kann. Und bei den 129 00:10:11,580 --> 00:10:16,200 Navigationsdetails ist es eigentlich schon ein bisschen klar, wo es hingeht. Amazon 130 00:10:16,200 --> 00:10:20,420 sieht, von wo ihr kommt, wo ihr gerade seid und wo geht ihr dann hin. Dieser 131 00:10:20,420 --> 00:10:25,020 gesamte Verlauf wird einmal abgespeichert - und nicht nur der Verlauf, sondern auch 132 00:10:25,020 --> 00:10:27,710 was habt ihr da gemacht, welche Interaktionen habt ihr gemacht, habt ihr 133 00:10:27,710 --> 00:10:32,080 etwas in den Warenkorb hinzugefügt, habt ihr euch ein Bild angeschaut oder habt ihr 134 00:10:32,080 --> 00:10:37,420 etwas für später gespeichert? Als letztes kann man so einen Block sehen, das heißt 135 00:10:37,420 --> 00:10:42,380 Amazoninterna. Wir sehen, an welchen Web- Server die Anfrage gestellt wurde und ob 136 00:10:42,380 --> 00:10:46,780 die Anfrage eine interne IP-Adresse bei Amazon hat. Ihr bekommt von Amazon 137 00:10:46,780 --> 00:10:51,490 außerdem eine lange Liste mit all diesen Dimensionen und die Erläuterung dazu, was 138 00:10:51,490 --> 00:10:56,811 sich dahinter verbirgt. Manchmal speichert Amazon aber nicht den Klartext, sondern 139 00:10:56,811 --> 00:11:00,960 codiert etwas was z.B. wie: Null bedeutet, ihr habt was in den Warenkorb gelegt. 140 00:11:00,960 --> 00:11:04,710 Denkt man erst mal: Super hat man nicht so viel zu parsen. Dann hab ich aber 141 00:11:04,710 --> 00:11:07,850 festgestellt, als ich mir die Daten genauer angeschaut habe, so Amazon erzählt 142 00:11:07,850 --> 00:11:12,260 aber nicht, was sie alles codiert oder was sie codieren. Manche Felder sind uns 143 00:11:12,260 --> 00:11:15,130 schlicht unbekannt. K: Ja, sagen wir mal so: Die 144 00:11:15,130 --> 00:11:18,110 Brieffreundschaft dauert noch an. L: Ich hoffe auch, wir werden darauf noch 145 00:11:18,110 --> 00:11:22,221 nochmal Antwort bekommen. Wenn wir jetzt also den Datensatz mit den 50 Spalten 146 00:11:22,221 --> 00:11:26,740 vorstellen, haben wir irgendwie über 15.000 Einträge. Ich hab mal 2 147 00:11:26,740 --> 00:11:29,140 herausgenommen, um einfach nur exemplarisch zu zeigen, wie sind die 148 00:11:29,140 --> 00:11:32,930 überhaupt aufgebaut. Also wir haben Datum, wir haben 'ne Aktion, die wir machen, 149 00:11:32,930 --> 00:11:36,950 sowas wie 'gesucht' oder 'gekauft', und dann haben wir dazu die URL, aus welchem 150 00:11:36,950 --> 00:11:41,110 Bundesland vielleicht das Ganze abgesetzt wurde, welcher Internet-Provider da 151 00:11:41,110 --> 00:11:45,490 dahinter steckt und wie lang die Ladezeit war. Das haben wir natürlich nicht nur für 152 00:11:45,490 --> 00:11:51,690 diese 2 Einträge, sondern wie gesagt für über 15.000. Welchen Zeitraum betrachten 153 00:11:51,690 --> 00:11:56,330 wir hier eigentlich in den Daten? Es geht los am 1. August 2016 und es endet am 154 00:11:56,330 --> 00:12:03,170 31. August 2017. Das sind dann etwa 196 Tage, die mit Interaktionen behaftet sind und 155 00:12:03,170 --> 00:12:09,010 das wären dann sozusagen 78 Einträge pro Tag. Wenn ich mit so 'nem unbekannten 156 00:12:09,010 --> 00:12:12,710 Datensatz arbeite, dann arbeite ich eigentlich immer mit Python und dem Pandas 157 00:12:12,710 --> 00:12:17,260 Package, was sich so für Datenanalyse einfach als Standard durchgesetzt hat. Und 158 00:12:17,260 --> 00:12:20,080 egal was mir Amazon sagt, was in den Daten sind, ich schaue mir die Dimensionen immer 159 00:12:20,080 --> 00:12:23,820 nochmal ganz genau an. Das heißt welche Dimension habe ich und wie häufig wurde 160 00:12:23,820 --> 00:12:28,581 sie benutzt? Es gibt extrem viele, die immer benutzt werden - sowas wie Datum und 161 00:12:28,581 --> 00:12:33,080 Uhrzeit. Die Angabe gibt es immer, aber es gibt auch Dimensionen, die einfach nicht 162 00:12:33,080 --> 00:12:35,970 so häufig genutzt werden, und wir haben auch eine Dimension bekommen, die wurde 163 00:12:35,970 --> 00:12:41,890 nie genutzt - irgendwas über Bilder. Keine Ahnung was da drin ist. Ich hab mir dann 164 00:12:41,890 --> 00:12:44,930 jede Dimension wirklich einzeln angeguckt, was da drin steht und wie häufig das 165 00:12:44,930 --> 00:12:50,410 passiert. Und bin über die Zeit gestoßen, die wirklich eine sekundengenaue Angabe 166 00:12:50,410 --> 00:12:54,760 sein soll, was man auf Amazon macht. Und ich weiß nicht, wie man es hinbekommt, in 167 00:12:54,760 --> 00:12:59,141 einer Sekunde irgendwie 45 Einträge zu generieren, aber ich dachte mir, okay, ich 168 00:12:59,141 --> 00:13:02,310 nehme erst mal noch eine andere Spalte und schaue mal was da noch drin steht ist - 169 00:13:02,310 --> 00:13:06,130 vielleicht ist das ja ein Ausreißer oder es sind mehrere Ausreißer - weiß man ja 170 00:13:06,130 --> 00:13:09,990 nicht. Dann hab ich mir so einen Tag genauer angeguckt. Also man kann auch die 171 00:13:09,990 --> 00:13:12,980 Zeitangabe nur für einen Tag nehmen. Das ist irgendwie so eine relative 172 00:13:12,980 --> 00:13:16,570 Gleichverteilung. Und dann hat man da so 3 Ausreißer - die sind irgendwie wahnsinnig 173 00:13:16,570 --> 00:13:20,940 verdächtig, weil die stark abweichen von den anderen und es gibt sogar einen der 174 00:13:20,940 --> 00:13:27,490 irgendwie 710 Einträge beinhaltet aber ich weiß ja nicht, wie intensiv Katha Amazon 175 00:13:27,490 --> 00:13:32,510 genutzt hat in der Zeit von morgens bis abends - auf jeden Fall sportlich. Dann 176 00:13:32,510 --> 00:13:36,120 habe ich mir den Tag aber wirklich mal ganz genau angeschaut. Wir haben 710 177 00:13:36,120 --> 00:13:39,420 Einträge. Dann hab ich mal geguckt, was ist denn für eine Zeitspanne die wir 178 00:13:39,420 --> 00:13:46,030 haben? 20 Minuten und 35 Sekunden. Das heißt für einen Eintrag würde Katha 1,74 179 00:13:46,030 --> 00:13:49,560 Sekunden brauchen. Das Ganze würde dann wahrscheinlich so aussehen. 180 00:13:49,560 --> 00:13:51,660 Lachen K: Ja und wenn ich das schaffe, spätestens 181 00:13:51,660 --> 00:13:55,030 an der Stelle sollte ich meine Karriere als Progamer überdenken. 182 00:13:55,030 --> 00:14:00,280 L: Ja. Ich bin daraufhin nochmal genauer in die Daten eingestiegen und Pandas hat 183 00:14:00,280 --> 00:14:03,360 so 'nen value_counts, was das Histogramm sozusagen darstellen würde - 184 00:14:03,360 --> 00:14:07,130 Häufigkeitsverteilung und die Funktion und ich wir sind jetzt richtig dicke auf jeden 185 00:14:07,130 --> 00:14:13,170 Fall. Ich hab mir die wirklich komplett nochmal angeschaut. Wo kommt das her? Mir 186 00:14:13,170 --> 00:14:16,750 ist aufgefallen, dass diese Aktion nicht immer definiert ist, die wird nur so 4.600 187 00:14:16,750 --> 00:14:20,680 Mal überhaupt angegeben. Wo ich mir dachte, okay, 'ne Interaktion - naja 188 00:14:20,680 --> 00:14:23,600 vielleicht kann man's nicht immer klassifizieren und dann sind mir zwei 189 00:14:23,600 --> 00:14:28,290 andere Sachen noch aufgefallen: request und lazy-load. Die zwei Sachen finde ich, 190 00:14:28,290 --> 00:14:33,320 hören sich nicht wie eine Interaktion an. Und da ich Webentwicklerin halt auch bin, 191 00:14:33,320 --> 00:14:38,270 war mir so hm okay vielleicht wird da noch etwas anderes in den Daten stecken. Und 192 00:14:38,270 --> 00:14:41,760 hab mir daraufhin die URLs mal genauer angeschaut, die in den Daten stecken und 193 00:14:41,760 --> 00:14:44,540 spätestens bei Ajax, was 'ne Webtechnologie ist, sagt mir mh 194 00:14:44,540 --> 00:14:48,400 Nutzerinteraktion? Schauen wir mal in den Browser. Wie gesagt, ich bin 195 00:14:48,400 --> 00:14:53,430 Webentwicklerin, und so'n Browser verrät 'ne Menge über eine Webseite, wenn Fehler 196 00:14:53,430 --> 00:14:56,730 drin sind oder was für einen Traffic im Netzwerkverkehr - äh im Netzwerk 197 00:14:56,730 --> 00:15:00,610 stattfindet. Und das hab ich auch mal für Amazon gemacht und hab mir mal ein Spiel 198 00:15:00,610 --> 00:15:03,740 einfach ausgesucht und hab geguckt was wird eigentlich so alles geladen, während 199 00:15:03,740 --> 00:15:08,750 man auf der Seite ist. Und ja, jede Webseite lädt eine Menge Sachen nach. Und 200 00:15:08,750 --> 00:15:12,660 als es dann irgendwann mal fertig geladen hat, dachte mir okay, und jetzt suche ich 201 00:15:12,660 --> 00:15:17,360 in dieser Auflistung nach den URLs, die ich nicht zuordnen konnte. Und siehe da, 202 00:15:17,360 --> 00:15:21,260 es sind wirklich Sachen die einfach nachgeladen werden. So etwas wie ein Prime 203 00:15:21,260 --> 00:15:24,570 Button oder Bilder und Rezensionen, was für mich jetzt per se keine 204 00:15:24,570 --> 00:15:29,400 Nutzerinteraktion ist. Aber es landet komplett in dem Clickstream drin. Wenn wir 205 00:15:29,400 --> 00:15:34,071 also die realen Nutzerinteraktionen suchen von den über 15.000 Einträgen, dann hab 206 00:15:34,071 --> 00:15:39,450 ich eine Annahme getroffen: Eine Nutzerinteraktion muss die Page Action 207 00:15:39,450 --> 00:15:42,960 angegeben haben, ansonsten ist es keine. So selektieren wir die erst mal als 208 00:15:42,960 --> 00:15:46,080 Erstes. Dann möchte ich auch nicht, dass es ein request ist, weil das sieht auch 209 00:15:46,080 --> 00:15:51,350 aus wie keine Interaktion und es darf auch kein lazy-load sein. Wenn wir diesen 210 00:15:51,350 --> 00:15:55,340 gesamten Wust nehmen und einfach mal aus den Daten rauswerfen, dann haben wir 75 % 211 00:15:55,340 --> 00:16:01,450 der Daten einfach mal weggeworfen haben nur noch 3.747 Einträge übrig, die reale 212 00:16:01,450 --> 00:16:07,080 oder die ich als Annahme als reale Nutzerinteraktion sehe. Ich weiß nicht, 213 00:16:07,080 --> 00:16:11,120 wie viele von euch auf GitHub unterwegs sind, aber ich liebe den Graph, der so ein 214 00:16:11,120 --> 00:16:15,240 bisschen die Aktivität zeigt, die man auf GitHub hat. Das Gleiche könnte man auch 215 00:16:15,240 --> 00:16:19,790 für Amazon machen. Und ich weiß nicht, ob ich darüber so glücklich wäre bei mir. 216 00:16:19,790 --> 00:16:24,150 Jedenfalls steht jedes Kästchen für eine Interaktion und die extrem dunklen lilanen 217 00:16:24,150 --> 00:16:29,480 Kästchen zeigen bis zu 180 Interaktionen, die man mal am Tag getätigt hat 218 00:16:29,480 --> 00:16:34,460 K: Beispielsweise vor Weihnachten. L: Genau - sieht man besonders gut. Aber 219 00:16:34,460 --> 00:16:38,310 das heißt ja auch noch nicht, dass jede Interaktion wirklich zu einem Kauf 220 00:16:38,310 --> 00:16:42,060 überleitet. Und ich hab mal versucht herauszufinden, wie Amazon überhaupt 221 00:16:42,060 --> 00:16:46,010 klassifiziert, ob man etwas kauft. Und ich dachte mir, hey, Page Action, du bist ja 222 00:16:46,010 --> 00:16:50,460 eine gute Idee anzugucken und Amazon wird doch mit Sicherheit ordentliche, gepflegte 223 00:16:50,460 --> 00:16:55,160 Daten haben und sowas wie ein "Order" drin stehen haben oder 'nen "Purchase" - nix 224 00:16:55,160 --> 00:17:00,050 da. Amazon hat aus irgendwelchen Gründen 'ne Horde an Einträgen, die man per Hand 225 00:17:00,050 --> 00:17:05,530 herausfinden muss aus seinem Datensatz. Damit man überhaupt eine Idee davon 226 00:17:05,530 --> 00:17:10,010 bekommt, welche Interaktionen sind wirklich Käufe und welche nicht. Ich habe 227 00:17:10,010 --> 00:17:14,250 auch nicht herausgefunden ob's hinter dieser Nummerierung von "PlaceOrder" 228 00:17:14,250 --> 00:17:18,380 irgendeinen Zusammenhang gibt, wann die auftreten, das ist nicht aus dem Datensatz 229 00:17:18,380 --> 00:17:24,529 ersichtlich gewesen. Wenn wir also mal die Interaktion mit den Käufen vergleichen - 230 00:17:24,529 --> 00:17:29,029 leider sind die Kästchen ein bisschen hell - von den 196 Tagen, an denen man 231 00:17:29,029 --> 00:17:33,330 interagiert hat, hat man am Ende nur an 24 Tagen gekauft. Also ist ein viel, viel 232 00:17:33,330 --> 00:17:37,679 geringerer Teil. Aber man sieht den Dezember - da hat Katha auf jeden Fall 233 00:17:37,679 --> 00:17:41,259 viermal hintereinander gekauft. Und in ihren Daten habe ich außerdem gesehen, 234 00:17:41,259 --> 00:17:45,650 dass sie extrem interessiert an Büchern ist und im Dezember einfach mal 32 Bücher 235 00:17:45,650 --> 00:17:49,722 an 4 Tagen gekauft hat. Lachen 236 00:17:49,722 --> 00:17:52,990 L: Wir lassen das Thema mit den Interaktionen und Käufen jetzt mal hinter 237 00:17:52,990 --> 00:17:58,299 uns und begeben uns auf die Orte, in denen Katha war, als sie auf Amazon 238 00:17:58,299 --> 00:18:03,679 herumgebrowst ist. Als Erstes ist mir aufgefallen, in Berlin ist sie am 239 00:18:03,679 --> 00:18:08,529 häufigsten im Internet auf Amazon. Okay, vielleicht wohnt sie da. Dann hat man 240 00:18:08,529 --> 00:18:12,470 irgendwie Brandenburg und Schleswig- Holstein noch ziemlich häufig. Weiß ich 241 00:18:12,470 --> 00:18:15,980 nicht, was der Bezug dazu ist, und dann weniger häufig aber auch existent 242 00:18:15,980 --> 00:18:21,070 Nordrhein-Westfalen und Niedersachsen. K: Ja, ich lös mal auf. Ich wohne in 243 00:18:21,070 --> 00:18:25,810 Berlin, das ist richtig, und um aus Berlin rauszukommen muss man grundsätzlich erstmal 244 00:18:25,810 --> 00:18:31,350 immer durch Brandenburg durch. In der Zeit, in der ich diesen Versuch gemacht 245 00:18:31,350 --> 00:18:36,159 habe, bin ich beruflich nach Schleswig- Holstein gependelt. Das heißt man konnte 246 00:18:36,159 --> 00:18:40,299 in dem Datensatz recht gut sehen, an welchen Tagen ich wo gearbeitet habe. In 247 00:18:40,299 --> 00:18:43,789 Nordrhein-Westfalen lebt meine Familie und immer wenn ich nach Nordrhein-Westfalen 248 00:18:43,789 --> 00:18:46,990 gefahren bin, bin ich auch durch Niedersachsen durchgefahren. Was mich so 249 00:18:46,990 --> 00:18:51,889 ein bisschen überrascht hat war, dass ich an dem Datensatz schon vermuten konnte, 250 00:18:51,889 --> 00:18:56,450 wann ich meine Eltern besucht habe. Und das war dann doch ein bisschen creepy. 251 00:18:56,450 --> 00:18:59,470 L: Das ist einfach nur die Spalte, die man anschauen kann, wenn es um die 252 00:18:59,470 --> 00:19:04,049 Bundesländer geht. K: Ah ja, und genau. Woher weiß Amazon, 253 00:19:04,049 --> 00:19:08,049 dass in NRW meine Eltern wohnen? Ganz einfach: kurz vor Weihnachten ratet mal wo 254 00:19:08,049 --> 00:19:11,700 ich meine Pakete hingeschickt hab, ne, weil ich auf den letzten Drücker gekauft 255 00:19:11,700 --> 00:19:15,090 habe. Und das sind solche kleinen Verbindungen, wo man wirklich sagen kann 256 00:19:15,090 --> 00:19:18,091 man: naja, wenn ich mehrere Datensätze als Amazon habe, kann ich da total einfach 257 00:19:18,091 --> 00:19:23,639 auch sehr private Details rausfinden. L: Genau. Als Nächstes habe ich mir im 258 00:19:23,639 --> 00:19:27,879 Vorfeld die Internet Service Provider mal genauer angeschaut und da ist mir eins 259 00:19:27,879 --> 00:19:31,519 aufgefallen: einige verraten, wo sie sind. So weiß ich zum Beispiel, dass Katha im 260 00:19:31,519 --> 00:19:35,229 Freifunk in Hamburg unterwegs war. K: Ja, da bin ich immer umgestiegen, weil 261 00:19:35,229 --> 00:19:39,190 ich nach Kiel gefahren bin. L: Und dann hab ich da was im Februar 2017 262 00:19:39,190 --> 00:19:44,350 gesehen, da war sie auf den Bahamas. K: Nicht was ihr denkt, das war Urlaub. 263 00:19:44,350 --> 00:19:48,790 Lachen L: Und im Juli 2017 war sie in Polen. 264 00:19:48,790 --> 00:19:53,010 K: Genau, das war ein Familienurlaub. L: Es gibt da noch einen anderen 265 00:19:53,010 --> 00:19:57,249 Aufenthalt, der mir aufgefallen ist. Und ich vermute, du hast eine Beziehung zu 266 00:19:57,249 --> 00:20:01,029 Universitäten oder Bibliotheken. K: Ja, ich schreib tatsächlich am liebsten 267 00:20:01,029 --> 00:20:04,970 in der Bibliothek. L: Viele von euch werden den Verein zur 268 00:20:04,970 --> 00:20:09,019 Förderung eines Deutschen Forschungsnetzes kennen in Form von eduroam. Das ist die 269 00:20:09,019 --> 00:20:12,340 Einrichtung, die in Deutschland das Internet in Bildungs- und 270 00:20:12,340 --> 00:20:16,409 Forschungseinrichtungen, Universitäten oder Bibliotheken zur Verfügung stellt und 271 00:20:16,409 --> 00:20:20,159 auch das sieht man in den Daten. Was Amazon irgendwie scheinbar beim Internet 272 00:20:20,159 --> 00:20:25,090 Service Provider macht, ist, sie erlauben nur 50 Zeichen und da ist der Name vom DFN 273 00:20:25,090 --> 00:20:29,879 definitiv zu lang für. Aber wir gucken mal was du so in 'ner Bibliothek machst, 274 00:20:29,879 --> 00:20:34,201 während du eigentlich arbeiten solltest. Du rutschst mal kurz aus zu Amazon, so 275 00:20:34,201 --> 00:20:37,900 wenige Sekunden - das kann mal passieren. Dann kommt das schlechte Gewissen 276 00:20:37,900 --> 00:20:42,480 wahrscheinlich. Dann hast du so 'ne Käufe von oder so 'ne Aufenthalte von einer 277 00:20:42,480 --> 00:20:47,549 Minute - bestimmt zielgerichtet irgendwas gesucht und für später weggespeichert. Was 278 00:20:47,549 --> 00:20:51,230 machst du 15 Minuten lang auf Amazon? Das kann man doch schon fast Prokrastination 279 00:20:51,230 --> 00:20:53,860 nennen. K: Na, das würde ich jetzt nicht so sagen. 280 00:20:53,860 --> 00:20:58,700 L: Nee, stimmt, denn wir haben noch was Besseres: Du warst über anderthalb Stunden 281 00:20:58,700 --> 00:21:02,020 auf der Seite von Amazon. Lachen 282 00:21:02,020 --> 00:21:07,890 K: Reine Recherche. L: Was auf dieser Page Action, die ich 283 00:21:07,890 --> 00:21:11,279 erwähnt habe, jetzt so häufig, für die Nutzerinteraktion irgendwie hervorgetreten 284 00:21:11,279 --> 00:21:16,230 ist, dass Amazon ab einem ganz bestimmten Zeitpunkt versucht hat herauszufinden, ob 285 00:21:16,230 --> 00:21:20,370 man den Tab gerade in den Vordergrund oder den Hintergrund legt. Da Kathas Datensatz 286 00:21:20,370 --> 00:21:24,309 jetzt nur ein begrenzter Datensatz ist, kann ich nicht sagen, ob das Zufall ist 287 00:21:24,309 --> 00:21:28,070 oder ob Amazon versucht, wirklich kontinuierlich die Erkennung zu 288 00:21:28,070 --> 00:21:31,309 verbessern, damit sie einfach wirklich wissen, wann interagiert man mit der 289 00:21:31,309 --> 00:21:33,679 Seite, wann legt man etwas in den Hintergrund. 290 00:21:33,679 --> 00:21:39,190 K: Ja und spannend fand ich in dem Datensatz auch, dass man gar nicht so viel 291 00:21:39,190 --> 00:21:43,970 technischen Sachverstand auch benötigt, um sich ein grobes Bild davon zu machen, was 292 00:21:43,970 --> 00:21:48,039 da alles drin schlummert. Ich habe beispielsweise mal in der Spalte V geguckt 293 00:21:48,039 --> 00:21:53,480 - die Spalte V steht für Referrer und das kann man für Nicht-Techies übersetzen 294 00:21:53,480 --> 00:21:57,879 ungefähr wie: "Naja woher kommst du denn?". Das heißt, Amazon merkt sich, von 295 00:21:57,879 --> 00:22:01,789 welcher Seite ich sie ansurfe und in meinem Fall war es so, dass ich mehrere 296 00:22:01,789 --> 00:22:06,309 Artikel von Spiegel Online dann mit dem kompletten Link in meinem Clickstream 297 00:22:06,309 --> 00:22:09,350 gefunden habe und das ist deshalb interessant, weil man dann natürlich sagen 298 00:22:09,350 --> 00:22:12,990 kann, so okay, welche Medien konsumiert dieser jemand eigentlich, oder vielleicht 299 00:22:12,990 --> 00:22:18,289 auch wofür interessiert er sich inhaltlich außerhalb Amazons sonst noch? Ich habe 300 00:22:18,289 --> 00:22:24,379 auch einen Link gefunden vom Telepolis von heise online, ein Artikel in dem es um 301 00:22:24,379 --> 00:22:30,360 CETA geht. CETA ist das Handelsabkommen zwischen Kanada und der EU und das ist ein 302 00:22:30,360 --> 00:22:33,529 kritischer Beitrag und da kann man sich natürlich auch überlegen, okay, wenn 303 00:22:33,529 --> 00:22:37,670 Amazon wirklich weiß, von was für politischen Artikeln wir kommen, dann kann 304 00:22:37,670 --> 00:22:42,000 man daraus natürlich auch Rückschlüsse über das politische Mindset ziehen. In der 305 00:22:42,000 --> 00:22:46,490 Tat habe ich in der Zeit eine Kampagne gegen CETA in Schleswig-Holstein geleitet 306 00:22:46,490 --> 00:22:53,499 und deshalb bin ich auch gependelt. Und man kann gar nicht genug betonen, wie groß 307 00:22:53,499 --> 00:23:01,200 der Unterschied zwischen gekauften Daten, - äh - gekauften Produkten und geklickten 308 00:23:01,200 --> 00:23:06,379 Produkten ist. Ich habe hier für diesen Vortrag mal alles was ich in der Zeit 309 00:23:06,379 --> 00:23:10,440 gekauft habe auf meinem Küchentisch drapiert. Wenn ich aber alle Produkte, die 310 00:23:10,440 --> 00:23:14,950 ich nur angesehen habe, auf ein Foto quetschen wollen würde dann müsste ich 311 00:23:14,950 --> 00:23:18,380 nicht nur meine komplette Küche leerräumen, sondern wahrscheinlich meine 312 00:23:18,380 --> 00:23:22,649 ganze Wohnung. Denn das wird sonst nicht reinpassen. Das ist viel, viel mehr. 313 00:23:22,649 --> 00:23:27,429 L: Was man in den Daten außerdem gesehen hat ist, dass man sagen kann, dass Katha 314 00:23:27,429 --> 00:23:31,889 auf jeden Fall über 500 Mal nach Begriffen gesucht hat und auch dass sie ungefähr 450 315 00:23:31,889 --> 00:23:37,480 Mal direkt auf Produkte zugegangen ist. Man kann aber schon sagen, dass es noch 316 00:23:37,480 --> 00:23:40,950 eine ganze Ecke mehr ist, weil das sind nur die Sachen die offensichtlich waren 317 00:23:40,950 --> 00:23:43,799 und wenn man nochmal per Hand wieder in diesen Datensatz reinspringt und nach 318 00:23:43,799 --> 00:23:46,559 Mustern sucht, kann man auch sehen, dass es noch mehr Produkte sind, die man sich 319 00:23:46,559 --> 00:23:49,820 angeschaut hat. K: Ja, ich hab mich dann natürlich 320 00:23:49,820 --> 00:23:56,730 gefragt, was sieht eigentlich jemand, der mich persönlich nicht kennt, nur diesen 321 00:23:56,730 --> 00:24:04,039 Datensatz sieht. Wen sieht er dann? Und finde ich das eigentlich okay? Und ich hab 322 00:24:04,039 --> 00:24:07,009 mir dann mal so einige Sachen angeschaut, die ich angeklickt habe und mal aus 323 00:24:07,009 --> 00:24:11,950 unterschiedlichen Brillen betrachtet. Nehmen wir mal das Thema Lebensplanung. 324 00:24:11,950 --> 00:24:16,870 Stellen wir mal vor jemand fragt sich, naja, wie stellt sich Katharina Nocun ihre 325 00:24:16,870 --> 00:24:20,140 Zukunft so vor, wie ist ihre Lebensplanung? Und der guckt sich meinen 326 00:24:20,140 --> 00:24:24,159 Clickstream an - was findet der da? Ich hab mir ein Buch angeschaut, das sich mit 327 00:24:24,159 --> 00:24:28,629 Pro-Argumenten fürs Kinderkriegen auseinandersetzt. Dann habe ich mir aber 328 00:24:28,629 --> 00:24:33,200 auch ein Buch angeschaut was ich mit alternativen Partnerschaftsformen und 329 00:24:33,200 --> 00:24:38,649 Polyamorie auseinandersetzt und natürlich noch ein Buch von einer Aussteigerin, die 330 00:24:38,649 --> 00:24:45,169 sagt, ich werde der Konsumgesellschaft den Rücken kehren. Und wenn man diese 3 331 00:24:45,169 --> 00:24:49,179 Produkte und noch ein paar mehr in der Richtung zusammenlegt, wird man denken, so 332 00:24:49,179 --> 00:24:52,120 okay, das ist zumindest eine außergewöhnliche, originelle bis hin zu 333 00:24:52,120 --> 00:24:56,240 exotische oder vielleicht auch schwierige Lebensplanung, wenn man das alles unter 334 00:24:56,240 --> 00:25:02,110 einen Hut bekommen will. Aber wie ist es denn tatsächlich? Das Buch über Kinder 335 00:25:02,110 --> 00:25:07,390 habe ich mir angeschaut, weil ich auf den Autor aufmerksam geworden bin, weil ich 336 00:25:07,390 --> 00:25:10,710 den Blog "Spreeblick" sehr schätze und schlichtweg wissen wollte, naja was 337 00:25:10,710 --> 00:25:15,639 schreibt der Typ denn sonst noch. Bei dem zweiten Buch war es so, dass ich den Autor 338 00:25:15,639 --> 00:25:18,039 kenne und er hat mich zur Lesung eingeladen - da wollte ich mich vorher 339 00:25:18,039 --> 00:25:23,029 schlau machen, worum geht denn eigentlich bei der Veranstaltung? Und bei dem dritten 340 00:25:23,029 --> 00:25:27,159 Buch ist es schlichtweg so, wir sind beim selben Verlag. Ich wollte einfach gucken, 341 00:25:27,159 --> 00:25:33,279 was hat der Verlag bei dem ich bin, sonst noch in der Sachbuchsparte? Das heißt 342 00:25:33,279 --> 00:25:40,179 Clickstream oder das Bild, das aus meinem Clickstream generiert wird, und die 343 00:25:40,179 --> 00:25:45,659 Person, die ich bin, sind womöglich zwei ganz unterschiedliche Dinge. Nehmen wir 344 00:25:45,659 --> 00:25:49,809 mal das Thema Gesundheit, da wird es noch viel deutlicher. Ich hab mir Schnaps 345 00:25:49,809 --> 00:25:56,570 angeguckt, dafür gibt's sogar eine eigene Kategorie bei Amazon: Alkohol. Man könnte 346 00:25:56,570 --> 00:26:02,149 ja jetzt Vermutungen anstellen, warum interessiere ich mich für Schnaps. Naja, 347 00:26:02,149 --> 00:26:04,760 vielleicht habe ich ja gesundheitliche Probleme und möchte ein bisschen 348 00:26:04,760 --> 00:26:10,330 Selbstmedikation betreiben. Ich habe mir tatsächlich ein Buch über Arthrose 349 00:26:10,330 --> 00:26:15,489 angeschaut - ne ziemlich schwere Krankheit - und was noch viel erschreckender ist, 350 00:26:15,489 --> 00:26:20,529 ich habe mir nicht nur ein, zwei, drei, sondern sehr viele Bücher zum Thema Krebs 351 00:26:20,529 --> 00:26:27,519 angeschaut. Hier exemplarisch eins mit dem Titel "Krebs natürlich heilen". Und wenn 352 00:26:27,519 --> 00:26:30,950 man diese - meinen Clickstream - so anschauen würde, würde man ja denken, 353 00:26:30,950 --> 00:26:37,559 Katharina Nocun ist ein gesundheitliches Wrack. Aber wie sieht es denn wirklich 354 00:26:37,559 --> 00:26:40,809 aus? Ich muss sagen, dieser Gin ist wirklich gut, ich trinke ihn wirklich 355 00:26:40,809 --> 00:26:42,889 gerne. Lachen 356 00:26:42,889 --> 00:26:48,169 K: Die Bücher über schwere Krankheiten habe ich mir aber deshalb angeschaut, weil 357 00:26:48,169 --> 00:26:52,980 ich eine Recherche betrieben habe. Ich wollte wissen, wie hoch ist der Anteil an 358 00:26:52,980 --> 00:27:00,350 esoterischen Quatsch-Büchern in der Amazon Bestsellerliste beim Thema Gesundheit. Und 359 00:27:00,350 --> 00:27:05,230 diese Intention sieht man aber nicht, wenn man nur den Clickstream sieht. Ich habe 360 00:27:05,230 --> 00:27:08,730 weder Krebs, noch Arthrose, noch irgendwelche Anzeichen dafür. Interessant 361 00:27:08,730 --> 00:27:14,140 wird es auch bei der politischen Einstellung. In meinem Clickstream finden 362 00:27:14,140 --> 00:27:18,480 sich unglaublich viele Bücher die sich mit dem Thema AfD auseinandersetzen und zwar 363 00:27:18,480 --> 00:27:27,299 einmal kontra AfD, aber auch Bücher von rechten, rechtsextremen Autoren und 364 00:27:27,299 --> 00:27:32,879 Verschwörungstheoretikern. Und wenn man nur meinen Clickstream betrachtet, wird 365 00:27:32,879 --> 00:27:36,520 man mich glaube ich für eine ziemlich merkwürdige bis unsympathische Person 366 00:27:36,520 --> 00:27:43,049 halten. Und man wird denken, die ist rechts. Tatsächlich war es natürlich so, 367 00:27:43,049 --> 00:27:46,169 ich setze mich kritisch mit der AfD in meinem Blog auseinander und habe 368 00:27:46,169 --> 00:27:49,980 recherchiert und da recherchiert man... Applaus 369 00:27:49,980 --> 00:27:53,159 L: Ja, die AfD kann wirklich niemand unterstützen, das muss man hier mal echt 370 00:27:53,159 --> 00:27:57,360 sagen. K: Ja und da wollte ich mir natürlich auch 371 00:27:57,360 --> 00:28:01,789 ein bisschen angucken, naja, was schreibt denn so die rechte Ecke oder was 372 00:28:01,789 --> 00:28:06,460 publizieren so ein paar Scharfmacher aus der rechten Ecke und wie hoch ist das 373 00:28:06,460 --> 00:28:12,269 eigentlich bei den Amazon Bestsellerlisten gerankt. Und wer aber nur meinen Datensatz 374 00:28:12,269 --> 00:28:15,450 sieht, der sieht das nicht - der wird mich vielleicht für rechtsextrem halten. 375 00:28:15,450 --> 00:28:22,440 Interessant werden solche Zusammenhänge, wenn man sich überlegt, wer ein Interesse 376 00:28:22,440 --> 00:28:27,269 an solchen Daten haben könnte. Denn wo Daten sind, entstehen schnell 377 00:28:27,269 --> 00:28:31,549 Begehrlichkeiten und natürlich gibt es auch Behörden, die durchaus ein Interesse 378 00:28:31,549 --> 00:28:36,980 daran haben können, solche Nutzerdaten abzufragen und zwar alles was da ist und 379 00:28:36,980 --> 00:28:42,070 wenn der Clickstream da ist, dann wird er auch abgefragt. Und stellen wir uns mal 380 00:28:42,070 --> 00:28:46,980 vor, ein Polizeibeamter kommt auf die Idee, die Katha, die ist vielleicht cyber- 381 00:28:46,980 --> 00:28:51,679 kriminell oder vielleicht ist sie auch ein potenzieller Gefährder oder von ihr geht 382 00:28:51,679 --> 00:28:56,609 eine drohende Gefahr aus. Und wir wollen jetzt gezielt mal gucken, ob es 383 00:28:56,609 --> 00:29:05,139 irgendwelche Indizien gibt, die diese These stützt. Was sehen diese Leute? Naja, 384 00:29:05,139 --> 00:29:13,440 zunächst einmal findet sich auf meiner Liste ein sogenanntes Killerspiel. Es ist 385 00:29:13,440 --> 00:29:19,029 schon mal extrem sympathisch aus, wenn man aus Behördensicht da mal draufguckt. Dann 386 00:29:19,029 --> 00:29:24,499 habe ich mir auch noch angeschaut, ein schwarzes T-Shirt mit einem Aufdruck auf 387 00:29:24,499 --> 00:29:30,419 dem steht "Chemist - only because superwoman is not an official job title". 388 00:29:30,419 --> 00:29:36,269 Man könnte also denken, ich habe durchaus interessante Skills und Hobbys. Als 389 00:29:36,269 --> 00:29:44,010 Nächstes ein verdächtig aussehender Gegenstand - ein Kochtopf, und eine 390 00:29:44,010 --> 00:29:50,800 Sturmmaske. Ja und ich weiß nicht, wie ihr das seht, aber aus Behördensicht wird das 391 00:29:50,800 --> 00:29:53,700 überhaupt nicht gut für mich aussehen, wenn man schon mal mit der Brille 392 00:29:53,700 --> 00:29:59,049 draufguckt, naja die könnte was planen, die könnte gefährlich sein. Ich glaube, an 393 00:29:59,049 --> 00:30:02,489 der Stelle wäre es dann höchste Zeit für einen Hausbesuch. Aber ihr könnt euch 394 00:30:02,489 --> 00:30:08,830 natürlich denken, es gibt eine total einfache und harmlose Erklärung für jedes 395 00:30:08,830 --> 00:30:15,519 Produkt. Genau, "könnte ja jeder sagen", kommt hier vorne aus dem Publikum. Das 396 00:30:15,519 --> 00:30:19,889 wäre dann das Gegenargument und damit habe ich schlechte Karten. Und ich weiß nicht, 397 00:30:19,889 --> 00:30:25,059 wie es euch geht, aber ich finde so eine Möglichkeit, sich zu überlegen, was allein 398 00:30:25,059 --> 00:30:29,649 aus so einem Datenabfall an Konsequenzen für mich entstehen könnte im Worst Case 399 00:30:29,649 --> 00:30:34,489 Szenario, extrem bedrohlich. L: Genau, denn Katha hat mir ihr Vertrauen 400 00:30:34,489 --> 00:30:38,199 geschenkt, dass ich die Daten anschaue und vertraulich behandele. Wie sieht das aber 401 00:30:38,199 --> 00:30:44,539 Amazon? Amazon ist groß, ziemlich groß, hat ungefähr 300 Millionen Nutzer und ich 402 00:30:44,539 --> 00:30:48,340 habe die Analyse für eine Person gemacht. Amazon kann natürlich die Analyse für alle 403 00:30:48,340 --> 00:30:52,230 Nutzer machen und erkennt darin Muster und weiß am Ende auch, welches Produkt mit 404 00:30:52,230 --> 00:30:58,749 welchem im Warenkorb landet. K: Ja und was bedeutet im Warenkorb 405 00:30:58,749 --> 00:31:03,499 landet, ne? Amazon weiß beispielsweise, was kaufen Leute, die auch dieses Produkt 406 00:31:03,499 --> 00:31:09,679 gekauft haben. Ein einfachstes Beispiel ist ja die Feinwaage, ne. Als Koch möchte 407 00:31:09,679 --> 00:31:14,090 man vielleicht exakt wissen, wieviel muss hier rein und wieviel hab ich jetzt hier 408 00:31:14,090 --> 00:31:18,779 rein getan. Und wenn man das aber kaufen will, kriegt man direkt so diese geilen 409 00:31:18,779 --> 00:31:21,179 Produktvorschläge. Lachen 410 00:31:21,179 --> 00:31:29,109 K: Durchaus ein Zeichen dafür, dass es auch andere Verwendungszwecke für 411 00:31:29,109 --> 00:31:36,220 Feinwaagen gibt. Und ihr lacht, aber das kann wirklich ernsthafte Konsequenzen für 412 00:31:36,220 --> 00:31:39,850 einen Menschen haben, wenn er vielleicht ohne es zu wissen in einer Schublade 413 00:31:39,850 --> 00:31:43,549 landet, mit der überhaupt nichts am Hut hat. Anderes Beispiel: Wenn ich jetzt nach 414 00:31:43,549 --> 00:31:49,580 einem Glasschneider bei Amazon suche, kriege ich eine Sturmmaske empfohlen. 415 00:31:49,580 --> 00:31:55,000 Lachen K: Was man bei Reitequipment empfohlen 416 00:31:55,000 --> 00:32:00,720 bekommt, kann sich der eine oder andere vielleicht denken. Und das ist ein 417 00:32:00,720 --> 00:32:04,669 Problem, denn ich weiß nicht, wie es euch geht, aber ich möchte gerne wissen in 418 00:32:04,669 --> 00:32:08,989 welchen Schubladen ich lande und ich möchte da vielleicht auch mitreden, wenn 419 00:32:08,989 --> 00:32:12,619 diese Schubladen mir unangenehm sind. Oder vielleicht finde ich auch, dass es gewisse 420 00:32:12,619 --> 00:32:17,869 Schubladen einfach nicht geben sollte. Und das Problem ist, dass ich bei meiner 421 00:32:17,869 --> 00:32:22,999 Datenabfrage eben nur diesen winzigen kleinen Mosaikstein aus dem großen 422 00:32:22,999 --> 00:32:25,721 Datensatz bekommen habe, aber die eigentliche Information über die 423 00:32:25,721 --> 00:32:30,059 Möglichkeiten der Auswertung für diesen einen Datensatz, die kann ich erst 424 00:32:30,059 --> 00:32:34,519 vollumfänglich erfassen, wenn ich das Ganze kenne. Das wird aber Amazon nicht 425 00:32:34,519 --> 00:32:37,789 rausrücken und Amazon wird auch keine Algorithmen zu Suchvorschlägen oder 426 00:32:37,789 --> 00:32:42,169 sonstwas rausrücken, denn das ist natürlich ein Geschäftsgeheimnis. Ich 427 00:32:42,169 --> 00:32:46,419 denke aber das sind die eigentlich spannenden Daten, die wir brauchen, um uns 428 00:32:46,419 --> 00:32:50,040 wirklich ein Bild davon zu machen, wie dieses Unternehmen uns sieht und wie 429 00:32:50,040 --> 00:32:53,619 dieses Unternehmen uns auch gezielt manipuliert, um uns beispielsweise 430 00:32:53,619 --> 00:33:05,749 einzureden, dass wir mehr kaufen sollen. Applaus 431 00:33:05,749 --> 00:33:12,649 K: Und ich weiß nicht, wie ihr das seht, aber der Name "Amazon" ist super passend. 432 00:33:12,649 --> 00:33:16,999 Also, ich weiß nicht wer auf die Idee gekommen ist damals, aber es ist ein Knüller. Der 433 00:33:16,999 --> 00:33:23,299 Amazonas ist der größte Strom Südamerikas und er speist sich aus unglaublich vielen 434 00:33:23,299 --> 00:33:28,129 kleinen Bächen und Flüssen. Und genauso ist es ja mit Amazon, ja? Ich habe in 435 00:33:28,129 --> 00:33:32,529 meinem Experiment nur einen einzigen Dienst von Amazon genutzt. Ich hätte den 436 00:33:32,529 --> 00:33:36,620 Versuch aber natürlich auch ganz anders machen können. Was wäre dann gewesen, wenn 437 00:33:36,620 --> 00:33:43,639 ich beispielsweise während der kompletten Zeit alle Videos, alle Filme nur noch mit 438 00:33:43,639 --> 00:33:48,669 Amazon Prime gesehen hätte? Was wäre gewesen, wenn ich mich entschieden hätte 439 00:33:48,669 --> 00:33:53,979 in dieses Experiment Alexa, also Amazon Echo mit reinzufügen und mir dieses Ding 440 00:33:53,979 --> 00:33:59,440 vielleicht ins Schlafzimmer zu stellen? Ich glaube der Datensatz wäre um einiges 441 00:33:59,440 --> 00:34:04,149 aufschlussreicher und ich für meinen Teil habe an dieser Stelle ganz bewusst am 442 00:34:04,149 --> 00:34:08,610 Anfang des Experiments entschieden, nein, das möchte ich nicht. Nein, es geht mir zu 443 00:34:08,610 --> 00:34:13,290 weit. Ich stelle mir so ein Ding nicht in die Wohnung. 444 00:34:13,290 --> 00:34:22,250 Applaus K: Und vor ein paar Wochen war ich dann 445 00:34:22,250 --> 00:34:26,490 sehr froh, dass ich diese Entscheidung so getroffen hatte damals. Denn ich weiß 446 00:34:26,490 --> 00:34:30,109 nicht ob ihr es mitbekommen habt. Es war groß in den Nachrichten, ein Nutzer hat 447 00:34:30,109 --> 00:34:35,030 kürzlich bei Amazon seine Daten von Amazon Echo abgefragt und hat daraufhin den 448 00:34:35,030 --> 00:34:40,039 Datensatz einer vollkommen anderen Person zurückbekommen. Nochmal so als Hinweis, 449 00:34:40,039 --> 00:34:49,690 dass das Ding echt nicht ins Schlafzimmer gehört. Und ja, nochmal um es deutlich zu 450 00:34:49,690 --> 00:34:53,609 machen. Wenn jemand wirklich all diese Dienste nutzt oder viele Dienste nutzt, 451 00:34:53,609 --> 00:34:56,409 dann loggt ihr euch meistens mit derselben Amazon-ID ein. 452 00:34:56,409 --> 00:35:01,800 L: Genau, das ist ja auch das, was in 'nem Amazon Datensatz gespeichert wurde. Also 453 00:35:01,800 --> 00:35:04,390 wenn ihr woanders auf einen anderen Dienst geht, dann wird das einfach mitgeloggt, 454 00:35:04,390 --> 00:35:08,789 egal ob das jetzt auch wegen der gleichen Login-Adresse ist. Ihr habt auf jeden Fall 455 00:35:08,789 --> 00:35:13,420 auch das im Cookie stehen, welche ID ihr dahinter habt. 456 00:35:13,420 --> 00:35:16,420 K: Und ihr fragt euch ja jetzt, das ist ja schön und gut dass du deine Daten hast, 457 00:35:16,420 --> 00:35:21,780 das ist toll für mich, aber was ist mit meinen Daten und wie komme ich an die? Es 458 00:35:21,780 --> 00:35:24,559 gibt viele Wege um an seine Daten zu kommen. Ich kann euch einfach mal 459 00:35:24,559 --> 00:35:30,030 erzählen, wie ich das gemacht habe. Zunächst einmal: ich hab mir die AGB 460 00:35:30,030 --> 00:35:34,560 durchgelesen - tatsächlich vollständig. Es ist ein ganz neues Erlebnis. Ich bin jetzt 461 00:35:34,560 --> 00:35:41,040 top informiert. Applaus 462 00:35:41,040 --> 00:35:44,320 K: Und ich habe mir die Datenschutzerklärung durchgelesen. Ja und 463 00:35:44,320 --> 00:35:49,070 warum habe ich das gemacht? Sowohl in AGB und Datenschutzerklärung sind schon mal so 464 00:35:49,070 --> 00:35:53,810 grob Datenkategorien angesprochen, und die kann ich mir notieren, damit ich so weiß, was 465 00:35:53,810 --> 00:35:57,720 kann ich dann erwarten oder was sollte ich erwarten, was bei so einer Auskunft 466 00:35:57,720 --> 00:36:04,960 rauskommen sollte. Zusätzlich habe ich meinen gesunden Menschenverstand benutzt, 467 00:36:04,960 --> 00:36:08,420 um mal zu überlegen... Applaus 468 00:36:08,420 --> 00:36:15,040 K: ...um mal zu überlegen, naja was kann ich denn nach den Gesetzen der Logik 469 00:36:15,040 --> 00:36:18,980 erwarten. Also beispielsweise, ich bin auf Amazon, eine Woche später kriege ich eine 470 00:36:18,980 --> 00:36:22,130 E-Mail, "wollen sie dieses Produkt nicht doch kaufen?", also müssen die für eine 471 00:36:22,130 --> 00:36:26,250 Woche speichern, was ich geklickt hab. Und egal wie oft die sagen, "Nein, haben wir 472 00:36:26,250 --> 00:36:30,221 nicht". Das ist eine Lüge weil sonst wird es technisch sehr schwierig sein, das 473 00:36:30,221 --> 00:36:35,300 umzusetzen. Und aus diesen Informationen hab ich dann eine Checkliste gebaut mit 474 00:36:35,300 --> 00:36:39,170 meiner Erwartungshaltung. Was erwarte ich, was in der vollständigen Antwort drin sein 475 00:36:39,170 --> 00:36:44,970 sollte, und erst dann habe ich die Anfrage formuliert und gestellt. Und ich kann gar 476 00:36:44,970 --> 00:36:50,150 nicht oft genug betonen, wie wichtig es ist, bei Anfragen immer 'ne Frist zu 477 00:36:50,150 --> 00:36:55,330 nennen. Ohne Frist wird sich da niemand bewegen. Zwar gibt es nach der 478 00:36:55,330 --> 00:36:58,900 Datenschutz-Grundverordnung einen Zeitrahmen, in dem die euch antworten 479 00:36:58,900 --> 00:37:03,609 sollten, idealerweise innerhalb von einem Monat, aber es schadet nicht, diese Frist 480 00:37:03,609 --> 00:37:08,119 trotzdem nochmal explizit reinzuschreiben und auch sofort nochmal zu erinnern, wenn 481 00:37:08,119 --> 00:37:12,599 die Zeit überschritten wird. Und motivierend kann natürlich auch sein, wenn 482 00:37:12,599 --> 00:37:15,680 man noch reinschreibt, naja wenn ihr nicht antwortet - müsst ihr wissen, aber dann 483 00:37:15,680 --> 00:37:22,680 wenn ich mich an die Aufsichtsbehörden. Mit der Anfrage ist es leider noch nicht 484 00:37:22,680 --> 00:37:27,900 getan. Wenn ihr so eine Anfrage stellt, stellt euch auf eine Brieffreundschaft ein 485 00:37:27,900 --> 00:37:32,839 - ist ja vielleicht auch etwas Schönes, wenn ihr diese Anfrage stellt, werdet ihr 486 00:37:32,839 --> 00:37:36,869 zuerst mit hoher Wahrscheinlichkeit die Antwort zurückbekommen: "Naja, schauen Sie 487 00:37:36,869 --> 00:37:40,690 mal in Ihrem Profil nach, da sind all Ihre Daten". Das ist natürlich Quatsch, das ist 488 00:37:40,690 --> 00:37:45,210 nur ein Bruchteil von den Daten, die ihr eigentlich haben wollt. Also verschicken 489 00:37:45,210 --> 00:37:51,079 wir einen "friendly reminder". Als nächstes kommt vielleicht ein Brief oder 490 00:37:51,079 --> 00:37:55,089 eine E-Mail: "Ja, wir haben hier ihre Daten" und dann schaut ihr da rein und 491 00:37:55,089 --> 00:37:59,910 denkt so, okay, da hat jemand die Profildaten jetzt nochmal in PDF gepackt oder 492 00:37:59,910 --> 00:38:02,359 ausgedruckt. Hmm. L: Ausgedruckt und wieder eingescannt. 493 00:38:02,359 --> 00:38:06,869 K: Genau. Auch nicht das, was wir haben wollen - solltet ihr euch gar nicht drauf 494 00:38:06,869 --> 00:38:13,000 einlassen, damit zufrieden geben. Also wieder "friendly reminder". Dann habt ihr 495 00:38:13,000 --> 00:38:17,770 das nächste Level erreicht. Dann wird irgendwann die Einsicht kommen so "Huch, 496 00:38:17,770 --> 00:38:20,666 wir haben ein paar Daten gefunden, wir haben die Ihnen jetzt mal geschickt". Das 497 00:38:20,666 --> 00:38:28,010 ist so die Stelle mit der CD und an der Stelle wird's eben spannend. Die 498 00:38:28,010 --> 00:38:31,070 Wahrscheinlichkeit, dass ihr dieses Spiel ein paar Mal wiederholen müsst, ist sehr 499 00:38:31,070 --> 00:38:35,480 hoch. Und irgendwann, wenn ihr das oft genug wiederholt habt, habt ihr dann euren 500 00:38:35,480 --> 00:38:40,380 Datensatz. Und diesen Datensatz könnt ihr dann nach Belieben durchsuchen, 501 00:38:40,380 --> 00:38:44,839 durchforsten, analysieren, und glaubt mir, es lohnt sich. Denn es ist eine Sache, 502 00:38:44,839 --> 00:38:48,809 abstrakt zu wissen, dass man überwacht wird auf Schritt und Klick, und etwas 503 00:38:48,809 --> 00:38:53,260 vollkommen anderes, seinen eigenen kaputten Schlafrhythmus der letzten 504 00:38:53,260 --> 00:38:57,210 anderthalb Jahre vor sich zu sehen. Lachen 505 00:38:57,210 --> 00:39:01,309 K: Und das ist etwas, das würde ich keinem Einzelhändler anvertrauen wollen. 506 00:39:01,309 --> 00:39:04,880 Applaus K: Und ich habe mir danach die Frage 507 00:39:04,880 --> 00:39:08,710 gestellt, möchte ich das? Und jeder, der so einen Datensatz sieht, wird sich diese 508 00:39:08,710 --> 00:39:13,420 Frage zwangsläufig auch stellen. Und in meinem Fall war es dann so, dass ich mich 509 00:39:13,420 --> 00:39:18,680 entschieden habe, in Zukunft meine gebrauchten Bücher direkt beim Anbieter zu 510 00:39:18,680 --> 00:39:22,240 kaufen, nicht mehr über Amazon Marketplace. Das ein oder andere Mal hab ich damit 511 00:39:22,240 --> 00:39:27,290 sogar Geld gespart. Applaus 512 00:39:27,290 --> 00:39:32,410 K: Und die Information darüber, was der Dienst speichert, ermöglicht uns ja auch 513 00:39:32,410 --> 00:39:36,069 vielleicht zu sagen, ich nutze den Dienst in Zukunft anders oder aber ich nutze ihn 514 00:39:36,069 --> 00:39:39,910 vielleicht gar nicht mehr. Und wenn ihr ihn gar nicht mehr nutzt, dann würde ich 515 00:39:39,910 --> 00:39:45,240 empfehlen, naja dann könnt ihr auch so ein Löschantrag verschicken. Kostet nix. Ist 516 00:39:45,240 --> 00:39:51,600 auch vielleicht eine kurze Brieffreundschaft und wir haben uns bei 517 00:39:51,600 --> 00:39:58,309 diesem Vortrag auch überlegt, dass wir nicht sagen wollen, das ist ein 518 00:39:58,309 --> 00:40:03,480 individuelles Problem von Nutzerinnen und Nutzern, die Amazon nutzen. Nein, das 519 00:40:03,480 --> 00:40:07,480 Problem ist, dass Amazon ähnlich agiert wie andere Dienste auch, um mal ehrlich zu 520 00:40:07,480 --> 00:40:12,650 sein. Überwachung ist längst zur Standardeinstellung geworden. Und was das 521 00:40:12,650 --> 00:40:16,400 für den Einzelnen bedeutet, das wollten wir sichtbar machen, aber wir finden 522 00:40:16,400 --> 00:40:21,680 trotzdem, wir müssen alle gemeinsam dafür kämpfen, dass Datenschutz, Privatsphäre, 523 00:40:21,680 --> 00:40:26,950 Datensparsamkeit verdammt nochmal die Standardeinstellung ist 524 00:40:26,950 --> 00:40:36,740 großer Applaus K: Ja und damit sind wir auch schon am 525 00:40:36,740 --> 00:40:41,670 Ende. Mehr Infos und Formulare für eigene Datenanträge, Auskünfte, Löschanträge 526 00:40:41,670 --> 00:40:46,490 findet ihr bei mir im Blog. L: Und wer sich für die Datenanalyse 527 00:40:46,490 --> 00:40:50,359 interessiert, da veröffentliche ich gleich auf Ama..., ach auf Amazon... auf 528 00:40:50,359 --> 00:40:52,359 GitHub... Lachen 529 00:40:52,359 --> 00:40:56,039 L: ...ein Repository, wo sich jeder auch die Daten anschauen kann und sich selber 530 00:40:56,039 --> 00:40:59,909 seinen eigenen kaputten Schlafrhythmus mal angucken kann. 531 00:40:59,909 --> 00:41:02,719 K: Vielen Dank! L: Dankeschön! 532 00:41:02,719 --> 00:41:05,355 Herald: Ja wunderbar! Applaus 533 00:41:05,355 --> 00:41:08,439 Herald: Einen großen Applaus! großer Applaus 534 00:41:08,439 --> 00:41:10,449 Abspannmusik 535 00:41:10,449 --> 00:41:14,796 Untertitel erstellt von c3subtitles.de im Jahr 2020. Mach mit und hilf uns! 536 00:41:14,796 --> 00:41:32,000 Abspannmusik