[Script Info]
Title: 
[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
Dialogue: 0,0:00:00.00,0:00:07.67,Default,,0000,0000,0000,,Tim: Ja servus. Guten Abend zusammen. Ich\Nfreue mich, dass wir heute Abend Sebastian
Dialogue: 0,0:00:07.67,0:00:13.09,Default,,0000,0000,0000,,Neuner bei uns haben. Er arbeitet seit\N2014 als Netzwerkingenieur bei BelWü - dem
Dialogue: 0,0:00:13.09,0:00:19.30,Default,,0000,0000,0000,,Landeshochschulnetz in Baden-Württemberg\Nund verbindet damit die Universitäten,
Dialogue: 0,0:00:19.30,0:00:24.12,Default,,0000,0000,0000,,Hochschulen und die DHBW sowie sonstige\Nwissenschaftliche und öffentliche
Dialogue: 0,0:00:24.12,0:00:29.24,Default,,0000,0000,0000,,Einrichtungen und Schulen. Sebastian ist\Ndort zuständig für die Planung und Betrieb
Dialogue: 0,0:00:29.24,0:00:33.86,Default,,0000,0000,0000,,des Backbone Netzes inklusive der\Noptischen Übertragungstechnik IP-Routing,
Dialogue: 0,0:00:33.86,0:00:39.04,Default,,0000,0000,0000,,Peering, Policies. Aber heute abend erzählt\Ner uns wie sie zu Beginn des Lockdowns
Dialogue: 0,0:00:39.04,0:00:44.92,Default,,0000,0000,0000,,letztes jahr Moodle für Baden-Württemberg\Nin 72 Stunden gebaut haben. Ich würde
Dialogue: 0,0:00:44.92,0:00:51.76,Default,,0000,0000,0000,,sagen, Sebastian die Bühne gehört dir.\NSebastian: Ja. Dankeschön, Tim. Ja, es
Dialogue: 0,0:00:51.76,0:00:57.87,Default,,0000,0000,0000,,wird ein bisschen Storytelling jetzt\Nhauptsächlich. Wir haben auch vor noch mal
Dialogue: 0,0:00:57.87,0:01:01.76,Default,,0000,0000,0000,,ein technischeres Write-up zu machen, wo\Nwir ein bisschen genauer darauf eingehen
Dialogue: 0,0:01:01.76,0:01:05.74,Default,,0000,0000,0000,,an welchen Rädchen wir noch wie gedreht\Nhaben, um das eben ganz performant, so
Dialogue: 0,0:01:05.74,0:01:10.08,Default,,0000,0000,0000,,performant wie man es eben machen kann, auf\Ndie Beine zu kriegen. Aber das ist, soll
Dialogue: 0,0:01:10.08,0:01:14.38,Default,,0000,0000,0000,,jetzt erst mal darum gehen, wie wir das\Nquasi im März in einer großen Hauruck-
Dialogue: 0,0:01:14.38,0:01:19.74,Default,,0000,0000,0000,,Aktion gewuppt haben. Kurz zu uns. Wir\Nsind so 25 Leute ungefähr. Der Tim hat das
Dialogue: 0,0:01:19.74,0:01:23.64,Default,,0000,0000,0000,,meiste gerade schon erzählt. Wir haben\Neben Leute die sich ums Netz kümmern, aber
Dialogue: 0,0:01:23.64,0:01:26.91,Default,,0000,0000,0000,,wir haben auch Sys-Admins und Leute die\Ndann eben noch verschiedene Services
Dialogue: 0,0:01:26.91,0:01:33.00,Default,,0000,0000,0000,,betreuen. Und ja unsere Kernaufgabe ist\Neben dieses Landeshochschulnetz, hier mit
Dialogue: 0,0:01:33.00,0:01:36.90,Default,,0000,0000,0000,,einer kleinen Karte zu betreiben . Das\NGanze gehört nicht zum Kultusministerium,
Dialogue: 0,0:01:36.90,0:01:43.05,Default,,0000,0000,0000,,sondern ist nachgeordnet dem Ministerium\Nfür Wissenschaft und Kunst. Und ja wir
Dialogue: 0,0:01:43.05,0:01:47.13,Default,,0000,0000,0000,,bauen und betreiben dieses Netz in enger\NAbsprache und Zusammenarbeit mit den
Dialogue: 0,0:01:47.13,0:01:50.76,Default,,0000,0000,0000,,Hochschulrechenzentren. Das heißt, da gibt\Nes verschiedene Gremien in denen man dann
Dialogue: 0,0:01:50.76,0:01:55.44,Default,,0000,0000,0000,,eben guckt, ja wie bei einem Ausbau zum\NBeispiel oder bei technischen größeren
Dialogue: 0,0:01:55.44,0:02:00.12,Default,,0000,0000,0000,,Änderungen man eben eine Lösung findet, die\Ntechnisch für alle gut funktioniert. Wir
Dialogue: 0,0:02:00.12,0:02:05.46,Default,,0000,0000,0000,,betreiben dafür so dreieinhalbtausend km\Ndarkfiber und haben da oben drauf aktive
Dialogue: 0,0:02:05.46,0:02:10.38,Default,,0000,0000,0000,,DWDM-Systeme, das Ganze in ungefähr 60\NKnoten. Und ja, wie es der Tim gerade
Dialogue: 0,0:02:10.38,0:02:13.86,Default,,0000,0000,0000,,schon angesprochen hat, machen, machen wir\Ndamit Internet für neun Universitäten, 40
Dialogue: 0,0:02:13.86,0:02:18.93,Default,,0000,0000,0000,,Hochschulen, aber auch noch für andere\NSachen, die da am Ministerium dranhängen.
Dialogue: 0,0:02:18.93,0:02:26.13,Default,,0000,0000,0000,,Also Museen oder Staatsarchive, aber auch\Nso was wie Studentenwohnheime und dazu
Dialogue: 0,0:02:26.13,0:02:29.55,Default,,0000,0000,0000,,kommen eben noch Services, die man also\Nklassisch als Netzbetreiber, dann
Dialogue: 0,0:02:29.55,0:02:34.29,Default,,0000,0000,0000,,vielleicht auch noch irgendwie dabei hat.\NSo was wie DNS eben oder E-Mail, das sind
Dialogue: 0,0:02:34.29,0:02:37.86,Default,,0000,0000,0000,,gerade Sachen die hauptsächlich von\Nkleinen Hochschulen viel nachgefragt
Dialogue: 0,0:02:37.86,0:02:42.48,Default,,0000,0000,0000,,werden, die es sich eben, also für die es\Nsich einfach nicht lohnt selber Personal
Dialogue: 0,0:02:42.48,0:02:47.07,Default,,0000,0000,0000,,und Infrastruktur bereitzustellen für\Ndiese Dienste. Und dann kommt auch noch
Dialogue: 0,0:02:47.07,0:02:52.89,Default,,0000,0000,0000,,Webhosting dazu. Das wird hauptsächlich\Nvon Schulen momentan genutzt. Auch schon
Dialogue: 0,0:02:52.89,0:02:57.75,Default,,0000,0000,0000,,seit vielen Jahren. Und es gibt auch\NMoodle bei uns von Schulen oder für
Dialogue: 0,0:02:57.75,0:03:02.25,Default,,0000,0000,0000,,Schulen schon seit einigen Jahren. Das ist\Nalso grundsätzlich nichts Neues gewesen.
Dialogue: 0,0:03:02.25,0:03:05.88,Default,,0000,0000,0000,,Es gibt auch noch Internetanschlüsse für\NSchulen, da gibt es verschiedene
Dialogue: 0,0:03:05.88,0:03:12.75,Default,,0000,0000,0000,,Konstruktionen. Und für dieses ganze Ding\Nschießt das Kultusministerium noch bei uns
Dialogue: 0,0:03:12.75,0:03:18.51,Default,,0000,0000,0000,,Personal dazu und eben auch Mittel. Das\Nheißt, dadurch sind wir größer, können
Dialogue: 0,0:03:18.51,0:03:21.84,Default,,0000,0000,0000,,flexibler sein. Also man kann sich auch\Ngegenseitig mal aushelfen an manchen
Dialogue: 0,0:03:21.84,0:03:25.62,Default,,0000,0000,0000,,Stellen hatten wir Know-How im Haus.\NDadurch haben wir sehr viel Synergie-
Dialogue: 0,0:03:25.62,0:03:33.81,Default,,0000,0000,0000,,Effekte und eine hohe Flexibilität. Ja,\Ndann kam Freitag der 13. Wir saßen dann
Dialogue: 0,0:03:33.81,0:03:38.49,Default,,0000,0000,0000,,abends in unserer Videokonferenz. Weil, man\Nkonnte ja nirgends hin. Restaurants hatten
Dialogue: 0,0:03:38.49,0:03:44.55,Default,,0000,0000,0000,,zu, Kino ging nicht. Das heißt, wir saßen\Ndann irgendwie gelangweilt in unserem
Dialogue: 0,0:03:44.55,0:03:50.70,Default,,0000,0000,0000,,Jitsi und haben gequatscht und ein Bier\Ngetrunken und haben uns überlegt, ja wie
Dialogue: 0,0:03:50.70,0:03:55.05,Default,,0000,0000,0000,,das jetzt mit den Schulschließungen so\Nist. Das Kultusministerium hatte da vor
Dialogue: 0,0:03:55.05,0:04:01.62,Default,,0000,0000,0000,,paar Jahren schon angefangen, eine große\NBildungsplattform ja zu beauftragen, die
Dialogue: 0,0:04:01.62,0:04:05.79,Default,,0000,0000,0000,,sollte Ella heißen, das ganze Projekt lief\Naber irgendwie nicht so gut. Wir waren da
Dialogue: 0,0:04:05.79,0:04:09.72,Default,,0000,0000,0000,,am Rande beteiligt, also nur quasi gar\Nnicht beteiligt. Deswegen kann ich euch da
Dialogue: 0,0:04:09.72,0:04:14.28,Default,,0000,0000,0000,,keine Details geben. Müsst ihr selber\Ngoogeln. Aber Punkt war jedenfalls: an dem
Dialogue: 0,0:04:14.28,0:04:18.36,Default,,0000,0000,0000,,Abend war das Ganze nicht wirklich\Nnutzbar. Das heißt, die Schulen mussten
Dialogue: 0,0:04:18.36,0:04:21.36,Default,,0000,0000,0000,,irgendwie eine Lösung haben. Der erste\NSchritt war dann, dass das
Dialogue: 0,0:04:21.36,0:04:25.92,Default,,0000,0000,0000,,Kultusministerium den Schulen erlaubt hat,\Nsich nach eigenem Ermessen , also nach
Dialogue: 0,0:04:25.92,0:04:30.03,Default,,0000,0000,0000,,nach, ja nach eigenem Wissen und Gewissen\Nsozusagen, sich eine eigene Lösung zu
Dialogue: 0,0:04:30.03,0:04:34.59,Default,,0000,0000,0000,,suchen. Also eigene Lernplattformen sich\Nirgendwo einzukaufen oder Microsoft Teams
Dialogue: 0,0:04:34.59,0:04:39.51,Default,,0000,0000,0000,,sich zu nutzen oder sowas. Einfach, damit\Ndie schon mal irgendwie eine Möglichkeit
Dialogue: 0,0:04:39.51,0:04:44.37,Default,,0000,0000,0000,,haben zu agieren. Gleichzeitig wollte das\NKultusministerium dafür sorgen, dass alle
Dialogue: 0,0:04:44.37,0:04:49.89,Default,,0000,0000,0000,,Schulen irgendwie versorgt sind und\Nirgendwie unterstützen. Und unter anderem
Dialogue: 0,0:04:49.89,0:04:53.37,Default,,0000,0000,0000,,kam auch bei uns eine Anfrage an, ob wir\Nirgendwie unsere Moodle-Plattform und
Dialogue: 0,0:04:53.37,0:04:58.86,Default,,0000,0000,0000,,Webhosting-Plattform, die wir bisher schon\Nhatten irgendwie hochziehen können auf-,
Dialogue: 0,0:04:58.86,0:05:01.95,Default,,0000,0000,0000,,ausbauen können und eben den Schulen die\Njetzt noch nichts haben irgendwie noch was
Dialogue: 0,0:05:01.95,0:05:06.06,Default,,0000,0000,0000,,bereitstellen können. Und dann haben wir\Nerst gelacht und haben gesagt na ja also
Dialogue: 0,0:05:06.06,0:05:11.61,Default,,0000,0000,0000,,normalerweise kommt eine Schule einzeln zu\Nuns. Und dann fragen die halt nach einer
Dialogue: 0,0:05:11.61,0:05:16.92,Default,,0000,0000,0000,,Domain und nem Moodle und kriegen dann\Nnoch SSL-Zertifikate. Und in dem Prozess
Dialogue: 0,0:05:16.92,0:05:20.50,Default,,0000,0000,0000,,passieren halt einige Schritte von Hand.\NUnd normalerweise, also wenn man es arg
Dialogue: 0,0:05:20.50,0:05:24.93,Default,,0000,0000,0000,,angestrengt hätten, hätten wir vielleicht\Nso 50 bis 100 pro Tag hingekriegt. Und die
Dialogue: 0,0:05:24.93,0:05:29.74,Default,,0000,0000,0000,,Aufgabe war ja, von Freitag Abend bis Montag\Nsoll das quasi laufen. Also haben wir
Dialogue: 0,0:05:29.74,0:05:34.14,Default,,0000,0000,0000,,irgendwie erst gelacht. Nach dem Motto,\Nwie soll das denn gehen? Und dann kam aber
Dialogue: 0,0:05:34.14,0:05:37.88,Default,,0000,0000,0000,,der Dennis, unser Kollege und meinte, na ja\Nalso wir haben da noch die Server, wir
Dialogue: 0,0:05:37.88,0:05:42.13,Default,,0000,0000,0000,,wollten ja irgendwie diese Webhosting-\NPlattform eh neu machen. Und wenn man es
Dialogue: 0,0:05:42.13,0:05:47.07,Default,,0000,0000,0000,,mit der heißen Nadel strickt und das alles\Ninitial irgendwie noch bisschen eng wird,
Dialogue: 0,0:05:47.07,0:05:51.28,Default,,0000,0000,0000,,aber er hat es durch gerechnet. Da gibt es\Nirgendwie, er hat ein großes Spreadsheet
Dialogue: 0,0:05:51.28,0:05:55.15,Default,,0000,0000,0000,,gemacht. Das könnte gerade hingehen. Und\Nnaja, wir saßen da und hatten genug
Dialogue: 0,0:05:55.15,0:05:59.60,Default,,0000,0000,0000,,Freiwillige. Wir waren irgendwie\Nmotiviert. Wir hatten irgendwie Bock auf
Dialogue: 0,0:05:59.60,0:06:04.35,Default,,0000,0000,0000,,die Challenge. Und haben uns dann überlegt:\Nokay, wir können das vielleicht machen.
Dialogue: 0,0:06:04.35,0:06:08.34,Default,,0000,0000,0000,,Aber wollen wir das machen? Also, wenn wir\Nda jetzt zusagen oder jetzt anbieten, dass
Dialogue: 0,0:06:08.34,0:06:11.87,Default,,0000,0000,0000,,wir da helfen, dann haben wir irgendwie\Nalle ein echt beschissenes Wochenende. Und
Dialogue: 0,0:06:11.87,0:06:15.10,Default,,0000,0000,0000,,wir haben natürlich ein großes Risiko,\Ndass es am Ende nicht klappt. Und wenn wir
Dialogue: 0,0:06:15.10,0:06:18.06,Default,,0000,0000,0000,,dann sagen, wir helfen und es verlassen\Nsich Leute drauf und es funktioniert
Dialogue: 0,0:06:18.06,0:06:22.16,Default,,0000,0000,0000,,nachher nicht, weil es irgendwo\NSonntagmittag einen Showstopper gab, dann
Dialogue: 0,0:06:22.16,0:06:27.45,Default,,0000,0000,0000,,stehen wir irgendwie blöd da. Andererseits,\Nwenn wir jetzt irgendwie sagen hm, ne, hm
Dialogue: 0,0:06:27.45,0:06:32.93,Default,,0000,0000,0000,,schwierig, machen wir nicht. Wer macht es\Ndann? Also, Kultusministerium hat ja nicht
Dialogue: 0,0:06:32.93,0:06:37.58,Default,,0000,0000,0000,,nur bei uns angefragt und das hörte sich\Nalles nicht sehr hoffnungsvoll an. Und
Dialogue: 0,0:06:37.58,0:06:42.42,Default,,0000,0000,0000,,dann haben wir hin und her überlegt, haben\Ngedacht na ja, okay, wir versuchen es. Wir
Dialogue: 0,0:06:42.42,0:06:47.53,Default,,0000,0000,0000,,bieten mal Hilfe an. Haben dann uns um\Nzehn abends beim Kultusministerium noch
Dialogue: 0,0:06:47.53,0:06:51.42,Default,,0000,0000,0000,,gemeldet. Haben gesagt, ja also wir würden\Nes versuchen, wir wollen nichts
Dialogue: 0,0:06:51.42,0:06:55.60,Default,,0000,0000,0000,,versprechen, aber wir holen alles aus dem\NKeller, was noch da ist und versuchen
Dialogue: 0,0:06:55.60,0:07:00.48,Default,,0000,0000,0000,,irgendwie Plattformen hochzuziehen. Die\NAnsage war dann, ja okay also manche Leute
Dialogue: 0,0:07:00.48,0:07:04.53,Default,,0000,0000,0000,,schlafen jetzt gerade und eine offizielle\NEntscheidung, also die offizielle
Dialogue: 0,0:07:04.53,0:07:09.10,Default,,0000,0000,0000,,Beauftragung in aller Förmlichkeit wird\Nfrühestens Samstag Vormittag passieren.
Dialogue: 0,0:07:09.10,0:07:14.23,Default,,0000,0000,0000,,Wir haben dann entschieden, Samstag\NVormittag ist uns zu spät. Wir fangen
Dialogue: 0,0:07:14.23,0:07:19.74,Default,,0000,0000,0000,,direkt an. Ich bin dann ins Rechenzentrum.\NIch habe das kürzeste Streichholz gezogen
Dialogue: 0,0:07:19.74,0:07:23.88,Default,,0000,0000,0000,,sozusagen. Ich wohne am nächsten dran.\NHabe die Server, die dann quasi schon da
Dialogue: 0,0:07:23.88,0:07:28.88,Default,,0000,0000,0000,,waren, die aber noch nicht in Benutzung\Nwaren, passend verkabelt . Die waren noch
Dialogue: 0,0:07:28.88,0:07:33.30,Default,,0000,0000,0000,,in anderen Topologie. Nebenher, während ich\Ndie Server so nach nach quasi
Dialogue: 0,0:07:33.30,0:07:37.39,Default,,0000,0000,0000,,eingeschaltet und verkabelt habe, haben\Ndie Kollegen dann schon da Systeme drauf
Dialogue: 0,0:07:37.39,0:07:41.61,Default,,0000,0000,0000,,installiert und die irgendwie vorbereitet.\NUnd die, die Hardware schon mal an den
Dialogue: 0,0:07:41.61,0:07:46.48,Default,,0000,0000,0000,,Start gekriegt. Wir haben das Projekt dann\Nintern "Ella 3.0" genannt. Und fanden uns
Dialogue: 0,0:07:46.48,0:07:51.66,Default,,0000,0000,0000,,sehr, sehr witzig. Und so ging es dann ja\Nam Freitag Nacht los. Und die Kollegen
Dialogue: 0,0:07:51.66,0:07:58.14,Default,,0000,0000,0000,,haben dann quasi noch mal ausgeschlafen\Nund haben sich ein Setup überlegt. Und im
Dialogue: 0,0:07:58.14,0:08:03.27,Default,,0000,0000,0000,,Prinzip war das halt jetzt nix, nix\NBesonderes. Wir haben halt ein Webhosting
Dialogue: 0,0:08:03.27,0:08:06.87,Default,,0000,0000,0000,,Setup gemacht. Das sich irgendwie in\Nunsere bisherige Infrastruktur einfügt.
Dialogue: 0,0:08:06.87,0:08:11.38,Default,,0000,0000,0000,,Also wir haben jetzt in der Kürze der Zeit\Nnicht großartig noch groß neues Setup
Dialogue: 0,0:08:11.38,0:08:16.23,Default,,0000,0000,0000,,planen können. Sondern wir haben halt das\Ngebaut, was wir sonst auch haben. Nur mehr
Dialogue: 0,0:08:16.23,0:08:20.96,Default,,0000,0000,0000,,davon. Haben die Server ans Netz gehängt\Nund an unser all-flash Storage dran
Dialogue: 0,0:08:20.96,0:08:25.84,Default,,0000,0000,0000,,gehängt. Haben da Linux installiert und\NVirtualisierung machen wir eben mit
Dialogue: 0,0:08:25.84,0:08:30.61,Default,,0000,0000,0000,,libvirt und KVM. Und innen drin laufen dann\Nja einfach linux VMs. Storage haben wir so
Dialogue: 0,0:08:30.61,0:08:36.14,Default,,0000,0000,0000,,gemacht, dass wir die Storages über\NNetzwerk auf dem hypervisor gemounted
Dialogue: 0,0:08:36.14,0:08:41.36,Default,,0000,0000,0000,,haben. Und das wird dann, also da liegen\Ndann disk images rum und die werden als
Dialogue: 0,0:08:41.36,0:08:44.46,Default,,0000,0000,0000,,block device einfach in die VM\Nreingereicht. Die VM hat ein ganz normales
Dialogue: 0,0:08:44.46,0:08:48.57,Default,,0000,0000,0000,,Filesystem mit block device. Und kann\Ncaching machen, was ganz wichtig ist in
Dialogue: 0,0:08:48.57,0:08:52.58,Default,,0000,0000,0000,,dem Fall für die Performance. Wir haben\Ndann jeweils in einer VM 50 Moodels drin.
Dialogue: 0,0:08:52.58,0:08:56.98,Default,,0000,0000,0000,,Also wir mussten uns halt irgendwie eine\NAufteilung überlegen und das war so, wo
Dialogue: 0,0:08:56.98,0:09:02.90,Default,,0000,0000,0000,,wir rausgekommen sind. Und da läuft\Neinfach quasi ein Apache mit 50 vhosts und
Dialogue: 0,0:09:02.90,0:09:08.73,Default,,0000,0000,0000,,ja php-fpm. Also alles nichts Besonderes.\NKlassisches Webhosting im Prinzip. Dann
Dialogue: 0,0:09:08.73,0:09:14.24,Default,,0000,0000,0000,,hatten wir noch extra Server, die hatten\NRAM im Terabyte Bereich. Und dicke NVMe-
Dialogue: 0,0:09:14.24,0:09:19.21,Default,,0000,0000,0000,,Raids. Und da haben wir uns gedacht, die\Nsind ja perfekt eigentlich für
Dialogue: 0,0:09:19.21,0:09:23.29,Default,,0000,0000,0000,,Datenbankserver. Haben da ja\NDatenbankserver draufgepackt. Und sehr
Dialogue: 0,0:09:23.29,0:09:26.98,Default,,0000,0000,0000,,viel später festgestellt, dass es ist\Nnicht so eine optimale Idee war. Haben
Dialogue: 0,0:09:26.98,0:09:30.11,Default,,0000,0000,0000,,dass nachher nochmal bisschen umgestrickt\Nund haben die Datenbanken mit in die VMs
Dialogue: 0,0:09:30.11,0:09:34.32,Default,,0000,0000,0000,,reingezogen. Aber da komme ich gleich noch\Nmal drauf. Und ja das Moodel kriegen wir
Dialogue: 0,0:09:34.32,0:09:37.78,Default,,0000,0000,0000,,quasi fertig von Kollegen im\NKultusministerium das ist ne
Dialogue: 0,0:09:37.78,0:09:43.07,Default,,0000,0000,0000,,Basisinstallation, die mit einigen, vielen\NPlugins gebündelt ist. Wir deployen das
Dialogue: 0,0:09:43.07,0:09:48.48,Default,,0000,0000,0000,,quasi so fertig, wie es kommt. Am Anfang\Nhatte jedes Moodel nur 20 Gigabyte Disk.
Dialogue: 0,0:09:48.48,0:09:52.53,Default,,0000,0000,0000,,Das ist ziemlich wenig. Aber für die\Nersten Tage hat es gehalten und später
Dialogue: 0,0:09:52.53,0:09:56.86,Default,,0000,0000,0000,,haben wir neben Storage nachgelegt und\Nkonnten das Ganze dann ja vergrößern. Wir
Dialogue: 0,0:09:56.86,0:10:00.92,Default,,0000,0000,0000,,könnten das ganze noch mit Snapshots und\NBackups ausstatten. Das heißt die ersten
Dialogue: 0,0:10:00.92,0:10:05.46,Default,,0000,0000,0000,,paar Tage war es wirklich mit ner so\Nheißen Nadel gestrickt, dass es auch keine
Dialogue: 0,0:10:05.46,0:10:10.73,Default,,0000,0000,0000,,Backups gab. Bis so nach paar Tagen bis\Nner woche. Caching haben wir anfangs mit
Dialogue: 0,0:10:10.73,0:10:14.34,Default,,0000,0000,0000,,mcash, memcached probiert. Das lief\Nirgendwie nicht so gut. Hatten aber auch
Dialogue: 0,0:10:14.34,0:10:18.21,Default,,0000,0000,0000,,keine Zeit wirklich genauer zu debuggen.\NEs musste schnell gehen. Haben dann APCUc
Dialogue: 0,0:10:18.21,0:10:23.14,Default,,0000,0000,0000,,ausprobiert. Das kann ein Moodle\Naktivieren und das funktionierte sehr gut.
Dialogue: 0,0:10:23.14,0:10:28.98,Default,,0000,0000,0000,,Und ja später im Laufe des Jahres oder\NEnde des Jahres kam dann irgendwann noch
Dialogue: 0,0:10:28.98,0:10:34.45,Default,,0000,0000,0000,,Redis für Session Caching dazu. Ja Samstag\Nstand im Prinzip das Setup, wie es
Dialogue: 0,0:10:34.45,0:10:38.95,Default,,0000,0000,0000,,aussehen soll. Da waren dann ganz viele\NBaustellen zu tun. Ganz, es ging in ganz
Dialogue: 0,0:10:38.95,0:10:43.16,Default,,0000,0000,0000,,viele Richtungen gleichzeitig. Also das\Nlief quasi alles parallel. Angefangen bei,
Dialogue: 0,0:10:43.16,0:10:47.64,Default,,0000,0000,0000,,welche Schulen gibt es überhaupt? Wie\Nheißen die? Wo sind die? Was haben die für
Dialogue: 0,0:10:47.64,0:10:51.75,Default,,0000,0000,0000,,eine Dienststellen E-Mail Adresse? Da hat\Ndas Kultusministerium ein großes
Dialogue: 0,0:10:51.75,0:10:55.21,Default,,0000,0000,0000,,Spreadsheet gehabt. Wir haben dann das\NExcel-Sheet in irgend ein sinnvolles
Dialogue: 0,0:10:55.21,0:10:59.42,Default,,0000,0000,0000,,Dateiformat umgewandelt und haben dann\Ndamit weiter gearbeitet. Haben damit quasi
Dialogue: 0,0:10:59.42,0:11:04.40,Default,,0000,0000,0000,,Ansible befüllt. Haben uns Zugangsdaten\Nfür die Moodles also Initial-Admin
Dialogue: 0,0:11:04.40,0:11:07.44,Default,,0000,0000,0000,,Accounts und Datenbank,\NDatenbankpasswörter generiert und so
Dialogue: 0,0:11:07.44,0:11:11.92,Default,,0000,0000,0000,,weiter. Jemand musste sich noch um Storage\Nkümmern. Jemand musste sich noch um
Dialogue: 0,0:11:11.92,0:11:17.18,Default,,0000,0000,0000,,Netzwerk und IP-Adressen für die ganzen\NVMs kümmern. Die Moodle Installation
Dialogue: 0,0:11:17.18,0:11:21.31,Default,,0000,0000,0000,,musste irgendwie automatisiert werden. Wir\Nkonnten da auf ziemlich viel zurückgreifen
Dialogue: 0,0:11:21.31,0:11:24.50,Default,,0000,0000,0000,,was wir hatten, aber der das Ziel war\Nnatürlich das muss irgendwie 4000 mal
Dialogue: 0,0:11:24.50,0:11:27.78,Default,,0000,0000,0000,,laufen ohne dass jemand irgendwo was\Nanfasst. Ohne dass jemand eine Domain
Dialogue: 0,0:11:27.78,0:11:30.99,Default,,0000,0000,0000,,irgendwo von Hand anlegt oder so weil\Nsonst geht es in der Kürze der Zeit
Dialogue: 0,0:11:30.99,0:11:34.75,Default,,0000,0000,0000,,einfach nicht. Wir haben dann einfach mal\Nnoch kurz paar 1000 Domains hier als
Dialogue: 0,0:11:34.75,0:11:40.32,Default,,0000,0000,0000,,Subdomain von moodle.belwue.de angelegt.\NImmer mit der Dienststellenadresse vorne
Dialogue: 0,0:11:40.32,0:11:45.50,Default,,0000,0000,0000,,dran sozusagen, als primary key. Ja und so\Nmusste das dann halt laufen. Für
Dialogue: 0,0:11:45.50,0:11:48.59,Default,,0000,0000,0000,,Monitoring nutzen wir generell viel\NPrometheus und Grafana das heitßt, da
Dialogue: 0,0:11:48.59,0:11:52.46,Default,,0000,0000,0000,,haben wir noch mal eine separate Instanz\Ndazu gestellt die eben auf das Web Cluster
Dialogue: 0,0:11:52.46,0:11:57.54,Default,,0000,0000,0000,,zugeschnitten war und dann da eben geguckt\Nhat was funktioniert und was funktioniert
Dialogue: 0,0:11:57.54,0:12:02.52,Default,,0000,0000,0000,,nicht. Sonntag ging es dann im Prinzip so\Nweiter das nahm dann so nach und nach Form
Dialogue: 0,0:12:02.52,0:12:06.80,Default,,0000,0000,0000,,an aber wir haben dann gegen ganz viele\NKleinigkeiten gekämpft. Also sowas wie,
Dialogue: 0,0:12:06.80,0:12:10.21,Default,,0000,0000,0000,,wenn man 4000 Moodles gleichzeitig\Ninstalliert und das Ansible holt
Dialogue: 0,0:12:10.21,0:12:14.33,Default,,0000,0000,0000,,irgendwelche sachen vom git-Server dann\Nfängt der arme git-Server so ein bisschen
Dialogue: 0,0:12:14.33,0:12:17.100,Default,,0000,0000,0000,,an zu brennen. Das heißt, da mussten wir\Ndass irgendwie in Badges einteilen.
Dialogue: 0,0:12:17.100,0:12:21.48,Default,,0000,0000,0000,,Gleichzeitig gingen dann irgendwie bei der\NInstallation die Datenbanken kaputt, weil
Dialogue: 0,0:12:21.48,0:12:24.77,Default,,0000,0000,0000,,es irgendwelche Timeouts gab. Das heißt,\Nman musste dann gucken welche haben nicht
Dialogue: 0,0:12:24.77,0:12:28.71,Default,,0000,0000,0000,,sauber deployed. Das alles nochmal\Nwegwerfen, alles noch mal von vorne
Dialogue: 0,0:12:28.71,0:12:34.65,Default,,0000,0000,0000,,machen. SSL-Zertifikate, 4000 Zertifikate\Nirgendwo einzeln beantragen geht natürlich
Dialogue: 0,0:12:34.65,0:12:39.13,Default,,0000,0000,0000,,auf gar keinen Fall. Wir haben dann\Nüberlegt was wir machen.Let's Encrypt
Dialogue: 0,0:12:39.13,0:12:43.17,Default,,0000,0000,0000,,Zertifikate wäre auch nicht gegangen. Da\Ngibt es Ratelimits. In die wären wir
Dialogue: 0,0:12:43.17,0:12:46.45,Default,,0000,0000,0000,,reingelaufen. Und was wir dann gemacht\Nhaben war, naja Let's Encrypt
Dialogue: 0,0:12:46.45,0:12:49.91,Default,,0000,0000,0000,,Sternchenzertifikat für die ganze\NSubdomain erstmal da überall reinpacken,
Dialogue: 0,0:12:49.91,0:12:54.48,Default,,0000,0000,0000,,passt schon. Kümmern wir uns nächste Woche\Ndrum. Also es muss jetzt erstmal irgendwie
Dialogue: 0,0:12:54.48,0:12:59.08,Default,,0000,0000,0000,,bis Montagfrüh irgendwie laufen. Genau\Ndann irgendwann war Netzwerk fertig. Das
Dialogue: 0,0:12:59.08,0:13:03.11,Default,,0000,0000,0000,,heißt der Teil, wo ich helfen konnte lief\Nund ich habe dann halt ein bisschen
Dialogue: 0,0:13:03.11,0:13:06.96,Default,,0000,0000,0000,,angefangen Monitoring Dashboards zu bauen,\Ndamit die Kollegen wissen was tut und was
Dialogue: 0,0:13:06.96,0:13:10.86,Default,,0000,0000,0000,,tut nicht. Und wo gibt es noch zu tun und\Nwo ging was schief. Und eine andere Frage,
Dialogue: 0,0:13:10.86,0:13:14.51,Default,,0000,0000,0000,,die wir dann noch klären mussten, war, wer\Nmacht überhaupt Support für das Ganze?
Dialogue: 0,0:13:14.51,0:13:17.43,Default,,0000,0000,0000,,Also wir können vielleicht ein bisschen\Ntechnisch, wenn es irgendwie gar nicht
Dialogue: 0,0:13:17.43,0:13:20.39,Default,,0000,0000,0000,,funktioniert, können wir natürlich rein\Ngucken und sagen okay da habt ihr
Dialogue: 0,0:13:20.39,0:13:23.94,Default,,0000,0000,0000,,irgendwie was verkonfiguriert oder so.\NAlso technisch können wir da vielleicht
Dialogue: 0,0:13:23.94,0:13:27.83,Default,,0000,0000,0000,,Support machen, aber es gibt ja dann\Nnachher noch hunderteLehrer, die dann
Dialogue: 0,0:13:27.83,0:13:32.96,Default,,0000,0000,0000,,nachher das benutzen müssen und die dann\Nvielleicht irgendwie Probleme damit haben.
Dialogue: 0,0:13:32.96,0:13:37.56,Default,,0000,0000,0000,,Und den Teil hat dann das Zentrum für\NSchulentwicklung und Lehrerfortbildung,
Dialogue: 0,0:13:37.56,0:13:41.32,Default,,0000,0000,0000,,also Lehrerfortbildung BW hat es dann\Nübernommen. Die machen einen wirklich
Dialogue: 0,0:13:41.32,0:13:44.97,Default,,0000,0000,0000,,guten Job. Die machen da, stellen ganz\Nviele tolle Materialien bereit und machen
Dialogue: 0,0:13:44.97,0:13:49.35,Default,,0000,0000,0000,,Videokonferenzen mit den Lehrern und\Nzeigen dass denen. Und die haben nachher
Dialogue: 0,0:13:49.35,0:13:54.14,Default,,0000,0000,0000,,auch Big-Blue-Button hochgezogen.\NMittlerweile in einer wahnsinnig riesigen
Dialogue: 0,0:13:54.14,0:14:00.10,Default,,0000,0000,0000,,Installation mit hunderten Servern mit\N100000en gleichzeitigen Clients in der
Dialogue: 0,0:14:00.10,0:14:07.12,Default,,0000,0000,0000,,Videokonferenz. Also wirklich, Hut ab. Am\NMontag war dann die Deadline. Und wir
Dialogue: 0,0:14:07.12,0:14:13.80,Default,,0000,0000,0000,,hatten drei 3948 neue Moodles installiert\Nund bis auf 62 Stück waren auch alle
Dialogue: 0,0:14:13.80,0:14:19.66,Default,,0000,0000,0000,,funktional. Das heißt, sagen wir mal 99%\NMission Accomplished. Wir waren riesig
Dialogue: 0,0:14:19.66,0:14:24.68,Default,,0000,0000,0000,,froh bei den 62 Stück musste man noch mal\Nvon Hand angucken. Die hatten noch
Dialogue: 0,0:14:24.68,0:14:28.18,Default,,0000,0000,0000,,verschiedene Probleme, aber im\NWesentlichen lief das Ganze rund. Und dann
Dialogue: 0,0:14:28.18,0:14:32.70,Default,,0000,0000,0000,,hatten wir noch wie gesagt vorher schon\Nlange Moodle und das waren so 1100
Dialogue: 0,0:14:32.70,0:14:38.63,Default,,0000,0000,0000,,Bestands Moodle. Das heißt so knappe 5000\NMoodle hatten wir dann. Das neue
Dialogue: 0,0:14:38.63,0:14:43.78,Default,,0000,0000,0000,,Deployment war initial, ja so was halt da\Nwar und die Woche über und die nächsten
Dialogue: 0,0:14:43.78,0:14:48.20,Default,,0000,0000,0000,,Wochen über kam dann immer mehr und mehr\NHardware dazu. Aber das war jetzt mal so
Dialogue: 0,0:14:48.20,0:14:52.41,Default,,0000,0000,0000,,der Stand vom Montag. Außerdem war der\NStand, dass ein paar Leute irgendwie echt
Dialogue: 0,0:14:52.41,0:14:56.52,Default,,0000,0000,0000,,dringend Schlaf gebraucht haben. Ja und so\Nfing unsere Arbeitswoche am Montag dann
Dialogue: 0,0:14:56.52,0:15:00.84,Default,,0000,0000,0000,,an. Und Dienstag haben wir dann gespannt\Nauf die Graphen geguckt. Das war der erste
Dialogue: 0,0:15:00.84,0:15:04.69,Default,,0000,0000,0000,,Tag der Schulschließungen und auf dem\Nneuen Cluster passierte irgendwie nix. Wir
Dialogue: 0,0:15:04.69,0:15:08.33,Default,,0000,0000,0000,,haben erst gegrübelt und irgendwann wurde\Nuns dann klar naja ok klar die haben jetzt
Dialogue: 0,0:15:08.33,0:15:11.03,Default,,0000,0000,0000,,erstmal ihre Admin Accounts. Die müssen\Njetzt erst mal das ganze Kollegium mit
Dialogue: 0,0:15:11.03,0:15:14.51,Default,,0000,0000,0000,,Accounts versorgen und dann die Schüler.\NUnd müssen sich vielleicht noch
Dialogue: 0,0:15:14.51,0:15:19.01,Default,,0000,0000,0000,,einarbeiten und Material hochladen und so.\NUnd die folgenden Tage wurde es auch so
Dialogue: 0,0:15:19.01,0:15:22.46,Default,,0000,0000,0000,,nach und nach ein bisschen mehr, aber am\NAnfang war nicht so viel los. Das Problem
Dialogue: 0,0:15:22.46,0:15:26.87,Default,,0000,0000,0000,,waren jetzt aber die Moodles von den\NBestandskunden. Weil die hatten Accounts.
Dialogue: 0,0:15:26.87,0:15:30.26,Default,,0000,0000,0000,,Die wussten wie es funktioniert. Die sind\NMittwo.. Dienstag einfach zu Hause
Dialogue: 0,0:15:30.26,0:15:35.21,Default,,0000,0000,0000,,geblieben. Haben ihren Laptop aufgeklappt\Nund konnten sofort voll einsteigen. Und
Dialogue: 0,0:15:35.21,0:15:37.97,Default,,0000,0000,0000,,damit hatten hatten wir natürlich auch\Ngerechnet. Wir haben dafür gesorgt dass
Dialogue: 0,0:15:37.97,0:15:43.96,Default,,0000,0000,0000,,überall genug - dachten wir - genug Platz\Nda ist. Also irgendwie Lastfaktor 5 wäre
Dialogue: 0,0:15:43.96,0:15:47.30,Default,,0000,0000,0000,,irgendwie noch Luft gewesen. Wir haben da\Nirgendwie reingeguckt, da war nicht so
Dialogue: 0,0:15:47.30,0:15:49.88,Default,,0000,0000,0000,,viel los. Und wir dachten ja die benutzten\Ndie, also hatten die ja vorher auch schon
Dialogue: 0,0:15:49.88,0:15:55.51,Default,,0000,0000,0000,,benutzt. So schlimm wird es nicht werden.\NAber die Server haben dann tatsächlich am
Dialogue: 0,0:15:55.51,0:16:00.04,Default,,0000,0000,0000,,Mittwoch glaube ich die 20-fache Last wie\Nsonst gesehen. Und da waren wir dann
Dialogue: 0,0:16:00.04,0:16:04.00,Default,,0000,0000,0000,,schwer beschäftigt damit mehr Ressourcen\Nzuzuteilen. Die VMs zu vergrößern. Mehr
Dialogue: 0,0:16:04.00,0:16:08.53,Default,,0000,0000,0000,,Hardware dazu zu bauen. Neuere Hardware\Ndazu zu bauen. Also Teile von dem alten
Dialogue: 0,0:16:08.53,0:16:13.00,Default,,0000,0000,0000,,Webhosting liefen eben noch auf ein paar\Nwenigen Sun-Servern, die noch von früher
Dialogue: 0,0:16:13.00,0:16:16.60,Default,,0000,0000,0000,,übrig waren. Die haben wir dann durch\NLinux ersetzt, so schnell wie es geht.
Dialogue: 0,0:16:16.60,0:16:20.50,Default,,0000,0000,0000,,Kollege hat irgendwie noch aus\NEinzelteilen, die im Lager waren nochmal
Dialogue: 0,0:16:20.50,0:16:23.17,Default,,0000,0000,0000,,einen funktionierenden Server\Nzusammengebaut und natürlich neue
Dialogue: 0,0:16:23.17,0:16:28.15,Default,,0000,0000,0000,,bestellt. Und nachdem wir dann irgendwann\Ndie ganzen VMs groß genug vergrößert
Dialogue: 0,0:16:28.15,0:16:30.82,Default,,0000,0000,0000,,hatten und die alle schön, auf die, auf\Ndie Server die wir hatten, verteilt
Dialogue: 0,0:16:30.82,0:16:34.48,Default,,0000,0000,0000,,hatten, hat es auch einigermaßen\Nfunktioniert. Das heißt die ersten paar
Dialogue: 0,0:16:34.48,0:16:38.38,Default,,0000,0000,0000,,tage war es irgendwie echt blöd und so\Nnach und nach lief's für die
Dialogue: 0,0:16:38.38,0:16:42.22,Default,,0000,0000,0000,,Bestandskunden dann auch immer besser und\Nja also dann nach ein bis zwei Wochen
Dialogue: 0,0:16:42.22,0:16:46.63,Default,,0000,0000,0000,,lief's eigentlich relativ rund. Hier habe\Nich noch so 'nen kleinen Screenshot von
Dialogue: 0,0:16:46.63,0:16:51.46,Default,,0000,0000,0000,,einem Monitoring von so'm Bestandsmoodle.\N"For all resources, whatever it is, you
Dialogue: 0,0:16:51.46,0:16:58.00,Default,,0000,0000,0000,,need more." Man sieht da, ich hab das\Nschon mal, in dem CPU-Graphen unten links
Dialogue: 0,0:16:58.00,0:17:03.04,Default,,0000,0000,0000,,einen kleinen Aussetzer, da wurde die VM\Nschon mal vergrößert, das war, glaube ich,
Dialogue: 0,0:17:03.04,0:17:07.00,Default,,0000,0000,0000,,der Sonntag, da war schon relativ viel\NLast drauf, weil die Lehrer dann
Dialogue: 0,0:17:07.00,0:17:13.12,Default,,0000,0000,0000,,angefangen haben, da Sachen hochzuladen\Nund, ich glaub', der Montag war es und das
Dialogue: 0,0:17:13.12,0:17:15.55,Default,,0000,0000,0000,,hat dann aber auch am Mittwoch wieder\Nnicht mehr gereicht, das heißt,am Mittwoch
Dialogue: 0,0:17:15.55,0:17:20.41,Default,,0000,0000,0000,,wurde die VM noch mal verdoppelt und also\Nkurz nachdem dieser Screenshot aufgenommen
Dialogue: 0,0:17:20.41,0:17:25.15,Default,,0000,0000,0000,,wurde, lief's dann auch da rund. Wie\Ngesagt, eine kurze Zeit lang war es echt
Dialogue: 0,0:17:25.15,0:17:29.82,Default,,0000,0000,0000,,schlecht, aber dann nach ein paar Tagen\Nhatten wir das im Griff. Ja, die folgenden
Dialogue: 0,0:17:29.82,0:17:35.46,Default,,0000,0000,0000,,zwei Wochen da kam dann immer mehr Last\Nauf das neue Cluster drauf und da haben
Dialogue: 0,0:17:35.46,0:17:38.22,Default,,0000,0000,0000,,dann bemerkt, dass die zwei großen dicken\NDatenbankserver langsam zum Problem
Dialogue: 0,0:17:38.22,0:17:42.57,Default,,0000,0000,0000,,werden. Konkret sind wir hier in\NConnection-Limits reingelaufen und egal
Dialogue: 0,0:17:42.57,0:17:46.59,Default,,0000,0000,0000,,wie groß man die gemacht hat, die wurden\Nimmer gehittet und vor Allem auch mit
Dialogue: 0,0:17:46.59,0:17:51.00,Default,,0000,0000,0000,,stale Connections, also diese Moodles\Nmachen einen Haufen PHP-Cronjobs, machen
Dialogue: 0,0:17:51.00,0:17:56.01,Default,,0000,0000,0000,,da ganz viele Sachen und es passiert immer\Nwieder, dass mal was in Timeouts läuft und
Dialogue: 0,0:17:56.01,0:18:01.02,Default,,0000,0000,0000,,dann bleiben da einfach Datenbank-\NConnections hängen und ja das verstopft
Dialogue: 0,0:18:01.02,0:18:03.84,Default,,0000,0000,0000,,dann irgendwann nach und nach die\NDatenbank. Wir haben dann, wie gesagt, mit
Dialogue: 0,0:18:03.84,0:18:06.87,Default,,0000,0000,0000,,Parameter-Tuning einiges machen können,\Naber irgendwann ging's halt nicht mehr so
Dialogue: 0,0:18:06.87,0:18:11.34,Default,,0000,0000,0000,,gut weiter und wir haben dann beschlossen\Ndie Datenbank-Server in die virtuellen
Dialogue: 0,0:18:11.34,0:18:15.09,Default,,0000,0000,0000,,Maschinen mit reinzuziehen einfach damit\Nwir mehr DB-Server haben und dass das
Dialogue: 0,0:18:15.09,0:18:20.49,Default,,0000,0000,0000,,besser verteilt. Wir haben dann auch ein\Nbisschen DoS gesehen und ja wirklich, wir
Dialogue: 0,0:18:20.49,0:18:25.41,Default,,0000,0000,0000,,können unterscheiden von jemandem drückt\NF5 zu einem NTP-Amplification-DDoS, da
Dialogue: 0,0:18:25.41,0:18:29.46,Default,,0000,0000,0000,,gibt es immer wieder ein bisschen\Nschnippische Kommentare. Können wir schon
Dialogue: 0,0:18:29.46,0:18:33.21,Default,,0000,0000,0000,,unterscheiden. Das meiste war Kleinvieh,\Nhaben wir irgendwie gar nicht groß bemerkt
Dialogue: 0,0:18:33.21,0:18:37.89,Default,,0000,0000,0000,,oder uns nicht dran gestört. Also\NAmplification-Geschichten, die sind easy
Dialogue: 0,0:18:37.89,0:18:42.81,Default,,0000,0000,0000,,weggefiltert. Es gab aber auch dann ab un\Nd zu mal Application-Layer-DDoS, wo jemand
Dialogue: 0,0:18:42.81,0:18:46.59,Default,,0000,0000,0000,,tatsächlich ein bisschen tiefer im System\NLast gemacht hat und auch an den Filtern
Dialogue: 0,0:18:46.59,0:18:50.73,Default,,0000,0000,0000,,vorbeikam, das war ein bisschen ätzend,\Nkam aber zum Glück sehr selten nur vor
Dialogue: 0,0:18:53.46,0:18:59.37,Default,,0000,0000,0000,,Feedback gab es vor allem von den von der\NPresse dann zuerst also diese 100 ich sage
Dialogue: 0,0:18:59.37,0:19:02.46,Default,,0000,0000,0000,,mal so Größenordnung 100 Moodles, die\Ntatsächlich Probleme hatten, wegen
Dialogue: 0,0:19:02.46,0:19:06.36,Default,,0000,0000,0000,,Überlastung die haben sehr viel Medienecho\Nbekommen. Das war auch ein bisschen
Dialogue: 0,0:19:06.36,0:19:09.87,Default,,0000,0000,0000,,schade, dass ausgerechnet hier die\NBestandskunden, die es schon lange benutzt
Dialogue: 0,0:19:09.87,0:19:14.07,Default,,0000,0000,0000,,hatten und sich damit auskannten Probleme\Nhatten, das hat sehr viel negatives
Dialogue: 0,0:19:14.07,0:19:17.13,Default,,0000,0000,0000,,Medienecho bekommen. 'n bisschen unfair\Nwar vielleicht, dass dann irgendwie zwei
Dialogue: 0,0:19:17.13,0:19:20.79,Default,,0000,0000,0000,,Wochen später immer noch die DPA-Meldung\Nvon zwei Wochen vorher ge-copy-pasted war,
Dialogue: 0,0:19:20.79,0:19:26.34,Default,,0000,0000,0000,,wo es aber schon lange wieder im Griff\Nwar. Die paar tausend Instanzen, die gut
Dialogue: 0,0:19:26.34,0:19:31.71,Default,,0000,0000,0000,,funktioniert haben, die haben nicht so\Ninteressiert. Was cool war, dass vom
Dialogue: 0,0:19:31.71,0:19:35.91,Default,,0000,0000,0000,,Kultusministerium dann am ende für uns\Neinzeln und persönlich Dankesschreiben
Dialogue: 0,0:19:35.91,0:19:41.28,Default,,0000,0000,0000,,kamen, wo man sich in aller Förmlichkeit\Nbedankt hat, das hat uns sehr gefreut an
Dialogue: 0,0:19:41.28,0:19:44.52,Default,,0000,0000,0000,,diesem Wochenende auch in den Tagen danach\Nhaben uns schon das ein oder andere Mal
Dialogue: 0,0:19:44.52,0:19:49.23,Default,,0000,0000,0000,,gefragt, warum wir uns den Mist angetan\Nhaben und das hat dann richtig gut getan.
Dialogue: 0,0:19:49.23,0:19:53.82,Default,,0000,0000,0000,,Wir haben auch sehr viel Dank und Lob von\Nden Schulen bekommen, also E-Mails aber
Dialogue: 0,0:19:53.82,0:19:59.28,Default,,0000,0000,0000,,sogar auch Postkarten und sogar von ein\Npaar Schulen Pakete voll mit Schokolade,
Dialogue: 0,0:19:59.28,0:20:04.02,Default,,0000,0000,0000,,was uns sehr freut. Schokolade, wenn sie\Nbei uns vom Tisch fällt, berührt den Boden
Dialogue: 0,0:20:04.02,0:20:09.24,Default,,0000,0000,0000,,nicht. Die muss sofort weg. Ja, also das\Nhat uns riesig gefreut. Momentan ist der
Dialogue: 0,0:20:09.24,0:20:12.24,Default,,0000,0000,0000,,Status so: Ich habe hier noch mal ein\NBild, dass ist irgend so ein Teil von der
Dialogue: 0,0:20:12.24,0:20:17.37,Default,,0000,0000,0000,,alten Webhosting-Plattform, die ist über\Nden Sommer rausgeflogen jetzt und wurde
Dialogue: 0,0:20:17.37,0:20:24.60,Default,,0000,0000,0000,,durch modernere, platz- und\Nstromsparendere Dinge ersetzt. Wir haben
Dialogue: 0,0:20:24.60,0:20:28.74,Default,,0000,0000,0000,,technischen austausch gehabt mit den\NKollegen in Berlin und im Saarland und in
Dialogue: 0,0:20:28.74,0:20:33.15,Default,,0000,0000,0000,,Rheinland-Pfalz. Vor allem die Kollegen in\NBerlin konnten einiges weiter helfen mit
Dialogue: 0,0:20:33.15,0:20:39.15,Default,,0000,0000,0000,,schlauen Datenbank-Indizes und Patches im\NCode, der das ganze noch ordentlich nach
Dialogue: 0,0:20:39.15,0:20:44.79,Default,,0000,0000,0000,,vorne gebracht hat, großen Dank an der\NStelle! An den Moodles haben wir so übers
Dialogue: 0,0:20:44.79,0:20:46.68,Default,,0000,0000,0000,,Jahr noch einige Sachen verbessert, also\Nwir
Dialogue: 0,0:20:46.68,0:20:50.85,Default,,0000,0000,0000,,haben die Redis-Session-Cache dazu gebaut,\Nes gibt eine Funktion, die YUI-Combo-
Dialogue: 0,0:20:50.85,0:20:54.21,Default,,0000,0000,0000,,loading heißt. Wie gesagt, wir machen da\Nvielleicht noch ein Write-Up, weil es doch
Dialogue: 0,0:20:54.21,0:20:57.03,Default,,0000,0000,0000,,eine große Community gibt die Moodle\Neinsetzt sind die sich dafür interessiert.
Dialogue: 0,0:20:57.55,0:21:02.89,Default,,0000,0000,0000,,Combo-loading so ein Ding das Javascript\Nzusammenfasst und zusammen ausliefert. Das
Dialogue: 0,0:21:02.89,0:21:06.94,Default,,0000,0000,0000,,macht sehr viel weniger Requests auf dem\NWebserver und die kann man auch gut cachen
Dialogue: 0,0:21:06.94,0:21:12.22,Default,,0000,0000,0000,,dann. Und mehr php-worker da haben wir ein\Nbisschen dran getuned, mehr Datenbanken
Dialogue: 0,0:21:12.22,0:21:16.39,Default,,0000,0000,0000,,habe ich gerade schon erwähnt. Wir haben\Nmittlerweile mehrere Lagen DDOS-Protection
Dialogue: 0,0:21:16.39,0:21:22.18,Default,,0000,0000,0000,,und nächste Woche oder so kommt dann auch\Nnoch mal ein bisschen mehr Storage dazu.
Dialogue: 0,0:21:22.18,0:21:26.35,Default,,0000,0000,0000,,Das wird auch irgendwann mal voll.\NDeswegen sind wir da gerade auch dabei das
Dialogue: 0,0:21:26.35,0:21:31.30,Default,,0000,0000,0000,,Storage zu upgraden. Ja so ein To-Do dass\Nwir noch auf der Liste haben. Das mit dem
Dialogue: 0,0:21:31.30,0:21:34.87,Default,,0000,0000,0000,,Apache war halt so eine Sache von wegen\Nunsere ganze Automatisierung hat das so
Dialogue: 0,0:21:34.87,0:21:40.30,Default,,0000,0000,0000,,drin. Wir machen das jetzt halt mal so. Es\Ngibt aber mit nginx eine Funktion die
Dialogue: 0,0:21:40.30,0:21:44.11,Default,,0000,0000,0000,,heißt x-Accel-Redirect, die wir dann\Nnutzen könnten. Mit der man auch noch mal
Dialogue: 0,0:21:44.11,0:21:46.93,Default,,0000,0000,0000,,einige Prozent Performance herausholen\Nkann. Das steht dann vielleicht noch mal
Dialogue: 0,0:21:46.93,0:21:52.90,Default,,0000,0000,0000,,irgendwann auf dem Plan. Und ja der Moodle\NCode hat auch Optimierungspotenzial und
Dialogue: 0,0:21:52.90,0:21:56.32,Default,,0000,0000,0000,,wir planen gerade so ein bisschen dass wir\Nda rein gucken. Bisschen, ein bisschen
Dialogue: 0,0:21:56.32,0:22:01.63,Default,,0000,0000,0000,,Analyse machen und auch es vielleicht\Nhinkriegen dass wir jemand haben der den
Dialogue: 0,0:22:01.63,0:22:05.02,Default,,0000,0000,0000,,Moodle Code selber ein bisschen optimiert.\NWeil an vielen Stellen kann man halt
Dialogue: 0,0:22:05.02,0:22:09.04,Default,,0000,0000,0000,,irgendwie Server dazu werfen und noch mehr\NServer dazu werfen. Wenn die Software halt
Dialogue: 0,0:22:09.04,0:22:12.22,Default,,0000,0000,0000,,an einigen Stellen ab und zu mal hakt,\Ndann kann man so viele Server haben wie
Dialogue: 0,0:22:12.22,0:22:18.37,Default,,0000,0000,0000,,man will. Ja. Lessons Learned: Eigene\NInfrastruktur und eigenes Know-How sind
Dialogue: 0,0:22:19.09,0:22:22.87,Default,,0000,0000,0000,,unersetzbar. Also wir waren ja nicht die\NEinzigen und nicht die Ersten bei denen
Dialogue: 0,0:22:22.87,0:22:27.04,Default,,0000,0000,0000,,angefragt wurde das zu machen. Und wir\Nhatten halt die Infrastruktur da. Und wir
Dialogue: 0,0:22:27.04,0:22:31.90,Default,,0000,0000,0000,,hatten die Leute da die das können und die\Ndas seit einiger Zeit betreiben. Ohne das
Dialogue: 0,0:22:31.90,0:22:38.14,Default,,0000,0000,0000,,wäre es nicht gegangen in der Kürze der\NZeit. Dann das Team. Also das waren alles
Dialogue: 0,0:22:38.14,0:22:42.91,Default,,0000,0000,0000,,Freiwillige. Wir haben niemanden gezwungen\Nund wir haben auch darauf geachtet dass
Dialogue: 0,0:22:42.91,0:22:47.05,Default,,0000,0000,0000,,alle das freiwillig machen und es war im\NMix genau richtig. Also bei allen
Dialogue: 0,0:22:47.05,0:22:50.38,Default,,0000,0000,0000,,Problemen bei allen Themen, die wir\Nhatten, war immer irgendwie jemand da, der
Dialogue: 0,0:22:50.38,0:22:54.01,Default,,0000,0000,0000,,gesagt hat, ah ja hatte ich schon mal kann\Nich mich drum kümmern. Das war genau
Dialogue: 0,0:22:54.01,0:22:56.35,Default,,0000,0000,0000,,richtig. Und ich glaube, wenn wir ein,\Nzwei Leute weniger gehabt hätten, hätten
Dialogue: 0,0:22:56.35,0:23:00.64,Default,,0000,0000,0000,,wir sicher irgendwo nen Showstopper\Ngehabt. Wichtig war auch noch das
Dialogue: 0,0:23:00.64,0:23:05.83,Default,,0000,0000,0000,,selbstorganisierte Team. Das ging einfach\Nsehr schnell und auf dem kurzen Weg, dass
Dialogue: 0,0:23:05.83,0:23:08.95,Default,,0000,0000,0000,,wir uns einfach zusammen gesetzt haben und\Njeder hat halt das gemacht was er was er
Dialogue: 0,0:23:08.95,0:23:14.37,Default,,0000,0000,0000,,gut kann, wo er sich auskennt. Und genauso\Ndie Kommunikation wir waren quasi die
Dialogue: 0,0:23:14.37,0:23:19.14,Default,,0000,0000,0000,,ganze Zeit und auch Tage später noch im\NJitsi in der Videokonferenz. Also ich
Dialogue: 0,0:23:19.14,0:23:21.36,Default,,0000,0000,0000,,glaube wir hatten einen Jitsi Raum der\Nirgendwie drei Wochen am Stück offen war.
Dialogue: 0,0:23:21.36,0:23:26.76,Default,,0000,0000,0000,,Und man konnte da halt dann auf dem kurzen\NWeg einfach mal was sagen wenn es
Dialogue: 0,0:23:26.76,0:23:29.97,Default,,0000,0000,0000,,irgendein Thema gab . Oder mal kurz was\Ndiskutieren. Und ansonsten war da halt
Dialogue: 0,0:23:29.97,0:23:35.55,Default,,0000,0000,0000,,Funkstille und das hat eigentlich ganz gut\Nfunktioniert so. Auch nach außen ist die
Dialogue: 0,0:23:35.55,0:23:38.91,Default,,0000,0000,0000,,Kommunikation sehr wichtig. Wir sind\Nnormalerweise gerade als Forschungsnetz
Dialogue: 0,0:23:38.91,0:23:43.98,Default,,0000,0000,0000,,sehr offen und kommunizieren auch\Nnormalerweise mit technischen Details. Und
Dialogue: 0,0:23:43.98,0:23:46.65,Default,,0000,0000,0000,,es gibt auch immer wieder sehr viel\Npositives Feedback. Die Leute freuen sich
Dialogue: 0,0:23:46.65,0:23:51.06,Default,,0000,0000,0000,,darüber dass wir da irgendwie auch mal\Neine Ansage machen. Also auch Laien, die
Dialogue: 0,0:23:51.06,0:23:53.91,Default,,0000,0000,0000,,dann vielleicht nicht genau verstehen, um\Nwas es da geht. Man muss dann halt noch
Dialogue: 0,0:23:53.91,0:23:58.23,Default,,0000,0000,0000,,mal ein erklärenden Satz zu schreiben. Das\Nist nicht immer einfach. Aber die haben
Dialogue: 0,0:23:58.23,0:24:00.93,Default,,0000,0000,0000,,dann schon mal irgendwie ein Verständnis\Nvon, da passiert irgendetwas, da kümmert
Dialogue: 0,0:24:00.93,0:24:04.62,Default,,0000,0000,0000,,sich jemand und da weiß jemand was er tut.\NUnd Leute die sich auskennen sind
Dialogue: 0,0:24:04.62,0:24:09.39,Default,,0000,0000,0000,,natürlich um Feedback, also um technische\NDetails immer so, umso dankbarer. Wenn ihr
Dialogue: 0,0:24:09.39,0:24:13.89,Default,,0000,0000,0000,,dann auch ein bisschen Verständnis dafür\Nkriegen dass da, was da so passiert. Genau
Dialogue: 0,0:24:13.89,0:24:19.44,Default,,0000,0000,0000,,das war es so von mir. Danke fürs Zuhören\NSchreibt mir eine Mail. Ich bin nachher
Dialogue: 0,0:24:19.44,0:24:22.32,Default,,0000,0000,0000,,auch noch für das Q&A da und ansonsten\Nfreue ich mich auf die lustige
Dialogue: 0,0:24:22.32,0:24:30.77,Default,,0000,0000,0000,,Pausenmusik. Dankeschön.\NTim: Ja, Sebastian. Vielen Dank für deinen
Dialogue: 0,0:24:30.77,0:24:36.26,Default,,0000,0000,0000,,Vortrag. Das, also absolut krass. Weiß ich\Nüberhaupt nicht wie man das in Worte
Dialogue: 0,0:24:36.26,0:24:41.36,Default,,0000,0000,0000,,fassen soll, was ihr da als Team in kurzer\NZeit auf die Bühne gestellt habt.
Dialogue: 0,0:24:41.36,0:24:45.50,Default,,0000,0000,0000,,Spannende Frage aus dem Chat war\Nnatürlich: Wem habt ihr denn die Server
Dialogue: 0,0:24:45.50,0:24:49.58,Default,,0000,0000,0000,,geklaut? Für wen waren die eigentlich\Ngedacht? Und Strom kommt aus der
Dialogue: 0,0:24:49.58,0:24:52.40,Default,,0000,0000,0000,,Steckdose? Oder hat ihr so ein großes\NRechenzentrum, dass man da einfach
Dialogue: 0,0:24:52.40,0:24:57.92,Default,,0000,0000,0000,,beliebig hoch skalieren kann?\NSebastian: Ja, die Server haben wir uns
Dialogue: 0,0:24:57.92,0:25:01.28,Default,,0000,0000,0000,,selber geklaut. Das war tatsächlich\Ngeplant für dieses Jahr, also für letztes
Dialogue: 0,0:25:01.28,0:25:04.55,Default,,0000,0000,0000,,Jahr, dass wir die Webhosting Plattform\Nmal modernisieren und das der Kram eh
Dialogue: 0,0:25:04.55,0:25:10.31,Default,,0000,0000,0000,,rausfliegt, der alte Sun Kram. Wir hatten\Neigentlich geplant so ein Container Setup
Dialogue: 0,0:25:10.31,0:25:13.64,Default,,0000,0000,0000,,zu bauen. Da gab es aber irgendwie noch\Nmal einen Showstopper und wir mussten das
Dialogue: 0,0:25:13.64,0:25:16.97,Default,,0000,0000,0000,,ganze Setup noch mal ein bisschen\Nüberdenken. Und das kam quasi genau
Dialogue: 0,0:25:16.97,0:25:21.89,Default,,0000,0000,0000,,zeitlich dahin, wo wir dann die Server\Ndastehen hatten, aber noch nicht genau die
Dialogue: 0,0:25:21.89,0:25:26.87,Default,,0000,0000,0000,,Details ausgekaspert hatten und die dann\Nquasi direkt verwenden konnten. Ja. Zum
Dialogue: 0,0:25:26.87,0:25:32.21,Default,,0000,0000,0000,,Platz: Wir haben wir haben\NRechenzentrumsplatz und das mit dem Strom
Dialogue: 0,0:25:32.21,0:25:35.36,Default,,0000,0000,0000,,ist tatsächlich dann irgendwann auch mal\Nein Thema, wenn man so viele Server dann
Dialogue: 0,0:25:35.36,0:25:39.05,Default,,0000,0000,0000,,rein schmeißt. Aber da war es ganz gut,\Ndass dann irgendwann die Sun Server
Dialogue: 0,0:25:39.05,0:25:42.14,Default,,0000,0000,0000,,rausgekommen sind, weil die brauchen ein\Npaar kW pro Stück da kann man ein paar
Dialogue: 0,0:25:42.14,0:25:49.40,Default,,0000,0000,0000,,Linux Bleche rein tun.\NTim: Ja. Super. Es kamen noch ein paar
Dialogue: 0,0:25:49.40,0:25:54.47,Default,,0000,0000,0000,,weitere Fragen. Ich guck schon ein\Nbisschen auf die Uhr . Ich würde mal noch
Dialogue: 0,0:25:54.47,0:25:58.88,Default,,0000,0000,0000,,eine anreißen. Monitort ihr auch das\NNetzwerk mit Prometheus oder lasst ihr das
Dialogue: 0,0:25:58.88,0:26:02.60,Default,,0000,0000,0000,,nur auf die Server Dienste los? Wir hatte\Nja so ein paar Dashboards gesehen, die
Dialogue: 0,0:26:02.60,0:26:05.30,Default,,0000,0000,0000,,dann hauptsächlich sich auf die Server\Nbezogen haben.
Dialogue: 0,0:26:05.30,0:26:10.69,Default,,0000,0000,0000,,Sebastian: Ja, wir machen ziemlich viel\Nmittlerweile mit Prometheus. Also wir
Dialogue: 0,0:26:10.69,0:26:14.33,Default,,0000,0000,0000,,hatten früher so nix aus verschiedenen\NDingen. Also zuletzt hatten wir für
Dialogue: 0,0:26:14.33,0:26:17.100,Default,,0000,0000,0000,,Netzwerk libreNMS groß im Einsatz.\NMittlerweile machen wir sehr viel mit
Dialogue: 0,0:26:17.100,0:26:22.61,Default,,0000,0000,0000,,Prometheus. Weil es sehr flexibel ist,\Nweil es ja Exporter für alles Mögliche
Dialogue: 0,0:26:22.61,0:26:29.28,Default,,0000,0000,0000,,gibt. Und also auch Netzwerk gehört dazu.\NTim: Ok. Ja vielen Dank. Es waren noch 2,
Dialogue: 0,0:26:29.28,0:26:36.01,Default,,0000,0000,0000,,3 weitere Fragen. Ich würd dir die einfach\Ndann noch später schicken für deinen
Dialogue: 0,0:26:36.01,0:26:41.34,Default,,0000,0000,0000,,technical Write-Up. Man findet den\NSebastian auch auf Twitter. Er ist auch im
Dialogue: 0,0:26:41.34,0:26:45.74,Default,,0000,0000,0000,,DENOG Twitter Feed entsprechend verlinkt.\NOder ansonsten habt ja auch auf den Slides
Dialogue: 0,0:26:45.74,0:26:49.69,Default,,0000,0000,0000,,seine E-Mail Adresse oder er ist noch im\NChat unterwegs, wo ihr ihn gerne noch
Dialogue: 0,0:26:49.69,0:26:53.30,Default,,0000,0000,0000,,ansprechen könnt. Vielen Dank, Sebastian.\NSehr cooler Vortrag.
Dialogue: 0,0:26:53.30,0:26:54.65,Default,,0000,0000,0000,,Sebastian: Dankeschön.
Dialogue: 0,0:26:54.65,0:26:57.00,Default,,0000,0000,0000,,Untertitel erstellt von c3subtitles.de\Nim Jahr 2021. Mach mit und hilf uns!