Tim: Ja servus. Guten Abend zusammen. ich freue mich dass wir Heute Abend Sebastian Neuner bei uns haben. Er arbeitet seit 2014 als Netzwerkingenieur bei BelWü - dem Landeshochschulnetz in Baden-Württemberg und verbindet damit die Universitäten, Hochschulen und die DHBW sowie sonstige wissenschaftliche und öffentliche Einrichtungen und Schulen. Sebastian ist dort zuständig für die Planung und Betrieb des Backbone Netzes inklusive der optischen Übertragungstechnik IP-Routing, Peering, Policies aber heute abend erzählt er uns wie sie zu Beginn des Lockdowns letztes jahr moodel für Baden-Württemberg in 72 Stunden gebaut haben. Ich würde sagen, Sebastian die Bühne gehört dir. Sebastian: Ja. Dankeschön, Tim. Ja, es wird ein bisschen Storytelling jetzt hauptsächlich. Wir haben auch vor noch mal ein technischeres write-up zu machen, wo wir ein bisschen genauer darauf eingehen anwelchen Rädchen wir noch wie gedreht haben um das eben ganz performant, so performant wie man es eben machen kann auf die Beine zu kriegen. Aber das ist, soll jetzt erst mal darum gehen, wie wir das quasi im März in einer großen Hauruck- Aktion gewuppt haben. Kurz zu uns. Wir sind so 25 Leute ungefähr. Der Tim hat das meiste gerade schon erzählt. Wir haben eben Leute die sich ums Netz kümmern, aber wir haben auch Sys-Admins und Leute die dann eben noch verschiedene Services betreuen und ja unsere Kernaufgabe ist eben dieses Landeshochschulnetz, hier mit einer kleinen Karte zu betreiben . Das Ganze gehört nicht zum Kultusministerium, sondern ist nachgeordnet dem Ministerium für Wissenschaft und Kunst. Und ja wir bauen und betreiben dieses Netz in enger Absprache und Zusammenarbeit mit den Hochschulrechenzentren. Das heißt da gibt es verschiedene Gremien in denen man dann eben guckt, ja wie bei einem Ausbau zum Beispiel oder bei technischen größeren Änderungen man eben eine Lösung findet die technisch für alle gut funktioniert. Wir betreiben dafür so dreieinhalbtausend km darkfiber und haben da oben drauf aktive dwdm Systeme das ganze in ungefähr 60 Knoten. Und ja, wie es der Tim gerade schon angesprochen hat,machen, machen wir damit Internet für neun Universitäten 40 Hochschulen, aber auch noch für andere Sachen, die da am Ministerium dranhängen. Also Museen oder Staatsarchive, aber auch so was wie Studentenwohnheime und dazu kommen eben noch Services, die man also klassisch als Netzbetreiber , dann vielleicht auch noch irgendwie dabei hat. So was wie DNS eben oder E-Mail das sind gerade Sachen die hauptsächlich von kleinen Hochschulen viel nachgefragt werden, die es sich eben, also für die es sich einfach nicht lohnt selber Personal und Infrastruktur bereitzustellen für diese Dienste. Und dann kommt auch noch Webhosting dazu. Das wird hauptsächlich von Schulen momentan genutzt. Auch schon seit vielen Jahren. Und es gibt auch Moodle bei uns von Schulen oder für Schulen schon seit einigen Jahren. Das ist also grundsätzlich nichts Neues gewesen. Es gibt auch noch Internetanschlüsse für Schulen da gibt es verschiedene Konstruktionen. Und für dieses ganze Ding schießt das Kultusministerium noch bei uns Personal dazu und eben auch Mittel. Das heißt dadurch sind wir größer, können flexibler sein. Also man kann sich auch gegenseitig mal aushelfen an manchen Stellen hatten wir Know-How im Haus. Dadurch haben wir sehr viel Synnergie Effekte und eine hohe Flexibilität. Ja , dann kam Freitag der 13. Wir saßen dann abends in unserer Videokonferenz. Weil man konnte ja nirgends hin. Restaurants hatten zu, Kino ging nicht. Das heißt, wir saßen dann irgendwie gelangweilt in unserem Jitsi und haben gequatscht und ein Bier getrunken und haben uns überlegt, ja wie das jetzt mit den Schulschließungen so ist. Das Kultusministerium hatte davor paar Jahren schon angefangen eine große Bildungsplattform ja zu beauftragen die sollte Ella heißen das ganze Projekt lief aber irgendwie nicht so gut. Wir waren da am Rande beteiligt also nur quasi gar nicht beteiligt. Deswegen kann ich euch da keine Details geben. Müsst ihr selber googeln. Aber Punkt war jedenfalls an dem Abend war das ganze nicht wirklich nutzbar. Das heißt die Schulen mussten irgendwie eine Lösung haben. Der erste Schritt war dann dass das Kkultusministerium den Schulen erlaubt hat sich nach eigenem Ermessen , also nach nach nach eigenem Wissen und Gewissen sozusagen sich eine eigene Lösung zu suchen. Also eigene Lernplattformen sich irgendwo einzukaufen oder Microsoft Teams sich zu nutzen oder sowas. Einfach damit die schon mal irgendwie eine Möglichkeit haben zu agieren. Gleichzeitig wollte das Kultusministerium dafür sorgen, dass alle Schulen irgendwie versorgt sind und irgendwie unterstützen. Und unter anderem kam auch bei uns eine Anfrage an, ob wir irgendwie unsere Moodle-Plattform und Webhosting-Plattform, die wir bisher schon hatten irgendwie hochziehen können auf-, ausbauen können und eben den Schulen die jetzt noch nichts haben irgendwie noch was bereitstellen können. Und dann haben wir erst gelacht und haben gesagt na ja also normalerweise kommt eine Schule einzeln zu uns. Und dann fragen die halt nach einer Domain und nem Moodel und kriegen dann noch SSL-Zertifikate. Und in dem Prozess passieren halt einige Schritte von Hand. Und normalerweise also wenn man es arg angestrengt hätten hätten wir vielleicht so 50 bis 100 pro Tag hingekriegt und die Aufgabe war ja von freitagabend bis Montag soll das quasi laufen. Also haben wir irgendwie erst gelacht. Nach dem Motto, wie soll das denn gehen? Und dann kam aber der Dennis unser Kollege und meinte, na ja also wir haben da noch die Server wir wollten ja irgendwie diese Webhosting- Plattform eh neu machen. Und wenn man es mit der heißen Nadel strickt und das alles initial irgendwie noch bisschen eng wird, aber er hat es durch gerechnet. Da gibt es irgendwie, hat ein großes Spreadsheet gemacht. Das könnte gerade hingehen. Und naja wir saßen da und hatten genug Freiwillige. Wir waren irgendwie motiviert. Wir hatten irgendwie Bock auf die Challenge. Und haben uns dann überlegt okay wir können das vielleicht machen. Aber wollen wir das machen? Also wenn wir da jetzt zu sagen oder jetzt anbieten dass wir da helfen dann haben wir irgendwie alle in echt beschissenes Wochenende. Und wir haben natürlich ein großes Risiko, dass am Ende nicht klappt. Und wenn wir dann sagen wir helfen und das verlassen sich Leute drauf und es funktioniert nachher nicht, weil es irgendwo Sonntagmittag einen Showstopper gab, dann stehen irgendwie blöd da. Andererseits wenn wir jetzt irgendwie sagen hm, ne, hm schwierig, machen wir nicht. Wer macht es dann? Also Kultusministerium hat ja nicht nur bei uns angefragt und das hörte sich alles nicht sehr hoffnungsvoll an. Und dann haben wir hin und her überlegt haben gedacht na ja okay wir versuchen es. Wir bieten mal Hilfe an. Haben dann uns um zehn abends beim Kultusministerium noch gemeldet haben gesagt, ja also wir würden es versuchen, wir wollen nichts versprechen, aber wir holen alles aus dem Keller was noch da ist und versuchen irgendwie Plattformen hochzuziehen. Die Ansage war dann, ja okay also manche Leute schlafen jetzt gerade und eine offizielle Entscheidung, also die offizielle Beauftragung in aller Förmlichkeit wird frühestens Samstag Vormittag passieren. Wir haben dann entschieden Samstag Vormittag ist uns zu spät. Wir fangen direkt an. Ich bin dann ins Rechenzentrum. Ich habe das kürzeste Streichholz gezogen sozusagen. Ich wohne am nächsten dran. Habe die Server, die dann quasi schon da waren, die aber noch nicht in Benutzung waren, passend verkabelt . Die waren noch in anderen Topologie. Nebenher während ich die Server so nach nach quasi eingeschaltet und verkabelt habe, haben die Kollegen dann schon da Systeme drauf installiert und die irgendwie vorbereitet. Und die, die Hardware schon mal an den Start gekriegt. Wir haben das Projekt dann intern "Ella 3.0" genannt. Und fanden uns sehr, sehr witzig. Und so ging es dann ja am Freitag nacht los. Und die Kollegen haben dann quasi noch mal ausgeschlafen und haben sich ein Setup überlegt. Und im Prinzip war das halt jetzt nix, nix Besonderes. Wir haben halt ein Webhosting Setup gemacht. Das sich irgendwie in unsere bisherige Infrastruktur einfügt. Also wir haben jetzt in der Kürze der Zeit nicht großartig noch groß neues Setup planen können. Sondern wir haben halt das gebaut was wir sonst auch haben. Nur mehr davon. Haben die Server ans Netz gehängt und an unser all-flash Storage dran gehängt. Haben dort Linux installiert und Virtualisierung machen wir eben mit libvirt und KVM. Und innen drin laufenden ja einfach linux VMs. Storage haben wir so gemacht, dass wir die Storages über Netzwerk auf dem hypervisor gemounted haben. Und das wird dann, also da liegen dann disk images rum und die werden als block device einfach in die VM reingereicht. Die VM hat ein ganz normales Filesystem mit block device. Und kann caching machen, was ganz wichtig ist in dem Fall für die Performance. Wir haben dann jeweils in einer VM 50 Moodels drin. Also wir mussten uns halt irgendwie eine Aufteilung überlegen und das war so, wo wir rausgekommen sind. Und da läuft einfach quasi ein Apache mit 50 vhosts und ja php-fpm. Also alles nichts Besonderes. Klassisches Webhosting im Prinzip. Dann hatten wir noch extra Server, die hatten RAM im Terabyte Bereich. Und dicke NVMe- Raids. Und da haben wir uns gedacht, die sind ja perfekt eigentlich für Datenbankserver. Haben da ja Datenbankserver draufgepackt. Und sehr viel später festgestellt, dass es ist nicht so eine optimale Idee war. Haben dass nachher nochmal bisschen umgestrickt und haben die Datenbanken mit in die VMs reingezogen. Aber da komme ich gleich noch mal drauf. Und ja das Moodel kriegen wir quasi fertig von Kollegen im Kultusministerium das ist ne Basisinstallation, die mit einigen, vielen Plugins gebündelt ist. Wir deployen das quasi so fertig, wie es kommt. Am Anfang hatte jedes Moodel nur 20 Gigabyte Disk. Das ist ziemlich wenig. Aber für die ersten Tage hat es gehalten und später haben wir neben Storage nachgelegt und konnten das Ganze dann ja vergrößern. Wir könnten das ganze noch mit Snapshots und Backups ausstatten. Das heißt die ersten paar Tage war es wirklich mit ner so heißen Nadel gestrickt, dass es auch keine Backups gab. Bis so nach paar Tagen bis ner woche. Caching haben wir anfangs mit mcash, memcached probiert. Das lief irgendwie nicht so gut. Hatten aber auch keine Zeit wirklich genauer zu debuggen. Es musste schnell gehen. Haben dann APCUc ausprobiert. Das kann ein Moodle aktivieren und das funktionierte sehr gut. Und ja später im Laufe des Jahres oder Ende des Jahres kam dann irgendwann noch Redis für Session Caching dazu. Ja Samstag stand im Prinzip das Setup, wie es aussehen soll. Da waren dann ganz viele Baustellen zu tun. Ganz, es ging in ganz viele Richtungen gleichzeitig. Also das lief quasi alles parallel. Angefangen bei, welche Schulen gibt es überhaupt? Wie heißen die? Wo sind die? Was haben die für eine Dienststellen E-Mail Adresse? Da hat das Kultusministerium ein großes Spreadsheet gehabt. Wir haben dann das Excel-Sheet in irgend ein sinnvolles Dateiformat umgewandelt und haben dann damit weiter gearbeitet. Haben damit quasi Ansible befüllt. Haben uns Zugangsdaten für die Moodles also Initial-Admin Accounts und Datenbank, Datenbankpasswörter generiert und so weiter. Jemand musste sich noch um Storage kümmern. Jemand musste sich noch um Netzwerk und IP-Adressen für die ganzen VMs kümmern. Die Moodle Installation musste irgendwie automatisiert werden. Wir konnten da auf ziemlich viel zurückgreifen was wir hatten, aber der das Ziel war natürlich das muss irgendwie 4000 mal laufen ohne dass jemand irgendwo was anfasst. Ohne dass jemand eine Domain irgendwo von Hand anlegt oder so weil sonst geht es in der Kürze der Zeit einfach nicht. Wir haben dann einfach mal noch kurz paar 1000 Domains hier als Subdomain von moodle.belwue.de angelegt. Immer mit der Dienststellenadresse vorne dran sozusagen, als primary key. Ja und so musste das dann halt laufen. Für Monitoring nutzen wir generell viel Prometheus und Grafana das heitßt, da haben wir noch mal eine separate Instanz dazu gestellt die eben auf das Web Cluster zugeschnitten war und dann da eben geguckt hat was funktioniert und was funktioniert nicht. Sonntag ging es dann im Prinzip so weiter das nahm dann so nach und nach Form an aber wir haben dann gegen ganz viele Kleinigkeiten gekämpft. Also sowas wie, wenn man 4000 Moodles gleichzeitig installiert und das Ansible holt irgendwelche sachen vom git-Server dann fängt der arme git-Server so ein bisschen an zu brennen. Das heißt, da mussten wir dass irgendwie in Badges einteilen. Gleichzeitig gingen dann irgendwie bei der Installation die Datenbanken kaputt, weil es irgendwelche Timeouts gab. Das heißt, man musste dann gucken welche haben nicht sauber deployed. Das alles nochmal wegwerfen, alles noch mal von vorne machen. SSL-Zertifikate, 4000 Zertifikate irgendwo einzeln beantragen geht natürlich auf gar keinen Fall. Wir haben dann überlegt was wir machen.Let's Encrypt Zertifikate wäre auch nicht gegangen. Da gibt es Ratelimits. In die wären wir reingelaufen. Und was wir dann gemacht haben war, naja Let's Encrypt Sternchenzertifikat für die ganze Subdomain erstmal da überall reinpacken, passt schon. Kümmern wir uns nächste Woche drum. Also es muss jetzt erstmal irgendwie bis Montagfrüh irgendwie laufen. Genau dann irgendwann war Netzwerk fertig. Das heißt der Teil, wo ich helfen konnte lief und ich habe dann halt ein bisschen angefangen Monitoring Dashboards zu bauen, damit die Kollegen wissen was tut und was tut nicht. Und wo gibt es noch zu tun und wo ging was schief. Und eine andere Frage, die wir dann noch klären mussten, war, wer macht überhaupt Support für das Ganze? Also wir können vielleicht ein bisschen technisch, wenn es irgendwie gar nicht funktioniert, können wir natürlich rein gucken und sagen okay da habt ihr irgendwie was verkonfiguriert oder so. Also technisch können wir da vielleicht Support machen, aber es gibt ja dann nachher noch hunderteLehrer, die dann nachher das benutzen müssen und die dann vielleicht irgendwie Probleme damit haben. Und den Teil hat dann das Zentrum für Schulentwicklung und Lehrerfortbildung, also Lehrerfortbildung BW hat es dann übernommen. Die machen einen wirklich guten Job. Die machen da, stellen ganz viele tolle Materialien bereit und machen Videokonferenzen mit den Lehrern und zeigen dass denen. Und die haben nachher auch Big-Blue-Button hochgezogen. Mittlerweile in einer wahnsinnig riesigen Installation mit hunderten Servern mit 100000en gleichzeitigen Clients in der Videokonferenz. Also wirklich, Hut ab. Am Montag war dann die Deadline. Und wir hatten drei 3948 neue Moodles installiert und bis auf 62 Stück waren auch alle funktional. Das heißt, sagen wir mal 99% Mission Accomplished. Wir waren riesig froh bei den 62 Stück musste man noch mal von Hand angucken. Die hatten noch verschiedene Probleme, aber im Wesentlichen lief das Ganze rund. Und dann hatten wir noch wie gesagt vorher schon lange Moodle und das waren so 1100 Bestands Moodle. Das heißt so knappe 5000 Moodle hatten wir dann. Das neue Deployment war initial, ja so was halt da war und die Woche über und die nächsten Wochen über kam dann immer mehr und mehr Hardware dazu. Aber das war jetzt mal so der Stand vom Montag. Außerdem war der Stand, dass ein paar Leute irgendwie echt dringend Schlaf gebraucht haben. Ja und so fing unsere Arbeitswoche am Montag dann an. Und Dienstag haben wir dann gespannt auf die Graphen geguckt. Das war der erste Tag der Schulschließungen und auf dem neuen Cluster passierte irgendwie nix. Wir haben erst gegrübelt und irgendwann wurde uns dann klar naja ok klar die haben jetzt erstmal ihre Admin Accounts. Die müssen jetzt erst mal das ganze Kollegium mit Accounts versorgen und dann die Schüler. Und müssen sich vielleicht noch einarbeiten und Material hochladen und so. Und die folgenden Tage wurde es auch so nach und nach ein bisschen mehr, aber am Anfang war nicht so viel los. Das Problem waren jetzt aber die Moodles von den Bestandskunden. Weil die hatten Accounts. Die wussten wie es funktioniert. Die sind Mittwo.. Dienstag einfach zu Hause geblieben. Haben ihren Laptop aufgeklappt und konnten sofort voll einsteigen. Und damit hatten hatten wir natürlich auch gerechnet. Wir haben dafür gesorgt dass überall genug - dachten wir - genug Platz da ist. Also irgendwie Lastfaktor 5 wäre irgendwie noch Luft gewesen. Wir haben da irgendwie reingeguckt, da war nicht so viel los. Und wir dachten ja die benutzten die, also hatten die ja vorher auch schon benutzt. So schlimm wird es nicht werden. Aber die Server haben dann tatsächlich am Mittwoch glaube ich die 20-fache Last wie sonst gesehen. Und da waren wir dann schwer beschäftigt damit mehr Ressourcen zuzuteilen. Die VMs zu vergrößern. Mehr Hardware dazu zu bauen. Neuere Hardware dazu zu bauen. Also Teile von dem alten Webhosting liefen eben noch auf ein paar wenigen Sun-Servern, die noch von früher übrig waren. Die haben wir dann durch Linux ersetzt, so schnell wie es geht. Kollege hat irgendwie noch aus Einzelteilen, die im Lager waren nochmal einen funktionierenden Server zusammengebaut und natürlich neue bestellt. Und nachdem wir dann irgendwann die ganzen VMs groß genug vergrößert hatten und die alle schön, auf die, auf die Server die wir hatten, verteilt hatten, hat es auch einigermaßen funktioniert. Das heißt die ersten paar tage war es irgendwie echt blöd und so nach und nach lief's für die Bestandskunden dann auch immer besser und ja also dann nach ein bis zwei Wochen lief's eigentlich relativ rund. Hier habe ich noch so 'nen kleinen Screenshot von einem Monitoring von so'm Bestandsmoodle. "For all resources, whatever it is, you need more." Man sieht da, ich hab das schon mal, in dem CPU-Graphen unten links einen kleinen Aussetzer, da wurde die VM schon mal vergrößert, das war, glaube ich, der Sonntag, da war schon relativ viel Last drauf, weil die Lehrer dann angefangen haben, da Sachen hochzuladen und, ich glaub', der Montag war es und das hat dann aber auch am Mittwoch wieder nicht mehr gereicht, das heißt,am Mittwoch wurde die VM noch mal verdoppelt und also kurz nachdem dieser Screenshot aufgenommen wurde, lief's dann auch da rund. Wie gesagt, eine kurze Zeit lang war es echt schlecht, aber dann nach ein paar Tagen hatten wir das im Griff. Ja, die folgenden zwei Wochen da kam dann immer mehr Last auf das neue Cluster drauf und da haben dann bemerkt, dass die zwei großen dicken Datenbankserver langsam zum Problem werden. Konkret sind wir hier in Connection-Limits reingelaufen und egal wie groß man die gemacht hat, die wurden immer gehittet und vor Allem auch mit stale Connections, also diese Moodles machen einen Haufen PHP-Cronjobs, machen da ganz viele Sachen und es passiert immer wieder, dass mal was in Timeouts läuft und dann bleiben da einfach Datenbank- Connections hängen und ja das verstopft dann irgendwann nach und nach die Datenbank. Wir haben dann, wie gesagt, mit Parameter-Tuning einiges machen können, aber irgendwann ging's halt nicht mehr so gut weiter und wir haben dann beschlossen die Datenbank-Server in die virtuellen Maschinen mit reinzuziehen einfach damit wir mehr DB-Server haben und dass das besser verteilt. Wir haben dann auch ein bisschen DoS gesehen und ja wirklich, wir können unterscheiden von jemandem drückt F5 zu einem NTP-Amplification-DDoS, da gibt es immer wieder ein bisschen schnippische Kommentare. Können wir schon unterscheiden. Das meiste war Kleinvieh, haben wir irgendwie gar nicht groß bemerkt oder uns nicht dran gestört. Also Amplification-Geschichten, die sind easy weggefiltert. Es gab aber auch dann ab un d zu mal Application-Layer-DDoS, wo jemand tatsächlich ein bisschen tiefer im System Last gemacht hat und auch an den Filtern vorbeikam, das war ein bisschen ätzend, kam aber zum Glück sehr selten nur vor Feedback gab es vor allem von den von der Presse dann zuerst also diese 100 ich sage mal so Größenordnung 100 Moodles, die tatsächlich Probleme hatten, wegen Überlastung die haben sehr viel Medienecho bekommen. Das war auch ein bisschen schade, dass ausgerechnet hier die Bestandskunden, die es schon lange benutzt hatten und sich damit auskannten Probleme hatten, das hat sehr viel negatives Medienecho bekommen. 'n bisschen unfair war vielleicht, dass dann irgendwie zwei Wochen später immer noch die DPA-Meldung von zwei Wochen vorher ge-copy-pasted war, wo es aber schon lange wieder im Griff war. Die paar tausend Instanzen, die gut funktioniert haben, die haben nicht so interessiert. Was cool war, dass vom Kultusministerium dann am ende für uns einzeln und persönlich Dankesschreiben kamen, wo man sich in aller Förmlichkeit bedankt hat, das hat uns sehr gefreut an diesem Wochenende auch in den Tagen danach haben uns schon das ein oder andere Mal gefragt, warum wir uns den Mist angetan haben und das hat dann richtig gut getan. Wir haben auch sehr viel Dank und Lob von den Schulen bekommen, also E-Mails aber sogar auch Postkarten und sogar von ein paar Schulen Pakete voll mit Schokolade, was uns sehr freut. Schokolade, wenn sie bei uns vom Tisch fällt, berührt den Boden nicht. Die muss sofort weg. Ja, also das hat uns riesig gefreut. Momentan ist der Status so: Ich habe hier noch mal ein Bild, dass ist irgend so ein Teil von der alten Webhosting-Plattform, die ist über den Sommer rausgeflogen jetzt und wurde durch modernere, platz- und stromsparendere Dinge ersetzt. Wir haben technischen austausch gehabt mit den Kollegen in Berlin und im Saarland und in Rheinland-Pfalz. Vor allem die Kollegen in Berlin konnten einiges weiter helfen mit schlauen Datenbank-Indizes und Patches im Code, der das ganze noch ordentlich nach vorne gebracht hat, großen Dank an der Stelle! An den Moodles haben wir so übers Jahr noch einige Sachen verbessert, also wir haben die Redis-Session-Cache dazu gebaut, es gibt eine Funktion, die YUI-Combo- loading heißt. Wie gesagt, wir machen da vielleicht noch ein Write-Up, weil es doch eine große Community gibt die Moodle einsetzt sind die sich dafür interessiert. Combo-loading so ein Ding das Javascript zusammenfasst und zusammen ausliefert. Das macht sehr viel weniger Requests auf dem Webserver und die kann man auch gut cachen dann. Und mehr php-worker da haben wir ein bisschen dran getuned, mehr Datenbanken habe ich gerade schon erwähnt. Wir haben mittlerweile mehrere Lagen DDOS-Protection und nächste Woche oder so kommt dann auch noch mal ein bisschen mehr Storage dazu. Das wird auch irgendwann mal voll. Deswegen sind wir da gerade auch dabei das Storage zu upgraden. Ja so ein To-Do dass wir noch auf der Liste haben. Das mit dem Apache war halt so eine Sache von wegen unsere ganze Automatisierung hat das so drin. Wir machen das jetzt halt mal so. Es gibt aber mit nginx eine Funktion die heißt x-Accel-Redirect, die wir dann nutzen könnten. Mit der man auch noch mal einige Prozent Performance herausholen kann. Das steht dann vielleicht noch mal irgendwann auf dem Plan. Und ja der Moodle Code hat auch Optimierungspotenzial und wir planen gerade so ein bisschen dass wir da rein gucken. Bisschen, ein bisschen Analyse machen und auch es vielleicht hinkriegen dass wir jemand haben der den Moodle Code selber ein bisschen optimiert. Weil an vielen Stellen kann man halt irgendwie Server dazu werfen und noch mehr Server dazu werfen. Wenn die Software halt an einigen Stellen ab und zu mal hakt, dann kann man so viele Server haben wie man will. Ja. Lessons Learned: Eigene Infrastruktur und eigenes Know-How sind unersetzbar. Also wir waren ja nicht die Einzigen und nicht die Ersten bei denen angefragt wurde das zu machen. Und wir hatten halt die Infrastruktur da. Und wir hatten die Leute da die das können und die das seit einiger Zeit betreiben. Ohne das wäre es nicht gegangen in der Kürze der Zeit. Dann das Team. Also das waren alles Freiwillige. Wir haben niemanden gezwungen und wir haben auch darauf geachtet dass alle das freiwillig machen und es war im Mix genau richtig. Also bei allen Problemen bei allen Themen, die wir hatten, war immer irgendwie jemand da, der gesagt hat, ah ja hatte ich schon mal kann ich mich drum kümmern. Das war genau richtig. Und ich glaube, wenn wir ein, zwei Leute weniger gehabt hätten, hätten wir sicher irgendwo nen Showstopper gehabt. Wichtig war auch noch das selbstorganisierte Team. Das ging einfach sehr schnell und auf dem kurzen Weg, dass wir uns einfach zusammen gesetzt haben und jeder hat halt das gemacht was er was er gut kann, wo er sich auskennt. Und genauso die Kommunikation wir waren quasi die ganze Zeit und auch Tage später noch im Jitsi in der Videokonferenz. Also ich glaube wir hatten einen Jitsi Raum der irgendwie drei Wochen am Stück offen war. Und man konnte da halt dann auf dem kurzen Weg einfach mal was sagen wenn es irgendein Thema gab . Oder mal kurz was diskutieren. Und ansonsten war da halt Funkstille und das hat eigentlich ganz gut funktioniert so. Auch nach außen ist die Kommunikation sehr wichtig. Wir sind normalerweise gerade als Forschungsnetz sehr offen und kommunizieren auch normalerweise mit technischen Details. Und es gibt auch immer wieder sehr viel positives Feedback. Die Leute freuen sich darüber dass wir da irgendwie auch mal eine Ansage machen. Also auch Laien, die dann vielleicht nicht genau verstehen, um was es da geht. Man muss dann halt noch mal ein erklärenden Satz zu schreiben. Das ist nicht immer einfach. Aber die haben dann schon mal irgendwie ein Verständnis von, da passiert irgendetwas, da kümmert sich jemand und da weiß jemand was er tut. Und Leute die sich auskennen sind natürlich um Feedback, also um technische Details immer so, umso dankbarer. Wenn ihr dann auch ein bisschen Verständnis dafür kriegen dass da, was da so passiert. Genau das war es so von mir. Danke fürs Zuhören Schreibt mir eine Mail. Ich bin nachher auch noch für das Q&A da und ansonsten freue ich mich auf die lustige Pausenmusik. Dankeschön. Tim: Ja, Sebastian. Vielen Dank für deinen Vortrag. Das, also absolut krass. Weiß ich überhaupt nicht wie man das in Worte fassen soll, was ihr da als Team in kurzer Zeit auf die Bühne gestellt habt. Spannende Frage aus dem Chat war natürlich: Wem habt ihr denn die Server geklaut? Für wen waren die eigentlich gedacht? Und Strom kommt aus der Steckdose? Oder hat ihr so ein großes Rechenzentrum, dass man da einfach beliebig hoch skalieren kann? Sebastian: Ja, die Server haben wir uns selber geklaut. Das war tatsächlich geplant für dieses Jahr, also für letztes Jahr, dass wir die Webhosting Plattform mal modernisieren und das der Kram eh rausfliegt, der alte Sun Kram. Wir hatten eigentlich geplant so ein Container Setup zu bauen. Da gab es aber irgendwie noch mal einen Showstopper und wir mussten das ganze Setup noch mal ein bisschen überdenken. Und das kam quasi genau zeitlich dahin, wo wir dann die Server dastehen hatten, aber noch nicht genau die Details ausgekaspert hatten und die dann quasi direkt verwenden konnten. Ja. Zum Platz: Wir haben wir haben Rechenzentrumsplatz und das mit dem Strom ist tatsächlich dann irgendwann auch mal ein Thema, wenn man so viele Server dann rein schmeißt. Aber da war es ganz gut, dass dann irgendwann die Sun Server rausgekommen sind, weil die brauchen ein paar kW pro Stück da kann man ein paar Linux Bleche rein tun. Tim: Ja. Super. Es kamen noch ein paar weitere Fragen. Ich guck schon ein bisschen auf die Uhr . Ich würde mal noch eine anreißen. Monitort ihr auch das Netzwerk mit Prometheus oder lasst ihr das nur auf die Server Dienste los? Wir hatte ja so ein paar Dashboards gesehen, die dann hauptsächlich sich auf die Server bezogen haben. Sebastian: Ja, wir machen ziemlich viel mittlerweile mit Prometheus. Also wir hatten früher so nix aus verschiedenen Dingen. Also zuletzt hatten wir für Netzwerk libreNMS groß im Einsatz. Mittlerweile machen wir sehr viel mit Prometheus. Weil es sehr flexibel ist, weil es ja Exporter für alles Mögliche gibt. Und also auch Netzwerk gehört dazu. Tim: Ok. Ja vielen Dank. Es waren noch 2, 3 weitere Fragen. Ich würd dir die einfach dann noch später schicken für deinen technical Write-Up. Man findet den Sebastian auch auf Twitter. Er ist auch im DENOG Twitter Feed entsprechend verlinkt. Oder ansonsten habt ja auch auf den Slides seine E-Mail Adresse oder er ist noch im Chat unterwegs, wo ihr ihn gerne noch ansprechen könnt. Vielen Dank, Sebastian. Sehr cooler Vortrag. Sebastian: Dankeschön. Untertitel erstellt von c3subtitles.de im Jahr 2021. Mach mit und hilf uns!