Intro Musik Hallo und herzlich willkommen zu meinem Vortrag "KI im Klassenzimmer - yay oder nay?" Ich bin Nina, ich bin derzeit wissenschaftliche Mitarbeiterin im Büro von Birke Bull-Bischoff. Sie ist die bildungspolitische Sprecherin der Linksfraktion im Bundestag. Die letzten zwei Jahre habe ich auch die Enquete- Kommission KI im Bundestag für die Linke mitbegleitet. Und davor habe ich auch schon mal im Bildungssektor gearbeitet, sodass ich diesen Vortrag jetzt hier nutzen möchte, um mal alle meine Beobachtungen zum Thema KI in der Schule zusammenzutragen und vor allem auch einen Blick auf die dabei verarbeiteten Daten zu werfen und einen Ausblick darauf zu schaffen, wie KI vielleicht sogar dafür benutzt werden kann, um strukturelle Probleme im Bildungssektor anzugehen. Vorausschicken möchte ich, dass wenn ich hier von KI rede, ich jeweils sogenannte schwache KI meine und mich auf Machine Learning in als seinen Ausprägung beziehe. Ich möchte euch zuerst einen kleinen Überblick geben, wie KI im Schulbereich im Moment schon eingesetzt werden kann. Was dabei auch tatsächlich noch nicht so wahnsinnig gut läuft. Dann natürlich zeigen, was meiner Meinung nach besser laufen könnte, welche Anforderungen es braucht, damit es besser laufen kann und dann auch am Ende mit einer konkreten Empfehlung schließen. Als ich mich vor ungefähr einem Jahr angefangen habe, mit diesem Thema vertieft zu beschäftigen, sind mir zwei Dinge aufgefallen. Zum einen ist der Begriff KI eigentlich noch nicht wirklich konkret und allgemein definiert und all diese KI Anwendungen im Bildungsbereich auch noch nicht. Da wird also viel experimentiert und herumgeworfen mit Learning Analytics, mit Tutor Systemen, intelligenten Tutor Systemen. Das ganze unter die Oberbegriffe von Educational Data Mining gestellt. Das ist wiederum teilweise die Voraussetzung oder steht neben dem anderen Begriff von AIED, also Artificial Intelligence in Education. Also da kann man je nach Autor und je nach Anwendungsbereich baut das eine auf dem anderen auf oder steht nebeneinander oder ist eine Folge davon. All das ist ein Signal dafür, dass wir in diesem Bereich tatsächlich noch sehr am Anfang stehen, dass das alles sehr unstrukturiert ist. Und letztendlich ist auch der ganze Anbietermarkt von diesem System noch sehr am Anfang und unstrukturiert. Derzeit sind es vor allem oder eigentlich ausschließlich proprietäre Systeme, sodass auch teilweise Forscher manchmal gar nicht so richtig wissen: Arbeitet ein System, das mit KI wirbt, eigentlich wirklich mit KI im Sinne von Machine Learning oder ist es nur ein einfacher Algorithmus ohne Lernverfahren? Oder wie viel Werbung und wie viel Marketing steckt eigentlich in diesem Anbietersystem eigentlich wirklich dahinter? Dann gibt es aber neben dem ganzen Learning Analytics Bereich, der sich sehr konkret auf die Erhebung und Analyse von lernenden Daten, also zur Verbesserung von Lernerlebnissen und Lernenergebnissen beschäftigt, gibt es noch weitere Anwendungsbereiche, in denen KI eingesetzt wird. In den USA gibt es zum Beispiel ein Verfahren, dass das Surfverhalten analysiert. Auf dieser Keyword Liste der Risikofaktoren stehen dann allerdings auch Begriffe wie schwul, queer oder Gedichtsammlung. Also selbst wenn wir jetzt auch von sehr intoleranten Gesellschaften ausgehen, ist es natürlich überhaupt nicht zu unterstützen, dass diese Begriffe überhaupt irgendwie Personen zugeordnet und im Sinne einer Risikoprävention verwendet werden. Gesichtserkennung auf dem Schulgelände gab es neben den USA auch in Europa schon. Das hat Schweden mal an einer Schule probiert und die wurden dann aber nach sehr, sehr kurzer Zeit auf Basis der DSGVO auch schon mit einer hohen Strafe versehen. Also nicht unbedingt nachahmenswert. In China ist man da schon ein bisschen weiter und auch ein bisschen toleranter. Dort gibt es Gesichtserkennung auch in der Mensa und in Bibliotheken, sodass dann ganz nebenbei auch noch Ernährungsverhalten und Leseverhalten noch mit erfasst und analysiert werden. Ganz besonders charmant ist natürlich, dass Eltern sich in Klassenzimmerkameras auch mit einloggen können, um ihre Kinder dort direkt im Unterricht damit zu beobachten. Es gibt zwar hier und da sogar in China Widerstände dagegen und das finden nicht alle Eltern toll. Aber so wie ich das mitbekommen habe in den letzten Monaten, ist die Entwicklung da wahrscheinlich eher noch schwer aufzuhalten. Hier in Deutschland gibt es Forschungsprojekte, um zum Beispiel mit einem Stift direkt beim Schreiben, Üben, Schreibfehler oder Schreibschwächen rechtzeitig zu erkennen. Eher aus dem Hochschulbereich ist dieses Beispiel entnommen vom KIT, wo die Studienabbruchswahrscheinlichkeit berechnet wird. Je nachdem was man mit den Ergebnissen macht, kann das vielleicht sogar sinnvoll sein, weil dann rechtzeitig Hilfestellung gegeben werden kann. Aber wie dann einzelne Entscheider:innen mit solchen Ergebnissen umgehen, das steht natürlich nochmal auf einem ganz anderen Blatt. Und dann wird am DFKI und auch in der Universität von Tübingen an intelligenten Schulbüchern geforscht, die auch mit Daten arbeiten aus iTrackern, EEG Messung und sogar aus der Nasentemperaturmessung. Dabei wird davon ausgegangen, dass wenn die Nasentemperatur fällt, davon auszugehen ist, dass einem Lernenden bei seinem Lernstoff gerade Schwierigkeiten begegnen und das würde dann letztendlich in einer perfekten intelligenten Schulbuchversion dazu führen, dass ihnen noch ergänzende andere Inhalte angezeigt werden oder vielleicht irgendwie der ganze Lernpfad dann in Zukunft anders aufgebaut wird. Ich bin sehr gespannt, ob diese System Entwicklung jetzt auch im Pandemiewinter Daten erhebt, wo wahrscheinlich jeder Schüler zu jeder Zeit einfach kalte Nasen hat und was das letztendlich für die Lernpfadentwicklung bedeutet. Aber das ist ein anderes Thema. Kann KI denn überhaupt im Bildungssystem etwas Positives beitragen? Und wenn wir uns die Stärken von KI angucken, dann sieht es auf den ersten Blick tatsächlich so aus, als wäre das eigentlich gar keine so schlechte Idee. Gerade im Bereich der Spracherkennung oder Übersetzungssysteme mit allen Schwächen, die damit einhergehen, kann es tatsächlich dazu beitragen, dass Integration oder auch Inklusion an Schulen einfach erleichtert werden im Sinne von ergänzt werden. Wenn Systeme gut gemacht sind, können sie zumindest kurzfristig immerhin auch die Motivation von Schüler:innen steigern und können im Idealfall Lehrkräfte auch tatsächlich entlasten. Das wäre alles total wunderschön, wenn es nicht auch Schwächen im KI-System gibt, die euch alle sicherlich total vertraut sind. Die Qualität eines KI-Systems bemisst sich vor allem nach der Datenbasis. Garbage in garbage out, wie man so schön sagt. Und viele Daten im Bildungsprozess, der ja ein sozialer Prozess ist, der ist vielleicht gar nicht unbedingt optimal operationalisierbar, d.h. da stellt sich immer noch die große Frage: Welche Daten können überhaupt erfasst werden und wie können sie überhaupt sinnvoll analysiert werden? Lerndaten betreffend MINT-Fächer, die auf Logik basiert sind, eignen sich dafür sicherlich besser als zum Beispiel die sogenannten 4K Kompetenzen, also Kollaboration, Kreativität zum Beispiel. Wie will man sowas messen und wie will man sowas in Operationalisierbarkeit pressen? Das steht noch im Raum. Dann haben wir natürlich auch im Bildungsbereich die üblichen Probleme mit der Nachvollziehbarkeit und mit der Erklärbarkeit und die Risiken von Verzerrungen. Auch nicht ganz unwichtig ist die Problematik, dass eine Korrelation noch keine Kausalität mit sich bringt. Also hier nochmal das Beispiel mit der Nase und Temperatur. Es kann ganz viele verschiedene Gründe haben, warum Gehirnströme gerade einen bestimmten Weg nehmen, warum Körpertemperatur sich verändern oder warum sich Augenbewegungen entweder direkt bei einem Lerninhalten oder auch im Raum bewegen. Das hat alles nicht zwangsläufig was mit dem Lerninhalten oder mit der Lernatmosphäre zu tun. Bei all meinen Recherchen für diesen Vortrag habe ich immer ganz explizit gefragt: Gibt es denn Beweise dafür überhaupt, dass diese KI-Systeme vielleicht auch gut funktionieren und den Lernenden tatsächlich was bringen? Aber diese Evidenz gibt es bislang nicht. Ich habe interessanterweise, als kleine Anekdote am Rande, auf der Webseite von bettermarks eine Bewertung gefunden für das System bettermarks von dem neurowissenschaftlichen Institut, das unter der Leitung von Manfred Spitzer steht, der ist den Freunden der digitalen Bildung vor allem dadurch bekannt, dass er viele Elemente der digitalen Bildung eigentlich eher verteufelt. Aber dort wird auf der Website natürlich dem System bettermarks bescheinigt, dass es einen total guten Lerneffekt hat. Wie gesagt, Forscher konnten das bisher noch nicht bestätigen. Wenn wir nun diese KI-Systeme mit all ihren Schwächen auf die Schulen ungebremst loslassen, dann kann das dazu führen, dass wir eigentlich anstatt dieser Entlastung eher Überforderung produzieren, dass wir Normierungen und Standardisierungen in Bereichen einführen, die vielleicht gar nicht ohne weiteres standardisierbar sind. Wir können Lehrkräfte in unangenehme Situationen bringen, wenn sie z.B. in einer Elternsprechstunde mit Eltern konfrontiert sind, die nicht nur die Methoden des Lehrers hinterfragen. Das machen sie ja jetzt schon häufig genug. Sondern dann vielleicht auch Bewertungssysteme hinterfragen und dann von Lehrkräften wissen wollen: Wie kommt denn dieses System zu dem Ergebnis oder zu dieser Bewertung meines Kindes? Und Lehrkräfte so was nicht einfach erklären können. Größtes Problem ist natürlich, dass alle Systeme, über die im Moment im Bildungssektor gesprochen wird, diese Learning Analytics Systeme und Tutor Systeme, dass die mit personenbezogenen Daten von ja größtenteils minderjährigen Schüler:innen arbeiten. D.h. da werden Datensammlungen angefertigt, es werden Datenprofile angefertigt und das alles unterwandert die informationelle Selbstbestimmung der Kinder. Selbst wenn Eltern dieser Verwendung natürlich zustimmen müssen, stellt sich ja auch noch die Frage: Wie gut sind die Eltern denn überhaupt informiert über all die Konsequenzen und die Folgen, die das hat? Inwieweit gibt es vielleicht auch einen gewissen sozialen Gruppenzwang in einem Klassenverband oder einer Schule sich anzuschließen, auch wenn man vielleicht als Eltern selber gar nicht genau weiß, was das dann eigentlich bedeutet? All das ist im Moment noch ein bisschen unklar. Und das sind genau diese Punkte, über die meiner Meinung nach im Moment noch viel zu wenig tatsächlich offen gesprochen wird. Was diese Schwäche tatsächlich in der Praxis für Probleme mit sich bringen können, sehen wir auch schon in ausländischen Anwendungen. Zum Glück muss man fast sagen, im Moment. Ich weiß ich, ob ihr das mitbekommen habt. Im Sommer gab es diese Problematik mit dem britischen System Ofqual. Genauso wie bei uns auch haben die Schulen unter der Pandemie gelitten und es konnten bestimmte Prüfungen zu Abschlüssen nicht richtig gut oder überhaupt nicht durchgeführt werden. D.h. Lehrkräfte wurden gebeten, doch aufgrund von ihren persönlichen Einschätzung dann die Schüler mit einer Abschlussnote zu versehen. Diese Abschlussnoten waren dann aber den Behörden offensichtlich zu gut, sodass sie nochmal einen Algorithmus eingesetzt haben, der das Ganze nachrechnen sollte. Das wiederum führte dazu, dass viele Noten wieder abgewertet worden und die Schüler sich verschlechtert haben. Dagegen sind dann natürlich die Schüler:innen wiederum auf die Straße gegangen und haben sich gewehrt, sodass am Ende doch wieder die Beurteilung der Lehrkräfte eingesetzt wurde. Zum Glück. Ein anderes Beispiel, von dem ich gelesen habe, ist das System Edgenuity. Ich weiß jetzt nicht wie das richtig betont ist. Dort hat eine Mutter festgestellt, dass die Textverarbeitungssysteme, die die Aufsätze ihres Kindes bewerten sollen, viel, viel schlechter bewerten als frühe die Aufsätze, die das Kind einfach ganz normal mit der Hand in der Schule geschrieben hat. Und dann ist in diesem System auf den Grund gegangen und hat festgestellt, dass das System vor allem bewertet anhand der Häufigkeit von bestimmten Stichwörtern. Und dann hat sie versucht, einfach mal so als Beispiel einfach nur mit Stichwortwolken so eine Aufsatzaufgabe zu erfüllen. Und tatsächlich wurden dieses Stichwortwolken besser bewertet als ein komplett zusammenhängender Text. Was natürlich, wenn man das System so weit einmal verstanden und geknackt hat, relativ leicht ist, solche Aufgaben zu bestehen, aber natürlich überhaupt gar keinen Bildungseffekt mehr mit sich bringt. Auch eher aus dem Hochschulbereich sind diese Testverfahren Proctorio und ExamSoft bekannt, sollen hier an dieser Stelle aber trotzdem angesprochen werden. Einfach um schon mal aufzuzeigen, welche Probleme damit einhergehen, bevor wir auf die Idee kommen, sie vielleicht auch an den Schulen einzusetzen. Diese Systeme arbeiten vor allem mit Kameraüberwachung, aber auch mit Geräuschanalysen und mit Bewegungsanalysen, um daraus Rückschlüsse zu ziehen, ob ein Prüfling gerade versucht zu täuschen. Und diese Systeme haben jetzt schon in der Praxis verschiedene Probleme aufgezeigt. Also das ganz typische Problem, was wir ja schon in anderen Kamerakontexten kennen bei People of Color. Sie werden dann von der Kamera nicht erkannt, werden dann gebeten noch zusätzliche Lichtquellen einzusetzen. Dann kann das tatsächlich dazu führen, dass Menschen diskriminiert werden, die in beengten Verhältnissen in einer WG wohnen oder vielleicht noch Kinder um sich haben, weil dann unbekannte Geräusche Quellen auftauchen, die ein System vielleicht als Täuschungsversuch oder als Unterstützerperson klassifizieren kann. Aber auch gesundheitlich beeinträchtigte Menschen sind zusätzlich belastet, einfach weil sie angeben müssen, dass sie vielleicht häufiger mal ins Bad müssen oder dass sie eine Insulinpumpe tragen, einfach damit das System von bestimmten Signalen also z.B. nicht irritiert ist. Also all das führt dazu, dass Menschen gezwungen werden, Dinge offenzulegen und vor allem diese Daten auch in Datenbanken mit erfasst werden, die eigentlich sehr persönlich und sehr privat sind und mit einem Prüfergebnisse überhaupt gar nichts zu tun haben. Hier in Deutschland kennen wir alle oder die meisten von euch wahrscheinlich diese Anwendung Duolingo zum Vokabel- oder zum Sprachtraining. Duolingo hat auch ein Englisch Test aufgelegt, der auch online absolviert werden kann und auch dort wird mit Kamerasystem gearbeitet und ich habe bei einer Forschung nachgelesen, dass Forschenden dann versucht haben, da auch mal auf den Grund zu gehen, ob Duolingo denn ausschließen kann, dass diese bekannten Systeme bei Duolingo nicht auftauchen. Also diese Diskriminierungen nicht passieren können oder auch z.B. Diskriminierung aufgrund von Akzenten nicht automatisch als fehlerhaft eingestuft werden. Und leider konnte zumindest zu dem Zeitpunkt der Befragung Duolingo diese Diskriminierung nicht ausschließen. Ein System, über das ich gestolpert bin bei meiner Recherche ist DyRiAS. Ich habe leider noch nicht herausgefunden, ob Schulen überhaupt damit arbeiten. Und wenn ja, wie viele. Wenn ihr was über dieses System und seine Anwendung wisst, bin ich für sachdienliche Hinweise total dankbar. Was ich darüber gelesen habe ist, dass DyRiAS ist ein Risikoanalysesystem, was unter anderem auch genutzt werden kann, um ein Risiko für häusliche Gewalt zu identifizieren. Es wird auch in der Schule angewendet, sodass Lehrkräfte nach einer Schulung und wenn sie eine Lizenz erworben haben, mit diesem System erkennen können, ob Schüler:innen demnächst vielleicht mal Amok laufen. Und dazu werden Kommunikationsverhalten und Verhaltensweisen analysiert. Wie genau das System funktioniert, wie gesagt, weiß ich im Detail nicht. Da werde ich aber sicherlich nochmal in Zukunft etwas tiefer einsteigen, um das zu verstehen. Weil mich das sehr irritiert. Im Ergebnis bekommen Lehrkräfte dann so einen farblichen Balken. Das ist also ein original Screenshot aus der Broschüre. Und vollkommen unklar ist für mich tatsächlich auch, was genau passiert oder wer Zugang zu diesen Daten hat. Wenn dann ein Kind tatsächlich immer weiter in diesen roten Bereich rutscht. Was heißt überhaupt roter Bereich und bedeutet das höchste Warnstufe oder bedeutet Stufe 5 schon, hier musst du eigentlich sofort die Polizei rufen. Dazu kommt noch, dass die Daten, die für dieses System erfasst werden, dass die browserbasiert, verarbeitet werden. Immerhin verschlüsselt. Weiteres halbwegs beruhigendes Signal ist, das DyRiAS in seiner Broschüre zumindest darauf hinweist, dass die Nutzung von gewaltorientierten Computerspielen oder auch das Tragen eines Irokesenschnitt zum Beispiel keine Indikatoren seien für eine erhöhte Gewaltbereitschaft. Aber wie gesagt, da werde ich mich auf jeden Fall nochmal weiter informieren wollen, wie dieses System genau in der Praxis arbeitet. Und letztendlich ist es auch mal sehr interessant zu wissen, was passiert dann eigentlich mit diesem Farbskalasystem. In der ganzen Beschäftigung mit KI in den letzten zwei Jahren hat sich bei uns im Fraktionsteam irgendwann mal diese Frage aufgedrängt, was es denn überhaupt mit den Menschen macht, die mit solchen KI-Systeme arbeiten. Und es wird immer so ein bisschen als beruhigendes, ja sozusagen als so eine Art Feigenblatt ganz oft erwähnt. Naja, am Ende die letzte Entscheidung trifft ja der Mensch. Aber was bedeutet das eigentlich? Weil für uns hat dann tatsächlich an der Stelle diese Debatte nicht aufgehört, sondern erst angefangen. Weil die Frage ist dann: Welche Verantwortung kann ein Mensch dann überhaupt für seine Entscheidung übernehmen und wenn er tatsächlich diese Entscheidung treffen soll, ist er überhaupt dazu befähigt, diese Entscheidung zu treffen? Einmal tatsächlich kognitiv - weiß er überhaupt, wie das System funktioniert? Kann er einschätzen, wenn eine Klassifizierung oder eine Entscheidungsvorbereitung vorgenommen oder vielleicht sogar eine Entscheidung getroffen wird? Kann er überhaupt erkennen, ob diese Entscheidung des Systems richtig ist in seinem Sinne oder ob er vielleicht sich dagegen entscheiden sollte? Und selbst wenn er sich entscheidet, sich dagegen zu entscheiden, ist er überhaupt dazu berechtigt aufgrund von seiner Rolle in der Organisation? Es gibt Organisationen, da wird es ja vielleicht durchaus erwartet, dass er eigenmächtig entscheidet und dann gibt es andere Organisationsformen, wo es genau von ihm erwartet wird, sich nicht eigenmächtig zu entscheiden. Das betrifft jetzt alles nicht nur den Bereich Bildung, sondern insgesamt soziale Kontexte im Einsatz von KI-Systemne. Eine grundsätzliche Frage, die wir uns stellen müssen in allen Anwendungssektoren ist: Wer entscheidet denn überhaupt besser der Mensch oder die Maschine? Und nach welchen Gütekriterien wird das entschieden? Im Bildungsbereich gibt es ja durchaus die Meinung, dass es heißt, lieber sollen Schüler von scheinbar neutralen Systemen bewertet werden als von vorurteilsbelasteten Menschen. Aber auch ein System ist natürlich niemals neutral. Und auch selbst wenn ein Mensch mit Vorurteilen belastet ist, hat er trotzdem nur einen relativ kleinen Entscheidungsspielraum. Wenn hingegen für Bewertungsverfahren Systeme eingesetzt werden, dann wirken sie direkt auf die ganze Schule oder im schlechtesten Fall vielleicht sogar für das ganze Land. Und auch wenn wir uns dafür entscheiden, dass Entscheidungen an Maschinen ausgelagert werden soll, um Schaden zu vermeiden, ist auch die Frage: Wodurch entsteht denn überhaupt ein Schaden? Entsteht ein Schaden durch ein richtig funktionierendes System, das dann aber langfristig gesellschaftliche Schäden mit sich bringt? Oder entsteht ein Schaden durch ein nicht gut funktionierendes System oder nicht wie erwartet funktionierendes System? Und entstehen Schäden eigentlich nur durch Tun oder entstehen Schäden auch durch Unterlassung? Das heißt bezogen auf diese Entscheidung: Wer entscheidet besser, Mensch oder Maschine? Müssen all diese Aspekte mit betrachtet werden. Und auch der Verzicht auf ein maschinelles System, das vielleicht irgendwann nachweislich einen positiven Effekt hat, kann tatsächlich zu einem Schaden führen. Wenn wir uns dann dafür entschieden haben, dass wir ein KI System ergänzend einsetzen wollen in einem bestimmten Anwendungssektor, dann muss als nächstes entschieden werden: Wie viel Entscheidungsspielraum soll der Mensch dann überhaupt noch haben, wenn es heißt: Am Schluss trifft der Mensch die letzte Entscheidung? Die Papiere von der EU-Kommission zum Beispiel gehen im Moment von drei verschiedenen Stufen aus. Human in Command, Human on Command und Human in the Loop. Aber es gibt schon aus der Informatik viel ältere Klassifizierungssysteme, die viel ausgefeilter sind, z.B. vom MIT aus den 1980er Jahren, die bis zu zehn Stufen unterscheiden, in denen verschiedene Autonomiegrade vom Menschen bis zur Maschine einmal durchlaufen werden, also von der vollständigen Autonomie für den Menschen bis hin zur vollständigen Autonomie durch die Maschine. Das heißt, da ist dieser, diese Aussage, die menschliche, die letzte Entscheidung trifft der Mensch ist noch so viel wahnsinnig vielen Fragen unterworfen und vor allem aber, finde halte ich das für die allerwichtigste Frage, genau diese Abstufungen, welchen Entscheidungsspielraum Mensch überhaupt hat, weil daraus leitet sich dann letztendlich auch ab, wie ein Mensch weitergebildet werden muss, mit diesem System überhaupt zu arbeiten und welche Vereinbarungen er vielleicht in seinem Arbeitsvertrag braucht, also welche Rechte er überhaupt hat, diesen Entscheidungsspielraum tatsächlich wahrzunehmen. So, selbst wenn er diesen Entscheidungsspielraum dann für sich festgelegt hat, dann ist auch noch die Frage: Wie viel Entscheidungsspielraum lässt das System dann tatsächlich zu? Es gibt in diesem ganzen Bereich Mensch- Maschine Interaktion derzeit noch sehr, sehr wenig Forschung. Aber die ersten Forschungen, die es schon gegeben hat, die zeigen zum Beispiel: Selbst wenn Menschen erkennen, dass das System gerade nicht optimal arbeitet und sie möchten gerne in das System eingreifen, um einen Fehler zu eliminieren oder eine Korrektur vorzunehmen und dann dabei feststellen, dass dieser Prozess so wahnsinnig aufwendig und kompliziert ist, dann neigen Menschen tatsächlich dazu, mit diesem fehlerhaften System trotz besseren Wissens weiterzuarbeiten. Und das ist halt etwas, was wir gerade in sozialen Kontexten und gerade in Bereichen, in denen KI-Systeme über das Leben oder Lebenswege von Menschen entscheiden, einfach ganz genau hinschauen sollten, was es denn eigentlich bedeutet, wenn der Mensch die letzte Entscheidung treffen soll. Denn am Ende kann es tatsächlich sein, dass der Entscheidungsspielraum, der dort angedeutet wird, mit dieser Aussage viel, viel kleiner ist als angenommen Handlungsspielräume geklärt sind. Und auch, weil wir von total optimal funktionierenden KI-System ausgehen. Dann ergeben sich immer noch Probleme auf der strukturellen Ebene, sodass wir auf lange Sicht einfach schauen müssen: Was macht das dann mit der Lernkultur, mit der Bildungskultur an Schulen? Das fängt an bei der Erhebung von den Daten, also der Datafisierung von Lernprozessen. Aber ich werde nicht müde, immer wieder zu wiederholen, dass wir immer noch mit personenbezogenen Daten von größtenteils minderjährigen Schüler:innen arbeiten und dass wir Kinder auch schon sehr, sehr früh daran gewöhnen, sich mit algorithmischen Klassifizierungs- und Bewertungsverfahren auseinanderzusetzen und sich vielleicht ihnen auch sogar zu unterwerfen, ohne dass sie sie aufgrund der Black-Box Problematik vielleicht nachvollziehen können. Nächste Problematik ist das Ding der Standardisierung, Operationalisierung von Daten. Welche Dinge werden dabei ausgelassen? Wer bestimmt, was der Standard ist? Wer bestimmt, was das normale ist? Inwieweit können diese Systeme überhaupt hinterfragt werden? Welche Qualitäts- und Fairness-Maße beim Training, welche Feedback an diese Systeme gegeben werden? In der Bildung gehört es letztendlich dazu, auch nicht standardisierte Wege zu gehen. Hetty, einer der renommiertesten Bildungsforscher, hat in seiner Studie Visible Learning unter anderem nochmal herausgestellt, dass es zum einen zum Bildungserfolg gehört und dass es auch mit Bildungserfolg beiträgt, wenn Schüler:innen befähigt werden, vorgegebene Lösungswege aufzubrechen oder auch ihre eigenen zu finden. Aber durch diese ganze Vereinzelung und durch die Standardisierung gehen halt einfach auch bestimmte Möglichkeiten im Lern-Spektrum verloren, sodass Schüler:innen gar nicht mit alternativen Möglichkeiten vielleicht mehr konfrontiert werden, um ihren Horizont zu erweitern. Die nächste Problematik ist das Scheitern. Wenn ich jetzt in einem normalen Klassenverbund vielleicht selber schon mal merke, ich komme hier an meine Grenzen oder ich komme mit der Aufgabenstellung nicht zurecht, dann ist das natürlich total frustrierend. Aber gleichzeitig gehört das auch mit zum Bildungsprozess und zur Persönlichkeitsentwicklung auch dazu, Grenzen zu erkennen, auch mit Misserfolgen umzugehen. Und wenn all dies ausbleibt, dann verschieben sich diese Grenzen einfach viel, viel weiter nach hinten, weil dann immer nur der Inhalt präsentiert wird, der geradezu meinem vom System errechneten Lernniveau passt und ich aber vielleicht gar nicht mehr dazu richtig gefordert werde, mich auch aber mit Dingen auseinanderzusetzen, die ich vielleicht noch gar nicht können kann, die mich aber vielleicht jetzt aktuell nochmal weiterbringen. Jetzt im Klassenverband gibt es zwar auch das Thema der Binnendifferenzierung, also dass es unterschiedliche Inhalte idealerweise für verschiedene Lernniveaus oder für verschiedene Lerntypen gibt. Aber in einem Klassenverband gibt es immer noch die Möglichkeit, das in Gruppenarbeiten z.B. zu organisieren, wo etwas schwächere Schüler mit etwas stärkeren Schülern zusammen an einer Lösung arbeiten können. Wenn wir auf individualisierte systembasierte Lernpfade gehen, dann sitzen im Prinzip die Schüler:innen dort alleine und das System entscheidet, was hier präsentiert wird und was nicht präsentiert wird. Da geht einfach sehr, sehr viel verloren. Das Spektrum verengt sich. Gleichzeitig kann es aber auch passieren, dass Lehrkräfte vielleicht noch mehr angegriffen werden, als sie es vielleicht jetzt schon werden von Eltern einfach in Frage gestellt werden. Ihre Entscheidungssysteme können mehr in Frage gestellt werden, weil Lehrkräfte vielleicht verlangen, dass ein System nochmal die Bewertung nachvollzieht, was letztendlich sehr demotivierend für Lehrkräfte sein kann, was Vertrauen unterwandern kann und letztendlich auch die Autorität von Lehrkräften wieder unterwandern kann. Wir haben sowieso schon ein großes Problem mit Lehrkräftemangel und die Frage ist, ob solche Entwicklungen Lehrkräfte oder angehende Lehrkräfte motiviert, diesen Beruf dann überhaupt noch zu ergreifen, wenn sie sich dann auch zukünftig immer mit technischen System messen müssen. Letztendlich aber wahrscheinlich das größte Problem: Was macht es mit der Ungleichheit? Also alle Bildungsberichte gehen im Prinzip immer wieder davon aus, dass wir Bildungsungleichheiten und Ungerechtigkeiten haben. Das ist eines der größten Probleme im Bildungssektor, das es tatsächlich gibt, und die Frage ist, inwieweit die der verstärkte Einsatz von KI-Systemen diese Ungleichheiten entweder aushebelt oder vielleicht sogar verstärken kann. Das kann auf der individuellen Ebene passieren, dass Schüler:innen, die sich vielleicht sehr gut selbst organisieren können und vielleicht sehr gut mit Systemen arbeiten können, dieses schneller verstehen, vielleicht auch schneller wissen, wie sie es umgehen können. Während vielleicht eher lernschwache Schüler sich dem System eher ausgeliefert fühlen und vielleicht eher demotiviert werden, sich dann nochmal Hilfe zu suchen oder vielleicht auch Lehrkräfte das gar nicht unbedingt erkennen können, dass Schüler:innen vielleicht überhaupt Schwierigkeiten haben, wenn sie diese Systeme zuhause anwenden oder vielleicht hinter einem Bildschirm verschwinden. Auf einer größeren Ebene kann der Einsatz von KI Systemen die Ungleichheit verschärfen, weil einfach die Frage ist: Werden sich dann zukünftig eher gut ausgestattete Schulen in reichen Bundesländern, in privilegierten Umfeldern KI-Systeme zur Unterstützung leisten können? Oder werden KI-Systeme eher eingesetzt werden können in weniger privilegierten Kontexten? Es gibt in den USA gab es jetzt die Gründungen von Rocketchip Schulen. Ich kann mir den Namen immer sehr schlecht merken. Rocketchip Public Schools heißen sie und dort sitzt dann im Prinzip nur noch eine Hilfslehrkraft, die dann bis zu 90 Schüler:innen an ihren Computerbildschirmen steuert, anleitet, irgendwie unterstützt, um einfach auch Stellen an gut ausgebildeten Lehrkräften einzusparen. Dort läuft es auf eine Art Massenabfertigung hin und die Forschung, die es da gegeben hat, hat jetzt zumindest letztes Jahr schon gezeigt, dass die Ergebnisse, die die Schüler:innen dort erzielen, bis zu einer Note schlechter sind als Schüler:innen, die in einem herkömmlichen Klassenverband mit vernünftig ausgebildeten Lehrkräften lernen. Wir kennen diese Diskussionen auch im Gesundheitsbereich, in der Pflege. Auch da wird diskutiert, ob Robotics Systeme in der Pflege eher ein System für die Privilegierten sind. Wer es sich leisten kann, holt sich einen Roboter dazu. Oder ob es auch da eher um eine Auslagerung an Technik geht, dass wir in weniger privilegierten Einrichtungen einfach von Maschinen betreut werden anstatt von Menschen. Also da kann der Bildungssektor sich vielleicht ganz gut am Gesundheitssektor orientieren und diese Debatte dort mal verfolgen, in welche Richtung das geht. All diese Schwächen und Risiken zusammengenommen frage ich mich tatsächlich, ob das Werben für KI-Systeme an Schulen oder auch teilweise der Druck, der da gemacht wird, dass das eigentlich totale super Sache ist. Ob das nicht letztendlich einfach nur gemacht wird, um die eigentlichen Probleme im Schulsystem zu verschleiern. Denn eigentlich haben wir es mit einer großen Mangelfinanzierung zu tun. Wir haben zu große Klassen, wir haben zu wenig Lehrkräfte, wir haben einen wahnsinnigen Sanierungsstau. Und wenn gleichzeitig dann aber von Regierungen mitempfohlen wird, dass wir doch KI- Systeme und Learning Analytics einsetzen, weil dadurch die Lehrkräfte entlastet werden und sich dann besser um die Schüler:innen kümmern sollen. Wobei wir eigentlich gar keine Evidenz dafür haben, dass das tatsächlich so funktioniert und so klappt. Dann habe ich einfach zunehmend das Gefühl, dass genau diese Mangelwirtschaft einfach aufrechterhalten werden soll und dadurch verschleiert werden soll, dass wir mal wieder versuchen, soziale Probleme mit Technik zu lösen. Und das ist etwas, wo wir meiner Meinung nach genau jetzt an diesem Punkt sind, diese Diskussion zu führen und diese Entwicklung zu verhindern, weil diejenigen, die letztendlich darunter leiden, sind neben den Lehrkräften, die am Ende nämlich nur scheinbar entlastet werden, vor allem die Schülerinnen und Schüler, deren Daten jetzt einfach erhoben werden und verarbeitet werden sollen und wir gar nicht wissen, was daraus am Ende wird. So bedeutet das jetzt aber, dass KI- Systeme im Bildungssektor und in der Schule gar nichts verloren haben. So weit würde ich gar nicht gehen, sondern ich möchte gerne in Zukunft unterscheiden, auf welchen Ebenen wir KI-Systeme im Bildungssektor einsetzen. Wir haben jetzt bisher immer so ein bisschen betrachtet, was auf der Mikroebene passiert, also wo personenbezogene Daten von Schüler:innen oder von Lehrkräften analysiert und verarbeitet werden. Es gibt aber auch noch die Meso und Makroebene im Bildungssystem. Auf der Mesoebene reden wir von dem Zugang zu Lernorten oder auch zu Lerninhalten und die Makroebene betrachtet tatsächlich die übergreifende Steuerung von Bildungssysteme, wo sich z.B. auch die Problematik der Ungerechtigkeit lösen lassen müsste. Auf der Meso- und auf der Makroebene gibt es tatsächlich dann die Möglichkeit mit Open Data zu arbeiten und nicht mit personenbezogenen Daten, um halt diese bestimmten oder diese konkreten Probleme mit anzugehen. Und ich möchte jetzt im Folgenden eigentlich mal vorstellen, welche Beispiele es dafür jetzt schon gibt oder welche es geben könnte, damit es nicht so als Behauptung im leeren Raum steht. Also nochmal zurück auf die Mikroebene gegangen, gibt es dort auch durchaus Möglichkeiten, mit Systemen zu arbeiten, die nicht unbedingt die personenbezogenen Daten von Schülerinnen und Schülern verarbeiten. Das ist zum einen die Möglichkeit: Es gibt ein System, dass Lehrkräfte neue Methoden zum Beispiel anhand einer KI trainieren können und aufgrund des Feedbacks der KI dann sehen können, wo Verständnisschwächen entstehen, sodass sie dann ihre Methoden und ihre Erklärweisen nochmal anpassen können, bevor sie damit konkret in die Klasse gehen. Dann gibt es natürlich diesen ganzen Bereich der Administration, Vertretungspläne, Stundenpläne oder auch Postverwaltung. Da gibt es ja schon einige Beispiele, auch aus Behörden, wie sowas eingesetzt werden kann mit ganz, ganz unkritischen Anwendungsbereichen und keinen großen personenbezogenen Daten, die dafür nötig sind. Was auch total günstig ist, ist natürlich alles, was dazu beiträgt, das System KI zu verstehen. Also selbst wenn ich Anwendungen durchaus in gewissen Bereichen hier intensiv in Frage stellen möchte, ist zu keinem Zeitpunkt in Frage zu stellen, dass natürlich verstanden und gelernt werden muss, wie algorithmische und KI-Systeme funktionieren und was man mit ihnen machen kann. Das heißt, als Unterstützung für Lernmethoden oder auch um Experimente durchzuführen, ist es auch für Schüler durchaus geeignet. Es gab mal diesen Wettbewerb. Ich weiß nicht, ob der jedes Jahr stattfindet, zur KI Schule des Jahres. Dort haben jugendliche Schüler:innen unter anderem ein System entwickelt, um Zugverspätung vorherzusagen, also sehr anwendungsnah und sehr sinnvoll für viele von uns. Und auch Methoden der Textanalyse oder Datenbank- Analysen. Auch die können Schülern durchaus zugutekommen, sodass sie sie als Werkzeuge für das eigene Lernen benutzen und dabei aber weniger Schüler:innen Werkzeuge für das KI-System darstellen müssen. Auf der Meso-Ebene habe ich tatsächlich im Moment sehr, sehr wenig Anwendungsbeispiele gefunden, was da gemacht werden kann. Also eine Sache, die mich inspiriert hat, ist das Ergebnis eines EDU Hacks. Dort hat eine Gruppe eine Open Source Bibliothek entwickelt und sowas kann ich mir sehr sehr gut auch tatsächlich für Deutschland vorstellen, dass wir, wir haben ja diese Problematik, Lehrkräfte von euch werden das kennen, ich hab das jetzt auch schon oft gehört, dass Lehrkräfte immer auf der Suche sind. Wo finde ich denn gute OER Materialien? Woher weiß ich dann, dass die gut sind oder nicht? Woher weiß ich, ob die zu meinem Unterricht passen? Es ist alles so weit verstreut. Ich weiß gar nicht, wo ich das ganze gute Zeug finden soll. Sowas alles in eine Datenbank zu packen und dann mit KI-Systeme durchsuchbar zu machen und vielleicht auch so durchsuchbar zu machen, dass Lehrkräfte schnell dort auch wissen, wie komme ich dann an genau die Ergebnisse, die ich gerade für meinen Unterricht gebrauchen kann. Könnte ein Anwendungsbeispiel sein. Die OER-Strategie der Bundesregierung ist ja jetzt ausgelaufen. Wird gerade neu entwickelt. Kommt im nächsten Jahr. Und wir wissen leider noch nicht, was drin steht. Aber es bleibt einfach zu hoffen, dass eine Zentralisierung oder zumindest eine bessere Auffindbarkeit von OER-Inhalten dort mitgedacht wird. Das Thema Inklusion- Integration hatten wir schon angesprochen. Auch da sehe ich bei KI, wenn man diese ganzen Problematiken bei der Spracherkennung und Übersetzung ausgehebelt sind, wenn die ausgehebelt sind, dass wir dort auch noch viele Potenziale haben, die es zu heben gilt, um Inklusion und Integration einfach einfacher zu machen. Und was ich auch sehe ist im Kontext autonomes Fahren oder auch Verkehrsleitsysteme, das ganze Thema Schultransporte, sei es jahreszeitenbedingt oder vielleicht auch im ländlichen Raum und vor allem aber auch mit Blick auf Förderschulen oder inklusive Schulen. KI-Systeme können sicherlich dabei unterstützen, den Transport gut zu organisieren und effizient zu organisieren. Und wir werden es ja mindestens im nächsten Jahr auch noch mit dieser Pandemie zu tun haben. Und gerade inklusive Schulen oder Förderschulen haben bei diesem ganzen Transport Thema tatsächlich ein großes Problem, weil dort die Zusammenkunft von Schüler:innen in so einem Schulbus oder in so einem Transport Bus hin zur Schule für Menschen oder Schüler:innen mit Behinderung einfach noch ein viel, viel größeres Risiko darstellen, als es für gesunde Schüler:innen ist. Also Menschen mit Behinderung gehören zur Risikogruppe Nummer eins. Zu weiteren Potenzialen auf der Makroebene. Dort gibt es tatsächlich schon konkrete Anwendungsfälle, die uns für Deutschland auch ein Vorbild sein könnten. Also sowohl die Schweiz als auch Belgien haben zum Beispiel Systeme entwickelt, um die Durchmischung, die soziale Durchmischung an Schulen zu optimieren. Dass in etwas wohlhabenderen Stadtvierteln nicht nur privilegierte Schüleri:nnen sind und die weniger Privilegierten dann halt in Problemschulen landen, sondern dass dort einfach nochmal neu berechnet wird, wie eine bessere Durchmischung stattfinden kann. Das wurde in der Schweiz zum Beispiel so gemacht, dass die die Straßenzüge neu berechnet werden, wie Wohngebiete bestimmten Schulen zugeteilt werden. Das unter der Maßgabe, dass die Schulwege sicher sein müssen und dass sie nicht länger sein sollen als bisher gehabt. Und das hat im ersten Versuch tatsächlich so gut funktioniert, dass jetzt mehrere Kantone versuchen wollen, dieses System zu übernehmen. In Belgien hat es ein ähnliches Projekt gegeben. Dort wird jetzt im Moment das System aber nochmal überarbeitet, weil dort Eltern sich beschwert haben, dass dass sie ihre Kinder nicht mehr auf Schulen schicken oder gehen lassen können, die zum Beispiel bestimmte Schwerpunkte haben. Dann gibt es dann eine Schule, die hat eine Spezialisierung auf den musischen Bereich oder auf den sportlichen Bereich. Und dort wird das System jetzt so überarbeitet, dass die Schulen dort auch Faktoren gewichten können, sodass es dort zusätzlich zu der besseren sozialen Durchmischung auch die Möglichkeit gibt, noch bestimmte Schwerpunkte zu setzen. Auch wieder in UK gibt es ein System, dass es Behörden erleichtern soll, Schulinspektionen vorzunehmen. Das heißt, dort wird aufgrund von bestimmten Indikatoren rechtzeitig prognostiziert, welcher Schule vielleicht nochmal eine Inspektion oder ein Besuch durch die Behörde bedarf, um bestimmte Entwicklungen vielleicht rechtzeitig zu stoppen. Und auch in England, das fand ich ganz gut, gibt es ein, gibt es die NGO Nesta, die einige von euch vielleicht kennen. Und die haben ein eigenes Papier entwickelt, das genau auf das abzielt, was ich hier auch vorstellen möchte. Nämlich wenn wir KI im Bildungssektor schon einsetzen wollen, dann sollten wir uns auf die strukturellen Probleme konzentrieren. Oder wenn wir schon auf der Mikroebene arbeiten, dann sollten wir uns auf Systeme konzentrieren, die mit den Daten von Lehrkräften arbeiten und Lehrkräfte bei ihrer Arbeit unterstützen. Zumindest jetzt in einem ersten Schritt, wenn die KI-Systeme noch nicht so gut und so weiterentwickelt sind, wie wir sie vielleicht gerne hätten. Diese Systeme können tatsächlich schon Vorbild sein, auch für Deutschland. Und wovon ich in Deutschland auch ein bisschen träume und woran wir gerade politisch arbeiten, ist dieser leidige Königsteiner Schlüssel zum Beispiel. Der Königsteiner Schlüssel verteilt im Moment Fördergelder nach Bevölkerungsdichte und nach Steueraufkommen. Da funktioniert das ganz klassisch jetzt im Moment nach dem Matthäus Prinzip. Wer hat, dem wird gegeben. Reiche Länder bekommen den höheren Anteil an Fördergeldern und die etwas ärmeren Länder bekommen halt nicht so viel. Dabei sollte es doch eigentlich genau umgekehrt sein. Und wenn es tatsächlich möglich wäre, mit einem KI- System auf Basis von noch mehr oder anderen Daten zu ermitteln, welcher Förderzweck genau welche Förderhöhe brauch, dann wäre es doch vielleicht sogar möglich, dass wir je nach Förderzweck jedes Mal diesen Verteilungsschlüssel neu errechnen. Also wenn es dort Möglichkeiten gibt oder wenn es dort Ansätze gibt sowas zu entwickeln, bitte ich um Kontaktaufnahme. Das würde mich sehr sehr interessieren. Selbstverständlich würde das voraussetzen, dass von den Schulen, Schulträgern und auch Schulbehörden nochmal ganz andere Daten auch erhoben und erfasst werden. Es gibt aber auch bereits Bildungsdatenbank. Es gibt die Forschungsdatenbank Bildung, wo jetzt im Moment schon Bildungsstudien eingestellt sind, also die Infrastruktur letztendlich wäre für sowas vorhanden. Es müsste sich vielleicht nur etwas in der Kultur ändern, damit Schulen auch bereit sind oder damit überhaupt auch Länder und Behörden dort anfangen bestimmte Daten zu erheben, um dann halt auch die strukturellen Systeme auflösen zu können. So, welche Anforderungen brauchen wir letztendlich, um auf dieser Makroebene an die strukturellen Probleme heranzugehen? Dort würde ich gerne unterscheiden, ein bisschen was können Menschen auf der persönlichen Ebene tun? Was muss auf der Organisationsebene passieren und vor allem was braucht es noch auf der rechtlichen Ebene? Im Moment wird ja ganz, ganz viel immer davon geredet. Lehrkräfte müssen sich fortbilden, damit sie mit diesem System arbeiten können. Ja, das ist aber auch nur ein Teil, der getan werden muss. Und Teil dieser Fortbildung ist natürlich nicht nur, dass es darum geht, wie diese Systeme angewendet werden, sondern es braucht ein tiefes Verständnis einfach von KI als soziotechnisches System. Und es braucht das schöne Stichwort Data Literacy. Das heißt, ein Verständnis dafür zu entwickeln, was Daten überhaupt aussagen und aber vor allem anderen eigentlich braucht es auf der ganz individuellen Ebene immer noch ganz viel Fortbildung, was überhaupt das Thema Digitalisierung betrifft und auch der damit verbundene Kulturwandel. Überhaupt, sich zu öffnen, um Informationen oder auch Inhalte zu teilen, um eine gewisse Fehlerkultur zu entwickeln. All das ist ja gerade noch im Umbruch. Und wenn wir jetzt davon reden, dass wir KI-Systeme an den Schulen wollen oder dass es gefördert werden soll, dann habe ich manchmal das Gefühl, wir wollen einem Kind, das gerade das Fahrradfahren gelernt hat, wollen wir jetzt in einen Rennwagen setzen, weil es damit ja noch sicherer zur Schule kommt. Das passiert alles in einem sehr, sehr großen Tempo, das nicht damit erledigt werden sollte, dass wir uns einfach nur darauf zurücklehnen und sagen, Lehrkräfte müssen sich weiterbilden und dann können sie auch KI-Systeme in der Schule einsetzen. Die Eltern habe ich jetzt nochmal in Klammern gesetzt. Davon ausgehend, dass wir es vielleicht wirklich schaffen, unsere Forschungs- und Entwicklungsschwerpunkte mehr auf die Makro und auf die Meso Ebene zu legen und weniger auf die Schüler basierten Systeme. auf der Organisationsebene, also dort wo entschieden wird. Letztendlich kommt ein KI System zum Einsatz - Ja oder nein. Das ist die Schulleitung oder das Schulträger oder vielleicht auch Bundesländer. Muss natürlich als allererstes mal hinterfragt werden. Wozu brauche ich das System? Ich habe es eben schon angesprochen. Wenn wir ein soziales Problem an der Schule feststellen, ist ein technisches System tatsächlich dafür die Lösung? Oder sollten wir vielleicht eher auf der sozialen Ebene nochmal schauen, was wir vielleicht an unseren Lernzielen oder an unseren Methoden oder an unserer Organisationskultur verändern müssen? Selbst wenn wir uns entscheiden für ein technisches System, dann muss natürlich entsprechend die Infrastruktur gegeben sein. Das heißt, die Frage ist: Wo werden Daten, mit denen gearbeitet wird? Wo werden sie gespeichert? Sind sie dort überhaupt sicher genug? Haben wir überhaupt WLAN an den Schule, damit dort vor Ort gearbeitet werden kann? All diese Fragen. Natürlich braucht es auch auf der Entscheidungsebene Kompetenzen. Es braucht den Kulturwandel und überhaupt erst einmal die Grundlagen der Digitalisierung, bevor wir mit KI die nächsten Stufe gehen. Wir brauchen die Regelung zur menschlichen Entscheidungsfähigkeit tatsächlich auch in den Arbeitsverträgen und wie auch in anderen Verwaltungsbereichen auch sollte es auch im Bildungsbereich einfach ganz klare Beschaffungsrichtlinien geben. Wenn Systeme angeschafft werden, dann braucht es ganz klare Anforderungskataloge, wie diese Systeme gestaltet werden sollen. Und natürlich muss sich dann auch der Bund entscheiden, Förderungen in die richtige Richtung zu schicken und diese Systeme zu fördern und zu unterstützen, die sich auf die Meso- und Makroebene fokussieren und nicht die Attack Startups, die versuchen, das Lernerlebnis für Schüler zu verbessern, obwohl es dafür keine Evidenz gibt, werde ich auch nicht müde, das immer wieder zu wiederholen. Und dann haben wir natürlich auf der rechtlichen Ebene noch viele offene Fragen, die KI-Systeme im Allgemeinen betreffen und gar nicht unbedingt nur auf den Bildungssektor Anwendung finden. Und das ist einmal die Problematik der Nachvollziehbarkeit. Also solange KI-Systeme an sich selber nicht nachvollziehbar sind, müssen zumindest Schnittstellen geschaffen werden, dass Evualator:innen oder Forscher:innen zumindest reingucken können, was das System überhaupt macht. Wir brauchen eine Nachweisbarkeit, dass diese Systeme funktionieren, erst recht, wenn wir mit Schüler:innen an Daten arbeiten wollen. Und wir brauchen eine Kritikalität ex ante. Wir reden hier vom Bildungssektor. Dort werden Lebenswege vorbestimmt. Das ist nicht der Raum, um Experimente zu machen und mal Systeme loszulassen, laufen zu lassen und dann mal zu gucken, welche Probleme sie eventuell entwickeln. Wir haben aus dem Ausland jetzt schon genügend Beispiele, was nicht gut funktioniert. Ich wäre kein Fan davon, wenn wir das Ganze hier in Deutschland nochmal wiederholen wollen. Eigentlich nicht nötig, das zu sagen, aber es braucht letztendlich auch eine rechtlich bindende Anbieterstabilität. Es gab tatsächlich, ich glaube auch in den USA, das System inBlue. Das wurde überall ausgerollt und eingesetzt. Und dann irgendwann hat der Anbieter entschieden, seine Dienste einzustellen. Was aus den Daten geworden ist bis dahin weiß letztendlich kein Mensch. Das ganze Thema Offenheit sollte gerade bei KI Entwicklung im Bildungssektor viel, viel stärker auch eingefordert und verankert werden. Das heißt, auch KI-Systeme sollten wie Open- Source-Software behandelt werden, als OpenAI z.B. stärker mitgefördert werden. Wir müssen viel stärker entwickeln im Bereich OER Open Data, um dann diese ganzen Daten, die wir im Lern-Kontext dann auch sammeln, wiederum als Open Educational Data, also als OED auch wieder zur Verfügung zu stellen. Ohne offene Datenbasis kommen wir da nicht hin. Sehr charmant finde ich auch die Idee der öffentlichen Register. Dort sollten sich auch KI-Systeme im Bildungsbereich eintragen lassen. Und was auf jeden Fall passieren muss, ist die Überarbeitung des Artikels 22 der DSGVO. Dort werden im Moment ja nur Entscheidungen geregelt, vollautomatisierte Entscheidungen sind dort geregelt. Was nicht geregelt ist, sind teilautomatisierte Systeme und teilautomatisierte Systeme sind ja die, die jetzt eigentlich weitestgehend im Einsatz sind. Und wenn wir auch da wieder im Hinterkopf haben, dass ja als Argument immer noch gilt: Der Mensch trifft die letzte Entscheidung, werden wir es auch zukünftig verstärkt mit teil- automatisierten System zu tun haben. Und dort müssen Einspruchsrechte und Widerspruchsrechte einfach noch klarer geregelt werden. Ach nee, bevor ich zu meinem Fazit komme, möchte ich nochmal auf die lange Kette der Verantwortlichkeit auch nochmal eingehen. Wenn Systeme tatsächlich ausgewählt werden, müssen Entscheider in der Lage sein, auch diese Systeme zu beurteilen. Und in ganz, ganz grober Anlehnung an diese lange Kette der Verantwortlichkeit von Katharina Zweig und Tobias Kraft sollte es mit in einen Anforderungskatalog und sollte es mit in den Kompetenzkatalog von all denjenigen, die dazu entscheiden, dass sie in der Lage sind, zu hinterfragen und zu prüfen. Aufgrund von welcher Datenbasis wurde ein System trainiert, also welche Qualität, welche Quantität? Wie alt sind die Daten? Passen sie überhaupt zum Trainingszweck? Dann letztendlich auch nach welchen Maßgaben wurde das System trainiert? Ganz ganz wichtig ist ja auch ein KI-System, das einmal für einen bestimmten Zweck trainiert wurde, ist nicht unbedingt günstig in einem ganz anderen Anwendungskontext. Gerade im Bildungsbereich, wenn damit geworben wird, dass bei Übersetzungssystemen oder Spracherkennungssystemen das es ja ganz ganz tolle Software as a Service Systeme schon gibt, die quasi von der Stange gekauft werden können, muss immer noch hinterfragt werden: Passt das tatsächlich zu meinem Anwendungskontext? Und letztendlich passt auch dieses System zu meinem Ethik-System, das ich bei mir an der Schule habe. Datenverwendung ist ganz, ganz wichtig. Was passiert mit den Daten, die erhoben werden an einer Schule, auch wenn es nur Daten von Lehrkräften sind? Gerade in dem Moment, wo es personenbezogene Daten sind, muss einfach sichergestellt werden, dass nicht nur rechtlich, sondern auch tatsächlich aktiv in der Anwendung ist, es überhaupt kein Weg gibt, dass diese Daten an Stellen weitergegeben werden, wo sie nicht hingehören. Es gibt aus den USA, auch mal wieder dort dieses Beispiel, dass Akteure der Wissenschaftsverlagsbranche Daten von Wissenschaftlern weitergegeben haben an die Einwanderungsbehörde ICE, was auch immer sie dort verloren haben. Aber das sind alles Entwicklungen, die müssen ausgeschlossen sein. Ganz großer Komplex IT-Sicherheit. Das muss sichergestellt sein. Das ist im Prinzip ein eigener Vortrag. Dort möchte ich hier aber verweisen auf die Arbeiten der Stiftung Neue Verantwortung, die schon ganz, ganz viel dazu untersucht und entwickelt und auch Schaubilder gemacht haben, welche Angriffs-Vektoren es für KI-Systeme überhaupt gibt. Und letztendlich müssen Entscheider:innen auch sicherstellen, dass es Ressourcen gibt, um dieses Thema, wenn sie dann einmal im Einsatz sind, auch tatsächlich dauerhaft evaluiert sind, damit sich diese ganzen Schwächen, die wir ja kennen, nicht erst in der Praxis, dann auch noch einschleichen. Das heißt, wenn einem bewusst wird, was es alles für Anforderungen braucht, um KI-Systeme im Bildungssektor egal zu welchem Zweck einzusetzen, dann wird glaube ich klar, dass das etwas ist, was noch ein sehr langer Weg ist, was nicht überhastet angegangen werden soll und was noch sehr, sehr viel Qualifizierung und Weiterentwicklung braucht. Und das letztendlich bringt mich jetzt zu meinem Fazit. Bisher ist es so, dass bei KI im Bildungssektor vornehmlich darüber gesprochen wird, dass Learning Analytics Systeme eingesetzt werden, um halt das Lernverhalten von Schülerinnen und Schülern zu analysieren und dabei mit personenbezogenen Daten gearbeitet wird. Letztendlich gibt es zum jetzigen Zeitpunkt noch keine Evidenz dafür, dass diese Systeme funktionieren und dass diese ganzen Datensammlungen auch tatsächlich sinnvoll sind. Es ist ganz, ganz viel Marketing und vor allem auch Wirtschaftsförderung dahinter. Wenn diese Startups jetzt in die Richtung gefördert werden und das Risiko, das damit entsteht, wenn diese Systeme weiterhin in die Schulen gedrückt werden, ist dass die wahren strukturellen Probleme einfach dadurch verschleiert werden und dass diese Mangelwirtschaft einfach fortgesetzt werden und diese ganzen Potenziale, die KI tatsächlich mit sich bringt, diese Probleme tatsächlich mit zu lösen, dass die einfach gar nicht gehoben werden. Das Risiko dabei ist, dass es vornehmlich immer um personenbezogene Daten von minderjährigen Schüler:innen geht und dass die ganzen Chancen, die wir im OpenData Bereich haben, dafür einfach weiterhin nicht genutzt werden. Und wir haben jetzt den Zeitpunkt, wo die Weichen gestellt werden. Ist das genau der Pfad, auf dem wir jetzt auch weitergehen wollen? Oder wollen wir jetzt anfangen, in diese Entwicklung einzugreifen und den Fokus mehr auf die Meso- und Makroebene legen? Die EU-Kommission hat jetzt kürzlich ihren überarbeiteten Digital Education Plan vorgestellt. Dort ist zu diesem ganzen Thema KI vorgesehen, dass Lehrkräfte weitergebildet werden müssen. Dass es Ethik-Leitlinien geben müssen und letztendlich auch, dass Forschung nochmal intensiviert werden muss. Und das ist jetzt genau der Punkt, um dort reinzugehen und die Fragen zu stellen und darauf hin zu drängen, dass in die richtige Richtung geforscht wird. Das hat mich letztendlich in dieser ganzen Vorbereitung zu meiner Empfehlung gebracht. In Anlehnung an diese Pyramide von der Datenethikkommissionen, die ich eigentlich, wenn das Prinzip der Risiko-Klassifizierung diskutabel ist, finde ich eigentlich dieses Pyramidensystem sehr gelungen. Und übertragen auf KI-Systeme im Bildungsbereich sehe ich einen ganz, ganz großen, grünen, unkritischen Bereich, wenn es darum geht, die Forschung und Entwicklung auf der Makroebene weiter zu unterstützen und weiter zu fördern. Alles unter der Nutzung von Open Data, die entweder schon vorhanden sind oder vielleicht auch noch weiter erhoben und genutzt werden können. Das fließt größtenteils auch noch mit rein in die Meso Ebene, die auch auf der Basis von Open Data schon sehr sehr viel Gutes erreichen kann. Und ganz ganz oben in der Spitze, wo ich den roten Bereich sehe, ist tatsächlich die Mikroebene, wenn es um die Analyse-Systeme geht für Schüler:innen und für Lehrkräfte, wo mit personenbezogenen Daten gearbeitet wird. Wenn es dort weitere Entwicklungen geben sollte, dann würde ich es bevorzugen, wenn es dort ein Forschungsbereich gibt oder den Anwendungsbereich vielleicht höchstens für Lehrkräfte. Aber dass wir die ganze Analyse von Schüler:innen vielleicht erst mal noch außen vorlassen, bis wir vielleicht viel mehr über KI-Systeme wissen und alles immer unter der Voraussetzung, dass die Daten, die erhoben werden, dann auch weiter zur Verfügung gestellt werden für die Generierung von Open Educational Data. Das war's. Vielen Dank für eure Aufmerksamkeit. Alle Anregungen, um die ich gebeten habe, alle Lücken, die ich vielleicht noch gelassen habe, oder alle Interessenten, die Lust haben, an diesem Thema auch noch mit weiterzuarbeiten, freue ich mich total über Kontaktaufnahme und Feedback und weitere Informationen. Ich habe hier auch noch einen großen Anhang mit Quellen, die ich verarbeitet habe. Wenn es dazu auch noch Rückfragen gibt, kommt jederzeit - nicht jederzeit, nich nachts um drei. Also per E-Mail schon, aber vielleicht nicht per Telefon. Aber die habt ihr ja auch gar nicht die Nummer - egal, kommt einfach auf mich zu. Und dann würde es mich freuen, wenn wir im Gespräch bleiben. Vielen Dank. Herald: Hallo Nina, schön, dass du da warst. Danke für den spannenden Vortrag grade. Wir hatten so ein bisschen technische Probleme im Hintergrund. Ich hoffe deswegen, dass alle im Live-Stream den Talk auch gut sehen konnten. Nina, du hast viel erzählt über KI und die Grenzen und Vorteile. Was sind denn so aus deiner Sicht vielleicht die klugen nächsten Schritte, die man so gehen müsste? Was künstliche Intelligenz und Klassenzimmer betrifft? Nina: Hallo Nina, ja genau. Was sind die, was sind die nächsten Schritte? Also ich glaube wir sind im Moment an so einer Entwicklungsphase, wo KI in der Schule und im Bildungsbereich einfach noch nicht so wahnsinnig weit verbreitet ist. Und ich hab das ja auch gemerkt bei meiner Recherche und auch z.B. hier, was diese Meso-Ebene angeht. Es gibt noch nicht so extrem viele Anwendungen, wo man konkret jetzt schon reingehen und eingreifen kann und sagen wir wollen hier eine andere Entwicklung oder das und das muss so konkret weitergehen. Was allerdings gut an dieser Entwicklung ist, ist eben, dass wir noch an diesem frühen Punkt sind und auch die Möglichkeiten haben, Einfluss nehmen zu können. Habe ich da ein äh im Hintergrund gehört? Ja okay, ich rede einfach weiter. Das heißt, nach allem, was ich jetzt mitbekommen habe, wie sich das Thema KI in der Bildung gerade ansetzt zu entwickeln, möchte ich eigentlich gerne so eine Art Break machen. Einen kleinen Schnitt und nochmal hinterfragen ist der Weg, der jetzt eingeschlagen wird von den Attack-Startups und auch von den Regierungen, ist das überhaupt der Richtige, dass wir KI-Systeme einsetzen, um das Verhalten und Lernverhalten von Lernenden zu analysieren? Oder wollen wir nicht nochmal überlegen, ob wir nicht die KI-Systeme, die wir jetzt haben, dazu nutzen können, die strukturellen Probleme im Bildungssektor anzugehen? Davon gibt es genug. Dort haben wir eine ganz andere Datenbasis und es kann vor allem weniger Schaden angerichtet werden für die einzelnen Personen, die analysiert werden oder dann halt auch im besten Fall gar nicht mehr analysiert werden, weil alles, was wir aus der KI Geschichte wissen, dass es sehr, sehr viel Schwierigkeiten gibt, sobald KI in sozialen Kontexten eingesetzt werden. Also wenn KI-Systeme benutzt werden, um Menschen zu analysieren, jetzt kurz auf den Punkt gebracht, dann führt das meistens zu größeren Problemen und wir sollten in der Bildung nicht diese Fehler wiederholen. Herald: Ja, das sind auf jeden Fall ziemlich gute Gedankenanstöße. Wir haben leider gar nicht so richtig, richtig viel Zeit, um jetzt hier noch Fragen zu beantworten. Ich sehe gerade im Chat auch tatsächlich keine. Ich bin aber sicher, dass es da noch viel Gesprächsbedarf gibt. Deswegen würde ich vorschlagen, dass wir jetzt mit dir in einen Big Blue Button umziehen. Outro Musik Untertitel erstellt von c3subtitles.de im Jahr 2021. Mach mit und hilf uns!