#rC3 - KI im Klassenzimmer - yay oder nay?

Intro Musik

Hallo und herzlich willkommen zu meinem
Vortrag "KI im Klassenzimmer - yay oder

nay?" Ich bin Nina, ich bin derzeit
wissenschaftliche Mitarbeiterin im Büro

von Birke Bull-Bischoff. Sie ist die
bildungspolitische Sprecherin der

Linksfraktion im Bundestag. Die letzten
zwei Jahre habe ich auch die Enquete-

Kommission KI im Bundestag für die Linke
mitbegleitet. Und davor habe ich auch

schon mal im Bildungssektor gearbeitet,
sodass ich diesen Vortrag jetzt hier

nutzen möchte, um mal alle meine
Beobachtungen zum Thema KI in der Schule

zusammenzutragen und vor allem auch einen
Blick auf die dabei verarbeiteten Daten zu

werfen und einen Ausblick darauf zu
schaffen, wie KI vielleicht sogar dafür

benutzt werden kann, um strukturelle
Probleme im Bildungssektor anzugehen.

Vorausschicken möchte ich, dass wenn ich
hier von KI rede, ich jeweils sogenannte

schwache KI meine und mich auf Machine
Learning in als seinen Ausprägung beziehe.

Ich möchte euch zuerst einen kleinen Überblick
geben, wie KI im Schulbereich im Moment schon

eingesetzt werden kann. Was dabei auch
tatsächlich noch nicht so wahnsinnig gut

läuft. Dann natürlich zeigen, was meiner
Meinung nach besser laufen könnte, welche

Anforderungen es braucht, damit es besser
laufen kann und dann auch am Ende mit

einer konkreten Empfehlung schließen. Als
ich mich vor ungefähr einem Jahr

angefangen habe, mit diesem Thema vertieft
zu beschäftigen, sind mir zwei Dinge

aufgefallen. Zum einen ist der Begriff KI
eigentlich noch nicht wirklich konkret und

allgemein definiert und all diese KI
Anwendungen im Bildungsbereich auch noch

nicht. Da wird also viel experimentiert
und herumgeworfen mit Learning Analytics,

mit Tutor Systemen, intelligenten Tutor
Systemen. Das ganze unter die Oberbegriffe

von Educational Data Mining gestellt. Das
ist wiederum teilweise die Voraussetzung

oder steht neben dem anderen Begriff von
AIED, also Artificial Intelligence in

Education. Also da kann man je nach Autor
und je nach Anwendungsbereich baut das

eine auf dem anderen auf oder steht
nebeneinander oder ist eine Folge davon.

All das ist ein Signal dafür, dass wir in
diesem Bereich tatsächlich noch sehr am

Anfang stehen, dass das alles sehr
unstrukturiert ist. Und letztendlich ist

auch der ganze Anbietermarkt von diesem
System noch sehr am Anfang und

unstrukturiert. Derzeit sind es vor allem
oder eigentlich ausschließlich proprietäre

Systeme, sodass auch teilweise Forscher
manchmal gar nicht so richtig wissen:

Arbeitet ein System, das mit KI wirbt,
eigentlich wirklich mit KI im Sinne von

Machine Learning oder ist es nur ein
einfacher Algorithmus ohne Lernverfahren?

Oder wie viel Werbung und wie viel
Marketing steckt eigentlich in diesem

Anbietersystem eigentlich wirklich
dahinter? Dann gibt es aber neben dem

ganzen Learning Analytics Bereich, der
sich sehr konkret auf die Erhebung und

Analyse von lernenden Daten, also zur
Verbesserung von Lernerlebnissen und

Lernenergebnissen beschäftigt, gibt es
noch weitere Anwendungsbereiche, in denen

KI eingesetzt wird. In den USA gibt es zum
Beispiel ein Verfahren, dass das

Surfverhalten analysiert. Auf dieser
Keyword Liste der Risikofaktoren stehen

dann allerdings auch Begriffe wie schwul,
queer oder Gedichtsammlung. Also selbst

wenn wir jetzt auch von sehr intoleranten
Gesellschaften ausgehen, ist es natürlich

überhaupt nicht zu unterstützen, dass
diese Begriffe überhaupt irgendwie

Personen zugeordnet und im Sinne einer
Risikoprävention verwendet werden.

Gesichtserkennung auf dem Schulgelände gab
es neben den USA auch in Europa schon. Das

hat Schweden mal an einer Schule probiert
und die wurden dann aber nach sehr, sehr

kurzer Zeit auf Basis der DSGVO auch schon
mit einer hohen Strafe versehen. Also

nicht unbedingt nachahmenswert. In China
ist man da schon ein bisschen weiter und

auch ein bisschen toleranter. Dort gibt es
Gesichtserkennung auch in der Mensa und in

Bibliotheken, sodass dann ganz nebenbei
auch noch Ernährungsverhalten und

Leseverhalten noch mit erfasst und
analysiert werden. Ganz besonders charmant

ist natürlich, dass Eltern sich in
Klassenzimmerkameras auch mit einloggen

können, um ihre Kinder dort direkt im
Unterricht damit zu beobachten. Es gibt

zwar hier und da sogar in China
Widerstände dagegen und das finden nicht

alle Eltern toll. Aber so wie ich das
mitbekommen habe in den letzten Monaten,

ist die Entwicklung da wahrscheinlich eher
noch schwer aufzuhalten. Hier in

Deutschland gibt es Forschungsprojekte, um
zum Beispiel mit einem Stift direkt beim

Schreiben, Üben, Schreibfehler oder
Schreibschwächen rechtzeitig zu erkennen.

Eher aus dem Hochschulbereich ist dieses
Beispiel entnommen vom KIT, wo die

Studienabbruchswahrscheinlichkeit
berechnet wird. Je nachdem was man mit den

Ergebnissen macht, kann das vielleicht
sogar sinnvoll sein, weil dann rechtzeitig

Hilfestellung gegeben werden kann. Aber
wie dann einzelne Entscheider:innen mit

solchen Ergebnissen umgehen, das steht
natürlich nochmal auf einem ganz anderen

Blatt. Und dann wird am DFKI und auch in
der Universität von Tübingen an

intelligenten Schulbüchern geforscht, die
auch mit Daten arbeiten aus iTrackern, EEG

Messung und sogar aus der
Nasentemperaturmessung. Dabei wird davon

ausgegangen, dass wenn die Nasentemperatur
fällt, davon auszugehen ist, dass einem

Lernenden bei seinem Lernstoff gerade
Schwierigkeiten begegnen und das würde

dann letztendlich in einer perfekten
intelligenten Schulbuchversion dazu

führen, dass ihnen noch ergänzende andere
Inhalte angezeigt werden oder vielleicht

irgendwie der ganze Lernpfad dann in
Zukunft anders aufgebaut wird. Ich bin

sehr gespannt, ob diese System Entwicklung
jetzt auch im Pandemiewinter Daten erhebt,

wo wahrscheinlich jeder Schüler zu jeder
Zeit einfach kalte Nasen hat und was das

letztendlich für die Lernpfadentwicklung
bedeutet. Aber das ist ein anderes Thema.

Kann KI denn überhaupt im Bildungssystem
etwas Positives beitragen? Und wenn wir

uns die Stärken von KI angucken, dann
sieht es auf den ersten Blick tatsächlich

so aus, als wäre das eigentlich gar keine
so schlechte Idee. Gerade im Bereich der

Spracherkennung oder Übersetzungssysteme
mit allen Schwächen, die damit

einhergehen, kann es tatsächlich dazu
beitragen, dass Integration oder auch

Inklusion an Schulen einfach erleichtert
werden im Sinne von ergänzt werden. Wenn

Systeme gut gemacht sind, können sie
zumindest kurzfristig immerhin auch die

Motivation von Schüler:innen steigern und
können im Idealfall Lehrkräfte auch

tatsächlich entlasten. Das wäre alles
total wunderschön, wenn es nicht auch

Schwächen im KI-System gibt, die euch alle
sicherlich total vertraut sind. Die

Qualität eines KI-Systems bemisst sich vor
allem nach der Datenbasis. Garbage in

garbage out, wie man so schön sagt. Und
viele Daten im Bildungsprozess, der ja ein

sozialer Prozess ist, der ist vielleicht
gar nicht unbedingt optimal

operationalisierbar, d.h. da stellt sich
immer noch die große Frage: Welche Daten

können überhaupt erfasst werden und wie
können sie überhaupt sinnvoll analysiert

werden? Lerndaten betreffend MINT-Fächer,
die auf Logik basiert sind, eignen sich

dafür sicherlich besser als zum Beispiel
die sogenannten 4K Kompetenzen, also

Kollaboration, Kreativität zum Beispiel.
Wie will man sowas messen und wie will man

sowas in Operationalisierbarkeit pressen?
Das steht noch im Raum. Dann haben wir

natürlich auch im Bildungsbereich die
üblichen Probleme mit der

Nachvollziehbarkeit und mit der
Erklärbarkeit und die Risiken von

Verzerrungen. Auch nicht ganz unwichtig
ist die Problematik, dass eine Korrelation

noch keine Kausalität mit sich bringt.
Also hier nochmal das Beispiel mit der

Nase und Temperatur. Es kann ganz viele
verschiedene Gründe haben, warum

Gehirnströme gerade einen bestimmten Weg
nehmen, warum Körpertemperatur sich

verändern oder warum sich Augenbewegungen
entweder direkt bei einem Lerninhalten

oder auch im Raum bewegen. Das hat alles
nicht zwangsläufig was mit dem

Lerninhalten oder mit der Lernatmosphäre
zu tun. Bei all meinen Recherchen für

diesen Vortrag habe ich immer ganz
explizit gefragt: Gibt es denn Beweise

dafür überhaupt, dass diese KI-Systeme
vielleicht auch gut funktionieren und den

Lernenden tatsächlich was bringen? Aber
diese Evidenz gibt es bislang nicht. Ich

habe interessanterweise, als kleine
Anekdote am Rande, auf der Webseite von

bettermarks eine Bewertung gefunden für das
System bettermarks von dem

neurowissenschaftlichen Institut, das
unter der Leitung von Manfred Spitzer

steht, der ist den Freunden der digitalen
Bildung vor allem dadurch bekannt, dass er

viele Elemente der digitalen Bildung
eigentlich eher verteufelt. Aber dort wird

auf der Website natürlich dem System
bettermarks bescheinigt, dass es einen total

guten Lerneffekt hat. Wie gesagt, Forscher
konnten das bisher noch nicht bestätigen.

Wenn wir nun diese KI-Systeme mit all
ihren Schwächen auf die Schulen ungebremst

loslassen, dann kann das dazu führen, dass
wir eigentlich anstatt dieser Entlastung

eher Überforderung produzieren, dass wir
Normierungen und Standardisierungen in

Bereichen einführen, die vielleicht gar
nicht ohne weiteres standardisierbar sind.

Wir können Lehrkräfte in unangenehme
Situationen bringen, wenn sie z.B. in

einer Elternsprechstunde mit Eltern
konfrontiert sind, die nicht nur die

Methoden des Lehrers hinterfragen. Das
machen sie ja jetzt schon häufig genug.

Sondern dann vielleicht auch
Bewertungssysteme hinterfragen und dann

von Lehrkräften wissen wollen: Wie kommt
denn dieses System zu dem Ergebnis oder zu

dieser Bewertung meines Kindes? Und
Lehrkräfte so was nicht einfach erklären

können. Größtes Problem ist natürlich,
dass alle Systeme, über die im Moment im

Bildungssektor gesprochen wird, diese
Learning Analytics Systeme und Tutor

Systeme, dass die mit personenbezogenen
Daten von ja größtenteils minderjährigen

Schüler:innen arbeiten. D.h. da werden
Datensammlungen angefertigt, es werden

Datenprofile angefertigt und das alles
unterwandert die informationelle

Selbstbestimmung der Kinder. Selbst wenn
Eltern dieser Verwendung natürlich

zustimmen müssen, stellt sich ja auch noch
die Frage: Wie gut sind die Eltern denn

überhaupt informiert über all die
Konsequenzen und die Folgen, die das hat?

Inwieweit gibt es vielleicht auch einen
gewissen sozialen Gruppenzwang in einem

Klassenverband oder einer Schule sich
anzuschließen, auch wenn man vielleicht

als Eltern selber gar nicht genau weiß,
was das dann eigentlich bedeutet? All das

ist im Moment noch ein bisschen unklar.
Und das sind genau diese Punkte, über die

meiner Meinung nach im Moment noch viel zu
wenig tatsächlich offen gesprochen wird.

Was diese Schwäche tatsächlich in der
Praxis für Probleme mit sich bringen

können, sehen wir auch schon in
ausländischen Anwendungen. Zum Glück muss

man fast sagen, im Moment. Ich weiß ich,
ob ihr das mitbekommen habt. Im Sommer gab

es diese Problematik mit dem britischen
System Ofqual. Genauso wie bei uns auch

haben die Schulen unter der Pandemie
gelitten und es konnten bestimmte

Prüfungen zu Abschlüssen nicht richtig gut
oder überhaupt nicht durchgeführt werden.

D.h. Lehrkräfte wurden gebeten, doch
aufgrund von ihren persönlichen

Einschätzung dann die Schüler mit einer
Abschlussnote zu versehen. Diese

Abschlussnoten waren dann aber den
Behörden offensichtlich zu gut, sodass sie

nochmal einen Algorithmus eingesetzt
haben, der das Ganze nachrechnen sollte.

Das wiederum führte dazu, dass viele Noten
wieder abgewertet worden und die Schüler

sich verschlechtert haben. Dagegen sind
dann natürlich die Schüler:innen wiederum auf

die Straße gegangen und haben sich
gewehrt, sodass am Ende doch wieder die

Beurteilung der Lehrkräfte eingesetzt
wurde. Zum Glück. Ein anderes Beispiel,

von dem ich gelesen habe, ist das System
Edgenuity. Ich weiß jetzt nicht wie das

richtig betont ist. Dort hat eine Mutter
festgestellt, dass die

Textverarbeitungssysteme, die die Aufsätze
ihres Kindes bewerten sollen, viel, viel

schlechter bewerten als frühe die
Aufsätze, die das Kind einfach ganz normal

mit der Hand in der Schule geschrieben
hat. Und dann ist in diesem System auf den

Grund gegangen und hat festgestellt, dass
das System vor allem bewertet anhand der

Häufigkeit von bestimmten Stichwörtern.
Und dann hat sie versucht, einfach mal so

als Beispiel einfach nur mit
Stichwortwolken so eine Aufsatzaufgabe zu

erfüllen. Und tatsächlich wurden dieses
Stichwortwolken besser bewertet als ein

komplett zusammenhängender Text. Was
natürlich, wenn man das System so weit

einmal verstanden und geknackt hat,
relativ leicht ist, solche Aufgaben zu

bestehen, aber natürlich überhaupt gar
keinen Bildungseffekt mehr mit sich

bringt. Auch eher aus dem Hochschulbereich
sind diese Testverfahren Proctorio und

ExamSoft bekannt, sollen hier an dieser
Stelle aber trotzdem angesprochen werden.

Einfach um schon mal aufzuzeigen, welche
Probleme damit einhergehen, bevor wir auf

die Idee kommen, sie vielleicht auch an
den Schulen einzusetzen. Diese Systeme

arbeiten vor allem mit Kameraüberwachung,
aber auch mit Geräuschanalysen und mit

Bewegungsanalysen, um daraus Rückschlüsse
zu ziehen, ob ein Prüfling gerade versucht

zu täuschen. Und diese Systeme haben jetzt
schon in der Praxis verschiedene Probleme

aufgezeigt. Also das ganz typische
Problem, was wir ja schon in anderen

Kamerakontexten kennen bei People of
Color. Sie werden dann von der Kamera

nicht erkannt, werden dann gebeten noch
zusätzliche Lichtquellen einzusetzen. Dann

kann das tatsächlich dazu führen, dass
Menschen diskriminiert werden, die in

beengten Verhältnissen in einer WG wohnen
oder vielleicht noch Kinder um sich haben,

weil dann unbekannte Geräusche Quellen
auftauchen, die ein System vielleicht als

Täuschungsversuch oder als
Unterstützerperson klassifizieren kann.

Aber auch gesundheitlich beeinträchtigte
Menschen sind zusätzlich belastet, einfach

weil sie angeben müssen, dass sie
vielleicht häufiger mal ins Bad müssen

oder dass sie eine Insulinpumpe tragen,
einfach damit das System von bestimmten

Signalen also z.B. nicht irritiert ist.
Also all das führt dazu, dass Menschen

gezwungen werden, Dinge offenzulegen und
vor allem diese Daten auch in Datenbanken

mit erfasst werden, die eigentlich sehr
persönlich und sehr privat sind und mit

einem Prüfergebnisse überhaupt gar nichts
zu tun haben. Hier in Deutschland kennen

wir alle oder die meisten von euch
wahrscheinlich diese Anwendung Duolingo

zum Vokabel- oder zum Sprachtraining.
Duolingo hat auch ein Englisch Test

aufgelegt, der auch online absolviert
werden kann und auch dort wird mit

Kamerasystem gearbeitet und ich habe bei
einer Forschung nachgelesen, dass

Forschenden dann versucht haben, da auch
mal auf den Grund zu gehen, ob Duolingo

denn ausschließen kann, dass diese
bekannten Systeme bei Duolingo nicht

auftauchen. Also diese Diskriminierungen
nicht passieren können oder auch z.B.

Diskriminierung aufgrund von Akzenten
nicht automatisch als fehlerhaft

eingestuft werden. Und leider konnte
zumindest zu dem Zeitpunkt der Befragung

Duolingo diese Diskriminierung nicht
ausschließen. Ein System, über das ich

gestolpert bin bei meiner Recherche ist
DyRiAS. Ich habe leider noch nicht

herausgefunden, ob Schulen überhaupt damit
arbeiten. Und wenn ja, wie viele. Wenn ihr

was über dieses System und seine Anwendung
wisst, bin ich für sachdienliche Hinweise

total dankbar. Was ich darüber gelesen
habe ist, dass DyRiAS ist ein

Risikoanalysesystem, was unter anderem
auch genutzt werden kann, um ein Risiko

für häusliche Gewalt zu identifizieren. Es
wird auch in der Schule angewendet, sodass

Lehrkräfte nach einer Schulung und wenn
sie eine Lizenz erworben haben, mit diesem

System erkennen können, ob Schüler:innen
demnächst vielleicht mal Amok laufen. Und

dazu werden Kommunikationsverhalten und
Verhaltensweisen analysiert. Wie genau das

System funktioniert, wie gesagt, weiß ich
im Detail nicht. Da werde ich aber

sicherlich nochmal in Zukunft etwas tiefer
einsteigen, um das zu verstehen. Weil mich

das sehr irritiert. Im Ergebnis bekommen
Lehrkräfte dann so einen farblichen

Balken. Das ist also ein original
Screenshot aus der Broschüre. Und

vollkommen unklar ist für mich tatsächlich
auch, was genau passiert oder wer Zugang

zu diesen Daten hat. Wenn dann ein Kind
tatsächlich immer weiter in diesen roten

Bereich rutscht. Was heißt überhaupt roter
Bereich und bedeutet das höchste Warnstufe

oder bedeutet Stufe 5 schon, hier musst du
eigentlich sofort die Polizei rufen. Dazu

kommt noch, dass die Daten, die für dieses
System erfasst werden, dass die

browserbasiert, verarbeitet werden.
Immerhin verschlüsselt. Weiteres halbwegs

beruhigendes Signal ist, das DyRiAS in
seiner Broschüre zumindest darauf

hinweist, dass die Nutzung von
gewaltorientierten Computerspielen oder

auch das Tragen eines Irokesenschnitt zum
Beispiel keine Indikatoren seien für eine

erhöhte Gewaltbereitschaft. Aber wie
gesagt, da werde ich mich auf jeden Fall

nochmal weiter informieren wollen, wie
dieses System genau in der Praxis

arbeitet. Und letztendlich ist es auch mal
sehr interessant zu wissen, was passiert

dann eigentlich mit diesem
Farbskalasystem. In der ganzen

Beschäftigung mit KI in den letzten zwei
Jahren hat sich bei uns im Fraktionsteam

irgendwann mal diese Frage aufgedrängt,
was es denn überhaupt mit den Menschen

macht, die mit solchen KI-Systeme
arbeiten. Und es wird immer so ein

bisschen als beruhigendes, ja sozusagen
als so eine Art Feigenblatt ganz oft

erwähnt. Naja, am Ende die letzte
Entscheidung trifft ja der Mensch. Aber

was bedeutet das eigentlich? Weil für uns
hat dann tatsächlich an der Stelle diese

Debatte nicht aufgehört, sondern erst
angefangen. Weil die Frage ist dann:

Welche Verantwortung kann ein Mensch dann
überhaupt für seine Entscheidung

übernehmen und wenn er tatsächlich diese
Entscheidung treffen soll, ist er

überhaupt dazu befähigt, diese
Entscheidung zu treffen? Einmal

tatsächlich kognitiv - weiß er überhaupt,
wie das System funktioniert? Kann er

einschätzen, wenn eine Klassifizierung
oder eine Entscheidungsvorbereitung

vorgenommen oder vielleicht sogar eine
Entscheidung getroffen wird? Kann er

überhaupt erkennen, ob diese Entscheidung
des Systems richtig ist in seinem Sinne

oder ob er vielleicht sich dagegen
entscheiden sollte? Und selbst wenn er

sich entscheidet, sich dagegen zu
entscheiden, ist er überhaupt dazu

berechtigt aufgrund von seiner Rolle in
der Organisation? Es gibt Organisationen,

da wird es ja vielleicht durchaus
erwartet, dass er eigenmächtig entscheidet

und dann gibt es andere
Organisationsformen, wo es genau von ihm

erwartet wird, sich nicht eigenmächtig zu
entscheiden. Das betrifft jetzt alles

nicht nur den Bereich Bildung, sondern
insgesamt soziale Kontexte im Einsatz von

KI-Systemne. Eine grundsätzliche Frage, die
wir uns stellen müssen in allen

Anwendungssektoren ist: Wer entscheidet
denn überhaupt besser der Mensch oder die

Maschine? Und nach welchen Gütekriterien
wird das entschieden? Im Bildungsbereich

gibt es ja durchaus die Meinung, dass es
heißt, lieber sollen Schüler von scheinbar

neutralen Systemen bewertet werden als von
vorurteilsbelasteten Menschen. Aber auch

ein System ist natürlich niemals neutral.
Und auch selbst wenn ein Mensch mit

Vorurteilen belastet ist, hat er trotzdem
nur einen relativ kleinen

Entscheidungsspielraum. Wenn hingegen für
Bewertungsverfahren Systeme eingesetzt

werden, dann wirken sie direkt auf die
ganze Schule oder im schlechtesten Fall

vielleicht sogar für das ganze Land. Und
auch wenn wir uns dafür entscheiden, dass

Entscheidungen an Maschinen ausgelagert
werden soll, um Schaden zu vermeiden, ist

auch die Frage: Wodurch entsteht denn
überhaupt ein Schaden? Entsteht ein

Schaden durch ein richtig funktionierendes
System, das dann aber langfristig

gesellschaftliche Schäden mit sich bringt?
Oder entsteht ein Schaden durch ein nicht

gut funktionierendes System oder nicht wie
erwartet funktionierendes System? Und

entstehen Schäden eigentlich nur durch Tun
oder entstehen Schäden auch durch

Unterlassung? Das heißt bezogen auf diese
Entscheidung: Wer entscheidet besser,

Mensch oder Maschine? Müssen all diese
Aspekte mit betrachtet werden. Und auch

der Verzicht auf ein maschinelles System,
das vielleicht irgendwann nachweislich

einen positiven Effekt hat, kann
tatsächlich zu einem Schaden führen. Wenn

wir uns dann dafür entschieden haben, dass
wir ein KI System ergänzend einsetzen wollen

in einem bestimmten Anwendungssektor, dann
muss als nächstes entschieden werden: Wie

viel Entscheidungsspielraum soll der
Mensch dann überhaupt noch haben, wenn es

heißt: Am Schluss trifft der Mensch die
letzte Entscheidung? Die Papiere von der

EU-Kommission zum Beispiel gehen im Moment
von drei verschiedenen Stufen aus. Human

in Command, Human on Command und Human in
the Loop. Aber es gibt schon aus der

Informatik viel ältere
Klassifizierungssysteme, die viel

ausgefeilter sind, z.B. vom MIT aus den
1980er Jahren, die bis zu zehn Stufen

unterscheiden, in denen verschiedene
Autonomiegrade vom Menschen bis zur

Maschine einmal durchlaufen werden, also
von der vollständigen Autonomie für den

Menschen bis hin zur vollständigen
Autonomie durch die Maschine. Das heißt,

da ist dieser, diese Aussage, die
menschliche, die letzte Entscheidung

trifft der Mensch ist noch so viel
wahnsinnig vielen Fragen unterworfen und

vor allem aber, finde halte ich das für
die allerwichtigste Frage, genau diese

Abstufungen, welchen
Entscheidungsspielraum Mensch überhaupt

hat, weil daraus leitet sich dann
letztendlich auch ab, wie ein Mensch

weitergebildet werden muss, mit diesem
System überhaupt zu arbeiten und welche

Vereinbarungen er vielleicht in seinem
Arbeitsvertrag braucht, also welche Rechte

er überhaupt hat, diesen
Entscheidungsspielraum tatsächlich

wahrzunehmen. So, selbst wenn er diesen
Entscheidungsspielraum dann für sich

festgelegt hat, dann ist auch noch die
Frage: Wie viel Entscheidungsspielraum

lässt das System dann tatsächlich zu? Es
gibt in diesem ganzen Bereich Mensch-

Maschine Interaktion derzeit noch sehr,
sehr wenig Forschung. Aber die ersten

Forschungen, die es schon gegeben hat, die
zeigen zum Beispiel: Selbst wenn Menschen

erkennen, dass das System gerade nicht
optimal arbeitet und sie möchten gerne in

das System eingreifen, um einen Fehler zu
eliminieren oder eine Korrektur

vorzunehmen und dann dabei feststellen,
dass dieser Prozess so wahnsinnig

aufwendig und kompliziert ist, dann neigen
Menschen tatsächlich dazu, mit diesem

fehlerhaften System trotz besseren Wissens
weiterzuarbeiten. Und das ist halt etwas,

was wir gerade in sozialen Kontexten und
gerade in Bereichen, in denen KI-Systeme

über das Leben oder Lebenswege von
Menschen entscheiden, einfach ganz genau

hinschauen sollten, was es denn eigentlich
bedeutet, wenn der Mensch die letzte

Entscheidung treffen soll. Denn am Ende
kann es tatsächlich sein, dass der

Entscheidungsspielraum, der dort
angedeutet wird, mit dieser Aussage viel,

viel kleiner ist als angenommen
Handlungsspielräume geklärt sind. Und

auch, weil wir von total optimal
funktionierenden KI-System ausgehen. Dann

ergeben sich immer noch Probleme auf der
strukturellen Ebene, sodass wir auf lange

Sicht einfach schauen müssen: Was macht
das dann mit der Lernkultur, mit der

Bildungskultur an Schulen? Das fängt an
bei der Erhebung von den Daten, also der

Datafisierung von Lernprozessen. Aber ich
werde nicht müde, immer wieder zu

wiederholen, dass wir immer noch mit
personenbezogenen Daten von größtenteils

minderjährigen Schüler:innen arbeiten und
dass wir Kinder auch schon sehr, sehr früh

daran gewöhnen, sich mit algorithmischen
Klassifizierungs- und Bewertungsverfahren

auseinanderzusetzen und sich vielleicht
ihnen auch sogar zu unterwerfen, ohne dass

sie sie aufgrund der Black-Box Problematik
vielleicht nachvollziehen können. Nächste

Problematik ist das Ding der
Standardisierung, Operationalisierung von

Daten. Welche Dinge werden dabei
ausgelassen? Wer bestimmt, was der

Standard ist? Wer bestimmt, was das
normale ist? Inwieweit können diese

Systeme überhaupt hinterfragt werden?
Welche Qualitäts- und Fairness-Maße beim

Training, welche Feedback an diese Systeme
gegeben werden? In der Bildung gehört es

letztendlich dazu, auch nicht
standardisierte Wege zu gehen. Hetty,

einer der renommiertesten
Bildungsforscher, hat in seiner Studie

Visible Learning unter anderem nochmal
herausgestellt, dass es zum einen zum

Bildungserfolg gehört und dass es auch mit
Bildungserfolg beiträgt, wenn Schüler:innen

befähigt werden, vorgegebene Lösungswege
aufzubrechen oder auch ihre eigenen zu

finden. Aber durch diese ganze
Vereinzelung und durch die

Standardisierung gehen halt einfach auch
bestimmte Möglichkeiten im Lern-Spektrum

verloren, sodass Schüler:innen gar nicht
mit alternativen Möglichkeiten vielleicht

mehr konfrontiert werden, um ihren
Horizont zu erweitern. Die nächste

Problematik ist das Scheitern. Wenn ich
jetzt in einem normalen Klassenverbund

vielleicht selber schon mal merke, ich
komme hier an meine Grenzen oder ich komme

mit der Aufgabenstellung nicht zurecht,
dann ist das natürlich total frustrierend.

Aber gleichzeitig gehört das auch mit zum
Bildungsprozess und zur

Persönlichkeitsentwicklung auch dazu,
Grenzen zu erkennen, auch mit Misserfolgen

umzugehen. Und wenn all dies ausbleibt,
dann verschieben sich diese Grenzen

einfach viel, viel weiter nach hinten,
weil dann immer nur der Inhalt präsentiert

wird, der geradezu meinem vom System
errechneten Lernniveau passt und ich aber

vielleicht gar nicht mehr dazu richtig
gefordert werde, mich auch aber mit Dingen

auseinanderzusetzen, die ich vielleicht
noch gar nicht können kann, die mich aber

vielleicht jetzt aktuell nochmal
weiterbringen. Jetzt im Klassenverband

gibt es zwar auch das Thema der
Binnendifferenzierung, also dass es

unterschiedliche Inhalte idealerweise für
verschiedene Lernniveaus oder für

verschiedene Lerntypen gibt. Aber in einem
Klassenverband gibt es immer noch die

Möglichkeit, das in Gruppenarbeiten z.B.
zu organisieren, wo etwas schwächere

Schüler mit etwas stärkeren Schülern
zusammen an einer Lösung arbeiten können.

Wenn wir auf individualisierte
systembasierte Lernpfade gehen, dann

sitzen im Prinzip die Schüler:innen dort
alleine und das System entscheidet, was

hier präsentiert wird und was nicht
präsentiert wird. Da geht einfach sehr,

sehr viel verloren. Das Spektrum verengt
sich. Gleichzeitig kann es aber auch

passieren, dass Lehrkräfte vielleicht noch
mehr angegriffen werden, als sie es

vielleicht jetzt schon werden von Eltern
einfach in Frage gestellt werden. Ihre

Entscheidungssysteme können mehr in Frage
gestellt werden, weil Lehrkräfte

vielleicht verlangen, dass ein System
nochmal die Bewertung nachvollzieht, was

letztendlich sehr demotivierend für
Lehrkräfte sein kann, was Vertrauen

unterwandern kann und letztendlich auch
die Autorität von Lehrkräften wieder

unterwandern kann. Wir haben sowieso schon
ein großes Problem mit Lehrkräftemangel

und die Frage ist, ob solche Entwicklungen
Lehrkräfte oder angehende Lehrkräfte

motiviert, diesen Beruf dann überhaupt
noch zu ergreifen, wenn sie sich dann auch

zukünftig immer mit technischen System
messen müssen. Letztendlich aber

wahrscheinlich das größte Problem: Was
macht es mit der Ungleichheit? Also alle

Bildungsberichte gehen im Prinzip immer
wieder davon aus, dass wir

Bildungsungleichheiten und
Ungerechtigkeiten haben. Das ist eines der

größten Probleme im Bildungssektor, das es
tatsächlich gibt, und die Frage ist,

inwieweit die der verstärkte Einsatz von
KI-Systemen diese Ungleichheiten entweder

aushebelt oder vielleicht sogar verstärken
kann. Das kann auf der individuellen Ebene

passieren, dass Schüler:innen, die sich
vielleicht sehr gut selbst organisieren

können und vielleicht sehr gut mit Systemen
arbeiten können, dieses schneller

verstehen, vielleicht auch schneller
wissen, wie sie es umgehen können. Während

vielleicht eher lernschwache Schüler sich
dem System eher ausgeliefert fühlen und

vielleicht eher demotiviert werden, sich
dann nochmal Hilfe zu suchen oder

vielleicht auch Lehrkräfte das gar nicht
unbedingt erkennen können, dass

Schüler:innen vielleicht überhaupt
Schwierigkeiten haben, wenn sie diese

Systeme zuhause anwenden oder vielleicht
hinter einem Bildschirm verschwinden. Auf

einer größeren Ebene kann der Einsatz von
KI Systemen die Ungleichheit verschärfen,

weil einfach die Frage ist: Werden sich
dann zukünftig eher gut ausgestattete

Schulen in reichen Bundesländern, in
privilegierten Umfeldern KI-Systeme zur

Unterstützung leisten können? Oder werden
KI-Systeme eher eingesetzt werden können

in weniger privilegierten Kontexten? Es
gibt in den USA gab es jetzt die

Gründungen von Rocketchip Schulen. Ich
kann mir den Namen immer sehr schlecht

merken. Rocketchip Public Schools heißen
sie und dort sitzt dann im Prinzip nur

noch eine Hilfslehrkraft, die dann bis zu
90 Schüler:innen an ihren

Computerbildschirmen steuert, anleitet,
irgendwie unterstützt, um einfach auch

Stellen an gut ausgebildeten Lehrkräften
einzusparen. Dort läuft es auf eine Art

Massenabfertigung hin und die Forschung,
die es da gegeben hat, hat jetzt zumindest

letztes Jahr schon gezeigt, dass die
Ergebnisse, die die Schüler:innen dort erzielen,

bis zu einer Note schlechter sind als
Schüler:innen, die in einem herkömmlichen

Klassenverband mit vernünftig
ausgebildeten Lehrkräften lernen. Wir

kennen diese Diskussionen auch im
Gesundheitsbereich, in der Pflege. Auch da

wird diskutiert, ob Robotics Systeme in
der Pflege eher ein System für die

Privilegierten sind. Wer es sich leisten
kann, holt sich einen Roboter dazu. Oder

ob es auch da eher um eine Auslagerung an
Technik geht, dass wir in weniger

privilegierten Einrichtungen einfach von
Maschinen betreut werden anstatt von

Menschen. Also da kann der Bildungssektor
sich vielleicht ganz gut am

Gesundheitssektor orientieren und diese
Debatte dort mal verfolgen, in welche

Richtung das geht. All diese Schwächen und
Risiken zusammengenommen frage ich mich

tatsächlich, ob das Werben für KI-Systeme
an Schulen oder auch teilweise der Druck,

der da gemacht wird, dass das eigentlich
totale super Sache ist. Ob das nicht

letztendlich einfach nur gemacht wird, um
die eigentlichen Probleme im Schulsystem

zu verschleiern. Denn eigentlich haben wir
es mit einer großen Mangelfinanzierung zu

tun. Wir haben zu große Klassen, wir haben
zu wenig Lehrkräfte, wir haben einen

wahnsinnigen Sanierungsstau. Und wenn
gleichzeitig dann aber von Regierungen

mitempfohlen wird, dass wir doch KI-
Systeme und Learning Analytics einsetzen,

weil dadurch die Lehrkräfte entlastet
werden und sich dann besser um die

Schüler:innen kümmern sollen. Wobei wir
eigentlich gar keine Evidenz dafür haben,

dass das tatsächlich so funktioniert und
so klappt. Dann habe ich einfach zunehmend

das Gefühl, dass genau diese
Mangelwirtschaft einfach aufrechterhalten

werden soll und dadurch verschleiert
werden soll, dass wir mal wieder

versuchen, soziale Probleme mit Technik zu
lösen. Und das ist etwas, wo wir meiner

Meinung nach genau jetzt an diesem Punkt
sind, diese Diskussion zu führen und diese

Entwicklung zu verhindern, weil
diejenigen, die letztendlich darunter

leiden, sind neben den Lehrkräften, die am
Ende nämlich nur scheinbar entlastet

werden, vor allem die Schülerinnen und
Schüler, deren Daten jetzt einfach erhoben

werden und verarbeitet werden sollen und
wir gar nicht wissen, was daraus am Ende

wird. So bedeutet das jetzt aber, dass KI-
Systeme im Bildungssektor und in der

Schule gar nichts verloren haben. So weit
würde ich gar nicht gehen, sondern ich

möchte gerne in Zukunft unterscheiden, auf
welchen Ebenen wir KI-Systeme im

Bildungssektor einsetzen. Wir haben jetzt
bisher immer so ein bisschen betrachtet,

was auf der Mikroebene passiert, also wo
personenbezogene Daten von Schüler:innen

oder von Lehrkräften analysiert und
verarbeitet werden. Es gibt aber auch noch

die Meso und Makroebene im Bildungssystem.
Auf der Mesoebene reden wir von dem Zugang

zu Lernorten oder auch zu Lerninhalten und
die Makroebene betrachtet tatsächlich die

übergreifende Steuerung von
Bildungssysteme, wo sich z.B. auch die

Problematik der Ungerechtigkeit lösen
lassen müsste. Auf der Meso- und auf der

Makroebene gibt es tatsächlich dann die
Möglichkeit mit Open Data zu arbeiten und

nicht mit personenbezogenen Daten, um halt
diese bestimmten oder diese konkreten

Probleme mit anzugehen. Und ich möchte
jetzt im Folgenden eigentlich mal

vorstellen, welche Beispiele es dafür
jetzt schon gibt oder welche es geben

könnte, damit es nicht so als Behauptung
im leeren Raum steht. Also nochmal zurück

auf die Mikroebene gegangen, gibt es dort
auch durchaus Möglichkeiten, mit Systemen

zu arbeiten, die nicht unbedingt die
personenbezogenen Daten von Schülerinnen

und Schülern verarbeiten. Das ist zum
einen die Möglichkeit: Es gibt ein System,

dass Lehrkräfte neue Methoden zum Beispiel
anhand einer KI trainieren können und

aufgrund des Feedbacks der KI dann sehen
können, wo Verständnisschwächen entstehen,

sodass sie dann ihre Methoden und ihre
Erklärweisen nochmal anpassen können,

bevor sie damit konkret in die Klasse
gehen. Dann gibt es natürlich diesen

ganzen Bereich der Administration,
Vertretungspläne, Stundenpläne oder auch

Postverwaltung. Da gibt es ja schon einige
Beispiele, auch aus Behörden, wie sowas

eingesetzt werden kann mit ganz, ganz
unkritischen Anwendungsbereichen und

keinen großen personenbezogenen Daten, die
dafür nötig sind. Was auch total günstig

ist, ist natürlich alles, was dazu
beiträgt, das System KI zu verstehen. Also

selbst wenn ich Anwendungen durchaus in
gewissen Bereichen hier intensiv in Frage

stellen möchte, ist zu keinem Zeitpunkt in
Frage zu stellen, dass natürlich

verstanden und gelernt werden muss, wie
algorithmische und KI-Systeme

funktionieren und was man mit ihnen machen
kann. Das heißt, als Unterstützung für

Lernmethoden oder auch um Experimente
durchzuführen, ist es auch für Schüler

durchaus geeignet. Es gab mal diesen
Wettbewerb. Ich weiß nicht, ob der jedes

Jahr stattfindet, zur KI Schule des
Jahres. Dort haben jugendliche

Schüler:innen unter anderem ein System
entwickelt, um Zugverspätung

vorherzusagen, also sehr anwendungsnah und
sehr sinnvoll für viele von uns. Und auch

Methoden der Textanalyse oder Datenbank-
Analysen. Auch die können Schülern

durchaus zugutekommen, sodass sie sie als
Werkzeuge für das eigene Lernen benutzen

und dabei aber weniger Schüler:innen
Werkzeuge für das KI-System darstellen

müssen. Auf der Meso-Ebene habe ich
tatsächlich im Moment sehr, sehr wenig

Anwendungsbeispiele gefunden, was da
gemacht werden kann. Also eine Sache, die

mich inspiriert hat, ist das Ergebnis
eines EDU Hacks. Dort hat eine Gruppe eine

Open Source Bibliothek entwickelt und
sowas kann ich mir sehr sehr gut auch

tatsächlich für Deutschland vorstellen,
dass wir, wir haben ja diese Problematik,

Lehrkräfte von euch werden das kennen, ich
hab das jetzt auch schon oft gehört, dass

Lehrkräfte immer auf der Suche sind. Wo
finde ich denn gute OER Materialien? Woher

weiß ich dann, dass die gut sind oder
nicht? Woher weiß ich, ob die zu meinem

Unterricht passen? Es ist alles so weit
verstreut. Ich weiß gar nicht, wo ich das

ganze gute Zeug finden soll. Sowas alles
in eine Datenbank zu packen und dann mit

KI-Systeme durchsuchbar zu machen und
vielleicht auch so durchsuchbar zu machen,

dass Lehrkräfte schnell dort auch wissen,
wie komme ich dann an genau die

Ergebnisse, die ich gerade für meinen
Unterricht gebrauchen kann. Könnte ein

Anwendungsbeispiel sein. Die OER-Strategie
der Bundesregierung ist ja jetzt

ausgelaufen. Wird gerade neu entwickelt.
Kommt im nächsten Jahr. Und wir wissen

leider noch nicht, was drin steht. Aber es
bleibt einfach zu hoffen, dass eine

Zentralisierung oder zumindest eine
bessere Auffindbarkeit von OER-Inhalten

dort mitgedacht wird. Das Thema Inklusion-
Integration hatten wir schon angesprochen.

Auch da sehe ich bei KI, wenn man diese
ganzen Problematiken bei der

Spracherkennung und Übersetzung
ausgehebelt sind, wenn die ausgehebelt

sind, dass wir dort auch noch viele
Potenziale haben, die es zu heben gilt, um

Inklusion und Integration einfach
einfacher zu machen. Und was ich auch sehe

ist im Kontext autonomes Fahren oder auch
Verkehrsleitsysteme, das ganze Thema

Schultransporte, sei es
jahreszeitenbedingt oder vielleicht auch

im ländlichen Raum und vor allem aber auch
mit Blick auf Förderschulen oder inklusive

Schulen. KI-Systeme können sicherlich
dabei unterstützen, den Transport gut zu

organisieren und effizient zu
organisieren. Und wir werden es ja

mindestens im nächsten Jahr auch noch mit
dieser Pandemie zu tun haben. Und gerade

inklusive Schulen oder Förderschulen haben
bei diesem ganzen Transport Thema

tatsächlich ein großes Problem, weil dort
die Zusammenkunft von Schüler:innen in so

einem Schulbus oder in so einem Transport
Bus hin zur Schule für Menschen oder

Schüler:innen mit Behinderung einfach noch
ein viel, viel größeres Risiko darstellen,

als es für gesunde Schüler:innen ist. Also
Menschen mit Behinderung gehören zur

Risikogruppe Nummer eins. Zu weiteren
Potenzialen auf der Makroebene. Dort gibt

es tatsächlich schon konkrete
Anwendungsfälle, die uns für Deutschland

auch ein Vorbild sein könnten. Also sowohl
die Schweiz als auch Belgien haben zum

Beispiel Systeme entwickelt, um die
Durchmischung, die soziale Durchmischung

an Schulen zu optimieren. Dass in etwas
wohlhabenderen Stadtvierteln nicht nur

privilegierte Schüleri:nnen sind und die
weniger Privilegierten dann halt in

Problemschulen landen, sondern dass dort
einfach nochmal neu berechnet wird, wie

eine bessere Durchmischung stattfinden
kann. Das wurde in der Schweiz zum

Beispiel so gemacht, dass die die
Straßenzüge neu berechnet werden, wie

Wohngebiete bestimmten Schulen zugeteilt
werden. Das unter der Maßgabe, dass die

Schulwege sicher sein müssen und dass sie
nicht länger sein sollen als bisher

gehabt. Und das hat im ersten Versuch
tatsächlich so gut funktioniert, dass

jetzt mehrere Kantone versuchen wollen,
dieses System zu übernehmen. In Belgien

hat es ein ähnliches Projekt gegeben. Dort
wird jetzt im Moment das System aber

nochmal überarbeitet, weil dort Eltern
sich beschwert haben, dass dass sie ihre

Kinder nicht mehr auf Schulen schicken
oder gehen lassen können, die zum Beispiel

bestimmte Schwerpunkte haben. Dann gibt es
dann eine Schule, die hat eine

Spezialisierung auf den musischen Bereich
oder auf den sportlichen Bereich. Und dort

wird das System jetzt so überarbeitet,
dass die Schulen dort auch Faktoren

gewichten können, sodass es dort
zusätzlich zu der besseren sozialen

Durchmischung auch die Möglichkeit gibt,
noch bestimmte Schwerpunkte zu setzen.

Auch wieder in UK gibt es ein System, dass
es Behörden erleichtern soll,

Schulinspektionen vorzunehmen. Das heißt,
dort wird aufgrund von bestimmten

Indikatoren rechtzeitig prognostiziert,
welcher Schule vielleicht nochmal eine

Inspektion oder ein Besuch durch die
Behörde bedarf, um bestimmte Entwicklungen

vielleicht rechtzeitig zu stoppen. Und
auch in England, das fand ich ganz gut,

gibt es ein, gibt es die NGO Nesta, die
einige von euch vielleicht kennen. Und die

haben ein eigenes Papier entwickelt, das
genau auf das abzielt, was ich hier auch

vorstellen möchte. Nämlich wenn wir KI im
Bildungssektor schon einsetzen wollen,

dann sollten wir uns auf die strukturellen
Probleme konzentrieren. Oder wenn wir

schon auf der Mikroebene arbeiten, dann
sollten wir uns auf Systeme konzentrieren,

die mit den Daten von Lehrkräften arbeiten
und Lehrkräfte bei ihrer Arbeit

unterstützen. Zumindest jetzt in einem
ersten Schritt, wenn die KI-Systeme noch

nicht so gut und so weiterentwickelt sind,
wie wir sie vielleicht gerne hätten. Diese

Systeme können tatsächlich schon Vorbild
sein, auch für Deutschland. Und wovon ich

in Deutschland auch ein bisschen träume
und woran wir gerade politisch arbeiten,

ist dieser leidige Königsteiner Schlüssel
zum Beispiel. Der Königsteiner Schlüssel

verteilt im Moment Fördergelder nach
Bevölkerungsdichte und nach

Steueraufkommen. Da funktioniert das ganz
klassisch jetzt im Moment nach dem

Matthäus Prinzip. Wer hat, dem wird
gegeben. Reiche Länder bekommen den

höheren Anteil an Fördergeldern und die
etwas ärmeren Länder bekommen halt nicht

so viel. Dabei sollte es doch eigentlich
genau umgekehrt sein. Und wenn es

tatsächlich möglich wäre, mit einem KI-
System auf Basis von noch mehr oder

anderen Daten zu ermitteln, welcher
Förderzweck genau welche Förderhöhe

brauch, dann wäre es doch vielleicht sogar
möglich, dass wir je nach Förderzweck

jedes Mal diesen Verteilungsschlüssel neu
errechnen. Also wenn es dort Möglichkeiten

gibt oder wenn es dort Ansätze gibt sowas
zu entwickeln, bitte ich um

Kontaktaufnahme. Das würde mich sehr sehr
interessieren. Selbstverständlich würde

das voraussetzen, dass von den Schulen,
Schulträgern und auch Schulbehörden

nochmal ganz andere Daten auch erhoben und
erfasst werden. Es gibt aber auch bereits

Bildungsdatenbank. Es gibt die
Forschungsdatenbank Bildung, wo jetzt im

Moment schon Bildungsstudien eingestellt
sind, also die Infrastruktur letztendlich

wäre für sowas vorhanden. Es müsste sich
vielleicht nur etwas in der Kultur ändern,

damit Schulen auch bereit sind oder damit
überhaupt auch Länder und Behörden dort

anfangen bestimmte Daten zu erheben, um
dann halt auch die strukturellen Systeme

auflösen zu können. So, welche
Anforderungen brauchen wir letztendlich,

um auf dieser Makroebene an die
strukturellen Probleme heranzugehen? Dort

würde ich gerne unterscheiden, ein
bisschen was können Menschen auf der

persönlichen Ebene tun? Was muss auf der
Organisationsebene passieren und vor

allem was braucht es noch auf der
rechtlichen Ebene? Im Moment wird ja ganz,

ganz viel immer davon geredet. Lehrkräfte
müssen sich fortbilden, damit sie mit

diesem System arbeiten können. Ja, das ist
aber auch nur ein Teil, der getan werden

muss. Und Teil dieser Fortbildung ist
natürlich nicht nur, dass es darum geht,

wie diese Systeme angewendet werden,
sondern es braucht ein tiefes Verständnis

einfach von KI als soziotechnisches
System. Und es braucht das schöne

Stichwort Data Literacy. Das heißt, ein
Verständnis dafür zu entwickeln, was Daten

überhaupt aussagen und aber vor allem
anderen eigentlich braucht es auf der ganz

individuellen Ebene immer noch ganz viel
Fortbildung, was überhaupt das Thema

Digitalisierung betrifft und auch der
damit verbundene Kulturwandel. Überhaupt,

sich zu öffnen, um Informationen oder auch
Inhalte zu teilen, um eine gewisse

Fehlerkultur zu entwickeln. All das ist ja
gerade noch im Umbruch. Und wenn wir jetzt

davon reden, dass wir KI-Systeme an den
Schulen wollen oder dass es gefördert

werden soll, dann habe ich manchmal das
Gefühl, wir wollen einem Kind, das gerade

das Fahrradfahren gelernt hat, wollen wir
jetzt in einen Rennwagen setzen, weil es

damit ja noch sicherer zur Schule kommt.
Das passiert alles in einem sehr, sehr

großen Tempo, das nicht damit erledigt
werden sollte, dass wir uns einfach nur

darauf zurücklehnen und sagen, Lehrkräfte
müssen sich weiterbilden und dann können

sie auch KI-Systeme in der Schule
einsetzen. Die Eltern habe ich jetzt

nochmal in Klammern gesetzt. Davon
ausgehend, dass wir es vielleicht wirklich

schaffen, unsere Forschungs- und
Entwicklungsschwerpunkte mehr auf die

Makro und auf die Meso Ebene zu legen und
weniger auf die Schüler basierten Systeme.

auf der Organisationsebene, also dort wo
entschieden wird. Letztendlich kommt ein

KI System zum Einsatz - Ja oder nein. Das
ist die Schulleitung oder das Schulträger

oder vielleicht auch Bundesländer. Muss
natürlich als allererstes mal hinterfragt

werden. Wozu brauche ich das System? Ich
habe es eben schon angesprochen. Wenn wir

ein soziales Problem an der Schule
feststellen, ist ein technisches System

tatsächlich dafür die Lösung? Oder sollten
wir vielleicht eher auf der sozialen Ebene

nochmal schauen, was wir vielleicht an
unseren Lernzielen oder an unseren

Methoden oder an unserer
Organisationskultur verändern müssen?

Selbst wenn wir uns entscheiden für ein
technisches System, dann muss natürlich

entsprechend die Infrastruktur gegeben
sein. Das heißt, die Frage ist: Wo werden

Daten, mit denen gearbeitet wird? Wo
werden sie gespeichert? Sind sie dort

überhaupt sicher genug? Haben wir
überhaupt WLAN an den Schule, damit dort

vor Ort gearbeitet werden kann? All diese
Fragen. Natürlich braucht es auch auf der

Entscheidungsebene Kompetenzen. Es braucht
den Kulturwandel und überhaupt erst einmal

die Grundlagen der Digitalisierung, bevor
wir mit KI die nächsten Stufe gehen. Wir

brauchen die Regelung zur menschlichen
Entscheidungsfähigkeit tatsächlich auch in

den Arbeitsverträgen und wie auch in
anderen Verwaltungsbereichen auch sollte

es auch im Bildungsbereich einfach ganz
klare Beschaffungsrichtlinien geben. Wenn

Systeme angeschafft werden, dann braucht
es ganz klare Anforderungskataloge, wie

diese Systeme gestaltet werden sollen. Und
natürlich muss sich dann auch der Bund

entscheiden, Förderungen in die richtige
Richtung zu schicken und diese Systeme zu

fördern und zu unterstützen, die sich auf
die Meso- und Makroebene fokussieren und

nicht die Attack Startups, die versuchen,
das Lernerlebnis für Schüler zu

verbessern, obwohl es dafür keine Evidenz
gibt, werde ich auch nicht müde, das immer

wieder zu wiederholen. Und dann haben wir
natürlich auf der rechtlichen Ebene noch

viele offene Fragen, die KI-Systeme im
Allgemeinen betreffen und gar nicht

unbedingt nur auf den Bildungssektor
Anwendung finden. Und das ist einmal die

Problematik der Nachvollziehbarkeit. Also
solange KI-Systeme an sich selber nicht

nachvollziehbar sind, müssen zumindest
Schnittstellen geschaffen werden, dass

Evualator:innen oder Forscher:innen
zumindest reingucken können, was das

System überhaupt macht. Wir brauchen eine
Nachweisbarkeit, dass diese Systeme

funktionieren, erst recht, wenn wir mit
Schüler:innen an Daten arbeiten wollen. Und

wir brauchen eine Kritikalität ex ante.
Wir reden hier vom Bildungssektor. Dort

werden Lebenswege vorbestimmt. Das ist
nicht der Raum, um Experimente zu machen

und mal Systeme loszulassen, laufen zu
lassen und dann mal zu gucken, welche

Probleme sie eventuell entwickeln. Wir
haben aus dem Ausland jetzt schon genügend

Beispiele, was nicht gut funktioniert. Ich
wäre kein Fan davon, wenn wir das Ganze

hier in Deutschland nochmal wiederholen
wollen. Eigentlich nicht nötig, das zu

sagen, aber es braucht letztendlich auch
eine rechtlich bindende

Anbieterstabilität. Es gab tatsächlich,
ich glaube auch in den USA, das System

inBlue. Das wurde überall ausgerollt und
eingesetzt. Und dann irgendwann hat der

Anbieter entschieden, seine Dienste
einzustellen. Was aus den Daten geworden

ist bis dahin weiß letztendlich kein
Mensch. Das ganze Thema Offenheit sollte

gerade bei KI Entwicklung im
Bildungssektor viel, viel stärker auch

eingefordert und verankert werden. Das
heißt, auch KI-Systeme sollten wie Open-

Source-Software behandelt werden, als
OpenAI z.B. stärker mitgefördert werden. Wir

müssen viel stärker entwickeln im Bereich
OER Open Data, um dann diese ganzen Daten,

die wir im Lern-Kontext dann auch sammeln,
wiederum als Open Educational Data, also

als OED auch wieder zur Verfügung zu
stellen. Ohne offene Datenbasis kommen wir

da nicht hin. Sehr charmant finde ich auch
die Idee der öffentlichen Register. Dort

sollten sich auch KI-Systeme im
Bildungsbereich eintragen lassen. Und was

auf jeden Fall passieren muss, ist die
Überarbeitung des Artikels 22 der DSGVO.

Dort werden im Moment ja nur
Entscheidungen geregelt,

vollautomatisierte Entscheidungen sind
dort geregelt. Was nicht geregelt ist,

sind teilautomatisierte Systeme und
teilautomatisierte Systeme sind ja die, die

jetzt eigentlich weitestgehend im Einsatz
sind. Und wenn wir auch da wieder im

Hinterkopf haben, dass ja als Argument
immer noch gilt: Der Mensch trifft die

letzte Entscheidung, werden wir es auch
zukünftig verstärkt mit teil-

automatisierten System zu tun haben. Und
dort müssen Einspruchsrechte und

Widerspruchsrechte einfach noch klarer
geregelt werden. Ach nee, bevor ich zu

meinem Fazit komme, möchte ich nochmal auf
die lange Kette der Verantwortlichkeit

auch nochmal eingehen. Wenn Systeme
tatsächlich ausgewählt werden, müssen

Entscheider in der Lage sein, auch diese
Systeme zu beurteilen. Und in ganz, ganz

grober Anlehnung an diese lange Kette der
Verantwortlichkeit von Katharina Zweig und

Tobias Kraft sollte es mit in einen
Anforderungskatalog und sollte es mit in

den Kompetenzkatalog von all denjenigen,
die dazu entscheiden, dass sie in der Lage

sind, zu hinterfragen und zu prüfen.
Aufgrund von welcher Datenbasis wurde ein

System trainiert, also welche Qualität,
welche Quantität? Wie alt sind die Daten?

Passen sie überhaupt zum Trainingszweck?
Dann letztendlich auch nach welchen

Maßgaben wurde das System trainiert? Ganz
ganz wichtig ist ja auch ein KI-System,

das einmal für einen bestimmten Zweck
trainiert wurde, ist nicht unbedingt

günstig in einem ganz anderen
Anwendungskontext. Gerade im

Bildungsbereich, wenn damit geworben wird,
dass bei Übersetzungssystemen oder

Spracherkennungssystemen das es ja ganz
ganz tolle Software as a Service Systeme

schon gibt, die quasi von der Stange
gekauft werden können, muss immer noch

hinterfragt werden: Passt das tatsächlich
zu meinem Anwendungskontext? Und

letztendlich passt auch dieses System zu
meinem Ethik-System, das ich bei mir an

der Schule habe. Datenverwendung ist ganz,
ganz wichtig. Was passiert mit den Daten,

die erhoben werden an einer Schule, auch
wenn es nur Daten von Lehrkräften sind?

Gerade in dem Moment, wo es
personenbezogene Daten sind, muss einfach

sichergestellt werden, dass nicht nur
rechtlich, sondern auch tatsächlich aktiv

in der Anwendung ist, es überhaupt kein
Weg gibt, dass diese Daten an Stellen

weitergegeben werden, wo sie nicht
hingehören. Es gibt aus den USA, auch mal

wieder dort dieses Beispiel, dass Akteure
der Wissenschaftsverlagsbranche Daten von

Wissenschaftlern weitergegeben haben an
die Einwanderungsbehörde ICE, was auch

immer sie dort verloren haben. Aber das
sind alles Entwicklungen, die müssen

ausgeschlossen sein. Ganz großer Komplex
IT-Sicherheit. Das muss sichergestellt

sein. Das ist im Prinzip ein eigener
Vortrag. Dort möchte ich hier aber

verweisen auf die Arbeiten der Stiftung
Neue Verantwortung, die schon ganz, ganz

viel dazu untersucht und entwickelt und
auch Schaubilder gemacht haben, welche

Angriffs-Vektoren es für KI-Systeme
überhaupt gibt. Und letztendlich müssen

Entscheider:innen auch sicherstellen, dass es
Ressourcen gibt, um dieses Thema, wenn sie

dann einmal im Einsatz sind, auch
tatsächlich dauerhaft evaluiert sind,

damit sich diese ganzen Schwächen, die wir
ja kennen, nicht erst in der Praxis, dann

auch noch einschleichen. Das heißt, wenn
einem bewusst wird, was es alles für

Anforderungen braucht, um KI-Systeme im
Bildungssektor egal zu welchem Zweck

einzusetzen, dann wird glaube ich klar,
dass das etwas ist, was noch ein sehr

langer Weg ist, was nicht überhastet
angegangen werden soll und was noch sehr,

sehr viel Qualifizierung und
Weiterentwicklung braucht. Und das

letztendlich bringt mich jetzt zu meinem
Fazit. Bisher ist es so, dass bei KI im

Bildungssektor vornehmlich darüber
gesprochen wird, dass Learning Analytics

Systeme eingesetzt werden, um halt das
Lernverhalten von Schülerinnen und

Schülern zu analysieren und dabei mit
personenbezogenen Daten gearbeitet wird.

Letztendlich gibt es zum jetzigen
Zeitpunkt noch keine Evidenz dafür, dass

diese Systeme funktionieren und dass diese
ganzen Datensammlungen auch tatsächlich

sinnvoll sind. Es ist ganz, ganz viel
Marketing und vor allem auch

Wirtschaftsförderung dahinter. Wenn diese
Startups jetzt in die Richtung gefördert

werden und das Risiko, das damit entsteht,
wenn diese Systeme weiterhin in die

Schulen gedrückt werden, ist dass die
wahren strukturellen Probleme einfach

dadurch verschleiert werden und dass diese
Mangelwirtschaft einfach fortgesetzt

werden und diese ganzen Potenziale, die KI
tatsächlich mit sich bringt, diese

Probleme tatsächlich mit zu lösen, dass
die einfach gar nicht gehoben werden. Das

Risiko dabei ist, dass es vornehmlich
immer um personenbezogene Daten von

minderjährigen Schüler:innen geht und dass
die ganzen Chancen, die wir im OpenData

Bereich haben, dafür einfach weiterhin
nicht genutzt werden. Und wir haben jetzt

den Zeitpunkt, wo die Weichen gestellt
werden. Ist das genau der Pfad, auf dem

wir jetzt auch weitergehen wollen? Oder
wollen wir jetzt anfangen, in diese

Entwicklung einzugreifen und den Fokus
mehr auf die Meso- und Makroebene legen?

Die EU-Kommission hat jetzt kürzlich ihren
überarbeiteten Digital Education Plan

vorgestellt. Dort ist zu diesem ganzen
Thema KI vorgesehen, dass Lehrkräfte

weitergebildet werden müssen. Dass es
Ethik-Leitlinien geben müssen und

letztendlich auch, dass Forschung nochmal
intensiviert werden muss. Und das ist

jetzt genau der Punkt, um dort reinzugehen
und die Fragen zu stellen und darauf hin

zu drängen, dass in die richtige Richtung
geforscht wird. Das hat mich letztendlich

in dieser ganzen Vorbereitung zu meiner
Empfehlung gebracht. In Anlehnung an diese

Pyramide von der Datenethikkommissionen,
die ich eigentlich, wenn das Prinzip der

Risiko-Klassifizierung diskutabel ist,
finde ich eigentlich dieses

Pyramidensystem sehr gelungen. Und
übertragen auf KI-Systeme im

Bildungsbereich sehe ich einen ganz, ganz
großen, grünen, unkritischen Bereich, wenn

es darum geht, die Forschung und
Entwicklung auf der Makroebene weiter zu

unterstützen und weiter zu fördern. Alles
unter der Nutzung von Open Data, die

entweder schon vorhanden sind oder
vielleicht auch noch weiter erhoben und

genutzt werden können. Das fließt
größtenteils auch noch mit rein in die

Meso Ebene, die auch auf der Basis von
Open Data schon sehr sehr viel Gutes

erreichen kann. Und ganz ganz oben in der
Spitze, wo ich den roten Bereich sehe, ist

tatsächlich die Mikroebene, wenn es um die
Analyse-Systeme geht für Schüler:innen und

für Lehrkräfte, wo mit personenbezogenen
Daten gearbeitet wird. Wenn es dort

weitere Entwicklungen geben sollte, dann
würde ich es bevorzugen, wenn es dort ein

Forschungsbereich gibt oder den
Anwendungsbereich vielleicht höchstens für

Lehrkräfte. Aber dass wir die ganze
Analyse von Schüler:innen vielleicht

erst mal noch außen vorlassen, bis wir
vielleicht viel mehr über KI-Systeme

wissen und alles immer unter der
Voraussetzung, dass die Daten, die erhoben

werden, dann auch weiter zur Verfügung
gestellt werden für die Generierung von

Open Educational Data. Das war's. Vielen
Dank für eure Aufmerksamkeit. Alle

Anregungen, um die ich gebeten habe, alle
Lücken, die ich vielleicht noch gelassen

habe, oder alle Interessenten, die Lust
haben, an diesem Thema auch noch mit

weiterzuarbeiten, freue ich mich total
über Kontaktaufnahme und Feedback und

weitere Informationen. Ich habe hier auch
noch einen großen Anhang mit Quellen, die

ich verarbeitet habe. Wenn es dazu auch
noch Rückfragen gibt, kommt jederzeit

- nicht jederzeit, nich nachts um drei. Also per E-Mail
schon, aber vielleicht nicht per Telefon.

Aber die habt ihr ja auch gar nicht die
Nummer - egal, kommt einfach auf mich zu.

Und dann würde es mich freuen, wenn wir im
Gespräch bleiben. Vielen Dank.

Herald: Hallo Nina, schön, dass du da

warst. Danke für den spannenden Vortrag
grade. Wir hatten so ein bisschen

technische Probleme im Hintergrund. Ich
hoffe deswegen, dass alle im Live-Stream

den Talk auch gut sehen konnten. Nina, du
hast viel erzählt über KI und die Grenzen

und Vorteile. Was sind denn so aus deiner
Sicht vielleicht die klugen nächsten

Schritte, die man so gehen müsste? Was
künstliche Intelligenz und Klassenzimmer

betrifft?
Nina: Hallo Nina, ja genau. Was sind die,

was sind die nächsten Schritte? Also ich
glaube wir sind im Moment an so einer

Entwicklungsphase, wo KI in der Schule und
im Bildungsbereich einfach noch nicht so

wahnsinnig weit verbreitet ist. Und ich
hab das ja auch gemerkt bei meiner

Recherche und auch z.B. hier, was diese
Meso-Ebene angeht. Es gibt noch nicht so

extrem viele Anwendungen, wo man konkret
jetzt schon reingehen und eingreifen kann

und sagen wir wollen hier eine andere
Entwicklung oder das und das muss so

konkret weitergehen. Was allerdings gut an
dieser Entwicklung ist, ist eben, dass wir

noch an diesem frühen Punkt sind und auch
die Möglichkeiten haben, Einfluss nehmen

zu können. Habe ich da ein äh im
Hintergrund gehört? Ja okay, ich rede

einfach weiter. Das heißt, nach allem, was
ich jetzt mitbekommen habe, wie sich das

Thema KI in der Bildung gerade ansetzt zu
entwickeln, möchte ich eigentlich gerne so

eine Art Break machen. Einen kleinen
Schnitt und nochmal hinterfragen ist der

Weg, der jetzt eingeschlagen wird von den
Attack-Startups und auch von den

Regierungen, ist das überhaupt der
Richtige, dass wir KI-Systeme einsetzen,

um das Verhalten und Lernverhalten von
Lernenden zu analysieren? Oder wollen wir

nicht nochmal überlegen, ob wir nicht die
KI-Systeme, die wir jetzt haben, dazu

nutzen können, die strukturellen Probleme
im Bildungssektor anzugehen? Davon gibt es

genug. Dort haben wir eine ganz andere
Datenbasis und es kann vor allem weniger

Schaden angerichtet werden für die
einzelnen Personen, die analysiert werden

oder dann halt auch im besten Fall gar
nicht mehr analysiert werden, weil alles,

was wir aus der KI Geschichte wissen, dass
es sehr, sehr viel Schwierigkeiten gibt,

sobald KI in sozialen Kontexten eingesetzt
werden. Also wenn KI-Systeme benutzt

werden, um Menschen zu analysieren, jetzt
kurz auf den Punkt gebracht, dann führt

das meistens zu größeren Problemen und wir
sollten in der Bildung nicht diese Fehler

wiederholen.
Herald: Ja, das sind auf jeden Fall

ziemlich gute Gedankenanstöße. Wir haben
leider gar nicht so richtig, richtig viel

Zeit, um jetzt hier noch Fragen zu
beantworten. Ich sehe gerade im Chat auch

tatsächlich keine. Ich bin aber sicher,
dass es da noch viel Gesprächsbedarf gibt.

Deswegen würde ich vorschlagen, dass wir
jetzt mit dir in einen Big Blue Button

umziehen.

Outro Musik

Untertitel erstellt von c3subtitles.de
im Jahr 2021. Mach mit und hilf uns!