Neben die Datenschutzgrundverordnung ist mittlerweile auch die KI-Verordnung (KI-VO) getreten, welche die DS-GVO ergänzt aber insbesondere auf die Regulierung von KI-Systemen und deren Risiken abzielt. Da die Nutzung von KI-Plattformen in Schulen ein Thema ist und deshalb auch die KI-VO für Schulen an Relevanz gewinnt, nimmt sich der Landesbeauftragte für Datenschutz und Informationsfreiheit Baden Württemberg des Themas in seinem 29. Tätigkeitsbericht für das Jahr 2024 an. Es geht hierbei allerdings nicht primär um eine direkte Interaktion von Schülerinnen und Schülern mit KI-Plattformen, sondern um eine indirekte Nutzung in in adaptiven Lernsystemen (ALS) und die Nutzung durch Lehrkräfte zur Korrektur und Bewertung von Schülerarbeiten. Grundsätzlich gilt für Schulen, dass gemäß Art. 22 DS-GVO eine automatisierte Entscheidung bei der Korrektur von Klassenarbeiten, Klausuren und Prüfungen nicht zulässig ist. Um automatisierte Entscheidungen in Schulen rechtlich zu ermöglichen, bräuchte es eine Rechtsgrundlage gem. Art. 22 Abs. 2 lit. b DS-GVO und entsprechende „Maßnahmen zur Wahrung der Rechte und Freiheiten sowie der berechtigten Interessen der betroffenen Person.“ Da es solche Rechtsgrundlagen bisher nicht gibt, ist es nicht möglich, Noten ausschließlich auf der Grundlage einer KI Entscheidung zu vergeben. Hingewiesen wird in dem Kontext zusätzlich auf den sogenannten „Automation Bias“, die Neigung von Menschen, Entscheidungen von Computern ungeprüft zu übernehmen. Geht es um die Bewertung von Schülerleistungen durch KI, ist auch die KI-VO zu berücksichtigen. KI-Systeme, die Lernergebnisse bewerten, werden als sogenannte Hochrisiko-KI-Systeme eingestuft (Art. 6 Abs. 2 und 3 KI-VO in Verbindung mit Anhang III, Punkt 3 KI-VO) und ihr Einsatz unterliegt strengen Vorschriften. Ab August 2026, wenn die genannten Regelungen in Kraft treten und von Schulen umgesetzt werden müssen, geht eine Nutzung wie beschrieben mit umfangreichen Pflichten einher. Zusätzliche Pflichten ergeben sich für Schulen, wenn sie kein auf die Bewertung von Schülerleistungen spezialisiertes KI-System verwenden, sondern ein KI-Modell mit allgemeinem Verwendungszweck (Art. 3 Nr. 63 KI-VO), da sie dadurch selbst zum Anbieter eines KI-Systems werden. Ebenfalls als Hochrisiko-KI-Systeme eingestuft werden adaptive Lernsysteme (ALS), welche den Lernprozess eigenständig steuern. Entsprechend unterliegt auch ihre Nutzung den strengen Vorgaben von Anhang III, Punkt 3b KI-VO. Nicht alle in Schulen eingesetzten KI-Plattformen müssen als Hochrisiko-KI-Systeme eingestuft werden. Werden die eingesetzten KI-Systeme nicht zur Bewertung von Schülerleistungen oder zur Steuerung von Lernprozessen etwa in ALS eingesetzt, unterliegen sie nicht den strengen Regulierungen der KI-VO und ihre Nutzung ist für Schulen weitestgehend unproblematisch. Voraussetzung für eine Nutzung ist seit Februar 2025 die KI-Kompetenz der Nutzenden. Das meint hier Schüler wie auch Lehrkräfte.
Als problematisch bewertet die Aufsichtsbehörde KI-Systeme, welche personenbezogene Daten von Schülerinnen und Schülern zu Trainingszwecken nutzen. Da bei solchen Systemen die Umsetzung von Betroffenenrechten (Auskunft, Berichtigung, Löschung) keine verlässlichen technischen Lösungen gibt, empfiehlt die Aufsichtsbehörde Schulen, solche Systeme auf keinen Fall einzusetzen. Nutzt eine Schule externe KI-Plattformen, muss sie dabei wie auch bei anderen externen Plattformen über einen Vertrag zur Auftragsverarbeitung sicherstellen, dass der Anbieter keine personenbezogenen Daten der Nutzer zu eigenen Zwecken verarbeitet.
Fazit für die Aufsichtsbehörde ist mit Blick auf die Nutzung von KI in Schule: „Der Einsatz von KI in der Schule ist also keineswegs unmöglich, jedoch mit rechtlichen Hürden verbunden. Insbesondere bei der automatisierten Bewertung von Klausuren oder der Verwendung adaptiver Systeme müssen Schulen äußerst vorsichtig sein. Für reine Lernunterstützungssysteme, die keine personenbezogenen Daten verarbeiten, sieht die Rechts- lage dagegen entspannter aus.“
Bewertung
In Baden Württemberg hat man in der Aufsichtsbehörde des Bundeslandes die Auswirkungen der KI-VO recht früh in den Blick genommen. Auch der Gesetzgeber hat sich bereits auf den Weg gemacht und – wie im Tätigkeitsbericht erwähnt – und mit § 115b Abs. 9 im Schulgesetz eine Rechtsgrundlage geschaffen, welche den Einsatz von ALS regelt. Dort heißt es:
„(9) Das Anwenden automatisierter, anpassungsfähiger Verfahren ist zum Zweck der technischen Unterstützung und Förderung des individuellen Lernweges nach der Rechtsverordnung nach Absatz 11 in ihrer jeweils geltenden Fassung zulässig. Absatz 6 findet entsprechende Anwendung.„
Ergänzt und präzisiert wird diese Regelung mit der Digitalunterrichtsverordnung (DUVO). Wer hier etwas mehr zu erfahren möchte, sei auf den Beitrag KI-Plattformen – DS-GVO und KI Verordnung verwiesen, der hier mehr in die Tiefe geht.
Der Beitrag im Tätigkeitsbericht macht deutlich, dass es Handlungsbedarf gibt auf Seiten der Gesetzgeber in den Bundesländern. Schulen benötigen Informationen, wie sie KI-Plattformen einsetzen können und welche Grenzen es gibt. Entsprechende Regelungen in den Landesschulgesetzen und zugehörigen Verordnungen können Rechtsgrundlagen für bestimmte Nutzungszwecke schaffen und gegebenenfalls auch Schranken aufzeigen. Noch stehen wir am Anfang der Entwicklung von spezialisierten KI-Plattformen. Es gibt bereits erste Plattformen, welche automatisierte Auswertungen von Schülerarbeiten ermöglichen, und es gibt einen Bedarf.