Im Tätigkeitsbericht zum Vorjahr (31. Tätigkeitsbericht) befasst sich die LDI NRW unter 6.1 „Ich frag’ einfach Chatty”
– Einsatz von KI macht Schule mit den datenschutzrechtlichen Aspekten des schulischen KI-Einsatzes. Hintergrund war die zunehmende Verbreitung Großer Sprachmodelle (LLMs) kommerzieller Anbieter wie ChatGPT und Gemini im schulischen Alltag, sowohl bei Schülerinnen und Schülern als auch bei Lehrkräften. Die mit dieser Nutzung einhergehenden datenschutzrechtlichen Probleme veranlassten die Aufsichtsbehörde zu einer vertieften Auseinandersetzung mit dem Thema.
Um die mit der Nutzung kommerzieller LLMs verbundenen datenschutzrechtlichen Herausforderungen besser einordnen zu können, erläutert die Aufsichtsbehörde zunächst die möglichen Risiken für die Nutzenden. Dabei geht es nicht nur um technische Nutzungsdaten wie IP-Adressen oder Protokolldaten, sondern auch um die Inhalte von Prompts. Diese können je nach Fragestellung Rückschlüsse auf die Person des Nutzers, seinen Gesundheitszustand, familiäre Verhältnisse oder andere persönliche Umstände zulassen. Selbst individuelle sprachliche Eigenheiten oder typische Fehler können zur Wiedererkennung von Personen beitragen. Nach Darstellung der Aufsichtsbehörde besteht zudem das Risiko, dass Anbieter die verarbeiteten Daten für eigene Zwecke nutzen, etwa zur Personalisierung von Werbung oder zum Training ihrer Modelle. Hinzu kommt die Möglichkeit, dass personenbezogene Daten in Staaten verarbeitet werden, deren Datenschutzniveau nicht den Anforderungen der DS-GVO entspricht.
Nach Auffassung der LDI NRW sollten Schülerinnen und Schüler nicht nur für die datenschutzrechtlichen Risiken sensibilisiert werden, sondern auch für die KI-Systemen innewohnenden Probleme wie Halluzinationen, Bias oder Deep Fakes. Deshalb regt sie Schulen an, entsprechende KI-Kompetenzen zu vermitteln.
Anschließend beschreibt die LDI NRW, welche technischen und organisatorischen Maßnahmen gem. Art. 24, Art. 25 und Art. 32 DS-GVO Schulen treffen sollten, um die mit dem Einsatz von KI-Systemen verbundenen Risiken für Schülerinnen und Schüler sowie Lehrkräfte möglichst gering zu halten. Exemplarisch hebt sie dabei drei Maßnahmen hervor:
- Auswahl eines zuverlässigen Anbieters,
- Minimierung der eingegebenen personenbezogenen Daten,
- Ausschluss der Verarbeitung von personenbezogenen Daten durch den Anbieter zu eigenen Zwecken.
Werden beim Einsatz von KI-Systemen personenbezogene Daten verarbeitet, bedarf dies einer entsprechenden Rechtsgrundlage. Solange es noch keine speziell auf KI-Systeme zugeschnittene Regelung im Schulgesetz NRW gibt, sieht die LDI NRW in § 120 Abs. 5 SchulG NRW sowie § 121 Abs. 1 Satz 1 und 2 SchulG NRW, die unter anderem den Einsatz von Lehr- und Lernsystemen regeln, eine mögliche Rechtsgrundlage für deren Einsatz. Gleichzeitig deutet der Text an, dass für einzelne Formen der KI-Nutzung künftig speziellere gesetzliche Regelungen erforderlich werden könnten. In diesem Zusammenhang verweist sie auf die Bedeutung der Datenschutz-Folgenabschätzung (DSFA):
„Die beim Einsatz von KI-Technologien durchzuführende Datenschutz-Folgenabschätzung (Art. 35 DS-GVO) kann möglicherweise jedoch auch zu dem Ergebnis führen, dass einzelne Aspekte der KI-Nutzung einer speziellen rechtlichen Regelung bedürfen. Eine Datenschutz-Folgenabschätzung ist eine Pflicht nach der DS-GVO, geplante Verarbeitungen personenbezogener Daten auf ein hohes Risiko für Betroffene zu prüfen und dieses zu minimieren, bevor die Verarbeitung startet.„
Im letzten Teil geht die LDI NRW auf AIS.chat (ehemals telli) ein, in dessen Entwicklung sie gemeinsam mit anderen Aufsichtsbehörden auf Einladung des Ministeriums für Schule und Bildung (MSB) beratend eingebunden war. Sie begrüßt die Entlastung, die das länderübergreifende Projekt für Schulen im Bereich des Datenschutzes mit sich bringt, da diese nicht selbst die datenschutzrechtliche Bewertung sowie die Prüfung geeigneter technischer und organisatorischer Maßnahmen vornehmen müssen.
Bewertung
Die LDI NRW beschreibt nachvollziehbar die mit der Nutzung kommerzieller LLMs verbundenen Risiken, mögliche Schutzmaßnahmen sowie die derzeit in Betracht kommenden Rechtsgrundlagen. Der interessanteste Teil des Beitrags betrifft jedoch die Bedeutung, welche die Aufsichtsbehörde der Datenschutz-Folgenabschätzung beim Einsatz von KI-Systemen beimisst. Der zitierte Abschnitt besteht aus zwei Sätzen. Der zweite beschreibt lediglich die allgemeine Funktion einer Datenschutz-Folgenabschätzung nach Art. 35 DS-GVO. Näherer Betrachtung bedarf jedoch der erste Satz, denn dieser setzt voraus, dass beim Einsatz von KI-Technologien eine Datenschutz-Folgenabschätzung durchzuführen ist.
Die Ausführungen der LDI NRW lassen offen, weshalb beim Einsatz von KI-Technologien regelmäßig eine Datenschutz-Folgenabschätzung erforderlich sein soll. Nach Art. 35 DS-GVO ist eine solche nur dann durchzuführen, wenn eine Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten der Betroffenen zur Folge hat.
„Hat eine Form der Verarbeitung, insbesondere bei Verwendung neuer Technologien, aufgrund der Art, des Umfangs, der Umstände und der Zwecke der Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge, so führt der Verantwortliche vorab eine Abschätzung der Folgen der vorgesehenen Verarbeitungsvorgänge für den Schutz personenbezogener Daten durch.„
Allein aus dem Einsatz eines LLM ergibt sich ein solches Risiko nicht zwangsläufig. So sind etwa KI-gestützte Vokabeltrainer oder einfache Chatbots denkbar, bei denen weder Profilbildung noch automatisierte Entscheidungen erfolgen und bei denen personenbezogene Daten nur in geringem Umfang oder gar nicht verarbeitet werden.
Offen bleibt bei diesem ersten Satz zudem, auf wen sich der Nebensatz bezieht. Die Pflicht zur Durchführung einer DSFA bei Verarbeitungen mit voraussichtlich hohem Risiko trifft nach Art. 35 DS-GVO die Verantwortlichen. Im schulischen Kontext sind dies die Schulleitungen. Der Nebensatz thematisiert hingegen die Möglichkeit, dass sich aus dem Ergebnis einer DSFA ein Bedarf für zusätzliche gesetzliche Regelungen ergeben könnte. Damit scheinen die Ebene der datenschutzrechtlichen Verantwortung der Schule und die Frage eines möglichen gesetzgeberischen Handlungsbedarfs miteinander vermischt zu werden.
Braucht es für KI-Anwendungen Datenschutzfolgenabschätzungen?
Hier in NRW geht man auf Seiten des MSB davon aus, dass bei den meisten von Schulgen genutzten Verfahren keine DSFA erforderlich sein werden. Unter Fragen und Antworten zum Datenschutz1Abruf Stand 03.06.2026 heißt es zur Frage:
„Welche Verfahren bedürfen einer Datenschutz-Folgenabschätzung (DSFA)?
Nach Art. 35 Abs. 1 DSGVO und den Regelbeispielen in Art. 35 Abs. 3 DSGVO ist eine DSFA insbesondere bei der Verwendung neuer Technologien und nur für Verarbeitungen vorgesehen, die voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat (z. B. systematisches Profiling; kommunale Meldedaten; umfangreiche behördliche Erhebungen im Zuge der Bewilligung von Sozialleistungen).
Daher besteht für die Verarbeitung von personenbezogenen Lehrer- und Schülerdaten für schulische Zwecke, die auf Ebene einer Einzelschule üblicherweise erfolgt, nach hiesiger Einschätzung in der Regel keine Verpflichtung der Schulleitung, eine DSFA durchzuführen. Weitere Hinweise finden sich unter „Einzelne wesentliche Regelungsbereiche der Datenschutzgrundverordnung“ unter dem Stichwort „Datenschutz-Folgeabschätzung“.
Unter Einzelne wesentliche Regelungsbereiche der Datenschutz-Grundverordnung heißt es dann ergänzend:
„Angesichts von Umfang und Art der auf Ebene einer Einzelschule üblichen Verarbeitung von personenbezogenen Lehrer- und Schülerdaten für schulische Zwecke besteht nach hiesiger Einschätzung in der Regel keine Verpflichtung der Schulleitung, eine DSFA durchzuführen.„
Diese Aussagen wurden vom Ministerium getroffen, bevor KI-Anwendungen zu einem Thema in Schulen wurden. Datenschutz-Folgenabschätzungen werden gem. Art. 35 DS-GVO nur dann erforderlich, wenn voraussichtlich von einem hohen Risiko ausgegangen werden muss. Das ist jedoch längst nicht bei allen KI-Anwendungen der Fall. AIS.chat, die landesweit zur Verfügung gestellte KI-Anwendung ist nicht für die Verarbeitung von personenbezogenen Daten gedacht. Nutzer sind gehalten, keine persönlichen Informationen einzugeben, mit dem Anbieter schließen Schulen einen Vertrag zur Auftragsverarbeitung ab und die Plattform ist technisch so gestaltet, dass Nutzer weder über die Plattform noch über die Anbieter der in sie integrierten KI-Modelle identifizierbar sind. Unter diesen Voraussetzungen spricht vieles dafür, dass der Einsatz von AIS.chat regelmäßig nicht zu einer Pflicht zur Durchführung einer Datenschutz-Folgenabschätzung führt. Gleiches gilt prinzipiell auch für über Bildunganbieter verfügbare KI-Plattformen.
Abseits dieser Plattformen gibt es aber durchaus KI-Systeme, bei denen voraussichtlich von einem hohen Risiko auszugehen ist. Besonders naheliegend ist eine Datenschutz-Folgenabschätzung bei solchen KI-Systemen, die nach der KI-Verordnung als Hochrisiko-KI-Systeme eingestuft werden. Soll ein solches KI-System an einer Schule zur Erfüllung des Bildungs- und Erziehungsauftrages zum Einsatz kommen, etwa ein System, welches Leistungsnachweise automatisch auswertet und anschließend auch final bewertet, dann setzt die Einführung eines solchen Systems eine Datenschutz-Folgenabschätzung voraus. Denkbar wäre jedoch, dass bei einem vom Land entwickelten und zentral bereitgestellten KI-System bereits auf Landesebene eine Datenschutz-Folgenabschätzung durchgeführt wird. Für die einzelnen Schulen könnte sich der Prüfaufwand dadurch erheblich reduzieren, da sie sich auf die Ergebnisse dieser Bewertung stützen und lediglich prüfen müssten, ob ihre konkrete Nutzung von den zugrunde gelegten Annahmen erfasst wird. Dass solches möglich ist, zeigt das Beispiel Google Workspace for Education in den Niederlanden, wo es eine zentrale DSFA gibt, die von den einzelnen Schulen nur noch bestätigt werden muss.