DKJS – Memorandum zu KI in der Leistungbewertung

KI ist heute leicht verfügbar und ohne Spezialkenntnisse zu bedienen. Das wirkt sich auch auf den Bildungssektor aus. Zahlreiche auf Schulen spezialisierte Anbieter drängen auf den Markt. Die KMK wie auch die einzelnen Schulministerien ermutigen zur Nutzung der neuen Technologien und haben Handreichungen für Schulen veröffentlicht. Bisher bewegen sich Schulen beim Einsatz von KI-Plattformen allerdings in einem rechtlich kaum geregelten Bereich. Vor diesem Hintergrund hatte die Deutsche Kinder- und Jugendstiftung (DKJS) bei der Kanzlei Spirit Legal ein Memorandum zum Einsatz von generativer KI in der schulischen Leistungsbewertung in Auftrag gegeben und dieses Ende Mai 2025 veröffentlicht.

Die wesentlichen Aussagen der Schrift sollen im Folgenden in kürzerer und verständlicher Form wiedergegeben werden. Das Memorandum beschreibt zunächst kurz die technischen und rechtlichen Möglichkeiten und Grenzen von KI-Systemen bei der Leistungsbewertung  und welche Verwendung zu empfehlen ist, bevor im Hauptteil dann eine tiefergehende Betrachtung mit Blick auf die DS-GVO wie auch die KI-Verordnung (KI-VO) folgt. Den Abschluss bilden 5 Take-aways der der DKJS. Mit der Schrift möchte die DKJS mit Fokus auf das „zunehmend populäre Feld von Leistungsbewertungen mit generativer künstlicher Intelligenz“ Orientierung bieten, „was geht und was nicht,“ und eine rechtliche Debatte anstoßen. Beim schulischen Einsatz von generativer KI geht es für die DKJS um den Schutz der Grundrechte von Schülerinnen und Schülern und die dafür erforderliche angemessene rechtliche Gestaltung. Mit dem Memorandum möchte man auch Schulaufsichten und Entscheider:innen im Bildungswesen in ihrer Arbeit unterstützen, indem man ihnen einen neuen Blick auf die sich entwickelnden KI Technologien ermöglicht.

Mit KI-Systemen wie ChatGPT oder Gemini ist es technisch möglich, schriftliche Leistungen von Schülerinnen und Schülern zu bewerten und verschiedene Anbieter bieten darauf aufbauend spezialisierte Anwendungen „in sehr unterschiedlicher Qualität“ an. Die beworbenen Qualitäten dieser Korrekturlösungen – wie etwa hohe Präzision – entsprechen jedoch nicht der Realität und selbst Anbieter weisen teilweise selbst auf mögliche Probleme durch „besondere sprachliche Komplexität“, die zu abweichenden Bewertungen führen kann, hin. Für Lehrkräfte sind die Angebote verlockend, da sie Entlastung versprechen. Dem stehen jedoch „erhebliche rechtliche und praktische Bedenken“ entgegen. Die Verfasser des Memorandums gehen davon aus, dass beim Einsatz von marktverfügbaren KI-Systemen die hohen rechtlichen Anforderungen, welche sich aus der DS-GVO und der KI-VO ergeben, nicht erfüllbar sind und ihr Einsatz zur Bewertung schulischer Leistungen in der Regel nicht nur rechtswidrig, sondern anfechtbar oder sogar nichtig ist und für Lehrkräfte „erhebliche Konsequenzen“ haben kann.

KI-Systeme, basierend auf großen Sprachmodellen (LLM), können die Texte von Schülerinnen und Schülern rein technisch betrachtet, nicht wirklich verstehen wie Menschen das tun, auch wenn ihre Bewertungen große Ähnlichkeit zu denen von Menschen haben und ungeprüft plausibel erscheinen. Bei genauerer Betrachtung zeigen sich jedoch oft Fehler. Sie scheitern an Inhalten und Ausdrucksformen, welche über ihren Trainingshorizont hinausgehen und können auch keine Argumentationsstrukturen nachvollziehen. Zudem sind die den Bewertungen zugrundeliegenden Muster und Wahrscheinlichkeiten nicht nachvollziehbar. Gerade bei der Bewertung menschlicher Leistungen ist das besonders problematisch. Lehrkräften ist oftmals nicht klar, welche Risiken damit einhergeht, wenn sie sich auf die Erstkorrektur durch eine KI verlassen und diese ungeprüft übernehmen. Allerdings ist die Versuchung groß, eben da die von den KI-Systemen ausgegebenen Resultate auf den ersten Blick perfekt erscheinen.

Die Probleme, welche KI-Systeme mit der Leistungsbewertung haben, schließen eine schulische Nutzung in anderen Bereichen nicht aus. So sehen die Autoren durchaus Möglichkeiten bei der Erstellung differenzierter Unterrichtsmaterialien, solange dieses ohne personenbezogene Daten einzelner Schülerinnen und Schüler erfolgt. Auch wenn es um Feedback durch KI-Systeme geht, haben die Autoren keine Bedenken, solange eine freiwillige Einwilligung der Schüler bzw. der Erziehungsberechtigten vorliegt und negatives Feedback keinen Einfluss auf die Notengebung hat.

Daran anschließend folgt eine systematische Betrachtung der datenschutzrechtlichen Anforderungen an den KI-Einsatz auf Basis der DS-GVO, die 9 zentrale Aspekte aufgreift.

• Wird eine Bewertung von Prüfungsantworten mittels eines KI-Systems vorgenommen, werden dabei immer personenbezogene Daten verarbeitet. Das trifft für die Autoren selbst dann zu, wenn Lehrkräfte Leistungsnachweise anonymisiert eingeben, da diese die ausgegebenen Ergebnisse den Schülerinnen und Schülern bei der Notenfindung eindeutig zuordnen können. Sie begründen dieses mit einem Urteil des Europäischen Gerichtshofs (EuGH, Urteil vom 20.12.2017 – C-434/16 – Nowak, Rn. 35 ff.), nach welchem auch Prüfungsleistungen als personenbezogene Daten gelten.
• Der Einsatz von KI zur Bewertung von Schülerleistungen widerspricht mehreren Grundsätzen der Datenverarbeitung gemäß Art. 5 DS-GVO. Dabei geht es um die Grundsätze der
  • Transparenz (Art. 5 Abs. 1 lit. a DSGVO): Da die Entscheidungen von KI-Plattformen nicht nachvollziehbar sind, kann dieser Grundsatz nicht eingehalten werden.
  • Richtigkeit (Art. 5 Abs. 1 lit. d DSGVO): KI-Plattformen sind fehleranfällig und können zu unrichtigen oder fehlerhaften Bewertungen führen.
  • Datenminimierung (Art. 5 Abs. 1 lit. c DSGVO): Selbst wenn man mit Arbeitsüberlastung und fehlendem Personal oder Nützlichkeit argumentieren würde, bleibt der Einsatz von KI zur Leistungsbewertung unverhältnismäßig, da er nicht unbedingt erforderlich ist. Dazu wird verwiesen auf das EuGH-Urteil vom 9.1.2025 (C‑394/23), wonach eine Datenverarbeitung nur zulässig ist, wenn sie unbedingt notwendig ist (Rn. 24, 42, 55)
• Verarbeiten Lehrkräfte personenbezogene Daten aus der Schule über den vom Schulrecht vorgegebenen Rahmen hinaus, werden sie im Sinne der DS-GVO zu Verantwortlichen und müssen persönlich deren Einhaltung gewährleisten. Man spricht hier von einem Mitarbeiter-Exzess.
• Die Schule haftet gem. Art. 82 DS-GVO auch bei einem Mitarbeiter-Exzess, für Schülerinnen und Schülern durch weisungswidrigen Einsatz von KI entstehende Schäden (EuGH, Urteil vom 11.04.2024 – C-741/21).
• Da schulische Leistungen sensible Daten wie Gesundheitsinformationen (z. B. zu Lese-Rechtschreib- oder Lernschwächen), Angaben zur religiösen Überzeugung sowie Hinweise auf politische Meinungen in geisteswissenschaftlichen Fächern enthalten können, unterliegen sie dem besonderen Schutz von Art. 9 DS-GVO, selbst wenn sie lediglich indirekt durch gedankliche Verknüpfung oder Ableitung erkennbar werden (Eu-GH Urteil vom 4.10.2024 – C-21/23, Rn. 82 ff.).
  • Schulen dürfen – nach Einschätzung der Autoren – sensible personenbezogene Daten nach Art. 9 DS-GVO grundsätzlich nicht verarbeiten, da die wenigen vorgesehenen Ausnahmen – etwa bei erheblichem öffentlichen Interesse und ausreichendem Schutz – in den meisten landesrechtlichen Schuldatenschutzregelungen nicht erfüllt sind.
  • Darüber hinaus sehen sie keine Erforderlichkeit, KI-Plattformen im Rahmen der Erfüllung des Bildungsauftrags zur Leistungsbewertung einzusetzen.
  • Schulen können die Verarbeitung von besonderen Kategorien von personenbezogenen Daten auch nicht über eine Einwilligung legitimieren, da Schülerinnen und Schüler erst ab Vollendung des 16. Lebensjahres wirksam einwilligen können und die Freiwilligkeit regelmäßig durch die schulischen Abhängigkeitsverhältnisse angezweifelt werden kann.
• Für eine Bewertung von personenbezogenen Schülerdaten zur Leistungsbewertung fehlt eine ausdrückliche, tragfähige Rechtsgrundlage. Die folgenden drei Aspekte verdeutlichen, warum die Autoren selbst bei großzügiger Auslegung keine tragfähige Rechtsgrundlage erkennen:
  • Sie lässt sich auch nicht aus der in allen Schulgesetzen zu findenden Generalklausel, welche Schulen die Datenverarbeitung zur Erfüllung des Bildungsauftrags erlaubt, herleiten. Sie müsste dazu im Sinne von Art. 6 Abs. 1 lit. e DS-GVO zur Wahrnehmung einer Aufgabe im öffentlichen Interesse „objektiv unerlässlich“ sein (EuGH, Urteil vom 9.1.2025 – C‑394/23, Rn. 26, 28, 33, 64).
  • Werden personenbezogene Daten von Schülerinnen und Schülern auf privaten Endgeräten von Lehrkräften verarbeitet, beschränkt sich deren Nutzung nach Ansicht der Autoren zwingend auf den unmittelbaren dienstlichen Kontext. Unter Rückgriff auf das hessische Schulrecht wird daraus gefolgert, dass in diesem Rahmen ausschließlich eine lokale Verarbeitung zulässig ist. Die Nutzung externer IT-Infrastrukturen wie Cloud-basierter KI-Systeme ist somit grundsätzlich unzulässig.
  • Eine Verarbeitung der personenbezogenen Daten von Schülerinnen und Schülern zur Leistungsbewertung auf Grundlage der Einwilligung von Schüler:innen oder ihrer Erziehungsberechtigten ist aus Sicht des Memorandums aus den bereits zuvor genannten Gründen „praktisch ausgeschlossen.„
• Art. 22 DS-GVO lässt keine automatisierten Bewertungen, wenn sie wesentliche Auswirkungen hat, z.B. auf Noten. Das ist bei einer Leistungsbewertung mit einem KI-System der Fall. Selbst wenn eine Lehrkraft formal die Entscheidung trifft, genügt es bereits, wenn sie sich maßgeblich durch die KI beeinflussen lässt. Deshalb gilt für die Autoren: „Eine Benotung, die
  sich im Wesentlichen auf die Leistungsbewertung durch KI stützt, ist daher unzulässig.„
• Bei einer Nutzung von KI-Systemen zur Leistungsbewertung dürfen die Betroffenenrechte der Schülerinnen und Schüler nicht ausgehöhlt werden.
  • Entsprechend muss die Schule vorab gem. Art. 13 DS-GVO informieren. Dazu gehören auch „ Informationen zur Funktionsweise der eingesetzten KI .„
  • Außerdem haben die Schülerinnen und Schüler ein Recht auf Auskunft gem. Art. 15 DS-GVO bezüglich der Bewertung ihrer Leistungen, einschließlich der angewendeten Bewertungskriterien durch eine „ durch eine geeignete und nachvollziehbare Dokumentation.“
  • Darüber hinaus steht den Schülerinnen und Schülern ein Widerspruchsrecht nach Art. 21 DS-GVO zu – etwa dann, wenn die KI ihre individuellen Besonderheiten (z. B. eine Beeinträchtigung oder schwer lesbare Handschrift) nicht angemessen berücksichtigt.
• Wenn eine Schule eine KI-Plattform wie fobizz, SchulKI oder vergleichbare Anbieter einsetzt, bei denen außereuropäische Dienstleister wie OpenAI (ChatGPT), Anthropic (Claude) oder Google (Gemini) beteiligt sind, muss sie gewährleisten, dass sämtliche Vorgaben der DSGVO zu Drittstaatentransfers (Art. 44 ff. DSGVO) bei allen beteiligten Unternehmen und Unterauftragnehmern rechtskonform umgesetzt sind.

Im fünften Teil geht es um die KI-VO im Kontext einer Nutzung von KI-Systemen für die Leistungsbewertung von Schülerinnen und Schülern. Vorab erklärt das Memorandum die bei der KI-VO zentralen Begriffe Anbieter und Betreiber.

• Dadurch, dass Schulen die Nutzung von KI-Systemen ermöglichen oder zumindest dulden, werden sie zum Betreiber und unterliegen damit den im folgenden beschriebenen Pflichten.
• Gleiches gilt für Lehrkräfte, wenn sie ein KI-System ohne Wissen der Schule zur Verarbeitung von personenbezogenen Daten aus der Schule einsetzen (Schatten-KI).

Zu den Pflichten eines Betreibers gehören:

• die Überprüfung, ob das eingesetzte KI-System den gesetzlichen Anforderungen entspricht,
• die kontinuierliche Überwachung der Nutzung zur Früherkennung und Minimierung von Risiken,
• die regelmäßige Schulung aller mit dem KI-System befassten Personen (einschließlich Lehrkräfte) für eine ausreichende KI-Kompetenz,
• die Einhaltung der Transparenzpflichten gemäß Art. 50 der KI-Verordnung,
• die Berücksichtigung der Hochrisikoeinstufung des KI-Einsatzes zur Leistungsbewertung im Schulkontext.

Drei dieser Pflichten werden danach etwas detaillierter beschrieben.

Alle an der Schule mit einem KI-Systeme arbeitenden Personen müssen über eine ausreichende KI-Kompetenz verfügen. Dies ist vor allem bei KI-gestützter Leistungsbewertung unerlässlich, um pädagogisch verantwortungsvoll und rechtssicher mit den Risiken und Anforderungen hochriskanter Systeme umzugehen. Diese Kompetenz umfasst drei Bereiche:

• Technisches Verständnis der Funktionsweise, Grenzen und Fehlerquellen der eingesetzten KI,
• Rechtliche Kenntnisse, insbesondere zu Datenschutz, Haftung und der KI-Verordnung,
• Ethisches Bewusstsein, z. B. im Hinblick auf Diskriminierung, Verzerrung und die Folgen automatisierter Entscheidungen.

Gemäß der KI-VO gelten KI-Systeme, welche zur Bewertung der Leistungen von Schülerinnen und Schülern eingesetzt werden, als Hochrisiko-Anwendungen (Art. 6 Abs. 2 in Verbindung mit Anhang III, Punkt 3 lit. b Ki-VO) und unterliegen besonders strengen Anforderungen an Sicherheit, Genauigkeit und Transparenz. Als Betreiber müssen Schulen den Einsatz der KI kontinuierlich überwachen, dokumentieren und auftretende Risiken frühzeitig erkennen und beheben. Der Einsatz solcher KI-Systeme ist nur zulässig, wenn sie die Vorgaben der KI-Verordnung vollständig erfüllen.

Die Autoren des Memorandums gehen davon aus, dass gegenwärtig kein auf einem großen Sprachmodell (LLM) basierendes KI-System (z.B. ChatGPT, Claude, Gemini) diese Anforderungen vollständig erfüllt – insbesondere wegen mangelnder Nachvollziehbarkeit der Ergebnisse und Intransparenz bei Trainingsdaten. Entsprechend kommen sie zu dem Schluss:

„Solange es den Anbietern nicht gelingt, ihre Systeme bis zur vollen Anwendbarkeit der KI-VO
rechtskonform zu gestalten, bleibt der Einsatz solcher Systeme in Schulen mit erheblichen rechtlichen Risiken behaftet.“

Beim Einsatz von KI-Systemen unterliegen Schulen einer Transparenzpflicht. Dies gilt insbesondere, wenn KI-Systeme zur Leistungsbewertung eingesetzt werden. Es müssen dann alle von der KI erzeugten Inhalte (z. B. Bewertungen, Rückmeldungen, Hinweise) klar als KI-generiert gekennzeichnet werden. Diese Pflicht gilt für alle Personen, auch wenn sie Inhalte verwenden, zu deren Erstellung eine andere Person ein KI-System genutzt haben.

Das Memorandum endet mit 5 Take-aways der DKJS zur schulischen Leistungsbewertung mittels KI-Systemen, die insbesondere die Wahrung der Datenschutzrechte und Grundrechte der Schüler:innen betonen.

1. Nach Ansicht der DKJS ist die unter Lehrkräften weit verbreitete Nutzung von privat beschafften KI-Systemen für eine Nutzung im Zusammenhang mit schulischen Aufgaben (Schatten-KI) „ein wesentlicher Grund dafür, dass KI in Schule nicht rechtskonform betrieben werden kann,“ und fordert Schulungen, eindeutige rechtliche Vorgaben  sowie deren konsequente Umsetzung im Schulalltag.
2. Schülerinnen und Schüler haben, so die DKJS, ein Anrecht auf eine gute Bildung und auch Bewertung durch menschliche Fachkräfte. KI ist dafür kein Ersatz.
3. Einwilligungen von Schüler:innen oder Erziehungsberechtigten zur KI-gestützten Leistungsbewertung gelten im schulischen Abhängigkeitsverhältnis nicht als freiwillig – und sind daher keine tragfähige Rechtsgrundlage.
4. Die DKJS sieht in den Möglichkeiten von KI-Systemen auch Chancen, etwa zur Unterrichtsvorbereitung, Differenzierung und zur inklusiveren Gestaltung außerunterrichtlicher organisatorischer Organisation und Teilhabe im Schulalltag und regt Schulen und Schulaufsichten dazu an, Bildungsqualität in einem kontinuierlichen Austausch gemeinsam weiterzuentwickeln.
5. Mit Blick auf die in den Schulgesetzen der Bundesländer fehlenden Rechtsgrundlagen für eine Nutzung von KI-Systemen empfiehlt die DKJS eine rechtliche Klarstellung durch die Länder sowie eine breit angelegte Diskussion über verbindliche Rahmenbedingungen für den datenschutzkonformen und pädagogisch verantwortungsvollen KI-Einsatz im Bildungsbereich.

Bewertung

Seit mit ChatGPT im November 2022 das erste öffentlich verfügbare große Sprachmodell im Internet auftauchte, haben nicht nur Schülerinnen und Schüler die Möglichkeiten erkannt, sondern auch Lehrkräfte. Nach ersten Experimenten zur Erstellung von Unterrichtsmaterialien und der Planung von Unterricht werden sich die Wagemutigeren auch an der Korrektur und Bewertung von Klassenarbeiten mittels KI versucht haben. Drei Jahre später dürfte die Mehrheit der Lehrkräfte eigene Erfahrungen mit der Nutzung von KI im Rahmen der Unterrichtsvor- und -nachbereitung haben. Wie viele von ihnen dabei auch mit der Leistungsbewertung experimentiert haben oder KI für diese Zwecke sogar regelmäßig einsetzen, ist schwierig abzuschätzen. Gleiches gilt für die Zahl der Lehrkräfte, welche eine für den Bildungsbereich konzipierte Plattform wie fobizz, SchulKI, FellowFish, Paddy oder ähnlich mit privat erworbener Lizenz nutzen. In einigen Bundesländern haben Lehrkräfte Zugriff auf eine dieser Plattformen über Landes-, Schulträger- oder Schullizenzen. Anders als universelle große LLM, die durch gezielte Prompts und geeignete Inhalte angeleitet werden müssen, um Schülerarbeiten zu bewerten, können einige kommerzielle Bildungs-KI-Plattformen dies in spezialisierten Modulen leisten – jedoch nicht für eine ungeprüft übernommene Endbewertung.

Aus datenschutzrechtlicher Sicht spricht zunächst nichts dagegen, Schülerarbeiten über eine Bildungs-KI-Plattform zu verarbeiten, mit der die Schule einen Vertrag zur Auftragsverarbeitung geschlossen hat. Problematisch wird es jedoch, wenn die Nutzung über eine erste Vorauswertung – etwa zu sprachlicher und grammatischer Richtigkeit – hinausgeht und die Plattform mithilfe von Musterlösung, Erwartungshorizont und Punktschema eine vollständige Bewertung erstellt, die anschließend ungeprüft oder nur oberflächlich kontrolliert als Endnote übernommen wird. Dass ein solches Vorgehen unzulässig ist, dürfte vielen Lehrkräften kaum bewusst sein.

Die meisten Leistungsnachweise entstehen aktuell und auch auf absehbare Zeit noch in handschriftlicher Form. Zwar können KI-Plattformen auch diese auswerten, wenn sie als Foto oder Scan hochgeladen werden, doch dürfte die KI-gestützte Bewertung – ob über private oder schulisch bereitgestellte Plattformen – bislang eher die Ausnahme als die Regel sein. Gründe dafür werden vor allem Bedenken sein aber auch fehlendes Know-how.

Trotz dieser aktuell vermutlich eher geringen Verbreitung weist die DKJS mit ihrem Memorandum auf ein zentrales und zugleich rechtlich heikles Thema hin: die Leistungsbewertung durch KI-Systeme. In der Mehrzahl der Bundesländer fehlt dafür bislang eine klare schulrechtliche Regelung – ein Umstand, der angesichts der technischen Entwicklung und der potenziellen Auswirkungen auf Grundrechte von Schülerinnen und Schülern dringend angegangen werden sollte. Der Schulversuch „proof – Prozessorganisation und Feedback“ in Bayern veranschaulicht exemplarisch, wie ein begrenzter Einsatz möglich ist: Im Rahmen dieser auf Grundlage der entsprechenden Bekanntmachung durchgeführten Pilotierung dürfen 16 Schulen KI zur Vorkorrektur etwa zur Beurteilung der sprachlichen und inhaltlichen Richtigkeit nutzen – ausdrücklich mit dem Ziel, Lehrkräfte bei Routineaufgaben zu entlasten, nicht jedoch als vollständige, ungeprüfte Leistungsbewertung.

Das Memorandum, welches sich vor allem an Schulaufsichten, Entscheidungsträger im Bildungswesen und rechtsetzende Stellen richtet – also Personen und Institutionen, die für Regelungen, Aufsicht und Umsetzung im Schulbereich zuständig sind, dürfte indirekt auch an Lehrkräfte gerichtet sein, um sie über rechtliche Risiken und Grenzen zu informieren und für den Umgang mit KI zu sensibilisieren.

Vor dem Hintergrund der Zielsetzung des Memorandums ist nachvollziehbar, dass die Autoren bei der Darstellung rechtlicher Risiken und Grenzen einen sehr konservativen und teilweise pauschalisierenden Ansatz wählen. Rechtlich zulässige oder zumindest diskussionswürdige Einsatzmöglichkeiten von KI werden dabei jedoch weitgehend ausgeblendet. Statt differenzierter Abwägungen finden sich häufig pauschale Ausschlüsse, etwa das generelle Verbot externer IT-Infrastrukturen bei privaten Endgeräten (IV.6) oder der vollständige Ausschluss der Einwilligung als Rechtsgrundlage (IV.7), ohne mögliche Ausnahmen – wie bei volljährigen Schüler:innen oder freiwilligen Zusatzangeboten – zu berücksichtigen. Zudem fehlt vielfach eine klare Trennung zwischen problematischer und unproblematischer Nutzung, etwa wenn Argumente zu Transparenz, Richtigkeit und Datenminimierung so formuliert werden, dass sie jede Form der KI-gestützten Leistungsbewertung erfassen, selbst bei bloß unterstützendem Einsatz durch Lehrkräfte.¹Vgl. Memorandum, (IV.2): Die Kritik an fehlender Transparenz, Richtigkeit und Erforderlichkeit wird ohne Unterscheidung zwischen vollautomatisierter und unterstützender KI-Nutzung formuliert und erfasst damit auch Szenarien, in denen Lehrkräfte KI-Ergebnisse eigenständig prüfen und korrigieren. Dadurch entsteht insgesamt ein einseitiges Bild, das die vorhandenen rechtlichen Gestaltungsspielräume im Schulkontext nur unvollständig widerspiegelt.