KI-Zusammenfassungen prüfen: Ein Raster für Behörden

Welche Fehler können trotz plausibler Sprache auftreten?

Eine KI-Zusammenfassung liest sich selten wie ein Fehlerbericht. Sie ist glatt, geordnet und sprachlich sauber, und genau das macht die Abnahme so wichtig. Generative KI-Systeme neigen dazu, Inhalte frei zu erfinden, auch wenn die Ergebnisse auf den ersten Blick sehr plausibel wirken, weil die Ausgabe anhand von Wahrscheinlichkeiten generiert wird^[1].

Für die Prüfung in Ihrer Verwaltung heißt das: Plausibilität ist kein Beweis. Wer eine Kurzfassung nur überfliegt, bewertet den Sprachfluss, nicht den Inhalt. In der Praxis treten vier Fehlerklassen auf, die sich sauber unterscheiden, weil jede eine eigene Prüfung verlangt.

Warum flüssige Sprache täuscht: Sprachmodelle optimieren auf wahrscheinliche Formulierungen, nicht auf geprüfte Fakten. Ein Text, der sich gut liest, sagt nichts darüber aus, ob jede Aussage im Originaldokument steht. Genau deshalb ersetzt der Gesamteindruck keinen Quellenabgleich, und genau deshalb arbeitet ein Abnahmeraster die vier Fehlerklassen einzeln ab, statt dem Leseeindruck zu vertrauen.

Welche Aussagen brauchen einen direkten Quellenabgleich?

Nicht jede Zeile einer Kurzfassung braucht dieselbe Prüftiefe. Der Maßstab ist die Entscheidung, die später auf der Zusammenfassung aufbaut: Jede entscheidungsrelevante Aussage muss auf eine konkrete Passage im Originaldokument zurückführbar sein. Der bayerische KI-Leitfaden verlangt, dass Ausgaben anhand vertrauenswürdiger Quellen auf inhaltliche Richtigkeit und Vollständigkeit überprüft werden, und stellt klar, dass eine ungeprüfte Übernahme von KI-generierten Inhalten nicht zulässig ist^[2].

Diese vier Klassen deckt kein Leseeindruck auf, sondern nur ein strukturierter Abgleich mit dem Originaldokument. Die folgenden Abschnitte führen durch ein Abnahmeraster, das genau das leistet: vom Quellenabgleich entscheidungsrelevanter Aussagen über die Kontrolle von Zahlen und Fristen bis zur dokumentierten Freigabe. So bleibt die menschliche Kontrolle dort verankert, wo der Bayerische Leitfaden sie verlangt, und Ihr Kollegium gewinnt ein Verfahren, das sich in den Arbeitsalltag einfügt statt darüber zu stellen.

Entscheidungsrelevant von nebensächlich unterscheiden

Entscheidungsrelevant ist eine Aussage dann, wenn jemand auf ihrer Grundlage handelt: wenn ein Anspruch bejaht oder abgelehnt, eine Frist gesetzt oder eine Zuständigkeit zugeordnet wird. Nebensächlich sind dagegen Gliederungen und Überleitungen, die den Inhalt nur ordnen. Für die nebensächlichen Stellen genügt der Blick, ob sie den Sinn des Originals treffen; für die entscheidungsrelevanten Stellen genügt das nicht.

• Ansprüche und ihre Voraussetzungen: Wer hat unter welchen Bedingungen einen Anspruch?
• Fristen, Stichtage und Ausschlussfristen
• Ausnahmen, Ausschlüsse und Vorbehalte
• Zuständigkeiten und Wegeinstellungen
• Beträge, Sätze, Quoten und ihre Bezugsgrößen

Die Praxis in den Landesverwaltungen zeigt, dass diese Durchsicht fest eingeplant wird. Die Text-Assistenz F13 der baden-württembergischen Landesverwaltung stellt in ihrer Zusammenfassungsfunktion ausdrücklich klar, dass zusammengefasste Texte stets die Durchsicht beziehungsweise Kontrolle eines Menschen erfordern und eine Automatisierung von Prozessen nicht vorgesehen ist^[3]. Für Ihre Verwaltung lässt sich daraus eine einfache Triage ableiten:

Geprüft wird immer gegen das Originaldokument, nicht gegen das Gedächtnis oder den Gesamteindruck. Wie sich ein solcher Abgleich schon beim Auftrag vorbereiten lässt, etwa über eine Soll-Liste der Aussagen, die die Kurzfassung enthalten muss, beschreibt ein eigener Leitfaden zum Zusammenfassen von Verwaltungsdokumenten.

• Prüfpflichtig: Alles, was Fristen, Beträge, Zuständigkeiten, Rechtsfolgen, Auflagen oder Ausschlussgründe benennt. Diese Aussagen werden Satz für Satz mit der Originalpassage abgeglichen, bevor die Kurzfassung weitergegeben wird.
• Prüfpflichtig bei Weiterverwendung: Aussagen, die in Schreiben an Bürger:innen, in Vorlagen an Gremien oder in interne Weisungen übernommen werden sollen. Hier genügt auch ein plausibler Wortlaut nicht, weil die Aussage außerhalb des Dokuments Wirkung entfaltet.
• Unkritisch: Allgemeine Einordnungen, die das Original ohnehin nur wiedergeben und die kein Handeln stützen, etwa die Gliederung eines langen Berichts. Auch hier empfiehlt sich ein Stichprobenabgleich, aber nicht jede Zeile.

Die Verantwortung bleibt dabei beim Kollegium. Der bayerische Leitfaden hält fest, dass der Einsatz generativer KI die Beschäftigten nicht von der inhaltlichen und formalen Verantwortung für ihre Arbeitsergebnisse entbindet^[2]. Die KI entlastet bei der Vorarbeit; Prüfung und Freigabe bleiben Aufgabe der Mitarbeitenden. Was rechtlich passiert, wenn eine geprüfte Auskunft dennoch falsch ist, behandelt ein eigener Fachbeitrag zur Amtshaftung.

Wichtig ist die Konsequenz der Triage: Eine Aussage, die Sie nicht auf eine Originalpassage zurückführen können, wird so behandelt, als stünde sie nicht in der Kurzfassung. Sie geht nicht in Schreiben, Vorlagen oder Besprechungsunterlagen ein, bis der Beleg nachgereicht ist. Genau diese Disziplin unterscheidet eine geprüfte Zusammenfassung von einem flüssigen Text, dem man vertraut, weil er gut klingt.

Wie werden Zahlen und Fristen kontrolliert?

Zahlen verdienen eine eigene Prüftechnik, weil sie im Original meist isoliert stehen: ein Betrag, ein Prozentsatz, ein Datum. Beim Überfliegen prüft das Auge den Kontext, nicht die Ziffern. Der bayerische Leitfaden verlangt die Prüfung auf inhaltliche Richtigkeit und Vollständigkeit^[2]. Das lässt sich bei Zahlen nur paarweise erreichen: Jede Zahl der Kurzfassung wird direkt neben die entsprechende Stelle im Original gelegt.

Paarweiser Abgleich in vier Schritten

Der Bayerische KI-Leitfaden verlangt von den Beschäftigten die Prüfung der Ergebnisse auf inhaltliche Richtigkeit und Vollständigkeit, bevor sie übernommen werden^[2]. Für Zahlen und Fristen lässt sich diese Anforderung in vier paarweise geprüfte Dimensionen aufschlüsseln:

1. Wert: Stimmt die Ziffer selbst, auch wenn im Dokument mehrere ähnliche Zahlen stehen?
2. Einheit: Prozent oder Prozentpunkte, Euro oder Cent, Quadratmeter oder Hektar?
3. Bezugsgröße: Pro Monat oder pro Jahr, pro Antrag oder pro Haushalt, brutto oder netto?
4. Frist: Datum, Fristlänge und Anknüpfung, etwa ab Zugang, ab Bescheidung oder im Kalenderjahr?

Typische Fehler sind Zahlendreher bei ähnlichen Werten, vertauschte Einheiten und verschobene Bezugsgrößen. Besonders tückisch sind Zahlen, die im Original mehrfach vorkommen: Hier trägt der Abgleich nur, wenn die Fundstelle mitgeprüft wird, nicht nur der Wert.

Praktisch bewährt sich ein kurzes Prüfprotokoll: Für jede maßgebliche Zahl notieren die Mitarbeitenden Fundstelle im Original, Wert in der Kurzfassung und Prüfergebnis. Das Protokoll kostet wenige Minuten und macht die Prüfung nachvollziehbar, auch für Dritte. Eine zweite KI, die die Zusammenfassung gegenliest, ersetzt dieses Vorgehen nicht: Sprachmodelle teilen dieselben strukturellen Schwächen, und die Wissenschaftlichen Dienste des Bundestages beschreiben Halluzinationen als ein mit der Funktionsweise generativer Modelle verbundenes strukturelles Risiko, nicht als gelegentlichen Ausnahmefehler^[1]. Eine unabhängige Kontrolle beginnt am Originaldokument, nicht an einer weiteren Modellantwort.

Fristen und Stichtage sind ein eigener Prüfpunkt, weil sie zwei Fehlerquellen vereinen: das Datum selbst und die Bedingung, an die es geknüpft ist. Eine korrekte Frist mit falscher Anknüpfung ist genauso gefährlich wie ein falsches Datum. Beides steht paarweise im Original und wird paarweise geprüft.

Wie lassen sich verlorene Einschränkungen erkennen?

Bedingungen sind der stille Verlust in jeder Kurzfassung. Ausnahmen, Geltungsbereiche und Vorbehalte stehen im Originaldokument oft in Nebensätzen, Fußnoten oder eigenen Abschnitten, und genau dort haben Zusammenfassungen den größten Spielraum, sie wegzulassen. Das Ergebnis ist eine Aussage, die im engeren Sinne nicht falsch ist, aber einen weiteren Geltungsbereich behauptet als das Original. Für Ihre Verwaltung ist das die gefährlichste Fehlerklasse, weil sie sich in Schreiben und Bescheide einschleicht, ohne dass jemand eine falsche Zahl bemerkt.

Widersprüchliche Originalstellen gehören in denselben Arbeitsschritt: Lassen sich zwei Passagen des Originals nicht vereinbaren, kennzeichnen Sie den Widerspruch und lassen ihn fachlich klären. Eine Kurzfassung, die den Widerspruch glättet, verliert genau die Information, die die Fachabteilung braucht.

Behandeln Sie Einschränkungen deshalb als eigene Prüfpunkte, nicht als Nebenbefund der inhaltlichen Durchsicht. Typische Kandidaten in Verwaltungsdokumenten sind:

Drei Prüfpunktgruppen

• Einkommens- und Vermögensgrenzen, die eine Bewilligung überhaupt erst eröffnen
• Ausnahmetatbestände und Befreiungen von einer grundsätzlichen Pflicht
• Örtliche und sachliche Geltung, etwa der Bezug auf bestimmte Ortsteile, Straßen oder Antragsarten
• Zeitliche Vorbehalte wie Befristungen, Übergangsfristen oder Stichtage
• Formulierungen mit nur, sofern, ausgenommen, im Einzelfall oder abweichend davon

• Ausnahmen: Formulierungen wie „gilt nicht für“ oder „mit Ausnahme von“ brauchen in der Kurzfassung eine Entsprechung oder einen bewussten Verweis
• Geltungsbereiche: Wer ist gemeint, welche Personengruppe oder welcher Fachbereich? Wo gilt die Aussage, auf Bund-, Landes- oder kommunaler Ebene? Bis wann, welcher Zeitraum oder Stichtag?
• Vorbehalte und Bedingungen: Klauseln wie „vorbehaltlich der Haushaltsmittel“ oder „im Einvernehmen mit“ tragen die Aussage mit und dürfen beim Kürzen nicht fallen

Gehen Sie das Originaldokument gezielt auf solche einschränkenden Formulierungen durch und prüfen Sie für jede einzelne, ob sie in der Kurzfassung auftaucht. Fehlt sie, ist das ein Befund, kein Kavaliersdelikt: Die Aussage wird ergänzt oder die Kurzfassung verworfen. Vorbeugen lässt sich der Verlust zudem im Auftrag selbst. Die Bayerische Prompt-Hilfe empfiehlt, klare Rahmenbedingungen vorzugeben, etwa sich auf einen bestimmten Kontext zu beschränken, und das gewünschte Ausgabeformat festzulegen^[4]. Wenn Sie der KI ausdrücklich vorgeben, alle Bedingungen, Ausnahmen und Geltungsbereiche wortgetreu zu übernehmen, sinkt die Wahrscheinlichkeit, dass sie im Weglassen endet. Die Prüfung ersetzt das trotzdem nicht, denn die Verantwortung für die Übernahme bleibt bei den Beschäftigten^[2].

Die Gegenprobe läuft über das Originaldokument: Vor dem Lesen der Kurzfassung werden im Original alle einschränkenden Formulierungen markiert. Danach wird geprüft, ob jede Markierung in der Kurzfassung wieder auftaucht. Fehlt sie, liegt eine verlorene Einschränkung vor, auch wenn der Rest der Zusammenfassung korrekt ist.

Wann genügt Nacharbeit und wann ein Neustart?

Wer die Entscheidung aufschiebt, blockiert die Bearbeitung: Eine ungeprüfte Kurzfassung darf nicht in Schreiben, Vorlagen oder Besprechungsunterlagen einfließen. Die drei Ausgänge lassen sich deshalb an zwei Fragen festmachen: Trägt die Struktur des Ergebnisses noch, und lassen sich die wesentlichen Aussagen am Originaldokument belegen?

Die Prüfung mündet in eine von drei Entscheidungen: gezielte Korrektur, erneuter Auftrag oder Verwerfen der Kurzfassung. Wer diese Entscheidung nach Bauchgefühl trifft, verliert Zeit oder akzeptiert unbelegbare Aussagen. Eine einfache Entscheidungsregel hilft: Maßgeblich ist, ob sich die wesentlichen Aussagen der Kurzfassung nach der Prüfung noch verlässlich auf das Originaldokument beziehen lassen.

Auch der Auftrag selbst kann Einschränkungen schützen. Wer im Auftrag festlegt, welche Einschränkungen die Kurzfassung enthalten muss, verringert das Risiko, dass sie beim Kürzen verloren gehen. Geprüft wird trotzdem gegen das Original, denn der Auftrag entlastet von der Prüfung nicht.

1. Gezielte Korrektur: Die Struktur der Kurzfassung stimmt, einzelne Aussagen sind nachweislich falsch oder unvollständig, und die Belege im Original sind vorhanden. Dann korrigieren die Mitarbeitenden die betroffenen Stellen direkt und dokumentieren die Änderung im Prüfprotokoll.
2. Erneuter Auftrag: Die Kurzfassung ist in weiten Teilen unbrauchbar, aber das Originaldokument ist klar strukturiert und die Aufgabe lässt sich präziser formulieren. Dann lohnt ein zweiter Durchlauf mit schärferer Vorgabe, die Pflichtaussagen und Rahmenbedingungen explizit benennt.
3. Verwerfen: Wesentliche Aussagen lassen sich nicht verlässlich belegen, oder die Kurzfassung verdeckt systematisch Bedingungen und Einschränkungen. Dann wird die Fassung nicht nachgebessert, sondern verworfen. Die Zusammenfassung wird neu erstellt oder die Aufgabe wird ohne KI-Unterstützung bearbeitet.

Die Entscheidung dokumentieren

Der Neustart ist kein Eingeständnis des Scheiterns, sondern Teil eines sauberen Prozesses. Wichtig ist, dass die Entscheidung dokumentiert wird: Welche Aussagen waren nicht belegbar, welche Fehlerklasse betraf sie, warum wurde verworfen. Diese Dokumentation ist der Nachweis, dass die menschliche Kontrolle tatsächlich stattgefunden hat, und sie ist zugleich die Grundlage, um den Auftrag beim nächsten Mal von Anfang an präziser zu stellen.

Wie wird die Ergebnisfreigabe dokumentiert?

Die dokumentierte Freigabe bündelt die drei Ausgänge der Prüfung. Die folgende Übersicht stellt Befund, Entscheidung und Voraussetzung zusammen:

Ein Abnahmeraster entfaltet seine Wirkung erst, wenn es im Kollegium geteilt wird. Bewährt hat sich ein dreiteiliges Set: eine absichtlich fehlerhafte Kurzfassung, ein Lösungsschlüssel und eine dokumentierte Freigabe. Alle drei Teile lassen sich intern redaktionell entwickeln, ohne dass dafür technische Vorkenntnisse nötig wären.

• Absichtlich fehlerhafte Kurzfassung: Nehmen Sie ein reales, aber freigegebenes Dokument Ihrer Verwaltung, etwa eine ältere Richtlinie oder eine Verwaltungsvorschrift, und lassen Sie eine Kurzfassung erstellen. Überarbeiten Sie diese anschließend redaktionell und bauen Sie bewusst Fehler aus allen vier Klassen ein: eine Auslassung, eine unbelegte Ergänzung, einen Zahlenfehler und eine verlorene Bedingung.
• Lösungsschlüssel: Listen Sie zu jedem eingebauten Fehler die Fehlerklasse, die betroffene Stelle in der Kurzfassung und die korrekte Passage im Originaldokument auf. Der Schlüssel macht sichtbar, warum der Fehler ein Befund ist und nicht nur eine stilistische Abweichung.
• Dokumentierte Freigabe: Halten Sie fest, wer die Zusammenfassung geprüft hat, welche Aussagen gegen welche Originalpassagen abgeglichen wurden und mit welchem Ergebnis die Freigabe erteilt wurde. Dieses Protokoll ist der Nachweis der menschlichen Kontrolle.

Das fehlerhafte Beispiel eignet sich hervorragend für die Schulung des Kollegiums: Mitarbeitende durchsuchen die Kurzfassung im Selbsttest, vergleichen mit dem Lösungsschlüssel und sehen unmittelbar, welche Fehlerklasse sie übersehen hätten. Die dokumentierte Freigabe schließlich knüpft an die Vorgaben des Bayerischen KI-Leitfadens an, wonach Beschäftigte Ergebnisse prüfen und die Verantwortung für die Übernahme tragen^[2], und an die Praxis in Baden-Württemberg, wo zusammengefasste Texte stets die Durchsicht und Kontrolle eines Menschen erfordern^[3]. Wer die Freigabe dokumentiert, kann sie gegenüber Dienstvorgesetzten, Datenschutzbeauftragten und im Zweifel gegenüber Dritten belegen.

Die Entscheidung über Korrektur, erneuten Auftrag oder Verwerfen ist damit anhand der Belegbarkeit getroffen; die Kriterien dafür stehen in der Übersicht oben. Wie die fachliche Kontrolle bei KI-Entwürfen grundsätzlich organisiert ist, zeigt ein Leitfaden zum Entwurf von Antwortschreiben mit KI.

Wie prüft man Zusammenfassungen im Schreibtisch-Pilot?

Vom Raster zum Pilot

Für den Einstieg empfiehlt sich ein begrenzter Pilot statt einer flächigen Einführung. Charly_Schreibtisch ist der DSGVO-konforme KI-Arbeitsplatz für Mitarbeitende in Kommunen und Landkreisen: Lange Dokumente lassen sich zusammenfassen und erklären, gezielte Fragen zu einem Dokument stellen, Texte entwerfen und überarbeiten. Genau diese Anwendungsfälle lassen sich mit dem Abnahmeraster aus den vorherigen Abschnitten verbinden, sodass die Ergebnisprüfung von Beginn an Teil des Pilots ist statt einer nachgeschalteten Kontrolle.

Dafür genügt keine einmalige Erläuterung; besser ist ein kleiner, wiederholbarer Test mit dem dreiteiligen Set aus dem vorherigen Abschnitt. Der bayerische Leitfaden fordert, dass geregelt ist, wie protokolliert und dokumentiert wird, um eine spätere Nachvollziehbarkeit zu gewährleisten^[2].

Strukturieren Sie den Pilot um ein freigegebenes Beispieldokument, etwa eine Richtlinie oder Verwaltungsvorschrift, die für die tägliche Arbeit relevant ist:

Der Aufbau des Rasters

1. Beispieldokument festlegen: Wählen Sie ein Dokument, dessen Inhalt im Kollegium gut bekannt ist, damit Abweichungen schnell auffallen. Das Dokument wird in Charly_Schreibtisch hinterlegt und die Zusammenfassung erstellt.
2. Abnahmeraster anwenden: Die Mitarbeitenden prüfen die Kurzfassung anhand der vier Fehlerklassen, führen den paarweisen Zahlen- und Fristenabgleich durch und suchen gezielt nach verlorenen Einschränkungen.
3. Prüfentscheidung dokumentieren: Für jede wesentliche Aussage wird festgehalten, ob sie auf eine Originalpassage zurückführbar ist. Die Entscheidung zwischen Korrektur, erneutem Auftrag und Verwerfen wird im Prüfprotokoll festgehalten.
4. Ergebnisse im Kollegium teilen: Die Erfahrungen aus dem Pilot fließen in die Schulung am absichtlich fehlerhaften Beispiel ein und schärfen den Blick für die Fehlerklassen im Alltag.

Wiederholen Sie den Test in regelmäßigen Abständen, etwa wenn neue Mitarbeitende einsteigen oder bevor das Raster für die Verwaltung verbindlich wird. So bleibt die Prüfung eine geübte Routine statt einer einmaligen Übung, und das Kollegium erkennt die vier Fehlerklassen auch dann, wenn der Alltag dicht wird.

Auf der Produktseite von Charly_Schreibtisch finden Sie eine Übersicht der Anwendungsfälle, mit denen sich der Pilot konkret aufbauen lässt. Wenn Sie die Ergebnisprüfung anhand eines freigegebenen Beispiels gemeinsam durchgehen möchten, sprechen Sie uns gern an: Wir klären mit Ihnen, wie sich das Abnahmeraster in Ihren Pilot übertragen lässt und welche Schritte sich daraus für Ihr Kollegium ergeben.

Das Raster an einem echten Dokument erproben

Das Raster wird erst im Alltag belastbar, wenn es an einem echten Dokument erprobt wird. Im Pilot mit Charly_Schreibtisch bietet sich dafür ein freigegebenes Beispiel an: ein bekanntes Verwaltungsdokument, etwa eine häufig genutzte Förderrichtlinie oder eine interne Verfahrensbeschreibung. Weil alle Beteiligten den Inhalt kennen, fallen Abweichungen zwischen Kurzfassung und Original schnell auf, und die Prüfung lässt sich gemeinsam auswerten. Der bayerische Leitfaden verlangt, dass KI-Ergebnisse vor der Verwendung kritisch geprüft werden^[2]; der Pilot macht daraus eine gemeinsame Übung.

Für den Quellenabgleich macht genau das den Pilot praktikabel: Mitarbeitende können in Charly_Schreibtisch lange Dokumente zusammenfassen und erklären lassen und gezielte Fragen zu einem Dokument stellen. Die Prüfung läuft direkt am Originaldokument, jede Aussage der Kurzfassung lässt sich gegen die konkrete Passage im Dokument halten, ohne die Werkzeuge zu wechseln.

Der Ablauf im Pilot

1. Freigegebenes Beispieldokument festlegen und dem Kollegium bekannt machen
2. Kurzfassung mit Charly_Schreibtisch erstellen lassen
3. Raster anwenden: Fehlerklassen, Quellenabgleich, Zahlen und Fristen, verlorene Einschränkungen
4. Befunde gemeinsam auswerten und die Freigabe dokumentieren
5. Erkenntnisse in den Auftrag und in die Pflege der Wissensbasis zurückspielen

Zur Vorbereitung gehört auch die Frage, welche Dokumente überhaupt in ein KI-System eingegeben werden dürfen. Wie die Freigabe vor dem Upload abläuft, also die Prüfung von Personenbezug und Vertraulichkeit vor der Eingabe, erklärt ein eigener Leitfaden für Digitalisierungsbeauftragte.

Wer das Raster einmal an einem bekannten Dokument durchgespielt hat, wendet es auf jede neue Kurzfassung an, ohne dass zusätzlicher Aufwand entsteht. Wie Charly_Schreibtisch Dokumente versteht, Zusammenfassungen erstellt und gezielte Fragen zum Originaldokument erlaubt, beschreibt die Produktseite zu. Dort finden Sie auch, wie sich der Einstieg in Ihrer Verwaltung gestalten lässt.