Fragen an ein PDF: Verlässliche Antworten mit KI finden

Welche konkrete Information wird gesucht?

Wer die Zentralen Dienste leitet, kennt die Situation: Ein Beschluss, eine Richtlinie oder ein langer Vermerk liegt als PDF vor, und ausgerechnet eine einzige Angabe wird gebraucht, etwa eine Frist, ein Schwellenwert oder eine Zuständigkeit. Das Dokument querzulesen kostet Zeit, die für die eigentlichen Fälle fehlt. Eine gezielte Dokumentfrage dreht das Verhältnis um: Statt das ganze Dokument zu lesen, stellen Sie eine klare Sachfrage und lassen sich die Antwortstelle benennen. Voraussetzung ist, dass die Frage selbst so präzise formuliert ist, dass eine Antwort überhaupt prüfbar werden kann.

Eine Sachfrage statt einer Aufgabenbeschreibung

Der Unterschied liegt in der Begrenzung. Eine allgemeine Aufgabenbeschreibung liefert eine breite Ausgabe, aus der Sie das Detail anschließend doch wieder selbst heraussuchen müssen. Eine einzelne, klar begrenzte Sachfrage lautet dagegen: Welche Frist gilt in diesem Dokument für die Einlegung eines Widerspruchs? Bayerns Prompt-Hilfe für Beschäftigte empfiehlt genau diese Präzision: die Aufgabe eindeutig beschreiben, vage oder mehrdeutige Anweisungen vermeiden, den Kontext abgrenzen und das Ausgabeformat von vornherein festlegen, etwa als Liste oder Tabelle.^[1]

• Das gesuchte Detail benennen: eine Frist, ein Betrag, eine Zuständigkeit oder eine Definition, auf die es konkret ankommt.
• Den Bezugsrahmen eingrenzen: welches Dokument, welche Fassung und, falls bekannt, welcher Abschnitt gemeint ist.
• Das Ausgabeformat vorgeben: Antwort plus Fundstelle, etwa als kurzer Satz oder als Tabellenzeile.

Bevor Sie die erste Frage stellen, lohnt ein kurzer Blick auf das Dokument selbst: Lässt sich der Text markieren und durchsuchen, oder handelt es sich um einen Scan ohne Textebene? Und wird das konkrete Format von dem KI-System, das Ihre Verwaltung freigegeben hat, zuverlässig unterstützt? Diese Prüfung gehört vor dem Test, nicht danach. Wie lange Verwaltungsdokumente sich ohnehin zweckgerichtet aufbereiten lassen, beschreibt unser Leitfaden zum gezielten Zusammenfassen.

Ist die Frage aus dem Dokument beantwortbar?

Nicht jede Frage, die sich zu einem Dokument stellen lässt, kann das Dokument auch beantworten. Bevor Sie eine Ausgabe bewerten, lohnt es sich, drei Fragetypen zu trennen. Die Unterscheidung entscheidet darüber, ob eine Antwort überhaupt richtig sein kann, oder ob das System eine Lücke füllen würde, die es nicht füllen darf.

Drei Fragetypen, drei Behandlungen

Dass Fragen zu hochgeladenen Dokumenten mit nachprüfbaren Quellen arbeiten, ist in der Landesverwaltung bereits erprobt: Die Text-Assistenz F13 des Innovationslabors Baden-Württemberg erlaubt Fragen zu einem hochgeladenen Dokument und liefert konkrete Antworten, die anhand der angegebenen Quellen validiert und vertieft werden können.^[2] Genau dieser Rückweg zur Quelle unterscheidet eine behauptete von einer nachprüfbaren Antwort.

Eine angegebene Seitenzahl ist dabei noch kein Beweis. Sie belegt höchstens, wo die Antwort stehen müsste, nicht dass die behauptete Passage tatsächlich dort steht. Ob das Zitat im Originaldokument existiert, zeigt erst der Blick auf die genannte Stelle, Wort für Wort. Für die Praxis heißt das: Behandeln Sie jede Fundstelle zunächst als Behauptung, die ihre Bestätigung erst am Original erhält.

Wie werden Belegstellen im Auftrag verlangt?

Eine Fundstelle fällt nicht automatisch aus der KI heraus. Sie ist eine Arbeitsanforderung, die Sie im Auftrag ausdrücklich verlangen. Bayerns Prompt-Hilfe zeigt das Prinzip in einem rollenbasierten Beispiel, das mit dem Satz endet: „Beziehe nur Fakten aus den mitgelieferten Dokumenten.“^[1] Übertragen auf Ihre Dokumentfrage heißt das: Die Antwort darf sich ausschließlich auf das bereitgestellte PDF stützen, nicht auf das allgemeine Wissen des Sprachmodells.

Vier Bausteine eines Dokumentauftrags

• Aufgabe: die konkrete Sachfrage, begrenzt auf ein einziges Detail.
• Kontextgrenze: nur das bereitgestellte Dokument, keine ergänzenden Quellen, keine eigenen Annahmen.
• Ausgabeformat: Antwort plus Fundstelle, etwa Seitenzahl und Textstelle oder wörtliches Zitat.
• Umgang mit Lücken: Fehlt die Information, soll das ausdrücklich gesagt werden, statt eine plausible Ergänzung zu liefern.

Nach der Ausgabe prüfen Sie zuerst, ob die geforderte Fundstelle überhaupt angegeben wurde, und erst danach, ob die Antwort plausibel klingt. Eine Antwort ohne Fundstelle ist im behördlichen Alltag keine verwertbare Antwort, sondern ein Hinweis, den Sie am Originaldokument nacharbeiten. Plausibilität ist dabei die schwächste aller Prüfungen: Gerade erfundene Angaben wirken auf den ersten Blick sehr überzeugend, wie der bayerische KI-Leitfaden für Beschäftigte festhält.^[3]

Wie wird eine Antwort am Original kontrolliert?

Der Quellenabgleich ist der Schritt, der eine KI-Antwort in ein belastbares Arbeitsergebnis überführt. Sie öffnen das Originaldokument an der angegebenen Stelle und lesen nach: Steht die behauptete Aussage dort, und stimmt der Wortlaut? Erst wenn beides zutrifft, darf die Antwort weiterverwendet werden. Dieser Schritt braucht kein Zusatzwerkzeug, nur das Dokument, das ohnehin vorliegt.

Vier Schritte am Original

1. Fundstelle öffnen: die angegebene Seite oder Textstelle im Originaldokument aufrufen.
2. Wortlaut vergleichen: behauptete Aussage und Originalsatz Satz für Satz gegenüberstellen.
3. Kontext prüfen: Steht die Stelle im richtigen Abschnitt und bezieht sie sich auf den richtigen Sachverhalt?
4. Ergebnis festhalten: Fundstelle und Prüfergebnis im eigenen Entwurf vermerken.

Beim Vergleich zählt der genaue Wortlaut, nicht der ungefähre Sinn. Eine Antwort, die von einer Frist von spätestens einem Monat berichtet, wo das Dokument innerhalb eines Monats sagt, kann in einem Verwaltungsfall einen messbaren Unterschied machen. Abweichungen notieren Sie und korrigieren die Formulierung, bevor der Text in einen Vorgang oder ein Antwortschreiben übergeht. Wie Sie dabei die fachliche und rechtliche Kontrolle behalten, beschreibt unser Leitfaden zum Antwortschreiben mit KI.

Die Prüfpflicht ist in den Leitfäden der Verwaltung ausdrücklich verankert. Der bayerische KI-Leitfaden für Beschäftigte stellt klar: Generative KI-Systeme neigen dazu, Inhalte frei zu erfinden, eine ungeprüfte Übernahme von KI-generierten Inhalten ist nicht zulässig, und die inhaltliche und formale Verantwortung für die Arbeitsergebnisse bleibt bei den Beschäftigten.^[3] Die KI-Leitlinien der Bundesverwaltung fassen denselben Gedanken als eigenen Leitsatz für Nutzende zusammen: KI-generierte Inhalte fachlich prüfen.^[4] Der Quellenabgleich am Original ist die einfachste Form dieser Prüfung.

Was gilt bei Scans und unlesbaren Passagen?

Nicht jedes PDF ist ein Textdokument. In Verwaltungen liegen viele Vorgänge als Scan vor: ein eingescannter Bescheid, eine unterschriebene Anlage, ein eingereichtes Formular. Ob die KI solche Dateien zuverlässig lesen kann, hängt davon ab, ob eine Textebene existiert oder ob das Dokument nur aus Bildern besteht. Diese Frage klären Sie im Test, bevor Sie auf die Antworten bauen.

Dass Digitalisieren und maschinelles Lesen zwei verschiedene Vorgänge sind, zeigt der Blick auf die Standards: Die Technische Richtlinie TR-03138 des BSI beschreibt seit 2013 Anforderungen für die rechtssichere Digitalisierung von Dokumenten, bei der das elektronische Abbild das Papierdokument ersetzt. Ein Scanprodukt, das für die elektronische Akte ausreicht, sagt damit noch nichts darüber, ob sein Text für eine Dokumentfrage auswertbar ist.

Vier Prüfpunkte für Scans und mehrere Dateien

• Textebene prüfen: Lässt sich im PDF ein Wort markieren und findet die Dokumentsuche es?
• Formatunterstützung testen: Wird die konkrete Datei gelesen, oder scheitert die Verarbeitung an einem Scan?
• Texterkennung nicht unterstellen: Ob eine automatische Texterkennung für reine Bilddateien angeboten wird, ist eine Produktfrage, die Sie im Einzelfall klären, keine Funktion, die Sie voraussetzen sollten.
• Quellenzuordnung bei mehreren Dateien: Bleibt eindeutig, welche Antwort aus welcher Datei stammt, wenn mehrere Dokumente im Spiel sind?

Der bayerische Leitfaden erinnert zudem daran zu erkennen, ob Dokumente im Hintergrund auf externe Server geladen werden, und im Zweifel bei sensiblen oder vertraulichen Dokumenten auf entsprechende Funktionen zu verzichten.^[3] Welche Dokumente in welches System dürfen, entscheidet in Ihrer Verwaltung ohnehin die Freigabe. Wie Sie Personenbezug und Vertraulichkeit vor dem Upload systematisch prüfen, beschreibt unser Leitfaden zur Freigabe vor dem Upload.

Wie werden fehlende Antworten sauber behandelt?

Die eigentliche Prüfung einer KI ist nicht, ob sie eine vorhandene Antwort findet, sondern wie sie sich verhält, wenn keine da ist. Dafür eignet sich ein kleines, redaktionell entwickeltes Testdokument: ein kurzes PDF mit drei Passagen, das Sie selbst erstellt haben und daher vollständig kennen. Weil Sie jeden Satz kennen, sehen Sie bei jeder Antwort sofort, ob sie aus dem Dokument stammt oder ergänzt wurde.

Ein Testdokument in drei Passagen

Stellen Sie zu jeder Passage eine Frage und vergleichen Sie die Ausgaben mit Ihren Lösungsbelegen. Der gefährlichste Fall ist der dritte: Eine Ergänzung aus dem eigenen Wissen des Modells unterscheidet sich äußerlich nicht von einer korrekten Antwort. Nur der systematische Vergleich mit dem bekannten Testdokument macht sichtbar, ob ein System Lücken benennt oder stillschweigend füllt.

Der Maßstab für die Bewertung stammt aus der Landesverwaltung: Baden-Württemberg hält in der Beschreibung seiner Text-Assistenz F13 fest, dass zusammengefasste Texte stets die Durchsicht beziehungsweise Kontrolle eines Menschen erfordern und eine Automatisierung von Prozessen nicht vorgesehen ist.^[2] Übertragen auf Dokumentfragen heißt das: Keine Ergänzung, die das Modell aus eigenem Wissen beisteuert, darf als Dokumentfakt in einen Vorgang übernommen werden. Was das Dokument nicht hergibt, bleibt eine offene Frage, die Sie fachlich klären, etwa durch Rückfrage beim Fachbereich.

Was sollte ein Dokumenttest mit Charly_Schreibtisch zeigen?

Genau für diese Arbeitsschritte ist Charly_Schreibtisch gebaut: der DSGVO-konforme KI-Arbeitsplatz für Mitarbeitende in Kommunen und Landkreisen. Mitarbeitende können ihm gezielte Fragen zu Dokumenten stellen, lange Dokumente zusammenfassen und erklären lassen und mit dem Wissen der eigenen Verwaltung arbeiten, statt lange zu suchen oder querzulesen. Hintergrund ist die gemeinsame Wissensbasis Charlys Wissen, in der Webseiten, Dokumente und internes Wissen zentral genutzt und aktuell gehalten werden.

Ob ein solcher Arbeitsplatz in Ihrer Verwaltung Einzug hält, entscheiden Sie als Leitung, gestützt auf die Freigabe durch Ihre Behörde; in der Bundesverwaltung liegt diese Entscheidung ausdrücklich bei der Behördenleitung.^[4] Vor dieser Entscheidung steht der praktische Test, und dafür genügt ein freigegebenes Beispieldokument. Die fünf Prüffragen aus diesem Artikel fassen sich zu einer Checkliste zusammen.

1. Einzelfrage: Ist das gesuchte Detail als einzelne, klar begrenzte Sachfrage formuliert?
2. Beantwortbarkeit: Ist geklärt, ob die Frage aus dem Dokument beantwortbar, mehrdeutig oder unbeantwortbar ist?
3. Fundstelle: Verlangt der Auftrag ausdrücklich die Belegstelle und stützt sich die Antwort nur auf das bereitgestellte Dokument?
4. Originalkontrolle: Wurden behauptete Aussage und Fundstelle direkt im Originaldokument nachgelesen?
5. Lücken: Bleibt erkennbar, was das Dokument nicht hergibt, statt dass fehlende Informationen ergänzt werden?

Wer diese fünf Schritte an einem freigegebenen Beispiel durchspielt, weiß anschließend nicht nur, was ein Dokument hergibt, sondern auch, wie verlässlich die Antworten des eigenen KI-Arbeitsplatzes sind. Welche Anwendungsfälle von Dokumentverständnis, Textarbeit und Verwaltungswissen dort zusammenkommen, zeigt die Produktseite zu Charly_Schreibtisch.