Unter Einstellungen → KI/LLM → LLM Extraktionsvorlagen lösen Sie ein Kernproblem produktiver LLM-Extraktion: regressionssichere Prompt-Pflege bei sehr vielen Datenpunkten.
Das Problem
Komplexe LLM-Datenextraktionen umfassen pro Akte teils hunderte Datenpunkte, die jeweils über einen Prompt abgefragt, als JSON zurückgegeben und in Platzhalter umgesetzt werden. Diese Prompts verbessern Nutzer im Laufe der Zeit immer weiter. Das Risiko dabei: Eine Verbesserung an einer Stelle reißt an anderer Stelle etwas ein – eine klassische Regression, die ohne Tests oft erst spät auffällt.
Die Lösung: getestete Extraktions-Sets
Eine Extraktionsvorlage ist ein JSON-basiertes Set, in dem jeder Datenpunkt mit seinem Platzhalter und seinem Prompt hinterlegt ist. Dazu wählen Sie Testfälle aus – echte Dokumente, bei denen die Soll-Werte je Datenpunkt bekannt sind.
Ändern Sie später einen Prompt, halten Sie ihn per Klick gegen dutzende Testfälle und sehen sofort: Werden die bisherigen Ergebnisse weiterhin erreicht – und wurde z. B. ein Edge Case zusätzlich verbessert, ohne den Rest zu beschädigen? So erreichen Sie sehr hohe Qualität auch bei komplexen Extraktionsaufgaben.
Aufbau der Vorlage
| Feld | Bedeutung |
|---|---|
| Name des Templates / Beschreibung | Bezeichnung und Zweck der Vorlage. |
| KI Konnektor | das Sprachmodell, über das die Extraktion läuft. |
| Pseudonymisieren | ersetzt personenbezogene Daten vor dem Versand an das Modell. |
| Dokument Tag Filter | schränkt über Tags ein, auf welche Dokumente die Vorlage angewendet wird. |
| System Prompt / User Prompt Präfix | die übergreifenden Anweisungen (FEEL); typischerweise „Extrahiere nur explizit genannte Fakten“ und „Antworte ausschließlich mit validem JSON“. |
Datenpunkte (JSON-Attribute)
Jeder Datenpunkt ist ein JSON-Attribut mit:
| Bestandteil | Bedeutung |
|---|---|
| Key | der JSON-Schlüssel – zugleich der Platzhalter, in den der Wert umgesetzt wird (z. B. gerichts_urteil_aktenzeichen). |
| Prompt | die feldspezifische Anweisung, präzise was zurückzugeben ist. |
| Vergleich | wie der Wert im Test gegen den Soll-Wert geprüft wird – Exakt oder semantisch (s. u.). |
| Regex-Validator | optionales Muster zur Format-Prüfung des extrahierten Werts. |
Regressionssicher testen
Rechts im Editor pflegen Sie unter Testfall Konfiguration einzelne Testfälle (Fall + Dokument + bekannter Soll-Wert), unter Testfälle sehen Sie die gespeicherte Sammlung. Ausführen testet den aktuellen Fall, Alle testen prüft die Vorlage auf einen Schlag gegen alle Testfälle. Die Statistik (Laufzeit, Token, Token/Sekunde) hilft zusätzlich, Kosten und Tempo im Blick zu behalten.
Semantischer Ergebnisvergleich (semantic-compare)
Bei Freitext-Datenpunkten liefert ein LLM selten zweimal denselben Wortlaut – der Inhalt soll aber gleich bleiben. Der KI-Konnektor mit dem reservierten Namen semantic-compare vergleicht die Ausgabe inhaltlich statt zeichengenau. Als Vergleich eines Attributs gewählt, gilt ein Freitext-Ergebnis damit auch dann als korrekt, wenn es anders formuliert, aber inhaltlich identisch zum Soll-Wert ist.
Direkt im Workflow einsetzen
Eine fertige, getestete Vorlage ist zugleich ein Workflow-Schritt: Der Servicetask LlmExtractionTemplateRun führt sie über ihren _templateName aus und liefert das Ergebnis als _extractionJson zurück – ein eingegangenes Dokument wird so vollautomatisch ausgelesen und in Folgeschritten (Platzhalter befüllen, Gateways, weitere Aktionen) verwendet.