Es gibt einen Moment in der Reifung jeder Technologiebranche, der sich zuverlässig einstellt und trotzdem jedes Mal überrascht: den Moment, in dem jemand anfängt zu messen. In der Legal-KI-Branche ist dieser Moment gerade angekommen.
Am 14. und 15. März 2026 fand in Berlin, München und online der Benchathon statt – das erste systematische Forschungsprojekt, das misst, wie leistungsfähig KI im juristischen Kontext im Vergleich zu echten Juristen tatsächlich ist. Rund 30 KI-Sprachmodelle traten dabei in drei Kategorien an: allgemeine Sprachmodelle, spezialisierte Legal-KI-Werkzeuge und menschliche Juristen als Referenzgröße. Die Initiatoren formulierten ihr Ziel unmissverständlich: die Debatte von subjektiven Einschätzungen zu belastbaren, messbaren Ergebnissen zu verschieben.
Zur selben Zeit, auf der Legalweek 2026 in New York, äußerten sich Einkäufer von Legal-Tech-Lösungen nach Berichten von Teilnehmern erstmals mit dieser Klarheit über ihre Erwartungen an Anbieter: keine Feature-Demos, keine Case Studies, sondern task-level evidence, traceability of outputs, clarity on data handling. Das ist ein Paradigmenwechsel – und er hat Konsequenzen.
01 Der Legal AI Benchathon
Das erste systematische Messverfahren für juristische KI
Der Benchathon greift ein Problem auf, das in der Branche lange bekannt, aber nie systematisch angegangen wurde: Es fehlt eine verlässliche, unabhängige Grundlage dafür, wie gut eine juristische KI tatsächlich arbeitet. Anbieter veröffentlichen ihre eigenen Benchmarks – unter optimalen Bedingungen, mit kurzen Dokumenten und klar umrissenen Aufgaben. Diese Zahlen sind nicht falsch, aber sie spiegeln nicht die Realität des Produktivbetriebs. Der Benchathon versucht genau diese Lücke zu schließen: mit echten juristischen Aufgaben, echten Juristen als Vergleichsgröße und systematischer Vergleichbarkeit über Modelle hinweg. Zur Methodik gehören:
- drei Testkategorien – allgemeine LLMs, spezialisierte Legal-KI und menschliche Juristen als Referenz
- die Aufgabentypen rechtliche Analyse, Dokumentenprüfung, Fallzusammenfassung und Rechtsrecherche
- rund 30 KI-Sprachmodelle im direkten Vergleich
- eine systematische Auswertung und Veröffentlichung der Ergebnisse
- das langfristige Ziel, sich als dauerhafter Standard für die Evaluation juristischer KI zu etablieren
- die Trägerschaft durch die Forschungsgruppe Legal Tech Deutschland, ausgetragen am 14. und 15. März 2026 in Berlin und München
Zum Zeitpunkt dieses Artikels waren die vollständigen Ergebnisse noch nicht veröffentlicht. Unabhängig von den konkreten Zahlen ist die Richtung bereits bedeutsam: Der Benchathon schafft eine Infrastruktur für Vergleichbarkeit, die es in dieser Form vorher schlicht nicht gab.
02 Halluzinationen
Halluzinationsraten jenseits der Marketing-Versprechen
Während der Benchathon die erste systematische Brancheninitiative aus Deutschland darstellt, liefert internationale Forschung bereits einen Vorgeschmack darauf, was systematische Vergleiche zutage fördern können. Eine Stanford-Studie aus dem Jahr 2024, die rund 800.000 Anfragen ausgewertet hat, kommt zu Ergebnissen, die erheblich von den Angaben der Anbieter abweichen:
| Vendor-Benchmarks (kontrollierte Bedingungen) | Stanford-Ergebnisse (komplexe juristische Aufgaben) |
|---|---|
| Allg. LLMs: unter 1 % Halluzinationsrate | Allg. LLMs: 58–88 % Halluzinationsrate |
| Westlaw AI: zuverlässige Rechtsrecherche | Westlaw AI-Assisted Research: 34 % Fehlerrate |
| Lexis+ AI: präzise Zitatfindung | Lexis+ AI: 17 % Fehlerrate |
| Legal KI: deutlich besser als allg. LLMs | Spezialisierte Tools besser, aber weit von „zuverlässig“ |
Diese Zahlen bedeuten nicht, dass Legal-KI wertlos ist. Sie zeigen, dass ihre Verlässlichkeit stark vom Aufgabentyp abhängt: Bei einfachen, klar umrissenen Aufgaben arbeitet sie zuverlässig und wertstiftend. Bei komplexen Mehrquellen-Synthesen und jurisdiktionsspezifischer Zitatsuche – also genau dem, was ein echter Schriftsatz verlangt – sind die Fehlerraten inakzeptabel hoch. Das ist kein Argument gegen KI insgesamt, sondern für ihren richtigen Einsatz: in klar definierten, überprüfbaren Schritten, mit menschlichem Review überall dort, wo die Fehlerwahrscheinlichkeit hoch ist.
03 Was der Markt fordert
Praxis statt Feature-Demos
Auf der Legalweek 2026 in New York zeichnete sich ein Konsens ab, der für Legal-Tech-Anbieter erhebliche Bedeutung hat. KPMG Law Global Legal Solutions bringt es auf den Punkt: Bis 2026 werde Legal-KI weniger an der Oberflächenqualität gemessen als an operativer Disziplin – Evaluation, Auditierbarkeit und vorhersagbarem Verhalten in echten juristischen Workflows. Die Beschaffung werde sich verschärfen: Einkäufer verlangten zunehmend belastbare Nachweise auf Aufgabenebene, Nachvollziehbarkeit der Ergebnisse und Klarheit über den Umgang mit Daten – anstelle generischer Fähigkeitsversprechen. Konkret fordern Einkäufer auf der Legalweek 2026:
- Task-level evidence – Wie gut funktioniert das Tool bei genau dieser Aufgabe in meiner Umgebung?
- Traceability – Lässt sich nachvollziehen, wie das System zu diesem Ergebnis gekommen ist?
- Data handling clarity – Wie werden meine Mandantendaten verarbeitet, gespeichert und genutzt?
- Auditability – Lässt sich nachträglich belegen, was das System wann entschieden hat?
- Predictability – Verhält sich das System konsistent, oder schwankt der Output bei gleicher Eingabe?
Das ist die Einkäuferperspektive des Jahres 2026 – und sie hat nichts mehr mit dem gemein, was Legal-Tech-Demos 2022 oder 2023 gezeigt haben. Damals lautete die Frage: Kann die KI das überhaupt? Heute lautet sie: Kann ich beweisen, dass sie es richtig gemacht hat?
04 KI muss Erwartungen erfüllen
Hyped, aber realistisch
Benchathon und die Signale von der Legalweek beschreiben denselben Prozess: eine Branche, die von der Phase der Begeisterung in die Phase der Überprüfung übergeht. Das passiert in jeder Technologiebranche irgendwann – und immer mit derselben Folge: Anbieter, die ihre Behauptungen mit Evidenz belegen können, setzen sich durch; Anbieter, die das nicht können, verschwinden vom Markt. Forrester formuliert es so: „The AI hype period ends.“ 25 Prozent des geplanten KI-Budgets werden auf 2027 verschoben, weil Käufer ROI-Nachweise verlangen, die viele Anbieter nicht liefern können. Gartner ergänzt, dass über 40 Prozent der Agentic-AI-Projekte bis 2027 wieder eingestellt werden – wegen zu hoher Kosten und zu wenig belegbarem Wert.
05 Die DEPLAW Perspektive
KI, aber mit Praxisnutzen
Bei der Entwicklung von DEPLAW haben wir uns eine Frage gestellt, die wir uns bis heute stellen: Wenn ein Partner oder ein Mandant fragt, welche Entscheidung das System wann auf Basis welcher Daten getroffen hat – können wir das beantworten? Die Antwort muss Ja lauten, nicht als Anspruch, sondern als Grundvoraussetzung. Wer KI-Ausgaben nicht zurückverfolgen kann, kann sie auch nicht verteidigen. Und wer sie nicht verteidigen kann, sollte sie nicht in rechtlich relevante Prozesse einbetten. Das ist kein radikaler Standpunkt, sondern die logische Konsequenz aus dem, was Gerichte derzeit entscheiden und was Einkäufer derzeit verlangen.
„The question has shifted from ‘Does your platform use AI?’ to ‘Can your AI withstand scrutiny if challenged?’ That is a hallucination question. Most current legal AI valuations have not priced in a credible answer.“
– Development Corporate, März 2026
In DEPLAW ist jede KI-Aktion ein dokumentierter Task. Die revisionssichere Prozesshistorie protokolliert Modell, Eingabe, Ergebnis und Zeitstempel. Der Workflow-Editor macht die Prozesslogik explizit und versioniert sie. Das Leistungsdashboard zeigt Fehlerquoten und Durchlaufzeiten in Echtzeit.
Das ist task-level evidence. Das ist Auditierbarkeit. Das ist Predictability. Der Moment, in dem Legal-KI gemessen wird, ist jetzt. Die entscheidende Frage ist, ob die Infrastruktur, auf der man KI einsetzt, einer solchen Überprüfung standhält – und diese Frage sollte man beantworten, bevor jemand danach fragt.