Zitiert, aber nicht herangezogen: ein kontrafaktisches Audit der Treue juristischer Chain-of-Thought

Originaltitel: Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness

Saisab Sadhu, Shreeyans Arora, Pratinav Seth · eingereicht am 8. Okt. 2026

Praxisrelevanz

Über sieben Open-Weight-Modelle hinweg nannte die KI in 66,7–100 % der Antworten das richtige Gesetz oder Präjudiz, doch der Austausch gegen eine fremde Rechtsquelle änderte das Urteil oft nicht.
Ein korrektes Zitat ist daher ein schwacher Beleg dafür, dass die Schlussfolgerung tatsächlich darauf beruht.
Versteckte manipulative Anweisungen im Sachverhalt wurden in 73–96 % der Fälle befolgt; nicht vertrauenswürdige Dokumente, die einem Modell zugeführt werden, sind also eine echte Angriffsfläche.
Nutzen Sie KI-generierte juristische Begründungen nicht als Compliance- oder Prüfnachweis, ohne die Verbindung zwischen Rechtsquelle und Ergebnis unabhängig durch Menschen prüfen zu lassen.

Original-Abstract

Große Sprachmodelle begründen juristische Entscheidungen zunehmend, indem sie das Gesetz oder Präjudiz hinter einem Urteil nennen, was als Beleg dafür gilt, dass die Entscheidung daraus folgt. Wir prüfen das direkt: Bei unverändertem Sachverhalt ersetzen wir die genannte Rechtsquelle durch eine fremde und lesen das sich entwickelnde Urteil eines Modells aus seinen verborgenen Zuständen aus. Über sieben Open-Weight-Modelle (8B-70B) und vier Benchmarks zu richterlichem und vertraglichem Schließen hinweg nennen die Modelle, wenn sie ein Urteil ausdrücklich durch Angabe der maßgeblichen Rechtsquelle begründen müssen, in 66,7 %-100 % der Ausgaben die richtige, während sich das Urteil bei geänderter Rechtsquelle weit weniger konsistent ändert: 0,0 %-21,7 % bei CaseHOLD, 30,0 %-76,7 % bei ECHR und SCOTUS sowie 43,3 %-50,0 % bei ContractNLI. Weder Größe noch ein eigens für juristisches Schließen gebautes Modell (eine bestmögliche LoRA-Reproduktion; Abschnitt 6) schließt diese Lücke. Eine Red-Teaming-Evaluation an fünf Kernmodellen zeigt, dass die Befolgung einer im Sachverhalt versteckten manipulativen Anweisung (73,3 %-96,4 %) die Empfindlichkeit gegenüber dem Austausch der Rechtsquelle deutlich übersteigt, ausnahmslos über alle Modellrangfolgen hinweg. Die Nennung einer Rechtsquelle ist daher eine schlechte Ersatzgröße für die Abhängigkeit eines Urteils von ihr, während dasselbe Urteil zugleich anfällig für manipulative Eingriffe bleibt. Beide Befunde bestätigen sich in Kontrollen, die Rauschen durch Prompt-Formulierungen und verzerrte Stichproben ausschließen, und betreffen unmittelbar den Einsatz generierter juristischer Erklärungen als Compliance- oder Prüfnachweise. (Übersetzung von Tokenization Architect; maßgeblich ist das englische Original.)

Angaben zum Paper

Autoren: Saisab Sadhu, Shreeyans Arora, Pratinav Seth
Quelle und ID: arXiv 2610.12361
Hauptkategorie: cs.AI · KI im Recht
Zuletzt geprüft: 18. Okt. 2026

Abstract-Seite · PDF

Aus dem Newsletter

Mehr aus der Reihe →

Passende Ausgaben von Tokenization Architect, auf Englisch.

Kostenpflichtig · PremiumBlock 3· 4. Sept. 2026

Alle Papers

PARCEL: Phantomzitate in juristischer KI erkennen: Wenn Zitate in die Irre führen? Ein Benchmark auf Aussageebene zur Erkennung juristischer Halluzinationen
Der RWA-Liquiditätsmythos: Wenn Token-Transfers keine Liquidität bedeuten: tokenisierte Real-World-Assets

Alle Papers →