Wenn Zitate in die Irre führen? Ein Benchmark auf Aussageebene zur Erkennung juristischer Halluzinationen

Originaltitel: When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection

M. Mikail Demir, M. Abdullah Canbaz · eingereicht am 7. Okt. 2026

Praxisrelevanz

PARCEL prüft, ob eine juristische Aussage tatsächlich von der zitierten Rechtsquelle gestützt wird, anhand von 3.396 Aussagen aus Entscheidungen des New York Court of Appeals.
Spitzenmodelle erreichen eine Genauigkeit von bis zu 0,97, stufen aber dennoch nicht gestützte Aussagen als gestützt ein, selbst wenn ihnen die vollständige Entscheidung vorliegt.
Fehlende Stützung ist schwerer zu erkennen als offener Widerspruch, und erfundene, aber plausible Zitate verursachen den größten Leistungseinbruch.
Prüfen Sie bei juristischen RAG-Tools jedes Zitat auf Aussageebene auf Stützung; „Not Found“ ist der Fehlerfall, den Sie zuerst testen sollten.

Original-Abstract

Große Sprachmodelle werden zunehmend in juristischer Recherche und beim Entwerfen von Texten eingesetzt, können aber weiterhin überzeugend klingende Aussagen erzeugen, die von der zitierten Quelle nicht gestützt werden. Wir stellen PARCEL vor, einen Benchmark, der prüft, ob eine juristische Aussage von der zugrunde liegenden Rechtsquelle gestützt wird. Anhand aktueller Entscheidungen des New York State Court of Appeals erstellen wir einen Datensatz von 3.396 Aussagen im Stil von Klammerzusätzen, gekennzeichnet als Supported, Refuted oder Not Found. Wir fassen die Aufgabe als dreiwertiges Problem der natürlichsprachlichen Inferenz und evaluieren mehrere aktuelle LLMs im Zero-Shot-Verfahren. Obwohl die stärksten Modelle eine Genauigkeit von bis zu 0,97 erreichen, zeigen die Ergebnisse auch eine wichtige Schwäche: Die Modelle stufen nicht gestützte Aussagen weiterhin fälschlich als gestützt ein, selbst wenn der vollständige Entscheidungstext vorliegt. Über alle Modelle hinweg ist fehlende Stützung schwerer zu erkennen als direkter Widerspruch, und erfundene, aber plausible Zitate verursachen den größten Leistungseinbruch. Insgesamt bietet PARCEL einen praktischen Benchmark, um die Fundierung von Aussagen in juristischen RAG-Systemen zu testen. (Übersetzung von Tokenization Architect; maßgeblich ist das englische Original.)

Angaben zum Paper

Autoren: M. Mikail Demir, M. Abdullah Canbaz
Quelle und ID: arXiv 2610.10971
Hauptkategorie: cs.CL · KI im Recht
Zuletzt geprüft: 18. Okt. 2026

Abstract-Seite · PDF

Aus dem Newsletter

Mehr aus der Reihe →

Passende Ausgaben von Tokenization Architect, auf Englisch.

Kostenpflichtig · PremiumBlock 3· 4. Sept. 2026

Alle Papers

KI zitiert die richtige Norm, entscheidet aber ohne sie: Zitiert, aber nicht herangezogen: ein kontrafaktisches Audit der Treue juristischer Chain-of-Thought
Der RWA-Liquiditätsmythos: Wenn Token-Transfers keine Liquidität bedeuten: tokenisierte Real-World-Assets

Alle Papers →