Quand les citations trompent-elles ? Un banc d'essai par affirmation pour détecter les hallucinations juridiques

Titre original: When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection

M. Mikail Demir, M. Abdullah Canbaz · soumis le 7 oct. 2026

À retenir en pratique

PARCEL vérifie si une affirmation juridique est réellement étayée par la source qu'elle cite, à partir de 3 396 affirmations tirées de décisions de la Cour d'appel de New York.
Les meilleurs modèles atteignent une exactitude allant jusqu'à 0,97, mais marquent encore comme étayées des affirmations qui ne le sont pas, même avec la décision complète sous les yeux.
L'absence d'étayage est plus difficile à détecter que la contradiction directe, et les citations inventées mais plausibles provoquent la plus forte baisse.
Pour les outils RAG juridiques, vérifiez l'étayage de chaque citation affirmation par affirmation ; « Non trouvé » est le mode d'échec à tester en premier.

Résumé original

Les grands modèles de langage sont de plus en plus utilisés pour la recherche et la rédaction juridiques, mais ils peuvent encore produire des affirmations convaincantes qui ne sont pas étayées par la source citée. Nous présentons PARCEL, un banc d'essai qui vérifie si une affirmation juridique est étayée par la source sous-jacente. À partir de décisions récentes de la Cour d'appel de l'État de New York, nous constituons un jeu de données de 3 396 affirmations de type parenthétique, étiquetées Étayée, Réfutée ou Non trouvée. Nous formulons la tâche comme un problème d'inférence en langage naturel à trois classes et évaluons plusieurs LLM de pointe sans exemple préalable (zero-shot). Bien que les modèles les plus performants atteignent une exactitude allant jusqu'à 0,97, les résultats révèlent aussi une faiblesse importante : les modèles marquent encore à tort comme étayées des affirmations qui ne le sont pas, même lorsque le texte intégral de la décision leur est fourni. Pour tous les modèles, l'absence d'étayage est plus difficile à détecter que la contradiction directe, et les citations inventées mais plausibles entraînent la plus forte baisse de performance. Dans l'ensemble, PARCEL offre un banc d'essai pratique pour évaluer l'ancrage par affirmation des systèmes RAG juridiques. (Traduction de Tokenization Architect ; l'original anglais fait foi.)

Détails de l'article

Auteurs: M. Mikail Demir, M. Abdullah Canbaz
Source et identifiant: arXiv 2610.10971
Catégorie principale: cs.CL · IA et droit
Dernière vérification: 18 oct. 2026

Page du résumé · PDF

Dans la newsletter

La suite dans la série →

Éditions de Tokenization Architect sur le même sujet, en anglais.

Payant · PremiumBloc 3· 4 sept. 2026

Tous les articles

L'IA cite la bonne norme mais décide sans elle: Citée mais pas consultée : audit contrefactuel de la fidélité du raisonnement juridique des IA
Le mythe de la liquidité des RWA: Quand les transferts de tokens ne signifient pas liquidité dans les actifs réels tokenisés

Tous les articles →