Citée mais pas consultée : audit contrefactuel de la fidélité du raisonnement juridique des IA

Titre original: Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness

Saisab Sadhu, Shreeyans Arora, Pratinav Seth · soumis le 8 oct. 2026

À retenir en pratique

Sur sept modèles à poids ouverts, l'IA a cité la bonne loi ou le bon précédent dans 66,7–100 % des réponses, mais remplacer cette source par une autre sans rapport ne changeait souvent pas la décision.
Une citation correcte est donc un indice faible que la conclusion repose réellement sur elle.
Des instructions malveillantes cachées dans les faits de l'affaire ont été suivies dans 73–96 % des cas : les documents non fiables fournis à un modèle constituent une véritable surface d'attaque.
N'utilisez pas un raisonnement juridique généré par IA comme pièce de conformité ou d'audit sans vérification humaine indépendante du lien entre la source et le résultat.

Résumé original

Les grands modèles de langage justifient de plus en plus les décisions juridiques en citant la loi ou le précédent sur lequel repose une décision, ce qui est considéré comme la preuve que la décision en découle. Nous le testons directement : à faits constants, nous remplaçons la source juridique citée par une autre sans rapport et décodons la décision en formation du modèle à partir de ses états cachés. Sur sept modèles à poids ouverts (8B-70B) et quatre bancs d'essai couvrant le raisonnement judiciaire et contractuel, lorsqu'il leur est explicitement demandé de justifier une décision en citant la source applicable, les modèles citent la bonne dans 66,7 %-100 % des générations, tandis que le changement de décision lorsque la source change est bien moins constant : 0,0 %-21,7 % sur CaseHOLD, 30,0 %-76,7 % sur ECHR et SCOTUS, et 43,3 %-50,0 % sur ContractNLI. Ni la taille ni un modèle conçu spécifiquement pour le raisonnement juridique (une reproduction LoRA aussi fidèle que possible ; section 6) ne comblent cet écart. Une évaluation de red teaming sur cinq modèles principaux montre que l'obéissance à une instruction malveillante cachée dans les faits de l'affaire (73,3 %-96,4 %) dépasse largement la sensibilité au changement de décision, sans exception quel que soit le classement des modèles. Citer une source juridique est donc un mauvais indicateur de la dépendance d'une décision à son égard, et cette même décision reste par ailleurs vulnérable à la manipulation malveillante. Les deux résultats se répliquent dans des contrôles qui écartent le bruit lié à la formulation du prompt et les biais d'échantillonnage, et concernent directement l'utilisation d'explications juridiques générées comme pièces de conformité ou d'audit. (Traduction de Tokenization Architect ; l'original anglais fait foi.)

Détails de l'article

Auteurs: Saisab Sadhu, Shreeyans Arora, Pratinav Seth
Source et identifiant: arXiv 2610.12361
Catégorie principale: cs.AI · IA et droit
Dernière vérification: 18 oct. 2026

Page du résumé · PDF

Dans la newsletter

La suite dans la série →

Éditions de Tokenization Architect sur le même sujet, en anglais.

Payant · PremiumBloc 3· 4 sept. 2026

Tous les articles

PARCEL : détecter les citations fantômes de l'IA juridique: Quand les citations trompent-elles ? Un banc d'essai par affirmation pour détecter les hallucinations juridiques
Le mythe de la liquidité des RWA: Quand les transferts de tokens ne signifient pas liquidité dans les actifs réels tokenisés

Tous les articles →