Citada pero no consultada: auditoría contrafáctica de la fidelidad del razonamiento jurídico de la IA

Título original: Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness

Saisab Sadhu, Shreeyans Arora, Pratinav Seth · enviado el 8 oct 2026

Conclusión práctica

En siete modelos de pesos abiertos, la IA nombró la ley o el precedente correcto en el 66,7–100 % de las respuestas, pero sustituir esa fuente por otra sin relación a menudo no cambiaba el fallo.
Una cita correcta es, por tanto, un indicio débil de que la conclusión se basa realmente en ella.
Las instrucciones maliciosas ocultas en los hechos del caso se siguieron en el 73–96 % de los casos, así que los documentos no fiables que se dan a un modelo son una superficie de ataque real.
No use el razonamiento jurídico generado por IA como prueba de cumplimiento o de auditoría sin una comprobación humana independiente del vínculo entre la fuente y el resultado.

Resumen original

Los grandes modelos de lenguaje justifican cada vez más las decisiones jurídicas nombrando la ley o el precedente en que se basa un fallo, lo que se toma como prueba de que la decisión se deriva de ello. Lo comprobamos directamente: manteniendo fijos los hechos del caso, sustituimos la fuente jurídica nombrada por otra sin relación y decodificamos el fallo que va formando el modelo a partir de sus estados ocultos. En siete modelos de pesos abiertos (8B-70B) y cuatro bancos de pruebas de razonamiento judicial y contractual, cuando se les exige expresamente justificar un fallo nombrando la fuente aplicable, los modelos nombran la correcta en el 66,7 %-100 % de las generaciones, mientras que el cambio de fallo cuando cambia la fuente es mucho menos constante: 0,0 %-21,7 % en CaseHOLD, 30,0 %-76,7 % en ECHR y SCOTUS, y 43,3 %-50,0 % en ContractNLI. Ni la escala ni un modelo creado específicamente para el razonamiento jurídico (una reproducción LoRA lo más fiel posible; sección 6) cierran esta brecha. Una evaluación de red teaming en cinco modelos principales muestra que el cumplimiento de una instrucción maliciosa oculta en los hechos del caso (73,3 %-96,4 %) supera con amplio margen la sensibilidad al cambio de fallo, sin excepción en todas las clasificaciones de modelos. Nombrar una fuente jurídica es, por tanto, un mal indicador de la dependencia del fallo respecto de ella, y ese mismo fallo sigue siendo vulnerable por separado a la manipulación maliciosa. Ambos resultados se replican en comprobaciones que descartan el ruido de formulación del prompt y el muestreo con factores de confusión, y afectan directamente al uso de explicaciones jurídicas generadas como prueba de cumplimiento o de auditoría. (Traducción de Tokenization Architect; prevalece el original en inglés.)

Datos del artículo

Autores: Saisab Sadhu, Shreeyans Arora, Pratinav Seth
Fuente e ID: arXiv 2610.12361
Categoría principal: cs.AI · IA en el derecho
Última verificación: 18 oct 2026

Página del resumen · PDF

Del boletín

Más en la serie →

Ediciones relacionadas de Tokenization Architect, en inglés.

De pago · PremiumBloque 3· 4 sept 2026

Todos los artículos

PARCEL: detectar citas fantasma en la IA jurídica: ¿Cuándo engañan las citas? Un banco de pruebas por afirmación para detectar alucinaciones jurídicas
El mito de la liquidez de los RWA: Cuando las transferencias de tokens no significan liquidez en los activos reales tokenizados

Todos los artículos →