¿Cuándo engañan las citas? Un banco de pruebas por afirmación para detectar alucinaciones jurídicas

Título original: When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection

M. Mikail Demir, M. Abdullah Canbaz · enviado el 7 oct 2026

Conclusión práctica

PARCEL comprueba si una afirmación jurídica está realmente respaldada por la fuente que cita, con 3.396 afirmaciones extraídas de sentencias del Tribunal de Apelaciones de Nueva York.
Los mejores modelos alcanzan una exactitud de hasta 0,97, pero siguen marcando como respaldadas afirmaciones que no lo están, incluso con la sentencia completa delante.
La falta de respaldo es más difícil de detectar que la contradicción directa, y las citas inventadas pero verosímiles provocan la mayor caída.
En las herramientas RAG jurídicas, compruebe el respaldo de cada cita afirmación por afirmación; «No encontrado» es el modo de fallo que conviene probar primero.

Resumen original

Los grandes modelos de lenguaje se usan cada vez más en la investigación y la redacción jurídicas, pero aún pueden producir afirmaciones que suenan convincentes sin estar respaldadas por la fuente citada. Presentamos PARCEL, un banco de pruebas para comprobar si una afirmación jurídica está respaldada por la fuente subyacente. A partir de sentencias recientes del Tribunal de Apelaciones del Estado de Nueva York, construimos un conjunto de datos de 3.396 afirmaciones de tipo parentético etiquetadas como Respaldada, Refutada o No encontrada. Planteamos la tarea como un problema de inferencia en lenguaje natural de tres clases y evaluamos varios LLM de vanguardia sin ejemplos previos (zero-shot). Aunque los modelos más potentes alcanzan una exactitud de hasta 0,97, los resultados muestran también una debilidad importante: los modelos siguen marcando erróneamente como respaldadas afirmaciones que no lo están, incluso cuando se les proporciona el texto completo de la sentencia. En todos los modelos, la falta de respaldo es más difícil de detectar que la contradicción directa, y las citas inventadas pero verosímiles provocan la mayor caída de rendimiento. En conjunto, PARCEL ofrece un banco de pruebas práctico para evaluar la fundamentación por afirmación en los sistemas RAG jurídicos. (Traducción de Tokenization Architect; prevalece el original en inglés.)

Datos del artículo

Autores: M. Mikail Demir, M. Abdullah Canbaz
Fuente e ID: arXiv 2610.10971
Categoría principal: cs.CL · IA en el derecho
Última verificación: 18 oct 2026

Página del resumen · PDF

Del boletín

Más en la serie →

Ediciones relacionadas de Tokenization Architect, en inglés.

De pago · PremiumBloque 3· 4 sept 2026

Todos los artículos

La IA cita la norma correcta, pero decide sin ella: Citada pero no consultada: auditoría contrafáctica de la fidelidad del razonamiento jurídico de la IA
El mito de la liquidez de los RWA: Cuando las transferencias de tokens no significan liquidez en los activos reales tokenizados

Todos los artículos →