Quando as citações enganam? Um benchmark por afirmação para detectar alucinações jurídicas

Título original: When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection

M. Mikail Demir, M. Abdullah Canbaz · enviado em 7 de out. de 2026

Conclusão prática

O PARCEL testa se uma afirmação jurídica é de fato sustentada pela fonte que cita, usando 3.396 afirmações extraídas de decisões do Tribunal de Apelações de Nova York.
Os melhores modelos chegam a até 0,97 de acurácia, mas ainda marcam como sustentadas afirmações que não são, mesmo com a decisão completa diante deles.
A falta de sustentação é mais difícil de detectar do que a contradição direta, e citações inventadas, mas plausíveis, causam a maior queda.
Em ferramentas de RAG jurídico, verifique a sustentação de cada citação afirmação por afirmação; “Não encontrado” é o modo de falha a testar primeiro.

Resumo original

Grandes modelos de linguagem são cada vez mais usados em pesquisa e redação jurídicas, mas ainda podem produzir afirmações que soam convincentes sem serem sustentadas pela fonte citada. Apresentamos o PARCEL, um benchmark para verificar se uma afirmação jurídica é sustentada pela fonte subjacente. A partir de decisões recentes do Tribunal de Apelações do Estado de Nova York, construímos um conjunto de dados de 3.396 afirmações no estilo parentético, rotuladas como Sustentada, Refutada ou Não encontrada. Formulamos a tarefa como um problema de inferência em linguagem natural de três classes e avaliamos vários LLMs de ponta sem exemplos prévios (zero-shot). Embora os modelos mais fortes cheguem a até 0,97 de acurácia, os resultados também mostram uma fraqueza importante: os modelos ainda marcam incorretamente como sustentadas afirmações que não são, mesmo quando recebem o texto completo da decisão. Em todos os modelos, a falta de sustentação é mais difícil de detectar do que a contradição direta, e citações inventadas, mas plausíveis, causam a maior queda de desempenho. No geral, o PARCEL oferece um benchmark prático para testar a fundamentação por afirmação em sistemas de RAG jurídico. (Tradução de Tokenization Architect; prevalece o original em inglês.)

Dados do artigo

Autores: M. Mikail Demir, M. Abdullah Canbaz
Fonte e ID: arXiv 2610.10971
Categoria principal: cs.CL · IA no direito
Última verificação: 18 de out. de 2026

Página do resumo · PDF

Da newsletter

Mais na série →

Edições relacionadas da Tokenization Architect, em inglês.

Pago · PremiumBloco 3· 4 de set. de 2026

Todos os artigos

A IA cita a norma certa, mas decide sem ela: Citada, mas não consultada: auditoria contrafactual da fidelidade do raciocínio jurídico da IA
O mito da liquidez dos RWA: Quando transferências de tokens não significam liquidez em ativos reais tokenizados

Todos os artigos →