OF THE
TIMES

Hace más de 300 años, el filósofo René Descartes planteó una pregunta inquietante: Si no siempre se puede confiar en nuestros sentidos, ¿cómo podemos separar la ilusión de la realidad? Somos capaces de hacerlo, sugiere un nuevo estudio, porque nuestro cerebro controla la realidad cuestionando constantemente sus propias expectativas y creencias pasadas. Las alucinaciones se producen cuando falla esta comprobación interna de los hechos, un hallazgo que podría apuntar hacia mejores tratamientos de la esquizofrenia y otros trastornos psiquiátricos.
El estudio es "muy elegante" y un paso importante hacia la identificación de las regiones cerebrales que producen alucinaciones y las mantienen bajo control, afirma Georg Northoff, neurocientífico de la Universidad de Ottawa que no participó en el trabajo.
Por qué esto parece escandaloso: La complejidad de la invención legalNo hay sustituto para cerebros reales pensando en el mundo real.
Lo que lo hace especialmente «desconcertante» es el nivel de detalle de la alucinación. Inventar una cita legal no consiste sólo en inventarse un nombre, sino que implica:
Inventar litigantes: El modelo genera nombres como «Smith» o «Jones», habituales en contextos jurídicos, porque los ha visto en innumerables casos reales.
Crear fechas y citas: El modelo genera una cita como «2020 WL 123456», imitando el formato de Westlaw que ha aprendido, con un año y un identificador plausibles.
Elaboración de dictámenes jurídicos: El modelo puede resumir una sentencia falsa, como «el tribunal dictaminó que el plazo de prescripción había expirado», porque ha visto sentencias similares en casos reales y puede generar un texto que se ajuste al patrón.
Este nivel de fabricación parece casi deliberado, pero no lo es: la IA no está «intentando» engañar. Simplemente hace lo que está diseñada para hacer: generar texto que se ajuste a los patrones que ha aprendido, sin tener en cuenta la verdad. La indignación surge del hecho de que las citas legales son sagradas en la profesión jurídica: se espera que sean precisas, verificables y fidedignas. Cuando la IA las inventa, se socava la confianza en el sistema jurídico, se malgastan recursos judiciales y se pueden imponer sanciones a los abogados que no verifiquen los resultados de la IA.
Contexto del mundo real: Esto no es hipotético
Este problema se ha documentado ampliamente. Por ejemplo, en el caso de 2025 de Ko contra Li en el Tribunal Superior de Ontario, un abogado presentó un factum con casos judiciales canadienses falsos, que el juez sospechó que eran generados por IA. El abogado no pudo proporcionar copias de los casos, lo que dio lugar a una investigación por desacato al tribunal. Del mismo modo, en un caso del Tribunal de Distrito de California en 2025, los abogados de Ellis George LLP y K&L Gates presentaron un escrito en el que nueve de las 27 citas eran incorrectas, incluidos dos casos inexistentes, debido a herramientas de IA como CoCounsel y Google Gemini. Estos incidentes muestran cómo la IA puede fabricar citas jurídicas completas, con litigantes y opiniones, exactamente como tú has descrito.
Por qué estos factores explican completamente el fenómeno
Los factores que he descrito - sesgos en los datos de entrenamiento, dependencia excesiva de patrones internos, exceso de confianza y falta de comprobación de los hechos - explican completamente este comportamiento. La IA no está haciendo nada que vaya más allá de su diseño: está generando texto que se ajusta al formato esperado de una cita legal, utilizando los patrones que ha aprendido, sin ningún mecanismo que garantice que el resultado es real. La complejidad de la fabricación (nombres, fechas, opiniones) es sólo un reflejo de lo bien que el modelo ha aprendido a imitar el lenguaje y la estructura jurídicos. No es «desconcertante» si se tiene en cuenta que el objetivo del modelo es producir un texto verosímil, no veraz.
Perspectiva crítica: El rol de la profesión jurídica
Aunque el comportamiento de la IA es explicable, la indignación está justificada, no por la IA en sí, sino por cómo se está utilizando. Los abogados tienen el deber profesional de verificar las citas, como se subraya en múltiples sentencias judiciales (por ejemplo, la Regla 11 de las Reglas Federales de Procedimiento Civil de EE.UU.). El verdadero fallo aquí es humano: los abogados están subcontratando su debida diligencia a la IA sin la supervisión adecuada, a pesar de conocer (o haber sido advertidos) de los riesgos de las alucinaciones. Los tribunales han sancionado repetidamente a los abogados por esto, como se ha visto en casos como Mata contra Avianca (2023), donde los casos falsos generados por ChatGPT dieron lugar a multas, y el caso Morgan & Morgan (2025), donde los abogados fueron multados por citar casos alucinados por IA en un tribunal de Wyoming.
Conclusión
Que la IA alucine con citas enteras de jurisprudencia no es un misterio: es un resultado predecible de su diseño. Los sesgos del modelo y los patrones aprendidos le llevan a generar citas de aspecto plausible; su falta de fundamentación y de comprobación de hechos significa que no verifica su existencia; y su exceso de confianza hace que el resultado parezca autoritario. Lo indignante no es el comportamiento de la IA, sino que los profesionales del Derecho no traten los resultados de la IA con el escepticismo que merecen. Para evitarlo, los abogados deben verificar cada cita, y los desarrolladores de IA deberían integrar mejores mecanismos de fundamentación -como comprobaciones de bases de datos en tiempo real- para reducir las alucinaciones en dominios de alto riesgo como el derecho.


Comentario: A fecha de 30 de abril de 2025, hay 97 lunas de Júpiter con órbitas confirmadas.