Explicabilidad de decisiones IA en tribunales: guía práctica

Una alerta generada por un modelo de visión por ordenador no es, por sí sola, prueba ante un tribunal español. Es un indicio que el juzgador admitirá, descartará o ponderará según la documentación que la rodee.

Conviene partir de esa frase incómoda porque en el mercado se ha instalado la idea contraria. Vendedores que muestran detecciones precisas en demostraciones controladas, integradores que prometen evidencia lista para juicio, operadores que graban miles de horas sin saber qué harán con ellas cuando un letrado pida explicaciones sobre el clasificador. La realidad de la Ley de Enjuiciamiento Civil, de la jurisprudencia penal sobre prueba videográfica y de las exigencias derivadas del Reglamento Europeo de Inteligencia Artificial es más exigente que ese discurso. El video con marca de tiempo es admisible. La inferencia automatizada que ha decidido qué fragmento grabar, qué umbral disparar y qué objeto etiquetar, sólo lo es si el operador puede explicarla.

Como fabricante que ha vivido el oficio de la construcción antes de fabricar tecnología de seguridad, este equipo sostiene una posición clara. La explicabilidad no es un anexo de marketing ni una capa que se añade al final del proyecto. Es una decisión de arquitectura que se toma cuando se elige el modelo, cuando se documenta su entrenamiento, cuando se define el flujo de cadena de custodia. Quien no la incorpora desde el principio, descubre tarde que su prueba estrella se cae en sala.

La tesis incómoda: la IA no decide en juicio, sólo documenta

El primer error conceptual que se repite en despachos y comités de seguridad consiste en tratar la salida de un modelo como si fuera una conclusión. La cámara con analítica detectó intrusión a las 03:14. El sistema clasificó al sujeto como persona con un noventa y cuatro por ciento de confianza. La plataforma generó un informe de evento. Esas tres afirmaciones, aisladas, no sostienen nada en sala. Lo que el tribunal evalúa no es la salida del modelo, sino la trazabilidad del proceso completo que va desde la captura óptica hasta la presentación del fichero ante el juez.

La Ley de Enjuiciamiento Civil, en sus artículos 299 y siguientes, admite los medios de reproducción de la palabra, el sonido y la imagen como prueba documental electrónica. La jurisprudencia ha desarrollado el concepto añadiendo requisitos de autenticidad, integridad y, en su caso, explicación pericial cuando interviene tratamiento automatizado. La salida de un modelo de IA es, en esencia, tratamiento automatizado. Eso significa que su valor probatorio depende de tres elementos que rara vez están bien documentados: la procedencia técnica de la captura, la cadena de procesado que ha modificado o etiquetado el material, y la posibilidad de un perito independiente de reproducir o al menos comprender la inferencia.

Cuando el operador presenta una alerta automatizada como prueba, está pidiendo al tribunal que confíe en una decisión tomada por un sistema cuyo funcionamiento interno no es evidente. El tribunal no rechaza esa pretensión por principio. La examina. Pide documentación. Si la documentación existe y resiste el contradictorio, la prueba se admite y se valora. Si no existe, o si el operador no consigue articularla con coherencia, el indicio se debilita hasta convertirse en irrelevante. El esfuerzo de documentación previo es, en términos puramente económicos, una inversión que se amortiza en el primer procedimiento que llega a vista.

La consecuencia operativa es directa. Quien gestiona seguridad con apoyo de IA no puede limitar su sistema a generar alertas. Debe construir, en paralelo, un archivo técnico que acompañe a cada alerta significativa. Ese archivo es lo que convierte un dato en prueba.

Lo que la LEC y la jurisprudencia exigen en la práctica

El marco normativo aplicable a la prueba videográfica con componente analítica se construye sobre tres pilares que conviene separar. El primero es la admisibilidad formal, regulada en los artículos 299, 382 y 384 de la Ley de Enjuiciamiento Civil. El segundo es la cadena de custodia, desarrollada por la jurisprudencia penal y trasladada por analogía a procedimientos civiles, contenciosos y laborales. El tercero es la valoración material de la prueba, donde el juez aplica las reglas de la sana crítica y donde la explicabilidad del modelo se vuelve determinante.

En cuanto a la admisibilidad formal, la LEC no exige requisitos exóticos. Permite aportar el soporte digital, la transcripción de los hechos relevantes y, cuando proceda, dictamen pericial. La práctica, sin embargo, ha endurecido los criterios. Un fichero de video aportado sin metadatos íntegros, sin sello temporal verificable, sin firma electrónica o función resumen criptográfica que garantice la integridad, es habitualmente impugnado por la parte contraria. La impugnación no implica inadmisión automática, pero abre un debate pericial que el aportante debe estar preparado para sostener. Si no lo está, pierde el valor del medio probatorio en la fase de valoración.

La cadena de custodia es el segundo frente. La doctrina del Tribunal Supremo en materia penal exige que entre el momento de la captura y la presentación en sala exista una trazabilidad completa de quién ha tenido acceso al material, qué transformaciones se han aplicado, dónde se ha almacenado y bajo qué condiciones de seguridad. En sistemas con analítica IA esta exigencia se complica, porque el modelo aplica transformaciones inferenciales al material o, al menos, genera metadatos derivados que se incorporan al expediente. El operador debe poder demostrar que el material original no ha sido alterado y que las inferencias se han preservado en su forma técnica original, no en su versión editada para presentación.

El tercer pilar es el más sutil y el que más sorpresas depara. Cuando el juez aplica la sana crítica para valorar el peso de la prueba, ponderará si la inferencia automatizada es comprensible, si el operador puede explicar por qué el modelo clasificó así y no de otra manera, y si la tasa de error del sistema en ese tipo de escenarios está documentada. Aquí entra de lleno la noción de explicabilidad que el Reglamento Europeo de Inteligencia Artificial ha consolidado para los sistemas de alto riesgo. Aunque la mayoría de los sistemas de videoanalítica de seguridad no se clasifican como alto riesgo en sentido estricto, los estándares de documentación que el reglamento exige se están convirtiendo de facto en el listón que jueces y peritos esperan ver cumplido. La INCIBE y el CCN-CERT han ido en la misma dirección en sus guías de buenas prácticas para tratamiento automatizado en infraestructuras de seguridad.

La documentación que el operador debería tener antes del incidente

La pregunta práctica que toda dirección de seguridad debería formularse es sencilla. Si mañana un juez pide explicaciones técnicas sobre la alerta que ha desencadenado una actuación, una denuncia o una reclamación, ¿qué documentación está disponible en cuestión de horas? La respuesta honesta, en la mayoría de las organizaciones, es desfavorable. Hay grabaciones. Hay registros de eventos. Hay un contrato con el integrador. Lo que falta es el dossier técnico del modelo, la ficha de despliegue del sistema y el procedimiento documentado de revisión humana.

Un dossier técnico mínimo, aceptable ante un perito judicial, contiene al menos seis elementos. Primero, una descripción del modelo en términos de arquitectura, datos de entrenamiento, dominio de aplicación previsto y limitaciones conocidas. No se trata de revelar secretos industriales, sino de demostrar que el sistema fue diseñado para el uso al que se le ha sometido. Segundo, los datos de validación que el fabricante o el integrador han usado para medir precisión, sensibilidad, especificidad y tasa de falsos positivos en condiciones similares a las del despliegue real. Tercero, la versión exacta del modelo y del firmware en producción en el momento del incidente, con sello temporal y resumen criptográfico. Cuarto, los parámetros de umbral, sensibilidad y zonas de detección configurados en el sistema en ese momento concreto. Quinto, el registro automatizado del evento, con todos los metadatos asociados, sin edición posterior. Sexto, el procedimiento documentado por el cual un operador humano revisó, confirmó o descartó la alerta antes de que se convirtiera en actuación.

Este sexto punto merece énfasis aparte. La jurisprudencia europea, alineada con el Reglamento de IA y con criterios de la AEPD, viene exigiendo que las decisiones con efectos jurídicos sobre personas no se tomen exclusivamente por sistemas automatizados. La intervención humana significativa es un requisito que no se cumple con un operador que pulsa confirmar sin entender qué confirma. Se cumple con un procedimiento en el que el operador tiene formación, tiene contexto, tiene autoridad para descartar la alerta y deja registro de su decisión. Sin este registro, la prueba derivada del sistema arrastra una vulnerabilidad estructural que un letrado competente sabrá explotar.

La construcción de este dossier no es responsabilidad del fabricante en exclusiva. Es responsabilidad compartida entre fabricante, integrador y operador. El fabricante aporta la documentación del modelo. El integrador aporta la configuración del despliegue. El operador aporta los registros de uso, mantenimiento y revisión humana. Cuando uno de los tres falla, el dossier es incompleto y la prueba se debilita.

Quién evalúa la admisibilidad y qué busca exactamente

En procedimientos civiles, mercantiles y contenciosos, el juez decide sobre admisibilidad en audiencia previa o en la fase procesal correspondiente. En procedimientos penales, el examen lo realiza el juez instructor primero y, en su caso, el tribunal de enjuiciamiento. En todos los casos, la parte contraria tiene oportunidad de impugnar y, frecuentemente, lo hace. Si la impugnación versa sobre cuestiones técnicas, se acude a prueba pericial. El perito puede ser propuesto por las partes o designado judicialmente.

El perito que examina una prueba derivada de IA busca cuatro cosas concretas. Busca, en primer lugar, autenticidad del material original, es decir, garantía de que el video o la inferencia presentados se corresponden con lo capturado en su momento, sin alteración. Busca, en segundo lugar, integridad técnica del sistema, esto es, evidencia de que el equipo funcionaba correctamente y según parámetros documentados. Busca, en tercer lugar, idoneidad del modelo, lo que significa comprobar que el clasificador o detector empleado era apto para el caso de uso y que su tasa de error declarada es razonable para el tipo de decisión que se le pidió. Busca, en cuarto lugar, coherencia del procedimiento humano, es decir, prueba de que la alerta automatizada fue tratada según un protocolo que prevé revisión y descarte.

Si las cuatro condiciones se cumplen, el perito emite informe favorable y la prueba se sostiene. Si una falla, el peso probatorio disminuye proporcionalmente. Si dos o más fallan, la prueba se vuelve débil hasta el punto de no ser determinante.

Conviene anticipar también qué hacen los peritos cuando el operador no puede entregar documentación del modelo. La respuesta práctica es que recurren a ingeniería inversa parcial, examinando el comportamiento del sistema en condiciones controladas, y a comparación con estándares de mercado para el tipo de tecnología empleada. Este ejercicio es caro, lento y rara vez favorece al aportante de la prueba, porque sitúa al perito en posición de inferir sobre lo que el operador debería haber documentado. La conclusión operativa es elemental. Es más barato documentar al inicio que defender al final.

En el plano regulatorio español conviene tener presente a la AEPD para los aspectos de protección de datos vinculados al tratamiento, al CNPIC en infraestructuras críticas donde la prueba puede tener implicaciones de protección sectorial, y al INCIBE para las directrices técnicas de ciberseguridad aplicables al sistema. La articulación de las tres referencias en un único expediente refuerza la posición del operador ante el tribunal y, lo que importa igual, ante el regulador que pueda intervenir en paralelo al procedimiento.

El falso debate sobre la caja negra y el verdadero problema operativo

Existe en este sector una conversación recurrente sobre la naturaleza opaca de los modelos de aprendizaje profundo y la imposibilidad teórica de explicar plenamente sus decisiones. Esa conversación, llevada a las páginas técnicas, tiene sentido. Llevada a la sala del juzgado, es un distractor. Los jueces no exigen al operador que reproduzca matemáticamente la decisión del modelo. Exigen que el operador pueda demostrar que el sistema funcionaba según lo previsto, que sus tasas de error estaban dentro de lo razonable y que la decisión final no se tomó sin supervisión humana.

La explicabilidad práctica que un tribunal espera no consiste en abrir la caja del modelo y enseñar pesos sinápticos. Consiste en presentar un sistema de garantías que rodea al modelo y permite afirmar, con respaldo documental, que su uso fue diligente. Esa es la frontera entre la prueba sólida y la prueba frágil. Cuando un operador llega a sala con un dossier completo, un registro técnico íntegro y un procedimiento de revisión humana documentado, el debate sobre la caja negra se desactiva. El sistema no se evalúa por su transparencia interna sino por la calidad del marco que lo rodea.

El verdadero problema operativo está en otro lugar. Está en que muchos despliegues de videoanalítica IA se han hecho sin pensar en este momento. El integrador ha entregado el sistema funcionando. El operador ha aceptado el funcionamiento. Nadie ha redactado el manual de uso forense del equipo. Cuando llega el incidente y se necesita prueba, se reconstruye documentación de memoria, se piden capturas a destiempo, se intenta explicar lo que no se documentó en su momento. Esa reconstrucción tardía es la causa más frecuente de pérdida de valor probatorio en sistemas que técnicamente eran correctos.

La buena noticia es que el remedio es metódico y replicable. Un protocolo de uso forense para sistemas de videoanalítica con IA, redactado con conocimiento procesal y técnico, resuelve la mayor parte del problema. Su elaboración no requiere meses. Su coste es marginal comparado con la inversión en el sistema. Y su retorno, medido en valor probatorio sostenible, es comparable al de la propia tecnología de detección.

Lo que permanece

La explicabilidad en tribunales no es un atributo del modelo. Es un atributo de la organización que lo opera. Los modelos cambian, se actualizan, se sustituyen. Lo que permanece, y lo que el tribunal evalúa, es la disciplina documental del operador a lo largo del tiempo. Esa disciplina se construye antes del incidente, no después. Quien la construye, transforma sus sistemas de IA en instrumentos probatorios fiables. Quien no la construye, opera con tecnología cuya utilidad se evapora en el momento en el que más se necesita.

El libro de este equipo, BOSWAU + KNAUER. Del oficio constructor a la tecnología de seguridad, sostiene una tesis que aquí se confirma. La tecnología sin oficio es decoración. El oficio aplicado a la tecnología, en cambio, es lo que produce sistemas que aguantan la realidad, incluida la realidad procesal. Para quien quiera revisar su posición concreta en este terreno, existen tres caminos. Una conversación confidencial de sesenta minutos para situar el problema. Una auditoría de tres a cinco días que examine el estado documental de los sistemas IA en uso. O un piloto de noventa días en un emplazamiento definido para construir, desde cero, un despliegue con dossier probatorio completo. El que corresponda depende del punto de partida del operador. Lo que no depende de nadie es la fecha del próximo incidente.

Preguntas frecuentes

¿Es admisible la prueba IA?

Sí, en el marco de la Ley de Enjuiciamiento Civil y de la jurisprudencia penal española la prueba derivada de sistemas de IA es admisible como medio de reproducción de la imagen y el sonido o como documento electrónico, según el caso. La admisibilidad formal es habitualmente sencilla. La valoración material exige documentación del modelo, integridad de la cadena de custodia y prueba de revisión humana significativa. Sin esos tres elementos la prueba se admite pero pierde peso. Con ellos, sostiene un procedimiento incluso en contradictorio pericial.

¿Qué documentación se exige?

No existe una lista cerrada en norma única, pero la práctica forense y los criterios derivados del Reglamento Europeo de IA, de la AEPD y del CCN-CERT convergen en seis elementos. Descripción técnica del modelo y su dominio de aplicación. Datos de validación con métricas de error. Versión exacta de modelo y firmware en producción durante el incidente. Configuración de parámetros y zonas. Registro automatizado del evento con metadatos íntegros. Procedimiento documentado de revisión humana de la alerta. Quien presenta los seis tiene un dossier robusto. Quien presenta menos de cuatro, una posición frágil.

¿Qué norma rige?

Rigen, en lo procesal, los artículos 299, 382 y 384 de la Ley de Enjuiciamiento Civil y la jurisprudencia del Tribunal Supremo sobre prueba videográfica y cadena de custodia. En lo material, el Reglamento Europeo de Inteligencia Artificial establece estándares de documentación para sistemas relevantes, el Reglamento General de Protección de Datos y la legislación nacional desarrollada por la AEPD regulan el tratamiento, y las guías del INCIBE y del CCN-CERT marcan referencias técnicas. En infraestructuras críticas se añade el marco del CNPIC. La articulación coherente de estas referencias en el expediente refuerza notablemente la prueba.

¿Quién evalúa admisibilidad?

El juez del procedimiento, en la fase procesal correspondiente, decide sobre admisibilidad. Civil, mercantil y contencioso lo hacen en audiencia previa o trámite equivalente. Penal lo hace el juez instructor y, en su caso, el tribunal de enjuiciamiento. Cuando la parte contraria impugna por motivos técnicos, se acude a prueba pericial. El perito, propuesto por las partes o designado judicialmente, examina autenticidad, integridad, idoneidad del modelo y coherencia del procedimiento humano. Su informe condiciona la valoración. La preparación documental previa del operador es lo que determina, en la práctica, el resultado del examen pericial.