Watson, la inteligencia artificial de la Fiscalía que preocupa a los expertos

El sueño de un futuro lleno de inteligencia artificial, que parecía más cercano a una ficción de Hollywood que a lo realmente posible, está más cerca de lo que pensamos. La inteligencia artificial lleva varios años entre nosotros, adaptándose cada vez mejor y empleándose para más y más funciones.

En la Fiscalía General de la Nación, por ejemplo, la inteligencia artificial se utiliza desde abril de 2018, cuando entró en funcionamiento Watson Explorer. Se trata de un software desarrollado por la empresa estadounidense International Business Machines (IBM) que permite relacionar casos por elementos comunes, como la placa de un carro, una descripción de persona o cualquier elemento que pueda servir para identificar patrones. La Fiscalía ha invertido más de 29 mil millones en ocho contratos con IBM firmados en los últimos nueve años. Cuatro de estos contratos adquieren o renuevan licencias de Watson Explorer o Watson Discovery.

A pesar de que la inteligencia artificial es una poderosa herramienta que puede ayudar a mejorar la administración de justicia, no está exenta de riesgos. Este diario conoció un informe elaborado por la organización latinoamericana Derechos Digitales que alerta sobre los posibles efectos negativos que podría tener el uso de Watson sobre derechos fundamentales como el debido proceso y también sobre la soberanía de la información judicial de Colombia.

¿Qué puede hacer el Fiscal Watson?

En agosto de 2018, el entonces fiscal general Néstor Humberto Martínez dijo, en rendición de cuentas ante la Corte Suprema, que Watson fue fundamental para lograr detectar tres millones de recobros falsos que se hicieron al Fondo de Solidaridad y Garantías (Fosyga). La Fiscalía ha explicado que este software es una plataforma que permite hacer búsquedas, a través de palabras clave, en el relato de los hechos de los registros criminales en el Sistema Penal Oral Acusatorio (SPOA).

Los investigadores de la organización Karisma, encargada de la investigación publicada en el informe de Derechos Digitales, obtuvieron el testimonio de un exfuncionario de la Fiscalía que detalló el funcionamiento de esta IA. “En la entidad, casi toda la información está estructurada en el SPOA. El campo más difícil de manejar es el de relato de los hechos. Watson sirve para sacar información de ese campo. Watson se usa en el marco de un proceso penal o se usa en análisis de contexto. Cuando uno logra relacionar casos, tiene sentido, pero hay una zona gris que puede ser un riesgo”, advirtió el exfuncionario.

El informe explica que “la calidad de los datos con los que se alimentan los sistemas de IA en el sistema penal es supremamente relevante porque esta variable puede conducir a resultados imprecisos, discriminatorios o incorrectos”. El relato de los hechos que los denunciantes o testigos entregan a la Fiscalía a menudo puede contener los mismos sesgos racistas, machistas o excluyentes que tienen quienes relatan. Pero la IA no está entrenada para detectar esos sesgos y termina por reproducirlos.

Además, la labor del funcionario que transcribe ese relato juega un rol fundamental porque “la calidad deficiente de los datos puede dar lugar a decisiones erróneas y sesgadas que produzcan consecuencias jurídicas fácticas adversas para las personas, como la detención”, explica la ONG Derechos Digitales.

Las “alucinaciones” de las IAs

Cualquiera que haya utilizado inteligencias artificiales como ChatGPT, Gemini o Copilot, de forma responsable, esto es, verificando sus resultados, sabe que, a veces, “alucinan”; es decir, encuentran relaciones donde no las hay y presentan hallazgos falsos como verdaderos. Como explica la misma IBM en su página web, “la alucinación de IA es un fenómeno en el que un modelo de lenguaje grande (LLM, por sus siglas en inglés) percibe patrones u objetos inexistentes o imperceptibles para los observadores humanos, generando resultados sin sentido o completamente inexactos”. Por eso, las empresas siempre advierten a sus usuarios sobre la necesidad de verificar la información fáctica que presentan sus inteligencias artificiales.

En el estado de desarrollo en que se encuentran actualmente las inteligencias artificiales disponibles en el mercado, es apenas normal que ocurran las “alucinaciones”. En palabras de IBM, “las alucinaciones de la IA son similares a cómo los humanos a veces ven figuras en las nubes o caras en la luna. En el caso de la IA, estas interpretaciones erróneas ocurren debido a varios factores, como el sesgo o la inexactitud de los datos de entrenamiento y la alta complejidad del modelo”.

Cuatro fiscales hablaron con El Espectador, bajo condición de no revelar sus identidades, y detallaron lo que saben acerca de Watson. Tres de ellos conocen y han utilizado el software en sus procesos y el restante nunca lo había escuchado mencionar. Uno de los fiscales que lo ha utilizado afirmó que lo usa en la etapa preliminar y durante la indagación. “Cada que se requiere saber si una persona, un sitio, un arma, un elemento material probatorio o un modus operandi está asociado a otros casos, el sistema Watson hace ese tipo de asociaciones con la información de la Fiscalía”, explicó otro de los entrevistados.

Ante la pregunta sobre la posibilidad de que Watson entregue pistas falsas, dos de los fiscales consultados respondieron que es simplemente imposible que eso pase porque la fuente de los análisis de Watson son los registros que tiene la Fiscalía con la información de los procesos. Por eso, afirman, es imposible que invente algo que no esté allí. Esa respuesta es preocupante porque entre más confianza tengan los fiscales en los resultados de la inteligencia artificial es menos probable que los verifiquen.

Como recuerda el informe de Derechos Digitales, “el deber de diligencia de los investigadores no puede agotarse solo con filtrar las búsquedas en la herramienta tecnológica, esta debe ser únicamente una herramienta de apoyo a las labores misionales y sus resultados no deben ser definitivos. Esto significa que, si efectivamente la herramienta establece que hay una asociación de casos, esta información debe ser verificada por el funcionario; y, si por el contrario no se encuentran asociaciones, deben agotarse los demás medios investigativos para asegurar que así sea”.

La soberanía de la información judicial

Otra de las preocupaciones que manifiestan los expertos de Karisma y Derechos Digitales es sobre el hecho de que, para funcionar, Watson necesita acceder a la base de datos del SPOA, que contiene información reservada y muy sensible. La Fiscalía le respondió un derecho de petición a Karisma en el que explica que Watson accede a una copia espejo del SPOA para realizar sus consultas, pero no a la base de datos original.

Para los expertos, esa respuesta es insuficiente para saber en dónde se aloja el servidor que contiene la copia espejo del SPOA. “¿En la infraestructura tecnológica de la Fiscalía, en la nube de IBM, en un datacenter de otra entidad?”, pregunta Derechos Digitales. Como señala el informe, en el estudio previo de un proceso contractual realizado en 2019 entre la Fiscalía e IBM, la entidad sugiere explícitamente una intención de migrar los servidores, incluyendo el SPOA, a la nube privada de la empresa estadounidense.

La respuesta que la Fiscalía entregó a los investigadores de Karisma fue, en sus palabras, “ambigua y no respondió de fondo la solicitud, lo que significa que aún no hay información certera respecto al protocolo de seguridad digital y de la información en relación a las bases de datos misionales y en específico al SPOA”, advierte el informe. Además, puntualizan los expertos, que “si bien los procesos contractuales mediante los que se ha contratado Watson Explorer y Watson Discovery son públicos, la información que de allí deriva es insuficiente y genera dudas respecto al uso de Fiscal Watson en las labores de la Fiscalía”.

Por otro lado, hay disparidades entre la información que aparece en los contratos publicados en Secop y la información entregada por la entidad en respuesta a los derechos de petición de Karisma. Los expertos tienen dudas de que, como ha dicho la Fiscalía, Watson acceda únicamente a una copia espejo del SPOA, pues la misma entidad menciona que Watson Explorer busca y analiza contenido externo y público en los estudios previos del contrato con el que lo adquirió por primera vez en 2017.

Uno de los fiscales contactados por este diario aseguró que Watson tiene la capacidad de cruzar información del SPOA con otras bases de datos, como la de la Registraduría, la del RUNT, las de instrumentos públicos y otras. Sin embargo, la Fiscalía le respondió a Karisma que Watson solo accede a una copia espejo del SPOA y un funcionario de esa entidad le dio a los investigadores una versión similar.

Además, como señala el informe, la Fiscalía afirma que Watson se “ha implementado para permitir la consulta y el análisis sobre los casos de Justicia Transicional. El SPOA corresponde al sistema penal oral acusatorio y los datos que se alojan en él se relacionan únicamente con los procesos que se tramitan bajo la Ley 906 y la 1098. Hablar de una implementación para consultar y analizar casos de Justicia Transicional, implica que Watson tenga acceso a la base de datos de los sistemas de información correspondientes a los procesos de justicia transicional”, puntualizan los expertos.

No hay indicadores sobre el uso de Watson

Luego de realizar un monitoreo a las notas de prensa publicadas por la Fiscalía, los investigadores de Karisma encontraron que, entre noviembre de 2018 y marzo de 2023, se publicaron 21 noticias en las que se hacía mención al uso de Watson. En el año 2018 la cuenta oficial de la FGN publicó un vídeo explicando el funcionamiento de Watson, en el que el Director de Planeación y Desarrollo de la Fiscalía, Luis Enrique Aguirre afirma que, para ese momento, tenían “más de 2000 noticias [criminales] asociadas, de las cuáles se han reflejado en 500 casos de éxito”.

Con base en esas declaraciones, Karisma pidió a la Fiscalía entregar información sobre cuántos casos de éxito se habían registrado a la fecha y cuáles son los criterios e indicadores para la medición del sistema, a lo que la entidad respondió que “actualmente no se realizan mediciones sobre los niveles de uso del sistema Watson Explorer ni tampoco sobre sus porcentajes de éxito en los análisis de información”. Esa respuesta llegó en mayo de 2024.

El Espectador conoció la resolución 0580 del 26 de diciembre de 2024, firmada por la fiscal general Luz Adriana Camargo, “por medio de la cual se adoptan los indicadores para la medición del Direccionamiento Estratégico”. En el documento se detallan los indicadores que entraron en vigencia en 2025, entre los que se incluye el uso de herramientas tecnológicas y técnicas de análisis criminal y financiero. Allí aparece una casilla asociada a Watson Explorer que, desde este año, los fiscales deben marcar para señalar que utilizaron la herramienta en cada caso.

Teniendo en cuenta esa resolución, este diario preguntó a la Fiscalía en cuántos procesos se ha marcado la casilla correspondiente a Watson Explorer, y el porcentaje que ese número de casos representa frente al total de casos activos en investigación, pero al cierre de esta edición no hubo respuesta.

Los investigadores de Karisma concluyen que la adopción de tecnologías de inteligencia artificial para mejorar la administración de justicia es deseable, pero debe hacerse bajo estándares que permitan el monitoreo y evaluación constante de su funcionamiento y resultados. Una buena forma de hacerlo, explican, es “hacer el análisis de riesgos, junto con una definición y aplicación de estándares de transparencia que permitan que la ciudadanía y las personas vinculadas a procesos judiciales entiendan las fases del proceso en que se usa la herramienta, la función específica y el impacto”. De este modo, será posible realizar control y veeduría respecto a la obligación de garantía de derechos que tiene la Fiscalía y las demás entidades de la rama judicial.