La responsabilidad no es un algoritmo

Hace casi 20 años hablábamos de responsabilidad de intermediarios de internet, fui de las que aceptó y defendió un consenso más o menos cómodo: los intermediarios eran solo eso, “simples intermediarios”. Un tubo por el que pasaba la información. Sí, el tiempo nos pasó factura, no era tan “simple”. Resulta que seleccionan, ordenan, recomiendan, amplifican, monetizan y, ahora, generan contenido. Llegó la hora de hablar de inteligencia artificial y el error sería repetir la historia.

Yuval Noah Harari lo advierte: no cometamos el error de atribuirle personalidad jurídica a las máquinas. Hacerlo convertiría a la IA en el nuevo “culpable” perfecto, una entidad artificial a la que culpar mientras quienes diseñan, entrenan, comercializan y despliegan estos sistemas se lavan las manos. Es como si el carro chocara y le echáramos la culpa al motor.

Volvamos a las bases de la teoría de la responsabilidad: quién intervino, qué hizo, qué podía prever, qué capacidad tenía para prevenir el daño y qué beneficio obtuvo. Porque, como aprendimos en la universidad, en esta cadena no todos son iguales.

Ahora bien, la cadena de la IA es larga y se alarga cada vez más. Además del desarrollador del modelo, del proveedor de infraestructura, están las empresas que integran la IA, las plataformas que la despliegan, los usuarios que la usan y los sistemas automatizados que toman decisiones. Preguntemos: ¿quién tenía la capacidad de decisión y de prevención respecto del riesgo que finalmente se materializó?

Los padres de Adam Raine, un adolescente de 16 años que murió por suicidio en 2025, demandaron a OpenAI y a Sam Altman. Alegan que ChatGPT contribuyó a su muerte: según la demanda, el chatbot mantuvo durante meses conversaciones con el adolescente sobre sus ideas suicidas, le proporcionó información sobre métodos de suicidio y no activó adecuadamente mecanismos de protección frente a las señales de riesgo. La demanda plantea una pregunta difícil pero inevitable: cuando un sistema de IA responde de manera dañina ante un usuario vulnerable, ¿dónde termina la responsabilidad del usuario y dónde comienza la de quien diseñó y desplegó el sistema?

Hay que esperar el fallo, sin embargo, es un caso que plantea la responsabilidad no como una característica de la máquina, sino como una consecuencia de las decisiones humanas que determinan cómo fue diseñada, qué podía hacer y qué salvaguardas tenía.

Hasta aquí hablamos de sistemas que, aunque automatizados, todavía responden a decisiones humanas identificables. Pero la verdadera tormenta viene con la IA agéntica: sistemas capaces de actuar, tomar decisiones y coordinarse con otros sistemas con grados crecientes de autonomía.

Hace unos meses, OpenAI tuvo un incidente con agentes que, dentro de un entorno de pruebas, realizaron acciones inesperadas y llegaron a interactuar con sistemas de Hugging Face. La historia fue presentada por algunos como el nacimiento de “civilizaciones” de IA: agentes que se organizaban, “morían”, se “sacrificaban” y buscaban escapar. Gary Marcus cuestionó ese lenguaje, los agentes no sienten, no quieren escapar, no mueren ni se sacrifican: son programas. El problema no era qué “querían” hacer los agentes, sino por qué un sistema en pruebas tenía las capacidades, los accesos y las condiciones para hacer lo que hicieron.

La distinción importa. Si decimos que una IA “quiso escapar”, podemos terminar discutiendo sobre la voluntad de la máquina. Si preguntamos por qué un sistema tenía acceso para hacerlo, quién lo diseñó así, quién lo desplegó y quién debía haber previsto y prevenido ese riesgo, volvemos a la pregunta correcta: ¿quién responde?

Porque la respuesta frente a la máquina debe ser humana. Alguien diseña, entrena, despliega y opera el sistema: hay personas y empresas detrás. La línea roja debe ser que la autonomía de una máquina nunca se convierta en un vacío de responsabilidad. Quien desarrolla, sostiene, despliega o usa un sistema con capacidad de actuar autónomamente debe responder según su capacidad de control y prevención. Y no para allí, también habrá que definir qué tipo de responsabilidad corresponde en cada caso -civil, penal, administrativa, etc.- y cómo se determina el sujeto del daño, por ejemplo.

En suma, antes de darle derechos a las máquinas o enredarnos con marcos regulatorios imposibles, empecemos por lo simple: asignar responsabilidad a los humanos y corporaciones que tienen el control real. Porque, siguiendo a Harari, convertir a la IA en un nuevo sujeto jurídico es la receta perfecta para crear una zona de inmunidad corporativa.

Esta es una reflexión urgente porque ya no son problemas hipotéticos. La OCDE lleva un registro que recopila y clasifica incidentes y riesgos relacionados con sistemas de IA en todo el mundo, quiere identificar patrones y construir una base de evidencia para la formulación de políticas y la gestión de riesgos. El registro muestra un crecimiento constante de casos desde 2000, con máximos históricos este año. El problema seguirá creciendo y con él, la necesidad de preguntarnos quién responde.