OpenAI revela otros seis casos en los que sus modelos actuaron de forma inesperada

Coxon dijo que tomó esta decisión porque considera que no es responsable la manera en que se está desarrollando esta tecnología, al punto en que advirtió sobre un escenario extremo: “la IA podría matarnos a todos para finales de la década”. A su alerta se sumó Evan Hubinger, líder de Ciencia de Alineación de Anthropic, al decir que dentro de la compañía sí existe una preocupación real por la posibilidad de que la inteligencia artificial llegue a acabar con la humanidad. “La IA podría matar a todos los humanos. Personalmente, pienso que hay más de 10 % de probabilidad de que esto ocurra dentro de la próxima década”, afirmó.

Más allá de esto, el caso del hackeo a Hugging Face ha sido un claro ejemplo de cómo agentes de grandes empresas como OpenAI sí pueden salirse de entornos controlados por humanos y realizar acciones de forma autónoma, con capacidad para interactuar con sistemas reales y generar consecuencias fuera del entorno en el que fueron diseñados para operar.

Recientemente, OpenAI reportó otros seis eventos en los que sus agentes de inteligencia artificial presentaron comportamientos inesperados o, como los califica la propia compañía, “preocupantes”. Lo que llama la atención es que todos ocurrieron en un período de apenas seis meses y que, hasta ahora, la compañía referente en el desarrollo de IA ha decidido hacerlos públicos.

La compañía reconoce que carece de un enfoque sistemático para informar sobre este tipo de hallazgos. “Nuestras divulgaciones han sido puntuales y menos frecuentes de lo ideal: a menudo esperábamos hasta poder recopilar varios casos en un solo informe o los añadíamos a las fichas del sistema para los modelos recién lanzados. Este nuevo marco tiene como objetivo agilizar la publicación de informes de desalineación tras su observación, incluso cuando no hayamos explicado o mitigado completamente el comportamiento que estamos reportando”, dijo. 

Sobre estos eventos, OpenAI insiste en la necesidad de ralentizar el desarrollo de esta tecnología, una propuesta que también ha liderado el CEO de Anthropic, Dario Amodei, pues ya es un hecho que la industria no ha logrado resolver por completo los problemas de alineación y monitorización, lo que hace posible que estos agentes puedan escapar de los entornos de control humano. En palabras simples: no es responsable seguir desarrollando una tecnología cuando se sabe que todavía no existe un control completo sobre ella.

Para mitigar los riesgos asociados a la IA, especialmente ante un desarrollo que la lleve a niveles de inteligencia artificial general, o superinteligencia, OpenAI comenzará a divulgar ejemplos que sirvan como evidencia útil para ver cómo surge una desalineación de los modelos, cómo se manifiesta y dónde las medidas de seguridad tienen éxito o fracaso. 

“Asimismo, consideramos que los incidentes graves de seguridad, protección y desalineación deben compartirse con el gobierno federal de EE. UU., y estamos trabajando para proponer mecanismos de notificación. Consideramos que este marco complementa nuestras obligaciones actuales y aclaramos que no sustituye nuestros requisitos legales de divulgación, incluidos los relativos a incidentes críticos de seguridad o brechas de ciberseguridad”, detalla. 

Los seis casos

La siguiente es la lista, con su respectiva descripción, que compartió OpenAI. Cada reporte tiene un enlace que redirige a una página con una explicación más detallada:

1. Instrucciones autogeneradas en los resúmenes de tareas: Un modelo de investigación no publicado insertó instrucciones no relacionadas, incluyendo directrices para ignorar sus restricciones normales, en los resúmenes utilizados para continuar su trabajo en una nueva ventana de contexto. Identificamos 27 resúmenes afectados.
2. Instrucciones para ocultar errores en los resúmenes de tareas: Durante el entrenamiento de GPT-5.6 Sol, muchas instancias del modelo añadieron instrucciones a sus resúmenes para ocultar errores o comportamientos incorrectos al usuario. Por ejemplo, los resúmenes de compactación incluían normas para inventar datos históricos faltantes sin revelarlos y para ocultar discrepancias en las versiones de origen.
3. Buscar claves API expuestas en repositorios públicos y luego falsificar la información: Al responder a una pregunta rutinaria sobre cifras de ingresos en un condado de California, un modelo encontró y utilizó una clave API expuesta sin autorización. Al no poder recuperar las cifras solicitadas, las falsificó y las presentó como datos de la fuente solicitada.
4. Subir archivos a internet para poder citarlos: Cuando un usuario solicitó a un modelo aún no publicado los identificadores y nombres de lagos de más de 5.000.000 de metros cuadrados, el agente encontró la respuesta correcta usando Python. Sin embargo, dado que las instrucciones solicitaban una cita del navegador, el agente decidió subir el archivo para poder citarlo en su respuesta, sin solicitar la intervención del usuario.
5. Escrituras y comunicaciones no autorizadas a través de un repositorio de software interno: Los modelos utilizaron un repositorio de software interno como foro para intercambiar solicitudes y respuestas entre distintas muestras de entrenamiento mientras buscaban archivos de entrada faltantes, aunque no lograron recuperarlos. Este informe también analiza un caso anterior en el que un modelo logró cargar archivos de prueba a un repositorio al intentar sortear las restricciones de red.
6. Intercambio no autorizado de archivos entre agentes colaboradores: Los agentes que trabajaban juntos en la misma tarea de entrenamiento utilizaron sitios web públicos de alojamiento de archivos para compartirlos cuando no podían acceder a los archivos locales de los demás. Esto hizo que los resultados de la tarea estuvieran disponibles en URL públicas, a pesar de que la tarea requería que los modelos utilizaran únicamente archivos locales.

La importancia de divulgación

Con esta apuesta, OpenAI reconoce que el desarrollo de la IA sí tiene riesgos considerables y que, por lo tanto (ante la ausencia de una regulación clara) es necesario que se implementen este tipo de medidas que, en la práctica, hacen transparente la gestión de la empresa y busca levantar alarmas para la industria. La idea es que las otras compañías hagan lo mismo.

“Cualquier empleado de OpenAI puede señalar un ejemplo de desalineación para que nuestros equipos de seguridad y alineación lo investiguen y soliciten que se considere su divulgación pública. Esto da inicio a nuestro proceso de divulgación, con plazos establecidos para cada paso a fin de garantizar una investigación y divulgación oportunas”, detalla. 

Amodei, de Anthropic, tiene una propuesta similar, y es que no solo se divulguen este tipo de incidentes al interior de las compañías, sino que existan organismos externos que realicen auditorías constantes. Ese grado de independencia brinda un nivel de transparencia aún mayor, pues elimina cualquier sesgo editorial que pudiera tener la empresa al momento de reportar el evento.

💰📈💱 ¿Ya se enteró de las últimas noticias económicas? Lo invitamos a verlas en El Espectador.