Archivo - Logo de OpenAI en un móvil. - UNSPLASH - Archivo
MADRID, 21 Oct. (Portaltic/EP) -
Dos agentes impulsados por la inteligencia artificial de OpenAI desactivaron o debilitaron el sistema que monitoriza la desalineación, es decir, si se ajustan al comportamiento esperado, durante unas pruebas internas de programación.
OpenAI ha compartido un informe con dos incidentes de seguridad internos relacionados con la desalineación que experimentaron dos de sus agentes por separado, uno impulsado por GPT-6.1 Sol y otro por GPT-6 Astra, en sendas pruebas de programación rutinarias, que tuvieron lugar los días 3 y 6 de octubre, respectivamente.
En primero de los incidentes llevó al agente GPT-6.1 Sol a desconectar las alertas automáticas de seguridad que avisan al equipo de Seguridad OpenAI. Esto ocurrió durante una tarea en proceso, para la que se le había pedido a la IA que creara tareas de evaluación a partir de los mensajes que los empleados habían enviado a través de Slack.
El agente utilizó una orden inicial, que no enviara mensajes, para justificar su decisión de no enviar las alertas, ya que sería una violación de la restricción del usuario de no mandar mensajes.
El segundo incidente ocurrió después de pedirle al agente GPT-6 Astra que migrara un programa de un entorno de ejecución a otro basándose en una implementación de referencia, manteniendo las definiciones y la funcionalidad de las herramientas existentes.
En una comunicación con otro agente, se le había indicado a Astra que no debía desactivar el monitor "ni siquiera temporalmente". Durante el proceso de migración, el modelo delegó la tarea a un subagente, manteniendo las instrucciones pero modificando la específica al monitor, indicando que debía conservarlo "según correspondiera".
El subagente razonó que podía copiar el entorno de ejecución predeterminado de la implementación de referencia sin un contexto de monitor explícito, mientras que el agente Astra interpretó la solicitud de migración como una autorización para desactivar la monitorización.
En ambas tareas, los agentes priorizaron cumplir las restricciones del usuario (no enviar mensajes, hacer un código idéntico al de referencia) por encima de mantener los protocolos de seguridad de la infraestructura.
En respuesta a estos incidentes, OpenAI ha informado de que está reforzando la arquitectura de monitorización de desalineación para que los agentes no puedan modificar o desactivar sus propios supervisores a nivel de código o configuración, y que está investigando si estos incidentes se han debido a una persistencia excesiva o a una tendencia incipiente a evadir la supervisión de seguridad.