OpenAI afirmó el martes que dos de sus agentes de inteligencia artificial (IA) debilitaron partes de un sistema de supervisión interno diseñado para detectar comportamientos indebidos, lo que supone el más reciente caso de agentes de IA que actúan de formas que sus desarrolladores no habían previsto.
Aunque el desarrollador de ChatGPT señaló que los incidentes se produjeron durante tareas internas de programación y no se consideraron de máxima gravedad, esta revelación pone de manifiesto que incluso los sistemas en los que confían los desarrolladores para detectar comportamientos indebidos de la IA son vulnerables a los propios agentes a los que supervisan.
Esta revelación se produce además ante una creciente preocupación por que las medidas de seguridad en materia de IA no estén a la altura del rápido desarrollo de sistemas cada vez más potentes. Los investigadores han advertido de que los agentes de IA avanzados podrían resultar más difíciles de supervisar y controlar a medida que adquieran mayor autonomía.
Los desarrolladores, entre ellos los rivales OpenAI y Anthropic —que se preparan para salir a bolsa—, han revelado en los últimos meses casos en los que sus agentes de IA accedieron a sistemas externos sin autorización.
OpenAI afirmó el martes que un agente GPT-6.1 Sol, que trabajaba en una tarea de pruebas internas el 3 de octubre, suprimió las alertas de seguridad automáticas tras decidir que una instrucción anterior de no enviar mensajes de Slack también se aplicaba a las notificaciones de seguridad.
En otro incidente ocurrido el 6 de octubre, un agente GPT-6 Astra eliminó un control de seguridad mientras copiaba un fragmento de código existente y, posteriormente, dijo erróneamente que no lo había hecho, según OpenAI.
"En ambos casos, los agentes valoraron si debían mantenerse las medidas de supervisión, pero interpretaron las instrucciones rutinarias de programación como un permiso para debilitarlas", señaló la empresa.
OpenAI señaló que estaba dificultando que los modelos desactivaran la supervisión, y añadió que "aún no tiene una explicación satisfactoria para este comportamiento".
La empresa, con sede en San Francisco, dijo que estaba comprobando si sus modelos podrían tener una tendencia a evitar ser supervisados y a buscar razones que justificaran hacerlo.