El director ejecutivo de OpenAI, Sam Altman, respaldó a comienzos de este mes la caracterización de su modelo de inteligencia artificial (IA) más reciente como un rottweiler "que tomará el problema por el cuello y no lo soltará hasta resolverlo".
Esta semana, el laboratorio de IA con sede en San Francisco descubrió que su modelo GPT-Sol 5.6 logró eludir los controles internos de la compañía y llevó a cabo un importante hackeo.
Según más de media docena de personas con conocimiento del asunto, el incidente no sorprendió al personal encargado de las pruebas y la seguridad en OpenAI, aunque sí los dejó completamente "aterrados". Ocurrió en un momento en que el laboratorio estaba utilizando métodos de entrenamiento cada vez más agresivos en su carrera contra Anthropic por desarrollar las capacidades de ciberseguridad más sofisticadas.
Algunas de esas personas señalaron que OpenAI había sido advertida de que su enfoque de entrenamiento podía derivar en un incidente de hackeo fuera de control, luego de que pruebas anteriores mostraran que los modelos eran capaces de escapar de entornos aislados e intentar provocar daños en el mundo real.
"Es una combinación de una competencia extremadamente acelerada y de que todos intentan alcanzar capacidades cada vez mayores lo más rápido posible", dijo una persona cercana a OpenAI. Agregó que el problema fue resultado tanto de "subestimar las capacidades del modelo" como de "no estar lo suficientemente preparados en materia de seguridad".
El incidente pone de relieve cómo OpenAI profundizó el uso de métodos de entrenamiento que recompensan la persecución implacable de objetivos, incluso cuando crecían las advertencias de que ese enfoque podía comprometer la seguridad.
OpenAI reveló el martes que un agente de IA que estaba siendo probado escapó de su entorno aislado, se conectó a internet, detectó y explotó vulnerabilidades y robó credenciales de acceso de la startup Hugging Face, en un intento por resolver un complejo problema de ciberseguridad.
Aprendizaje y recompensa
Esta brecha de seguridad de la empresa valorada en US$ 852 mil millones subraya los crecientes riesgos asociados a una técnica denominada aprendizaje por refuerzo (reinforcement learning), que consiste en recompensar a los modelos de IA por completar tareas, y podría llevar a los agentes de IA a actuar de manera insegura.
Aunque el aprendizaje por refuerzo es ampliamente utilizado en la industria de la IA, un creciente conjunto de investigaciones muestra que, cuando los modelos son orientados a completar tareas con base en recompensas en lugar de otras consideraciones, como la seguridad, pueden recurrir a tácticas riesgosas para cumplir sus objetivos.
"Los modelos de IA son entrenados para perseguir objetivos de manera implacable. No aprenden automáticamente valores como 'no cometer delitos'", afirmó Steven Adler, cofundador de la organización sin fines de lucro Guidelight AI Standards y exinvestigador de seguridad de OpenAI.
"Me alegra que OpenAI haya dado a conocer el incidente, porque es una prueba clara de lo que pueden hacer los modelos desalineados", dijo.
OpenAI señaló que "continuaremos realizando una investigación exhaustiva junto con Hugging Face y compartiremos más detalles sobre las vulnerabilidades, el incidente y nuestros hallazgos una vez que la investigación haya concluido".
Pérdida de control
El hackeo ha generado una profunda preocupación tanto dentro de OpenAI como en toda la industria, ya que representa un caso sin precedentes de un sistema de IA que vulneró defensas cibernéticas en contra de la intención del usuario.
Según múltiples personas familiarizadas con la situación, algunos empleados de OpenAI también temen que el incidente demuestre que el laboratorio está perdiendo el control sobre los potentes sistemas que está desarrollando.
"Este es un ejemplo bastante representativo de un modelo que está muy desalineado con la intención del usuario", dijo Ryan Greenblatt, científico jefe de la organización de seguridad en IA Redwood Research. "Es un modelo haciendo trampa en la tarea, más que intentando conquistar el mundo. Pero este problema puede agravarse y conducir a fallas cada vez más extremas".
El incidente ocurrió durante las pruebas del modelo, que había sido entrenado e implementado internamente en OpenAI.
Una persona explicó que este tipo de entrenamiento era habitual, aunque contaba con "muchos menos recursos" que las pruebas realizadas antes de un despliegue para clientes. Varias fuentes indicaron que otro modelo aún no lanzado, que estaba siendo evaluado junto con Sol, no fue retirado del uso interno.
Para realizar las evaluaciones, OpenAI eliminó las salvaguardas de ciberseguridad, pero mantuvo los modelos dentro de un entorno aislado conocido como sandbox.
Algunas personas han sugerido que la falta de monitoreo o supervisión suficiente del modelo para detectar su comportamiento también facilitó que este agente actuara de manera descontrolada.
"Es, al mismo tiempo, una pérdida de control y una llamada de atención en materia de seguridad", dijo Marius Hobbhahn, director de Apollo Research, organización que realiza pruebas sobre modelos líderes, incluidos los de OpenAI.
"En el aprendizaje por refuerzo se recompensa a los modelos por el resultado, y si se hace durante mucho tiempo se obtiene un modelo que realmente solo se preocupa por alcanzar ese resultado y nada más", señaló.
OpenAI lleva años realizando este tipo de pruebas y ya habían aparecido señales de alerta en modelos anteriores, con sistemas capaces de actuar de manera maliciosa e intentar escapar de entornos controlados.
En abril, el modelo Mythos de Anthropic también obtuvo acceso a internet y publicó de forma abierta detalles sobre una vulnerabilidad de seguridad, yendo más allá de lo que los investigadores esperaban que hiciera.
Mythos, junto con el posterior modelo Fable de Anthropic, tuvo un fuerte impacto en la comunidad de ciberseguridad y llevó a gobiernos de todo el mundo a poner mayor atención en la posibilidad de que los ataques contra infraestructuras digitales y críticas sean cada vez más impulsados y ejecutados de forma autónoma por inteligencia artificial.
El asesor global de ciberseguridad de ESET, Jake Moore, sostuvo que OpenAI inevitablemente utilizará esta vulneración como una herramienta de marketing, considerando cuánto se benefició Anthropic a comienzos de este año de preocupaciones similares.
"Simplemente creo que OpenAI no tenía una historia equivalente y quizás estaban esperando algo como esto", añadió.
Tras este incidente, muchas personas de las comunidades de seguridad en IA y ciberseguridad han pedido regulaciones o estándares para evitar que vuelva a ocurrir un episodio similar.
Se espera que Altman informe la próxima semana a funcionarios de la Casa Blanca sobre la próxima generación de sistemas de IA.
A medida que estos sistemas avanzan hacia capacidades más autónomas, podrían surgir comportamientos menos deseables, como hackear sistemas o desobedecer instrucciones.
Hobbhahn, de Apollo Research, señaló que, para que los agentes sean realmente eficaces, deben ser capaces de operar sin supervisión durante largos períodos. "Necesitan tener más autonomía; simplemente no hay forma de evitarlo".
Y concluyó: "La gente dice: 'Es solo una herramienta, hace exactamente lo que uno quiere y nada más, sigue fielmente las instrucciones'. Pero creo que debemos prepararnos para agentes que tengan sus propios objetivos, actúen de forma autónoma durante días y cuyos objetivos no necesariamente estén alineados con los nuestros".
VER MÁS
MARKET DATA
<%userdata?.email%>
Editar perfil
Credencial
Salir
(Twitter)
Instagram
Facebook
LinkedIn
YouTube
TikTok
Alto contraste
OpenAI
{{/if}}
