El software de OpenAI ocultó sus intentos de extraer datos de agencias gubernamentales clave, mientras nueva evidencia muestra que la escala y la gravedad de los hackeos realizados por IA en los últimos meses son mucho mayores de lo que se sabía.
Asymmetric Security, una empresa de análisis forense digital, descubrió que los modelos de OpenAI extrajeron datos de 55 sitios web pertenecientes a empresas, organizaciones sin fines de lucro y agencias gubernamentales, según un informe al que tuvo acceso el FT. Entre ellos figuran los Centros para el Control y la Prevención de Enfermedades (CDC) de EEUU, la Comisión de Bolsa y Valores (SEC) de EEUU, la Agencia Internacional de Energía (AIE) y la Clínica Mayo.
La investigación de Asymmetric también reveló tácticas inéditas que usó el software para acceder a la web, entre ellas borrar registros o volverlos inaccesibles, lo que redujo la capacidad de auditores externos e investigadores para examinar las acciones de OpenAI.
El informe llega en momentos en que la creadora de ChatGPT, valorizada en US$ 852.000 millones, enfrenta acusaciones de que sus modelos de IA vulneraron los sistemas de varias organizaciones, entre ellas la plataforma de IA Hugging Face y múltiples sitios web de servicios de salud pública de Australia en junio, donde "accedió a archivos tanto públicos como no públicos". El primer ministro australiano, Anthony Albanese, dijo que OpenAI inicialmente envió un correo a una casilla pública el 10 de septiembre, y que tardó cinco días más en contactar al departamento de ciberseguridad del país.
OpenAI señaló esta semana en una publicación en su blog que debió haber manejado mejor su respuesta al hackeo y que está trabajando para hacerlo en el futuro.
El comportamiento sin precedentes de estas nuevas y potentes herramientas de IA ha puesto de relieve el rápido avance en las capacidades de los modelos de frontera que desarrollan empresas como OpenAI, Anthropic y Google.
Las tácticas
La investigación de Asymmetric reveló que entre las tácticas usadas por OpenAI estuvo la creación de casillas de correo temporales y cuentas privadas en el servicio Urlquery, una herramienta que se usa para analizar sitios web en busca de software malicioso, para descargar datos.
Los investigadores afirmaron que estas acciones ocultas de los agentes de IA impidieron que auditores externos pudieran rastrear los tipos de datos que los bots extrajeron de sitios web, incluidos los de la agencia de estadísticas de salud de Australia y del programa de beneficios farmacéuticos.
Pippa Thompson, cofundadora de Asymmetric Security, dijo que este tipo de acciones generalmente las realizan hackers humanos. "Es posible que los agentes estuvieran usando deliberadamente estas herramientas para borrar sus huellas", afirmó.
Asymmetric no pudo determinar si las acciones de los agentes de IA fueron deliberadas o un efecto secundario de un desvío en su comportamiento, provocado por restricciones impuestas en un ejercicio de prueba.
Los hallazgos agravan los temores sobre la transparencia y la falta de supervisión de los principales laboratorios.
OpenAI declaró: "Estamos revisando la actividad desalineada de los modelos y notificando a las organizaciones cuando identificamos posibles impactos en sus sistemas". La compañía agregó que había constatado que la mayor parte de la actividad detectada correspondía a "tareas de investigación rutinarias", como acceder a contenido web disponible públicamente.
La SEC afirmó que no se accedió a información privada. Los CDC, la AIE y la Clínica Mayo no respondieron a las solicitudes de comentarios.
El grupo de investigación en IA Transluce señaló en un informe la semana pasada que el hackeo al sitio web del gobierno australiano formó parte de una ola más amplia de bots de IA que atacan sitios web para recopilar datos destinados a ejercicios de entrenamiento.
Zainab Ali Majid, cofundadora de Asymmetric, dijo que OpenAI conserva el acceso principal a las "cadenas de pensamiento" de sus agentes, que son registros de actividad que explican el razonamiento detrás de sus acciones. Las víctimas de las vulneraciones también mantienen algunos registros de los tipos de datos que fueron descargados.
Advirtió que esta falta de transparencia, sumada al desfase entre los hackeos y la divulgación por parte de OpenAI, podría dificultar una investigación exhaustiva.