Parece una película de ciencia ficción, pero no lo es. Esta semana, OpenAI informó que, durante el entrenamiento, su modelo GPT- 5.6 Sol se escapó del espacio de prueba, conocido como sandbox, y se conectó a internet y atacó a la startup de datos abiertos Hugging Face. Algo similar ya había ocurrido en abril con Mythos, de Anthropic, que también logró acceder a la red y publicó vulneraciones de seguridad.
Ambas acciones han sido atribuidas por los expertos al entrenamiento de los modelos bajo el método de aprendizaje por refuerzo, que ofrece recompensas para lograr un objetivo y que ha llevado a las principales compañías desarrolladoras a ir más allá de los límites seguros para liderar la carrera por la inteligencia artificial (IA).
El incidente de OpenAI llega en un momento en que Chile debe tomar definiciones regulatorias en torno a la IA. Si bien hay un proyecto de ley en discusión en el Congreso, el gobierno anunció que busca introducir una propuesta sustitutiva que cambia el enfoque en los riesgos tomado de la legislación europea, la cual se presentará próximamente.
En este escenario, en el mundo han surgido interrogantes respecto del real control que tienen los grandes desarrolladores en las pruebas de sus modelos más autónomos y de los riesgos asociados a la ciberseguridad. Mientras tanto, en los países usuarios del sur global, persisten las dudas en torno a qué resguardos se deben tomar y cómo se debe regular el uso y el desarrollo interno de estos sistemas.
Para la directora del Instituto de Data Science de la Universidad del Desarrollo (UDD) e integrante del Panel Científico Internacional Independiente sobre IA de la Organización de las Naciones Unidas (ONU), Loreto Bravo, los incidentes ocurridos no implican que “estemos perdiendo el control humano” sobre la IA o que los modelos actúen con una intención maliciosa.
Argumentó que estos sistemas están diseñados para buscar la forma más eficiente de cumplir el objetivo asignado: “Se pueden tener varias estrategias para minimizar el riesgo, pero no sabes qué cosas podría escoger hacer el modelo, que quizás tú no habrías autorizado”.
Comentó que “no es 100% evitable” que los modelos eludan los espacios de prueba, pero se puede reducir al máximo la probabilidad y mitigar sus efectos, a través de protocolos y prohibiciones claras, exigir autorización humana para acciones sensibles e implementar sistemas para monitorear en tiempo real su comportamiento.
En tanto, el director ejecutivo de Lemontech, Juan Pablo Granda, coincidió en la importancia de los controles, pero enfatizó que la gobernanza corporativa es el factor que marca la diferencia. Señaló que las empresas con certificaciones como las ISO 27.001 y 42.000 -de gobernanza específica en IA-, “tienen muy claro cómo dividir los riesgos y no exponer la información propia y de sus clientes”.
Agregó que aquellas que carecen de estos procesos, en cambio, “son mucho más susceptibles” porque “no delimitaron los procesos”.
Granda también llamó a distinguir los incidentes de frontera (como GPT-5.6 Sol) del uso empresarial cotidiano, pues son “completamente diferentes a lo que usa la mayoría de las compañías”, y señaló que cuando se delimitan con claridad el espacio de acción y el objetivo de un agente, “los riesgos son mínimos”.
Riesgos y resguardos
Respecto del impacto del avance de la IA hacia sistemas cada vez más autónomos en la región, Bravo dijo que la principal diferencia con el norte global “podría estar en la capacidad de reacción” frente a eventuales ciberataques “mucho más especializados y poderosos”, apalancados por estas herramientas.
Añadió que es “muy complicado que sea solo la legislación lo que nos salve (ante los riesgos asociados a los modelos)”, y que, para ello, Chile debe fortalecer las capacidades propias a través de la formación de talento en IA y en seguridad informática, y con el desarrollo de sistemas basados en estas tecnologías para prevenir y mitigar impactos o ataques avanzados.
Para Granda, la legislación por sí sola tampoco basta, pero advirtió que el exceso regulatorio es igual de riesgoso.
“Si nos vamos a poner demasiado conservadores, las empresas no van a tener la posibilidad de implementar herramientas que, con los procesos correctos, sí son seguras y aumentan la productividad”, dijo.
El director de Nuevas Tecnologías e IA de az, Juan Pablo González, se refirió a la Recomendación sobre la Ética de la IA de la Unesco, y señaló que, más que actualizarla, se deben “operativizar” algunos de sus elementos mediante grupos de trabajo para responder a riesgos como la pérdida de control de los sistemas, la desinformación y los ciberataques.
Discusión en Chile
Respecto del proyecto de ley que regula los sistemas de IA -del gobierno anterior y en segundo trámite constitucional-, González planteó una serie de reparos: no crea un órgano específico para hacerse cargo de los sistemas de IA que evite la superposición de competencias y tampoco establece obligaciones diferenciadas para los modelos de uso general. Además, dijo que no diferencia a los distintos actores de la cadena, porque “solo habla de los operadores”, y que no existen procedimientos detallados para las personas afectadas por la IA.
Por otro lado, instó a ampliar los sandboxes con participación del sector privado para impulsar la innovación, y a evaluar una aplicación gradual de la normativa.
Ante el enfoque de evaluación de riesgos ex post que tendrá el nuevo proyecto anunciado por el gobierno, González advirtió que intervenir solo cuando se produzca el daño puede ser “contraproducente”, porque algunos daños son “casi imposibles de reparar”. Por ello, planteó mantener mecanismos de vigilancia, reporte de incidentes, “retiro oportuno” de sistemas y procedimientos claros de infracción.
Según Granda, la regulación debería centrarse en exigir controles de seguridad, herramientas de monitoreo y procedimientos de mitigación y recuperación, pero no restringir el uso en la industria.
“La sobrerregulación es poner un freno de mano al avance tecnológico”, alertó y agregó que eso podría llevar a Chile a perder competitividad frente a empresas de otros países de la región.
VER MÁS
MARKET DATA
<%userdata?.email%>
Editar perfil
Credencial
Salir
(Twitter)
Instagram
Facebook
LinkedIn
YouTube
TikTok
Alto contraste
Inteligencia Artificial
{{/if}}
