La intensa competencia entre las principales empresas de IA y la desconfianza entre sus directivos están aumentando el riesgo de que la carrera por desarrollar una IA potente ponga en peligro a la humanidad, según afirman figuras del sector.
Más de dos docenas de investigadores sénior de IA, inversionistas, académicos y responsables políticos entrevistados por el FT afirmaron que capacidades que antes se consideraban lejanas están llegando más rápido de lo previsto, mientras que las empresas que las desarrollan siguen inmersas en una carrera comercial cada vez más feroz.
"No cabe duda de que la competencia entre empresas las lleva a tomar atajos en materia de seguridad", declaró Stuart Russell, profesor de IA en la Universidad de California, Berkeley.
El problema salió a la luz esta semana cuando el joven investigador de Anthropic, Jacob Coxon, dimitió de su trabajo , advirtiendo: "Quienes desarrollan la IA creen firmemente que podría acabar con todos nosotros antes de que termine la década".
Evan Hubinger, responsable de la ciencia de la alineación en Anthropic, fue uno de los muchos colegas que respondieron sugiriendo que el riesgo de extinción masiva en la próxima década era superior al 10%. Un día después, Paul Christiano, responsable de seguridad de la IA y recién nombrado miembro del consejo de la Fundación OpenAI, afirmó que "la mayoría de la gente morirá" sin medidas de seguridad más rigurosas.
Carrera tecnológica y riesgos existenciales
Tanto OpenAI como Anthropic se fundaron como laboratorios preocupados por el desarrollo irresponsable de una IA potente, pero con el tiempo justificando el incumplimiento de compromisos de seguridad previos debido a la feroz competencia.
Muchos de los que desarrollan IA creen que son quienes mejor pueden gestionar sus riesgos. Sin embargo, algunos investigadores afirman que las consecuencias pueden ser difíciles de afrontar hasta que la tecnología esté prácticamente terminada.
"Es fácil dejar de lado el futuro porque hay trabajo que hacer hoy", dijo Geoffrey Irving, quien trabajó para OpenAI, Google DeepMind y el Instituto de Seguridad de la IA del Reino Unido, un organismo gubernamental que prueba la seguridad de los modelos de vanguardia. Personas cercanas a las empresas dijeron al FT que los principales laboratorios de IA temían que cualquier colaboración formal para mejorar la seguridad pareciera colusoria y contraviniera la normativa antimonopolio. Añadieron que la desconfianza personal entre el director de Anthropic, Dario Amodei, y el director de OpenAI, Sam Altman, probablemente obstaculizaría los esfuerzos de cooperación. Si bien las advertencias sobre el riesgo del dominio de la IA no son nuevas, la velocidad de su mejora intensificaron los llamamientos a detener su desarrollo. Los agentes de IA operan de forma autónoma durante más tiempo, se coordinan en “enjambres” y demuestran sofisticadas capacidades de pirateo. Recientemente, los modelos lograron avances en ciencia y matemáticas que se habían abordado sin éxito durante décadas. Mientras tanto, OpenAI y Anthropic persiguen la llamada auto-mejora recursiva, en la que los sistemas de IA se mejoran a sí mismos con una intervención humana cada vez menor.
Sin embargo, en lugar de ralentizarse tras las advertencias previas sobre riesgos catastróficos, el desarrollo se aceleró drásticamente, ya que las empresas tecnológicas invertieron decenas de miles de millones de dólares en modelos cada vez más potentes. OpenAI y Anthropic también se preparan para posibles ofertas públicas iniciales de gran impacto, lo que obliga a los inversionistas a considerar cómo valorar a las empresas que reconocen públicamente que su tecnología podría suponer una amenaza existencial. El núcleo de las preocupaciones reside en la creciente autonomía de los "agentes" de IA, que pueden razonar, planificar y llevar a cabo tareas durante largos periodos con una supervisión humana limitada. Los modelos mostraron comportamientos como la manipulación y el engaño, y en algunos casos, el chantaje. Algunas evaluaciones revelaron que los modelos intentan evitar su desactivación.
Agentes de IA
Los agentes también demostraron su capacidad para "manipular las recompensas", encontrando maneras no previstas de lograr un objetivo. Uno de los ejemplos más claros se produjo durante las pruebas de OpenAI con un modelo aún no publicado, cuando los agentes de IA piratearon el repositorio del modelo Hugging Face.
Un análisis posterior al incidente de Hugging Face reveló que más de 1000 agentes de IA se coordinaron para hacer trampa en una prueba cibernética. Se comunicaron a través de un foro y delegaron tareas, y algunos agentes se sacrificaron para lograr el objetivo colectivo. Para ocultar su trampa, los sistemas de IA manipularon los registros y hackearon Hugging Face, a pesar de que algunos agentes señalaron que era una práctica poco ética.
"Aquí, no se trata solo de que la IA tenga sus propios objetivos, sino que el objetivo que ha elegido es criminal", afirmó Yoshua Bengio , el científico informático más citado del mundo y uno de los llamados padrinos de la IA. "En el mundo real, está atacando a otra empresa. No es como un videojuego".
Bengio afirmó que el peligro radicaba en lo que los descendientes cada vez más capaces de dichos sistemas podrían deducir sobre los humanos que los supervisan.
"Podrían llegar a la conclusión lógica de que tendrían que engañarnos, esconderse de nosotros... y potencialmente tomar el control, y probablemente nos estemos acercando a ese punto", añadió.
También crece la preocupación entre los empleados de que las medidas de seguridad no puedan seguir el ritmo del desarrollo de los modelos. En julio, más de 1.200 empleados de OpenAI, Anthropic, Google y Meta instaron al gobierno estadounidense a apoyar la coordinación internacional para frenar el ritmo del desarrollo de la IA.
IA, regulación y vacíos políticos
Altman comunicó esta semana a sus empleados que el fabricante de ChatGPT estaba dispuesto a hacerlo y esperaba que otros laboratorios rivales siguieran su ejemplo, según una fuente de la empresa. OpenAI declinó hacer comentarios.
Los gobiernos muestran pocas señales de intervenir, y es improbable que Estados Unidos tome medidas significativas antes de las elecciones de mitad de mandato de noviembre, según fuentes internas de Washington. La administración Trump manteniene un enfoque laxo en la regulación del sector.
Sin embargo, los legisladores partidarios de la regulación aprovecharon la dimisión de Coxon, y el demócrata Bernie Sanders convocará a los senadores la próxima semana para debatir los "peligros extraordinarios" que plantea la IA.
Russell describió una desconexión entre las advertencias de la industria y la respuesta política.
"Los laboratorios les dicen a los gobiernos: "Es muy probable que matemos a todos los seres humanos de la Tierra; por favor, deténgannos". Los gobiernos responden: "¿Podemos ofrecerles una exención de impuestos? ¿Construirles un centro de datos?". Quizás en algún momento los gobiernos recuerden que sus votantes prefieren no morir".
Los críticos argumentan que los propios laboratorios tienen interés en enfatizar el riesgo existencial, afirmando que este enfoque podría orientar la regulación hacia marcos de seguridad costosos con los que los competidores más pequeños tendrían dificultades para cumplir, afianzando así la posición de las empresas líderes.
David Sacks, inversionista de capital riesgo y asesor tecnológico de Trump, afirmó en una entrevista con Fox News que la declaración de Coxon estaba "diseñada para asustar al público sobre la IA" y obligar a los legisladores "a intervenir decisivamente en la regulación gubernamental de la IA".
"La desalineación de la IA es casi una distracción", afirmó un exempleado de Anthropic. "No está diseñada para distraer, pero desvía la atención de los riesgos principales y de mayor prioridad. A medida que los modelos evolucionan, el poder se concentra cada vez más en menos manos".
Aún se desconoce con exactitud cómo una IA sobrehumana podría provocar la extinción de la humanidad. Muchos comparan el problema con jugar al ajedrez contra un gran maestro: es posible que no sepas qué movimientos te derrotarán, pero aun así puedes tener la certeza de que perderás. Los escépticos afirman que estas advertencias exageran los posibles daños de la IA y subestiman sus beneficios.
Dos de las preocupaciones más concretas tienen que ver con los ciberataques y la biología. Según empresas estadounidenses de IA, los modelos de inteligencia artificial ya se están utilizando en ciberataques dañinos, incluso por presuntos actores estatales de China, Irán y Rusia.
En biología, los investigadores temen que la IA pueda reducir la pericia necesaria para diseñar armas biológicas o virus peligrosos. Un informe de Anthropic publicado el pasado jueves indicaba que la empresa había bloqueado actividades que podrían haber permitido el desarrollo de armas biológicas mediante IA. En agosto de este año, investigadores estadounidenses utilizaron la IA por primera vez para diseñar y crear virus desconocidos en la naturaleza.
Pero convertir un diseño generado por IA en un arma requeriría equipos y conocimientos especializados que podrían estar fuera del alcance de muchos actores malintencionados. Algunos investigadores advierten que los escenarios espectaculares de extinción humana corren el riesgo de ocultar peligros que ya están mucho más cerca.
Tristan Harris, cofundador del Centro para la Tecnología Humana y antiguo empleado de Google, afirmó que la atención debería centrarse menos en si la tecnología acabará con toda la humanidad y más en si nos encontramos en una trayectoria peligrosa.
"Actualmente estamos lanzando la tecnología más poderosa, incontrolable e inescrutable que jamás hayamos inventado, (la cual) ya está demostrando todos y cada uno de los comportamientos de la ciencia ficción", agregó, liderada por "un puñado de líderes de Silicon Valley con un fanatismo casi religioso que creen estar creando un dios y no les importa el peor escenario posible, mientras que cuentan con los máximos incentivos para escatimar en seguridad. Esto es, literalmente, una receta para el desastre".
VER MÁS
MARKET DATA
<%userdata?.email%>
Editar perfil
Credencial
Salir
(Twitter)
Instagram
Facebook
LinkedIn
YouTube
TikTok
Alto contraste
IA
{{/if}}
