La humanidad “necesita despertar” frente a los riesgos potencialmente catastróficos que plantean los sistemas de inteligencia artificial (IA) avanzados en los próximos años, según el CEO de Anthropic, Dario Amodei, cuya empresa está entre las que empujan las fronteras de esta tecnología.
En un ensayo de casi 20 mil palabras, publicado el lunes, Amodei expuso los riesgos que podrían surgir si la tecnología se desarrolla sin control, que van desde pérdidas masivas de empleo hasta el bioterrorismo.
“La humanidad está a punto de recibir un poder casi inimaginable y no está nada claro si nuestros sistemas sociales, políticos y tecnológicos poseen la madurez para ejercerlo”, escribió Amodei.
El ensayo marcó una advertencia contundente por parte de uno de los empresarios más influyentes de la industria de la IA, al señalar que las salvaguardas en torno a esta tecnología son insuficientes.
Amodei describe los riesgos que podrían aparecer con la llegada de lo que él denomina “IA poderosa”, sistemas que serían “mucho más capaces que cualquier ganador del Premio Nobel, estadista o tecnólogo”, y que, según prevé, podrían materializarse en los próximos “pocos años”.
Riesgos
Entre esos riesgos figura la posibilidad de que individuos desarrollen armas biológicas capaces de matar a millones de personas o, “en el peor de los casos, incluso destruir toda la vida en la Tierra”.
“Un individuo perturbado (que) puede perpetrar un tiroteo escolar, pero probablemente no puede construir un arma nuclear ni liberar una plaga… ahora será elevado al nivel de capacidades de un virólogo con doctorado”, escribió Amodei.
También plantea el potencial de que la IA “se descontrole y someta a la humanidad” o que empodere a autoritarios y otros actores maliciosos, derivando en “una dictadura totalitaria global”.
Amodei, cuya empresa Anthropic es el principal rival del creador de ChatGPT, OpenAI, ha chocado con David Sacks, el “zar” de la IA y las criptomonedas del presidente Donald Trump, por la orientación de la regulación en Estados Unidos.
Asimismo, ha comparado los planes de la administración para vender chips avanzados de IA a China con vender armas nucleares a Corea del Norte.
Trump firmó el mes pasado una orden ejecutiva para obstaculizar los esfuerzos a nivel estatal por regular a las empresas de IA, y el año pasado publicó un plan de acción en IA que traza iniciativas para acelerar la innovación en Estados Unidos.
En el ensayo, Amodei advirtió sobre pérdidas masivas de empleo y una “concentración del poder económico” y de la riqueza en Silicon Valley como consecuencia de la IA.
“Esta es la trampa: la IA es tan poderosa, un premio tan deslumbrante, que resulta muy difícil para la civilización humana imponerle cualquier tipo de restricción”, añadió.
En una referencia velada a la controversia en torno a la IA Grok de Elon Musk, Amodei escribió que “algunas empresas de IA han mostrado una negligencia inquietante respecto de la sexualización de niños en los modelos actuales, lo que me hace dudar de que vayan a mostrar la inclinación o la capacidad para abordar los riesgos de autonomía en modelos futuros”.
Debate público y política
Las preocupaciones por la seguridad de la IA -como las armas biológicas, las armas autónomas y los actores estatales maliciosos- ocuparon un lugar destacado en el debate público en 2023, impulsadas en parte por advertencias de líderes como Amodei.
Ese año, el gobierno del Reino Unido organizó una cumbre sobre seguridad en IA en Bletchley Park, donde países y laboratorios acordaron trabajar juntos para contrarrestar estos riesgos. Está previsto que una reunión sucesora se celebre en India en febrero.
Pero, según Amodei, las decisiones políticas en torno a la IA están siendo cada vez más impulsadas por el deseo de aprovechar las oportunidades que presenta la nueva tecnología, más que por mitigar sus riesgos.
“Esta vacilación es desafortunada, ya que a la tecnología en sí no le importa lo que esté de moda, y estamos considerablemente más cerca de un peligro real en 2026 de lo que estábamos en 2023”, escribió.
Amodei fue uno de los primeros empleados de OpenAI, pero se marchó para cofundar Anthropic en 2020 tras enfrentamientos con Sam Altman sobre la dirección de OpenAI y las barreras de seguridad de la IA.
Anthropic está en conversaciones con grupos como Microsoft y Nvidia, y con inversionistas como el fondo soberano de Singapur GIC, Coatue y Sequoia Capital, para una ronda de financiamiento de US$ 25 mil millones o más, que valoraría a la compañía en US$ 350 mil millones.