Las audaces promesas de los directivos de Anthropic y OpenAI de limitar el desarrollo de la IA están generando tensiones dentro de ambas compañías en materia de seguridad y otras preocupaciones, lo que pone de manifiesto los desafíos prácticos de convertir la retórica en realidad.
Tras una serie de alarmantes advertencias por parte de los investigadores, los responsables de Claude y ChatGPT se apresuran a implementar las recomendaciones de sus respectivos directores ejecutivos, Dario Amodei y Sam Altman, para frenar el ritmo de avance de la IA y evitar consecuencias desastrosas.
En los últimos meses, los dos directivos se han mostrado cada vez más firmes en su postura sobre la necesidad de marcar el ritmo en el desarrollo de modelos de IA, culminando en una inusual muestra de unidad entre ambos rivales el fin de semana pasado. A pesar de sus declaraciones públicas, internamente existen pocos recursos para implementar las nuevas propuestas, según varias fuentes cercanas a las empresas.
Amodei publicó el sábado un ensayo detallado en el que aboga por un desarrollo más lento de la IA, evaluaciones independientes de los modelos y una mayor coordinación entre los laboratorios y los gobiernos a nivel mundial. También solicitó protección legal frente a las normas de competencia estadounidenses que podrían obstaculizar dicha colaboración, algo que otros laboratorios de IA también desean obtener.
El personal de OpenAI y Anthropic, así como los investigadores de seguridad en quienes confiarían para llevar a cabo este trabajo, quedaron completamente sorprendidos por los anuncios del fin de semana. Si bien muchos empleados coinciden en la necesidad de reducir el ritmo, también temen que ponerlo en práctica pueda poner en peligro su trabajo.
Un problema particular dentro de ambas compañías es el plan de incorporar evaluadores externos en los laboratorios para supervisar el desarrollo de los modelos. Algunos temen que esto pueda comprometer la seguridad de su valiosa tecnología, según personas familiarizadas con las discusiones internas, y una de ellas lo describió como una fuente de "conflicto".
Amodei, quien dejó OpenAI para fundar Anthropic en 2021 debido a preocupaciones de seguridad, propuso el sábado que los evaluadores externos deberían tener "acceso similar al de los empleados" a los principales laboratorios, incluyendo credenciales, computadoras portátiles, entrada a las oficinas y acceso a las herramientas internas.
Las principales empresas de IA ya contratan a terceros para probar el rendimiento y la seguridad de sus modelos, pero la propuesta de Amodei aumentaría sustancialmente su papel.
Altman dijo que era una "gran idea" y que OpenAI haría lo mismo.
Sin embargo, su consenso dista mucho de ser completo. OpenAI afirmó que deseaba colaborar con otros laboratorios, pero que su enfoque ante estos problemas era más pragmático que el de Anthropic.
OpenAI también afirmó haber "tomado ya medidas concretas, incluida la suspensión de ciertos entrenamientos de vanguardia, para acelerar el desarrollo", mientras que Anthropic no ha paralizado su investigación.
A algunos miembros del personal les preocupa conceder a personas ajenas demasiado acceso a sistemas que son a la vez extremadamente potentes y objeto de una intensa competencia en la industria tecnológica.
Los laboratorios de IA ya cuentan con estrictas medidas de seguridad para sus empleados, que incluyen conceder acceso solo a determinados sistemas o restringir los datos de entrenamiento.
En los últimos meses, OpenAI ha intentado restringir aún más el acceso para proteger la propiedad intelectual y la información confidencial, así como para evitar que empleados deshonestos manipulen los sistemas. La compañía afirmó que brindar un acceso efectivo a la vez que se protegen los sistemas confidenciales requiere un diseño cuidadoso.
Anthropic afirmó que lleva mucho tiempo trabajando con evaluadores externos y que tiene previsto incorporar a un evaluador a la plantilla de la empresa en un futuro próximo.
VER MÁS
MARKET DATA
<%userdata?.email%>
Editar perfil
Credencial
Salir
(Twitter)
Instagram
Facebook
LinkedIn
YouTube
TikTok
Alto contraste
IA
