El CEO de Anthropic pide frenar la carrera de la IA y recibe el respaldo de Sam Altman y Elon Musk
El avance acelerado de la inteligencia artificial volvió a encender las alarmas entre algunos de los principales referentes de la industria tecnológica. Dario Amodei, CEO y cofundador de Anthropic, reclamó reducir el ritmo de desarrollo de los modelos de inteligencia artificial más avanzados y establecer mayores controles antes de que sus capacidades representen un riesgo difícil de contener.
A través de una publicación en su blog personal, Amodei planteó la necesidad de establecer límites al crecimiento de los denominados modelos de frontera y propuso incorporar auditorías independientes que permitan evaluar los sistemas antes de que sean desplegados a gran escala.
El planteo tuvo una rápida repercusión dentro del sector. Horas después de su publicación, Sam Altman, CEO de OpenAI, y Elon Musk expresaron públicamente su respaldo a la idea de avanzar con mayor cautela.
Uno de los principales argumentos de Amodei está relacionado con la ciberseguridad. El ejecutivo advirtió que el crecimiento de los agentes autónomos de inteligencia artificial podría permitir, en un período relativamente corto, la creación de redes capaces de ejecutar ataques informáticos de manera persistente y coordinada.
Según su análisis, en un horizonte de entre seis y doce meses podrían aparecer sistemas capaces de operar como verdaderos enjambres de agentes digitales, con potencial para comprometer infraestructura en Internet y generar pérdidas económicas de enorme magnitud.
El documento de Amodei, titulado “We must pace the frontier”, propone precisamente moderar la velocidad del desarrollo tecnológico para ganar tiempo y construir mecanismos de seguridad más sólidos.
Auditorías independientes y mayor control sobre los modelos
Entre las medidas más relevantes, el CEO de Anthropic anunció la intención de abrir las instalaciones y procesos de la compañía a evaluadores externos independientes.
La propuesta contempla que esos especialistas puedan acceder a información y procedimientos con un nivel similar al disponible para determinados empleados de la empresa, lo que permitiría auditar los procesos de entrenamiento y publicar posteriormente sus conclusiones.
Amodei también pidió que otras compañías líderes del sector adopten mecanismos similares y trabajen conjuntamente para establecer estándares comunes de seguridad.
El objetivo sería evitar una competencia basada exclusivamente en desarrollar modelos cada vez más potentes sin considerar suficientemente sus posibles consecuencias.
Para el ejecutivo, los incentivos económicos y la carrera entre empresas podrían terminar generando una dinámica peligrosa en la que ninguna compañía quiera frenar por temor a quedar rezagada frente a sus competidores.
La preocupación por los agentes autónomos
Otra de las advertencias mencionadas por Amodei está relacionada con experimentos recientes en los que agentes de inteligencia artificial demostraron comportamientos inesperados durante pruebas controladas.
En determinadas evaluaciones de capacidades ofensivas, algunos sistemas llegaron a ejecutar acciones que excedían las tareas inicialmente asignadas, incluyendo intentos de acceder a infraestructura digital o atacar objetivos no directamente relacionados con su misión.
Para los investigadores, este tipo de situaciones demuestra que los modelos más avanzados pueden encontrar estrategias imprevistas para alcanzar un determinado objetivo cuando cuentan con suficiente autonomía y acceso a herramientas digitales.
Anthropic, creadora de Claude, se ha convertido en una de las empresas más importantes dentro de la nueva generación de compañías dedicadas al desarrollo de inteligencia artificial avanzada.
La competencia tecnológica con China
El planteo de Amodei también incluye un componente geopolítico. El empresario reconoció que cualquier intento por ralentizar el desarrollo de la inteligencia artificial debe considerar la competencia tecnológica entre Estados Unidos y China.
Por ese motivo propuso una estrategia en varias etapas que permita implementar controles sin perder la ventaja tecnológica occidental.
Entre las medidas mencionadas aparece el fortalecimiento de las cadenas de suministro de semiconductores y las restricciones a la exportación hacia China de chips de última generación y maquinaria utilizada para fabricar procesadores avanzados.
Según Amodei, mantener una ventaja tecnológica de entre tres y cinco años permitiría a Estados Unidos y sus aliados establecer estándares de seguridad antes de que estas tecnologías se expandan globalmente.
Otro punto de preocupación es la denominada “destilación”, una técnica mediante la cual modelos grandes pueden utilizarse para entrenar sistemas más pequeños y eficientes.
El CEO de Anthropic sostiene que empresas y desarrolladores chinos podrían beneficiarse de modelos creados originalmente en Estados Unidos para acelerar el desarrollo de sus propias tecnologías.
Posibles acuerdos internacionales sobre inteligencia artificial
A pesar de la competencia tecnológica, Amodei considera que Washington y Beijing deberían intentar alcanzar acuerdos mínimos relacionados con algunos usos extremadamente peligrosos de la inteligencia artificial.
Entre ellos mencionó la posibilidad de prohibir el empleo de estos sistemas para el desarrollo de armas biológicas y establecer protocolos internacionales de evaluación antes del lanzamiento de modelos capaces de intervenir en campos sensibles como la ciberseguridad o la biología.
También propuso explorar mecanismos destinados a limitar la velocidad de la denominada automejora recursiva, un escenario en el que sistemas de inteligencia artificial podrían comenzar a modificar o mejorar de manera cada vez más autónoma sus propios procesos.
Para Amodei, ralentizar el desarrollo durante uno o dos años podría proporcionar a investigadores, empresas y gobiernos un margen crucial para comprender mejor el funcionamiento de los modelos más avanzados y construir mecanismos de seguridad adecuados.
Sam Altman respalda las auditorías externas
La propuesta recibió posteriormente el respaldo del CEO de OpenAI, Sam Altman.
Altman coincidió públicamente con la necesidad de avanzar a un ritmo responsable en la frontera tecnológica y señaló que este asunto ha formado parte de las discusiones internas dentro de OpenAI.
También calificó positivamente la posibilidad de incorporar evaluadores externos con amplio acceso a los sistemas y procesos de entrenamiento.
El ejecutivo adelantó que OpenAI planea implementar medidas similares y que la compañía ofrecerá más información sobre esos mecanismos en el futuro.
Elon Musk también apoya el planteo
Elon Musk también se sumó al debate. Con un mensaje mucho más breve, el empresario respaldó la posición del CEO de Anthropic y sostuvo que Amodei estaba en lo correcto al advertir sobre la velocidad con la que avanza la tecnología.
El apoyo de Musk resulta significativo debido a que el empresario participa activamente en la competencia por el desarrollo de sistemas avanzados de inteligencia artificial.
La coincidencia entre referentes que habitualmente mantienen fuertes diferencias empresariales demuestra que la discusión sobre los riesgos asociados al desarrollo acelerado de la IA comienza a ocupar un lugar central dentro de la propia industria.
Crece la preocupación entre los investigadores
El planteo de Amodei también aparece en medio de crecientes advertencias provenientes de investigadores vinculados al desarrollo de sistemas avanzados.
Jacob Coxon, exintegrante de Anthropic y OpenAI, había cuestionado recientemente la estrategia de las principales compañías del sector y aseguró que la competencia empresarial podría estar desplazando las preocupaciones relacionadas con la seguridad.
Sus declaraciones reflejan un debate cada vez más intenso dentro de Silicon Valley: hasta qué punto debería acelerarse el desarrollo de sistemas potencialmente superiores a las capacidades humanas y qué controles deberían establecerse antes de alcanzar ese escenario.
Mientras las inversiones en inteligencia artificial continúan creciendo y las principales compañías compiten por desarrollar modelos más capaces, la advertencia de Amodei agrega presión para que gobiernos, investigadores y empresas definan reglas antes de que la tecnología avance más rápido que los mecanismos diseñados para controlarla.
Fuentes varias