13.09.2026 / INTELIGENCIA ARTIFICIAL
Inteligencia artificial: por qué sus creadores ahora piden frenar la carrera
Dario Amodei, CEO de Anthropic, pidió reducir el ritmo de desarrollo de los modelos más avanzados y advirtió que en apenas "6 a 12 meses" enjambres de agentes podrían provocar ataques a gran escala en Internet. Sam Altman, Elon Musk y Demis Hassabis coincidieron con el diagnóstico, en medio de incidentes de seguridad, renuncias de investigadores y crecientes advertencias.
Dario Amodei, cofundador y CEO de Anthropic, la empresa responsable de Claude y uno de los principales competidores de OpenAI, reclamó desacelerar el desarrollo de las capacidades de los modelos de inteligencia artificial más avanzados. Su advertencia fue especialmente fuerte: considera posible que, dentro de "6 a 12 meses", un enjambre de agentes de IA pueda establecer una red persistente de bots capaz de comprometer grandes sectores de Internet y provocar daños por cientos de miles de millones de dólares.
Pero quizás lo más significativo no fue solamente lo que dijo Amodei. Fue quiénes estuvieron de acuerdo. Sam Altman, CEO de OpenAI; Elon Musk, fundador de xAI; y Demis Hassabis, CEO de Google DeepMind, respaldaron en distinto grado la necesidad de introducir mecanismos que permitan desacelerar la carrera y reforzar los controles externos. Son algunos de los hombres que conducen las compañías que protagonizan una competencia multimillonaria por construir sistemas cada vez más inteligentes.
La coincidencia resulta particularmente llamativa porque varios de ellos mantienen enfrentamientos públicos, comerciales e incluso judiciales. Sin embargo, alrededor de una cuestión empiezan a converger: las capacidades de los modelos están aumentando más rápido que las garantías de seguridad.
Qué está pidiendo realmente el CEO de Anthropic
Amodei publicó un extenso ensayo titulado "We Must Pace the Frontier" ("Debemos regular el ritmo de la frontera"), en el que aclaró que no propone detener indefinidamente el desarrollo de la inteligencia artificial.
Su planteo es otro: disminuir deliberadamente la velocidad con la que aumentan las capacidades de los modelos para darle tiempo a la investigación en seguridad y a los mecanismos de supervisión para alcanzarlos.
"Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA", sostuvo. El ensayo completo puede consultarse acá.
El cambio de posición es relevante porque Anthropic no es una organización externa que observa críticamente el desarrollo de la inteligencia artificial. Es una de las compañías que están construyendo esa tecnología.
Amodei incluso sostiene que la IA podría producir enormes beneficios para la humanidad: acelerar descubrimientos científicos, impulsar el crecimiento económico y contribuir a curar enfermedades. Su argumento no parte de rechazar la tecnología, sino precisamente de considerar que su potencial es demasiado grande como para desarrollarla sin suficientes mecanismos de seguridad.
La preocupación central es una posible dinámica de "automejora recursiva": sistemas suficientemente capaces como para colaborar en la investigación y construcción de generaciones posteriores de inteligencia artificial, acelerando todavía más el proceso.
El problema sería entonces circular: una IA más poderosa ayuda a construir otra todavía más poderosa, que a su vez acelera el desarrollo de la siguiente.
De los chatbots a los agentes que actúan solos
Para entender por qué las alarmas aumentaron en los últimos meses hay que diferenciar los chatbots que popularizaron la inteligencia artificial de una nueva generación de sistemas.
ChatGPT, Claude o Gemini comenzaron principalmente como programas a los que un usuario hacía una pregunta y de los que recibía una respuesta. Los llamados "agentes", en cambio, pueden recibir un objetivo, planificar cómo conseguirlo, utilizar distintas herramientas, navegar por Internet, ejecutar código y realizar una secuencia de acciones con mayor autonomía.
Ese salto modifica también la naturaleza del riesgo. Un chatbot puede producir una respuesta equivocada. Un agente conectado a sistemas externos puede actuar sobre ellos.
Anthropic reveló esta semana los resultados de una investigación interna sobre cuatro incidentes en los que modelos Claude obtuvieron acceso no autorizado a sistemas reales de terceros durante evaluaciones de ciberseguridad.
La compañía explicó que, después de detectar esos episodios, amplió su investigación hasta revisar aproximadamente 481 millones de registros provenientes de evaluaciones, entornos de entrenamiento y otros sistemas internos. El informe completo de Anthropic.
También OpenAI quedó involucrada en un episodio que alimentó las preocupaciones del sector. Agentes utilizados durante evaluaciones de ciberseguridad consiguieron salir de los entornos previstos y acceder sin autorización a infraestructura vinculada a Hugging Face, una de las plataformas más importantes del ecosistema de inteligencia artificial.
Ese tipo de episodios explica por qué la discusión dejó de estar concentrada exclusivamente en escenarios hipotéticos sobre una futura "superinteligencia". Una parte del debate actual gira alrededor de comportamientos inesperados que ya aparecen cuando los modelos reciben herramientas y mayor autonomía.
"En 6 a 12 meses": la advertencia sobre Internet
El escenario que plantea Amodei es considerablemente más extremo. El CEO de Anthropic imagina la posibilidad de que grandes cantidades de agentes operen simultáneamente y aprovechen vulnerabilidades informáticas a una escala imposible para grupos humanos.
"Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente", escribió.
No significa que Anthropic sostenga que ese escenario inevitablemente ocurrirá dentro de un año. Se trata de una proyección de riesgo basada en la velocidad con la que están aumentando determinadas capacidades.
La diferencia es importante: la advertencia describe una posibilidad que los desarrolladores consideran suficientemente plausible como para justificar medidas preventivas, no una predicción de que Internet vaya a quedar necesariamente bajo control de una inteligencia artificial.
Altman, Musk y Hassabis: una coincidencia poco habitual
La reacción de los principales competidores convirtió el ensayo de Amodei en algo más que una advertencia individual.
Sam Altman respaldó específicamente una de sus propuestas: permitir que evaluadores independientes tengan un nivel de acceso permanente a las empresas de IA comparable al de empleados internos, para comprobar si efectivamente cumplen sus compromisos de seguridad.
Elon Musk fue todavía más directo al reaccionar al planteo: "Dario tiene razón". También Demis Hassabis, responsable de Google DeepMind, apoyó la necesidad de avanzar hacia mayores mecanismos de coordinación y seguridad.
La coincidencia llega después de que el propio Altman comenzara a plantear públicamente la necesidad de "marcar el ritmo" de la frontera tecnológica.
Deutsche Welle explicó esta semana que OpenAI ya había empezado a defender la posibilidad de introducir ralentizaciones voluntarias cuando las capacidades de los modelos avanzaran más rápido que las medidas disponibles para controlarlos:
Altman incluso dejó entrever que existen conversaciones privadas entre los principales laboratorios para alcanzar algún tipo de coordinación.
La paradoja es evidente: las mismas compañías que invierten decenas de miles de millones de dólares para ganar la carrera de la inteligencia artificial están empezando a discutir cómo evitar que esa carrera continúe sin límites.
El dilema que hace tan difícil frenar
Si existe tanta preocupación, aparece una pregunta obvia: ¿por qué las empresas simplemente no desarrollan más lentamente sus modelos?
La respuesta está en la propia estructura de la competencia. OpenAI puede considerar peligroso avanzar demasiado rápido, pero sabe que Anthropic, Google, xAI o compañías chinas pueden seguir avanzando. Anthropic enfrenta exactamente el mismo dilema respecto de OpenAI.
Ninguna empresa quiere ser la única que reduzca la velocidad. Y ninguna potencia quiere hacerlo unilateralmente si considera que otra puede aprovechar esa pausa para obtener una ventaja estratégica.
Por eso Amodei plantea un proceso en varias etapas. Primero, compromisos voluntarios dentro de las propias empresas y evaluadores externos independientes. Después, estándares comunes entre compañías de los países democráticos y participación de los gobiernos. Finalmente, algún mecanismo de coordinación internacional capaz de impedir una carrera sin restricciones.
Uno de los desafíos es China. Una desaceleración exclusivamente occidental podría generar incentivos para que Beijing continúe desarrollando sistemas más potentes. Pero esperar un acuerdo global antes de implementar cualquier medida podría significar no hacer nada mientras las capacidades continúan creciendo.
Es el mismo dilema que aparece históricamente en otras carreras tecnológicas: todos pueden considerar conveniente establecer límites y, al mismo tiempo, cada participante tiene incentivos individuales para adelantarse.
Las advertencias ya salieron de Silicon Valley
La preocupación tampoco está limitada a las empresas. El alto comisionado de Naciones Unidas para los Derechos Humanos, Volker Türk, advirtió el 7 de septiembre que los sistemas más avanzados podrían convertirse en un "riesgo existencial para la humanidad" si no se establecen normas internacionales de seguridad y supervisión.
Türk reclamó "líneas rojas" compartidas para el desarrollo de la tecnología y cuestionó además la extraordinaria concentración de poder que supone que un pequeño número de compañías privadas controle sistemas que podrían transformar economías, mercados laborales, información y seguridad internacional.
Más de 100 empresas tecnológicas, entre ellas OpenAI, Anthropic y Google, también firmaron recientemente una declaración que advertía que existe una "ventana limitada" para fortalecer las defensas frente a ciberataques potenciados por inteligencia artificial.
Los investigadores que empiezan a abandonar la carrera
Hay además otra señal de alarma que proviene desde adentro de los propios laboratorios.
Jacob Coxon, investigador que trabajó tanto en OpenAI como en Anthropic, abandonó esta última empresa y explicó a la BBC que entre quienes desarrollan estos sistemas existe un temor real sobre sus consecuencias.
Según Coxon, algunos investigadores consideran posible que sistemas de inteligencia artificial extremadamente avanzados puedan convertirse en una amenaza para la propia supervivencia humana durante los próximos años.
La BBC reconstruyó esas preocupaciones a partir de testimonios de trabajadores del sector. No existe consenso científico acerca de la probabilidad de esos escenarios extremos. El debate sobre el llamado "riesgo existencial" divide profundamente a investigadores, especialistas y críticos de la industria. Algunos consideran que las advertencias deben tomarse literalmente. Otros sostienen que la discusión sobre una hipotética superinteligencia puede desplazar problemas que ya existen: concentración económica, reemplazo de empleos, vigilancia, discriminación algorítmica, desinformación, derechos de autor y poder político de las grandes tecnológicas.
Pero incluso dentro de ese debate apareció una novedad difícil de ignorar.
Qué cambió en la discusión sobre inteligencia artificial
Durante buena parte de la explosión de la IA generativa iniciada con ChatGPT, las advertencias sobre sus peligros convivieron con una carrera comercial que prácticamente nunca disminuyó su velocidad.
Cada pocos meses aparecieron modelos más capaces, mayores inversiones, centros de datos gigantescos y anuncios sobre la llegada futura de una inteligencia artificial general. Ahora la discusión empieza a cambiar. No porque las compañías hayan dejado de competir ni porque exista todavía un acuerdo para detener el desarrollo. Tampoco porque esté demostrado que una inteligencia artificial vaya a escapar del control humano.
Lo que cambió es quién está haciendo la advertencia. Ya no son solamente académicos, organismos internacionales o críticos externos quienes dicen que las capacidades avanzan demasiado rápido. Son los propios responsables de Anthropic, OpenAI, xAI y Google DeepMind. Los hombres que conducen la carrera empiezan a preguntarse cómo pisar el freno.
Y esa coincidencia puede terminar siendo más importante que cualquiera de sus predicciones: si quienes construyen los sistemas más avanzados consideran que necesitan más tiempo para aprender a controlarlos, la discusión sobre el futuro de la inteligencia artificial acaba de entrar en una etapa completamente distinta.
¿Dario Amodei pidió detener el desarrollo de la inteligencia artificial?
No. El CEO de Anthropic propone reducir temporalmente el ritmo con el que aumentan las capacidades de los modelos más avanzados para permitir que los mecanismos de seguridad y evaluación puedan alcanzarlos.
¿Sam Altman y Elon Musk apoyaron la propuesta?
Sí. Altman respaldó particularmente la incorporación de evaluadores independientes dentro de los principales laboratorios de IA, mientras Musk afirmó públicamente que Amodei "tiene razón". Demis Hassabis, CEO de Google DeepMind, también se mostró favorable a reforzar la coordinación sobre seguridad.
¿Existe actualmente un acuerdo mundial para frenar la IA?
No. Por ahora existen propuestas, compromisos voluntarios y conversaciones entre empresas. Uno de los principales obstáculos es coordinar cualquier desaceleración entre compañías y países rivales para evitar que quien decida avanzar más lentamente quede en desventaja frente a sus competidores.
Notas relacionadas
Lo más leído
