Un investigador antropoico renuncia como colega, ya que el riesgo de extinción de la IA supera el 10%.

Jacob Coxon dice que los principales laboratorios de IA se esfuerzan por desarrollar sistemas que se mejoren continuamente, pero no tienen un método confiable para mantener la alineación de la superinteligencia.

La carrera por hacer que la IA sea más capaz está cada vez más en conflicto con el desafío de mantenerla bajo el control humano.

Conclusión principal

Una renuncia viral ha revelado una contradicción difícil dentro de la industria de la inteligencia artificial: algunas personas que desarrollan modelos avanzados creen que esta tecnología podría convertirse en algo extremadamente peligroso con el tiempo. Sin embargo, la presión comercial y la competencia entre los laboratorios mantienen la carrera en marcha.

Para los inversores, la pregunta inmediata no es si la estimación de extinción de un investigador es correcta. La pregunta es si las capacidades de la IA están mejorando más rápido de lo que las empresas y los reguladores pueden desarrollar sistemas confiables para controlarlas.

El 8 de septiembre, Jacob Coxon renunció a su puesto en Anthropic, después de haber trabajado durante aproximadamente tres años en investigaciones relacionadas con el entrenamiento previo de inteligencias artificiales en Anthropic y OpenAI. En un post publicado en X, acusó a ambas empresas de avanzar hacia la creación de inteligencias artificiales superinteligentes sin actuar de manera responsable.

“Están corriendo directamente hacia una superinteligencia que se mejora continuamente, y están arriesgando nuestras vidas”, escribió Coxon.

La advertencia se difundió de manera excepcionalmente rápida. Según los datos, llegó a más de 100 millones de personas en una sola noche.Associated PressMientras que una cifra posterior de redes sociales indicó que el post tuvo más de 123 millones de vistas.

Según los datos, el aviso de renuncia de Coxon alcanzó más de 100 millones de vistas en un día.Associated Press.

La identidad de la persona que emite la advertencia es importante. Coxon no era simplemente un activista externo que comentaba sobre riesgos hipotéticos. Él trabajó en el proceso de preentrenamiento, el proceso responsable de crear las capacidades subyacentes del modelo.

Por lo tanto, su partida sugiere que la preocupación por la velocidad de desarrollo de la IA se está extendiendo más allá de los equipos específicamente designados para estudiar aspectos relacionados con la seguridad.

Coxon dijoTIEMPOSu decisión no se basó en algún descubrimiento secreto o incidente aislado. Por el contrario, reflejaba dos conclusiones más amplias: el desarrollo de la IA estaba acelerándose, y la industria no tenía el control de la situación.

La advertencia viene de dentro de la estructura antropica.

El argumento de Coxon no es que los chatbots para consumidores de hoy en día puedan destruir la humanidad de repente. El escenario que él teme comienza con lo que los investigadores llaman “mejora recursiva”.

En sus etapas iniciales, la IA ayuda a los investigadores humanos a escribir código, realizar experimentos y analizar los resultados. Los modelos más avanzados, a su vez, ayudan en el desarrollo de sus sucesores, lo que puede acelerar aún más el ciclo de desarrollo posterior. Si suficiente parte de este proceso se vuelve autónomo, teóricamente, años de investigación en IA podrían reducirse a meses.

Anthropic ha documentado públicamente signos de que la IA ya está acelerando partes de su propio desarrollo. A partir de mayo de 2026, más del 80% del código incorporado en el código base de Anthropic fue escrito por Claude. Además, los ingenieros típicos combinan aproximadamente ocho veces más código al día que en 2024, según el informe de la empresa.Mejora autodirigida recursiva.

Sin embargo, el mismo informe incluye una consideración importante. Los modelos actuales siguen siendo materialmente más débiles que los investigadores experimentados en cuanto a la selección de objetivos, la identificación de los problemas que merecen atención y la toma de decisiones a nivel senior. Anthropic señala claramente que la mejora recursiva completamente autónoma aún no ha llegado, y no es algo inevitable.

Esa distinción no impidió que Evan Hubinger, jefe de pruebas de estrés en alineación de Anthropic, apoyara públicamente las advertencias de Coxon.

Hubinger dijo que, personalmente, asigna una probabilidad superior al 10% a que la IA cause la extinción de los seres humanos en la próxima década. Añadió que Anthropic intenta abordar ese peligro, pero aún no cuenta con un plan para prepararse para una futura superinteligencia.

En unSeguimiento posteriorHubinger aclaró que su estimación se refería a la superinteligencia futura, y no al riesgo relativamente bajo que representan los modelos actuales.

Esa calificación es esencial. La cifra no representa una predicción antropológica oficial, ni una probabilidad o evidencia científicamente medida que indique que Claude represente una amenaza de extinción. En realidad, se trata del juicio de un investigador, en condiciones de extrema incertidumbre.

Sin embargo, la preocupación por posibles resultados catastróficos no se limita a un grupo pequeño de críticos de la IA.Encuesta a 2,778 investigadores en IASe generó una preocupación generalizada sobre los resultados extremadamente negativos, aunque los participantes no estaban de acuerdo en cuanto al cronograma probable, la magnitud del riesgo y si un desarrollo más lento de la IA podría tener como resultado un resultado más seguro.

La desacuerdo se debe en parte a si la IA puede superar las limitaciones que continúan restringiendo el progreso tecnológico.

Los modelos ya pueden automatizar una parte creciente del desarrollo de software. Pero la investigación en IA sigue dependiendo de una capacidad computacional limitada, de infraestructuras físicas, de datos fiables y de juicio humano. Los escépticos argumentan que estos obstáculos impedirán la “explosión de la inteligencia” temida por Coxon.

Por lo tanto, la industria se enfrenta a dos posibilidades muy diferentes. La investigación asistida por IA podría avanzar gradualmente, pero estará limitada por los chips, la energía y los datos. O bien, podría comenzar a eliminar esas limitaciones y crear un ciclo de retroalimentación mucho más rápido. Ningún indicador existente puede determinar con certeza qué trayectoria prevalecerá.

La verdadera lucha es quién controla la carrera.

En última instancia, la controversia no se trata tanto de un porcentaje en particular, sino de la gobernanza.

Coxon sostiene que las decisiones que tienen consecuencias para todo el mundo no deberían tomarse a través de conversaciones internas en empresas privadas. Su preocupación es que todas las laboratorías líderes creen que deben seguir acelerando su desarrollo, ya que no pueden confiar en que los competidores actúen de manera responsable.

Bajo esa lógica, incluso una empresa que reconoce el peligro puede decidir que ralentizarse es más peligroso que seguir adelante. El resultado es una carrera en la que ningún participante cree que pueda salir ileso.

Elon Musk también ha reconocido en varias ocasiones que la IA altamente avanzada podría tener consecuencias catastróficas. Sin embargo, no está de acuerdo con la idea de que la seguridad debería ser responsabilidad de un departamento corporativo separado.

Al señalar a Tesla y SpaceX, Musk sostiene que la seguridad debe estar integrada en el trabajo de todos los ingenieros y gerentes. En su opinión, un equipo de seguridad aislado puede convertirse en una “unidad simbólica” sin suficiente autoridad para cambiar la forma en que se desarrollan los productos.

Musk argumentó en…XEs necesario que la seguridad sea una responsabilidad de ingeniería en toda la organización, y no algo que dependa de un departamento separado.

Los dos enfoques no son necesariamente incompatibles, pero enfatizan modos de fallo diferentes.

Coxon teme una competencia en la que cada empresa acepte riesgos potencialmente inaceptables, ya que no confía en sus rivales. Musk, por su parte, teme a los departamentos de seguridad que carecen de autoridad técnica y permiten que el resto de la organización trate la seguridad como si fuera responsabilidad de otra persona.

Un sistema de gobernanza eficaz tendría que abordar ambos problemas. La seguridad debe estar integrada en todo el proceso de desarrollo del modelo. Por otro lado, los tomadores de decisiones independientes todavía necesitan tener autoridad para retrasar o bloquear la publicación de un modelo que exceda los umbrales de riesgo establecidos.

Para los mercados, la renuncia de Coxon no cambia de inmediato la demanda de IA, los ingresos por los modelos o la necesidad de infraestructura para centros de datos. Su importancia radica en el premium de riesgo a largo plazo que rodea a esta industria.

Una regulación más estricta podría retrasar el lanzamiento de los modelos, requerir evaluaciones externas costosas y aumentar los costos legales o de seguros. Un fallo de seguridad grave podría debilitar la adopción de dichos modelos por parte de las empresas. Además, desacuerdos visibles entre los laboratorios especializados podrían complicar las enormes valoraciones y las posibles listadas en bolsa que las empresas de IA están considerando.

La tesis de inversión en IA optimista supone que los modelos cada vez más capaces generarán suficiente productividad y valor económico para justificar gastos sin precedentes en chips, centros de datos y energía.

La advertencia de Coxon señala el otro lado de esa situación: cuanto más rápido mejore la inteligencia artificial, mayor será la carga que recaerá sobre los desarrolladores, quienes tendrán que demostrar que el crecimiento de estas capacidades no supera su capacidad de controlarlas.

Los inversores no necesitan aceptar una probabilidad precisa de extinción humana para reconocer las implicaciones financieras. La seguridad de la IA está pasando de ser un debate ético abstracto a convertirse en una cuestión importante en materia de regulación, gobernanza corporativa y valoración.