Le chercheur anthropique quitte son poste, car le collègue considère que le risque d’extinction de l’IA est supérieur à 10%.

Jacob Coxon affirme que les principaux laboratoires d’IA se dirigent vers des systèmes qui s’améliorent eux-mêmes, sans aucune méthode fiable pour maintenir l’alignement de la superintelligence.

La course à faire de l’IA plus capable se heurte de plus en plus à la difficulté de la maintenir sous contrôle humain.

Le point principal

Une démission virale a révélé une contradiction difficile au sein de l’industrie de l’intelligence artificielle : certains des personnes qui développent des modèles avancés pensent que cette technologie pourrait devenir extrêmement dangereuse à terme. Cependant, la pression commerciale et la concurrence entre les laboratoires maintiennent le rythme de la course.

Pour les investisseurs, la question immédiate n’est pas de savoir si l’estimation de l’extinction d’un chercheur est correcte. Il s’agit plutôt de savoir si les capacités de l’IA se développent plus rapidement que les entreprises et les régulateurs ne peuvent développer des systèmes fiables pour les contrôler.

Le 8 septembre, Jacob Coxon a démissionné de Anthropic après avoir passé environ trois ans à mener des recherches de pré-entraînement pour Anthropic et OpenAI. Dans un post sur X, il a accusé ces deux entreprises d’essayer de développer une superintelligence en cours de temps, sans agir de manière responsable.

“Ils se précipitent directement vers une superintelligence qui s’améliore constamment, et ils jouent avec nos vies”, écrivit Coxon.

L’avertissement se propagea de manière inhabituellement rapide. Selon les données, il atteignit plus de 100 millions de personnes en une nuit.Associated PressAlors qu’une estimation plus récente sur les médias sociaux indiquait que le post avait plus de 123 millions de vues.

Selon les données, l’avertissement concernant la démission de Coxon a attiré plus de 100 millions de vues en une journée.Associated Press.

L’identité de la personne qui émet cet avertissement est importante. Coxon n’était pas simplement un militant extérieur qui commentait les risques hypothétiques. Il a travaillé sur le prétrainement – le processus qui permet de définir les capacités fondamentales d’un modèle.

Son départ indique donc que les inquiétudes liées à la vitesse de développement de l’IA se répandent au-delà des équipes spécialement chargées d’étudier la sécurité.

Coxon a ditHEURESa décision ne s’est pas basée sur un quelconque découverte secrète ou sur un incident isolé. Au contraire, elle reflétait deux conclusions plus larges : le développement de l’IA se poursuit rapidement, et l’industrie n’a pas encore la situation sous contrôle.

L’avertissement vient de l’intérieur de l’anthropique

L’argument de Coxon n’est pas que les chatbots consommateurs d’aujourd’hui pourraient soudainement détruire l’humanité. Le scénario qu’il craint commence par ce que les chercheurs appellent l’amélioration récursive de soi-même.

Dans ses étapes initiales, l’IA aide les chercheurs humains à écrire du code, réaliser des expériences et analyser les résultats. Des modèles plus performants peuvent ensuite aider à développer leurs successeurs, ce qui peut accélérer encore le cycle de développement suivant. Si suffisamment de ce processus devient autonome, des années de recherche en IA pourraient théoriquement être réduites en quelques mois.

Anthropic a publiquement documenté des signes montrant que l’IA accélère déjà certains aspects de son propre développement. En mai 2026, plus de 80 % du code intégré dans le code source d’Anthropic avait été écrit par Claude. De plus, un ingénieur typique produisait environ huit fois plus de code par jour qu’en 2024, selon le rapport de l’entreprise.Amélioration auto-récursive.

Cependant, le même rapport contient une précision importante. Les modèles actuels restent matériellement moins efficaces que ceux des chercheurs expérimentés pour choisir les objectifs, identifier les problèmes qui méritent une attention particulière et exercer une décision de niveau supérieur. Anthropic indique clairement qu’une amélioration récursive complètement autonome n’a pas encore été atteinte, et qu’elle n’est pas inévitable.

Cette distinction n’a pas empêché Evan Hubinger, chef des tests de stress liés à l’alignement chez Anthropic, de soutenir publiquement les alertes de Coxon.

Hubinger a déclaré qu’il est personnellement convaincu qu’il y a une probabilité supérieure à 10 % pour que l’IA provoque l’extinction de l’humanité au cours de la prochaine décennie. Il a ajouté que Anthropic essaie de faire face à ce risque, mais n’a pas encore de plan pour mettre en place une superintelligence future.

Dans uneSuivi après l’interventionHubinger a précisé que son estimation concernait une superintelligence futuriste, et non le risque relativement faible que représentent les modèles actuels.

Cette qualification est essentielle. Il ne s’agit pas d’une prévision anthropique officielle, ni de probabilités ou de preuves scientifiques indiquant que Claude représente une menace pour l’extinction des espèces. C’est plutôt le jugement d’un chercheur, dans des conditions d’incertitude extrêmes.

Cependant, les inquiétudes concernant des conséquences catastrophiques ne concernent pas seulement un petit groupe de critiques en matière d’IA.Enquête menée auprès de 2,778 chercheurs en intelligence artificielleOn a exprimé une grande inquiétude face aux conséquences extrêmement négatives. Cependant, les participants étaient très divisés quant au calendrier probable, à l’ampleur du risque et au fait que un développement plus lent de l’IA pourrait permettre des résultats plus sûrs.

Le désaccord concerne en partie la question de savoir si l’IA peut surmonter les contraintes qui continuent de limiter le progrès technologique.

Les modèles peuvent déjà automatiser une part croissante du développement logiciel, mais la recherche en intelligence artificielle dépend encore d’une puissance de calcul limitée, d’infrastructures physiques, de données fiables et de jugement humain. Les sceptiques affirment que ces obstacles empêcheront l’« explosion de l’intelligence » que Coxon craint.

L’industrie est donc confrontée à deux possibilités très différentes. La recherche assistée par l’IA pourrait progresser progressivement, tout en étant limitée par les composants techniques, l’énergie et les données. Ou bien, elle pourrait commencer à éliminer ces contraintes, créant ainsi un cycle de retour d’information beaucoup plus rapide. Aucun critère de mesure existant ne permet pas de déterminer avec précision quelle voie sera suivie.

La véritable bataille se joue pour savoir qui contrôle la course.

La controverse concerne finalement moins un pourcentage que la gouvernance.

Coxon affirme que les décisions qui ont des conséquences pour le monde entier ne devraient pas être prises au sein des entreprises privées, par le biais de discussions internes. Il craint que chaque laboratoire leader croie devoir continuer à accélérer son développement, car il ne peut pas compter sur les concurrents pour se comporter de manière responsable.

Selon cette logique, même une entreprise qui reconnaît le danger peut décider que ralentir est plus dangereux que de continuer. Le résultat est une course où aucun participant ne croit qu’il peut partir en toute sécurité.

Elon Musk a également souligné à plusieurs reprises que l’intelligence artificielle très avancée pourrait entraîner des conséquences catastrophiques. Cependant, il ne partage pas l’idée que la sécurité devrait être confiée principalement à un département corporatif distinct.

En se référant à Tesla et SpaceX, Musk affirme que la sécurité doit être intégrée dans le travail de chaque ingénieur et manager. À son avis, une équipe de sécurité isolée ne peut pas être efficace, car elle n’a pas assez de pouvoir pour influencer la manière dont les produits sont développés.

Musk a argumenté surXCette sécurité devrait être une responsabilité technique à l’échelle de l’organisation, et non le travail d’un département distinct.

Ces deux approches ne sont pas nécessairement incompatibles, mais elles mettent l’accent sur des modes de échec différents.

Coxon craint une compétition où chaque entreprise accepte des risques potentiellement inacceptables, car elle ne fait pas confiance à ses concurrents. Musk, quant à lui, craint les départements de sécurité qui manquent de compétences techniques et qui permettent au reste de l’organisation de considérer la sécurité comme une responsabilité d’autrui.

Un système de gouvernance efficace devrait pouvoir traiter à la fois ces deux problèmes. La sécurité doit être intégrée tout au long du processus de développement du modèle. En même temps, les décideurs indépendants doivent avoir le pouvoir de retarder ou d’empêcher la mise en ligne d’un modèle qui dépasse les seuils de risque spécifiés.

Pour les marchés, la démission de Coxon ne modifie pas immédiatement la demande en IA, les revenus liés aux modèles ou le besoin en infrastructure de centres de données. Son importance réside plutôt dans le premium de risque à long terme qui entoure cette industrie.

Une réglementation plus stricte pourrait ralentir le lancement des modèles, nécessiter des évaluations externes coûteuses et augmenter les coûts juridiques ou d’assurance. Une défaillance de sécurité grave pourrait affaiblir l’adoption des technologies par les entreprises. De plus, des désaccords visibles au sein des laboratoires clés pourrait compliquer les processus de valorisation des actifs et les possibilités de listing public envisagées par les entreprises spécialisées dans l’intelligence artificielle.

La thèse d’investissement en IA optimiste suppose que les modèles de plus en plus performants permettront de générer une productivité et une valeur économique suffisantes pour justifier des dépenses sans précédent en matière de puces, de centres de données et d’énergie.

L’avertissement de Coxon met en évidence l’autre aspect de cette situation : plus l’IA se développe rapidement, plus les développeurs doivent prouver que leur capacité à la contrôler ne dépasse pas le rythme de son développement.

Les investisseurs n’ont pas besoin d’accepter une probabilité précise de disparition de l’humanité pour comprendre les implications financières. La sécurité de l’IA évolue au-delà d’une débat éthique abstraite, et devient une question concrète liée à la régulation, à la gouvernance des entreprises et à la valorisation des actifs.