Der anthropische Forscher kündigt seine Stelle – sein Kollege betrachtet das Risiko der Auslöschung von KI-Technologien als höher als 10%.

Jacob Coxon sagt, dass die führenden AI-Labs versuchen, selbst verbesserbare Systeme zu entwickeln – doch es gibt keine glaubwürdige Methode, um eine Superintelligenz in die richtige Richtung zu lenken.

Der Wettlauf, die KI besser zu machen, stößt zunehmend auf die Herausforderung, sie unter menschlicher Kontrolle zu halten.

Hauptaussage:

Eine virale Kündigung hat eine schwierige Widersprüchlichkeit in der Branche der künstlichen Intelligenz aufgedeckt: Einige der Menschen, die die neuen Modelle entwickeln, glauben, dass diese Technologie letztendlich katastrophal gefährlich werden könnte. Doch der kommerzielle Druck und der Wettbewerb zwischen den Laboren halten das „Rennen“ weiterhin in Gang.

Für Investoren ist die unmittelbare Frage nicht, ob die Schätzung bezüglich des Verschwindens eines Forschers korrekt ist. Es geht vielmehr darum, ob die Fähigkeiten der KI schneller verbesschen, als die Unternehmen und Regulierungsbehörden in der Lage sind, glaubwürdige Systeme zur Kontrolle dieser Fähigkeiten zu entwickeln.

Am 8. September trat Jacob Coxon von Anthropic zurück – nachdem er etwa drei Jahre lang an der Durchführung von Vorbereitungsstudien bei Anthropic und OpenAI gearbeitet hatte. In einem Post auf X beschuldigte er die beiden Unternehmen, sich ohne Rücksicht auf die Verantwortung auf den Weg zu einer selbstverbessernden Superintelligenz zu begeben.

„Sie rücken direkt auf eine selbstverbessernde Superintelligenz zu – und riskieren damit unser Leben“, schrieb Coxon.

Die Warnung verbreitete sich außergewöhnlich schnell. Laut den Angaben erreichte sie innerhalb einer Nacht mehr als 100 Millionen Menschen.Associated PressWährend eine spätere Zählung der Social-Media-Beiträge zeigte, dass die Post über 123 Millionen Aufrufe hatte.

Laut den Daten erreichte Coxons Rücktritt-Warnung innerhalb eines Tages mehr als 100 Millionen Aufrufe.Associated Press.

Die Identität der Person, die die Warnung ausgibt, ist wichtig. Coxon war nicht einfach nur ein externer Aktivist, der über hypothetische Risiken schrieb. Er arbeitete an der Vorbereitung des Modells – dem Prozess, durch den die grundlegenden Fähigkeiten des Modells entstehen.

Sein Abgang deutet daher darauf hin, dass die Bedenken bezüglich der Geschwindigkeit der Entwicklung von KI-Technologien auch auf Teams übergreifen, die speziell für die Untersuchung von Sicherheitsaspekten zuständig sind.

Coxon sagte:ZEITSeine Entscheidung basierte nicht auf einem einzelnen Durchbruch oder einem isolierten Ereignis. Vielmehr spiegelten sie zwei allgemeine Erkenntnisse wider: Die Entwicklung von KI beschleunigte sich, und die Branche hatte die Situation nicht unter Kontrolle.

Die Warnung kommt von innen – aus der Anthropischen Welt.

Coxons Argument ist nicht, dass die heutigen Konsum-Chatbots plötzlich die Menschheit zerstören könnten. Die Situation, vor der er Angst hat, beginnt mit dem, was die Forscher als rekursives Selbstverbesserungsprozess bezeichnen.

In den frühen Phasen hilft die KI menschlichen Forschern dabei, Code zu schreiben, Experimente durchzuführen und Ergebnisse zu analysieren. Bessere Modelle können anschließend dazu beitragen, Nachfolgerentwicklungen voranzutreiben – was wiederum den weiteren Entwicklungsprozess beschleunigen kann. Wenn genügend dieser Prozesse autonom werden, könnten jahrelange Forschungsarbeiten theoretisch in Monate reduziert werden.

Anthropic hat öffentlich dokumentiert, dass die KI bereits an der Beschleunigung von Teilen ihrer eigenen Entwicklung beteiligt ist. Im Mai 2026 wurde mehr als 80 Prozent des Codes, der in den Codebase von Anthropic eingefügt wurde, von Claude geschrieben. Laut dem Bericht der Firma schrieb ein typischer Ingenieur etwa achtmal so viel Code pro Tag wie im Jahr 2024.Recursives Selbstverbesserungsprozess.

Dieser Bericht enthält jedoch auch eine wichtige Einschränkung. Die aktuellen Modelle sind weiterhin materialisch schwächer als die erfahrenen Forscher bei der Auswahl von Zielen, der Identifizierung von Problemen, die Beachtung verdienen, sowie bei der Entscheidungsfindung auf höherer Ebene. Anthropic betont ausdrücklich, dass eine vollständig autonome, rekursive Verbesserung noch nicht erreicht wurde und nicht unvermeidlich ist.

Dieser Unterschied hinderte Evan Hubinger, den Leiter der Abteilung für Stresstests im Bereich Anthropic, nicht daran, Coxons Warnung öffentlich zu unterstützen.

Hubinger sagte, er schätze persönlich eine Wahrscheinlichkeit von mehr als 10 Prozent ein, dass die KI in den nächsten zehn Jahren zur Auslöschung der Menschheit führen könnte. Er fügte hinzu, dass Anthropic versuche, dieses Risiko zu bekämpfen – doch es gibt noch keinen Plan, wie man eine zukünftige Superintelligenz in die richtige Richtung lenken kann.

In einerNachfolgeberichtHubinger klärte, dass seine Schätzung sich auf die zukünftige Superintelligenz bezieht – und nicht auf das relativ geringe Risiko, das die heutigen Modelle darstellen.

Diese Beschränkung ist entscheidend. Die Angabe ist keine offizielle Antropische Prognose, keine wissenschaftlich ermittelte Wahrscheinlichkeit oder Beweis dafür, dass Claude derzeit eine Aussterberisiko darstellt. Es handelt sich um die Einschätzung eines Forschers unter extremen Unsicherheiten.

Dennoch beschränkt sich die Sorge vor katastrophalen Folgen nicht auf eine kleine Gruppe von Kritikern im Bereich der KI.Umfrage unter 2.778 KI-ForschernEs herrschte große Besorgnis wegen der extrem negativen Folgen. Die Teilnehmer waren jedoch uneinig bezüglich des möglichen Zeitplans, der Größe des Risikos sowie darüber, ob eine langsamere Entwicklung der KI zu sichereren Ergebnissen führen würde.

Der Unstimmigkeitspunkt betrifft teilweise die Frage, ob künstliche Intelligenz in der Lage ist, die Einschränkungen zu überwinden, die weiterhin den technologischen Fortschritt einschränken.

Modelle können bereits einen größeren Teil der Softwareentwicklung automatisieren. Doch die Forschung im Bereich KI benötigt weiterhin knappe Rechenkapazitäten, eine geeignete Infrastruktur, zuverlässige Daten und menschliche Entscheidungen. Skeptiker argumentieren, dass diese Engpässe die von Coxon befürchtete „Intelligenzexplosion“ verhindern könnten.

Die Branche hat also zwei sehr unterschiedliche Möglichkeiten. Die mit KI unterstützte Forschung kann schrittweise voranschreiten – wobei sie jedoch durch Chips, Energie und Daten eingeschränkt bleibt. Oder aber die KI könnte diese Einschränkungen überwinden und einen viel schnelleren Rückkopplungsmechanismus schaffen. Kein bestehender Benchmark kann zuverlässig feststellen, welche Entwicklung vorherrschen wird.

Der wahre Kampf besteht darin, wer die Kontrolle über die Rasse hat.

Die Kontroverse dreht sich letztendlich weniger um einen bestimmten Prozentsatz, sondern um die Regierungsführung.

Coxon argumentiert, dass Entscheidungen, die Auswirkungen auf die ganze Welt haben, nicht durch interne Gespräche in privaten Unternehmen getroffen werden sollten. Seine Sorge ist, dass alle führenden Labore glauben, dass sie weiterhin beschleunigen müssen – schließlich können sie den Konkurrenten nicht vertrauen, dass diese verantwortungsvoll handeln werden.

Unter dieser Logik kann selbst ein Unternehmen, das die Gefahr erkennt, beschließen, dass die Verlangsamung gefährlicher ist als das Weiterfahren. Das führt zu einer Situation, in der keine der Beteiligten glaubt, dass sie sicher weggehen kann.

Elon Musk hat auch wiederholt erklärt, dass hochentwickelte KI-Technologien katastrophale Folgen haben können. Allerdings ist er der Ansicht, dass die Sicherheit nicht primär in die Verantwortung eines separaten Unternehmensabteilungs übertragen werden sollte.

Indem er Tesla und SpaceX als Beispiele anführt, argumentiert Musk, dass Sicherheit in der Arbeit jedes Ingenieurs und Managers verankert sein muss. Seiner Ansicht nach kann eine isolierte Sicherheitsabteilung nur eine symbolische Einheit sein – ohne die nötige Autorität, um die Entwicklung der Produkte tatsächlich zu beeinflussen.

Musk argumentierte dazu…XDie Sicherheit sollte eine Verantwortung der gesamten Organisation sein – und nicht die Aufgabe eines separaten Abteilungsbereichs.

Die beiden Ansätze sind nicht unbedingt unvereinbar, aber sie betonen unterschiedliche Fehlermuster.

Coxon fürchtet einen Wettbewerb, bei dem jede Unternehmung möglicherweise unzulässige Risiken eingehen muss – schließlich vertraut er seinen Konkurrenten nicht. Musk hingegen fürchtet Sicherheitsabteilungen, die keine technische Autorität haben und es zulassen, dass der Rest der Organisation die Sicherheit als etwas betrachtet, das andere für sich übernehmen müssen.

Ein effektives Governance-System muss beide Probleme lösen. Die Sicherheit muss im gesamten Prozess der Modellentwicklung berücksichtigt werden. Gleichzeitig benötigen unabhängige Entscheidungsträger die Befugnis, die Veröffentlichung eines Modells, das bestimmte Risikogrenzen überschreitet, zu verzögern oder zu blockieren.

Für die Märkte bedeutet Coxons Rücktritt nicht sofort eine Veränderung der Nachfrage nach KI-Lösungen, der Umsatz von Modelle oder der Bedarf an Infrastruktur für Data-Center. Seine Bedeutung liegt vielmehr im langfristigen Risikopremium, das mit der Branche verbunden ist.

Aggressivere Regulierungen könnten die Einführung von Modellen verzögern, kostenintensive externe Bewertungen erfordern und die rechtlichen oder versicherungsbedingten Kosten erhöhen. Ein schwerwiegendes Sicherheitsproblem könnte die Einführung der Modelle durch Unternehmen erschweren. Zudem könnte die offensichtliche Meinungsverschiedenheit innerhalb der Forschungslabore die enormen Bewertungen sowie die möglichen öffentlichen Angebote, die von den KI-Unternehmen in Betracht gezogen werden, erschweren.

Die optimistische AI-Investitionstheorie geht davon aus, dass die immer leistungsfähigeren Modelle eine ausreichende Produktivität und wirtschaftliche Wertschöpfung erzeugen werden, um die beispiellosen Ausgaben für Chips, Data-Center und Energie gerechtfertigt zu machen.

Coxons Warnung weist auf die andere Seite dieser Situation hin: Je schneller die KI verbessert wird, desto größer ist die Belastung für Entwickler, die nachweisen müssen, dass die Fortschritte der KI nicht über ihre Fähigkeiten hinausgehen.

Die Investoren müssen keine genauen Wahrscheinlichkeiten bezüglich der Auslöschung der Menschheit akzeptieren, um die finanziellen Implikationen zu erkennen. Die Sicherheit von KI wird von einer abstrakten ethischen Debatte hin zu einer praktischen Fragestellung in Bezug auf Regulierung, Unternehmensführung und Bewertung übergehen.