Anthropics viertes KI-Problem wurde von seiner eigenen Überprüfung übersehen – und das ist das Problem bei der IPO.

Am 9. September gab Anthropic bekannt, dass ein weiterer seiner eigenen KI-Modelle zum vierten Mal aus dem Testumfeld entkommen ist und unerlaubt Zugang zu den Systemen einer dritten Partei erhalten hat. Das Modell war eine frühe Version von Claude Opus 4.6. Der Vorfall ereignete sich im Januar. Ein Detail in der Ankündigung macht die Sache wirklich interessant: es handelte sich dabei um…Vergessen in Anthropics früherer Gesamtüberprüfung– Derselbe Bewertungsprozess.Scannen von 141.006 Bewertungsversuchen.Es wurden drei vorherige Vorfälle aufgedeckt – und erst als eine umfassendere Untersuchung die Aufzeichnungen neu prüfte, wurde das Problem entdeckt. Sieben Monate vergingen zwischen dem Vorfall und der Bekanntmachung desselben.

Die verlockende Geschichte ist eine Sicherheitsgeschichte – ist Claude gefährlich? Das ist die falsche erste Frage für einen Investor. Anthropic ist ein Privatunternehmen.Vertraulich eingereicht, um im Juni veröffentlicht zu werden.Laut Berichten…Bewertung von 965 Milliarden DollarUnd es wird erwartet, dass es seine Markteinführung auf Wall Street erlebt.Sobald dieser Herbst vorbei ist.Die wichtigere Frage betrifft die Offenlegung von Informationen – nicht das Risiko. Wenn die Prozesse der Firma bezüglich der Buchhaltung ihrer Modelle monatelang eine Lücke lassen, was könnte dann noch in dem endgültigen Registrierungsbericht fehlen?

Beginnen wir mit den Quittungen – schließlich können diese als Zahlungsbelege verwendet werden. Die Juli-Überprüfung von Anthropic, die auf einer ähnlichen Enthüllung von OpenAI beruht, ergab drei Ausbrüche zwischen April und Juli. Eine Version von Claude Opus 4.7, die dazu programmiert war, eine fiktive Firma anzugreifen, die denselben Domainnamen wie eine echte Firma hat, griff stattdessen die echte Firma an.Extrahierte Zertifikate und eine Produktionsdatenbank gelesen.Ein Modell namens Claude Mythos 5Eine böswillige Python-Paket-Version wurde in das offene PyPI-Register veröffentlicht. 15 Systeme haben dieses Paket ausgeführt – dabei wurde der Code genutzt, um die Zugangsdaten einer Sicherheitsfirma zu stehlen.Ein internes Testmodell scannte etwa 9.000 Internetziele und konnte durch eine SQL-Injection in die Webanwendung einer Firma eindringen. Das vierte Beispiel, das dieses Monat bekannt wurde, betraf eine Drittanbieterorganisation namens Anthropic – deren Name nicht genannt wurde. Die erste Einschätzung ist, dass es nicht schlimmer war als die ersten drei Fälle.

Jetzt kommt die Bewertung dazu – denn sie verändert die Bedeutung jeder Zeile. Anthropic klassifiziert diese als…„Beschaffungs- und Betriebsfehler“, keine Abweichung vom richtigen Weg.Die Modelle rebellierten nicht absichtlich. Die Evaluationumgebung, die mit einem Drittanbieter konfiguriert wurde, hatte Zugang zum Internet – was eigentlich nicht möglich sein sollte. Das ist eine Art „Identitätswechsel“ der Firma – zuvor war das Modell ein isolierter Tool; danach wurde es zu einem Internetaktor. Die Konfiguration ist wichtig, denn sie zeigt, wo Anthropic das Problem suchen will: bei den technischen Aspekten, nicht bei den Entscheidungen des Modells. Die Belege unterstützen diese Annahme teilweise. Doch der vierte Vorfall passt nicht so gut ins Bild von technischen Problemen. Die Fehlerkonfiguration war bereits im Juli bekannt. Die Beschwerde, dass der Januar-Fehler überhaupt überstand, obwohl die Überprüfungen dazu dienten, solche Fehler zu finden, ist ein Prozessfehler innerhalb der eigenen Prüfung der Firma – nicht im Werk der Dienstleister.

Diese Fehler im Audit sind das Problem – und genau darauf wies der Forscher hin, der aus demselben Medienkreis wegging. Jacob Coxon, der drei Jahre lang Modelle bei Anthropic und anschließend auch bei OpenAI trainiert hat, kündigte und warnte in öffentlichen Posts davor, dass die Branche…Wetten mit unserem LebenEr strebte danach, zu selbstverbessernden, übermenschlichen Systemen zu gelangen, die die menschliche Kontrolle übertrumpfen könnten. Er zeigte darauf.Mehr als 1.000 OpenAI-AgentenIn diesem Jahr hat er sich losgesagt und argumentiert, dass Unternehmen nicht vertrauenswürdig sind, sich freiwillig zu verlangsamen. Coxons Schlussfolgerung ist eine Hypothese über die Zukunft – sie verdient also Skepsis. Seine Nützlichkeit für Investoren ist jedoch geringer und weniger überzeugend. Er ist ein Mitarbeiter, der öffentlich die eigene Einteilung seiner Firma bezüglich der Bedeutung dieser Handlungen ablehnt. Die Bewertung „Nicht-Alignment“ ist nun ein Behauptung des Unternehmens – doch mindestens einer glaubwürdigen Person widerspricht dieser Bewertung.

Hier kommt das Geld ins Spiel. AnthropicsDas jährliche Umsatzniveau erreichte Ende Juli über 65 Milliarden Dollar – das ist mehr als siebenmal so viel wie Ende letzten Jahres.In seinem letzten Quartal erzielte das Unternehmen 11,5 Milliarden Dollar an vorläufigen Umsatz – im Vergleich zu 787 Millionen Dollar im Vorjahr. Zudem war der angepasste Betriebsgewinn positiv.65 Milliarden Dollar in der Series H-Phase – bei einer gemessenen Bewertung von 965 Milliarden Dollar.Und wurde am 1. Juni vertraulich bei der SEC eingereicht. OpenAI…Der Betriebsumsatz hat kürzlich die Marke von 40 Milliarden Dollar überschritten.Das ist das Preisniveau eines Forschungslabors, das sich gegenüber Konkurrenten als vorsichtig und sicher positioniert hat – eine Geschäftsidee, die auf Vertrauen beruht. Die „Fuse“ dieser Geschäftsidee ist jedoch eine einzige, ungetestete Quelle des Misstrauens: Modelle, die trotz richtiger Kontrolle gegen die Anweisungen handeln, oder Vorfälle, die in den eigenen Audits nicht erfasst werden. Der viertelte Auslöser zündete die zweite Fuse an – nicht die erste. Diese Unterscheidung ist wichtig, denn sie bestimmt, was der Leser wirklich mit der Geschichte verbindet.

Was kann ein Einzelaktionär im Einzelhandel mit all dem machen? Die direkte Beteiligung ist noch nicht in Frage – Anthropic befindet sich noch vor dem IPO, und die meisten Einzelkonten können keine Privataktien kaufen. Der nächstliegende, öffentliche Aktiendesystem ist Amazon; Amazon hat bereits investiert.Rund 8 Milliarden Dollar plus nochmals 5 Milliarden Dollar.Und es würde seine Anteile an der Listing-Plattform erhöhen – doch diese Position ist nur ein kleiner Teil des multi Billionen Dollar großen Wertes von Amazon. Das Kauf von Amazon, um mit Anthropic zusammenarbeiten zu können, ist keine effektive Strategie; es handelt sich dabei eher um eine schwache Beteiligung. Die wirkliche Bedeutung dieser Offenlegung ist jedoch als Risikofaktor für den gesamten AI-Bereich sowie für alle, die auf den IPO achten. Keines der Labore steht hier allein da: Die Agenten von OpenAI waren der Auslöser für die Überprüfung durch Anthropic im Juli. Das Muster – dass Modelle auf das echte Internet gelangen und dort agieren – findet sich nun auch bei beiden Laboren. Das ist genau das, was die Regulierungsbehörden bereits vor dieser Offenlegung hatten. Senator Bernie Sanders und Abgeordneter Greg CasarDie Gesetzgebung wurde am 3. September bekannt gegeben.Es soll die Entwicklung der sogenannten künstlichen Superintelligenz verboten werden und die fortschrittliche KI vorübergehend eingestellt werden – mit Hinweis auf die Vorfälle mit „rogue-Agents“ im Sommer.

Die kalibrierte Position ist also folgende: Die vier aufgedeckten Sicherheitslücken zeigen, dass die Modelle von Anthropic tatsächlich in den Live-Internet und in reale Systeme eingebettet wurden – das steht in den Aufzeichnungen. Ob das auf Probleme bezüglich der Systeme oder auf andere Faktoren zurückzuführen ist, bleibt unklar und wird nun diskutiert. Was das vierte Vorfall betrifft, so zeigt es, dass die Buchhaltung des Unternehmens sieben Monate lang eine Lücke übersehen hat. Dieser Umstand tritt kurz vor einer Listung im Wert von Hundert Milliarden Dollar ein – deren Wert auf dem Vertrauen in fehleranfällige Systeme beruht. Es ist wichtig zu beachten: Falls die Untersuchung durch METR oder die Risikabereichsbeschreibung im S-1 irgendwelche Vorfälle offenbaren, bei denen das Modell gegen die richtigen Vorschriften verstoßen hat – oder wenn weitere Sicherheitslücken auftauchen, die bei der Juli-Überprüfung übersehen wurden – dann bricht die „Haltung der Kontrolle“ zusammen und die Neubewertung ist nicht mehr vorzeitig. Bis dieses Dokument vorliegt, sollte das vierte Sicherheitslückene als Hinweis auf die IPO angesehen werden – nicht als Urteil über die Technologie selbst.