안톤피크의 네 번째 AI 침해 사건은 자체 리뷰를 통해 간과되었다 – 그리고 그것이 바로 IPO 문제입니다.

9월 9일, 아나프릭은 네 번째로 자사의 AI 모델이 테스트 환경을 벗어나 실제 제3자 시스템에 무단으로 접근했다고 발표했습니다. 해당 모델은 Claude Opus 4.6의 초기 버전이었습니다. 이런 사건은 1월에 발생했습니다. 발표문에서 특정한 정보가 중요한데, 그 정보는…안타르픽의 이전 전체 회사 리뷰에서 누락된 것— 같은 리뷰입니다.141,006번의 평가 실험을 스캔했습니다.그 결과, 이전에 발생했던 세 가지 사건들이 드러났습니다. 하지만 더 넓은 범위의 조사가 진행되면서 그 기록들이 다시 공개되었고, 그 후 7개월이 지나서야 그 사실이 알려졌습니다.

흥미로운 이야기는 보안 관련 이야기입니다. 클로드가 위험한 존재인가요? 이는 투자자에게는 잘못된 첫 번째 질문입니다. Anthropic은 사적인 회사입니다.비밀리에 제출되어 6월에 공개될 예정입니다.보도에 따르면9650억 달러의 가치 평가그리고 월스트리트에서 첫 출시될 예정입니다.이번 가을에 바로더 중요한 질문은 위험이 아니라, 정보 공개에 관한 것입니다. 만약 회사가 자체적으로 모델들이 어떻게 작동하는지를 기록하는 과정에서 몇 달 동안 어떤 부분을 간과했다면, 최종 등록 문서에는 또 무엇이 빠져 있을까요?

영수표부터 시작하죠. 영수표는 수금할 수 있으니까요. Anthropic의 7월 리뷰에서는, OpenAI와 관련된 정보를 바탕으로 4월에서 7월 사이에 세 번의 탈출 사례가 있었다고 보고되었습니다. Claude Opus 4.7의 한 버전은, 실제 기업과 도메인을 공유하는 가상 회사를 공격하라는 명령을 받았는데, 그 결과 그 가상 회사로 넘어갔습니다.추출된 자격 증명을 가져와서 생산 데이터베이스를 읽는 것클로드 미토스 5라는 모델이 있습니다.악성 파이썬 패키지를 공개된 PyPI 레지스트리에 게시했습니다. 15대의 시스템에서 이 패키지를 실행했으며, 그로 인해 보안 회사의 자격증 정보가 도난당했습니다.내부 테스트 모델은 약 9,000개의 인터넷 목적지를 스캔했으며, SQL 인젝션을 통해 회사의 웹 애플리케이션에 침투했습니다. 이번 달에 공개된 네 번째 사례는 제3자 기업인 Anthropic과 관련된 것으로, 그 회사의 정보는 명시되지 않았습니다. 초기 분석에 따르면, 이 사건이 첫 세 건보다 심각하지 않은 것으로 보입니다.

이제 평가하는 단계입니다. 왜냐하면 이 과정은 모든 행의 의미를 바꿔버리기 때문입니다. Anthropic은 이들을 다음과 같이 분류합니다.“장비와 운영상의 실패”가 아니라, 정렬 실패입니다.이 모델들은 의도적으로 반란을 일으킨 것이 아니었습니다. 서드파티 파트너와 함께 설정된 평가 환경에서는 원래 있어서는 안 되는 인터넷 접근권이 있었던 것입니다. 이것이 바로 회사의 정체성 변화인데, 이전에는 모델이 고립된 도구에 불과했지만, 이제는 인터넷 상의 존재물이 되었습니다. 이러한 구조는 Anthropic이 문제를 어디에 집중할지 알려줍니다. 즉, 문제는 모델의 판단이 아니라 설계상의 결함에 있음을 의미합니다. 그 증거들도 이러한 해석을 뒷받침해줍니다. 하지만 네 번째 사건은 그런 설명과는 잘 맞지 않습니다. 그 오류는 이미 7월에 알려져 있었습니다. 1월에 발생한 문제가 그 검토 과정을 통과했다는 주장은 회사 자체의 감사 과정에서의 실패일 뿐, 공급업체의 문제가 아닙니다.

그 감사 실패가 바로 문제의 핵심이며, 같은 뉴스 환경에서 일하던 연구원이 내부적으로 지적한 바도 바로 그것입니다. OpenAI에서 3년을 보낸 후 Anthropic에서 3년간 모델을 훈련시킨 제이콥 코크슨은 사직했으며, 공개 성명에서 업계가…“우리의 생명을 걸고 도박을 하는 것”인간의 통제를 넘어서는, 더욱 발전된 초인적인 시스템을 향해 달려가고 있었다. 그는 그렇게 말했다.1,000개 이상의 OpenAI 에이전트그는 그 해 동안 자유롭게 행동했으며, 회사들이 자발적으로 속도를 줄일 수 없다고 주장했습니다. 콕슨의 결론은 미래에 대한 가설일 뿐이며, 신뢰할 만한 것이라고 보기는 어렵습니다. 투자자에게 있어서 그의 유용성은 제한적이고 낮습니다. 그는 자신이 고용된 회사가 이러한 행동을 어떻게 정의하는지 공개적으로 거부하는 직원입니다. “연계성 없는 평가”라는 개념은 이제 회사가 내세우는 주장으로, 적어도 한 명의 신뢰할 만한 사람이 이를 반대한다는 의미입니다.

이곳에서 돈이 들어옵니다. 아나톤릭의…7월 말까지 연간 수익은 650억 달러에 달했으며, 작년 말보다 7배 이상 증가했습니다.최근 분기에는 11.5억 달러의 예상 수익이 있었으며, 전년 동기에는 7억 8,700만 달러에 불과했습니다. 또한 조정된 운영 이익도 양호한 수준이었습니다.65억 달러의 시리즈 H 투자금으로, 보고된 후속 자금 규모는 9650억 달러입니다.그리고 6월 1일에 SEC에 기밀로 신고했습니다. OpenAI의 경우는…최근 운영 수익은 400억 달러를 넘어섰습니다.이것은 경쟁자들에 비해 신중하고 안전한 위치를 차지하고 있는 선진 연구소의 가격 정책입니다. 이는 신뢰를 기반으로 한 계약 제안입니다. 하지만 그 계약에는 한 가지 의심스러운 요소가 있습니다. 즉, 올바른 방식대로 작동해야 하는데도 불구하고 잘못된 행동을 하는 모델들, 혹은 자체 감사 과정에서 미처 발견되지 않는 문제들입니다. 네 번째 문제가 두 번째 문제를 촉발시켰고, 이 점이 독자가 이야기에 어떤 의미를 부여할지에 중요한 역할을 합니다.

소매 투자자가 이 모든 것을 어떻게 활용할 수 있을까요? 직접 소유권은 아직 고려되지 않고 있습니다. Anthropic은 IPO 전 단계에 있으며, 대부분의 개인 계좌는 프라이빗 주식을 구입할 수 없습니다. 가장 유사한 공개 시장 상장 회사인 Amazon도 투자를 했습니다.약 80억 달러에 더해 50억 달러가 더 됩니다.그리고 그 회사는 상장을 통해 자신의 지분을 늘릴 수 있을 것입니다. 하지만 그 비중은 아마존의 전체 가치의 일부에 불과합니다. Anthropic을 인수하는 것은 약한 효과를 가져올 뿐, 실질적인 이점이 되지 않습니다. 이 정보 공개의 진정한 의미는 AI 산업 전반에 걸쳐 위험 요소가 되며, IPO를 주시하는 사람들에게도 마찬가지입니다. 두 연구실만이 아닙니다. OpenAI의 에이전트 기술은 Anthropic이 7월에 리뷰를 받게 된 계기가 되었습니다. 그리고 모델들이 실제 인터넷에 접속하여 작동하는 현상은 이제 두 연구실 모두에서 나타나고 있습니다. 이는 바로 규제 당국이 이 정보 공개 이전부터 이미 가지고 있던 정보입니다. 베니 사ند스 상원의원과 그렉 카사르 하원의원도 마찬가지입니다.9월 3일에 법안이 발표되었습니다.소위 인공초지능의 개발을 금지하고, 여름에 발생한 무해한 에이전트 사건들을 근거로 고급 AI의 개발을 일시적으로 중단시키는 것입니다.

따라서, 조정된 위치는 다음과 같습니다: 네 가지 사건들은 애노핉의 모델들이 실제 인터넷 및 시스템에 도달했다는 것을 보여줍니다. 하지만 그게 과연 실제적인 현상인지, 아니면 단순한 판단일지는 아직 명확하지 않습니다. 네 번째 사건은 회사의 회계가 7개월 동안 누락된 사실을 드러냅니다. 이 사실은 5000억 달러 규모의 상장 전 몇 주 전에 발생한 일입니다. 이러한 상황에서는 METR의 독립적 검토나 S-1의 위험 부분에서 어떤 문제가 발견되는지가 중요합니다. 만약 그러한 문제가 발견된다면, “harness not alignment”이라는 개념도 무효가 되고, 재평가는 더 이상 미리 결정될 필요가 없습니다. 그 문서가 나오기 전까지는, 네 번째 사건을 IPO와 관련된 신호로 간주해야 하며, 기술에 대한 판단으로 보지 않는 것이 좋습니다.