인류 중심적 연구원이 동료의 요구로 사임함 – AI의 멸종 위험이 10%를 넘음

제이콥 콕슨은 주요 AI 연구소들이 초지능을 조정할 수 있는 신뢰할 수 있는 방법 없이 자체적으로 발전하는 시스템을 구축하기 위해 경쟁하고 있다고 말합니다.

AI의 능력을 향상시키는 노력은 점점 더 인간의 통제 하에 두는 문제와 충돌하고 있습니다.

핵심 요점

바이러스처럼 퍼진 이탈 사례는 인공지능 산업 내에 존재하는 복잡한 모순을 드러냈습니다. 첨단 모델을 개발하는 사람들 중 일부는 이 기술이 결국 치명적인 위험을 초래할 수 있다고 생각하지만, 상업적 압력과 연구소 간의 경쟁으로 인해 그 경쟁은 계속되고 있습니다.

투자자들에게 있어서 즉각적인 문제는, 한 연구자의 추정치가 정확한지 여부가 아닙니다. 중요한 것은 AI의 기능이 기업과 규제기관들이 그 기능을 통제할 수 있는 신뢰할 수 있는 시스템을 개발하는 속도보다 더 빠르게 발전하고 있는지 여부입니다.

9월 8일, 제이콥 콕슨은 애니팩과 오픈AI에서 약 3년간 예비 훈련 연구를 진행한 후 애니팩을 떠났습니다. X에 올린 글에서 그는 두 회사가 책임감 있게 행동하지 않고 자기개선 능력이 뛰어난 초지능을 개발하려고만 한다고 비판했습니다.

“그들은 직접적으로 초지능으로의 발전을 향해 나아가고, 우리의 삶을 위험에 빠뜨리고 있어요.”라고 콕슨은 썼습니다.

그 경고는 매우 빠르게 퍼졌습니다. 하룻밤 사이에 1억 명 이상의 사람들에게 전달되었습니다.AP 통신한편, 나중에 실시된 소셜 미디어 조사 결과 이 게시물의 조회수는 1억2천3백만 회를 넘었습니다.

콕슨의 사임 경고가 하루 만에 1억 회 이상 조회되었다고 합니다.AP.

경고를 내린 사람의 신원이 중요합니다. 콕슨은 단순히 가상적인 위험에 대해 논평하는 외부 활동가가 아니었습니다. 그는 프리트레이닝 작업을 수행했으며, 이는 모델의 기본적 능력을 구축하는 과정입니다.

따라서 그의 사임은, AI 개발 속도에 대한 우려가 단순히 안전성 연구를 담당하는 팀들뿐만 아니라 다른 부서들로도 확산되고 있음을 의미합니다.

코크슨이 말했다.시간그의 결정은 어떤 비밀스러운 발견이나 개별적인 사건에 의해 내려진 것이 아니었습니다. 오히려 그 결정은 두 가지 더 큰 사실을 반영하는 것이었습니다. 첫째, 인공지능 개발이 빠르게 진행되고 있었으며, 업계는 이 상황을 제대로 통제할 수 없었다는 것입니다.

경고는 인류학적 세계에서 오고 있습니다.

콕슨의 주장은 오늘날의 소비자 챗봇이 갑자기 인류를 파멸시킬 수 있다는 것이 아닙니다. 그가 우려하는 상황은 연구자들이 ‘재귀적 자기개선’이라고 부르는 현상에서 시작됩니다.

초기 단계에서는 AI가 인간 연구자들이 코드를 작성하고 실험을 수행하며 결과를 분석하는 데 도움을 줍니다. 더 발전된 모델들이 등장하면, 그 모델들을 활용해 다음 단계의 개발이 가능해지고, 이로 인해 연구 과정이 훨씬 빠르게 진행됩니다. 이러한 과정이 자율적으로 이루어진다면, 수년에 걸쳐 이루어져야 하는 AI 연구가 몇 달 만에 완료될 수도 있습니다.

안탈피크는 AI가 이미 자체 개발 과정의 일부를 가속화하고 있다는 증거를 공개적으로 보고했습니다. 2026년 5월 기준으로, 안탈피크의 코드베이스에 통합된 코드 중 80% 이상이 클로드가 작성한 것이었으며, 일반 엔지니어의 경우 2024년보다 약 8배 더 많은 코드를 하루에 통합했다고 회사의 보고서에 따르 있습니다.재귀적인 자기계발.

하지만 같은 보고서에는 중요한 제약 조건도 포함되어 있습니다. 현재의 모델들은 목표를 선택하고, 어떤 문제가 주목받아야 하는지 판단하며, 고위급 의사결정을 내리는 데 있어 경험이 풍부한 연구자들보다 훨씬 부족합니다. ‘인간적 특성’이라는 보고서는 완전히 자율적인 재귀적 개선 방식이 아직 도래하지 않았으며, 그런 상황이 필연적이지도 않다고 말합니다.

그런 구분이 있음에도 불구하고, Anthropic사의 정렬 스트레스 테스트 책임자인 에반 휴빙거는 코크슨의 경고를 공개적으로 지지했습니다.

후비네르는 앞으로 10년 내에 인공지능이 인간의 멸종을 초래할 가능성이 10% 이상이라고 말했습니다. 또한, 안타르핀크는 이 위험을 해결하려고 노력하고 있지만, 미래의 초인지능과 조화를 이루는 방법에 대한 계획은 아직 없다고 덧붙였습니다.

한 곳에서후속 글후빈거는 자신의 추정이 현재의 모델들이 초래하는 비교적 낮은 위험과 관련된 것이 아니라, 미래의 초지능과 관련된 것임을 분명히 했습니다.

그런 조건은 필수적입니다. 이 수치는 공식적인 인류학적 예측이 아니며, 클로드가 현재 멸종 위협이 있다고 말하는 과학적으로 측정된 확률이나 증거도 아닙니다. 이는 극도의 불확실성 속에서 한 연구자의 판단에 의한 결과일 뿐입니다.

그럼에도, 재앙적인 결과에 대한 우려는 소수의 AI 비판자들만의 문제가 아닙니다.2,778명의 인공지능 연구자에 대한 조사극심한 부정적 결과에 대한 우려가 널리 퍼져 있었지만, 참가자들은 AI 개발이 더 느려진다면 더 안전한 결과가 나올지, 아니면 위험의 정도가 더 커질지에 대해 의견이 분분했습니다.

이 의견 차이는, 인공지능이 기술 발전을 제한하는 요소들을 극복할 수 있는지 여부와 관련이 있습니다.

모델들은 이미 소프트웨어 개발 과정의 상당 부분을 자동화할 수 있지만, 인공지능 연구는 여전히 부족한 컴퓨팅 파워, 물리적 인프라, 신뢰할 수 있는 데이터, 그리고 인간의 판단에 의존하고 있습니다. 회의론자들은 이러한 제약들이 콕슨이 우려하는 “지능의 폭발”을 방해할 것이라고 주장합니다.

따라서 이 산업은 두 가지 매우 다른 가능성에 직면하고 있습니다. AI가 지원하는 연구는 칩, 에너지, 데이터의 제약으로 인해 점진적으로 발전할 수도 있지만, 그렇지 않으면 그러한 제약들을 극복하여 훨씬 빠른 피드백 루프를 만들어낼 수도 있습니다. 현재 존재하는 어떤 기준도 어떤 경로가 성공할지 확실하게 결정할 수는 없습니다.

진정한 싸움은 누가 이 경주를 지배하는가에 관한 것입니다.

결국 이 논란이 중요한 것은 일정한 비율이 아니라, 통치 방식에 관한 것입니다.

코크슨은 전 세계에 영향을 미치는 결정들이 사내 회의를 통해 내려져서는 안 된다고 주장합니다. 그가 우려하는 것은, 모든 선도적인 연구소들이 경쟁사들이 책임감 있게 행동할 것이라고 믿을 수 없기 때문에 계속해서 발전을 추진해야 한다는 점입니다.

그런 논리에 따르면, 위험을 인식하는 회사라도 속도를 줄이는 것이 계속 진행하는 것보다 더 위험하다고 판단할 수 있습니다. 그 결과, 참가자들은 모두 안전하게 떠날 수 없다고 생각하는 상황이 됩니다.

엘론 머스크는 고도로 발전된 인공지능이 치명적인 결과를 초래할 수 있다고 여러 차례 언급했습니다. 하지만 그는 안전 관리가 별도의 기업 부서에 맡겨져야 한다는 생각에는 동의하지 않습니다.

테슬라와 스페이스엑스를 예로 들며, 머스크는 모든 엔지니어와 관리자들이 안전을 중요하게 여겨야 한다고 주장합니다. 그의 생각에, 독립적인 안전 팀이라도 제품 개발 방식을 바꿀 수 있는 권한이 부족하면 단지 상징적인 조직에 불과할 뿐입니다.

머스크는 주장했다X그 안전 관리는 별도의 부서가 담당하는 일이 아니라, 전체 조직에 걸쳐 관리되어야 하는 과제여야 합니다.

두 접근법은 반드시 상반된 것은 아니지만, 각각 다른 실패 모드를 강조합니다.

코크슨은 모든 회사가 경쟁적인 환경에서 잠재적으로 받아들일 수 없는 위험을 감수할 수 있다고 우려합니다. 왜냐하면 그는 경쟁자들을 신뢰하지 못하기 때문입니다. 머스크는 엔지니어링 역량이 부족한 안전 부서가 존재하고, 조직의 다른 부서들이 안전 문제를 남의 책임으로 여기는 상황을 두려워합니다.

효과적인 거버넌스 체계는 이러한 문제들을 모두 해결해야 합니다. 안전성은 모델 개발 전반에 걸쳐 반드시 고려되어야 하며, 독립적인 의사결정자들도 특정 위험 수준을 넘는 모델의 출시를 연기하거나 중단할 권한이 필요합니다.

시장에 있어서는, 코크슨의 사임이 즉시 인공지능에 대한 수요나 모델의 수익, 데이터 센터 인프라에 대한 필요성을 바꾸지는 않습니다. 그 중요성은 산업과 관련된 장기적인 위험 프리미엄에 있습니다.

보다 엄격한 규제는 모델의 출시를 지연시킬 수 있으며, 비용이 많이 드는 외부 평가도 필요로 하고, 법적 또는 보험 비용도 증가할 수 있습니다. 심각한 안전 문제가 발생하면 기업들의 도입이 어려워질 수 있고, 연구소 내부에서의 의견 차이가 인공지능 기업들이 고려하는 대규모 평가와 공개 상장 과정을 복잡하게 만들 수 있습니다.

긍정적인 AI 투자 전망은, 점점 더 강력해지는 모델들이 칩, 데이터 센터, 에너지에 대한 엄청난 투자를 정당화할 만큼의 생산성과 경제적 가치를 창출할 것이라고 가정합니다.

코크슨의 경고는 그 문제의 다른 측면을 지적합니다. 즉, AI가 더 빠르게 발전할수록, 개발자들은 그 성능 향상이 자신들의 제어 능력을 넘어서는 것이 아니라는 것을 증명해야 하는 부담이 커진다는 것입니다.

투자자들은 인류의 멸종 가능성에 대한 정확한 수치를 알 필요는 없지만, 그로 인한 재정적 영향을 인식할 수 있어야 합니다. AI 안전 문제는 추상적인 윤리적 논쟁에서 벗어나, 규제, 기업 거버넌스, 평가 등 실질적인 문제가 되고 있습니다.