人間中心主義的な研究者が同僚の影響で職を辞める。AIの絶滅リスクが10％を超える

ジェイコブ・コクソンは、主要なAI研究機関が、超知能を調整するための信頼できる方法がないまま、自己改善型のシステムを開発しようとしていると述べています。

AIをより有能なものにするための競争が、人間の制御下に保つという課題とますます衝突している。

要点まとめ

このウイルス的な辞職事件により、人工知能業界内の難しい矛盾が明らかになった。先駆的なモデルを構築する人々の中には、この技術が最終的に危険な状態になる可能性があると考える人もいる。しかし、商業的な圧力や研究機関間の競争が、この競争を続けさせているのだ。

投資家にとって、即座に気になるのは、ある研究者の予測が正しいかどうかではありません。重要なのは、AIの能力が、企業や規制機関がそれを制御するための信頼できるシステムを開発する速度よりも速く向上しているかどうかです。

9月8日、ジェイコブ・コクソンは、アントラピックとOpenAIで約3年間プレトレーニング研究を行った後、アントラピックを退職しました。X上での投稿の中で、彼は両社が責任を持って行動することなく、自らを向上させるスーパーインテリジェンスの開発に急いでいると非難しました。

「彼らは、自己改善型の超知能に直接進化しようとして、私たちの人生を危険にさらしているのです」とコクソンは書いている。

その警告は異常に迅速に広まった。一晩で1億人以上の人々に届いたという。アソシエイテッド・プレス一方、後のソーシャルメディアの統計によると、その投稿の視聴回数は1億2300万回以上になっていました。

コクソンの辞任に関する警告が、1日で1千万回以上の視聴を記録した。アソシエイテッド・プレス.

警告を発した人物の正体が重要です。コクソンは、単に仮想的なリスクについて意見を述べる外部の活動家ではありませんでした。彼はプレトレーニングの作業を行っていました。プレトレーニングとは、モデルの基本的な能力を形成する過程です。

したがって、彼の退任は、AI開発のスピードに関する懸念が、安全性を研究するために特別に配置されたチーム以外の部門にも広がっていることを示している。

コクソンは言った時間彼の決定は、何か一つの秘密の発見や個別の出来事によって下されたわけではない。むしろ、AIの開発が加速していること、そして業界がその状況をコントロールできていないという二つの大きな事実が反映されているのだ。

警告は、人間的な性質の内部から来るものだ。

コクソンの主張は、今日の消費者向けチャットボットが突然人類を破壊するというものではありません。彼が懸念している状況は、研究者たちが「再帰的自己改善」と呼ぶものから始まるのです。

初期段階では、AIは人間の研究者がコードを書いたり、実験を行ったり、結果を分析したりするのを助けてくれます。より高性能なモデルが発展すると、そのモデルを利用して新しいモデルが開発されることになり、これによって次の開発サイクルがさらに加速されます。このプロセスが十分に自動化されると、何年にもわたるAI研究が数ヶ月で完了する可能性があります。

アントロピックは、AIが自社の開発を加速しているという証拠を公に記録しています。2026年5月時点で、アントロピックのコードベースに組み込まれたコードの80％以上がClaudeによって書かれていました。また、通常のエンジニアは、2024年と比べて、1日あたり約8倍のコードをマージしているとのことです。再帰的な自己向上.

しかし、同じ報告書には重要な制限が記されている。現在のモデルは、目標を選定したり、どの問題に注意を払うべきかを判断したり、上級レベルの判断を下すことにおいて、経験豊富な研究者たちよりもはるかに弱いということだ。『アンタノティック』では、完全に自律的な再構築が実現されていないこと、そしてそれが必然的であるわけでもないことが明確に述べられている。

その違いが、アンタニック社のアライアンスストレステスト担当者であるエヴァン・ヒュビンガーが、コクソンの警告を公に支持することを妨げることはなかった。

ヒュビンガーは、今後10年以内にAIが人類の絶滅を引き起こす可能性が10％以上であると述べました。また、アントラピック社はその危険に対処しようとしているが、将来の超知能存在をうまく管理するための計画はまだないと付け加えました。

ある中でフォローアップ後フビンガーは、自身の推定が現在のモデルがもたらす比較的低いリスクではなく、将来に起こり得る超知能に関するものであると明確にした。

その制約条件は不可欠です。この数値は、正式なアンタロニック予測や、科学的に測定された確率や証拠ではありません。クラウドが現在提示している絶滅の危険性というものです。これは、極度の不確実性の下でのある研究者の判断に過ぎません。

それでも、破局的な結果に対する懸念は、AI批評家の少数派に限られるものではない。2,778人のAI研究者の調査極めて悪い結果については広く懸念があったが、参加者たちは、その起こりやすい時期やリスクの大きさ、そしてAIの開発が遅くなった方がより安全な結果になるかどうかについて意見が分かれている。

この意見の相違は、AIが技術的な進歩を妨げ続けている制約を克服できるかどうかに関するものです。

モデルはすでに、ソフトウェア開発の大部分を自動化しているが、AI研究にはまだ不足している計算能力や物理的なインフラ、信頼性の高いデータ、そして人間の判断が必要である。懐疑派は、これらの制約が、コクソンが恐れる「知能の爆発」を防ぐことになると主張している。

したがって、この業界には2つの異なる可能性があります。AIを活用した研究が徐々に進展する可能性もありますが、チップやエネルギー、データなどの制約がある限りです。また、そうした制約がなくなり、より迅速なフィードバックサイクルが生まれる可能性もあります。現存するベンチマークでは、どのようなパターンが実現されるかを正確に判断することはできません。

本当の戦いは、どちらが競走を支配するかということだ。

結局のところ、この論争は1つのパーセンテージよりも、ガバナンスに関するものです。

コクソンは、世界全体に影響を与えるような決定は、企業内部での議論によって行われるべきではないと主張している。彼が懸念するのは、各主要な研究機関が、競合企業が責任を持って行動するとは信頼できないため、ますます加速していく必要があるという点だ。

そのような論理では、危険を認識している企業でさえも、進行を止める方がより危険だと判断するかもしれません。結果として、どの参加者も安全に撤退できるとは思えない状況になります。

エロン・マスクも、高度なAIが壊滅的な結果を引き起こす可能性があることを何度も指摘しています。しかし、安全対策は別の企業部門に任せるべきだという考えには同意しません。

テスラやスペースXを例に挙げて、マスクは、安全がすべてのエンジニアやマネージャーの仕事の中に組み込まれるべきだと主張します。彼の考えでは、孤立した安全チームは、製品の開発方法を変えるための十分な権限を持たないまま、単なる象徴的な部門になってしまう可能性があります。

マスクはこう主張したXその安全対策は、別個の部門が担うものではなく、組織全体のエンジニアリングとしての責任であるべきです。

これら2つのアプローチは必ずしも互いに矛盾するわけではありませんが、異なる故障モードを重視している点が異なります。

コクソンは、競争が激しく、各企業が敵対者を信頼しないために、受け入れがたいリスクを冒すような状況を恐れています。マスクは、技術的な権限を持たず、安全に関する責任を他の人に委ねるような安全部門を恐れています。

効果的なガバナンスシステムでは、これら二つの問題を同時に解決する必要があります。安全性はモデルの開発の全過程にわたって考慮されるべきですが、独立した意思決定者は、指定されたリスク基準を超えるモデルの公開を延期したり、阻止したりする権限を持つ必要があります。

市場にとって、コクソンの辞任は、AIの需要やモデルの収益、データセンターのインフラの必要性を即座には変えない。その重要性は、業界に関連する長期的なリスクプレミアムにある。

より厳格な規制が行われると、モデルの導入が遅れる可能性があり、高額な外部評価が必要になり、法的・保険費用も増加する。重大な安全上の問題が発生すると、企業による導入が困難になる可能性がある。また、研究機関内での意見の相違が生じると、AI企業が行っている大規模な評価や公開の検討が複雑になる。

強気なAI投資の論調では、ますます高性能になるモデルが、チップやデータセンター、エネルギーへの過大な投資を正当化するほどの生産性と経済価値を生み出すと仮定されている。

コクソンの警告は、その問題のもう一つの側面を指摘している。つまり、AIがより速く進化するほど、開発者にとって、その性能向上が自分たちの制御能力を超えていることを証明するという負担が大きくなるのだ。

投資家は、人類の絶滅の確率を正確に認識する必要はない。金融的な影響を理解するためには、そうした情報が必要なのだ。AIの安全問題は、単なる抽象的な倫理的議論から脱し、規制、企業ガバナンス、評価方法といった実際的な問題となっている。