キミK3がGPUのボトルネックに陥った。なぜNvidiaとMicrosoftが依然としてAIの問題を解決しているのか

ムーンショットの生産能力が不足しているため、需要が供給を上回っている。

ムーンショット新しい購読の停止既存のユーザーを保護しつつ、インフラを強化する必要があります。これは重要です。なぜなら、2日間にわたる大量の利用により、GPUの能力が限界に近づいたからです。これは需要の減少とは思えず、むしろ発売段階での供給制限によるもののようです。

ボトルネックは、興味ではなく、コンピューティング能力でした。

Kimi K3は、ニッチなラボのリリース品ではありません。それは…2.8兆パラメータの大規模言語モデルそして、モンショットはそれがそうしたことを示していると言った。フロンティアレベルのパフォーマンスその評価結果からわかるのは、このような規模のモデルが如此に急激に注目を集めるということです。つまり、有能な推論能力を持つモデルの需要が強く、一方で利用可能な計算リソースが限界になるということです。

なぜそれが依然としてNvidiaとMicrosoftに有利なのか

その問題は理解できる。もし有能なモデルが手に入りやすくなると、価格設定の力が圧迫される可能性がある。MoonshotのK3もそうだ。1百万個のキャッシュされた入力トークンあたり30セントで価格が設定されているこれは、競争的な価格設定がどれほど重要になっているかを示しています。

しかし、一次的な影響は依然として上流に及ぶ。ハイパフォーマンスモデルがGPUの能力を十分に活用する前に飽和状態になると、その恩恵を受けるのは、そのワークロードを処理するためのチップやクラスター、クラウドプラットフォームを提供する企業たちだ。より優れたモデルでは、トークンの価格を下げる一方で、トークンの需要も増加する。NvidiaやMicrosoftにとって、これは好都合な状況である。つまり、モデルの機能が向上し、採用が増え、インフラの消費も増えるのだ。

オープンウェイトの進展は、推論市場を縮小するのではなく、拡大させることができる。

もし容量が負荷のポイントであったなら、次に疑問となるのは、オープンモデルが改善される際に、価値はどこにあるのかということです。

より良いモデルなら、より多くの利用を生み出すことができ、単にトークンが安くなるだけではない。

最も簡単でありながら、最も誤解を招く解釈は、「安価なトークンほど、ビジネス機会が少ない」というものです。より正確な解釈としては、より強力なモデルが、実際のワークフローにおいて有用になることで、利用範囲を広げることができるということです。

Moonshotは、アクセスをセグメント化する作業をすでに始めています。キミ・ウェブ、アプリ、ワークさらに、独立したKimi Codeメンバーシップも必要です。つまり、使用はワークフローごとに分かれており、単一のツールとしてまとまっているわけではないのです。K3では、100万トークンのコンテキストウィンドウ高度な推論能力、長期的なコーディング技術、そして知識ベースの作業能力も含まれています。ユーザーは、単純なデモ的な指示ではなく、より長く、複雑なタスクをシステムに依頼しています。

なぜホストされた品質が依然として高価になるのか

オープンウェイトでは、信頼性の高いインフラの必要性は解消されません。モデルは自由に利用できますが、企業は依然として低遅延、一貫したスループット、安全な制御機能、ツールの統合、そしてデプロイの安定性といった要素に対して費用を支払う必要があります。Moonshotによると、会員構成の変更はリソースのより良い配分を目的としているとのことです。つまり、ワークロードがより重要になるにつれて、サービスの品質がより重要になってくるということです。

100万トークンのコンテキストウィンドウというのは、システムが長い文書やコードベース、複数段階にわたるワークフローを処理できる場合にのみ役立つ。また、コーディングやワークフローの利用には、単純なチャットよりも多くのインフラ資源が必要になる。したがって、オープンウェイトの仕組みは、自動的に経済的な面を平準化するわけではなく、競争の焦点をデプロイメントの品質、ガバナンス、統合に移すことになる。

「ベアケース」は、見かけよりも狭いものです。

弱気な見方は、価格が低い時期に最も強く現れます。もしモデルが十分に優れていても、精度や信頼性、ツールの利用性といった面で何の特徴も持っていないのであれば、そのようなモデルは時間が経つにつれて、単なる標準的なものになってしまう可能性があります。

しかし、K3の解釈としてはそれほど明確ではありません。Moonshotによると、そのモデルは以下のように示しているとのことです。私たちの評価システム全体におけるフロンティアレベルの性能また、外部の評価によると、これは主力モデルと互角な性能を持っているとされています。オープンモデルがそのギャップを埋めることで、今後はより広範な利用が期待され、多くのワークロードがクラウドやインフラ中心のシステムに移行する可能性があります。つまり、これは依然としてクラウドやアクセラレーターベンダーの方が有利になります。