アマゾン・ペーパー、KV-Cacheポリシーが長文コンテキストモデルの推論と学習に与える影響を明らかに

• アマゾンの研究によると、ファインチューニングされた注意機構と推論時のKVキャッシュポリシーが一致しないことが問題となることが明らかになっています。大規模言語モデルにおける長い文脈に関する問題.
• スパースアテンションを使用したモデルのトレーニングは、インферENCEキャッシュポリシーに合致しているため、無意味な出力が発生するのを防ぐ。128kトークン環境での信頼性が向上します。.
• これらの結果は、リソースが限られたLLMの運用において、トレーニングプロセスを推論制約と一致させることの構造的な必要性を示している。
• AWSは、この技術的な精密さを活用している。アントラニックとの1000億ドルのパートナーシップAIインフラの成長を促進するために。
• 投資家は、より安価なAIトークンのコストが十分な需要を引き出すかどうかを監視している。単位あたりのコンピューティング費用が減少.

アマゾンの研究者たちは、キー・値キャッシュのポリシーを選択することが、単なる推論最適化の問題ではなく、大規模言語モデルの学習方法を根本的に変えるものであることを明らかにしました。この研究では、完全注意機構を用いてフィネストされたモデルが、推論時にスパースアテンション方式で使用される場合における重要な脆弱性も指摘されています。スパースアテンションでは、固定サイズのキー・値キャッシュ内に過去のコンテキストの一部のみを保持することでメモリ使用量を減らしますが、モデルが失われた履歴を処理する際には大きな矛盾が生じます。このような状況では、長くて意味のない答えが生成されることがよくあります。

この研究では、ファインチューニングプロセスを、推論時のKVキャッシュポリシーと直接一致させることで、構造的な解決策を提案しています。モデルを、部分的なコンテキストメモリがあることを前提として訓練することで、情報が不足している状況でも適切に回答し、処理を停止することができるようになります。128kトークン程度のコンテキストを扱うテストでは、この方法でファインチューニングされたモデルは一貫した動作を保ちました。一方、完全な注意制御を用いて訓練されたモデルは、情報が不足している状況では著しく性能が低下しました。この方法により、任意のキャッシュポリシーに対して実用的なトレーニングが可能となり、40GBのA100 GPU上で4Bパラメータを持つモデルの勾配計算が可能になります。

なぜKV-CacheポリシーがLLMのデプロイにとって重要なのか？

トレーニングと推論の間の適合性は、実運用環境でのモデルの信頼性を維持するために不可欠です。大規模言語モデルがファインチューニングの際には完全な歴史的文脈に基づいて最適化されているが、推論時には限られたメモリ容量で動作する場合、その性能は著しく低下します。Amazonの研究によると、このような不整合によってモデルの動作が悪化し、特に持続的な文脈保持が必要なエージェント型ワークロードにおいて問題が発生します。トレーニング段階での実装時のメモリ制約をシミュレートすることで、モデルは文脈の喪失に対して強固になります。この方法により、長期にわたる文脈処理を行うアプリケーションでよく見られる誤解や論理的な矛盾が防げます。

この手法の計算的実現可能性は大きな進歩であり、標準的なハードウェア上で実際に利用できるという点が特徴です。40GBのA100 GPUを使ってポリシーに合わせたトレーニングのための勾配を計算することができるということは、高度な最適化技術へのアクセスを容易にしてくれます。この技術的進歩により、より効率的で信頼性の高いAIインフラへの移行が促進されます。企業がより大規模なモデルを使用するにつれて、コンテキストウィンドウの管理コストが主要な制約となります。

AWSは、技術の進歩をどう活用して成長を促進しているのか？

Amazon Web Servicesは、これらの技術的な効率化を、Anthropicとの1000億ドルのパートナーシップを基盤としたより大きな戦略に組み込んでいます。AWSはAnthropicのClaudeモデルをAmazon Bedrockに統合し、トークンベースのワークロードのコストを最大45％削減しています。この価格上的利点は、AnthropicがAWS技術を使用するという10年間の契約の中に含まれており、最大5ギガワットの能力が確保されています。現在、10万人以上の顧客がBedrockを通じてClaudeを利用しており、これらの最適化されたサービスの早期採用が明らかです。

戦略的な焦点は、単位あたりのコンピューティングコストが低下した分を補うために、売上の増加を促進することです。AWSは最新四半期で422億ドルを創出し、年間では1688億ドルになります。最速の成長を促すAIサービス18四半期にわたる。アンターピック社の年間100億ドルの投資は、現在の収益率の約5.9％に相当する。もし、その結果として生じる業務量の増加が、価格低下による効率向上の効果を上回れば、アマゾンの収益が増加するだろう。

AWSは、2027年と2028年にさらに200万台のNVIDIA GPUを導入する予定であり、これは長期的な需要があることを示しています。この拡張には、Blackwell Ultra、Rubin、Rubin Ultra GPUや、NVIDIAネットワーク機器、Vera CPUも含まれます。Amazonにとっての主要な投資理由は、限られた計算能力をストレージや管理されたAIサービスと組み合わせて活用することです。しかし、問題点としては、導入計画が有料利用を保証しないこと、またハードウェアの急速な価値低下を防ぐことができないことです。

アマゾンの2025年度の収益は7169億ドルに達しました。これは、小売業が広告業務を支援し、AWSが資金流れを提供するというエコシステムのおかげです。同社の将来予想PERは23.9倍であり、Uberの17.2倍と比べて高いです。両社ともAIで制御される自動運転車を開発しており、アマゾンのZooxは料金収受のための連邦政府の許可を得ている。LLMの訓練における技術的な精密さと大規模なインフラ投資の組み合わせにより、アマゾンはAI駆動型の未来を活用できる立場にあります。投資家は、AWSのパフォーマンスの安定性と、資本集約的な導入プロセスに伴うリスクを考慮する必要があります。