テーテアの4億6000万パラメータを持つAIモデルが言うには：「クラウドに支払うコストをやめなさい」

VisionPsy-Nanoは、デバイス内での推論に焦点を当てています。

テーテアの最新のAIソフトウェアは、単純な考えに基づいて開発されています。つまり、AIコストを大幅に削減できるのは、すべてのリクエストをクラウドに送るのではなく、デバイス上で推論処理を行うことです。VisionPsy-Nanoというものです。4億6000万パラメータテーテアがオープンソースソフトウェアとして公開している、開発者がダウンロードし、テストし、導入できる視覚言語モデルです。

ベンチマーク上のリーダーシップは、完全な証明ではなく、単なる目印に過ぎない。

テーテアによると、VisionPsy-Nanoはそれを達成したそうです。最も高い全体的な標準化スコアは62.3です。そして、その重量クラスを引き連れて行った。17のベンチマークのうち16つそれだけでは、クラウドの代替が実現したとは証明されません。しかし、コンパクトモデルが依然として消費者向けハードウェアにおいて競争力を持つことができるということです。本当の問題は、小規模なモデルがうまく機能するかどうかではなく、それらが広範囲に活用されることができるかどうかです。

これはまだ初期段階のものです。ベンチマーク性能については、独立した検証が必要です。また、テーテールもまだ主流のAIベンダーではありません。しかし、このリリースは理論上のものではなく、実際に利用可能なものです。つまり、モデルは公開されており、オンデバイスやエッジでの使用を目的としています。

経済的な側面は、ローカルAIシステムに含まれています。

見出しが注目を集めることはあるが、実際の効果はその周辺の要素によるものだ。一度推論が局所的なものになれば、重要な問題は、各デバイスが時間の経過とともにどれだけクラウド利用料金を代替できるかということになる。

記憶とハードウェアの柔軟性が、実際の障害要因です。

QVAC Fabricは、デバイス上の2つの最大の制約を同時に解決します。それを報告します。同等の16ビットモデルに比べて、VRAMが77.8％少ない。そして、スマートフォンの内蔵GPUを利用して、Galaxy S25上で1Bモデルを78分間で最適化することができます。データはオンデバイスに保持されるので、これは重要です。なぜなら、投資の価値は単なるベンチマークでの成功だけではないからです。それは、消費者向けハードウェアが実際に利用可能なインферenceの手段になり得るかどうかに関わることです。

短いプロンプトの場合、ローカルで実行するのは簡単です。一方、より長い文書やコードベース、数時間に及ぶ作業内容の場合は、通常クラウド上で処理されます。TurboQuantは、このような処理方法を変えることで、その点を改善しています。最大5倍のコンテキストメモリ圧縮局所的な推論パスにおいて、長いコンテキストを扱うベンチマークでは、ほとんど精度の低下が見られない。自動化も追加されている。KVキャッシュの圧縮そして、適切なツールの使用を通じて、より根本的な問題を解決することができる。それは、モデルのサイズだけでなく、実際の使用時の作業メモリの問題も含まれる。

より広範なローカル推論アーキテクチャが形作られている

QVACは、AMD、Intel、Apple、Qualcomm、ARMチップ上で動作するように設計されています。これは重要です。なぜなら、特定のアクセラレーターエコシステムに依存しないスタックの方が、より多くの利用場面があるからです。Tetherも同様に推進しています。ピア・トゥ・ピアネットワーキングデバイス間の協力を可能にし、スマートフォン、ラップトップ、組み込みシステム、その他のエンドポイントを包含する単一のフレームワークです。

ブルズ側では、これをクラウドAPIの支出に与える潜在的な圧力要因と見なしています。ベアーズ側は、別のオープンソーススタックが即座にハイパースケール企業の収益を向上させるわけではないと主張できます。それでも、この動向は注意すべきものです。つまり、デバイス内での推論から、より分散型の推論ネットワークへと移行するローカルAIスタックです。

なぜ投資家は、収益面よりも評価額の観点を重視するのか

より有用な投資の判断基準というのは、テーターのモデルが単独で機能するかどうかではありません。重要なのは、時間の経過とともに、市場がAIインフラの構築に対してどれだけの価格を支払う意欲を持つかが制限されるかどうかです。大企業のAIへの投資は、しばしば予測と比較されています。4050億ドル以上投資費用において、特にAIチップ株の上昇によって得られた利益だけで、およそ市場価値で2兆ドルつまり、将来の需要がすでに価格に反映されているということです。

ブルケースとは、即時の収益の崩壊ではなく、より低いレベルの事象です。

もしワークロードが部分的にデバイス側に移行してしまうと、最初の影響は報告された収益ではなく、評価額になるかもしれません。AIシステムは広範で相互に関連しているものです。チップ製造業者、クラウド企業、電力供給業者、ソフトウェア企業すべてが一緒になって動くのは、資本支出が共通の動機だからです。もし投資家がその支出がどれほど永続的なものか疑問を持ち始めたら、利益が明らかに損なわれる前に、株価は下落する可能性があります。

それには、巨大クラウドサービス会社の需要が崩れる必要はありません。単に、市場が新しいレンタルサービスに対して、より低い長期的な収益率を設定するだけでよいのです。そうなれば、後続の層の優勝者たちも…高度な製造技術、およびパッケージング能力もし投資家が、より明確な収益化の可能性や、終わりのない投資費用の増加に依存しない資産を評価するようになるなら、それはクラウド業界の基本的な考え方よりも強い持続性を持つかもしれません。

問題点は、クラウドの需要が依然として非常に強いということです。

より深刻な問題は明確です。事業の拡大は依然として加速しています。最新の報告期間において、大手テック企業の支出は四半期ごとに19％増加し、AIチップ関連株も約…市場価値で2兆ドル7月だけです。そのような状況では、1つのエッジスタックだけでは、サイクルを変えることは難しいでしょう。今のところ、これは利益の変化というよりは、評価に関する議論のようです。

どのような事柄がその仮説を確認するのか、または反証するのか

地域での展開が単なるコンセプト実証にとどまらない兆候に注意してください。

• 開発者によるオープンソースモデルやツールの採用
• より長いコンテキストのワークロードが、大規模なクラウド依存をせずにデバイス上で実行できるという証拠です。
• 需要自体は依然として強いものの、投資意欲が低下している兆候がある。