Kimi K3 atteint un blocage lié aux GPU. Pourquoi Nvidia et Microsoft continuent de dominer le problème de l’IA

La pression sur la capacité de Moonshot montre que la demande dépasse l’offre.

MoonshotPause les nouvelles abonnementsPour protéger les utilisateurs existants, tout en ajoutant des infrastructures supplémentaires. C’est important, car la pause est survenue après seulement deux jours de utilisation intensive, qui ont poussé les GPU à atteindre leur capacité maximale. Il s’agit plutôt d’une contrainte d’offre liée à la phase de lancement, et non d’une diminution de la demande.

Le problème était le traitement de l’information, et non l’intérêt.

Kimi K3 n’est pas un produit de laboratoire spécialisé. C’est…Modèle de langage à 2,8 billions de paramètresEt Moonshot a dit que cela montrait…Performance au niveau des frontièresDans ses évaluations, lorsqu’un modèle de cette taille attire autant d’attention si rapidement, la conclusion immédiate est simple : la demande pour des inférences efficaces est forte, et les ressources de calcul disponibles constituent le point de blocage.

Pourquoi cela peut néanmoins favoriser Nvidia et Microsoft

Cette situation est compréhensible. Si les modèles compétitifs deviennent plus faciles à obtenir, le pouvoir de fixation des prix peut être mis sous pression. Le K3 de Moonshot…Prix : 30 centimes par million de tokens d’entrée sauvegardésCela montre à quel point les prix compétitifs deviennent de plus en plus importants.

Mais l’effet à premier ordre continue d’avoir des conséquences à grande échelle. Lorsque un modèle performant atteint sa saturation sur les GPU avant que la capacité ne soit complètement utilisée, les entreprises qui fournissent les puces, les clusters et les plateformes cloud chargées de gérer cette charge sont les premiers bénéficiaires. De meilleurs modèles peuvent augmenter la demande en tokens, même si cela entraîne une compression des prix par token. Pour Nvidia et Microsoft, c’est un environnement favorable : plus de capacités de modèle, plus d’adoption, et donc plus de consommation d’infrastructure.

Le progrès avec poids ouvert peut étendre, et non réduire, le marché des inférences.

Si la capacité était le point de tension, la question suivante est où se situe la valeur lorsque les modèles ouverts s’améliorent.

Des modèles plus performants peuvent générer plus d’utilisation, et ce, sans que les tokens soient moins chers.

La interprétation la plus simple, mais aussi la plus trompeuse, est que les tokens moins chers signifient automatiquement de moins grandes opportunités d’affaires. Une interprétation plus correcte serait que les modèles plus performants peuvent augmenter l’adoption des technologies, en devenant utiles au sein des processus réels.

Moonshot a déjà commencé à segmenter l’accès en différentes parties.Kimi Web, App et WorkEn plus d’une membership séparée pour Kimi Code. Cela indique que l’utilisation se fait selon des processus différents, plutôt que de se regrouper en une seule application unique. K3 propose également…Fenêtre de contexte de 1 million de tokensAvec des capacités de raisonnement avancé, de codage à long terme et de gestion des connaissances. Les utilisateurs poussent le système vers des tâches plus longues et complexes, plutôt que des instructions simples de type démonstration.

Pourquoi la qualité hébergée peut toujours être vendue à un prix élevé

Les poids ouverts ne réduisent pas la nécessité d’une infrastructure fiable. Un modèle peut être disponible librement, mais les entreprises doivent tout de même payer pour des temps de latence bas, un débit constant, des contrôles de sécurité, des intégrations avec des outils, et une stabilité dans le déploiement. Moonshot a indiqué que la division des membres était conçue pour améliorer l’allocation des ressources. En d’autres termes, la qualité du service devient plus importante à mesure que les charges de travail deviennent plus importantes.

Une fenêtre de contexte de million de tokens ne sert que si le système peut gérer des documents longs, des bases de code et des processus à plusieurs étapes sans avoir de problèmes de performance. Le développement et l’utilisation des processus de travail sont également plus exigeants en termes d’infrastructure que les conversations informelles. Ainsi, la situation actuelle ne facilite pas automatiquement les choses économiquement ; elle fait en réalité que la compétition se concentre davantage sur la qualité du déploiement, la gouvernance et l’intégration.

L’image sombre est plus limitée qu’elle ne semble.

L’opinion bearish est la plus forte à l’extrémité basse. Si un modèle n’est que suffisamment bon, sans offrir de avantage significatif en termes d’exactitude, d’utilisabilité ou de fiabilité, alors cette catégorie d’inferences peut devenir standardiseable au fil du temps.

Mais ce n’est pas la interprétation la plus claire de K3. Moonshot a dit que le modèle montrait…Performance au niveau des frontières dans notre ensemble d’évaluationsLes évaluations externes indiquent qu’il s’agit d’un modèle compétitif par rapport aux modèles phares. Lorsque les modèles ouverts comblent cette différence, l’effet à court terme sera probablement une adoption plus large et une augmentation du nombre de tâches qui seront exécutées par des systèmes hébergés ou ceux qui nécessitent une infrastructure importante. Cela favorise donc les fournisseurs de services cloud et d’accélérateurs.