Amazon Paper révèle que la politique KV-Cache influence l’inférence et le entraînement des modèles à long contexte

• La recherche menée par Amazon montre que l’incohérence entre les politiques de fine-tuning de l’attention et les politiques de cache KV lors de l’inférence entraîne…Échecs liés au contexte long dans les grands modèles de langage.
• Entraîner les modèles avec une attention éparse, en respectant la politique de cache d’inference, permet d’éviter des sorties sans sens.Améliore la fiabilité dans les contextes avec 128 000 jetons..
• Ces résultats soulignent la nécessité structurelle de aligner les régimes d’entraînement avec les contraintes d’inférence, afin de permettre l’utilisation de LLM avec des ressources limitées.
• AWS exploite cette précision technique, en plus de…Partenariat de 100 milliards de dollars avec AnthropicPour stimuler la croissance des infrastructures IA.
• Les investisseurs surveillent si les coûts plus bas des tokens d’IA permettront de générer une demande suffisante.Écart réduit des coûts de calcul par unité.

Les chercheurs d’Amazon ont publié des résultats indiquant que le choix des politiques de cache en format clé-valeur ne se limite pas à une optimisation de l’inférence, mais modifie fondamentalement les conditions de formation nécessaires pour les grands modèles de langage. L’étude met en évidence une vulnérabilité importante dans les pratiques actuelles de déploiement : les modèles qui ont été affinés avec des mécanismes d’attention complète sont utilisés avec une attention sparse lors de l’inference. L’attention sparse réduit la consommation de mémoire en retenant uniquement un sous-ensemble du contexte passé dans une cache KV de taille fixe. Cela entraîne une grande incohérence lorsque le modèle rencontre des informations manquantes. Cette divergence entraîne souvent la génération de réponses longues et sans sens lors du traitement de contextes étendus.

La recherche propose une solution structurelle en correspondant directement le processus de fine-tuning avec la politique de cache KV d’inférence. En entraînant les modèles à anticiper une mémoire de contexte partielle, ils apprennent à répondre et à s’arrêter correctement, malgré l’absence d’informations. Dans des tests impliquant 128 000 tokens de contexte, les modèles entraînés avec cette approche correspondante ont maintenu un comportement cohérent, tandis que ceux entraînés avec une attention complète ont échoué significativement dans des conditions d’inférence spécifiques. Cette méthode rend l’entraînement adapté aux différentes politiques de cache pratique, permettant ainsi le calcul du gradient pour un modèle de 4B de paramètres sur une GPU A100 de 40 Go.

Pourquoi la politique KV-Cache est-elle importante pour le déploiement des LLM ?

L’alignement entre l’entraînement et l’inférence est essentiel pour maintenir la fiabilité du modèle dans les environnements de production. Lorsque les grands modèles de langage sont optimisés en tenant compte du contexte historique complet pendant le entraînement, mais doivent fonctionner avec une mémoire tronquée lors de l’inférence, leur performance s’améliore considérablement. Le papier publié par Amazon montre que ce déséquilibre perturbe le comportement du modèle, surtout dans les tâches qui nécessitent la conservation continue du contexte. En simulant les contraintes de mémoire exactes durant la phase d’entraînement, les modèles deviennent plus robustes face à la perte de contexte. Cette approche permet d’éviter les hallucinations et les erreurs logiques qui affectent généralement les applications à long contexte.

La faisabilité computationnelle de cette méthode représente une avancée importante, car elle permet une mise en œuvre pratique sur du matériel standard. La capacité à calculer les gradients pour la formation adaptée aux politiques d’apprentissage sur une GPU A100 de 40 Go permet de rendre les techniques d’optimisation avancées accessibles à tous. Ce progrès technique soutient également le changement dans l’industrie vers des infrastructures IA plus efficaces et fiables. À mesure que les entreprises déploient des modèles plus grands, le coût de gestion des fenêtres de contexte devient une contrainte majeure.

Comment AWS utilise les avancées technologiques pour stimuler la croissance ?

Amazon Web Services intègre ces avantages techniques dans une stratégie plus large, basée sur une partenariat de 100 milliards de dollars avec Anthropic. AWS a intégré les modèles Claude d’Anthropic dans Amazon Bedrock, ce qui permet des économies de coûts, rendant les tâches basées sur des tokens jusqu’à 45 % moins coûteuses pour les applications agentiques. Ce avantage tarifaire est lié à l’engagement de dix ans d’Anthropic à utiliser la technologie d’AWS, avec une capacité de jusqu’à cinq gigawatts. Plus de 100 000 clients utilisent actuellement Claude via Bedrock, ce qui indique une adoption rapide de ces services optimisés.

L’objectif stratégique est de stimuler la croissance des volumes, afin de compenser les coûts de calcul plus faibles par unité. AWS a généré 42,2 milliards de dollars au dernier trimestre, soit 168,8 milliards de dollars annuellement.Les offres d’IA contribuent au développement le plus rapide.En 18 trimestres. L’engagement annuel moyen d’Anthropic de 10 milliards de dollars représente environ 5,9 % du rythme actuel des activités. Amazon profitera si l’augmentation de la charge de travail surpasse les avantages liés à la baisse des prix, ce qui accélérera les revenus totaux.

AWS prévoit également d’installer deux millions de GPU NVIDIA supplémentaires entre 2027 et 2028, ce qui indique une demande à long terme. Cette expansion comprend des GPU Blackwell Ultra, Rubin et Rubin Ultra, ainsi que des processeurs NVIDIA Networking et Vera. La principale théorie d’investissement d’Amazon repose sur l’utilisation efficace des capacités de calcul limitées, en combinant cela avec les services de stockage et d’IA gérés. Cependant, les risques concernent l’efficacité de l’investissement, car les plans de déploiement ne garantissent pas une utilisation effective des ressources, ni ne protègent contre la dépréciation rapide du matériel.

Les revenus d’Amazon pour l’exercice 2025 ont atteint 716,9 milliards de dollars. Cela est dû à un écosystème où les ventes en ligne soutiennent la publicité, tandis qu’AWS fournit des flux de trésorerie. L’entreprise est cotée à un P/E de 23,9x, contre 17,2x pour des concurrents comme Uber. Les deux entreprises développent des véhicules autonomes contrôlés par l’IA. Zoox d’Amazon a reçu autorisation fédérale pour facturer des frais pour les déplacements. La combinaison de la précision technique dans la formation des LLM et des investissements massifs en infrastructure permet à Amazon de profiter de l’avenir piloté par l’IA. Les investisseurs doivent donc comparer la solidité des performances d’AWS aux risques liés aux cycles de déploiement qui nécessitent beaucoup de capital.