Amazon Paper enthüllt, wie die KV-Cache-Policy die Inferenz und das Training von Langkontextmodellen beeinflusst.

• Amazon-Studien zeigen, dass das Ungleichgewicht zwischen der Feinabstimmung der Aufmerksamkeit und den Inferenz-KV-Cache-Praktiken entsteht.Fehler im langfristigen Kontext bei großen Sprachmodellen.
• Das Trainieren von Modellen unter Verwendung einer „sparse attention“-Strategie, die der Inference-Cache-Policy entspricht, verhindert unsinnige Ausgaben.Steigert die Zuverlässigkeit in Kontexten mit 128k-Token..
• Die Ergebnisse unterstreichen die strukturelle Notwendigkeit, die Trainingsprozesse mit den Einschätzungsbeschränkungen für die Einsatz von LLMs mit begrenzten Ressourcen in Einklang zu bringen.
• AWS nutzt diese technische Präzision zusammen mit…100 Milliarden-Dollar-Partnerschaft mit AnthropicUm die Entwicklung der KI-Infrastruktur voranzutreiben.
• Die Investoren beobachten, ob die niedrigeren Kosten für AI-Token eine ausreichende Nachfrage erzeugen werden.Die Abweichung der Einheitlichen Rechenkosten ist reduziert..

Amazon-Forscher haben Erkenntnisse veröffentlicht, die zeigen, dass die Auswahl der Key-Value-Cache-Politiken nicht nur eine Art Optimierung der Inferenzprozesse ist, sondern die erforderlichen Trainingsbedingungen für große Sprachmodelle grundlegend verändert. Die Studie weist auf eine kritische Schwachstelle in den aktuellen Deploymentpraktiken hin: Modelle, die mit vollständigen Attention-Mechanismen getrainiert wurden, werden bei der Inferenzzeit mit spärlicher Attention-Technologie verwendet. Dabei wird nur ein Teil des vorherigen Kontexts im festen KV-Cache gespeichert – was zu einer ernsten Unstimmigkeit führt, wenn das Modell auf fehlenden Informationen stößt. Diese Diskrepanz führt oft dazu, dass längere, unsinnige Antworten generiert werden, wenn es um ausgedehnte Kontexte geht.

Die Forschung schlägt eine strukturelle Lösung vor – indem der Feinabstimmungsprozess direkt mit der Inferenz-KV-Cache-Strategie abgestimmt wird. Durch das Trainieren der Modelle darauf, dass sie einen Teil des Kontexts im Gedächtnis behalten können, lernen sie, angemessen zu antworten und aufzuhören – auch wenn Informationen fehlen. In Tests mit 128k-Token-Kontexten zeigten die mit dieser Strategie trainierten Modelle ein kohärentes Verhalten. Die mit voller Aufmerksamkeit trainierten Modelle hingegen scheiterten unter den Bedingungen einer unvollständigen Inferenz erheblich. Diese Methode macht das Trainieren nach bestimmten Cache-Politiken praktikabel – dadurch kann die Gradientenberechnung für ein 4B-Parameter-Modell auf einer 40 GB A100-GPU durchgeführt werden.

Warum ist die KV-Cache-Policy wichtig für die Implementierung von LLMs?

Die Übereinstimmung zwischen Training und Inference ist entscheidend, um die Zuverlässigkeit von Modellen in Produktionsumgebungen zu gewährleisten. Wenn große Sprachmodelle während des Fine-Tuning-Prozesses für einen vollständigen historischen Kontext optimiert werden, aber bei Inference mit eingeschränktem Speicher auskommen müssen, schleppt sich ihre Leistung stark ab. Die Studie von Amazon zeigt, dass diese Unstimmigkeit das Verhalten der Modelle beeinträchtigt – insbesondere in Agentenaufgaben, bei denen eine kontinuierliche Speicherbehalten erforderlich ist. Durch die Simulation der genauen Speicherbeschränkungen während des Trainingsprozesses entwickeln die Modelle Robustheit gegenüber Kontextverlusten. Diese Methode verhindert außerdem Halluzinationen und logische Fehler, die typischerweise bei Anwendungen mit langem Kontext auftreten.

Die Rechnerische Machbarkeit dieser Methode ist eine bedeutende Errungenschaft – sie ermöglicht die praktische Anwendung auf Standard-Hardware. Die Möglichkeit, Gradienten für das Training zu berechnen, auf einer 40 GB großen A100-GPU, macht den Zugang zu fortschrittlichen Optimierungstechniken zugänglich. Dieser technische Durchbruch unterstützt den Übergang der Branche hin zu effizienteren und zuverlässigeren KI-Infrastrukturen. Da Unternehmen immer größere Modelle einsetzen, wird die Kosten für die Verwaltung von Kontextfenstern zu einem wichtigen Limit.

Wie nutzt AWS technische Fortschritte, um den Wachstum zu fördern?

Amazon Web Services integriert diese technischen Vorteile in eine umfassendere Strategie – unterstützt durch eine Partnerschaft im Wert von 100 Milliarden Dollar mit Anthropic. AWS hat die Claude-Modelle von Anthropic in Amazon Bedrock integriert. Dadurch können die Kosten für Agentenanwendungen bis zu 45% reduziert werden. Dieser Preisvorteil ist Teil eines zehnjährigen Vertrags zwischen Anthropic und AWS: Anthropic verspricht, bis zu fünf Gigawatt-Kapazitäten auf AWS zu nutzen. Mehr als 100.000 Kunden nutzen derzeit Claude über Bedrock – das zeigt eine starke Akzeptanz dieser optimierten Dienste bereits jetzt.

Der strategische Schwerpunkt liegt auf der Steigerung des Umsatzes, um die niedrigeren Kosten pro Einheit zu kompensieren. AWS erzielte im letzten Quartal 42,2 Milliarden US-Dollar – das entspricht insgesamt 168,8 Milliarden US-Dollar pro Jahr.KI-Angebote fördern die schnellste Wachstumsrate.In 18 Quartalen. Der durchschnittliche jährliche Einsatzbetrag von Anthropic beträgt 10 Milliarden Dollar – das entspricht etwa 5,9 Prozent des aktuellen Umsatzes. Amazon profitiert davon, wenn die zunehmende Arbeitsbelastung die Effizienzgewinne durch niedrigere Preise überwiegen und so der Gesamtumsatz schneller wächst.

AWS plant außerdem, im Zeitraum 2027 und 2028 weitere zwei Millionen NVIDIA-GPUs einzusetzen – was auf eine mehrjährige Nachfrage hinweist. Diese Erweiterung umfasst die Blackwell Ultra- und Rubin- sowie Rubin Ultra-GPUs sowie NVIDIA-Netzwerkkomponenten und Vera-CPUs. Die Hauptinvestitionsstrategie von Amazon liegt darin, die knappen Rechenkapazitäten mit Speicher und verwalteten KI-Diensten zu nutzen. Allerdings geht es in der Analyse auch um die Effizienz des Kapitals: Die Einsatzpläne garantieren keine bezahlte Nutzung der Hardware oder schützen nicht vor einer schnellen Depreciation der Hardware.

Amasons Umsatzergebnis für das Jahr 2025 beliefte sich auf 716,9 Milliarden Dollar. Dies wurde durch ein Ökosystem erreicht, in dem der Einzelhandel die Werbung unterstützt und AWS den Cashflow sichert. Das Unternehmen wird mit einem Forward P/E von 23,9x bewertet – im Vergleich dazu liegt das P/E von Konkurrenten wie Uber bei 17,2x. Beide Unternehmen setzen auf autonome Fahrzeuge, die durch KI gesteuert werden. Amazon hat außerdem die Genehmigung vom Bundesstaat erhalten, für Fahrten eine Gebühr zu erheben. Die Kombination aus technischer Präzision bei der Trainierung von LLMs sowie massiven Investitionen in Infrastruktur macht Amazon bereit, den von KI gesteuerten Zukunft zu nutzen. Investoren müssen die Stabilität der AWS-Leistungen gegenüber den Risiken der kapitalintensiven Implementierungsprozesse abwägen.