아마존 페이퍼, KV-Cache 정책이 긴 컨텍스트 모델의 추론 및 학습에 미치는 영향을 발표

• 아마존의 연구에 따르면, 세부적인 주의를 집중하는 과정과 인출 KV-캐시 정책을 잘못 조합하면 문제가 생긴다는 것입니다.대규모 언어 모델에서의 장기적인 맥락 관련 문제들.
• 스파스 애널리틱스를 사용하여 모델을 훈련시키고, 인출 캐시 정책을 적용하면 의미 없는 출력 결과를 방지할 수 있습니다.128k 토큰 환경에서의 신뢰성이 향상됩니다..
• 이 연구 결과는 자원이 제한된 LLM를 활용할 때, 훈련 방식을 추론 제약 조건과 일치시킬 필요성이 매우 중요하다는 것을 보여줍니다.
• AWS는 이러한 기술적 정밀함을 활용합니다.Anthropic과의 1000억 달러 규모의 파트너십AI 인프라의 성장을 촉진하기 위함입니다.
• 투자자들은 더 저렴한 AI 토큰 비용이 충분한 수요를 촉진할 수 있는지 확인합니다.오프셋으로 인해 단위당 컴퓨팅 비용이 감소함.

아마존 연구원들은 키-값 캐시 정책의 선택이 단순한 최적화 과정에 불과한 것이 아니라, 대규모 언어 모델의 학습 방식을 근본적으로 바꾼다는 사실을 밝혀냈습니다. 이 연구는 현재의 배포 방식에서 중요한 취약점이 있다고 지적합니다. 즉, 전체 주의 메커니즘을 사용하여 조정된 모델들이 인출 시 스파스 주의를 사용한다는 점입니다. 스파스 주의는 고정된 크기의 KV 캐시에 과거의 컨텍스트 중 일부만을 저장함으로써 메모리 사용량을 줄여줍니다. 하지만 모델이 누락된 정보를 처리할 때 이러한 차이로 인해 긴, 의미 없는 답변이 생성될 수 있습니다.

이 연구는 세부 조정 과정을 인출 KV-캐시 정책과 직접 연동함으로써 구조적인 해결책을 제시합니다. 모델을 부분적 컨텍스트 메모리를 기대하는 방식으로 훈련시킴으로써, 정보가 부족한 경우에도 적절하게 답변하고 중단하는 법을 배울 수 있습니다. 128k 토큰의 컨텍스트를 포함하는 테스트에서, 이 방법으로 조정된 모델들은 일관된 행동을 유지했지만, 전체적인 주의력을 활용해 훈련된 모델들은 드물게 발생하는 인출 상황에서 크게 실패했습니다. 이 방법은 다양한 캐시 정책에 대해 실용적인 훈련 방법을 제공하며, 40GB A100 GPU 상에서 4B 파라미터 모델에 대한 그래디언트 계산도 가능하게 합니다.

KV-Cache 정책이 LLM 배포에 왜 중요한가요?

훈련과 인출 과정 간의 정합성은 실제 환경에서 모델의 신뢰성을 유지하는 데 필수적입니다. 대규모 언어 모델이 세밀한 조정 과정에서 전체 역사적 맥락을 고려하여 최적화된 경우, 인출 시에는 제한된 메모리 환경에서 작동해야 하므로 성능이 급격히 저하됩니다. 아마존의 연구 결과에 따르면, 이러한 불일치는 모델의 동작을 방해하며, 특히 지속적인 맥락 유지가 필요한 에이전트형 워크로드에서는 더욱 그렇습니다. 훈련 단계에서 배포 시의 메모리 제약을 정확하게 시뮬레이션함으로써, 모델은 맥락 손실에 대한 내성이 생깁니다. 이러한 접근 방식은 일반적으로 장기적인 맥락 처리에 문제가 되는 환각이나 논리적 오류를 방지합니다.

이 방법의 컴퓨팅 가능성은 매우 중요한 발전입니다. 왜냐하면 표준 하드웨어를 사용하여 실제로 구현될 수 있기 때문입니다. 40GB A100 GPU를 활용해 보상에 맞는 학습을 위한 기울기 값을 계산할 수 있다는 점은 고급 최적화 기술에 대한 접근성을 높여줍니다. 이러한 기술적 돌파구는 더 효율적이고 신뢰할 수 있는 AI 인프라로의 전환을 지원합니다. 기업들이 더 큰 모델을 도입함에 따라, 컨텍스트 윈도우를 관리하는 비용이 주요 제약 요소가 됩니다.

AWS는 어떻게 기술 발전을 활용하여 성장을 이루는가?

아마존 웹 서비스는 이러한 기술적 혜택을 더 큰 전략에 통합하고 있습니다. 이는 아나폴릭과의 1000억 달러 규모의 파트너십을 기반으로 합니다. AWS는 아나폴릭의 클로드 모델을 아마존 베드록에 통합했으며, 그 결과 토큰 기반 워크로드의 비용이 45% 절감됩니다. 이러한 가격적 장점은 아나폴릭이 AWS 기술을 사용하기로 한 10년간의 약속에 포함되어 있으며, 최대 5기그라드워크시트의 용량을 확보할 수 있습니다. 현재 10만 명 이상의 고객들이 베드록을 통해 클로드를 이용하고 있으므로, 이러한 최적화된 서비스가 성공적으로 도입되고 있다는 것을 알 수 있습니다.

전략적 목표는 단위당 컴퓨팅 비용이 감소하더라도 매출 성장을 이끌어내는 것입니다. AWS는 최신 분기에 422억 달러의 수익을 기록했으며, 연간으로는 1688억 달러에 달합니다.AI 솔루션이 가장 빠른 성장을 이끌고 있습니다.18분기 동안입니다. 아나프릭의 연간 100억 달러의 투자 규모는 현재의 운영 비용의 약 5.9%에 해당합니다. 아마존은 이러한 증가된 작업량이 가격 하락으로 인한 효율성 향상 효과를 압도할 경우, 전체 수익이 증가할 것입니다.

AWS는 2027년과 2028년에 추가로 200만 개의 NVIDIA GPU를 도입할 계획입니다. 이는 다년간의 수요가 예상된다는 것을 나타냅니다. 이러한 확장에는 Blackwell Ultra, Rubin, Rubin Ultra GPU 외에도 NVIDIA 네트워킹 및 Vera CPU도 포함됩니다. 아마존의 주된 투자 전략은 저용량 컴퓨팅 능력을 스토리지와 관리된 AI 서비스와 결합하여 활용하는 것입니다. 하지만 문제점은 자본 효율성에 관한 것입니다. 왜냐하면 도입 계획이 유료 사용을 보장하지 않고 하드웨어의 빠른 가치 하락을 방지하지 못하기 때문입니다.

아마존의 2025년 재무 실적은 7169억 달러에 달했습니다. 이는 소매업이 광고에 도움을 주고, AWS가 현금 흐름을 제공하는 생태계 덕분입니다. 아마존의 시가총액은 23.9배로, 우버와 같은 경쟁사의 시가총액은 17.2배입니다. 두 회사 모두 AI를 활용한 자율주행 차량을 개발하고 있으며, 아마존의 Zoox는 택시 서비스를 제공할 수 있는 연방 정부의 허가를 받았습니다. LLM 훈련에 필요한 기술적 정확성과 대규모 인프라 투자 덕분에 아마존은 AI 기반 미래를 활용할 수 있는 위치에 있습니다. 투자자들은 AWS의 성과의 안정성과 자본 집약적인 배포 과정의 위험을 고려해야 합니다.