딥씽크의 75% HBM ‘쿠트’는 헤드라인보다 더 좁은 수준이며, 확장형 메모리 기술에 대한 가격도 상승했다.

이번 주의 헤드라인에 따르면, 중국의 AI 연구소인 딥씨크는 한 가지 경우에 있어서 메모리 필요량을 75% 줄였고, 또 다른 경우에는 87.5% 줄였다고 합니다. 이 소식에 메모리 관련 주식들은 급격히 하락했습니다. 마이크론은 금요일 아침에 약 5% 하락했고, 샌디스크는 약 4% 하락했습니다. 삼성도 마찬가지였습니다.SK 하이닉스는 서울에서 3% 이상 하락했습니다.만약 AI-메모리 관련 제품들을 보거나 감상한다면, 지난 한 해 동안 가장 유익한 사업 분야였던 분야라고 할 수 있습니다. 하지만 더 저렴한 모델이 메모리 수요에 위협이 될 것인지, 아니면 판매를 촉진하는 좋은 기회일 것인지는 의문입니다.

실제로 그 숫자가 어떤 것인지부터 시작해야 합니다. 왜냐하면 헤드라인에서는 그 의미를 과장하고 있기 때문입니다. 75%와 87.5%라는 수치는 모델의 KV 캐시에 적용되는 것이며, 일반적인 데이터센터 내의 메모리에는 적용되지 않습니다. KV 캐시는 AI가 사용하는 작업 공간으로, 이미 읽은 대화, 문서, 코드 등의 정보를 저장하는 곳입니다. AI는 이 정보들을 반복적으로 참조할 수 있어야 하므로, KV 캐시는 항상 사용 가능한 상태여야 합니다. DeepSeek은 새로운 V4.1-Flash 버전을 통해 그 글로벌 캐시 크기를 줄였다고 합니다.토큰당 890바이트이는 이전의 V4-Flash에 비해 3,514개, V3.2에 비해서는 48,068개에 해당합니다. 그 결과, HBM을 사용하는 슬라이스는 전체의 1/4에 불과하며, 지속적으로 사용되는 SSD 슬라이스는 약 1/8 정도입니다.

그것은 진정한 공학적 성과이며, 1년 전에 우리가 지적했던 트렌드와도 일치합니다.메모리는 컴퓨팅과 분리되고 있습니다.비싼 HBM에서 데이터가 새어 나오는 문제가 있었습니다. 주목할 점은 이번 업그레이드에서 어떤 변화가 있었는지입니다. 단순히 캐시 메모리를 더 저렴한 SSD로 옮기는 것만이 아니라, DeepSeek는 두 가지 레벨 모두의 캐시 메모리를 동시에 줄였습니다. 이는 새로운 비대칭 인코더-디코더 아키텍처를 사용하는 방식입니다.5520억 개의 파라미터가 있지만, 각 입력 토큰당 활성화되는 파라미터는 80억 개에 불과합니다.그리고 160억 개의 출력이 있지만, 관련된 위치는 몇 백 개에 불과하므로 주목도가 낮습니다.전체 캐시의 4비트 양자화.

주목할 만한 점은, SSD를 활용함으로써 얻는 이점이 순수한 효율성에 의한 것이 아니라, 어느 정도의 추정치에 불과하다는 것입니다. DeepSeek는 짧은 시간 동안 생성된 컨텍스트 데이터를 저장소에 저장하는 것을 중단했으며, 그러한 데이터가 없을 경우에는 다시 그 데이터를 재생산합니다.최신 128개 토큰만 다시 재생하기– 이 보고서에 따르면, 의도적으로 기억력을 이용하는 방식은 극한 상황에서의 능력 저하를 초래할 수 있다고 합니다. 또한 아직 독립적인 검증도 이루어지지 않았습니다. 하드 에이전트의 경우에 대한 제3자 기준도 없습니다.토큰당 비용이나 지연 시간에 대한 정보는 공개되지 않았습니다.토큰당 바이트 수는 규격일 뿐, 실제적인 경제적 결과는 아닙니다.

메모리 요구량에 대한 올바른 수치는 무엇인가요? HBM이 75% 감소하는 것인지, 아니면 거의 감소하지 않는 것인지?

이를 결정하는 기준은 KV 캐시가 무엇인지, 그리고 메모리 판매량이 어떻게 변했는지입니다. 캐시는 이러한 모델들을 처리하는 데 필요한 메모리의 일부에 불과합니다. 나머지 부분들, 즉 이런 규모의 모델을 실행하기 위해 HBM에 저장되어야 하는 수백 기가바이트의 데이터, 그 모델을 훈련시키는 데 필요한 클러스터들, 그리고 인프레인션이 얼마나 증가했는지 등은 이 업데이트로 인해 변하지 않습니다. 스크래치패드 용량이 75% 감소했다고 해도, HBM의 판매량이 75% 감소한 것은 아니며, 누구도 전체 메모리 요구량이 그만큼 줄었다고 주장하지 않습니다. 이것이 바로 헤드라인에 나타난 정보를 수정하는 가장 중요한 점입니다.

두 번째는 효율성이 작용하는 방향입니다. 가격 정책 측면에서 볼 때, DeepSeek의 조치는 AI 에이전트를 실행시키고 장기간에 걸쳐 그 컨텍스트를 재사용하는 비용을 낮춥니다. 더 저렴한 인фер링 비용은 역사적으로 전체 컴퓨팅 및 메모리 소비량을 증가시키는 요인이며, 감소시키는 요인은 아닙니다. 만약 에이전트와 사용자의 수가 각각 필요한 메모리 용량보다 빠르게 증가한다면, 모델의 크기가 줄어들어도 전체 메모리 요구량은 증가합니다. 이것이 바로 ‘곰 사례’가 극복해야 하는 문제입니다. 그리고 보고서의 계산 결과도 이 점을 인정합니다.8배 작다고 해서 8배 저렴한 것은 아닙니다.일단 계산, 네트워크, 그리고 하드웨어 부담을 고려해 보세요.

이런 상황이 주식 가격 하락을 잘못된 것으로 만드는 것은 아닙니다. 오히려 이는 해당 주식들이 얼마나 높은 가격에 평가되었는지를 반영하는 것입니다. 마이크론의 경우, 지난 한 해 동안 약 240% 상승했으며, 매출도 거의 3배 증가했습니다. 영업이익률은 70% 이상이며, 운영이익률은 66%에 달합니다. 샌디스크의 경우도 지난 한 해 동안 약 600% 상승했으며, 두 회사의 주식 가격은 각각 지난 12개월간의 매출액에 비해 약 12배에 달합니다. 주식이 그렇게 크게 움직인 경우, 그 주식의 가치는 오늘날의 경제 상황에 의존하지 않고, 다음 분기의 성장 가능성에 의존하게 됩니다. 바로 이 점이, 검증되지 않은 효율성 주장이 문제가 되는 이유입니다.

“메모리가 무엇을 의미하는가”에 대한 정직한 답변은 헤드라인보다 좁고, 공포심보다는 넓다. 이는 수요 감소를 증명하지는 않는다. 가격 하락은 단일 비용 라인의 일부에만 영향을 미치며, 그 중 일부는 추정된 값일 뿐이다. 또한 더 저렴한 에이전트들이 더 많은 에이전트를 생성하는 경향이 있다. 하지만 이는 현재 이러한 평가가 기반하고 있는 요소들, 즉 정보 단위당 소비되는 메모리의 양이 더 이상 한 방향으로만 진행되지 않는다는 것을 보여준다. 해결책은 항상 메모리와 관련된 곳에서 나타날 것이다. 즉, 효율성을 중시하는 에이전트의 수가 점점 줄어드는 상황에서 어떻게 되는지를 보는 것이다. 그 수치를 측정할 때까지는 75%라는 수치를 단순히 기대치를 재평가한 결과로 여기고, 산업에서 사라진 바이트의 수로 간주하지 말아야 한다.