키미 K3 Hit이 GPU 월을 넘어섰다. 왜 엔비디아와 마이크로소프트가 여전히 AI 병목 현상을 극복하고 있을까?

문섹쇼의 공급 능력이 제한되면서, 수요가 공급을 앞지르고 있습니다.

문섹셔트새로운 구독을 중단했습니다.기존 사용자를 보호하면서 동시에 인프라를 확장하는 것이 중요합니다. 이는 두 일 동안의 과도한 사용으로 인해 GPU가 전체 용량에 가까워진 후에 발생한 현상이기 때문입니다. 이는 수요가 감소하는 현상이라기보다는, 출시 단계에서 공급이 제한되는 상황처럼 보입니다.

문제는 관심이 아니라 컴퓨팅 능력이었습니다.

Kimi K3는 특정 분야를 위한 연구실에서 만들어진 제품이 아닙니다.2.8조 개의 파라미터를 가진 대규모 언어 모델그리고 무oons쇼는 그것이 그렇게 보인다고 말했습니다.경계선 수준의 성능그런 모델이 그렇게 빠르게 많은 주목을 받는다는 것은, 단순히 ‘능력 있는 추론이 필요하다는 요구가 강하다’는 것을 의미합니다. 그리고 사용 가능한 컴퓨팅 자원이 그 문제를 해결하는 데 있어서 중요한 장애물이 됩니다.

왜 그로 인해 인텔과 마이크로소프트가 유리해질 수 있는지

그런 상황은 이해할 수 있습니다. 만약 유능한 모델들이 더 쉽게 구할 수 있게 되면, 가격 결정권에 대한 압력이 생길 수 있습니다. Moonshot의 K3도 마찬가지입니다.1백만 개의 캐싱된 입력 토큰당 30센트의 가격으로 판매됩니다.이는 경쟁적인 가격 정책이 점점 더 중요해지고 있음을 보여줍니다.

하지만 1차적인 효과는 여전히 상위 단계로 전달됩니다. 성공적인 모델이 GPU의 용량을 완전히 활용하기 전에 과부하가 발생하면, 그 혜택은 칩, 클러스터, 클라우드 플랫폼을 제공하는 기업들에게 돌아갑니다. 더 나은 모델들은 토큰당 가격을 낮추면서도 토큰 수요를 증가시킬 수 있습니다. 엔비디아와 마이크로소프트에게는 이는 긍정적인 상황입니다. 즉, 더 많은 모델 기능, 더 많은 도입, 그리고 더 많은 인프라 사용이 가능해집니다.

열린 가중치 방식의 진전은 인식 시장을 확대시킬 수 있으며, 축소시키지는 못한다.

만약 용량이 부담스러운 요소라면, 다음으로 중요한 질문은 개방형 모델이 발전함에 따라 가치가 어디에 위치하는가 하는 것입니다.

더 나은 모델들은 더 많은 사용을 유도할 수 있으며, 단순히 더 저렴한 토큰만을 생성하는 것이 아닙니다.

가장 쉽지만 가장 오해의 소지가 있는 해석은, 더 저렴한 토큰이 곧 더 적은 비즈니스 기회를 의미한다는 것입니다. 더 올바른 해석은, 더 강력한 모델들이 실제 업무 환경에서 유용하게 활용될 수 있어서 도입이 확대된다는 것입니다.

문섬은 이미 접근 권한을 세분화하기 시작했습니다.키미 웹, 앱, 워크또한 별도의 키미 코드 멤버십도 필요합니다. 이는 사용 방식이 단일 도구로 통합되는 것이 아니라, 작업 흐름에 따라 분리된다는 것을 의미합니다. K3는 또한…100만 토큰 규모의 컨텍스트 윈도우또한, 고급적인 추론 능력, 장기적 관점의 코딩 기술, 그리고 지식 기반의 작업 수행 능력도 필요합니다. 사용자들은 단순한 데모 형태의 요구사항보다는 더 길고 복잡한 작업을 요청하고 있습니다.

왜 호스팅 품질이 여전히 높은 가격을 받을 수 있는가?

개방형 웹은 신뢰할 수 있는 인프라가 필요하지 않다는 것을 의미합니다. 모델은 자유롭게 사용될 수 있지만, 기업들은 여전히 낮은 지연 시간, 일관된 처리 속도, 안전한 제어 기능, 도구의 통합성, 그리고 배포의 안정성 등을 위해 비용을 지불해야 합니다. Moonshot은 회원 구성을 통해 리소스를 더 효율적으로 할당할 수 있다고 말했습니다. 즉, 작업량이 많아질수록 서비스의 품질이 더 중요해진다는 것입니다.

백만 개의 토큰에 달하는 컨텍스트 윈도우는, 시스템이 긴 문서나 코드베이스, 여러 단계로 구성된 워크플로우를 처리할 수 있을 때만 도움이 됩니다. 또한 코딩 및 워크플로우의 사용은 일반적인 채팅보다 더 많은 인프라 리소스를 필요로 합니다. 따라서 ‘오픈-웨이트 웨이브’는 자동으로 경제적 측면을 평준화시키는 것이 아니라, 경쟁을 배포 품질, 거버넌스, 통합 측면으로 이동시킵니다.

그 ‘썩은 상태’는 겉보기보다 훨씬 심각합니다.

비관적인 시각은 낮은 단계에서 가장 강해집니다. 만약 어떤 모델이 그저 괜찮은 수준에 불과하며, 정확성이나 신뢰성 측면에서 특별한 장점이 없다면, 그러한 모델들은 시간이 지나면서 일반화된 형태로 전환될 수 있습니다.

하지만 그건 K3의 명확한 해석이 아닙니다. Moonshot은 이 모델이 보여주는 것을 다음과 같다고 말했습니다.우리의 평가 도구들에서 나타나는 최전선 수준의 성능외부 평가 결과에 따르면, 이 제품도 주요 모델들과 비교해 경쟁력이 있다고 합니다. 하지만 오픈 모델이 이 격차를 줄인다면, 단기적으로는 더 많은 사용자들이 클라우드나 인프라 중심의 시스템을 사용할 가능성이 높아집니다. 이는 여전히 클라우드 및 가속기 솔루션 제조업체들에게 유리한 상황입니다.