AI Boom은 거의 사용하지 않는 용량을 팔고 있습니다. Stacklet의 새로운 “벤치마크” 모델은 그냥 청소 작업을 처리하기 위한 첫 번째 제품일 뿐입니다.

9월 10일, 스택렛이라는 클라우드 거버넌스 스타트업이 “클라우드 AI FinOps 벤치마크“이는 테스트된 제어 방식들의 집합입니다. 이를 통해 GPU와 AI 모델 인프라에서 발생하는 낭비를 발견하고, 해결하며, 예방할 수 있습니다. 하지만 이것은 마케팅 자산일 뿐, 제품이 아닙니다. 출판하는 것이 아니라 판매하는 벤치마크 지표는 오히려 포지셔닝 문서에 불과합니다. 진정으로 흥미로운 점은 스택렛이 이를 판매할 시장이 있다고 생각한다는 것입니다. 왜냐하면 그 판매는 AI 산업에서 거의 관심을 갖지 않는 수치에 기반을 두고 있기 때문입니다.”

Stacklet은 Cloud Custodian의 상업적 부서입니다. Cloud Custodian은 클라우드 규칙을 코드로 적용하는 오픈소스 정책 엔진입니다. 그들의 주장에 따르면, 현재 AI 워크로드는…기업 클라우드 환경에서 가장 빠르게 확장되는 거버넌스 격차입니다.이것이 바로 그 간극이 실제적이고 측정 가능한 이유이며, 스택렛이 아닌 기업의 투자자들에게도 중요한 이유입니다.

판매되는 제품은 실제 문제가 되는 것입니다.

핵심 문제는 인공지능 개발과 관련된 가장 이상한 점입니다. 업계는 엄청난 금액을 그 자원에 투자하지만, 그 자원은 대부분 사용되지 않고 방치됩니다. 캐스트 AI의 2026년 조사 결과에 따르면 생산 데이터가 매우 적습니다.기업용 Kubernetes 클러스터 전체에서의 평균 GPU 활용률은 대략…5%설문조사의 대상 집단을 고려하지 않더라도, 그것은 반올림 오류가 아닙니다. 그건 30,000달러 이상의 가속기들이 몇 퍼센트만 사용되는 상황입니다. 더 넓은 클라우드 환경에서도 마찬가지입니다. 산업 분야의 추적 시스템도 마찬가지입니다.2019년 이후 매년 27-32%가 클라우드 비용으로 사용되고 있으며, 가트너에 따르면 2025년 클라우드 시장의 규모는 6750억 달러가 넘을 것으로 예상됩니다..

이런 인센티브들이 바로 그런 행동을 유발합니다. 이러한 장비를 예약하는 초대형 기업들 말입니다.2026년의 투자 비용은 약 6000억 달러에 달하며, 그 중 약 75%가 인공지능 관련 투자입니다.– 용량을 통해 승리를 거두는 것이죠. 임차인이 그 용량을 사용하든 안 하든 말이에요. 임차인들은 다음 가격 조정 때 그 GPU를 갖지 못할까 봐, 그 GPU들을 아껴두고 방치해 버리죠.순서대로 따라가는 사람들 중에는 기계가 어두운 것을 알아차리는 사람은 아무도 없으니, 그래서 아무도 눈치채지 못한다.

그것이 바로 빅뷰 스택레트가 채워지는 과정이며, 그 자체의 예시들도 해당 폐기물이 얼마나 기계적인지를 보여줍니다. VRAM에 너무 많은 데이터가 할당된 경우를 방지하는 정책도 있습니다.월 100,000달러의 지출에서 약 10,000달러를 절약할 수 있습니다. 회사에 따르면, 두 개의 GPU를 사용하는 방식을 채택하면 GPU 비용을 약 20% 줄일 수 있으며, 낮은 활용도의 작업에서는 H100 두 개를 하나로 줄여서 사용하면 비용을 절반으로 줄일 수 있습니다.그 공급업체의 비율을 신뢰하든 안 하든, 그 방향은 분명하고, 그 메커니즘도 간단합니다. 즉, 두려움에 의해 가동되지 않는 하드웨어가 존재하며, 그 가동되지 않는 부분에 대해 책임을 지는 사람이 아무도 없습니다.

왜 그 간격이 더 이상 무시할 수 없게 되는 걸까?

GPU의 낭비를 방지하는 요소들이 이제 그에 맞서 작용하고 있습니다. 전통적인 FinOps 방식은 연간 구매 프로세스와 재무팀이 비용을 관리하는 방식을 따릅니다. 반면 AI 인퍼런스 방식은 지출이 토큰당, 분당 측정되며, 개발자와 데이터 과학자들이 결정합니다. 재무팀은 이러한 변화를 전혀 알 수 없으며, 단 2주 만에 큰 변화가 일어날 수도 있습니다. 정적인 예산 체계로는 이를 따라잡을 수 없으며, 잘못된 GPU 설정이나 과도한 모델 실행으로 인해 발생하는 문제의 범위는 수동적인 운영팀이 대응하기에는 너무 빠릅니다.

이곳에서 “벤치마크”가 중요한 역할을 합니다. 6월에도 스택렛은 AI-FinOps 측정 체계를 마련하여, GPU 관리를 위한 “적절한 방식”을 정의하고, 향후 2~3년 동안의 구매 결정에 영향을 미칠 수 있는 기준을 설정했습니다. 소수의 FinOps-AI 전문가들도 이에 동의하고 있습니다. 즉, AI 관련 비용이 단순한 실험이 아니라 실제 예산으로 자리잡게 되면서, 관리 체계가 필수적이 되고 있다는 것입니다. 이 특정한 벤치마크가 과연 유효한지 여부는 별로 중요하지 않습니다. 표준이 만들어지고 있다는 사실 자체가 업계가 이 문제를 표준화하는 것이 필요하다고 판단했다는 증거입니다.

투자자에게 의미하는 바

소매 투자자는 스택릿을 구매하기 위해 스프레드시트를 찾아서는 안 됩니다. 그 회사는 사기업입니다.2020년에 클라우드 커스토이던의 창작자들이 설립했습니다.그로 인해 문제가 생겼습니다.1800만 달러의 시리즈 A 투자그리고 하나1,450만 달러의 시리즈 B 투자공개 주식도 없고, 보고된 수익도 없으며, 그 회사의 가치 평가는 단지 벤처 자금 제공자들의 생각 속에만 존재할 뿐입니다. 직접 구매할 수 있는 것도 아무것도 없습니다. 스택렛을 통해 “AI-FinOps에 대한 투자 기회”를 팔는 사람들은 사실상 마케팅 상품만을 판매하는 것입니다.

투자할 수 있는 정보란, 그 공지가 존재한다는 사실이 당신이 알고 있는 회사들에 대해 확인해주는 정보입니다.할 수 있음GPU 설비가 성능을 발휘한다는 가정은 매우 위험한 전제입니다. 실제로는 그렇지 않다는 것이 데이터에 나타납니다. 따라서 청소 작업을 수익화하기 위한 관리 도구 산업이 형성되고 있습니다. 이는 두 가지 문제를 야기합니다. 대규모 클라우드 서비스 제공업체와 설비 공급업체에게는 그다지 큰 문제가 되지 않습니다. 그들은 실리콘을 임대하므로, 낭비는 그들의 문제가 아니라 임차인의 문제입니다. 진짜 문제는 비용을 지불하는 사람들과, 그 비용이 수익으로 전환된다고 가정하는 논리입니다. 즉, 현금을 소비하는 AI 기업들과, 몇 퍼센트만의 사용률로도 성공할 수 있는 투자 논리의 지속 가능성입니다.

만약 하나의 변수를 고려하고 싶다면, 바로 이 변수를 고려해야 합니다. 그것은 투자 비용이 아니라, 활용률입니다. 활용률이 점차 증가하는 경우라면 그 사업은 경제적으로 타당한 것입니다. 반대로, 용량이 계속 낮은 상태로 유지되는 경우라면, 그 사업에 투입된 돈은 어딘가에 기록되어야 합니다. “기준점”은 단지 소음일 뿐입니다. 5%라는 수치가 바로 신호이며, 그래서 스타트업들은 빈 GPU를 판매하는 것이 사업이라고 생각하는 것입니다.