캘리포니아는 AI로 생성된 CSAM을 오픈AI, 메타, 구글의 지속적인 비용으로 만들어버렸습니다.

2026년 1월 14일, 캘리포니아 주 법무장관은 엘론 머스크의 xAI를그록이 실제 사람들의 성적적인 이미지를 만들어내는 것을 막아야 합니다.2주 전에 시행된 “딥페이크” 관련 법률을 인용했습니다. 이 법에 따르면 위반 시 25,000달러의 벌금이 부과됩니다. 이는 캘리포니아가 조용히 구축해온 체제의 첫 번째 신호입니다. 즉, AI로 생성된 아동 성학대 자료를 단순한 관리 문제로 처리하는 것이 아니라, 모델을 만들고 호스팅하는 사람에게 부과되는 일종의 비용으로 간주되는 것입니다.

OpenAI, Meta, Google, 그리고 Anthropic의 투자자들에게는 이제 문제는 그들의 신뢰와 안전 관련 팀이 이 문제를 “처리할 수 있는지”가 아닙니다. 중요한 것은, 정부가 모니터링 문제를 반복적인 운영 비용이자, 각 모델이 생성하는 이미지마다 증가하는 부담으로 만들어버렸는지 여부입니다.

캘리포니아가 실제로 변화한 점들

캘리포니아의 방안은 세 가지 요소를 포함합니다. 2024년에 서명된 AB 1831입니다.AI로 생성된 CSAM의 생성, 소지 및 배포를 범죄화함AB 621은 2026년 1월부터 시행되며, 검찰은 “무분별하게” 비동의적인 음란한 Deepfake 콘텐츠의 배포를 조장하는 플랫폼과 AI 연구소에 소송을 제기할 수 있습니다. 법적으로는 최대 25만 달러까지의 손해배상을 요구할 수 있으며, 그 사람이 실제로 피해를 입었다는 증거가 필요하지 않습니다. xAI에 대한 처벌은 이 규정 하에서 처음으로 이루어진 사례입니다.

현재 가빈 뉴섬의 책상 위에는 세 번째 법안이 있습니다. AB 1946라는 이 법안은 9월 3일에 주지사에게 제출되었으며, CSAM의 법적 정의를 확장하여 포함시키는 내용을 담고 있습니다.“아동인 특정 인물에 대한 친밀한 묘사”그리고, 알려진 CSAM과의 해시 비교가 불가능한 경우에는 플랫폼이 실제 사람이 검토하는 방식으로 보고된 자료를 확인해야 합니다. 마지막 조항은 매우 복잡한 조건입니다. 즉, 자동화된 해시 비교로는 포착할 수 없는 콘텐츠에 대해서는 반드시 인간의 눈으로 검토해야 합니다. 그런 콘텐츠란 바로 AI로 생성되거나 조작된 이미지들인데, 이런 이미지들은 이전에 어떠한 기록도 없다는 것입니다.

문제는 바로 그 규모입니다. NCMEC의 사이버티클라인은 2023년에는 약 4,700건의 AI-CSAM 보고서가 있었다고 합니다.2025년 상반기에는 40만 명 이상이 될 예정입니다.인터넷 워치 재단은 그 수를 집계했습니다.2025년에 3,443개의 AI로 생성된 CSAM 동영상이 있었으며, 이는 26,385% 증가한 수치입니다.13번부터는 그 전해의 데이터를 찾을 수 있었습니다. 생성된 결과물의 양은 엄청나게 증가했으며, 그 뒤에 위치하는 리뷰 관련 부담도 함께 증가했습니다.

싼 가격에 팔려고 하지 않는 비용

돈이 유출되는 위치를 나타내는 지도가 있으며, 그 중 하나의 선이 두드러집니다. 탐지 엔지니어링 기술, 분류기, 이미지 출처 확인 도구, 해시 라이브러리 등은 일회성 비용으로 투자되지만, 결국 수익률은 점점 낮아집니다. 메타가 공개한 계획에 따르면…AI를 활용하여 콘텐츠 검토 프로세스의 90% 이상을 자동화합니다.이 줄은 아래로 밀려날 수 있습니다. 하지만 파이프라인의 나머지 부분은 함께 처리되지 않습니다.

유지되는 것은 인간의 검토와 법적 책임의 연관성입니다. AI-CSAM은 의도적으로 아마추어 실제 사진처럼 보이도록 설계되었으며, 범죄자들은 “AI”가 문제를 감지했다고 주장함으로써 처벌을 피하려 합니다. AB 1946호법에 따르면, 사람이 직접 검토해야 하는 것은 알고리즘으로는 해결할 수 없는 모호하고 위험한 경우들입니다. 그리고 처벌은 위반 행위에 따라 결정됩니다. 뉴멕시코의 배심원단도…2026년 3월에 3억 7천5백만 달러를 메타에 투자함소비자보호법에 따라, 위반 행위에 대해 최대 5,000달러의 벌금이 부과됩니다. 이는 검찰이 요구한 20억 달러에 비하면 아주 작은 금액에 불과합니다. 모든 잘못된 판단은 약간의 비용만을 발생시킵니다. 이러한 상황은 과실로 분류되며, 이는 소송 비용 및 보험료가 위험한 행위의 양에 따라 증가하는 것이지, 일정한 값으로 고정되는 것은 아닙니다.

네 회사들은 모두 같지 않습니다. 메타와 구글은 플랫폼 측의 영향력을 가지고 있습니다. 2026년 3월 한 주 동안 뉴멕시코에서는 메타에 대해 3억 7천5백만 달러의 손해배상을 요구하는 소송이 있었고, 캘리포니아에서는 6백만 달러의 손해배상 청구가 있었습니다. 또한 2,300건 이상의 아동 안전 관련 소송이 연방법원과 주 법무장관들에 의해 제기되었습니다. OpenAI와 Anthropic은 사적 기업이므로, 비용은 더 많은 안전 관련 투자로 나타나며, 이미지 모델의 출시가 지연되고, 결국 공개될 경우 수익성도 낮아집니다. xAI는 이미 생성형 연구의 패턴을 보여주고 있습니다. 즉, 학대 사진을 이용해 새로운 콘텐츠를 만든 사람들로부터의 소송들이 발생하고 있습니다.xAI와 Stability AI를 모두 포함하는 클래스 작업들이 모든 것들은 메타의 재무제표에 큰 영향을 미치지 않습니다. 메타의 3억 7천5백만 달러는 그 회사의 연간 이익에 비해 아주 작은 금액에 불과합니다. 하지만 이는 인공지능 사업과 관련된 지속적인, 성장하는 비용입니다. 모든 사람들이 이 분야의 미래를 믿고 투자하고 있습니다.

이론을 깨뜨릴 수 있는 신호들

이 관점에 대한 정직한 반론이 현재 진행 중입니다. 2026년 8월 말에,제7순회법원은 완전히 AI로 생성된 CSAM을 소지하는 것에 대해 판결을 내렸습니다.“실제로 존재하지 않는 아이의 이미지”는 현재 대법원의 판례에 따라 보호받는 표현입니다. 이로 인해 법원이 그 경계를 다시 검토해야 할 상황이 생깁니다. 만약 이러한 논리가 제작자나 호스팅 측을 보호하는 데 사용된다면, 준수의 부담과 소송의 위험도 줄어듭니다. 이것이 바로 이 문제에 대한 가장 강력한 반대 신호이며, 그래서 이는 주목해야 할 주제인 반면, 저평가할 수 있는 주장은 아닙니다.

같은 방식으로, 더 저렴한 세 가지 제품도 마찬가지입니다. 만약 신뢰할 수 있는 검출 방식이 점점 더 저렴해진다면, 메타의 자동화 전략이 성공하고, 인간의 검토 및 위반 사례가 줄어든다면, 이미 제기된 사건들을 넘어서 새로운 소송이 발생하지 않는다면, 혹은 법원이 플랫폼의 책임을 개인의 소유와 같은 방식으로 축소시킨다면, 그러한 비용도 줄어들 것입니다. 하지만 현재는 그 반대의 상황입니다. 집행이 빨라지고, 판결이 내려지고 있으며, 인간의 검토 요건도 법률에 명문화되고 있습니다.

투자자 관점에서 보면, 이는 단순한 위기 선언이 아니라, 정확한 한계선입니다. 캘리포니아는 AI로 생성된 CSAM을 사전에 정해진 의무가 아닌, 생성된 콘텐츠의 양에 따라 변동하는 비용으로 처리하고 있습니다. 즉, 가장 어려운 콘텐츠를 다루는 인력, 각각의 위반 행위에 따른 손해에 따른 법적 책임, 그리고 전체적인 보험료 등이 그 예입니다. 탐지 기술은 상품화될 수 있지만, 책임과 검토 과정은 그렇지 않습니다. 주정부의 판결과 다음 몇 가지 집행 명령이 나오기 전까지는, 그리고 무엇보다도 대법원이 제7순회법원의 요청을 받아들일지가 중요합니다. 그 한 건만으로도 지속 가능한 비용 구조와 그렇지 않은 구조가 결정됩니다.