“CSAM 못 막아요” xAI 엔지니어들의 고백…Grok 월 100억 장 충격이네요

“현재 아키텍처로는 아동 성학대물(CSAM)을 기술적으로 차단할 방법이 없다.” xAI의 내부 엔지니어들이 경영진에 보낸 기술 검토 문서의 핵심 문장이다. 테크타임스가 26일(현지시각) 단독 입수한 이 문건에 따르면, xAI의 생성형 AI ‘Grok’에서 매월 생성되는 성인 콘텐츠는 100억 건을 돌파했으며, 이 중 상당수가 CSAM 필터를 우회하고 있는 것으로 드러났다.

xAI가 지난 2월 Grok의 콘텐츠 정책에서 성인 콘텐츠를 전면 허용한 지 불과 4개월 만에 터진 내부 폭로다. 당시 xAI는 “표현의 자유를 극대화한다”며 성인 이미지·텍스트 생성을 허용했고, CSAM만은 차단하겠다고 약속했다. 그러나 엔지니어들의 문건은 “Grok의 이미지 생성 파이프라인이 오픈소스 확산 모델을 기반으로 작동하기 때문에, 프롬프트 수준의 키워드 필터링으로는 교묘하게 우회하는 생성 요청을 막을 수 없다”고 지적했다.

더 큰 문제는 숫자다. 월 100억 건이라는 생성량은 인스타그램 전체 월간 업로드(약 35억 건)의 3배에 육박하는 규모다. xAI가 이 콘텐츠를 실시간 모니터링할 인력과 시스템을 갖추지 못했다는 점도 문건에 적시됐다. 현재 Grok 콘텐츠 모더레이션 팀은 약 50명 규모로 알려졌으며, 이는 메타가 페이스북·인스타그램 모더레이션에 투입하는 인력(1만 5천 명)의 0.3%에 불과하다.

이번 폭로는 xAI의 사업 모델에도 직접적 타격이 될 전망이다. Grok은 현재 엑스(X) 프리미엄 구독자에게 무료 제공되며, 기업용 API 판매를 준비 중이다. 그러나 CSAM 이슈는 광고주·기업 고객의 신뢰를 결정적으로 훼손하는 요인이다. 실제로 데이터사이언스 매체 렛츠데이터사이언스는 이날 “Grok의 트래픽 중 성인 콘텐츠가 차지하는 비중이 과반을 넘어섰으며, 전체 사용자 수는 오히려 감소 추세”라고 보도했다. xAI가 지난 4월 발표한 유료 구독자 수 800만 명 중 실제 AI 이미지 생성 목적의 사용자는 200만 명에 불과하다는 분석도 제기된다.

xAI 측은 아직 이번 문건 유출에 대한 공식 입장을 내놓지 않았다. 머스크는 과거 “Grok은 반(反)워크(anti-woke) AI”라고 수차례 강조해 왔으나, CSAM과 콘텐츠 안전성에 대해서는 구체적 언급을 피해왔다.

이번 사태가 단순한 콘텐츠 모더레이션 실패인지, 아니면 오픈소스 이미지 생성기를 기반으로 한 AI 서비스의 구조적 결함인지를 가르는 기준은 하나입니다. ‘월 100억 건’ 중 CSAM이 0.001%라고 해도 연간 1,200만 건입니다. 기존 소셜미디어라면 진작 서비스 폐쇄 수준의 수치입니다. 게다가 Grok의 이미지 생성 API는 오픈AI·구글과 달리 워터마크나 C2PA 메타데이터 삽입 기능조차 탑재되지 않은 상태입니다. 생성된 이미지가 어디로 유포되는지 추적할 방법이 전혀 없다는 뜻입니다. xAI가 이 문제를 해결하지 못한 채 Grok API를 기업에 판매한다면, 그건 단순한 평판 리스크가 아니라 법적 책임의 연쇄 폭발을 감수하는 셈입니다. 머스크가 말한 ‘최대한의 진실 추구 AI’가 최대한의 규제 폭탄이 되기까지, 이제 시간이 얼마 남지 않은 듯합니다.


이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.