2026년 6월 8일 오후, 펜실베이니아주 벅스카운티 지방검찰청의 브리핑룸. 수사관들이 익숙한 패턴으로 증거 자료를 나열하는 가운데, 한 가지 낯선 항목이 섞여 있었다. AI 챗봇 ‘Grok’이 생성한 이미지 30여 장이다. 피의자는 펜실베이니아주에 거주하는 한 남성으로, X(옛 트위터)의 Grok 챗봇을 이용해 아동 성 착취물(CSAM)을 대량 제작한 혐의로 체포됐다. 주류 AI 챗봇이 아동 포르노 제작 도구로 악용돼 형사 기소로 이어진 사례는 이번이 사실상 처음이다.
벅스카운티 지방검찰청은 6월 9일 공식 발표를 통해 Grok을 이용한 AI 생성 CSAM 제작 사건으로 피의자 1명을 체포했다고 밝혔다. CBS뉴스와 필라델피아 인콰이어러 등 현지 매체들도 이를 긴급 보도했다. 수사 당국에 따르면 피의자는 Grok에 반복적으로 프롬프트를 입력해 아동 성 착취 이미지 30장 이상을 생성했으며, 이 이미지들은 X 플랫폼을 통해 유통된 정황도 일부 포착됐다.
이 사건은 지난 2월 Grok의 이미지 생성 기능이 대폭 강화된 이후 꾸준히 제기되던 안전성 우려가 현실화한 것이다. Grok은 출시 초기부터 ‘검열 없는 AI’를 표방하며 경쟁사 대비 느슨한 콘텐츠 필터를 적용해 왔다. 오픈AI의 달리(DALL-E)나 구글의 이마젠(Imagen)이 아동 관련 이미지 생성 자체를 원천 차단하는 반면, Grok은 상대적으로 약한 가드레일만을 적용했다는 비판을 받아 왔다. AOL은 지난 2월 ‘Grok의 포르노 피벗’이라는 제목의 심층 기사에서 Grok의 이미지 생성 정책이 경쟁사보다 현저히 느슨하다고 보도한 바 있다.
벅스카운티 검찰은 이번 사건의 구체적인 기소 내용과 피의자 신원을 추후 공개할 예정이다. 검찰은 피의자가 생성한 이미지의 상당수가 사실적인 수준의 ‘딥페이크 CSAM’에 해당한다고 판단하고 있으며, 기존 아동 포르노 관련 주법과 연방법을 동시에 적용할 방침이다. 펜실베이니아주는 2024년 AI 생성 CSAM을 명시적으로 금지하는 법안을 통과시킨 바 있어 기소의 법적 근거는 비교적 탄탄한 편이다.
연방 차원에서도 AI 생성 CSAM에 대한 법적 공백을 메우기 위한 입법 움직임이 가속화될 전망이다. 현재 미국 연방법은 실존 아동이 포함되지 않은 AI 생성 이미지에 대한 규제가 모호한 상태로, 지난해 대법원이 이 문제를 일부 다루었지만 명확한 판례는 아직 정립되지 않았다. 국가실종착취아동센터(NCMEC)는 2025년 한 해에만 AI 생성 CSAM 신고가 300% 가까이 급증했다고 보고한 바 있어 입법 필요성에 대한 초당적 공감대는 이미 형성돼 있다.
xAI 측은 이번 사건에 대한 공식 입장을 아직 내놓지 않았다. 다만 머스크가 지난 3월 “Grok의 이미지 생성은 안전장치가 충분하다”고 주장한 바 있어 이번 사건의 파장은 단순한 개인 범죄를 넘어 xAI의 콘텐츠 정책 전반에 대한 검증 요구로 이어질 가능성이 크다.
AI 이미지 생성 기술의 발전 속도에 비해 플랫폼의 안전장치는 한 발짝씩 뒤처지는 패턴이 반복되고 있다. 이번 벅스카운티 사건은 그 격차가 형사 사법 시스템과 처음으로 충돌한 지점이다. 업계 관점으로는, ‘반검열’을 마케팅 포인트로 내세운 Grok의 포지셔닝이 이번 사건을 계기로 근본적인 재검토를 피하기 어려울 것이라는 전망이 우세하다.