이번 주 초 마이크로소프트 365 코파일럿이 사용자 받은편지함의 비밀번호를 빼돌리는 공격에 노출됐다는 보고가 나온 지 사흘 만에, 이번에는 일론 머스크의 그록(Grok)이 같은 계열의 공격에 뚫렸다. 두 사고는 모두 방어 장치가 텍스트만 읽을 줄 알지, 그 텍스트가 풀어낼 실행 결과는 들여다보지 못한다는 한계에서 비롯됐다.
암호문 한 줄로 안전 장치 우회
미국 IT 매체 아스테크니카(Ars Technica)는 20일(현지시간) 보안 업체 애드버사(Adversa)의 연구원 로니 우테브스키(Rony Utevsky)가 그록의 안전 장치를 우회하는 ‘암호화 컨텍스트 인젝션(Cryptographic Context Injection)’ 공격을 고안했다고 보도했다. 방식은 단순하다. 공격자는 악성 지시문을 평문이 아니라 암호문으로 웹페이지에 심고, 그 옆에 복호화 지시와 암호 키를 평문으로 함께 올려둔다. 사용자가 그록에게 해당 페이지를 요약하라고 시키면, 그록은 아무런 경고나 확인 절차 없이 암호를 풀어 지시를 그대로 따른다.
가짜 키에 실려 나가는 개인정보
복호화된 지시는 그록에게 ‘가짜 복호화 키’를 만들도록 유도한다. 그 값의 정체는 사용자의 이름·위치·채팅 기록이다. 이 값은 공격자 서버로 향하는 URL의 매개변수에 실려 밖으로 빠져나간다. 우테브스키는 “정적 안전 장치는 입력을 텍스트로 분류할 뿐 실행하지 않는다”고 설명했다. 그록의 필터가 PBKDF2와 AES-256-GCM 같은 암호 해독을 수행하지 못하기 때문에, 스캐너가 보는 것은 의미 없는 암호문일 뿐이라는 얘기다. xAI는 지난 6월 이 문제를 통보받고도 기사가 나간 시점까지 패치하지 못했다.
제미나이 탈옥으로 이어진 같은 벡터
같은 팀은 이 기법을 구글의 제미나이 탈옥에도 활용했다. 복호화 결과가 오류 메시지로 위장돼 ‘코드가 실패하면 에러를 읽고 그대로 따르라’는 규칙을 주입했고, 제미나이는 안전 규칙을 위반한 내용을 출력했다. 애드버사는 최근 제미나이가 이 공격에 점점 저항하는 모습을 보인다고 덧붙였다. 다만 애드버사는 탈옥이 구글의 취약점 신고 프로그램 범위 밖이라는 이유로 이 문제를 구글에 보고하지 않았다고 밝혔다.
‘입력’을 넘어 ‘컨텍스트’로 넓어진 공격 표면
아스테크니카는 LLM이 프롬프트 인젝션의 근본 원인을 스스로 해결할 수 없다는 점이 두 사고의 공통된 교훈이라고 짚었다. 방어자가 매번 일회성 가드레일을 세우면 공격자가 새 우회로를 찾는 ‘고양이와 쥐’ 구도가 반복된다는 것이다. 애드버사는 이 공격을 두고 프롬프트뿐 아니라 툴 출력·런타임 결과·중간 상태까지 LLM이 자기 것으로 간주하는 더 넓은 컨텍스트를 노리는 공격의 한 사례라고 규정했다. 이 공격 표면은 기존의 ‘모델 입력’보다 훨씬 넓고, 차세대 공격이 여기서 나올 것이라는 전망이다.
이번 사건이 던지는 신호는 분명합니다. 그록과 코파일럿이 같은 주에 연달아 뚫린 것은, 개별 벤더가 하나씩 쌓아 올리는 정적 가드레일로는 LLM의 구조적 취약점을 막을 수 없다는 사실을 재확인한 셈입니다. 앞으로의 관전 포인트는 xAI가 언제 패치를 내놓는지가 아니라, 암호문을 풀어내는 실행 단계까지 감시하는 동적 방어로 패러다임이 옮겨갈 수 있느냐입니다. 기업 고객과 규제 당국이 LLM 도입의 전제로 삼는 안전성 기준 자체가 다시 쓰일 가능성이 큽니다.
- 원문: Ars Technica — Grok exfiltrates user data when malicious instructions are encrypted
- 작성: sw4u 8시뉴스 일관평 / 2026-08-21 08:19