머스크, AI 학습을 C언어로…구글 JAX보다 10배 빨라졌대요

작성자:

스페이스X와 xAI가 22만 개 GPU 클러스터를 구동할 AI 학습 스택을 파이썬과 구글 JAX에서 C언어 기반의 베어메탈(bare-metal) 구조로 전면 교체했다. 이 전환으로 기존 대비 최대 10배의 학습 속도 향상을 달성한 것으로 알려졌다.

이번 결정은 일론 머스크가 직접 주도한 것으로 전해진다. 머스크는 xAI의 그록(Grok) 모델 학습을 위해 맴피스에 구축한 ‘콜로서스(Colossus)’ 데이터센터에서 막대한 규모의 GPU 자원을 운용 중이다. 기존 JAX 기반 스택은 파이썬 레이어의 오버헤드와 가비지 컬렉션 지연으로 인해 이 정도 규모에서는 병목이 심해졌다는 것이 내부 판단이었다.

새로 구축된 C 기반 스택은 운영체제 수준에서 GPU와 직접 통신하며, 메모리 할당과 커널 실행을 개발자가 정밀하게 제어할 수 있도록 설계됐다. 구글의 JAX가 제공하는 자동 미분과 JIT 컴파일 같은 고급 추상화를 포기하는 대신, 수십만 GPU 규모에서의 확장성과 처리량(throughput)을 극대화하는 데 초점을 맞췄다.

“추상화는 편리하지만, 규모가 커질수록 비용이 된다” — 스페이스X 엔지니어링팀 내부 설명

업계 반응은 엇갈린다. 메타와 오픈AI가 파이토치 기반으로 대규모 클러스터를 운용하는 가운데, C언어로의 회귀는 시대착오적이라는 시각도 있다. 하지만 반도체 업계 관계자들은 “엔비디아의 CUDA조차 내부적으로는 C 기반”이라며 “머스크의 결정은 극단적이지만 물리적 한계에 도달한 AI 인프라의 자연스러운 진화”라고 평가한다.

이번 전환의 파급력은 기술적 측면을 넘어 산업 구도에도 영향을 미칠 전망이다. 구글은 JAX를 자사 TPU와 긴밀히 통합하며 클라우드 AI 시장의 차별화 포인트로 삼아 왔다. 스페이스X가 JAX를 포기하고 자체 스택으로 독립했다는 것은, AI 인프라에서도 머스크 특유의 ‘수직 계열화’ 전략이 관철되고 있음을 보여준다.

업계 관점으로는 이번 결정이 단순한 엔지니어링 선택이 아니라, 범용 클라우드 의존에서 벗어나려는 머스크 생태계의 독립 선언에 가깝다고 본다. 22만 GPU를 효율적으로 돌리기 위한 선택이, 결국 AI 인프라 패러다임 자체에 균열을 내는 계기가 될지 지켜볼 만하다.