업스테이지 “GPU 100장으로 400장 효과” 승부수

2022년 말 챗GPT가 등장했을 때 업스테이지가 보유한 그래픽처리장치(GPU)는 30장 남짓이었습니다. 같은 시기 글로벌 선두 기업들은 이미 수천에서 1만 장 단위의 연산 자원을 굴리고 있었죠. 이 격차를 정면으로 메우겠다는 건 처음부터 불가능에 가까운 승부였습니다.

그래서 업스테이지가 택한 건 ‘같은 자원으로 더 멀리 가기’였어요. 김성훈 업스테이지 대표는 지난 18일 서울 강남구 채널코퍼레이션 오피스에서 열린 ‘AI 프로덕트 프론티어스’ 패널 토론에서 이 전략을 숫자로 설명했습니다. “GPU 100장으로 400장을 가진 것 같은 효과를 내는 겁니다”라는 발언이 그 자리에서 나왔어요.

업스테이지 GPU 효율 전략

김 대표가 근거로 든 건 학습 효율 기술입니다. 기존 모델의 학습된 레이어를 재활용해 더 큰 모델을 만드는 ‘뎁스업 스케일링(Depth-up Scaling)’ 기법으로 기존 대비 약 30% 수준의 GPU 자원으로 같은 일을 해냈다고 설명했어요. 최근에는 서로 다른 아키텍처 사이에서도 학습 결과를 옮겨 심는 방법을 개발해 내부적으로 ‘뇌 이식’이라고 부른다고 합니다. 이미 배운 지식을 새 구조에 그대로 넘겨주는 방식이죠. 이를 통해 토큰 효율을 4배 이상 끌어올렸다는 게 회사 설명입니다.

같은 패널에 선 전병곤 프렌들리AI 대표는 다른 각도에서 같은 결론에 닿았습니다. 그는 “하드웨어 바로 위의 GPU 커널 수준부터 전체 인프라 스택을 최적화하고 있다”며 “기술 스펙만 보면 프런티어라고 생각하지만 부족한 것은 스케일”이라고 말했어요. 모델이 자주 바뀌는 만큼 특정 모델보다 리니어 어텐션, 스파스 어텐션처럼 연산량을 줄이는 아키텍처의 방향을 예측하는 데 무게를 둔다는 겁니다.

애플리케이션을 만드는 쪽의 계산법도 달랐습니다. 최시원 채널코퍼레이션 대표는 고객 상담 한 건에 드는 비용이 미국은 약 9000원, 한국은 약 2000원 수준이라고 비교하며 “미국 솔루션이 한국에 오면 수지타산이 맞지 않는 경우가 있다”고 짚었어요. 한국에서 낮은 비용 구조로 살아남은 제품이 해외에서는 오히려 경쟁력이 된다는 논리입니다. 김 대표도 국내 보험·금융 시장에서 삼성, 한화 같은 대기업 프로젝트를 수행한 경험이 미국 시장 진입에 실제로 도움이 된다고 했습니다.

배경에는 정부 사업도 있습니다. 업스테이지는 독자 AI 파운데이션 모델(독파모) 프로젝트 3단계에 진출해 최종 2팀 선정을 기다리고 있고, SK텔레콤과는 사이버보안 특화 AI 모델 개발을 함께 추진 중이에요. 연산 자원이 절대적으로 부족한 환경에서 정부 사업과 대기업 협력을 동시에 챙기는 그림입니다.

이게 우리 업계에 뭐가 의미 있냐면요, 모델 성능 경쟁이 ‘GPU 몇 장을 가졌느냐’에서 ‘그 GPU로 얼마나 잘 학습하느냐’로 판이 옮겨가고 있다는 뜻입니다. 국내 기업 입장에서는 자본으로 밀어붙이는 정면승부 대신 효율이라는 변수로 승부할 여지가 생기는 셈이죠. 실제로 김 대표는 “올겨울 또는 내년 봄 정도에는 딥시크 이상의 수준이라는 평가를 한국에서도 받을 수 있기를 기대한다”고 말했습니다.

관전 포인트는 두 가지입니다. 독파모 3단계 평가에서 업스테이지의 모델이 어떤 점수를 받는지, 그리고 ‘뇌 이식’ 같은 효율 기법이 실제 서비스 비용 절감으로 이어지는지예요. 효율은 발표 숫자보다 고객 청구서에서 검증되는 법이니까요.

이번 발표는 한국 AI의 승부처가 연산 자원의 양에서 활용 효율로 옮겨가고 있다는 신호로 읽혀요. 자원이 부족한 쪽이 먼저 효율을 고민하게 마련이고, 그 고민이 쌓이면 자원이 많은 쪽도 따라오기 어려운 운영 노하우가 됩니다. 대기업 레퍼런스와 낮은 비용 구조가 해외 시장에서 어떤 성적표로 돌아올지, 다음 모델 평가가 그 출발점이 될 거예요.


이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.