MoE

30억만 깨워서 350억을 이겼어요 지난 8월 ‘솔라 프로 4’로 글로벌 API 시장의 문을 두드린 지 두 달. 업스테이지가 10월 1일, 그 짝이 되는 경량 모델을 꺼내 들었어요. 회사가 공개한 경량언어모델(SLM) ‘솔라 미니 4’는 전체 350억 개 매개변수를 갖췄지만, 실제 추론에서는 30억 개만 선택적으로 깨워 쓰는 구조를 택했습니다. 비결은 전문가혼합(MoE) 구조예요. 모델 안에 여러 개의 전문가 … 더 읽기