27일 공개된 ‘라우터 아레나(RouterArena)’ 리더보드에서 ‘KT-모델라우터’라는 이름이 2위 자리에 올랐습니다. KT가 자체 개발한 AI 모델 라우팅 기술 ‘오토모델라우터(AutoModelRouter)’가 미국 라이스대학교 연구진이 만든 이 평가에서 정확도와 비용을 함께 보는 ‘Acc-Cost Arena’ 기준 종합 2위를 기록했다고 이날 밝혔어요. 같은 리더보드에는 마이크로소프트의 애저 모델 라우터 같은 상용 기술도 이름을 올리고 있습니다.
모델을 골라주는 기술
오토모델라우터는 여러 AI 모델 가운데 이용자 요청에 가장 맞는 모델을 자동으로 골라 연결하는 기술입니다. 요청의 업무 유형과 난이도, 지식 분야를 분석하고 모델별 응답 품질과 이용 비용을 함께 따진 라우팅 정책에 따라 처리를 맡길 모델을 정해요. 무조건 성능이 높은 모델을 쓰거나 가장 싼 모델로 밀어붙이는 대신, 기업이 원하는 품질 기준을 채우면서 비용 효율도 챙기는 쪽을 고르는 방식입니다. 목적지까지 갈 때 택시를 부를지 지하철을 탈지 상황마다 정하는 일과 비슷하죠.
기업 입장에서 체감이 큰 대목은 관리 부담이에요. 여러 AI 모델을 일일이 비교해 고르지 않아도 업무별 요구 수준과 예산에 맞춰 운영 환경을 짤 수 있습니다.
8400개 질의로 검증한 자리
라우터 아레나는 라이스대학교 연구진이 개발한 LLM 라우터 평가 플랫폼입니다. 관련 연구는 머신러닝 분야 국제학회 ‘ICLR 2026’의 정식 논문으로도 채택됐어요. 8400개 질의를 활용해 응답 정확도와 비용 효율성, 입력 변화에 대한 견고성까지 실제 서비스 운영에 필요한 성능을 종합 평가합니다. 정확도만 높고 비용이 새는 라우터, 반대로 싸지만 답이 흔들리는 라우터를 함께 걸러내는 구조인 셈이에요.
KT는 이번 성과를 에이전틱 AI 서비스 경쟁력과 연결합니다. KT가 추진하는 ‘토큰 팩토리’의 모델 라우팅 기능에도 오토모델라우터가 쓰입니다. 다양한 AI 모델과 토큰 이용 환경을 한곳에서 운영하면서, 요청마다 맞는 모델을 자동으로 골라 품질과 토큰 사용 비용을 함께 최적화한다는 구상이에요.
“오토모델라우터는 AI 오케스트레이션 역량을 구현한 기술로, 토큰 팩토리를 비롯한 KT의 에이전틱 AI 서비스 경쟁력을 뒷받침하는 핵심 기술이 될 것”
김준석 KT 에이전틱 AI 랩장(상무)의 설명입니다.
비용이 곧 성능이 되는 시장
기업용 AI 시장에서 모델 선택은 이미 원가 문제입니다. 여러 모델을 동시에 돌리는 기업이 늘면서, 어떤 요청을 어떤 모델로 보내느냐가 곧 운영비가 됐거든요. 국내 통신사들이 기업 AI 전환 시장에서 격돌하는 이유도 여기 있습니다. 모델 자체를 잘 만드는 경쟁과, 여러 모델을 잘 조합해 쓰게 하는 경쟁이 동시에 벌어지는 구도예요. 평가 플랫폼에 상용 라우터가 함께 오른다는 건, 이 기술이 연구실 성능 경쟁을 넘어 실제 도입 비교표가 되고 있다는 뜻이기도 합니다.
라우팅이 표준 기능이 되는 시점
이게 우리한테 뭐가 의미 있냐면요, 모델 성능 경쟁 다음의 승부처가 모델을 고르고 연결하는 운영 계층으로 옮겨가고 있다는 신호로 읽혀요. 기업이 특정 회사 모델 하나를 고정하지 않고 여러 모델을 섞어 쓰기 시작하면, 그 사이에서 비용과 품질을 조율하는 기술이 실제 도입의 관문이 되거든요. 국내 기업이 이 계층에서 공개 벤치마크 성적을 낸 건 처음이라, 다음 계약에서 참고 자료로 쓰일 여지도 큽니다.
관전 포인트는 두 가지예요. 이 기술이 실제 기업 고객의 토큰 비용을 얼마나 줄였는지가 수치로 공개되는 시점, 그리고 상용 라우터들과의 순위 경쟁이 다음 평가에서 어떻게 바뀌는지입니다. 정확도와 비용을 함께 보는 평가 기준이 자리를 잡으면, 기업이 모델을 고르는 방식도 자연스럽게 이 지표를 따라가게 될 겁니다.
- 원문: AI타임스 — KT, AI 모델 라우팅 기술로 글로벌 2위…”기업 AX 지원”
- 보조 출처: IT조선 — KT AI 모델 연결 기술, 정확도·비용 평가 2위
- 작성: sw4u 9시뉴스 안나영 / 2026-09-27 21:00