KT(030200)의 자체 개발 인공지능(AI) 모델 라우팅 기술이 글로벌 벤치마크 평가에서 2위를 기록하며 기술 경쟁력을 나타냈다. AI 모델 라우팅은 여러 AI 중 이용자 요청에 적합한 모델을 자동 선택하는 기술로, KT는 자사가 추진하는 '토큰 팩토리' 사업에도 이를 적용할 방침이다.

KT는 자사 AI 모델 라우팅 기술 '오토모델라우터'가 거대언어모델(LLM) 라우터 전문 벤치마크인 '라우터아레나'에서 종합 2위를 기록했다고 27일 밝혔다.

라우터아레나는 미국 라이스대 연구진이 개발한 LLM 라우터 평가 플랫폼으로, 약 8400개의 질의를 활용해 AI 라우터의 응답 정확도와 비용 효율성, 입력 변화에 대한 견고성 등 실제 서비스 운영에 필요한 성능을 종합 평가한다.

KT 오토모델라우터는 정확도와 비용을 함께 평가하는 'Acc-코스트 아레나' 기준 2위에 올랐다. 여러 AI 모델 중 이용 목적에 적합한 모델을 선택하면서 품질과 비용을 함께 최적화하는 기술 경쟁력을 입증한 셈이다.

오토모델라우터는 KT가 추진하고 있는 토큰 팩토리에도 활용된다. 토큰 팩토리가 다양한 AI 모델과 토큰 이용 환경을 통합 운영하는 과정에서 오토모델라우터가 이용자 요청에 맞는 모델을 자동으로 선택해 AI 서비스의 품질과 토큰 사용 비용을 최적화하는 역할을 맡는다.

KT는 해당 기술을 지속해서 고도화해 기업 고객의 AI 도입을 지원할 계획이다.

김준석 KT 에이전틱 AI 랩장(상무)는 "AI 시대에는 가장 뛰어난 단일 모델을 확보하는 것뿐 아니라, 상황에 맞는 최적의 모델을 얼마나 지능적으로 활용하느냐가 중요하다"며 "오토모델라우터는 이런 AI 오케스트레이션 역량을 구현한 기술로, 토큰 팩토리를 비롯한 KT의 에이전틱 AI 서비스 경쟁력을 뒷받침하는 핵심 기술이 될 것"이라고 말했다.

Ktiger@news1.kr