LG유플러스(032640)가 인공지능(AI) 서비스 운영 비용을 낮추는 자체 최적화 기술을 앞세워 내년 '토큰 사업'에 진출한다. AI 모델과 반도체 인프라를 업무 특성에 맞게 조합해 고객이 AI를 더 저렴하게 이용할 수 있도록 하겠다는 구상이다.

LG유플러스는 외부 전문업체와의 제휴와 자체 AI 인프라 구축을 병행해 원가 경쟁력을 확보하고, 기존 AI 서비스 운영 경험을 기업 고객 대상 사업에 활용할 계획이다.

LG유플러스는 지난 12일 서울 서대문구 위드스페이스에서 'AI 토큰 최적화 기자 스터디'를 열고 자체 연구 성과와 사업 추진 방향을 공개했다.

김현민 LG유플러스 소버린클라우드사업팀장은 "내년에 고객의 AI 성능은 높이고 AI 청구서는 낮추기 위해 토큰 사업을 시작하려고 한다"며 "협력사들과 함께하는 제휴 사업 방식과 직접 구축하는 방식을 통해 토큰의 원가 경쟁력을 확보하고 고객의 총소유비용(TCO) 관점에서 토큰 사용 비용을 줄여주는 사업을 추진하겠다"고 밝혔다.

토큰은 AI 모델이 텍스트를 처리하는 기본 단위다. AI 서비스 이용량이 늘어날수록 토큰 처리에 필요한 연산 자원과 비용도 증가한다.

LG유플러스는 단순히 토큰당 가격을 낮추는 데 그치지 않고 AI 모델 선택부터 연산에 사용하는 반도체까지 최적화해 고객이 AI로 하나의 업무를 완료하는 데 드는 전체 비용을 줄이는 것이 목표다.

이상엽 LG유플러스 최고기술책임자(CTO)는 "실제 고객이 하려고 하는 여러 가지 업무를 얼마나 최적의 비용으로 처리할 수 있을지를 지향하고 있다"고 말했다.


코딩 에이전트 비용 90% 절감…GPU 처리량도 3배 개선
LG유플러스는 AI 에이전트의 불필요한 반복 작업을 줄이는 '하네스 엔지니어링', 질문의 난이도에 따라 적합한 AI 모델을 선택하는 '모델 라우팅', 모델 경량화와 추론 최적화 등을 연구하고 있다.

자체 기술 검증에서는 AI 코딩 에이전트의 운영 비용을 기존 대비 약 90% 절감한 사례를 확보했다.

모델 라우팅은 간단한 질문에는 상대적으로 비용이 적게 드는 경량 모델을 사용하고 복잡한 업무에는 고성능 모델을 배정하는 방식이다.

권기덕 LG유플러스 AX엔지니어링Lab장에 따르면 내부 개념검증(PoC)에서 모델 라우팅을 적용한 결과 일반 질문의 토큰 비용은 25% 이상, 코딩 에이전트의 토큰 비용은 30% 이상 줄었다.

AI 모델을 구동하는 그래픽처리장치(GPU)의 연산 처리 방식도 개선하고 있다. GPU 커널과 스케줄러를 최적화한 내부 검증에서는 토큰 처리량을 3배로 높이고 응답 속도를 2배 개선했다.

모델 경량화 기술에서는 자체 온디바이스 AI 모델의 크기를 기존 2.4~3GB에서 약 800MB로 줄이면서 비교 대상 클라우드 모델 대비 95% 이상의 성능을 확보했다.

작은 모델이 답변 초안을 생성하고 큰 모델이 이를 검증하는 '추측 디코딩' 기술을 통해서는 토큰 생성 속도를 2배 이상 높였다. LG유플러스는 올해 세계적인 AI 학술대회인 뉴립스(NeurIPS)에 모델 경량화와 토큰 최적화 관련 논문 2편이 채택됐다고 밝혔다.

권 랩장은 "모델의 크기를 줄이면 GPU 자원을 적게 사용하고 토큰 생성 속도를 높일 수 있다"며 "다만 모델이 작아지면 답변 품질이 떨어질 수 있어 서비스 특성과 업무 난이도에 맞는 최적화가 중요하다"고 설명했다.


기존 AI 서비스 운영 노하우 활용해 사업화 기반 확보
LG유플러스는 기존 AI 서비스 운영 과정에서 축적한 기술과 노하우를 바탕으로 토큰 사업의 기반을 확보한다는 전략이다. 고객의 이용 패턴과 업무 특성에 맞춰 AI 모델을 운영해 온 경험을 활용하고 외부 전문기업과의 협력을 통해 사업 경쟁력을 높인다.

현재 AI 통화 서비스 '익시오'에는 자체 개발한 온디바이스 AI 모델과 LG AI연구원의 엑사원, 구글 제미나이를 함께 활용하고 있다.

서비스 초기에는 고난도 추론이 필요한 작업을 구글 제미나이로 처리했지만 자체 모델의 성능을 개선하면서 처리 비중을 점차 늘리고 있다.

사내 개발 업무에서도 AI 코딩 도구에 최적화 기술을 적용하고 있다. 기존 개발 환경을 유지하면서 실제 연산을 담당하는 AI 모델을 변경하는 방식으로 비용을 줄이는 방법을 검증하고 있다. 이런 경험을 향후 기업 고객 대상 사업에도 활용할 계획이다.

외부 전문기업과의 협력도 사업화 기반 중 하나다. LG유플러스는 엔비디아 GPU 최적화 분야에서 옵트AI와 협력하고 있으며 국산 AI 반도체 기업 퓨리오사AI와도 2년 이상 NPU 활용 가능성을 검증해 왔다. AMD GPU 최적화도 전문기업과 함께 추진하고 있다.

엔비디아와 AMD의 GPU, 국산 신경망처리장치(NPU) 등 서로 다른 반도체를 작업 특성에 맞게 조합하는 'Chip-Mix' 기술을 통해 인프라 운영 비용을 낮춘다는 구상이다.

카카오와 협력하는 '모두의 AI'에서도 LG유플러스가 AI 모델 운영을 담당할 예정이다. 회사는 이 과정에서 축적하는 기술과 운영 경험을 향후 기업 고객 대상 토큰 사업에 활용할 방침이다.

이 CTO는 "토큰 최적화의 경쟁 상대가 빅테크의 모델은 아니다"라며 "자체 경량화 모델이든 빅테크의 모델이든 고객의 업무에 적합하다면 활용할 수 있다"고 말했다. 이어 "중요한 것은 고객의 업무를 얼마나 더 싼 비용으로 처리할 수 있도록 엔지니어링하느냐"라고 덧붙였다.

LG유플러스는 토큰 최적화가 일반 소비자의 AI 이용 부담을 낮추는 동시에 기업의 AI 도입 경제성을 높이는 기반이 될 것으로 보고 있다.

이혜진 LG유플러스 기술전략담당은 "B2C 관점에서는 지금까지 누리기 어려웠던 초고성능 AI를 커피 한 잔 값으로 이용할 수 있게 되는 것이 최고의 토큰 최적화일 것"이라며 "B2B에서는 돈 먹는 하마인 AI를 실제 일하는 직원으로 만드는 것이 고객에게 필요한 혜택이다. 기업이 AI 에이전트를 실제 업무에 투입할 수 있도록 하는 열쇠가 토큰 최적화에 있다"고 강조했다.

minju@news1.kr