모델 경량화와 추론 가속 기술을 적용해 AI 처리 속도를 기존 방식보다 약 4.5배 높이고 배터리 소모는 약 77% 줄였다.
LG U+ AI 토큰 최적화 기술, 세계 최고 권위 AI 학회서 인정받았다. 사진=LG유플러스
이번 연구는 스마트폰처럼 메모리와 전력 사용에 제약이 있는 환경에서 소형언어모델을 효율적으로 실행하고 학습하는 데 초점을 맞췄다. 토큰은 AI가 질문을 이해하고 답변을 생성할 때 사용하는 데이터 단위다. 토큰을 효율적으로 처리하면 응답 속도를 높이고 연산 자원과 전력 사용을 줄일 수 있다.
LG유플러스는 통화 서비스에 활용할 소형언어모델을 개발하고 모델 경량화와 추론 가속 기술을 적용해 스마트폰 환경에 맞게 최적화했다. 회사 측은 그 결과 기존 방식보다 처리 속도를 약 4.5배 높이고 배터리 소모를 약 77% 줄였다고 설명했다. 제한된 연산 자원을 활용하면서 모델 성능 저하를 최소화하는 데 주력했다.
개인 데이터를 외부 서버로 보내지 않고 스마트폰 안에서 AI를 학습하는 기술도 연구했다. 학습에 필요한 연산과 메모리 사용량을 줄여 기기 내부에서 추가 학습을 진행하고 실제 스마트폰 환경에서 성능을 검증했다. LG유플러스는 개인 데이터를 기기 밖으로 전송하지 않으면서도 서버에서 학습한 모델과 같은 수준의 정확도를 확인했다고 밝혔다.
LG유플러스는 이번 연구에서 확보한 기술을 자사 AI 서비스에 적용하는 방안을 검토하고 있다. 스마트폰에서 검증한 최적화 기술을 서버의 그래픽처리장치(GPU) 환경으로 확대해 AI 서비스의 응답 속도와 자원 효율을 높인다는 계획이다.
이상엽 LG유플러스 최고기술책임자(CTO)는 “이번 논문 채택은 제한된 환경에서도 AI를 빠르고 효율적으로 실행하고 학습하기 위한 연구 성과를 인정받은 것”이라며 “관련 기술을 실제 서비스에 적용하고 서버 환경까지 연구 범위를 확대하겠다”고 말했다.









