카카오, 카나나-2 온디바이스 모델 성능 비교(사진=카카오)
이번에 공개한 모델은 카나나-2 경량 언어모델 시리즈다. 구체적으로 △카나나-2-1.3B-base △카나나-2-1.3B-instruct △카나나-2-3B-base △카나나-2-3B-instruct 등 4종이다.
최근 AI 업계에서는 클라우드 기반 대형 모델뿐 아니라 스마트폰, 개인 PC 등 제한된 연산 환경에서 직접 구동할 수 있는 경량 모델의 중요성이 커지고 있다. 글로벌 기업들도 온디바이스 AI를 주요 전략으로 내세우거나 경량 오픈소스 모델을 잇달아 공개하며 관련 생태계 선점에 나서고 있다.
카카오는 이 같은 흐름 속에서 크기는 작지만 실제 서비스에 적용할 수 있는 수준의 경량 언어모델을 연구해왔다. 현재 카카오의 경량 모델은 ‘카나나 인 카카오톡’, ‘카카오톡 대화요약 및 통화요약’, ‘AI 국민비서’ 등 다양한 서비스에 활용되고 있다.
이번에 공개한 모델은 작은 크기에도 한국어와 영어 모두에서 글로벌 수준의 성능을 구현한 것이 특징이다. 카나나-2 시리즈는 유사 크기의 최신 오픈소스 모델과 비교해 한국어, 영어, 지식, 수학, 코드 등 주요 벤치마크에서 우수한 성능을 기록했다.
특히 오픈소스로 공개한 카나나-2-1.3B-instruct와 함께 개발한 더 작은 크기의 카나나-2-0.9B-instruct는 대화, 지식, 코드, 수학, 지시이행, 툴 호출 등 실제 서비스 활용 역량에서도 큐웬(Qwen), 젬마(Gemma) 등 동급 글로벌 모델과 경쟁력 있는 성능을 보였다고 회사 측은 설명했다.
한국어 처리 효율도 높였다. 카카오는 자체 개발한 한국어 특화 토크나이저를 이번 모델 전반에 적용했다. 토크나이저는 AI 모델이 텍스트를 처리할 때 문장을 잘게 나누는 단위를 결정하는 핵심 기술이다. 한국어에 최적화된 토크나이저를 적용하면 같은 문장을 더 적은 단위로 처리할 수 있어 연산 속도가 빨라지고 비용도 줄어든다. 카카오는 지난해 개발을 마친 한국어 특화 토크나이저를 적용해 기존 대비 한국어 처리 효율을 30% 이상 개선했다고 밝혔다.
온디바이스 환경을 고려한 설계도 적용됐다. 카카오는 스마트폰처럼 메모리와 연산 자원이 제한적인 환경에서도 긴 대화를 안정적으로 처리할 수 있도록 ‘슬라이딩 윈도우 어텐션’ 구조를 도입했다. 이를 통해 최대 32K, 약 3만2000토큰 길이의 대화에서도 메모리 사용량을 최대 72.7%까지 절감하면서 안정적인 성능을 유지할 수 있다고 설명했다.
이번 모델은 상업적 활용까지 허용하는 ‘카나나 오픈 라이선스’로 배포된다. 이에 따라 개발자, 스타트업, 연구기관, 기업 등은 별도 비용 부담 없이 카카오의 경량 AI 모델을 활용할 수 있다. 카카오는 국내 고성능 한국어 AI 모델 활용 기반 확대와 신규 서비스 개발 활성화에 기여할 것으로 기대하고 있다.
노병석 카카오 유니파이드 파운데이션 모델 성과리더는 “에이전틱 AI 시대를 준비하며 클라우드의 대규모 AI와 온디바이스 경량 AI 모두의 중요성을 체감하고 있다”며 “카카오는 두 영역에서 기술 경쟁력을 높여가고 있으며, 이번 오픈소스 공개 모델들이 더 많은 개발자와 기업의 새로운 AI 서비스 개발로 이어져 국내 AI 생태계 활성화에 기여할 수 있기를 바란다”고 말했다.
