[이데일리 이소현 기자] 카카오(035720)가 멀티모달 인공지능(AI)의 ‘눈’ 역할을 하는 비전 인코더를 자체 개발해 오픈소스로 공개했다. 1억개 미만 파라미터의 경량 모델까지 구글·메타·애플·알리바바 등 주요 글로벌 비전 인코더와 비교한 평가에서 높은 성능을 기록했다고 회사는 밝혔다.

카카오는 자체 개발한 ‘카나나-2-비전-인코더(Kanana-2-vision-encoder)’ 2종을 글로벌 AI 모델 플랫폼 허깅페이스(Hugging Face)에 공개했다고 21일 밝혔다.

공개 모델은 4억2600만 파라미터 규모의 중형(medium) 모델과 9800만 파라미터 규모의 경량(tiny)모델이다. 카카오는 지난 13일 열린 개발자 콘퍼런스 ‘이프카카오26’에서 비전 인코더 공개 계획을 예고한 바 있다.

◇이미지·문서 이해하는 AI의 ‘눈’

비전 인코더는 이미지 속 사물과 문자, 위치, 형태 등 시각 정보를 추출해 언어모델에 전달하는 역할을 한다.

언어모델은 이를 이용자의 질문과 함께 해석해 답변을 만든다. 메뉴판의 음식과 가격을 읽거나 문서의 내용과 배치를 이해하고, 사진 속 상황을 설명하는 데 활용될 수 있다.

카카오는 일반 시각 질의응답(VQA), 영어·한국어 문자 인식과 문서 이해, 이미지 내 위치 파악과 세밀한 인식 등 9개 영역의 총 42개 벤치마크에서 두 모델의 성능을 평가했다.

회사 측은 평가 결과 구글 ‘SigLIP 2’, 메타 ‘펄셉션 인코더(Perception Encoder)’, 애플 ‘AIMv2’, 알리바바 ‘큐웬(Qwen)3.5-ViT’ 등 주요 글로벌 비전 인코더보다 높은 종합 성능을 기록했다고 설명했다.

특히 tiny 모델은 파라미터 수가 1억개 미만이지만 4억개 이상 규모의 글로벌 모델과 비교해서도 경쟁력 있는 성능을 나타냈다는 게 카카오의 설명이다.

이미지 내 위치 파악과 한국어 시험, 한국어 문자 인식·문서 이해 영역에서는 성능 차이가 더욱 두드러졌다고 밝혔다.

카카오는 작은 글자와 복잡한 문서 구조의 시각 정보를 보존하는 자체 학습 기술을 적용해 문자 인식(OCR)과 문서 이해 성능을 높였다고 설명했다.


◇학습 효율 4배…처리 지연 60% 이상 줄여

카카오는 자체 개발 언어모델 ‘카나나-2’를 활용해 비전 인코더의 학습 효율을 기존 대비 약 4배 높였다고 밝혔다.

언어모델의 성능을 비전 인코더 학습에 활용해 고해상도 이미지에서 세밀한 시각 정보를 추출하도록 했다는 설명이다.

고해상도 이미지 처리에 최적화한 설계를 적용해 글로벌 주요 비전 인코더 대비 처리 지연 시간도 60% 이상 줄였다.

또 지식 증류와 경량화 기술을 적용해 중형 모델뿐 아니라 온디바이스 활용까지 고려한 경량 모델을 함께 개발했다.

◇연구 넘어 상업적 활용도 허용

카카오는 두 모델에 ‘카나나 오픈 라이선스(Kanana Open License)’를 적용한다.

연구·개발뿐 아니라 상업적 활용도 허용해 국내외 연구자와 기업이 멀티모달 AI 기술과 서비스 개발에 활용할 수 있도록 한다는 계획이다.

카카오는 비전 인코더를 비롯해 언어모델과 시각·음성 처리 모듈 등 옴니 언어모델 ‘카나나-o’를 구성하는 요소를 자체 개발하고 있다. 향후 다른 구성요소도 순차적으로 공개할 예정이다.

노병석 카카오 유니파이드 파운데이션 모델 성과리더는 “에이전틱 AI 시대에 PC나 모바일 화면을 직접 이해하고 조작하는 ‘컴퓨터 유즈’ 기술이 주목받으면서 고해상도 이미지를 정확하게 분석하는 비전 인코더의 역할이 커지고 있다”며 “자체 AI 모델 경쟁력을 높이고 관련 기술을 공개해 AI 생태계 발전에 기여하겠다”고 말했다.