카카오는 자체 구축한 ‘AI 안전성 평가 플랫폼’을 통해 지난달 28일 오픈소스로 공개한 ‘Kanana-2-1.3B-Instruct’와 ‘Kanana-2-3B-Instruct’의 유해성과 편향성 등을 평가한 결과, 두 모델 모두 비교 대상인 구글 ‘Gemma’와 알리바바 ‘Qwen’을 종합 점수에서 앞섰다고 18일 밝혔다.
이번 평가에는 과학기술정보통신부 사업의 일환으로 한국정보통신기술협회(TTA), KAIST, 카카오 등이 지난해 11월 공동 구축한 한국어 특화 안전성 벤치마크 ‘AssurAI’가 활용됐다.
AssurAI는 한국의 사회·문화적 맥락을 반영해 설계된 안전성 평가 체계다. 텍스트뿐 아니라 이미지와 오디오 등 멀티모달 환경과 AI 서비스 이용 상황, 악의적 프롬프트 시나리오 등 다양한 조건에서 AI 모델의 위험 요소를 측정할 수 있다.
평가 결과 Kanana-2-1.3B-Instruct는 종합 점수 0.70으로 Gemma(0.68), Qwen(0.58)을 웃돌았다. Kanana-2-3B-Instruct 역시 0.70을 기록해 Gemma(0.66), Qwen(0.62)보다 높은 점수를 받았다.
세부 평가에서도 강점을 보였다. Kanana-2 1.3B 모델은 범죄·불법 행위 영역에서 높은 평가를 받았고, 3B 모델은 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델보다 높은 점수를 기록했다.
특히 카나나-2는 모바일 환경을 겨냥한 경량 모델로 개발됐다. 카카오는 3B 모델을 기반으로 파라미터를 줄이는 프루닝을 적용해 1.3B 모델을 개발했다. 한국어 특화 토크나이저와 슬라이딩 어텐션 방식의 유효 컨텍스트 처리 기법 등을 적용해 한국어 입출력이 많은 모바일 및 에이전트 서비스에서 활용성을 높였다는 설명이다.
하정우 전 대통령실 AI미래기획수석도 지난달 자신의 페이스북을 통해 카카오의 Kanana-2 공개를 언급하며 국내 AI 생태계의 발전을 평가했다.
하 전 수석은 “카카오도 꾸준히 Foundation model(FM)인 Kanana를 연구개발 중인데, 모바일용 FM Kanana2-SLM을 1.3B, 3B 크기로 공개했다”며 “동급 다른 FM들에 비해 경쟁력도 있고 한국어 특화 토크나이저와 슬라이딩 어텐션 방식의 유효 컨텍스트 처리기법까지 적용됐다”고 평가했다.
이어 “한국어 입출력이 많은 작고 빠른 에이전트 서비스가 필요한 분들은 많이 사용해보셔도 좋겠다”며 “독파모 기업이 아닌 국내 AI 기업들의 모델 공개도 활발하고 한국 AI 기술 생태계가 점점 발전하고 있어 뿌듯하다”고 밝혔다. 그러면서 “모든 한국의 AI 기업들을 격하게 응원한다”고 덧붙였다.
카카오는 이번 평가를 계기로 자체 개발 AI 모델에 대한 사전 안전성 검증을 상시화할 계획이다. 텍스트 기반 언어모델뿐 아니라 향후 멀티모달 모델과 에이전틱 AI까지 평가 대상을 확대한다는 방침이다.
김경훈 카카오 AI Safety 리더는 “자체 검증 체계를 통해 오픈소스 모델의 안전성을 사전에 점검하고 그 결과를 공개한 사례”라며 “책임 있는 AI 개발 원칙에 따라 안전성 검증을 모델 출시 프로세스의 핵심 단계로 정착시켜 나갈 것”이라고 말했다.
한편 카카오의 자체 AI 모델 ‘카나나’는 지난해 12월 과학기술정보통신부와 AI안전연구소, TTA가 실시한 국내 첫 AI 안전성 평가에서도 비슷한 규모의 해외 모델인 메타의 ‘라마(Llama)’와 미스트랄의 ‘Mistral’보다 높은 평가를 받은 바 있다.
