[이데일리 이소현 기자] 카카오(035720)가 자체 인공지능(AI) 모델과 AI 에이전트의 위험을 사전에 검증하기 위한 안전성 평가 체계를 구축한다. 언어모델의 배포 전·후 평가를 시작으로 멀티모달 모델과 AI 에이전트까지 검증 범위를 넓히고, 장기적으로는 안전성 평가도구도 공동 개발한다.

카카오는 지난 28일 인공지능안전연구소와 AI 안전성 공동 평가 및 평가 체계 구축을 위한 전략적 업무협약(MOU)을 체결했다고 29일 밝혔다.

AI 기술이 빠르게 고도화하면서 모델의 잠재적 위험을 사전에 식별하고 검증하는 안전성 평가의 중요성이 커진 데 따른 것이다.

카카오는 지난해 인공지능안전연구소와 자체 언어모델 ‘카나나-1.5-9.8B(Kanana-1.5-9.8B)’를 대상으로 공동 안전성 평가를 진행했다. 카카오는 당시 유사 규모의 해외 모델과 비교해 높은 수준의 안전성을 확인했다고 설명했다.

◇언어모델→멀티모달·에이전트로 평가 확대

양사는 이번 협약을 계기로 AI 안전성 평가 협력을 3단계로 확대한다.

우선 언어모델을 대상으로 서비스 배포 전·후 안전성 평가를 수행한다. 이후 평가 범위를 멀티모달 언어모델과 AI 에이전트까지 넓힐 예정이다. 마지막 단계에서는 AI 모델과 에이전트의 안전성을 보다 효율적으로 검증할 수 있는 평가도구를 공동 개발한다.

카카오는 평가 대상이 되는 자체 AI 모델과 에이전트를 제공하고, 평가 수행과 도구 개발에 필요한 인프라를 지원한다.

인공지능안전연구소는 안전성 평가 수행과 평가 방법론 고도화를 맡는다. 양사는 평가 결과를 공동으로 검토하고 공개 범위를 협의하는 한편 평가도구 개발에도 협력한다.

◇“AI 위험 선제 식별 체계 구축”

이번 협력은 AI 모델의 잠재적 위험을 사전에 식별하고 검증하는 체계를 만들고, 안전성 평가 역량을 지속적으로 높이는 데 초점을 맞췄다.

카카오는 국내 AI 안전성 전문 연구기관과의 협력을 통해 글로벌 수준의 AI 안전성 기준을 확보하고 AI 서비스에 대한 신뢰도를 높인다는 계획이다.

김세웅 카카오 AI 시너지 성과리더는 “이번 협력을 통해 카카오 AI 모델이 더욱 객관적이고 엄격한 안전성 검증 체계를 갖추게 됐다”며 “기술 혁신과 함께 안전성과 신뢰를 최우선으로 하는 AI 모델과 서비스를 제공하기 위해 노력하겠다”고 말했다.

김명주 인공지능안전연구소장은 “AI 기술이 고도화될수록 잠재적 위험을 선제적으로 식별하고 평가하는 체계가 중요하다”며 “카카오와 협력해 글로벌 표준에 부합하는 AI 안전성 평가 체계를 구축하겠다”고 말했다.

한편, 카카오는 AI 안전성 강화를 위해 kt클라우드와 안전한 AI 생태계 구축을 위한 업무협약을 체결하고, 외부 전문가로 구성된 ‘AI&기술윤리소위원회’ 자문단도 운영하고 있다.