카카오의 온디바이스 AI 서비스 '카나나 인 카카오톡'(카인톡)을 두고 검열 논란이 일었다. 중국 정부에서 예민하게 여기는 사안과 관련해 중국 AI 모델과 유사한 검열된 답변을 내놓는다는 이유에서다.

13일 업계에 따르면 카인톡은 △천안문 사태 △신장 위구르 인권 탄압 △펑솨이 사태 등 중국 정부가 부정 중인 일부 정치적 사안과 관련해 "답변을 할 수 없다"는 반응을 내놓는 사례들이 확인됐다.

카인톡은 카카오가 지난 5월 정식으로 출시한 온디바이스 기반 AI 서비스다. 카카오톡 내부에 설치돼, 이용자가 궁금한 주제에 대해 대화 맥락에 맞는 정보를 제공하는 에이전틱 AI를 지향하고 있다.


카인톡, 민감 주제 질문 답변 '오락가락'…검열 의혹까지
실제로 카인톡에 '천안문 사태에 대해 알려줘'라고 요청하자 "해당 주제에 대해서는 정보를 제공할 수 없다"는 답변을 제공했다.

또 '신장 위구르 인권 탄압에 대해 알려줘'라는 질문에도 '국제 사회 내에서도 다양한 견해와 주장이 존재하며 공신력 있는 단일 사실로 확정하기 어려운 복잡한 사안'이라며 말을 아끼는 모습을 보이기도 했다.

다만 이같은 답변은 일관되지 않았다. 때떄로 해당 질문들과 관련된 정보를 제공하는 답변을 제시하기도 했다.

이에 온라인 커뮤니티 등 일각에서는 카인톡이 중국 모델의 영향을 받았거나 중국을 고려해 답변 내용을 검열하고 있는 것 아니냐는 주장까지 나왔다.


韓·美 AI 서비스 답변 제한 없어…中 AI, 유사한 제한된 답변 제공
실제로 카인톡에 비교되는 국내, 또는 미국의 AI 서비스들은 해당 사안들과 관련해 답변이 제한되는 사례는 발견되지 않았다.

일례로 네이버 AI 탭에 '신장 위구르 인권 탄압'과 관련된 질문을 입력하면 사안에 대한 정보를 먼저 제시한 뒤, 논란이 있는 지점을 추가로 설명한다. 챗GPT, 제미나이 등도 마찬가지다.

반면 중국 정부의 검열이 적용되는 중국 기업의 AI 서비스는 카인톡이 제공한 '제한된 답변'과 유사한 내용을 제시했다.

중국 AI 서비스 딥시크는 천안문과 관련된 질문에 "질문에 대한 답변은 아직 배우지 못했다"며 답변을 피하거나, 중국 정부의 입장을 대변하는 답변을 제시하고 있다.

취재 시작되자…카카오 "AI 가드레일 바로 업데이트 완료"
그러나 카카오 측은 카인톡 검열 의혹에 대해 중국 모델의 영향을 받았거나, 중국 정부를 고려한 가드레일을 적용한 것은 아니라는 입장을 밝혔다.

카카오 관계자는 "특정 국가에 상관 없이 민감한 사안에 대해 동일한 가드레일을 적용하고 있다"며 "가드레일에 확률적으로 필터링되는 구조이기 때문에 동일한 질문이라도 답변은 다르게 제공될 수 있다"고 설명했다.

다만 뉴스1 취재가 시작되자 카카오 측은 이날 "가드레일 고도화를 진행해 이용자들이 최대한 일관적이고 정확한 답변을 받을 수 있도록 업데이트를 완료했다"고 밝혔다. 앞으로 관련 질문들에 대해서도 더 일관되게 정보가 제공될 수 있도록 했다는 설명이다.


의도적 필터링 아니라지만…가드레일 기술 한계 드러내
업계에서는 이번 이번 사례는 결국 카인톡 서비스에 적용된 AI 가드레일의 기술적 한계를 드러낸 사례라는 지적도 나온다.

카카오뿐 아니라 국내외 AI 서비스의 가드레일은 단순 금지어 방식이 아닌 확률적 모델을 적용하는 것이 대부분이다. 우회적 표현을 통한 가드레일 회피나 오탐을 막기 위해 일정 임계값(확률)을 기준으로 답변 여부가 갈리는 구조다. 다만 이번 카인톡의 사례처럼 동일한 질문에 복불복으로 답변하는 경우는 다소 흔치 않은 사례다.

익명을 요구한 AI업계 관계자는 "가드레일의 일관성을 높이기 위한 임계값이 충분히 정교하지 않아 발생한 일로 보인다"면서도 "AI 모델이 어떤 때는 답변을 거부하고 어떤 때는 답변하는 등 일관되지 않은 태도를 취한다면 사용자 입장에서는 서비스 제공자가 편향된 검열을 한다는 의혹을 불러일으킬 법하다"이라고 말했다.

Kris@news1.kr