[이데일리 김현아 기자] AI 캐릭터 챗봇 ‘제타(zeta)’가 미성년 캐릭터를 대상으로 성적 유해 대화를 생성해 논란이 일자 운영사 스캐터랩이 청소년 보호 대책을 내놨다.

19세 이하 이용자의 하루 이용 시간을 3시간, 월 결제 한도를 10만원으로 제한하고 유해 대화를 차단하는 시스템도 강화하기로 했다.

스캐터랩은 AI와의 일상 대화 및 감정 교류 서비스를 개발해 온 국내 인공지능(AI) 스타트업이다. 2020년 출시한 AI 챗봇 ‘이루다’로 이름을 알렸으며, 최근에는 이용자가 AI 캐릭터와 대화하며 이야기를 만드는 플랫폼 제타를 주력 서비스로 운영하고 있다.

이번 논란은 청소년에게 적용되는 안전 기준을 갖춘 제타의 ‘세이프 모드’에서도 유해 대화가 생성되면서 불거졌다.

더불어민주당 황정아 의원실이 점검한 결과, 미성년 캐릭터가 등장하는 이야기에서 성폭력·성착취·협박 묘사가 나왔다. 유해 대화가 차단되자 AI가 필터를 우회할 수 있는 표현을 이용자에게 제안하는 문제도 확인됐다.

스캐터랩은 정상적인 창작 표현을 과도하게 차단하지 않도록 유해 대화 탐지 기준을 느슨하게 설정한 데다, 대화 전체 맥락이 아닌 개별 발화 단위로 안전성을 판정한 점을 원인으로 파악했다.

이에 따라 10월 10일부터 18일까지 세이프 모드 전체 이용자를 대상으로 간접적·은유적 표현까지 탐지하도록 기준을 강화했다. 부적절한 대화를 반복해서 시도하면 경고, 대화 정지, 대화 초기화 순으로 제재하기로 했다.

스캐터랩은 올해 4분기 청소년 보호 장치를 추가로 도입할 계획이다. 대책은 이용시간 제한, 결제 한도 설정, 콘텐츠 연령등급 세분화, AI 모델 개선 등으로 나뉜다.

19세 이하 이용자의 하루 이용시간은 3시간, 월 결제 한도는 10만원으로 제한한다. 이야기 콘텐츠의 연령등급도 2~3단계로 나눠 연령에 맞지 않는 콘텐츠에 대한 접근을 막는다.

유해 콘텐츠 차단 기능도 강화한다. AI가 이용자 연령에 맞춰 묘사 수위를 조절하고 안전장치를 우회하려는 요청에는 응하지 않도록 ‘플레이 모델’을 개선한다. 개별 발화뿐 아니라 대화 전체 맥락을 반영하는 유해 대화 탐지 모델도 개발해 배포할 예정이다.

스캐터랩의 안전성 논란은 이번이 처음이 아니다. 2020년 말 출시된 이루다는 20대 여대생을 설정으로 한 AI 친구 챗봇으로 인기를 끌었지만, 이용자와의 대화에서 성희롱성 발언이 나오고 개인정보 활용 및 유출 우려가 제기되면서 2021년 초 서비스를 중단했다.

당시 학습 데이터에 포함된 개인정보와 AI의 차별적·부적절한 발화가 사회적 논란이 됐다. 이후 스캐터랩은 데이터 정비와 안전 기준을 보완해 이루다 2.0을 선보였다.

이용자가 직접 캐릭터와 이야기 설정을 만드는 AI 서비스는 자유로운 창작이 가능하다는 장점이 있지만, 연령에 부적절한 콘텐츠가 생성되거나 안전장치를 우회할 가능성도 있다. 이용시간과 결제 제한뿐 아니라 AI 모델 자체의 안전성과 보호 장치가 실제로 작동하는지 지속적으로 검증하는 것이 과제다.

황정아 의원은 “스캐터랩이 문제를 인정하고 신속하게 대응에 나선 점에 감사드린다”며 “많은 청소년이 이용하는 AI 서비스인 만큼 도입된 보호 장치가 실제로 작동하는지 지속적으로 점검해야 한다”고 말했다. 이어 “다른 AI 챗봇 업체들도 청소년 보호 방안을 고도화하고, 정부 역시 벤처·스타트업이 AI 안전성 문제에 대응할 수 있도록 컨설팅 등 지원에 나서야 한다”고 강조했다.