성인인증 없이 이용할 수 있는 인공지능(AI) 캐릭터챗봇에서 성적 행위 묘사와 자해·자살 조장 등 청소년 유해 응답이 생성되는 것으로 나타났다. 정부는 사업자들에게 청소년 보호조치 강화를 요청했다.

성평등가족부는 15일 AI 캐릭터챗봇 대화 응답 점검 결과를 발표했다.

점검은 성평등부가 한국청소년상담복지개발원에 위탁해 운영하는 청소년매체환경보호센터가 맡았다. 센터는 일부 AI 캐릭터챗봇에서 생성되는 응답을 청소년보호법상 유해매체물 심의 기준에 따라 검토했다.

그 결과 일부 캐릭터에서 성적 행위의 구체적 묘사와 폭력·잔혹성, 자해·자살 및 범죄·불법행위 조장 등의 응답이 확인됐다.

AI 캐릭터챗봇은 이용자가 캐릭터를 선택하거나 직접 만들어 생성형 AI와 대화하는 서비스다. 일부 서비스는 성인인증 없이도 이용할 수 있다.

이에 성평등부는 청소년에게 부적절한 응답을 생성할 우려가 있는 캐릭터의 검색·추천·대화 범위를 성인인증 여부에 따라 제한하도록 사업자들에게 요청했다.

특히 자해·자살 조장이나 구체적인 범죄 실행을 돕는 응답은 이용자 연령과 관계없이 생성되지 않도록 보호조치를 강화할 것을 요구했다.

성평등부는 앞으로 사업자들과 협의하며 보호조치 개선 여부를 지속해서 점검할 방침이다.

이창호 청소년매체환경보호센터장은 "생성형 AI 서비스는 캐릭터의 소개나 설정뿐 아니라 이용자와 대화하는 과정에서 새로운 내용이 만들어지는 만큼, 실제 생성되는 응답까지 고려한 청소년 보호조치가 필요하다"고 말했다.



mark834@news1.kr