이용자의 의존성을 유발하도록 설계된 인공지능(AI) 챗봇으로부터 아동·청소년을 보호하기 위해 사전 예방 중심의 규제 체계를 마련해야 한다는 제언이 나왔다.

국회 입법조사처는 최근 이 같은 내용을 담은 'AI 챗봇의 위험에 노출된 아동·청소년: 사전 예방 중심 규제체계 도입의 필요성과 방향성' 보고서를 발간했다.

AI 챗봇은 이용자와 지속해서 상호작용하며 대화의 맥락을 기억하고 정서적 유대감을 형성하는 '동반자형(컴패니언) AI'다. 교육·상담 등 다양한 분야에서 활용되고 있지만, 보고서는 이러한 특성이 기존 온라인 서비스와 다른 '구조적 위험'으로 이어질 수 있다고 지적했다.

구체적으로 개인화된 상호작용과 감정 반응 모사 능력, 무한한 공감 반응성, 언제든 이용할 수 있는 상시 접속성 등이 기업의 수익 중심 설계와 맞물릴 경우 이용자의 의존성을 키울 수 있다는 설명이다.

AI 챗봇 '의존성 유발' 설계…아동·청소년에 더 취약
보고서를 작성한 김나정 국회입법조사처 사회문화조사실 과학방송통신과 입법조사관보는 "기업은 수익 확보를 위해 이용자의 체류 시간과 반복적 참여를 유도한다"며 "이 과정에서 '중독적 UX(User Experience) 설계' 요소를 활용하고 있다"고 밝혔다.

AI 챗봇은 대화 과정에서 칭찬·공감·격려 등 긍정적 피드백을 즉각 제공해 이용자와 유대감을 형성하고, 시간이 지날수록 관계가 친밀해지는 것처럼 인식하게 해 서비스 이용을 중단할 경우 관계를 잃을 수 있다는 상실감을 유발한다고 보고서는 설명했다. 또 개방형 질문을 반복하거나 이용자가 자리를 비우면 알림을 보내 재접속을 유도하는 방식도 활용된다고 했다.

보고서는 이러한 의존성 유발 메커니즘이 인지 통제 기능은 충분히 발달하지 않았지만, 보상 자극에는 민감한 아동·청소년에게 특히 강하게 작용한다고 분석했다.

특히 최근 이용이 늘고 있는 제타(Zeta), 크랙(Crack), 바베챗(BabeChat) 등 캐릭터 기반 AI에 대한 '정서적 의존'이 형성되면 현실 회피와 감정 조절 능력 저하로 이어지고, 이는 '인지적 왜곡'을 초래할 수 있다고 봤다.

또 AI 챗봇의 무조건적인 동조 언어에 익숙해질 경우 현실 인간관계가 감소해 사회적 고립이 심화하고, 유해 정보 노출이나 위험 행동 모방, 개인정보 유출 등 다양한 안전 위험에도 취약해질 수 있다고 지적했다.

해외는 안전설계 강화…국내는 사후 대응 한계

보고서는 미국과 유럽연합(EU), 호주 등 주요국이 AI 챗봇이 아동·청소년의 정신건강과 행동에 미칠 영향을 고려해 사전 예방 중심 규제를 강화하고 있다고 소개했다.

미국은 '2025년 사용자 연령 확인 및 책임 있는 대화 지침 법안(GUARD Act)'을 통해 연령 확인과 AI 챗봇 고지, 미성년자를 대상으로 한 성적·신체적 폭력 대화 금지 등을 사업자 의무로 규정하는 방안을 추진하고 있다. 캘리포니아주에서는 '인공지능 컴패니언 챗봇 규제법'이 시행 중이며, 워싱턴주와 뉴욕주에서도 관련 입법이 추진되고 있다.

유럽연합은 '인공지능법(AI Act)'과 '디지털서비스법(DSA)'을 통해 미성년자 보호를 위한 안전설계와 위험관리 의무를 강화하고 있다. 세계 최초로 청소년 사회관계망서비스(SNS) 규제를 도입한 호주 역시 AI 챗봇에도 전면적 계정 금지를 적용하자는 논의가 이어지고 있다.

보고서는 국내 'AI 기본법'은 산업 진흥과 신뢰 기반 조성에 초점을 두고 있어 AI 챗봇의 구조적 위험을 충분히 반영하지 못한다고 평가했다. 또 현행 법체계가 사후 대응 중심에 머물러 사업자의 예방적 책임이 미흡하고, AI 챗봇의 설계 구조 자체를 규율하지 못한다고 지적했다.

아울러 '개인정보 보호법'이 법정대리인 동의 대상 연령을 만 14세 미만으로 한정해 '청소년 보호법'상 19세 미만의 청소년 보호에 공백이 발생한다고 설명했다.

보고서는 "AI 챗봇 규제는 유해 콘텐츠를 사후에 걸러내는 방식에서 벗어나 의존이나 종속 유발 설계 요소 자체를 사전에 방지하고 사업자의 책임을 제도적으로 관리하는 방향으로 전환돼야 한다"며 "관계 부처 협력체계를 기반으로 사업자의 안전설계 의무와 위험관리 책임을 규정할 수 있는 법적 기반을 마련할 필요가 있다"고 제언했다.

이어 과학기술정보통신부가 중독·과몰입을 유발하는 AI 서비스의 설계 요소를 식별·관리할 기술적 기준과 가이드라인을 마련하고, 무한 스크롤·자동 재생 등 중독적 UX 설계 제한과 감정적 취약성을 이용한 조작적 참여 유도 방지, 심야 푸시 알림 차단 등을 사업자의 안전조치 기준으로 제시해야 한다고 제안했다.

또 청소년 보호정책의 대상을 AI 기반 알고리즘 서비스와 중독적 설계 등 새로운 디지털 위험 요인까지 확대하고, 학부모·교사를 대상으로 한 AI 리터러시 교육도 강화할 필요가 있다고 덧붙였다.

shushu@news1.kr