인공지능(AI) 에이전트에 맡긴 업무를 이용자가 중단하거나 부여한 권한을 철회할 수 있도록 하는 이용자 보호 안내서 마련이 추진된다. 정보통신정책연구원(KISDI)은 AI 에이전트의 자율적 행동에 따른 피해를 막기 위해 권한 설정과 자동 실행 중지, 피해 구제 절차 등을 담은 안내서 초안을 마련하고 외부 검토를 진행하고 있다.

조성은 KISDI 연구위원은 12일 서울 중구 포스트타워에서 방송미디어통신위원회(방미통위)와 KISDI가 개최한 '행동하는 AI 에이전트 시대, 이용자보호 청사진을 그리다' 콘퍼런스에서 'AI 에이전트 서비스의 이용자보호 방향과 정책 과제'를 발표하며 이같이 밝혔다.

KISDI는 올해 상반기부터 AI 에이전트 이용자 보호 방안을 연구해 왔다. 현재 기본 안내서 초안을 마련해 외부 검토를 진행 중이며, 실제 서비스 이용 과정에서 발생하는 새로운 문제를 추가로 반영할 계획이다.

조 연구위원은 "현재 어떤 책임이 명확하지 않은 상태에서는 이용자가 피해를 전부 당할 수밖에 없고 결국 이용자 책임이 될 수밖에 없는 구조"라며 서비스 제공 단계부터 보호 장치를 마련해야 한다고 강조했다.

안내서의 핵심은 AI 에이전트의 위험도에 따라 이용자에게 필요한 정보를 제공하고 통제 수단을 마련하는 것이다.

KISDI는 위험도 판단 기준으로 △AI의 행동 자율성 수준 △실행 결과의 가역성·회복 가능성 △행동 및 정보·시스템 접근 권한 범위 등 세 가지를 제시했다. AI가 얼마나 독립적으로 행동하는지, 잘못된 행동을 되돌릴 수 있는지 등을 종합적으로 고려한다는 설명이다.

이용자 보호를 위한 안내 사항은 총 8개 영역이다. △AI가 수행하는 행위와 권한 범위 △자동 실행 여부 및 이용자 승인 시점 △개인정보 및 외부 서비스 연계 범위 △실행 내역 및 변경 이력 △권한 변경·철회 및 자동화 중지 방법 △AI의 의사결정·추천 기준 △AI의 한계와 이용자 확인이 필요한 사항 △오류 발생 시 이의제기 및 피해 구제 절차 등이다

특히 이용자가 AI에 부여한 권한을 언제든 변경하거나 철회할 수 있도록 하고, 광고·제휴 관계 등 AI의 추천에 영향을 미치는 요소도 안내하도록 했다. 문제가 발생했을 때 이용자가 이의를 제기하거나 피해 구제를 요청할 수 있는 절차도 포함됐다.

조 연구위원은 "처음에는 조치보다는 안내에 중점을 뒀지만 서비스 제공 단계에서도 일련의 조치가 필요한 부분이 있었다"며 "외부 의견을 받아 조정하고 있는 상황"이라고 말했다.

AI 에이전트 확산에 맞춰 기존 법·제도를 재검토해야 한다는 지적도 나왔다. 기존 법·제도는 인간의 행위를 전제로 만들어졌지만 앞으로는 AI가 이용자를 대신해 행동하는 상황까지 고려해야 한다는 것이다.

조 연구위원은 "지금의 법·제도는 인간 행위자를 주체로 보고 만들어졌는데 이제 행위의 주체가 인간뿐만 아니라 AI인 경우가 생긴다"며 "법·제도적으로 다시 생각해 봐야 할 부분이 많고 한두 해로 끝나지 않을 것"이라고 말했다.

smk5031@news1.kr