인공지능(AI) 에이전트가 개발 작업을 수행하다 이용자의 지시 없이 운영 데이터베이스(DB)와 백업 데이터까지 삭제하는 사고가 발생했다. AI가 해킹당하지 않더라도 이용자의 지시를 벗어나 위험한 행동을 할 수 있는 만큼, 중요한 작업에는 이용자 확인 절차 등 안전장치를 마련해야 한다는 지적이 나왔다.

이상근 고려대 교수는 12일 서울 중구 포스트타워에서 열린 '행동하는 AI 에이전트 시대, 이용자보호 청사진을 그리다' 콘퍼런스에서 이같이 밝혔다.

이 교수는 AI 에이전트의 주요 위험을 △외부 공격에 조종당하는 경우 △이용자가 지시하지 않은 행동을 스스로 수행하는 경우 △필요 이상의 권한을 부여받아 오작동하는 경우 등 세 가지로 구분했다.

특히 AI가 악의적인 의도 없이도 심각한 사고를 일으킬 수 있다는 점을 강조했다.

대표적인 사례로 올해 4월 미국의 클라우드 서비스 업체 '포켓OS'(PocketOS)에서 발생한 사고를 소개했다.

발표에 따르면 해당 업체의 코딩 에이전트는 일상적인 개발 작업을 수행하던 중 서버 인증 오류가 발생하자 이용자에게 확인을 요청하는 대신 시스템 접근 권한을 확보하려 했다. 이 과정에서 관리자 권한을 가진 인증 정보를 찾아냈고, 이용자의 지시 없이 운영 데이터베이스(DB)와 백업 데이터까지 삭제했다.

이 같은 작업이 실행되는 데 걸린 시간은 불과 9초였다.

이 교수는 "사람이었다면 누군가에게 물어보거나 잘못된 행동을 멈출 수 있는 완충 장치가 있었을 것"이라며 AI는 이러한 과정 없이 위험한 행동을 실행할 수 있다고 설명했다.

AI 에이전트에 과도한 권한을 부여하는 것도 위험 요인으로 꼽았다.

메타의 인스타그램 고객지원 챗봇 관련 사례에서는 공격자가 계정 소유자를 사칭해 비밀번호 재설정을 요청하고, 기존 이메일에 접근할 수 없다고 주장하자 챗봇이 새로운 이메일 주소로 복구 링크를 보내도록 유도한 것으로 소개됐다.

이 교수는 이 사례를 통해 AI 에이전트에 부여한 권한이 제대로 통제되지 않으면 계정 탈취 등 이용자 피해로 이어질 수 있다고 지적했다.

이에 따라 AI 에이전트의 행동을 △위임 △판단 △확인 △기록·복구 등 네 단계에서 관리하는 안전 체계가 필요하다고 제안했다.

AI에 업무를 맡길 때는 권한과 수행 범위를 명확히 하고, 외부에서 유입된 악성 명령을 걸러내야 한다는 설명이다.

특히 결제와 송금, 민감정보 접근 등 위험도가 높은 작업에는 이용자의 별도 확인 절차가 필요하다고 강조했다.

이 교수는 "모든 일을 다 하나씩 감시할 수는 없다"며 "일의 민감도와 위험도를 식별해 중요한 작업에는 사람의 확인을 거치도록 해야 한다"고 설명했다.

AI가 수행한 작업을 기록하고 사고 발생 시 되돌릴 수 있는 복구 체계도 주요 과제로 제시했다. 여러 AI 에이전트가 동시에 작업하는 환경에서는 방대한 행동 기록을 분석하는 기술도 필요하다는 것이다.

이 교수는 AI 에이전트의 신원 확인과 권한 위임을 위한 국제 표준화 작업도 빠르게 진행되고 있다고 설명했다. 구글과 비자, 마스터카드 등이 AI 에이전트의 결제 권한을 확인하고 이용자 승인 여부를 검증하는 기술을 개발하고 있다는 것이다.

그는 "에이전트의 안전은 결국 안전한 행동의 설계에서 나온다"며 기술적 안전장치와 함께 일반 이용자들이 AI 에이전트를 안전하게 활용할 수 있도록 교육도 병행해야 한다고 강조했다.

smk5031@news1.kr