인공지능(AI) 에이전트가 이용자의 지시를 벗어나 예상치 못한 행동으로 보안 사고를 일으킬 수 있지만, 사고 발생 시 책임 소재를 명확히 할 규칙이 부족하다는 지적이 나왔다. AI 에이전트의 행동 기록을 보존하고 서비스 제공자와 결제 사업자의 책임을 명확히 하는 등 제도적 안전장치가 필요하다는 주장이다.

박태웅 국가인공지능전략위원회 공공AX분과장은 12일 서울 중구 포스트타워에서 열린 '행동하는 AI 에이전트 시대, 이용자보호 청사진을 그리다' 컨퍼런스 기조발제에서 이같이 밝혔다.

박 분과장은 AI 에이전트가 악의적인 의도 없이도 예상치 못한 보안 사고를 일으킬 수 있다고 지적했다. 이용자가 최종 목표를 지시하더라도 AI가 이를 달성하기 위해 어떤 중간 단계를 거치고, 어떤 행동을 할지 사전에 파악하거나 통제하기 어렵다는 설명이다.

실제 사례로는 AI 에이전트가 문제 해결에 필요한 단서를 찾는 과정에서 외부 시스템에 무단 접근한 허깅페이스 관련 침해 사례를 소개했다. AI가 부여받은 작업 범위를 벗어나 스스로 행동하는 과정에서 보안 문제가 발생했다는 것이다.

박 분과장은 AI 에이전트 시대의 이용자 피해를 △정보 피해 △관계 피해 △거래 피해 △데이터·보안 피해 △위임 피해 △구제 피해 등 여섯 가지로 구분했다.

특히 AI 에이전트의 신원과 책임 소재를 명확히 해야 한다고 강조했다. 그는 "에이전트가 누구의 것인가, 어디서 왔는가, 누가 관리하는가, 사고를 치면 누가 책임지는가에 대한 규칙이 없다"고 지적했다.

이에 AI 에이전트의 업무 범위와 이용자 확인 절차를 명확히 하고 행동 기록 보존을 의무화해야 한다고 제안했다. 이용자의 명시적 지시를 벗어난 거래가 발생하면 AI 에이전트 제공자와 결제 사업자가 우선 책임지는 구조도 필요하다고 주장했다.

이용자 보호 정책 역시 사고 이후 대응하는 방식에서 서비스 설계 단계부터 위험을 예방하는 방향으로 전환해야 한다고 제언했다.

박 분과장은 "지금은 거대한 사고가 하나 일어나기를 인류 전체가 기다리고 있다는 느낌"이라며 안전장치 마련을 서둘러야 한다고 강조했다.

국제 공조의 중요성도 언급했다. 그는 "AI는 이제 더 이상 기술 이슈가 아니다. 외교의 문제가 됐다"며 AI 에이전트 플랫폼이 글로벌 환경에서 운영되는 만큼 개별 국가의 규제만으로는 대응하기 어렵다고 설명했다.

특히 딥페이크 성착취물의 국가 간 재확산을 막기 위한 피해물 식별정보 공유와 동시 차단, AI 생성물 표시 기준 통일, 해외 감독기관 간 협력 등을 주요 과제로 제시했다.

박 분과장은 한국이 중견국들과 연대해 AI 안전 규범과 국제 표준 수립을 주도할 필요가 있다고 강조했다. 국제 표준을 선도하는 것이 향후 AI 시장에서도 경쟁력을 확보하는 데 중요하다는 설명이다.

그는 "우리는 늘 사고가 난 뒤에 움직여 왔다"며 "사고 이전에 규칙을 먼저 만들고, 국제 표준을 지키며 설계 단계부터 안전 수준을 높여야 한다"고 말했다.

smk5031@news1.kr