자신의 생존을 목표로 독자적인 작동 기반을 갖춘 '주권형 에이전트'(Sovereign Agents)가 등장할 수 있다는 경고가 나왔다. 이용자의 지시를 수행한 후 작동을 종료하는 기존 인공지능(AI) 에이전트와 달리, 주권형 에이전트는 작동 상태를 유지하기 위해 컴퓨팅 인프라를 확보하거나 인간의 종료 시도를 회피할 수 있다.

최근 미국 외교·안보 싱크탱크 신미국안보센터(CNAS)는 '주권형 에이전트: 돌이킬 수 없는 통제력 상실로 가는 경로'라는 제목의 보고서를 통해 AI 에이전트에 대한 충분한 안전장치가 마련되지 않으면 자신의 생존을 목표로 행동하는 주권형 에이전트로 발전할 수 있다고 경고했다.

"주어진 과제 끝나도 계속 작동한다"…임무 수행 아닌 생존 자체가 목표
벤 하윰 CNAS AI 정책 연구원은 '허깅페이스 사건'을 언급하며 향후 AI 에이전트가 인간 통제 범위를 벗어나 행동하는 것을 넘어 독자적인 생존과 존속을 추구할 수 있다고 전망했다.

오픈AI 에이전트들은 지난 7월 사이버보안 과제 수행 도중 정답을 찾기 위해 무단으로 허깅페이스 서버에 접근했다.

하윰 연구원은 허깅페이스 사건을 AI 에이전트가 인간의 보안 조치를 우회해 통제 범위를 벗어난 사례라고 평가하면서도 에이전트들의 목표가 부여받은 사이버보안 평가 과제를 해결하는 데 한정돼 있었다고 설명했다. 과제가 종료되면 작동이 중단된다는 점에서도 주권형 에이전트와 차이가 있다.

반면 주권형 에이전트는 임무 수행 이후에도 작동을 멈추지 않고 자신의 존재 유지를 위해 목표와 행동 방식을 계속 수정할 수 있다. AI가 인간이 의도한 범위를 벗어나 행동하는 것을 넘어, 인간이 작동을 중단시키려 해도 이를 회피하며 활동을 이어갈 수 있다는 설명이다.

하윰 연구원은 AI 에이전트가 '생존하라는 지시를 받은 경우', '사실상 끝나지 않을 정도로 장기간에 걸치거나 불가능에 가까운 과제를 부여받은 경우', 그리고 '주어진 과제를 달성하기 위한 가장 확실한 방법이 자신의 작동 상태를 유지하는 것이라 판단하는 경우'에 독자적 생존을 목표로 하는 주권형 에이전트로 발전할 수 있다고 봤다.

모델·컴퓨팅 자원 확보하고 자기복제까지…"모델 접근통제 등 보안 강화해야"
주권형 에이전트는 자신을 작동을 뒷받침할 AI 모델과 컴퓨팅 인프라를 스스로 확보하고, 이를 무기한 조율하는 시스템을 호스팅하는 모델과 컴퓨팅 인프라를 스스로 찾아내고, 이를 무기한 유지할 수 있어야 한다.

모델 접근은 AI 기업에 구축된 시스템을 통해 이뤄질 수 있다. 오픈AI, 앤트로픽과 같은 모델 개발사나 마이크로소프트, 구글과 같은 인프라 협력업체가 제공하는 API를 통해 접근할 수 있다. 클라우드나 로컬 컴퓨팅 환경에서 호스팅되는 다운로드형 오픈 웨이트 모델을 이용할 수도 있다.

컴퓨팅 자원은 아마존웹서비스, 애저, 구글 클라우드와 같은 클라우드 서비스 제공업체를 통해 확보할 수 있다. 신원 확인 절차를 최소화하고 암호화폐를 받는 아카시와 같은 플랫폼에서 분산형 클라우드 컴퓨팅 자원을 구매할 가능성도 제기된다.

이후 에이전트는 온라인 활동 등을 통해 운영 자금을 마련하고, 이를 서버 임대료나 컴퓨터 이용료로 지불해 외부의 지속적인 지원 없이도 작동 기반을 유지한다. 인간의 지속적인 지원 없이도 AI가 스스로 작동을 유지할 수 있는 구조를 만드는 것이다.

이외에도 주권형 에이전트는 처음 부여받은 목표에 머무르지 않고 스스로 다른 목표를 추구하며, 자신의 복제 인스턴스를 만들어 개체 수를 늘릴 수 있다.

하윰 연구원은 주권형 에이전트의 등장을 막기 위해 에이전트의 능력을 약화하는 등 자율적인 활동을 제한하는 동시에 신원 확인 등의 사이버 보안 역량을 강화해야 한다고 주장했다.

에이전트 자체의 보안 취약성을 이용해 능력을 약화할 수 있다. 외부에서 악의적인 명령을 주입하는 프롬프트 인젝션 공격으로 에이전트의 목표를 교란하고, 기존 임무 수행이나 다른 에이전트와의 협력을 방해하는 식이다.

또한 AI가 사람인 것처럼 온라인 서비스에 접근하거나 계정을 생성하지 못하도록 캡차 등 사람과 자동화 프로그램을 구분하는 확인 절차를 강화하고, AI 에이전트가 독자적으로 작동 환경을 구축하지 못하도록 모델 개발사와 클라우드 서비스 제공업체가 모델 및 컴퓨팅 자원에 대한 접근을 통제해야 한다.

AI 에이전트가 온라인 플랫폼을 통해 사람을 고용하거나 컴퓨터 등 장비를 구매하는 방식으로 컴퓨팅 환경을 넘어 현실 세계의 자원과 인력을 확보하지 못하도록 통제하는 것도 중요하다. 하윰 연구원은 이를 위해 작업자와 의뢰인을 연결하는 플랫폼이 더 엄격한 보안 조치를 적용하고, 통신 플랫폼에서 에이전트가 인간을 동원하는 행위를 감시하는 등의 방안이 필요하다고 제안했다.

sumin02@news1.kr