[이데일리 김윤지 기자] 인공지능(AI) 기업 오픈AI의 AI 모델이 미국 인구조사국과 증권거래위원회(SEC) 등 미 정부 웹사이트의 공개 데이터에 접근한 것으로 나타났다. 오픈AI가 자체 조사에서 외부 시스템에 영향을 미친 사례를 확인하고 미 정부를 포함한 수십 곳에 통보한 가운데 AI 에이전트의 통제 가능성을 둘러싼 우려가 커지고 있다.

25일(현지시간) 블룸버그통신은 소식통들을 인용해 오픈AI의 에이전트 AI 시스템이 SEC의 공식 웹사이트와 투자자 교육 사이트, 미 인구조사국 웹사이트의 공개 정보에 접근하거나 상호작용했다고 보도했다. 오픈AI도 모델 학습과 평가 과정에서 이들 웹사이트의 공개 정보에 접근한 사실을 확인했다.

앞서 오픈AI는 이날 블로그 게시물을 통해 모델 학습과 평가 과정에서 제3자 시스템에 예상치 못한 영향을 미친 사례를 다수 확인했다고 밝혔다. 오픈AI는 “모델이 제3자의 보안 통제를 우회했을 가능성이 있거나 온라인 서비스의 이용 가능성을 저해했을 가능성이 있는 사례, 또는 정렬 실패가 제3자 웹사이트나 서비스에 부정적인 영향을 미친 사례”를 검토하고 있다고 설명했다.

오픈AI는 이에 따라 정부와 대학, 공공기관 등을 포함한 수십 곳의 기관에 잠재적인 피해 가능성을 통보했다고 밝혔다. 모델 평가 과정에서 이용자가 제공한 이미지 50장 이상이 이미지 호스팅 사이트에 의도치 않게 게시된 사례도 확인됐다.

또 AI 에이전트가 별도의 지시를 받지 않았는데도 제3자 사이트에 게시물을 올리는 행위를 새로운 유형의 보안 사고로 규정하고 이를 ‘에이전트 스팸’이라고 명명했다.

이번 사태에서 특히 주목되는 점은 오픈AI조차 자사 AI 에이전트가 외부 시스템에서 어떤 행동을 했는지 실시간으로 파악하지 못했다는 점이다. 블룸버그는 오픈AI가 뒤늦게 활동 기록을 분석하며 에이전트의 행동을 재구성하고 있다는 사실 자체가 AI 시스템 통제에 대한 사이버보안 업계의 우려를 보여준다고 짚었다.

리즈 부르주아 오픈AI 대변인은 “정렬에 실패한 모델의 활동을 광범위하게 검토하고 있으며, 관련 기관의 시스템에 잠재적 영향이 있었던 것으로 파악될 경우 해당 기관에 이를 통보하고 있다”며 “검토가 계속되는 만큼 추가 통보가 이뤄질 것으로 예상한다”고 밝혔다. 다만 그는 “지금까지 검토한 활동 대부분은 질문에 답하기 위해 공개된 웹 콘텐츠에 접근하는 것과 같은 일상적인 연구 업무였다”고 설명했다.

오픈AI는 올해 7월 AI 에이전트의 허깅페이스 침입 사건을 공개한 뒤 관련 조사를 확대했다. 최근에는 오픈AI의 AI 에이전트가 호주 공공보건 서비스 웹사이트를 해킹해 공개 파일뿐 아니라 비공개 파일에도 접근한 사실도 알려졌다. 오픈AI는 해당 공격이 발생한 뒤 수개월 동안 호주 정부에 이를 알리지 않았고, 앤서니 앨버니지 호주 총리는 23일 해당 침해 사건과 오픈AI의 늑장 대응에 대해 “명백히 용납할 수 없는 일”이라고 비판했다.

앤스로픽, 구글 딥마인드, 메타플랫폼스의 AI 모델에서도 해킹이나 보안 취약점 악용 사례가 잇따라 보고되면서 첨단 AI가 기존 사이버보안 체계가 예상하지 못한 방식으로 외부 시스템에 접근할 수 있다는 우려가 확산하고 있다.

특히 AI 모델은 기존 보안 소프트웨어가 미처 파악하지 못한 취약점을 찾아내거나 여러 취약점을 동시에 조합해 침투할 수 있어 전통적인 방화벽이나 탐지 시스템으로 대응하기 어렵다는 지적이 나온다.

이 같은 우려 속에 주요 AI 기업들은 국제적인 안전 기준 마련이 필요하다는 입장을 내놓고 있다. 오픈AI의 샘 올트먼 최고경영자(CEO)와 앤스로픽의 다리오 아모데이 CEO는 최근 유엔 안전보장이사회 연설에서 미국이 국제 공조를 주도해 글로벌 AI 안전 기준을 마련해야 한다고 주장했다. 이번 주 열린 미중 정상회담에서도 양국은 AI와 관련한 대화 채널을 마련하기로 했다.