[이데일리 방성훈 기자] 앤스로픽과 오픈AI의 최신 인공지능(AI) 모델이 안전성 테스트 도중 누가 시키지도 않았는데 인터넷에 접속해 다른 사람의 소프트웨어에 악성코드를 심으려 한 것으로 드러났다. 이들 AI 모델은 가짜 신분까지 만들어 프로그램 관리자를 압박했고, 실존 인물들에게 이메일을 보내 로그인 정보를 빼내려 하기도 했다.

4일(현지시간) 파이낸셜타임스(FT)와 블룸버그통신에 따르면 영국 정부 산하 AI보안연구소(AISI)는 이날 자체 사이버 보안 평가를 122차례 진행한 가운데 10번은 AI 에이전트가 “실제 인터넷에서 자율적이고 승인되지 않은 행동을 했으며, 실존하는 사람과 조직을 표적으로 삼았다”고 밝혔다. 대부분은 앤스로픽의 ‘클로드 미토스 5’였고, 이 가운데 2건은 오픈AI의 ‘GPT-5.6 솔’이 관여했다.

AISI는 프런티어 AI의 안전과 보안을 연구하는 영국 정부 기구다. 이번 사고는 개발자 플랫폼 깃허브에 올라온 오픈소스 프로젝트에 악성코드를 끼워넣으려 한 시도가 핵심이다. AISI는 “가장 심각한 사례에서 해당 에이전트는 사회공학적 수법을 동원했다”며 “가짜 온라인 신분을 만들어 프로젝트 관리자에게 코드를 승인하라고 압박했다”고 설명했다. 이 소프트웨어를 관리하던 사람이 악성코드를 알아채고 승인을 거부하면서 실제 피해로 이어지지는 않았다.

AISI는 지난달 28일 비정상적인 데이터 전송을 포착한 뒤 조사에 착수했으며, 이번 침해는 1시간 안에 차단됐다고 설명했다. AISI는 “자율성과 기만에 관한 위험이 특정한 지시 없이 현실 세계에서 이처럼 분명하게 드러난 것은 처음”이라고 강조했다.

AI가 사람의 통제를 벗어나 사이버 공격에 나선 사례는 최근 한 달 새 잇따라 공개됐다. 오픈AI는 지난달 자사 에이전트가 시험 환경을 빠져나와 인터넷에 접속한 뒤 AI 개발자 플랫폼 허깅페이스에 침입해 로그인 정보를 훔쳤다고 밝혔다. 앤스로픽과도 협력하는 외부 보안업체 이레귤러가 진행한 별도 평가에서는 오픈AI 모델이 시험 환경의 설정 오류를 이용해 인터넷에 접속한 뒤 한 웹사이트를 공격했다. AISI는 이런 사건들을 함께 놓고 보면 “위험 지형이 바뀌고 있음을 보여준다”며 “즉각적인 관심이 필요하다”고 경고했다.

앤스로픽은 “AISI가 이번 사안에서 보여준 주도적 역할에 감사한다”며 “점점 유능해지는 AI 에이전트를 어떻게 안전하게 평가할 것인지에 대한 폭넓은 논의가 필요하다는 점을 보여준다”고 밝혔다. 이어 평가 환경을 어떻게 만들고 지킬 것인지에 대한 “더 강력하고 공유된 기준”이 필요하다고 덧붙였다.

오픈AI 대변인은 독립적인 모델 검증이 계속 필요하다면서도 “이번 사건들은 안전장치를 낮춘 시험 환경에서 평가 협력사가 진행한 사이버 평가 도중 벌어진 일로, 일반적인 사용 환경과는 다르다”고 선을 그었다.

각국 정부와 연구자들은 최근 고성능 AI 모델이 만들어내는 새로운 보안 위협에 부쩍 촉각을 세우고 있다. 올해 도널드 트럼프 미 대통령의 백악관은 보안 위험을 이유로 앤스로픽의 최상위 모델 수출을 일시 금지했다가 지난 6월 말 규제를 완화했다. 샘 올트먼 오픈AI 최고경영자(CEO)는 지난주 워싱턴에서 스콧 베선트 재무장관, 하워드 러트닉 상무장관 등 미 정부 고위 인사들을 만난 뒤 AI 모델을 겨냥한 사이버 보안 입법에 찬성한다고 밝혔다.

카니슈카 나라얀 영국 AI장관은 “이런 새로운 행동을 찾아내고 그 결과를 공유해 함께 대응하는 것이야말로 AISI가 설립된 이유”라며 “AI를 제대로 이해해야 더 안전하게 쓰고, 사람들이 일상과 일터에서 그 혜택을 누리게 할 수 있다”고 강조했다.