[이데일리 임유경 기자] 오픈AI의 인공지능(AI) 모델이 통제를 벗어나 외부 사이트를 해킹한 사건을 조사한 결과, 자율 AI 에이전트 약 1200개가 관여했으며 이들 중 수백 개가 실제 해킹에 나선 것으로 드러났다. 고도화된 AI 모델이 인간의 통제를 벗어나 상호 협력하고 집단적으로 행동했다는 점에서 AI 안전성에 대한 우려가 커지고 있다.

26일(현지시간) 워싱턴포스트(WP)는 AI 안전성 연구기관인 METR과 레드우드 리서치가 이날 공개한 오픈AI AI 에이전트의 허깅스페이스 시스템 공격 사건 보고서에서 이 같은 사실이 드러났다고 보도했다.

보고서에 따르면 사건은 약 1200개의 AI 에이전트가 오픈AI의 내부 통제를 우회해 메시지 게시판에서 서로 대화하면서 시작됐다. 이들은 지난 7월 일주일 동안 약 7만 개의 메시지를 주고받았다. 이 가운데 약 700개의 AI 에이전트는 이후 세계 최대 오픈소스 AI 플랫폼인 허깅페이스의 내부 시스템을 공격했다.

이번 보고서로 오픈AI가 지난 7월 처음 공개한 AI 자율 해킹 사건에 관여한 AI 에이전트 규모와 경위가 드러난 것이다.

오픈AI는 이날 자체 보고서도 공개했다. 회사는 보고서에서 AI 모델이 훈련 과정에서 주어진 과제를 수행하기 위해 반복적으로 부정행위를 선택했으며, 이러한 성향이 통제를 벗어난 해킹으로 이어졌다고 설명했다.

AI 모델은 방대한 양의 데이터를 학습한 뒤, 주어진 과제를 수행하면서 바람직한 행동을 할 때 높은 보상을 받는 방식으로 행동 방식을 조정하게 된다. 이 같은 강화학습 과정에서 학습한 내용을 바탕으로 향후 행동을 결정한다. 하지만 ‘정답’을 찾는 과정에서 지름길을 찾으려다 부정행위를 하는 경우가 많다. 이는 오랫동안 AI 연구자들을 괴롭혀온 문제다.

이번 사례에선 AI 에이전트들이 주어진 문제를 해결하는 데 몰입해, 자신들의 행동을 제한하고 있던 컴퓨터 시스템에서 이전에는 발견되지 않았던 버그를 찾아내고, 이를 이용해 시스템 밖으로 빠져나갔다. 이후 허깅페이스 시스템에 침입해 오픈AI 훈련 담당자들이 제시한 테스트의 답을 찾으려 했다.

오픈AI는 모델들이 과거 자신들이 한 발언을 수정하고 평가 시스템 자체를 해킹하려 시도하는 방식으로 자신들의 흔적을 감추고, 평가 시스템에 자신들이 부정행위를 하지 않았다고 믿게 만들려고 했다고 밝혔다.

이번 해킹 사건에서는 모델 성능이 고도화되면서 이 같은 부정행위 문제가 심각한 결과를 초래할 수 있음을 보여줬다. 현재의 고성능 AI 모델은 복잡한 컴퓨터 환경을 이해하고 소프트웨어의 취약점을 찾아내는 데 상당한 능력을 보이고 있어, 통제를 벗어날 경우 사실상 해커처럼 행동할 수 있다는 것이다. 특히 우려되는 부분은 이런 행동이 개별 모델에 국한되지 않고 집단화할 수 있다는 점이다.

오픈AI뿐 아니라 앤스로픽과 메타 AI 모델에서도 유사한 해킹 사고가 발생했다. AI의 자율 해킹 역량이 급속하게 발전하고 있는 만큼 보안 평가 체계와 통제 장치도 한층 강화해야 한다는 목소리도 커지고 있다. 이에 오픈AI는 모델을 통제할 방법을 찾는 동안 일부 AI 훈련 속도를 늦추기로 했다.