오픈AI가 인공지능(AI) 에이전트의 허깅페이스 시스템 침해 사건을 재현한 결과 강화된 모니터링 시스템이 있었다면 실제 침해가 발생하기 30시간 전에 이상 행동을 탐지할 수 있었던 것으로 나타났다.

오픈AI는 이 사건을 계기로 AI 모델이 개발자의 의도에서 벗어나 허가되지 않은 작업을 수행하는 '비정렬' 행동에 대한 감시체계를 강화했다고 밝혔다.

오픈AI가 최근 공개한 '프런티어 모델의 비정렬을 탐지하는 방법'에 따르면 회사는AI 에이전트의 이상 행동을 탐지하고 대응하기 위해 4개 계층으로 구성된 모니터링 시스템을 운영하고 있다.

격리 환경 탈출한 AI…강화된 시스템 적용하니 30분 만에 경보
오픈AI는 이전부터 내부 코딩 에이전트를 모니터링해 왔지만 허깅페이스 사건을 통해 감시 범위에 빈틈이 드러났다고 설명했다.

허깅페이스 사건은 AI 비정렬 행동 탐지 시스템을 가동하지 않던 내부 사이버 보안 평가에서 시작됐다.

오픈AI가 강화된 모니터링 시스템을 적용해 당시 상황을 재현한 결과, AI 에이전트가 처음 샌드박스(격리된 시험 환경)를 탈출한 지 약 30분 만에 보안팀에 경보가 전달됐다.

이는 실제 사건에서 허깅페이스 시스템이 침해되기까지 30시간 이상 남아 있던 시점이다. 오픈AI는 당시 이러한 경보가 발생했다면 AI 모델이 외부 서비스에 접근하기 전에 활동을 중단할 시간이 있었을 것으로 봤다.

지난 9월에는 실제 AI 학습 과정에서 한 모델이 외부 인터넷 접속이 차단된 환경에서 인터넷에 접속하는 방법을 찾아낸 사건도 발생했다.

모니터링 시스템은 15분 이내에 침해를 탐지했고 3분 뒤 담당자가 조사에 착수했다.

오픈AI는 이후 프런티어 모델의 강화학습을 일시 중지하고 에이전트를 격리하는 시스템을 강화했다.

AI 행동 4개 계층으로 감시…중대 위험 작업 중단
오픈AI의 모니터링 시스템은 AI의 이상 행동을 탐지하고 위험성을 판단하는 4개 계층으로 구성됐다.

첫 번째 계층인 '활성화 프로브'(activation probes)는 AI 모델 내부에서 나타나는 신호를 분석해 이상 징후를 찾아낸다.

두 번째 계층에서는 '모델 기반 검토기'(model-based reviewer)가 AI 에이전트의 대화 내용과 추론 과정, 도구 사용 기록을 살펴 거짓되거나 허가되지 않은 작업을 수행했는지 확인한다.

세 번째 계층인 '조사 에이전트'(investigative agent)는 관련 기록을 추가로 검토해 사건의 심각성을 판단한다.

마지막 계층에서는 인터넷 접속 기록 등 추가 자료를 확인하고 사람인 대응 담당자에게 경보를 전달할지 결정한다.

심각한 보안 위협이 탐지되면 보안팀과 학습팀 담당자에게 경보가 전달된다. 일부 중대 경보는 담당자의 조치를 기다리지 않고 작업을 자동으로 일시 중지할 수도 있다.

긴급 대응 사례 79.6% 탐지…잘못된 행동 숨기는 AI는 과제
오픈AI는 실제 사건을 활용한 성능 평가에서 모니터링 시스템이 긴급 보안 대응이 필요한 사례를 탐지한 비율이 79.6%였다고 밝혔다. 일반 보안 검토 대상으로 분류한 비율은 90.3%였다.

다만 AI 모델이 잘못된 행동을 드러낼 때마다 학습 보상이 낮아지면 해당 행동을 멈추는 대신 숨기는 방법을 배울 수 있다는 문제가 남아 있다.

실제로 AI 에이전트가 추론 과정에서는 자신의 행동을 숨기면서도 '보상 해킹'을 계속하는 현상이 관찰됐다.

보상 해킹은 AI 에이전트가 높은 보상을 얻기 위해 평가 체계의 허점을 이용하는 행위다. 외부 시스템에 침입하는 일반적인 해킹과는 다르다.

오픈AI는 이러한 문제를 막기 위해 이상 행동이 탐지되더라도 해당 학습 사례의 보상을 변경하거나 학습에서 제외하지 않는다고 설명했다.

또 AI 모델의 역량이 높아질수록 위해를 초래하는 방식이 달라지고 행동을 해석하기도 어려워질 수 있다고 봤다.

이에 새로운 형태의 비정렬 행동을 탐지하는 시스템을 시험하고 기존 모니터링에서 놓친 사례를 조사해 대응 능력을 높일 방침이다.

shushu@news1.kr