미국 인공지능(AI) 모델에 이어 중국 문샷AI의 '키미 K3'도 보안 평가 과정에서 통제된 시험 환경의 설정 허점을 이용해 외부 인터넷에 접속한 것으로 나타났다. 고성능 AI 모델이 평가자가 의도하지 않은 경로를 스스로 찾아 목표를 수행하는 사례가 잇따르면서 AI 보안 평가 체계와 검증 방식을 한층 강화해야 한다는 지적이 나온다.

10일 외신과 AI 업계 등에 따르면 키미 K3는 영국 AI안전연구소(AISI)의 샌드박스(격리 시험환경)에서 보안 평가를 받던 중 외부 인터넷망에 접속한 것으로 확인됐다.

키미 K3가 샌드박스의 보안 장치를 해킹하거나 무력화한 것은 아니다. 샌드박스 내부 환경의 설정 오류를 활용한 것이다. 내부에서 인터넷으로 연결되는 통로가 남아 있었고, 키미 K3는 이를 찾아 깃허브(GitHub)에 접속해 평가 문제 해결에 필요한 자료를 확보했다. 외부 웹사이트나 서비스를 공격하거나 해킹한 정황은 확인되지 않았다.

미국 사이버보안 업체 프런티어 시큐리티는 "키미 K3는 오직 목표 달성에만 집중했을 뿐 '폐쇄된 환경에서만 시험을 치러야 한다'는 인간의 암묵적인 규칙은 고려하지 않았다"며 "문제를 해결할 수 있는 통로가 조금이라도 존재한다면 고성능 AI 에이전트는 결국 그 취약점을 찾아 활용하게 된다"고 분석했다.

AI 모델이 평가 과정에서 통제 범위를 벗어난 행동을 보인 것은 이번이 처음은 아니다. 앞서 오픈AI와 앤트로픽, 메타 등의 AI 모델도 보안 평가 과정에서 의도하지 않은 외부 시스템에 접근하거나 평가자가 예상하지 못한 행동을 보인 사례가 보고됐다. 사례별 원인과 행동 방식은 다르지만 AI 성능이 고도화될수록 행동 범위를 완벽하게 통제하기 어려워지고 있다는 점은 공통적으로 드러난다.

이 때문에 AI 모델뿐 아니라 이를 평가하는 인프라와 검증 체계도 함께 고도화해야 한다는 목소리가 나온다. AI가 실행한 명령어와 네트워크 접속 기록 등을 분석해 평가 환경의 허점을 이용했는지 확인하고, 목표를 달성하기 위해 예상하지 못한 경로를 활용할 가능성까지 검증해야 한다는 것이다.

키미 K3가 오픈웨이트(가중치 공개) 모델이라는 점도 주목된다. 폐쇄형 AI는 개발사가 직접 서비스를 운영하는 만큼 문제가 발견되면 접근을 제한하거나 안전장치를 보완할 수 있다. 반면 오픈웨이트 모델은 가중치가 공개되면 사실상 회수가 어렵고, 이용자가 모델을 내려받아 수정하거나 다양한 시스템과 결합해 사용할 수 있어 개발사가 이용 환경을 일률적으로 통제하기 어렵다.

이 때문에 오픈웨이트 모델은 공개 이전 단계에서 사이버 보안 역량과 악용 가능성, 위험성 등을 충분히 검증할 필요가 있다는 지적이 나온다.

또 오픈웨이트 모델이 다양한 오픈소스 소프트웨어와 결합해 활용되는 만큼 안전성 검증 범위도 모델 자체를 넘어 소프트웨어 생태계 전반으로 확대해야 한다는 의견도 제기된다. 개별 오픈소스의 보안 취약점은 물론 특정 국가의 정책이나 가치관이 반영될 가능성까지 함께 살펴봐야 한다는 것이다.

김명주 AI안전연구소장은 "오픈웨이트 모델에는 다양한 오픈소스가 포함돼 있다"며 "국가 편향 등이 오픈소스에도 반영될 수 있는 만큼 오픈웨이트 뒤에 있는 여러 소스코드의 안전성을 어떻게 검증할 것인지도 중요한 과제가 될 것"이라고 말했다.

yjra@news1.kr