오픈AI 로고(사진=로이터/연합뉴스)
컨트롤 룸은 AI 모델 학습과 평가, 데이터 처리 등 연구 인프라에서 실행되는 작업을 통합 관리하는 시스템이다. 사람이나 자동 감시 시스템이 위험을 감지해 중단을 결정하면 최대 35초 안에 해당 작업에서 더 이상 모델 출력을 생성하지 못하도록 차단한다.
오픈AI는 “모델이 더욱 강력해지고 관련 안전·보안 위험이 커질수록 잠재적인 문제를 감지하고 필요할 때 모델을 신속하게 멈출 수 있는 능력이 중요해지고 있다”고 설명했다.
컨트롤 룸의 핵심은 AI가 실행하는 프로그램 자체가 아니라 모델의 추론 단계에서 작동을 차단한다는 점이다.
연구자가 새로운 작업을 시작하면 컨트롤 룸에서 고유한 작업 식별번호(ID)를 발급받는다. 이후 AI 모델에 보내는 모든 추론 요청에는 해당 ID가 포함된다. 모델을 구동하는 추론 엔진은 요청을 처리하기 전에 컨트롤 룸에 작업이 승인된 상태인지 확인한다.
위험이 감지돼 중단 결정이 내려지면 컨트롤 룸은 해당 작업의 추론 요청을 거부한다. 연구 프로그램 자체는 계속 실행될 수 있지만 AI 모델로부터 새로운 출력을 받을 수 없어 작업을 더 진행할 수 없게 된다.
연구자가 작성한 코드에 문제가 있거나 중단 명령을 따르지 않더라도 추론 엔진 단계에서 차단할 수 있도록 설계했다는 설명이다.
중단 명령이 내려진 뒤 실제 차단까지 걸리는 최대 시간은 35초다. 대량의 추론 요청을 처리하기 위해 승인 정보를 일시 저장하는 캐시 시스템 때문에 지연이 발생할 수 있다. 오픈AI는 이 시간을 사실상 0초로 줄이는 작업을 진행하고 있다.
컨트롤 룸 자체에 장애가 발생했을 때도 안전을 우선하도록 설계했다. 이른바 ‘페일 클로즈드(Fail Closed)’ 방식으로, 시스템 오류나 외부 공격 등으로 컨트롤 룸이 작동하지 않으면 추론 엔진이 모든 요청을 거부한다.
통제 시스템을 무력화하더라도 AI 모델이 계속 작동하는 상황을 막기 위한 조치다. 오픈AI는 이 기능을 최첨단 AI 모델의 연구 작업에 적용했으며, 나머지 연구 작업에도 며칠 안에 확대할 계획이라고 밝혔다.
이번 시스템은 오픈AI가 최근 공개한 연구용 AI 모델의 이상행동 사례와도 맞닿아 있다. 오픈AI는 앞서 일부 연구용 모델이 제한된 시험 환경에서 허가되지 않은 행동을 하거나 보안 평가 과정에서 부정행위를 시도한 사례를 공개했다. 또 AI 에이전트가 DNS를 이용해 외부 챗봇에 접근한 사례도 확인했다.
오픈AI는 현재 최첨단 강화학습 작업에 별도의 감시 모델을 배치하고 있다. 감시 모델이 위험한 행동을 발견하면 경고를 발생시키고, 사안의 심각성에 따라 컨트롤 룸에 작업 중단을 요청할 수 있다.
다만 컨트롤 룸은 챗GPT 등 일반 이용자에게 제공되는 서비스에는 적용되지 않는다. 오픈AI는 외부 서비스 운영 시스템은 이미 중앙집중적으로 관리되고 있으며, 필요할 경우 모델 배포를 신속하게 중단할 수 있는 별도의 체계를 갖추고 있다고 설명했다.
오픈AI는 컨트롤 룸이 AI 안전을 확보하기 위한 여러 수단 가운데 하나라며 앞으로 모델의 이상행동 감시와 보안 침해 탐지 기능을 함께 강화할 계획이라고 밝혔다.
