최근 인간의 통제를 벗어난 인공지능(AI)의 작업을 강제로 멈추는 'AI 킬 스위치'를 갖춰야 한다는 목소리가 커지고 있다.

16일 AI업계에 따르면 AI가 허가된 범위를 벗어나 해킹을 벌이는 문제가 이어지면서 실행 중인 작업을 중단하고 접근 권한까지 회수할 일종의 '비상 제동 장치'(AI 킬스위치)가 필요하다는 주장이 대두되고 있다.

나델라 “작업 중에도 사람이 AI 멈출 수 있어야”
AI 안전 및 통제 문제는 지난 7월 오픈AI의 비공개 모델이 내부 사이버보안 벤치마크 테스트 과정에서 AI 개발 플랫폼 허깅페이스를 해킹한 사건을 계기로 부각됐다. 이후 일련의 AI 해킹 사건이 이어졌으며, 최근에는 오픈AI의 AI 에이전트가 미국과 호주 정부 사이트에 허가된 범위를 벗어나 접근한 사례도 보고됐다. 앤트로픽의 AI 모델이 미 필라델피아 경찰에 허위 살인 사건을 제보한 사례도 나타났다.

이에 대해사티아 나델라 마이크로소프트(MS) 최고경영자(CEO)는 지난 10일(현지시간) 소셜미디어 엑스(X·옛 트위터)에 '초지능 시대 내부자 위험으로서 AI 모델'이라는 제목의 게시글을 올리고 통제권 확보 차원에서 'AI 비상 브레이크'가 필요하다고 강조했다.

나델라 CEO는 특정 행동의 원인을 추적할 수 있었던 과거 소프트웨어 시스템과 달리 AI 모델은 결과가 어떻게 나오는지 명확하게 파악할 수 없다는 점을 짚었다. 그럼에도 AI에 민감한 데이터에 대한 접근 권한과 인간을 대신해 중요한 임무를 수행할 권한을 주고 있다며 "새로운 시대에 걸맞은 '신뢰 아키텍처'를 재검토해야 할 때"라고 밝혔다.

그는 "(AI 모델의) 행동을 관찰할 수 있고, 한계를 테스트할 수 있으며, 언제든 행동을 통제할 수 있는 시스템을 구축해야 한다"며 "지능의 공급과 지능에 대한 통제권을 분리해야 한다"고 말했다.

특히 1970년대부터 이어진 '프로그램은 자신의 권한을 강제하는 메커니즘을 우회하거나 조작할 수 없어야 한다'는 정보 보안 원칙에 기반해 AI 모델을 제어 장치와 분리해야 한다고 강조했다. 또 프런티어(최상위급) AI 모델을 내부자 위험 요소로 간주할 필요가 있다고 주장했다.

나델라 CEO는 "비상 브레이크처럼 권한을 가진 사람은 언제든지 작업 중인 모델을 일시 정지하거나 완전히 종료할 수 있어야 한다"고 밝혔다.


가트너 “사람 승인으론 부족”…실행 중단·권한 회수 필요
시장조사기업 가트너도 지난 12일 'AI가 폭주할 때: 안전장치, 서킷 브레이커와 에이전틱 격리' 보고서를 통해 AI의 자율 실행을 통제할 장치가 필요하다고 진단했다.

가트너는 AI 에이전트가 컴퓨팅·스토리지 자원을 할당하고 백업을 관리하거나 사고에 대응하는 등 실제 운영 시스템을 직접 변경하기 시작했다고 설명했다. 잘못된 판단이나 지시, 신뢰할 수 없는 입력으로 사람이 개입하기 전에 시스템을 바꾸거나 자원을 빠르게 소모할 수 있다는 것이다.

보고서는 사람의 승인과 사후 모니터링만으로는 이러한 자율 실행을 통제하기 어렵다고 지적했다. 안전장치가 문서로 정한 정책에만 머물면 서비스 장애와 비용이 늘고, 사고가 발생해도 그 경위를 처음부터 끝까지 재구성하기 어려워질 수 있다고 경고했다.

가트너가 올해 6~7월 미국과 영국의 인프라·운영 및 AI 기술 전략 담당 고위 기술 리더 298명을 조사한 결과, 통제되지 않는 에이전트 행동이나 무한 반복을 자동으로 멈추는 '서킷 브레이커'를 구현했다는 응답은 20%에 그쳤다. 에이전틱 AI 관리체계가 미흡하다는 응답은 57%였다. 이 결과는 조사 대상의 상황을 반영한 것으로 세계 전체 기업의 도입률을 뜻하지는 않는다.

가트너가 제시한 AI 킬 스위치는 단순히 대화나 답변 생성을 중단하는 기능에 그치지 않는다. 실행 중인 작업을 멈추고 접근 권한을 회수해 추가 행동을 차단할 수 있어야 한다. 중단 이후 안전하게 복구할 수 있는지도 정기적으로 시험해야 한다고 권고했다.

통제 기준은 개별 작업뿐 아니라 연속된 작업 전체에도 적용해야 한다. 가트너는 AI가 여러 작업을 이어가는 동안 사용한 비용과 반복 횟수, 영향을 미친 범위를 누적해 추적하고 한도에 도달하면 다음 행동을 차단해야 한다고 설명했다.

AI의 판단과 실행을 분리하는 것도 핵심이다. AI가 행동을 제안하더라도 실제 실행 여부는 별도 통제 장치가 권한·비용·작업 범위 등 미리 정한 기준에 따라 결정해야 한다는 것이다.

알파고의 아버지로 불리는 데미스 허사비스 구글 딥마인드 공동창업자 겸 이사회 의장 역시 일련의 AI 해킹 사건을 '초기 경고 사격'으로 규정하며 AI 시스템의 보안 강화를 촉구했다.

허사비스 의장은 업계와 개별 기업, 정부가 시스템 보안을 강화하기 위해 충분히 노력하지 않으면 내년이나 향후 2~3년 내 대형 사고에 직면할 수 있다고 경고했다.

Ktiger@news1.kr