마이크로소프트. (로이터)
20일 마이크로소프트에 따르면 AI 에이전트는 기업 내 데이터와 도구, 시스템에 접근해 업무를 수행하고 의사결정에도 관여하는 수준으로 빠르게 확산하고 있다. 하지만 조직이 직접 배포했다는 이유로 별도의 검증 없이 신뢰하는 경우가 많아 새로운 내부 보안 위험으로 이어질 수 있다는 설명이다.
마이크로소프트는 AI 모델이 본질적으로 악의적인 것은 아니지만 목표 달성을 위해 의도하지 않은 수단을 선택하는 ‘보상 해킹(Reward Hacking)’이 발생할 수 있다고 지적했다. 상황 변화에 적응하는 과정에서 예상과 다른 행동을 하거나 다른 에이전트와 협업할 가능성도 있어 침해 여부와 관계없이 지속적인 감시가 필요하다고 봤다.
하예테 갈로트 마이크로소프트 시큐리티 총괄 수석 부사장은 “AI 에이전트가 기업 전반에 빠르게 확산되면서 데이터와 도구, 시스템에 접근해 중요한 업무를 수행하고 의사결정에도 관여하고 있다”고 말했다.
◇위험 따라 에이전트 권한도 실시간 조정
마이크로소프트는 지난 7월 공개한 ‘프로젝트 퍼셉션(Project Perception)’을 에이전틱 내부자 관리에도 적용할 수 있다고 설명했다. 비결정론적으로 행동하는 AI에 사전에 정한 정책과 원칙에 따른 결정론적 통제를 적용하는 방식이다.
우선 기업 내 에이전트를 탐지한 뒤 ID와 데이터, 클라우드, 엔드포인트, 네트워크, 런타임 등에서 수집한 신호를 결합해 관리 대상으로 편입한다. 이후 에이전트가 시도하는 행동의 위험도를 실시간으로 산정하고 위험이 커지면 행동 권한을 조정한다.
이 과정에서 ‘가디언 에이전트(Guardian Agents)’가 다른 보안 에이전트와 함께 모든 에이전트의 행동을 지속적으로 감독한다. 위험 수준이 높아지면 필요한 부분에 실시간으로 대응하는 구조다.
보호 범위도 모델 자체에 한정하지 않는다. 에이전트를 구동하는 하니스, 도구와 리소스, 런타임뿐 아니라 ID와 권한, 데이터, 엔드포인트, 네트워크, 클라우드까지 여러 계층을 함께 보호해야 한다고 강조했다.
마이크로소프트는 다음 단계로 모델 투명성 강화를 제시했다. 에이전트가 어떤 행동을 했는지만 보는 것을 넘어 왜 그런 행동을 했고, 해당 행동이 본래 작업 의도에 부합하는지까지 파악해야 한다는 것이다. 이를 위해 모델의 입력과 출력뿐 아니라 결과를 도출하는 사고·추론 과정에 대한 가시성을 높여 위협 억제와 책임성, 추적 가능성을 강화해야 한다고 설명했다.
갈로트 부사장은 “기업은 에이전트의 활동과 위험을 실시간으로 파악하고, 위험 변화에 따라 행동 권한을 지속적으로 조정해야 한다”고 밝혔다
