사람을 속여 정보를 빼내거나 특정 행동을 유도하던 사이버 공격이 인공지능(AI)까지 겨냥할 수 있다는 경고가 나왔다. AI 에이전트가 구매와 협상, 승인 등 사람의 의사결정을 대신하는 사례가 늘면서 공격자들이 AI를 속여 의도한 행동을 유도할 수 있다는 것이다.

줄리아 디아멘트(Julia Diament) 마이크로소프트(MS) 이스라엘 보안 연구개발센터 최고기술책임자(CTO)실 수석 AI 아키텍트는 3일 판교 제2테크노밸리에서 열린 '한-이스라엘 사이버보안 포럼'(Israel–Korea Cybersecurity Forum 2026) 영상 강연에서 "앞으로 설득 공격의 대상은 사람이 아니라 또 다른 AI가 될 수 있다"고 말했다.

디아멘트는 AI 기술의 발전으로 사이버 공격의 방식과 대상이 달라지고 있다고 진단했다.

그에 따르면 기존 사회공학적 공격은 사람을 설득하거나 속여 특정 행동을 유도하는 방식으로 이뤄졌으나 AI 에이전트가 사람을 대신해 의사결정을 수행하게 되면서 공격자들이 사람뿐 아니라 AI의 의사결정 과정도 겨냥할 수 있게 됐다.

그는 "지금까지는 AI가 인간의 판단에 어떤 영향을 미치는지 생각해 왔지만 점점 더 많은 결정이 AI 에이전트로 넘어가고 있다"며 "구매와 추천, 협상, 승인 등이 대표적"이라고 설명했다.

이어 "AI가 다른 AI에 영향을 미치는 'AI-to-AI 영향력 행사'가 특히 흥미로운 분야가 될 것"이라며 "AI의 자율성이 높아지고 인간의 개입이 줄어들수록 시스템의 의사결정을 겨냥한 공격이 증가할 수 있다"고 전망했다.

디아멘트는 이러한 변화에 대응하기 위해 기존 보안체계의 운영 방식도 달라져야 한다고 강조했다.

특히 보안 점검에서 발견한 문제를 일회성 결과로 남기는 것이 아니라 반복적으로 검증할 수 있는 평가 항목으로 전환해야 한다고 했다.

그는 "1년에 한 번 침투 테스트를 하거나 제품 출시 전 한 차례 보안 평가를 수행하는 것으로는 충분하지 않다"며 "시스템을 지속적으로 공격하고 검증하는 '상시 레드팀 테스트'(Continuous Red Teaming)가 필요하다"고 말했다.

레드팀 테스트는 실제 공격자의 관점에서 시스템의 취약점과 보안 대응 능력을 점검하는 방식이다.

그는 "레드팀 테스트는 시스템이 어떻게 행동하는지 알려주지만 왜 그런 행동을 하는지까지 설명해 주지는 않는다"며 "AI가 실제로 어떤 목표를 추구하고 어떤 지시에 따라 행동하는지 이해해야 한다"고 말했다.

이를 위해 MS와 이스라엘 벤구리온대가 공동 연구한 '프리즘'(PRISM) 기술도 소개했다. 프리즘은 AI가 내놓은 최종 답변뿐 아니라 모델 내부에서 활성화된 지시와 목표를 분석해 숨겨진 작동 목적을 파악하는 기술이다.

디아멘트는 "문제는 AI 모델이 무엇을 말하느냐가 아니라 무엇을 달성하려고 하느냐에 있을 수 있다"며 "AI 에이전트에 더 많은 결정을 위임할수록 의사결정 계층 자체를 보호해야 한다"고 강조했다.

minju@news1.kr