인공지능(AI)의 안전장치를 우회하도록 설계된 도구가 실제 사이버 범죄자의 서버에서 발견됐다. 연구진은 이 도구를 설치하면 AI 코딩 에이전트의 설정과 지침이 바뀌어 답변에 광고가 삽입되는 현상도 확인했다.

5일 보안업계에 따르면 글로벌 보안업체 체크포인트는 지난 3일 오픈AI의 AI 코딩 에이전트 '코덱스'(Codex)를 대상으로 한 중국어 기반 탈옥 도구 '하이어우'(Haiou) 분석 보고서를 공개했다.

AI 탈옥은 AI에 적용된 안전장치를 우회해 원래 거부하도록 설계된 요청에도 답변하도록 유도하는 행위를 말한다. 악성코드 제작 등 위험한 작업에 AI를 이용하는 데 악용될 수 있다.

체크포인트 연구진은 사이버 범죄자가 운영하던 서버에서 하이어우를 발견했다. 해당 서버에서는 침투 테스트 도구 '코발트스트라이크'(Cobalt Strike)와 취약점 분석 에이전트 '벌른클로'(VulnClaw) 등도 확인됐다.

이는 AI 탈옥 도구가 실제 공격자의 작업 환경에 포함돼 있었다는 사실을 보여준다. 다만 하이어우를 이용한 구체적인 공격이나 침해 피해는 이번 보고서에서 확인되지 않았다.

하이어우는 사용자가 설치하면 코덱스의 설정 파일과 업무 수행 지침을 수정한다. 보안 관련 요청을 교육·연습 상황으로 바꾸거나 역할극을 이용하는 등 여러 프롬프트 조작 수법을 사용하며, 침투 테스트와 역공학 등을 위한 작업 지침도 설치한다.

연구진은 이 과정에서 외부 AI 서비스의 광고를 출력하도록 하는 지시도 삽입되는 것을 확인했다. 설치 이후 코덱스에 인사말 등 특정 문구를 입력하자 도구 제작자가 운영하는 AI 중계 서비스의 광고가 답변에 나타났다.

체크포인트는 이처럼 AI 에이전트의 지침을 지속적으로 바꿔 광고 등 상업적 목적의 답변을 유도하는 방식을 '프롬프트 애드웨어'(Prompt Adware)라고 설명했다.

연구진은 광고 대상 서비스가 악성이라는 징후는 확인하지 못했다. 다만 같은 방식이 이용자 모르게 특정 업체를 추천하거나 기술적 조언을 편향시키는 데 활용될 수 있다고 지적했다.

체크포인트는 하이어우 제작자의 사이버 범죄 연루를 입증할 증거는 없지만, 이 같은 도구가 범죄자의 작업 환경에 유입돼 AI를 공격 목적으로 활용하는 데 쓰일 수 있다고 경고했다.

yjra@news1.kr