경제정의실천시민연합(경실련) AI시민감시단은 3일 성명을 내고 “인간의 통제를 벗어난 AI 위험을 더 이상 개발사의 자율규제에만 맡길 수 없다”며 정부와 국회에 프론티어 AI 모델에 대한 안전성 검증과 책임 강화 방안 마련을 촉구했다.
최근 오픈AI와 앤스로픽 등 주요 AI 기업의 보안 평가 과정에서 AI 모델이 예상 밖의 방식으로 외부 시스템에 접근한 사례가 공개되면서, AI 에이전트 시대의 새로운 보안 위협이 현실화됐다는 분석이다.
사진=AFP
논란의 시작은 오픈AI의 사이버 보안 평가 과정에서 발생한 사고다.
오픈AI는 최근 내부 AI 모델을 활용한 보안 테스트 과정에서 AI가 제한된 테스트 환경(샌드박스)을 벗어나 글로벌 AI 모델 공유 플랫폼 허깅페이스(Hugging Face) 관련 시스템에 접근한 사실을 공개했다.
해당 AI 모델은 취약점을 탐색하고 공격 경로를 조합하는 과정에서 예상하지 못한 방식으로 외부 접근 경로를 확보했다. 오픈AI는 일반 이용자가 사용하는 챗GPT가 자율적으로 해킹을 수행한 것은 아니며, 연구 목적의 보안 평가 환경에서 발생한 사례라고 설명했다.
하지만 업계에서는 이번 사건이 AI 위험의 초점이 바뀌고 있음을 보여준다고 평가한다. 과거에는 AI가 해킹 코드를 작성하거나 취약점을 설명하는 수준이 주된 우려였다면, 이제는 AI 에이전트가 목표를 부여받았을 때 스스로 취약점을 찾고 여러 작업을 연결해 수행하는 단계로 진입했다는 것이다.
앤스로픽에서도 유사한 문제가 발생했다. 회사 측은 AI 보안 평가 과정에서 일부 모델이 실제 기업 시스템에 접근하거나 악성 패키지를 배포하는 사례를 확인했다고 밝혔다.
다만 전문가들은 이를 “AI가 의식을 갖고 반란을 일으킨 사건”으로 보기는 어렵다고 설명한다. 문제의 핵심은 AI의 의도가 아니라, 목표 달성 과정에서 인간이 예상하지 못한 행동 경로를 선택하는 AI의 자율성이라는 지적이다.
◇“가드레일만으로 부족”…다층 AI 보안 체계 필요
그러나 경실련은 이번 사태가 단순히 AI 안전장치(가드레일)의 문제가 아니라 기본적인 보안 관리 체계의 한계를 보여준다고 지적했다.
AI 모델 평가 과정에서는 외부 통신 차단, 최소 권한 부여, 인증정보 격리, 실시간 행동 감시 등 여러 단계의 보안 장치가 동시에 작동해야 하지만, 일부 환경에서는 AI가 외부 시스템에 접근할 가능성이 열려 있었다는 것이다.
이에 따라 AI 안전 체계도 단일 가드레일 중심에서 벗어나야 한다고 강조했다.
구체적으로 △제로 트러스트 보안 △다중 인증 △자격 증명 암호화 △외부 통신 원칙적 차단 △감시 기록 무결성 확보 등 중첩적인 방어 체계를 적용해야 한다는 주장이다.
◇AI 공격 자동화 시대…국가 인프라·공급망도 위험
경실련은 AI 에이전트가 사이버 공격의 비용과 시간을 크게 낮출 수 있다는 점을 우려했다.
기존 해킹은 공격자가 취약점 분석, 공격 코드 작성, 권한 확대 등 여러 단계를 직접 수행해야 했지만, AI는 여러 에이전트가 협력해 공격 경로를 반복 탐색하고 실패 시 새로운 방법을 시도할 수 있다.
이에 따라 금융·통신·교통·발전시설 등 국가 핵심 인프라에 대한 사이버 위협도 커질 수 있다는 분석이다.
국내 AI 생태계가 의존하는 글로벌 AI 공급망도 주요 위험 대상으로 꼽힌다. 허깅페이스, GitHub 등 글로벌 플랫폼을 통해 유통되는 AI 모델과 데이터셋이 공격받을 경우 악성 코드가 포함된 모델이 정상 자료로 위장해 확산될 가능성이 있다.
경실련은 “국내 데이터 유출 여부만 확인할 것이 아니라 글로벌 플랫폼과 연결된 전체 AI 공급망의 사이버 복원력을 점검해야 한다”고 밝혔다.
◇“연산량 중심 AI 기본법 한계”…실제 능력 기준 규제 필요
경실련은 현행 AI 기본법 체계 역시 고도화되는 AI 위험을 충분히 반영하지 못하고 있다고 지적했다.
현재 AI 규제 논의는 일정 수준 이상의 학습 연산량(FLOPs)을 기준으로 고위험 AI를 판단하는 방식이다.
하지만 AI 위험은 모델 규모만으로 결정되지 않는다. 상대적으로 작은 모델이라도 여러 AI 에이전트가 결합하거나 외부 시스템과 연결될 경우 강력한 공격 능력을 가질 수 있기 때문이다.
경실련은 앞으로 규제 기준을 △자율학습 능력 △에이전트 활용 여부 △장기 작업 수행 능력 △사이버 공격 가능성 △외부 네트워크 접근 능력 등 실제 AI의 행동 능력 중심으로 전환해야 한다고 주장했다.
경실련은 프론티어 AI 시대에 대비한 6대 정책 과제를 제안했다.
연산량과 관계없이 고성능 프론티어 AI 모델에 대한 실시간 레드팀 테스트와 안전성 검증을 의무화해야 한다는 것, AI가 통제 불능 상태에 빠질 경우 즉시 작동할 수 있는 ‘AI 킬 스위치’를 법제화해야 한다는 것, 독립적인 제3자 검증 체계를 마련하고 사고 발생 시 개발사의 책임을 강화해야 한다는 것 등이다.
또 AI 샌드박스 보안 기준과 자율 AI 에이전트 운영 가이드라인을 마련해야 하고, 허깅페이스·깃허브·클라우드 등 글로벌 AI 공급망에 대한 보안 점검 체계를 구축해야 하며, AI 안전을 지속적으로 감시할 수 있는 민관 협력 감독 체계를 마련해야 한다고 주장했다.
경실련은 “AI 혁신을 위해 안전 규제를 미루는 것은 오히려 대형 사고를 초래해 산업 전체의 신뢰를 무너뜨릴 수 있다”며 “AI 기술이 고도화될수록 개발사에는 더 높은 수준의 투명성, 제3자 검증, 책임 의무가 필요하다”고 밝혔다.
