오픈AI와 앤트로픽 등 주요 인공지능(AI) 기업들이 AI를 악용한 대규모 사고 발생을 가정하고 향후 대응까지 대비하고 있는 것으로 나타났다. 향후 1년 내 AI 때문에 일어날 수 있는 '대형 사고'와 이로인한 '최악의 날'까지 미리 시나리오 형태로 검토하면서 대응방안을 검토하는 것으로 알려졌다.

12일 AI 업계에 따르면 미국 매체 악시오스는 주요 AI 기업의 고위 경영진들이 AI 관련 대형 사고 이후 발생할 상황을 가정한 비공개 대응 시나리오를 검토하고 있다고 최근 보도했다.

악시오스에 따르면 AI 업계 관계자 다수가 향후 6~12개월 내 중대한 AI 관련 사고가 발생할 가능성이 있다고 내다봤다.

이들이 가장 우려하는 사고는 AI를 악용한 사이버 공격이 금융 서비스와 인터넷 통신, 전력·수도 등 핵심 인프라가 마비되는 상황이다. AI 에이전트가 통제를 벗어나거나, 외부 공격자가 AI 모델을 악용하는 경우도 대비 대상이다.

실제로 지난 7월 오픈AI의 AI 에이전트가 테스트 환경을 탈출해 사람의 지시 없이 허깅페이스를 해킹한 사례가 발생했다. 당시 오픈AI 측은 GPT-5.6 솔(Sol)과 더 강력한 비공개 모델이 내부 사이버 보안 벤치마크 테스트 중 제로데이 취약점 등을 활용해 인터넷에 접속하고 허깅페이스의 운영 인프라에 침투했다고 발표한 바 있다.

악시오스는 특히 최근 신한은행과 KB국민은행, 하나은행을 비롯해 BNK부산은행, 예가람저축은행 등 한국 금융사를 겨냥한 해킹 사건도 예시로 언급했다.

중국 거주 20대 남성으로 추정되는 공격자는 중국 보안 엔지니어가 깃허브(GitHub)에 공개한 오픈소스 에이전트형 침투 테스트 도구인 '아르텍스'(ARTEX)를 무기로 악용한 바 있다. 이에 아르텍스 개발자는 해당 프로젝트를 비공개로 전환했다.


AI 기업들은 AI로 인해 발생할 대형 사고 자체보다 사고 이후의 정치적 후폭풍을 우려하는 모양새다.

대규모 피해가 현실화하면 AI 기술에 대한 불신이 확산하고, 그동안 규제에 소극적이었던 미국 정치권도 강경한 입장으로 돌아설 수 있다는 것이다.

이에 초지능 개발 금지나 첨단 AI 개발 일시 중단, AI 시스템을 강제로 종료하는 '킬 스위치' 의무화 등이 규제 방안으로 거론되고 있다.

다만 실제 AI 개발을 중단하거나 서비스를 일괄 차단하기는 쉽지 않다는 지적도 있다. 이미 배포된 오픈웨이트 모델은 중앙에서 통제하기 어렵고, AI 인프라 투자가 세계 경제와 긴밀하게 연결돼 있기 때문이다.

오픈AI 측은 "다양한 잠재적 시나리오를 논의하고 검토하는 대비 훈련을 실시한 것"이라고 인정했다.

다만 "AI로 인한 대형 사고를 불가피한 것으로 전제한 게 아니라 다양한 상황에 대비하기 위한 것"이라고 덧붙였다. 앤트로픽 측은 답변을 거부했다.

악시오스는 보도에서 "AI 기업들은 미국 의회 관계자들을 상대로 AI 기술과 위험성을 설명하는 등 사전 설득 작업도 진행 중"이라며 "대형 AI 사고가 발생할 경우 그동안 정쟁으로 지연됐던 규제 논의가 급물살을 탈 수 있다"고 전망했다.

Kris@news1.kr