중국 인공지능(AI) 기업들이 미국 AI 모델의 최종 답변뿐 아니라 외부에 공개되지 않는 내부 추론 과정(CoT)까지 추출해 학습에 활용한 정황이 확인됐다.

지난 7월 중국 AI 업계에서 해외 모델의 암호화된 추론 정보를 풀어 학습에 활용한다는 폭로가 나온 데 이어, 국제 연구진은 실제로 암호화된 추론 정보를 다른 모델에 주입해 원래의 추론 과정을 복원할 수 있다는 사실을 실험으로 확인했다.

최근 앤트로픽도 중국 AI 기업들이 대규모 무단 증류 과정에서 암호화된 추론 정보를 재사용해 내부 추론을 추출한 사례를 공개했다.

암호화된 AI 추론모델, 다른 모델로 '복사'…'CoT 탈취' 취약점 드러나
15일 AI 업계에 따르면 지난달 10일 튀빙겐대학·막스플랑크 연구소·MATS 리서치·Snyk 소속 연구진은 '독점적 대형언어모델(LLM) 추론 탈취하기'(Stealing Reasoning Traces from Proprietary LLM APIs) 논문을 공개했다.

연구진은 앤트로픽·오픈AI·구글의 AI가 생성한 암호화된 추론 정보를 다른 세션이나 모델에서 재사용해 원래의 내부 추론을 복원할 수 있는 취약점을 확인했다. 암호화된 추론 정보를 상대적으로 방어가 약한 같은 업체의 다른 모델에 주입하는 방식이다.

실제 연구진은 클로드 오퍼스가 생성한 '암호화된 사고과정'(thinking signature)을 하위 모델인 하이쿠에 넣어 원래의 추론 내용을 추출했다.

이는 일반적인 AI 모델 '증류'(distillation)와는 차이가 있다. 증류는 성능이 높은 AI가 생성한 답변 등을 학습 데이터로 활용해 다른 모델의 성능을 높이는 방법이다. 이번에 확인된 수법은 최종 답변뿐 아니라 외부에 공개되지 않는 문제 해결 과정까지 추출해 학습 데이터로 활용할 수 있다는 점이 다르다.


중국 AI 업계에서는 이 논문이 나오기 전인 지난 7월부터 비슷한 주장이 제기됐다.

익명의 중국 AI 업계 관계자가 작성한 것으로 알려진 '중국 대형모델 증류 파문의 전말' 문서에는 지난 4~5월 즈푸AI(GLM)가 해외 모델의 암호화된 CoT를 먼저 풀어낸 뒤 관련 방법과 데이터를 다른 중국 업체들과 공유했다는 주장이 담겼다. 해당 문서는 깃허브 등 글로벌 AI 커뮤니티를 통해 외부로 퍼졌다.

특히 문샷AI가 지난 7월 17일 공개한 '키미(Kimi) K3'가 외부 모델의 고품질 추론 데이터를 적극적으로 활용해 성능을 높였고, 이후 알리바바 큐웬(Qwen), 딥시크, 미니맥스 등으로 관련 경쟁이 확산됐다는 주장도 담겼다.

앤트로픽 "中 소재 7개 기업 연구소의 '무단 증류 공격' 적발" 발표
앤트로픽이 중국 AI 기업들의 무단 증류 공격을 조사한 결과에서도 암호화된 추론 정보를 이용해 내부 추론을 추출하는 수법이 확인됐다.

앤트로픽은 지난 10일(현지시간) 위협정보 보고서를 통해 지난 2월 이후 7개월간 문샷AI와 딥시크, 알리바바, 샤오미, 즈푸AI, 센스타임, 미니맥스 등 중국 소재 7개 기업 연구소의 무단 증류 공격을 적발했다고 밝혔다.

앤트로픽이 관측한 지난 5~7월 알리바바의 관련 공격은 1억 5100만 건 이상이었다. 문샷AI는 2300만 건 이상, 딥시크는 1210만 건 이상, 즈푸AI는 340만 건 이상으로 집계됐다.

특히 앤트로픽에 따르면 문샷AI는 클로드의 암호화된 사고과정을 저장한 뒤 새로운 세션에 재주입해 원래의 내부 추론을 복원하는 '크로스 세션 리플레이'(cross-session replay) 기법을 사용했다. 딥시크에서도 같은 수법이 확인됐다.

학술논문과 앤트로픽의 조사는 별도로 이뤄졌지만 암호화된 추론 정보를 다른 세션이나 모델에 다시 넣어 내부 추론을 복원한다는 점에서 방식이 유사하다. 앞서 중국 AI 업계에서 제기됐던 폭로와도 기술적으로 맞닿는 대목이다.

앤트로픽은 일반적인 증류 자체는 널리 사용되는 AI 학습 방식이라고 설명했다. 다만 경쟁사의 비공개 모델 능력을 허가 없이 대규모로 추출해 자사 모델 훈련에 사용하는 행위는 '무단 증류'(illicit distillation)로 구분했다.

익명을 요구한 AI 업계 관계자는 "중국 폭로 문서에서 중국 AI 기업들이 서로 데이터 탈취 방법을 공유했다는 주장은 확인할 수 없다"면서도 "앤트로픽이 실명을 거론하며 공개한 중국 AI 기업들의 공격 정황이 구체적이어서 향후 양국 간 문제로 발전할 것으로 보인다"고 말했다.


실제 미국과 중국 정부도 AI 모델 증류 문제를 놓고 공방을 벌이고 있다.

미 국가안보국(NSA)과 연방수사국(FBI), 사이버안보·인프라보안국(CISA)은 지난 8일(현지시간) 공동 사이버보안 권고문을 통해 중국 AI 기업들이 미국 AI 모델을 "산업적 규모로 악의적으로 증류했다"고 비판했다.

중국 상무부는 이에 대해 "미국의 주장은 사실적 근거도 법적 근거도 없다"고 반발했다.

중국 상무부는 "증류는 인공지능 분야에서 여러 모델이 서로 학습하는 일반적인 방식으로 본질적으로 중립적인 기술 수단"이라며 "미국이 증류를 단속한다는 명목으로 중국 인공지능 기업을 억제·압박한다면 단호한 조치로 맞대응할 것"이라고 주장했다.

Kris@news1.kr