과도한 안전장치가 최신 인공지능(AI) 모델의 발목을 잡자 앤트로픽이 오탐 개선에 나섰다. 정상적인 질문인데도, 생물학 관련 사안이라며 답변을 거부하거나 하위 모델로 전환되는 문제를 줄여 AI 활용성을 높이는 데 주력했다.

앤트로픽은 7일(현지시간) 자사 최상위 AI 모델 '페이블5'의 생물학 분야 안전장치를 개선해 오탐을 대폭 줄였다고 밝혔다. 앤트로픽에 따르면 생물학 관련 질의 후 성능이 떨어지는 모델로 전환되는 '폴백'(fallback) 현상은 약 85% 감소했다.

앤트로픽은 "페이블5는 더욱 폭넓은 생물학 관련 업무에 도움을 줄 수 있을 것"이라고 언급했다. 교육·연구·의료 등 분야에서 AI 활용 범위가 넓어질 거라는 설명이다.

페이블5는 앤트로픽의 최상위급 AI로, 제한적으로 접근권을 제공하고 있는 AI 모델 '미토스'에 안전장치를 달고 일반에 공개된 모델이다. 그러나 안전장치를 우회한 사이버 공격 시도 우려가 나오고, 지난 6월 미국 정부의 수출 통제 사태를 겪으면서 안전장치를 더욱 강화했다.

이 과정에서 첫 공개 당시보다 정상적인 질문에도 답변을 거부하거나 하위 모델로 전환되는 오탐이 늘었다는 지적이 제기됐다.

이를 두고 앤트로픽은 "페이블5의 최첨단 기능을 가능한 한 많은 사용자에게 빠르게 제공하는 게 목표이지만, 이를 위해 강력한 모델이 갖는 위험을 관리해야 한다"며 "이 같은 위험 중 하나는 생물학 분야"라고 밝혔다. 최상위 AI 모델을 악용할 경우 생화학 무기 개발 등에도 쓰일 수 있다는 것이다.

미국 18개 정보기관의 공동체인 미국 정보공동체(USIC)는 '2026년 연례 위협 평가 보고서'를 통해 AI 모델을 악용하려는 세력의 존재를 언급하며 "새로운 생물학적 위협으로 이어질 수 있다"고 지적한 바 있다.

앤트로픽은 생물학 분야에서 AI의 유익한 활용과 악용을 구분하기 어렵다면서도 오탐을 낮추기 위해 유해한 답변을 막는 '안전 분류기'(safety classifier)의 규칙을 새로 짰다. 앤트로픽은 내외부 다양한 전문가로부터 의견을 수렴해 반영했다며, 새로운 분류기는 정교하게 무해한 질의를 구분할 수 있도록 개선됐다고 밝혔다.

앤트로픽은 "페이블은 잠재적 위험 때문에 생물학 및 신약 개발 목적의 작업을 계속 차단할 것"이라면서도 "연구자들이 신뢰할 수 있는 접근 경로를 통해 가장 우수한 모델을 안전한 방식으로 이용할 수 있도록 최선을 다하고 있다"고 강조했다.

Ktiger@news1.kr