[이데일리 김정유 기자] 글로벌 인공지능(AI) 스타트업 앤스로픽이 기업공개(IPO)를 앞두고 예비투자자들에게 “첨단 AI는 인류에게 재앙적이거나 ‘존립적인 위험’(existential risks)을 가할 수 있다”는 이례적인 경고를 전달할 계획인 것으로 확인됐다고 로이터통신이 29일(현지시간) 보도했다. 민간기업이 자사 기술의 위험성을 공식적으로 명시한 건 이례적이란 평가다.

로이터통신이 확보한 앤스로픽의 투자설명서(증권신고서)에 따르면 해당 기업은 자사 AI 모델이 ‘종료 시도에 대한 저항’, ‘정보 은폐 및 조작’, ‘협박과 유사한 행동’ 등 ‘자아 보존적 행동’(self-preserving behaviors)을 보일 수 있다고 강조했다. 앤스로픽은 이 신고서에서 “고도화된 모델, 플랫폼, 애플리케이션(앱)의 개발 및 활용 사례의 확대는 당사 모델이 해를 끼칠 위험을 더욱 증가시킬 수 있다”고 밝혔다.

상장기업들이 투자자들에게 제품 관련 위험성을 설명하는 건 일반적이지만, 이처럼 자사의 기술이 인류 존립에 문제를 일으킬 수 있다고 경고한 사례는 전무하다고 로이터통신은 짚었다. 앤스로픽은 AI가 산업혁명이나 전기 발명에 비견될 만큼 파급력을 지녔다고 평가하면서도, 잘못 관리될 경우엔 되돌릴 수 없는 피해를 줄 수 있다고 거듭 강조해 눈길을 모았다.

최근 앤스로픽, 오픈AI 등 주요 AI 개발사들을 중심으로 통제 범위를 벗어난 사례가 하나둘 나타나고 있다. 오픈AI의 한 모델은 호주 보건 시스템 데이터베이스를 침해했다는 보고가 나오기도 했다. 에반 허비저 앤스로픽 AI 안전 연구원은 “향후 10년 이내에 AI가 인류를 사망에 이르게 할 확률이 10% 이상”이라고 추정했다.

앤스로픽은 총 261페이지 분량의 투자설명서 본문 중 약 80페이지를 위험 요인을 설명하는 데 할애했다. 이는 사업 내용을 담은 48페이지의 두 배에 달하는 분량이다. 이처럼 AI 관련 안전성을 지속적으로 강조하고 있음에도, 앤스로픽은 안전 연구에 대한 투자가 수익으로 이어질지는 불확실하다고 투자설명서를 통해 언급했다.

또한 앤스로픽은 최첨단 AI 개발 흐름을 유지하기 위해서는 “지속적이고 중첩적인 신모델 출시 주기”가 필수적이라고 덧붙였다. 실제 앤스로픽은 다리오 아모데이 최고경영자(CEO)가 기술 발전 속도 조절을 촉구하는 4000자 분량의 에세이를 발표한 지 10여일만에 차세대 모델 ‘오퍼스’(Opus) 신규 버전을 출시한 바 있다. AI 시장을 둘러싼 아이러니한 상황을 잘 설명해주는 대목이다.

최근 앤스로픽은 인간의 개입 없이 스스로 모델이 성장하는 ‘재귀적 자아 개선’(recursive self-improvement)에 대한 시장의 경고가 이어지자, 향후 기술 개발에 AI 모델을 어떻게 활용하는지에 대한 정보를 더 많이 공개하겠다고 약속했다. 앤스로픽은 신고서를 통해 “신뢰할 수 있고 안전하며 보안이 확보된 AI 시스템을 구축하는 것은 모두의 공동 책임이며, 시장은 이를 보상할 것이라 믿는다”고 밝혔다.