"현재의 과학기술 수준은 인간을 뛰어넘는 기계지능을 통제하거나, 바람직한 목표로 이끌기 역부족입니다. 우리는 인공지능(AI)을 제대로 이해하지도 못하고 있습니다."
엘리에저 유드코스키 기계지능연구소(MIRI) 공동설립자는 5일 서울 동대문디자인플라자에서 열린 SBS D포럼에서 이같이 말했다. 그는 인류가 AI를 이해하고 통제하는 속도가 AI 발전 속도에 미치지 못한다며, 인간을 뛰어넘는 AI 개발을 멈추지 않는다면 인류 생존 자체가 위협받을 수 있다고 경고했다.

유드코스키는 AI 강대국인 미국과 중국, 그리고 AI 기업들이 AI 경쟁에서 뒤처지는 게 두려워 개발을 멈추지 못하고 있다고 진단하며, 개발 우위를 차지하기 위해 AI의 성능과 자율성을 경쟁적으로 고도화하는 'AI 개발 경쟁'은 인류 모두를 위험으로 몰아넣고 있다고 지적했다.

유드코스키는 인류를 위협할 초지능의 등장을 제지하기 위한 한국의 역할도 강조했다. 그는 AI 공급망의 핵심인 고대역폭메모리(HBM)의 주요 수출국인 한국이 AI 개발에 대한 국제 조약 추진에 적극적으로 참여하고, 필요하다면 HBM에 대한 판매 중단까지도 검토해야 한다고 제언했다.

'움직이는 과녁' AI…"인간 통제 우회 등 지금도 충분히 위험"
유드코스키는 AI가 놀랍도록 빠르게 발전하고 있다며, 현재의 기술 수준만을 근거로 AI의 위험성을 진단하는 데 한계가 있다고 주장했다.

유드코스키는 AI를 '움직이는 과녁'으로 비유했다. 그는 지난 2016년 알파고가 이세돌 9단과의 바둑 경기에서 승리한 것을 언급하며 "AI가 인간을 꺾기 불과 2년 전 바둑 AI 연구자들조차 AI가 인간을 이기려면 10년은 더 걸릴 것이라 분석했다"고 밝혔다.

AI 기술의 발전 속도가 너무 빨라, 현재 기술 수준만을 근거로 AI의 발전 가능성과 위험성을 예측하기가 힘들다는 지적이다.

유드코스키는 현재 AI 기술도 충분히 인류에게 위협적이라고 봤다. 그는 AI가 인간의 평가와 통제를 인식해 편법이나 기만적 행동을 하고 있다고 진단했다.

오픈AI의 AI 에이전트들이 허깅페이스 시스템을 침해한 사건이 대표적이다.

사이버 보안 평가 과제를 부여받은 AI 에이전트들은 평가 과제의 정답이 허깅페이스에 있을 것으로 추정하고 여러 취약점을 이용해 허깅페이스 서버에 무단 접근했다.

유드코스키는 AI가 주어진 과제를 수행하는 과정에서 과제의 본래 취지를 벗어나는 행동을 하고도 이를 인간과 단 한 차례도 상의하지 않았다고 지적했다.

AI가 평가 상황을 인식하고, 정답을 얻으려는 동기를 지닌 채 인간의 통제를 벗어나 행동했다는 설명이다.

유드코스키는 "AI는 매우 빠른 속도로 지능과 능력을 발전시키는데, 인류는 AI를 이해하지도 못하고, AI 기업들조차 (AI의 행동을) 통제하지 못하고 있다"고 우려했다.

멈출 수 없는 AI 개발 경쟁…한국 HBM이 제동 걸 지렛대 될까
'인류멸망론'까지 제기되지만 'AI 개발 경쟁'은 계속되고 있다. 유드코스키는 AI 강국과 빅테크 기업이 이를 부추기고 있다고 비판했다.

유드코스키는 AI 기업들이 AI가 스스로의 지능과 성능을 강화하도록 하는 '재귀적 자기개선'(RSI)을 본격화하고 있다며, 이를 "인류에게 닥친 비상사태"라 표현했다.

그는 "현재 AI 기술을 이끄는 사람들은 스스로 멈추지 못하는 사람들"이라며 AI 강국인 미국과 중국, 그리고 오픈AI와 앤트로픽 등 AI 선두 기업들 모두 '내가 하지 않으면 다른 누군가가 할 것'이라는 핑계로 개발을 지속하고 있다고 밝혔다.

유드코스키는 과거 국제적 협약을 통해 핵무기 등 대량살상무기의 사용을 억제했던 것처럼, AI 개발을 늦추는 국제적 합의가 필요하다고 제언했다.

한국의 역할도 강조됐다. 유드코스키는 한국이 AI의 학습과 추론에 사용되는 HBM의 핵심 수출국이라며, 반도체가 허가된 시설 밖으로 수출이 되거나 사용할 수 없도록 하는 거버넌스를 구축해야 한다고 주장했다. HBM에 대한 수출 추적과 통제가 필요하다는 지적이다.

또한 AI가 인류의 생존을 위협하는 심각한 상황에서는 HBM 판매를 중단하는 강력한 방법까지 고려해야 한다고 덧붙였다.

유드코스키는 "AI 경쟁의 유일한 승자는 AI뿐"이라며 "인류가 폐허로 소멸하지 않도록 국가 차원의 노력이 필요하다"고 강조했다.

sumin02@news1.kr