AI 모델을 먼저 출시한 뒤 실제 사용 과정에서 문제를 발견하고 수정하는 ‘반복적 배포’ 방식만으로는 커지는 위험을 감당하기 어렵다는 주장이다.
데이비드 로빈슨 오픈AI 안전 총괄. 출처=링크드인
4일(현지시간) 외신에 따르면 오픈AI 안전 시스템팀에서 투명성 부문을 맡았던 데이비드 로빈슨(David Robinson)은 미국 월간지 디 애틀랜틱에 ‘오픈AI의 문화가 망가져서 회사를 그만뒀다’는 제목의 글을 싣고 퇴사 사실을 밝혔다.
로빈슨은 약 3년 반 동안 오픈AI의 ‘준비성 프레임워크(Preparedness Framework)’ 작성에 참여하고, 프론티어 AI 모델 12개의 안전 보고서 작성을 감독했다.
그는 오픈AI가 그동안 활용해온 ‘반복적 배포(Iterative Deployment)’ 전략에 한계가 왔다고 주장했다.
반복적 배포는 AI 모델을 먼저 출시한 뒤 실제 이용 과정에서 발견되는 오류와 이용자 피드백을 바탕으로 모델을 개선하는 방식이다.
로빈슨은 오픈AI가 한 제품 출시에서 다음 출시로 빠르게 움직이는 과정에서 충분한 신중함과 검토가 이뤄지지 않고 있다고 지적했다.
특히 AI 시스템의 능력이 커지면서 오류가 초래할 위험도 함께 커지고 있어, 시행착오를 통해 문제를 발견하고 대응하는 방식만으로는 부족하다고 주장했다.
그는 원자력 발전소나 항공기처럼 한 번의 오류가 큰 피해로 이어질 수 있는 분야를 예로 들며 AI에도 사전 안전장치가 필요하다고 강조했다.
다중 안전장치를 두는 ‘심층 방어’와 정교한 사전 계획을 통해 AI 시스템이 통제 범위를 벗어나는 상황에 대비해야 한다는 것이다.
로빈슨은 또 AI 기술의 발전 속도가 인간의 가치와 목표에 맞도록 AI를 통제하는 ‘정렬(Alignment)’ 연구보다 빠르다고 지적했다.
그는 오픈AI 내부만으로는 필요한 변화를 이루기 어렵다고 판단했다며, AI 안전을 위해 외부의 법적·제도적 규제가 필요하다는 입장도 밝혔다.
◇“안전보다 속도 우선” 논란…오픈AI “엄격하게 관리”
이번 사임을 계기로 오픈AI의 AI 개발 속도와 안전을 둘러싼 논쟁도 다시 부각되고 있다.
오픈AI에서는 앞서 수퍼얼라인먼트(초정렬) 팀이 해체됐고, 공동창업자 일리야 수츠케버를 비롯해 안전 분야 주요 인사들의 이탈도 이어졌다.
오픈AI는 로빈슨의 지적에 대해 반박했다.
오픈AI는 모델의 기능이 회사가 안전하게 통제·관리할 수 있는 수준을 넘어서는 일이 없도록 엄격하게 관리하고 있으며, 필요한 경우 학습을 중단하거나 모델 출시를 보류하고 있다고 밝혔다.
또 외부 독립 평가기관과의 협력을 확대하고, 모델 출시 이후에도 실시간 모니터링을 강화하고 있다고 설명했다.
이번 논쟁은 AI가 고도화될수록 ‘먼저 출시하고 문제를 고치는 방식’만으로 안전을 확보할 수 있는지를 둘러싼 논쟁으로 이어지고 있다.
