[뉴욕=이데일리 성주원 특파원] 인공지능(AI)이 고도화할수록 인간의 의도와 AI가 추구하는 목표 사이의 작은 차이가 치명적인 결과로 이어질 위험도 커진다. 극단적일 때 AI가 인간의 통제를 벗어나 인간의 이익에 반하는 방식으로 행동할 가능성도 있다. 문제는 AI 기업과 국가 간 치열한 ‘속도전’이 이런 위험을 충분히 검증할 시간을 줄일 수 있다는 점이다.

AI 경쟁 구조를 연구해온 최재필(사진) 미국 미시간주립대 경제학과 석좌교수는 7일(현지시간) 이데일리와의 인터뷰에서 “고도화된 AI 시스템이 추구하는 목표가 인간 설계자의 의도와 어긋난다면 미세한 목표 차이조차 매우 크고 잠재적으로 치명적인 결과를 낳을 수 있다”고 경고했다. 그는 “AI가 강력해질수록 이러한 ‘정렬 문제’가 심각해진다”며 “AI 시스템이 인간의 통제를 벗어나 인간의 이익에 반하는 방식으로 행동할 가능성도 있다”고 말했다.

최근 독일에선 오픈AI의 AI 에이전트가 내부 평가 과정에서 외부 시스템에 침투하고 호주에선 앤스로픽 기반 에이전트가 다른 이용자의 헬스장 예약을 취소하는 등 AI의 예상치 못한 행동이 현실의 피해로 이어질 수 있음을 보여주는 사례가 잇따랐다. 최 교수는 중요한 행동에는 이용자의 최종 승인을 받도록 하고 사고 발생 때 책임 소재도 명확히 해야 한다고 강조했다.

최 교수는 지난 5월 발표한 논문 ‘AI 안전과 경쟁(AI Safety and Competition)’에서 경쟁이 AI 출시 시점에 미치는 영향을 분석했다. 연구 결과 선점자 우위가 존재하면 기업이 충분한 안전 검증 전에 AI를 출시하는 ‘바닥을 향한 경쟁(race to the bottom)’이 나타날 수 있다고 분석했다. AI 시장의 선점 효과를 강화하는 것은 ‘데이터 피드백 루프’다. 사용자가 늘면 데이터가 축적돼 성능이 개선되고, 이는 다시 사용자를 끌어들인다. 개인화된 AI에 익숙해질수록 다른 서비스로 옮기는 전환비용도 커진다. 앞선 AI가 차세대 AI 개발을 가속하는 ‘지능 피드백 루프’도 선두 기업의 우위를 강화한다.

최 교수는 “경쟁 압력은 기업으로 하여금 시장을 선점하기 위해 안전성이 충분히 검증되지 않은 상태에서도 AI 시스템을 조기에 출시하도록 유도할 수 있다”고 말했다. 안전을 핵심 가치로 내건 기업도 성장하거나 기업공개(IPO)를 앞두면 초기의 안전 중심 정체성을 유지하기 어려워질 수 있다고 봤다. 기업 간 경쟁의 딜레마는 국가 간에도 나타날 수 있다. 미국은 중국의 추격을 이유로 규제를 완화하고 중국 역시 미국에 뒤처지지 않기 위해 개발을 서두르면 양국 모두 스스로 원하는 수준보다 안전기준을 낮출 수 있다는 것이다.

◇韓, 기업 역량 비례한 안전기준 적용해야

AI 안전 문제는 경제적 위험으로도 이어질 수 있다. 심각한 보안 사고나 오작동은 서비스 중단과 고객 이탈, 소송, 규제 강화, 평판 훼손으로 연결된다. 막대한 AI 투자가 이어지는 가운데 수요가 기대에 못 미치거나 서비스 가격이 빠르게 하락하면 데이터센터 투자 수익률이 낮아질 가능성도 있다고 최 교수는 지적했다.

한국은 산업 육성과 안전을 이분법적으로 접근해선 안 된다고 제언했다. 삼성전자(005930)와 SK하이닉스(000660) 등 반도체 기업은 AI 모델 개발사와 역할이 다른 만큼 AI 안전을 이유로 반도체와 데이터센터 산업 전체를 규제하는 것은 바람직하지 않다는 것이다. 최 교수는 “한국이 강점을 가진 반도체와 인프라 산업을 육성하면서 최첨단 모델을 개발하거나 운영하는 기업에 대해서는 능력에 비례한 안전기준을 적용해야 한다”고 강조했다.