[이데일리 김윤지 기자] 인공지능(AI) 속도 조절론이 제기되는 가운데 각국 정부, 기업인, 엔지니어, 학계 인사들이 21일(현지시간) 한자리에 모여 언젠가 통제를 벗어난 AI가 인류를 위협하는 상황을 어떻게 막을 것인지 논의했다.

뉴욕타임스(NYT)에 따르면 유엔 디지털·신기술사무국(ODET)은 이날 뉴욕 맨해튼에서 제 81차 유엔 총회를 계기로 제 2회 ‘디지털 협력의 날(Digital Cooperation Day)’이 열렸다. 이 자리에서 일부 참석자들은 AI 위협에 대해 수동적으로 대응해서는 안 된다고 경고했다.

유엔 사무차장이자 신흥기술 특사인 아만딥 싱 길은 “우리는 AI를 마치 폭풍 같은 기상현상인 것처럼 이야기한다”면서도 “AI는 통제할 수 없는 자연의 힘이 아니다. 인간이 만들었고 인간이 통제할 수 있다”고 말했다.

배우 겸 감독 조셉 고든레빗도 AI를 둘러싼 일부 표현과 서사가 마치 인류가 ‘새로운 기술혁명’ 앞에서 속수무책인 것처럼 잘못된 인상을 준다고 지적했다. 그는 유엔의 첫 ‘인간 중심 디지털 거버넌스’ 글로벌 대사로 활동하고 있다.

고든레빗은 일부 기술기업들이 자신들이 만든 도구와 거리를 두는 듯한 태도를 보이고 있다고 비판했다. 그는 기업들이 최근 다른 기업을 해킹한 사례 등 우려스러운 사고를 공개하면서 이를 “통제를 벗어난 AI 에이전트 무리”가 벌인 일처럼 묘사해왔다고 말했다.

고든레빗은 AI가 전 세계 사람들의 삶을 개선할 잠재력이 있다고 믿는다면서도 “이 이야기의 중심에 누가 있는지를 기억해야 한다. 바로 우리 인간”이라고 강조했다.

유엔은 지난해 세계 최초의 독립적인 국제 AI 과학패널을 출범시켰다고 밝혔다. 이 패널은 지난 7월 예비보고서를 내놓았다.

유엔이 설립한 ‘독립 국제 AI 과학 패널’ 소속인 소니아 리빙스턴 런던정경대(LSE) 디지털퓨처스포칠드런센터 소장은 “유감스럽지만 상당히 우울한 내용”이라고 평가했다.

그는 AI에 대한 기대감에 대해 인정하면서도 “이미 이 기술은 수많은 문제와 연관돼 있다”고 지적했다. 여기에는 아동 성착취물 확산, 음란물에 활용되는 딥페이크, 사용자의 잘못된 믿음을 강화하는 아첨형 챗봇, 정보 생태계에 대한 대중의 신뢰를 떨어뜨리는 근거 없는 콘텐츠의 대량 생산 등이 포함된다. 리빙스턴 교수는 “대부분의 피해는 취약계층에 불균형적으로 집중된다”고 지적했다.

첨단 AI의 위험성에 대한 업계 안팎의 우려가 높아지고 있다. 고도화된 AI 시스템의 위험 증가에 대해 공개적인 문제 제기가 이뤄졌고, 첨단 AI 모델이 성능평가 과정에서 다른 조직의 시스템을 해킹한 사례도 잇따랐다. 오픈AI의 AI 에이전트들이 서로 협력해 격리 환경을 벗어나 AI 스타트업 허깅페이스의 시스템을 해킹한 사실이 알려지면서 최신 AI 모델의 사이버 공격 능력과 통제 가능성에 대한 우려가 커졌다.

이 자리에서도 오픈AI의 허깅페이스 해킹 사태가 언급됐다. ‘독립 국제 AI 과학 패널’은 이번 사건에 대해 “향후 더 심각한 통제력 상실로 이어질 수 있는 한 경로를 보여주는 초기 경고”라면서 “AI 에이전트가 인간의 의도를 넘어서는, 또는 인간의 의도와 충돌하는 목표를 추구할 가능성을 보여준다”고 지적했다.

다만 즉각적인 해결책은 제시되지 않았다. ‘독립 국제 AI 과학 패널’은 “최선의 대응책이 무엇인지는 여전히 논쟁 중”이라면서도 “이 같은 위협에는 훨씬 더 많은 관심과 자원이 필요하다”고 강조했다.

오픈AI가 관련 사실을 공개한 이후 또 다른 주요 AI 기업인 앤스로픽도 자사 AI 에이전트가 다른 기업을 해킹한 사례가 있었다고 밝혔다. 구글도 지난 18일 AI 시스템 ‘제미나이(Gemini)’가 지난 5월 테스트 환경을 벗어나 여러 기업을 해킹했다고 공개했다.

이 자리에선 AI가 초래할 수 있는 최악의 시나리오뿐 아니라 이미 현실에서 나타나고 있는 문제에도 주목해야 한다는 지적이 나왔다.

록사나 민자투 유럽연합(EU) 집행위원회 사회권·일자리 담당 수석부위원장은 AI 도구 의존이 교육과 일자리, 비판적 사고 등에 어떤 영향을 미칠지에 대한 이해와 논의가 충분하지 않다고 말했다. 그는 “이 논의는 이제 막 시작됐다”며 “하지만 우리에게 시간이 얼마나 남아 있는지는 모르겠다”고 말했다.