국가대표 인공지능(AI)을 선발하는 '독자 AI 파운데이션 모델'(독파모) 프로젝트 2단계 평가 발표를 앞두고 '벤치마크' 한계론이 불거지고 있다. 특히 LG AI연구원의 AI 모델 'K-엑사원 2.0'을 놓고 미리 정해진 규칙대로 정답을 내놓는 장치를 심었다는 의혹이 제기되면서 논란이 커지고 있다. 벤치마크 점수를 따기 위한 편법 아니냐는 지적이다.

12일 개발자 커뮤니티 및 업계 등에 따르면 LG AI연구원의 K-엑사원 2.0은 AI가 어떻게 답할지 미리 정해 둔 내부 설정을 갖췄다는 의혹을 받고 있다. 예상 문제별로 미리 만들어 둔 대응 기능(스킬)이 있고, 논리적 함정을 다루는 수수께끼와 상식형 추론, 애국가, 삼행시 등 특정 질문에 미리 짜둔 답변이 마련돼 있다는 얘기다.

AI 관련 커뮤니티는 현재 공개된 K-엑사원 2.0을 놓고 검증하는 과정에서 이같은 과정을 수행한 흔적이 보인다고 지적했다. 이 같은 방식은 모델이 스스로 추론 과정을 거쳐 답을 내놓는 게 아닌 오답을 막기 위한 방식이기에 문제가 될 수 있다.

이른바 세차장 문제에 대한 정답도 여기에 포함됐다. 세차장 문제는 AI 커뮤니티에서 화제가 된 논리적 함정으로, 모델의 추론 능력을 평가하기 위해 "세차장이 50m 떨어져 있다면 걸어갈까, 운전할까?"라는 질문을 던지는 것을 말한다. 세차를 하려면 차량이 필요하기 때문에 운전이 필수적이지만, AI 모델들이 50m라는 가까운 거리에 중점을 둬 오답을 내는 사례들이 확인된 바 있다.

이를 두고 비즈니스 소셜미디어 링크드인에서는 "한국어 환경에 맞는 AI를 개발하겠다는 취지로 진행된 프로젝트에서 모델 내실을 다지기보다 프롬프팅을 통한 착시 효과에 의존하는 것은 사용자를 기만하는 일"이라며 "진정한 AI 기술 경쟁력을 위해 무엇이 정당한 방식인지, 이번 사안을 계기로 기술 커뮤니티의 엄밀한 검증과 공론화가 필요하다"는 지적이 나왔다.

관련 커뮤니티에서는 "모델 실력이 아닌 편법", "문제지에 대한 답지를 들고 다니는 꼴"이라는 반응이 이어졌다.

이번 사안을 놓고 벤치마크 점수를 노린 것 아니냐는 지적도 나온다. 이른바 '벤치맥싱'을 위한 편법 아니냐는 문제 제기다. 벤치맥싱은 벤치마크에서 높은 점수를 받기 위해 공개된 평가 방식이나 특정 문제 유형에 맞춰 모델을 최적화해 튜닝하는 행위를 말한다. 최근에는 이를 전문적으로 대행해주는 업체들도 나오고 있다.

문제는 독파모 평가에서 벤치마크 점수가 가장 큰 비중을 차지한다는 점이다. 2차 평가 배점은 벤치마크 평가 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성됐다. 세부 평가 요소는 바뀌었지만 큰 틀의 배점은 1차 평가와 동일하다.

이번 논란을 놓고 한 AI 업계 관계자는 뉴스1에 "(엑사원의 방식은) 정부 사업 취지에 어긋나고 윤리적으로 문제가 있다"며 "애초에 벤치마크에 중점을 둔 평가 방식 자체가 구조적으로 잘못됐다고 본다"고 말했다.

평가 주체인 과학기술정보통신부도 이 같은 논란을 인지하고 있다. 그러나 모델에 내재된 '스킬'이나 도구가 벤치마크에 영향을 미치진 않는다는 입장이다.

과기정통부 관계자는 "벤치마크 평가는 모델로 평가하고, 스킬이나 도구를 배제하고 평가하기 때문에 문제 제기된 사안은 사실과 다르다"며 "스킬은 모델을 서비스할 때 심어지는 것으로, 벤치마크는 이 같은 스킬 없이 하는 게 원칙이다"고 말했다.

또 "벤치마크 평가 한계론이 있지만 모델 성능을 객관적으로 볼 수 있는 지표 중 하나이고, 이를 보완하기 위해 전문가 평가, 사용자 평가 등을 병행하는 것"이라고 덧붙였다.

그러나 이번 2차 평가에 국민 평가단의 AI 모델 사용 평가가 반영된다는 점에서 엑사원의 미리 세팅된 스킬이 평가에 영향을 미칠 거라는 지적도 나온다. 일반 이용자의 사용 경험이 반영되는 만큼 정해둔 규칙에 기반을 둔 매끄러운 답변이 점수를 끌어올리는 요소로 작용할 거라는 우려다.

국민 평가단 200명의 독파모 평가는 8일부터 11일까지 진행됐다. 이에 따라 과기정통부는 조만간 평가 배점을 합산한 2차 단계 평가 결과를 발표할 계획이다.

Ktiger@news1.kr