국가대표 인공지능(AI)을 선발하는 '독자 AI 파운데이션 모델'(독파모) 2차 평가 결과가 공개됐다. 평가 배점 비중이 높은 글로벌 성능 평가에서 가장 앞섰던 모티프테크놀로지스가 탈락의 고배를 마셨다. 이를 두고 정부는 사용성과 활용성 면에서 상대적으로 낮은 평가를 받은 결과라고 설명했다.

아울러 정부는 이번 발표를 앞두고 제기된 이른바 '벤치마크 점수 뻥튀기' 논란과 관련해 문제가 없다는 입장이다. 지난 1차 평가에서 '독자성'이 주요 평가 요소로 부상해 당락을 갈랐지만, 이번 논란은 문제가 될 정도는 아니라 판단하고, 평가에 반영하지 않았다.

정부 "근소한 차이…당락 가른 결정적 요소 없어"
과학기술정보통신부는 18일 정부서울청사에서 '독파모 2차 단계평가 결과' 브리핑을 열고 이같이 밝혔다.

정부는 업체별로 점수 차가 크지 않았으며, 결정적으로 당락을 가른 요소는 없었다는 입장이다.

이날 류제명 과기정통부 제2차관은 "벤치마크 평가, 전문가 평가, 사용자 평가 다 격차들이 아주 미세했다"며 "특별히 어떤 항목이 결정적이었다고 보기 어려울 정도였다"고 말했다.

이번 2차 평가 배점은 벤치마크 평가 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성됐다. 벤치마크 평가에서는 글로벌 AI 모델 성능 종합 평가 플랫폼 'AAII'(Artificial Analysis Intelligence Index) 점수가 25점, 한국지능정보사회진흥원(NIA)의 자체 벤치마크가 15점을 차지했다.

이번에 탈락한 모티프는 평가 발표 전 공개된 AAII 벤치마크에서 47점을 받으며 독파모 2차 단계 평가 모델 중 가장 높은 점수를 받았다. 업스테이지의 '솔라 오픈2'는 37점을 기록하며 독파모 중 2위에 올랐으며, 이어 SK텔레콤의 '에이닷엑스 케이투'(A.X K2)가 35점, LG AI연구원의 'K-엑사원 2.0'이 31점을 받았다.

이에 따라 모티프가 안정권에 들 거라는 예상이 나오기도 했지만, 실제 결과는 달랐다. 이를 두고 류 차관은 "(모티프가) 기술력은 뛰어났지만, 75점 배점의 사용성·활용성 부분에 있어서 다른 기업들에 비해서 낮은 평가를 받았다"고 설명했다.

이와 관련해 임정환 모티프테크놀로지스 대표는 뉴스1과의 통화에서 "결과를 받아들이며 이의제기할 계획은 없다"고 입장을 밝혔다.

또 "다른 모델보다 부족해서 떨어졌다고 생각하지는 않는다"면서도 "평가 결과는 어쩔 수 없는 부분이다. 아쉽지만 앞으로도 AI 산업에서 해야 할 일을 열심히 해나가겠다"고 강조했다.

이번 2차 평가에서는 항목별, 업체별 구체적인 점수가 공개되지 않았다. 평가 항목별 1위를 발표했던 지난 1차 평가 결과 발표 때와 다른 점이다. 당시 과기정통부는 LG AI연구원이 벤치마크를 비롯해 전문가 및 사용자 평가에서 모두 최고점을 받았다고 공개한 바 있다.

이에 대해 류 차관은 "기업들의 격차가 근소하고 또 1위를 발표했을 때 실익, 다른 기업들에 미치는 영향을 종합적으로 감안했다"고 말했다. 지난번 평가와 달리 모든 항목에서 1위를 한 기업이 없었다고도 덧붙였다.


일각서 제기된 '벤치맥싱' 논란…정부 "문제없었다"
일각에서는 이번 평가 과정에서 '벤치맥싱' 우려를 제기했다. 지난 1차 평가에서 '독자성' 논란이 화두에 올랐다면 이번 평가를 앞두고는 벤치마크 점수 한계론이 제기됐다.

벤치맥싱은 벤치마크에서 높은 점수를 받기 위해 공개된 평가 방식이나 특정 문제 유형에 맞춰 모델을 최적화해 튜닝하는 행위를 말한다. 최근에는 이를 전문적으로 대행해 주는 업체들도 나오고 있다. 벤치마크 점수가 실제 AI의 성능보다 과장됐을 수 있다는 얘기다.

특히 가장 뒤늦게 독파모에 합류한 AI 스타트업인 모티프가 AAII에서 독파모 중 최고점을 받으면서 논란은 더욱 커졌다.

그러나 정부는 이번 평가 과정에서 벤치맥싱 등 불공정 행위는 없었다는 입장이다.

류 차관은 "AAII 벤치마크 평가 기관인 아티피셜 애널리시스에 공식 답변을 받았는데, 시험을 잘 보는 목적으로 최적화된 여러 시도를 차단했다고 한다"며 "평가를 위한 체계적인 암기나 과적화 문제를 입증할 단서를 찾지 못했다. 벤치맥싱 부분에 대해 큰 문제가 없다는 답변을 받았다"고 입장을 밝혔다.

또 "벤치맥싱 관련된 이슈는 평가에 반영되지 않았다"며 "AAII의 공식적인 답변을 토대로 했고, 전문가 평가를 통해 여러 가지 검증한 결과 불공정한 기술 지원이 없었다는 결론을 내렸다"고 덧붙였다.

이번 평가에 새롭게 추가된 국민 평가단에 대해서도 "국민 평가가 당락을 좌우하지 않았다"고 밝혔다.

이번 사용자 평가에는 국민 평가단의 AI 모델 사용 평가가 반영된다. 배점은 10점으로 절대 평가 방식으로 점수가 집계됐다. 국민 평가단에는 약 1400명이 지원했다. 정부는 당초 200명 규모의 평가단 운영을 목표로 했지만, 이해충돌 여부를 가리는 과정을 거쳐 총 185명이 평가에 참여했다.

Ktiger@news1.kr