과학기술정보통신부(과기정통부)가 주관하는 '독자 AI 파운데이션 모델'(독파모) 프로젝트 2차 평가에서 탈락한 모티프테크놀로지스(모티프)가 평가 결과에 이의를 제기했다. 글로벌 벤치마크에서 참여 기업 가운데 가장 높은 성적을 거뒀음에도 최종 평가에서 탈락한 배경을 구체적으로 설명해달라며 평가점수 상세 공개와 재심의를 요청했다.

27일 AI 업계에 따르면 모티프는 이날 입장문을 내고 평가점수의 상세한 공개와 재심의를 정중히 요청한다고 밝혔다.

모티프는 "(자사가 개발한) 모티프3가 벤치마크 점수에 비해 실제 추론 성능이 미흡하고 사용성과 활용성이 떨어진다는 평가까지 언급됐다"며 "우리가 추구해온 기술적 방향성과 그 결과물에 대해 일부 오해가 있을 수 있다는 생각을 하게 돼 재심의 요청을 하게 됐다"고 설명했다.

AAII 1위, 꼴찌와도 10점차인데 왜 탈락?…"이유 설명해야"
모티프가 문제를 제기한 핵심은 글로벌 벤치마크 성적과 정부의 최종 평가 결과 사이의 격차다.

모티프에 따르면 이번에 제출한 AI 모델 '모티프3'는 글로벌 AI 모델 성능 종합평가 지표인 AAII(Artificial Analysis Intelligence Index)에서 47점을 기록했다. 회사 측은 모델 개발업체 기준 글로벌 10위이자 미국과 중국을 제외하면 가장 높은 수준이라고 설명했다.

모티프는 독파모에 참여한 다른 모델의 AAII 점수가 업스테이지 37점, SK텔레콤 35점, LG AI연구원 31점이었다며 자사 모델이 상당한 격차로 앞섰다고 강조했다.

그러나 지난 18일 발표된 독파모 2차 평가에서 모티프는 가장 낮은 종합점수를 받아 탈락했다. LG AI연구원과 SK텔레콤, 업스테이지 등 3개 팀이 3차 평가에 진출했다.

모티프는 평가 결과 자체는 존중한다면서도 이후 정부가 모티프3에 대해 벤치마크 성적에 비해 전문가·사용자 평가가 낮았다는 취지로 설명한 데 문제를 제기했다.

모티프는 "AAII에서 모델 간에 47점과 31점이라는 상당한 차이가 있었음에도 글로벌 주요 벤치마크 결과와 전문가 평가가 상반된 결과가 발생한 이유와 배경에 대해 기업과 업계가 이해할 수 있도록 보다 구체적으로 설명될 필요가 있다"고 주장했다.

AAII 평가의 의미도 강조했다. AAII가 하나의 벤치마크가 아니라 글로벌 AI 업계에서 활용되는 9개 대표 벤치마크를 종합한 지표인 만큼 모델 간 성능을 판단하는 주요 기준으로 충분히 고려해야 한다는 주장이다.

모티프는 "AAII가 모든 측면을 완벽하게 평가하는 단일한 절대 기준일 수는 없다"면서도 "글로벌 AI 업계에서 폭넓게 활용되는 복수의 벤치마크들을 종합한 지표인 만큼 독파모 참여 모델 간 성능 차이를 판단하는 데 있어 중요한 참고 기준으로 충분히 고려돼야 한다"고 강조했다.

앞서 과기정통부는 독파모 2차 평가 결과를 둘러싸고 평가 투명성 논란이 제기되자 지난 20일 일부 세부 평가 결과를 추가로 공개했다.

2차 평가는 △벤치마크 평가 40점 △전문가 평가 35점 △사용자 평가 25점으로 구성됐다. 벤치마크 평가 40점 가운데 AAII가 25점, 한국지능정보사회진흥원(NIA)의 자체 벤치마크가 15점을 차지했다.

추가 공개된 결과에 따르면 AAII 평가에서는 모티프가 11.9점으로 4개 팀 가운데 가장 높은 점수를 받았다. 4개 팀 평균은 9.48점이었다. 반면 NIA 벤치마크에서는 SK텔레콤이 13.4점으로 가장 높았으며 4개 팀 평균은 13.05점으로 나타났다.

전문가 평가는 △개발 전략 및 기술 10점 △개발 성과 및 계획 10점 △파급효과 및 기여계획 15점 등으로 이뤄졌다.

과기정통부는 모티프가 2차 평가부터 새롭게 합류한 점을 고려해 국내 AI 생태계 파급효과를 평가할 때 새로 개발한 독자 AI 모델뿐 아니라 기존 AI 모델의 현장 확산 실적과 계획까지 폭넓게 반영했다고 설명했다.

"성능 아직 충분하지 않아"…3차 평가 방향에도 문제 제기
모티프는 이번 평가 결과를 넘어 정부가 향후 독파모 평가에서 모델의 기본 성능보다 사용성과 활용성을 상대적으로 강조하려는 방향에도 문제를 제기했다.

독파모 사업의 당초 목표가 글로벌 프론티어 모델에 근접하는 독자 AI 모델을 확보하는 데 있는 만큼 국내 AI 모델의 성능이 아직 충분한 수준에 도달하지 않았다는 주장이다.

모티프는 "사용성은 단순히 모델의 성능 하나만으로 결정되지는 않지만 모델의 기본적인 성능은 사용성을 뒷받침하는 중요한 요소"라며 "성능이 충분하지 않은 모델을 기업과 사용자가 지속적으로 선택하기는 어렵다"고 밝혔다.

특히 글로벌 프론티어 모델과 국내 모델 사이에 여전히 상당한 성능 격차가 있다고 강조했다.

모티프는 "실제 AAII 점수 기준으로 글로벌 프론티어 모델은 63점으로 모티프3도 아직 75% 수준에 불과하다"며 "지금의 성능에 안주하기보다 더 큰 투자와 노력으로 글로벌 선도권에 한시라도 빨리 다가가야 할 때"라고 주장했다.

이어 "독파모 사업의 당초 목표가 글로벌 프론티어 모델의 95% 이상 성능 확보였다는 점을 고려하면 현재 한국 모델의 성능을 이미 충분한 수준이라고 평가하기는 어렵다"고 덧붙였다.

모티프는 3차 평가 방향에 대해서도 같은 문제의식을 드러냈다. 회사는 "모델의 본질적인 성능 향상이 독파모 사업의 목표에 가장 부합한다고 생각한다"며 "이번 심사 결과와 현재 이뤄지고 있는 3차 평가 방향에 대한 논의가 독파모 사업이 추구해야 할 본래의 목표와 충분히 부합하는지에 대해 이의를 제기한다"고 밝혔다.

배경훈 부총리 겸 과기정통부 장관이 최근 스타트업은 공공·산업 특화 모델에, 대기업은 최상위 프론티어 모델에 집중하는 방향을 언급한 데 대해서도 입장을 밝혔다.

모티프는 "글로벌에서 프론티어 모델을 평가하는 일반적인 기준은 벤치마크"라며 "독파모 2차 결과에서 벤치마크는 스타트업 2개사가 대기업 2개사보다 우수했고 반대로 사용성에서는 대기업이 나았다고 한다"고 설명했다.

그러면서 "전 세계를 선도하는 프론티어 모델 업체의 절대다수는 스타트업들이고, 우리는 당당히 그중 하나가 되겠다"고 강조했다.

끝으로 모티프는 평가 과정과 결과를 보다 구체적으로 공개해 향후 평가 방향에 대한 예측 가능성을 높여야 한다고 촉구했다.

모티프는 "국가 사업의 방향이 글로벌 AI 모델 업계의 발전 방향과 조화를 이루고 추진 과정이 투명하고 공정하게 이뤄지는 것은 반드시 필요하다"며 "이번 심사 과정과 결과가 충분히 공개되고 검증될 수 있어야 하며, 이를 바탕으로 3차에서는 참여 기업들이 보다 명확한 방향 아래 역량을 집중할 수 있기를 바란다"고 말했다.

smk5031@news1.kr