[이데일리 한광범 김현아 기자] 독자 AI 파운데이션 모델(독파모) 2차 단계평가에서 업스테이지, SK텔레콤(017670), LG(003550) AI연구원이 3차 평가에 진출했다. 반면 글로벌 AI 모델 평가기관 아티피셜 애널리시스의 인공지능 종합지표(AAII)에서 47점으로 1위를 차지했던 모티프테크놀로지스는 탈락했다.

이데일리가 확보한 세부 평가 결과를 보면 모티프는 벤치마크와 전문가 평가에서는 경쟁력을 보였지만 사용자 평가에서 상대적으로 낮은 점수를 받으면서 종합 65.8점에 그친 것으로 확인됐다. 기술력을 측정하는 AAII에서 가장 높은 점수를 받고도 최종 탈락한 배경에는 기술력보다 사용성·활용성에 상대적으로 큰 비중을 둔 평가 구조가 자리 잡고 있었던 셈이다.

정부는 이번 평가를 계기로 독파모를 넘어 프런티어급 AI 모델 개발에 자원을 집중하는 방향으로 사업 구조를 전면 재편하는 방안을 검토하기로 했다. 다만 이번 탈락 과정에서 기술력과 사용성·활용성의 배점 구조가 적절했는지, 평가 산식이 참여 기업에 충분히 공유됐는지는 별도로 짚어볼 필요가 있다.

류제명 과학기술정보통신부 2차관은 18일 정부서울청사 브리핑에서 “2차 단계에 참여한 4개 정예팀을 대상으로 벤치마크, 전문가, 사용자 평가를 종합한 결과 업스테이지, SK텔레콤, LG AI연구원 정예팀이 다음 단계로 진출했다”고 밝혔다.

정부는 이날 선정 결과를 각 기업에 통보했으며, 이의 신청과 소명 절차를 거친 뒤 3차 평가에 착수할 예정이다. 3차 평가는 당초 계획대로 진행해 최종 2개사를 선발한다는 방침이다. 3차 진출팀에는 팀당 1000장 수준의 B200 GPU가 지원된다. 임차 예산은 팀당 약 400억원, 총 1200억원 수준이다.

◇업스테이지·SKT·LG, 3차 진출

이번 2차 평가에서 업스테이지는 2500억개(250B) 파라미터 규모의 ‘SOLAR-pro-2’를 공개하고 포털 ‘다음’ 및 ‘타임리’ 플랫폼 연계, 국산 AI 반도체 기업 퓨리오사AI NPU와의 협업을 통한 생태계를 제시해 좋은 평가를 받았다.

SK텔레콤은 6880억개(688B) 파라미터 규모의 ‘A.X-K2’를 앞세웠다. 국제수학올림피아드(IMO) 및 한국어 벤치마크 최상위 성능과 국방·제조·법무·세무 등 산업 현장 적용성이 강점으로 평가됐다.

LG AI연구원은 7500억개(750B) 파라미터 규모의 ‘K-엑사원 2.0’을 기반으로 환각 억제 지표에서 전 세계 9위를 기록하고 글로벌 국제기구와의 협업 전략 및 신뢰성 확보 체계에서 높은 점수를 받았다.

반면 모티프는 3140억개(314B) 파라미터 규모의 MoE(전문가 혼합) 모델을 선보였다. 특히 AAII에서 47점을 받아 업스테이지(37점), SK텔레콤(35점), LG AI연구원(31점)을 모두 제쳤다. 글로벌 기준 국내 모델로선 유일하게 10위를 기록했다.

그런데 최종 결과는 달랐다.

◇AAII 1위 모티프, 사용자 평가 14.1점에 그쳐

이데일리가 확보한 2차 단계평가 세부 결과에 따르면 모티프의 종합점수는 65.8점으로 최종 탈락했다.

모티프는 벤치마크 평가에서 24.6점(AAII 11.9점, NIA 12.7점), 전문가 평가에서 27.1점을 받았다. 하지만 사용자 평가에서는 14.1점(전문 사용자진 8.4점, 일반 국민 5.7점)에 그쳤다.

정부는 모티프의 기술력은 뛰어났지만 사용성과 실제 활용성 측면에서 상대적으로 낮은 평가를 받은 것이 탈락에 영향을 미쳤다고 설명했다.

문제는 이 결과가 단순히 ‘사용성에서 밀렸다’는 설명만으로 충분히 설명되느냐는 것이다.

◇AAII 47점, 최종 평가에서는 11.75점

독파모 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점 등 총 100점으로 구성됐다. 이 가운데 AAII는 벤치마크 40점 중 25점을 차지한다.

AAII 원점수는 모티프 47점, 업스테이지 37점, SK텔레콤 35점, LG AI연구원 31점이었다. 이를 25점 만점으로 환산하면 모티프 11.75점, 업스테이지 9.25점, SK텔레콤 8.75점, LG 7.75점이다.

AAII 원점수에서 모티프와 LG의 격차는 16점이지만 최종 평가에 반영되는 점수 차이는 4점으로 줄어든다. 여기에 NIA 평가 15점이 더해져 벤치마크 전체 40점이 된다.

글로벌 기술력 평가에서 큰 점수 차이를 냈더라도 최종 평가에서는 그 격차가 상대적으로 작아지는 구조인 셈이다.

물론 사용성·활용성 평가 자체가 잘못됐다는 의미는 아니다. 국가 AI 사업이라면 기술력이 실제 서비스와 산업 현장으로 이어지는지를 검증하는 것도 중요하다.

다만 기술력과 활용성에 각각 어느 정도의 가치를 부여할 것인지, 그 배점과 산식이 사업 목적에 맞게 설계됐는지는 따져볼 필요가 있다.

특히 전체 100점 가운데 전문가 평가 35점과 사용자 평가 25점 등 60점이 정성적 판단의 영향을 크게 받는 영역인 만큼 평가 기준과 세부 항목, 환산 방식이 충분히 공개돼야 결과를 객관적으로 검증할 수 있다는 지적이 나온다.

◇정부, ‘프런티어 AI’ 중심으로 사업 재편

한편 이번 결과는 정부의 AI 사업 전략 변화로도 이어질 전망이다.

류 차관은 글로벌 프런티어 기업들의 모델 성능이 빠르게 발전하고 있다며 기존 독파모와는 다른 새로운 경쟁 구도가 필요하다는 취지의 설명을 내놨다.

정부는 현재의 자원 분산형 경쟁만으로는 글로벌 프런티어 기업들과 경쟁하기 어렵다고 보고, 독파모와 미토스급 프론티어 AI 개발 프로젝트 등 관련 사업을 연계·통합하는 방안을 검토하고 있다. 독파모 지속 여부를 포함한 구체적인 사업 방향은 조만간 발표할 예정이다.

김경만 과기정통부 인공지능정책실장은 프런티어급 모델 개발과 관련해 “여러 기업이 함께하는 특수목적법인(SPC)을 구성하는 방식뿐 아니라 특정 기업이 프로젝트를 주도하는 방식도 가능하다”고 밝혔다.