[이데일리 신영빈 기자] 국내 인공지능(AI) 모델이 글로벌 인공지능(AI) 에이전트 성능 평가 무대인 ‘에이전트 아레나(Agent Arena)’에 처음으로 이름을 올렸다.

12일 글로벌 AI 모델 평가 플랫폼 아레나(Arena)의 에이전트 아레나 리더보드에 따르면 업스테이지의 최신 AI 모델 ‘솔라 프로 4(Solar Pro 4)’는 평가 대상 47개 모델 가운데 44위에 올랐다.

에이전트 아레나는 AI가 사용자의 지시를 받아 실제 업무를 얼마나 잘 수행하는지를 평가하는 지표다. 실제 이용 과정에서 AI가 검색이나 코딩, 명령어 실행 등 필요한 도구를 적절하게 활용하고 여러 단계로 구성된 업무를 끝까지 처리할 수 있는지를 평가한다.

이날 기준 약 175만개의 실제 이용 세션을 토대로 47개 모델의 에이전트 성능을 비교하고 있다. 현재 앤스로픽과 오픈AI, 구글을 비롯해 엔비디아, 딥시크, 알리바바, 문샷AI, 텐센트, 샤오미, 미니맥스, 미스트랄 등 글로벌 주요 AI 기업의 모델이 올라 있다.

솔라 프로 4는 첫 진입부터 엔비디아의 에이전트용 AI 모델 ‘네모트론 3 울트라’와 비슷한 성능권에 자리했다. 네모트론 3 울트라는 현재 리더보드에서 45위다.

업스테이지는 솔라 프로 4에서 이 같은 에이전트 성능을 핵심 경쟁력으로 내세우고 있다. AI가 단순히 이용자의 질문에 답하는 데 그치지 않고 문서를 읽고 필요한 정보를 찾아 도구를 실행한 뒤 최종 결과물까지 만들어내는 ‘실무형 AI’를 구현하는 데 초점을 맞췄다.

업스테이지가 공개한 자체 벤치마크에서도 에이전트 성능 개선이 두드러졌다. 터미널 환경에서 실제 명령을 수행하는 능력을 평가하는 ‘터미널-벤치 v2.1’ 점수는 이전 솔라 프로 3의 12점에서 솔라 프로 4에서 57점으로 약 4.8배 높아졌다. 여러 차례 도구를 사용해 업무를 처리하는 능력을 평가하는 ‘타우큐브 뱅킹’ 역시 9점에서 23점으로 상승했다.

AI 산업의 경쟁축도 빠르게 에이전트로 이동하고 있다. 생성형 AI 시장 초기에는 자연스러운 대화와 지식·추론 성능을 높이는 것이 경쟁의 중심이었다면 최근에는 AI가 웹 검색과 코딩, 파일 처리 등 외부 도구를 활용해 복잡한 업무를 스스로 완수하는 능력이 주요 경쟁력으로 떠오르고 있다.

업스테이지 관계자는 “솔라 프로 4는 문서를 읽고 도구를 실행해 결과물까지 만드는 실제 업무를 끝까지 수행하도록 만든 에이전트향 모델”이라며 “긴 문서와 터미널 작업, 멀티턴 도구 사용 등 실제 업무와 가까운 영역에서 에이전트 능력을 크게 강화했다”고 설명했다.