[이데일리 윤정훈 기자]정부의 국가대표 인공지능(AI) 모델 개발 사업인 ‘독자 AI 파운데이션 모델(독파모)’ 프로젝트의 3강에 오른 업스테이지가 거대언어모델(LLM) 개발의 핵심 경쟁력으로 ‘100만 토큰 장문맥 처리’와 학습 효율 최적화를 꼽았다. AI가 단순한 질의응답을 넘어 복잡한 업무를 수행하는 에이전트로 진화하면서 방대한 정보를 한 번에 이해하고 처리하는 능력이 중요해지고 있다는 설명이다.

이활석 업스테이지 최고기술책임자(CTO)는 지난 23일 열린 ‘AWS AI WAVE 2026’에서 자체 LLM ‘솔라(Solar)’의 개발 과정과 기술 전략을 공개했다.

이 CTO는 최근 LLM 사전학습이 크게 △모델 구조 설계와 가중치 초기화 △수조 개 토큰을 활용한 대규모 학습 △수학·코딩 등 고품질 데이터 추가 학습 △100만 토큰 수준의 장문맥 학습 등 4단계로 진행된다고 설명했다.

특히 최근 중요성이 커진 단계가 장문맥 학습이다. 기존 챗봇은 사용자의 질문에 답하는 방식이 중심이었지만, 에이전트는 하나의 업무를 해결하기 위해 여러 차례 모델을 호출하고 도구를 실행한다. 이 과정에서 이전 작업 기록과 실행 결과가 누적되면서 모델이 처리해야 하는 입력량이 급격히 늘어난다.

이 CTO는 일반적인 공개 문서를 문단이나 의미 단위로 나누면 길이가 짧아 기존 데이터만으로는 100만 토큰 처리 능력을 학습시키기 어렵다고 설명했다. 100만 토큰 분량의 문서는 약 한글 기준 50만~70만자로 삼국지 10권에 해당하는 분량이다.

이를 해결하기 위해 업스테이지는 논문의 참고문헌이나 위키피디아의 하이퍼링크처럼 정보 간 연결 관계를 활용하고 있다. 서로 연관된 문서를 수집·가공해 장문맥 학습 데이터를 생성하는 방식이다.

이 CTO는 장문맥 데이터를 얼마나 정교하게 생성하고 효율적으로 학습시키느냐가 중요한 기술적 과제라고 강조했다. 모델 구조 역시 긴 입력을 정확하게 이해하면서 추론 비용을 낮추는 방향으로 발전하고 있다고 설명했다.

학습 효율을 높이는 것도 핵심 과제다. 업스테이지는 상대적으로 제한된 컴퓨팅 자원을 극복하기 위해 자체 가중치 초기화 기술과 GPU 최적화에 집중하고 있다.

이 CTO는 대규모 모델 학습에서 속도를 10%만 개선해도 100억원 수준의 비용을 절감할 수 있다고 설명했다. 업스테이지는 현재 개발 중인 차세대 솔라 모델의 학습 효율을 초기 대비 약 5배 높였다고 밝혔다.

사전학습 이후에는 강화학습(RL)을 통해 실제 업무 수행 능력을 끌어올린다. 업스테이지는 수학·코딩·도구 활용 등 영역별 전문 모델을 교사로 활용해 하나의 학생 모델에 역량을 통합하는 ‘MOPD’ 방식을 적용하고 있다.

이 CTO는 에이전트가 생성하는 방대한 작업 기록을 학습 데이터로 확보하는 것도 중요한 연구 과제라고 설명했다. 사람이 모든 작업 과정을 직접 작성하기 어려운 만큼 전문가가 업무의 성공 조건과 평가 기준을 설계하고, AI가 작업 과정을 생성·검증하는 방식이다.

업스테이지는 이를 기업 문서 업무에 적용하고 있다. 자체 데이터 플랫폼 ‘오피스버스(OfficeVerse)’를 통해 보고서 작성, 스프레드시트 생성, 문서 분석 등 12개 유형의 업무 데이터를 생성하고 강화학습에 활용한다.

이 CTO는 이러한 방식으로 개발한 ‘솔라 프로 4’가 한국어 사무 업무 평가인 ‘Ko-GDPval’에서 87.3점을 기록했다고 소개했다. 약 1조6000억 매개변수 규모의 딥시크 V4-Pro(86.9점)를 2500억 매개변수 모델로 앞섰다는 설명이다.

이 CTO는 향후 문서에 강한 비전언어모델(VLM)과 에이전트로 기술 영역을 확대하겠다는 구상도 밝혔다. 모델 크기 경쟁에 집중하기보다 장문맥 처리와 실제 업무 수행 능력을 강화해 AI 에이전트가 선택하는 모델을 만들겠다는 전략이다.

이 CTO는 “앞으로는 단순히 더 큰 모델을 만드는 것보다 긴 문맥을 이해하고 실제 업무를 끝까지 수행하는 능력이 중요하다”며 “업스테이지는 문서 업무에 특화된 AI 에이전트 기술을 고도화해 국내를 넘어 글로벌 시장에서도 경쟁력 있는 모델을 선보이겠다”고 말했다.