노타, AI 에이전트 '풀스택 최적화'…작업시간 최대 47%↓

IT/과학

이데일리,

2026년 November 18일, AM 08:51

[이데일리 이소현 기자] AI 추론 효율화 기업 노타(486990)가 모델 경량화와 GPU 최적화를 넘어 AI 에이전트의 작업 흐름까지 제어하는 ‘풀스택 최적화’ 기술을 공개했다. 같은 AI 모델과 GPU를 사용하면서도 코딩 에이전트의 작업 시간을 최대 47%, 출력 토큰을 최대 60% 줄였다.

노타, AI 에이전트 최적화 적용 수치 비교(사진=노타)
노타, AI 에이전트 최적화 적용 수치 비교(사진=노타)
노타는 기존 AI 모델 경량화와 GPU 커널 최적화에 에이전트 실행 제어를 결합한 풀스택 최적화 기술을 개발했다고 18일 밝혔다.

AI 에이전트는 하나의 요청을 처리하는 과정에서 모델 호출과 도구 사용, 결과 검증을 반복한다. 이 과정에서 불필요한 추론이나 재검토가 반복되면 응답 시간이 늘어나고 연산 자원 소모도 커질 수 있다.

노타는 이를 줄이기 위해 모델과 GPU뿐 아니라 에이전트의 추론·검증·도구 호출 방식까지 함께 조정하는 구조로 최적화 범위를 넓혔다.

◇에이전트 ‘하네스’까지 최적화

이번 기술의 핵심은 에이전트의 작업 흐름을 관리하는 ‘하네스’ 최적화다. 최근 응답 길이와 파일 수정 이력, 도구 실행 결과 등을 분석해 상황에 맞는 추론 강도를 선택하고, 이미 통과한 검증이나 불필요한 재검토를 반복하지 않도록 제어한다.

모델의 답변 생성 과정과 GPU 계산 처리도 함께 개선했다. ‘DFlash2 기반 추측 디코딩’에 반복 문맥을 재사용하는 기술을 적용해 본 모델이 받아들이는 예측 비율을 높였고, GPU 커널은 하드웨어 특성에 맞춰 조정했다. 여러 GPU가 빠른 실행 설정을 공유하도록 해 중복 튜닝과 대기시간도 줄였다.

◇작업시간 최대 47%↓…출력 토큰 최대 60%↓

성능 평가는 동일한 AI 모델과 엔비디아 RTX PRO 6000 GPU 4장을 사용하는 환경에서 진행했다. 비교 대상은 오픈소스 코딩 에이전트 ‘클라인(Cline)’ 기본 구성으로, ‘Terminal-Bench 2.1’과 ‘SWE-bench Multilingual’을 활용했다.

노타는 모델 추론과 GPU 커널 최적화를 공통으로 적용하고, 에이전트 제어 수준에 따라 ‘패스트(Fast)’와 ‘울트라 패스트(Ultra Fast)’ 두 모드로 성능을 측정했다. 패스트 모드는 문제 해결률을 높이거나 비슷하게 유지하면서 작업시간을 최대 32%, 출력 토큰을 최대 42% 줄였다. 울트라 패스트 모드는 반복 검증과 불필요한 재검토까지 줄여 작업시간을 최대 47%, 출력 토큰을 최대 60% 절감했다.

다만 효율을 높이는 과정에서 성능 저하도 일부 나타났다. 소프트웨어 오류 수정 평가에서는 울트라 패스트 모드의 문제 해결률이 비교 기준 65.7%에서 62.0%로 낮아졌다. 작업 유형과 최적화 수준에 따라 처리 효율과 해결률 사이에 차이가 나타날 수 있다는 의미다.

◇코딩 에이전트 넘어 기업용 AI로 확대

노타는 이번 기술을 코딩 에이전트에서 시작해 기업용 AI 에이전트와 생성형 AI 서비스 전반으로 확대할 계획이다.

기존 모델 경량화와 하드웨어 최적화에 에이전트 실행 제어를 결합해 고객이 같은 컴퓨팅 자원으로 더 많은 AI 작업을 처리할 수 있도록 하고, 이를 최적화 소프트웨어 라이선스와 기술 공급 사업으로 연결한다는 전략이다.

김태호 노타 최고기술책임자(CTO)는 “AI 에이전트가 실제 업무에 도입될수록 모델의 단순 추론 속도보다 하나의 작업을 완료하는 데 필요한 시간과 연산 비용이 더욱 중요해진다”며 “노타는 모델과 GPU 최적화를 넘어 에이전트의 추론과 검증 과정까지 함께 최적화해 동일한 인프라에서 더 많은 AI 업무를 처리할 수 있도록 기술 범위를 확대하고 있다”고 강조했다.

이어 “향후 다양한 기업용 AI 에이전트와 서비스 환경으로 적용을 확대해 고객의 AI 운영비용을 낮추고, 노타의 최적화 소프트웨어 사업 영역도 넓혀갈 것”이라고 덧붙였다.

추천 뉴스