[이데일리 김현아 기자] AI 모델 경량화·최적화 기업 노타(486990)가 AMD의 GPU와 NPU를 함께 활용해 인공지능(AI) 답변 속도를 최대 52% 높이는 기술을 검증했다. 두 종류의 반도체에 AI 연산을 나눠 맡겨 처리 시간을 줄이고 에너지 효율을 높였다.

노타는 지난 4일 열린 ‘AMD 어드밴싱 AI 월드 투어 서울 2026’에서 AMD 라이젠 AI Max+ 395 기반의 이기종 컴퓨팅 최적화 기술 성과를 발표했다고 9일 밝혔다.

자체 테스트 결과, 큐웬(Qwen3-8B) 모델의 전체 답변 완료 시간은 기존 AMD GPU·NPU 하이브리드 실행 환경보다 28~52% 단축됐다. 토큰당 에너지 소비는 31%, 토큰당 생성 시간은 41~46% 줄었다.

이번 기술은 GPU와 NPU가 AI 연산을 나눠 처리하는 방식이다. 질문을 입력받아 내용을 분석하는 과정인 프리필(Prefill)은 NPU가 맡고, 실제 답변을 생성하는 디코드(Decode)는 GPU가 담당한다. 두 연산 장치가 동일한 AI 모델 가중치를 공유하도록 설계해 메모리 중복 사용도 줄였다.

노타는 AI 모델 최적화 플랫폼 ‘넷츠프레소(NetsPresso)’에 AI 에이전트를 적용해 최적화 과정도 자동화하고 있다. AI 에이전트가 모델과 하드웨어 특성을 분석해 최적화 전략을 세우고, 실제 기기에서 성능을 측정해 개선하는 방식이다. AI 모델뿐 아니라 모델이 실행되는 소프트웨어 환경까지 최적화 범위를 넓히고 있다.

다양한 언어모델을 대상으로 한 추가 테스트 결과도 공개했다. AMD 라이젠 AI 환경에서 라마(Llama), 큐웬(Qwen), 파이(Phi), 미스트랄(Mistral) 등을 시험한 결과, 기존 AMD 하이브리드 실행 환경보다 메모리 사용량을 11~32% 줄였다. NPU만 사용했을 때와 비교하면 답변 생성 속도는 2.5~3.8배 빨라졌다.

◇AI 모델부터 실행 환경까지 최적화…반도체 활용 효율 높여

2015년 KAIST 학내 벤처로 출발한 노타는 스마트폰과 CCTV, 자동차 등 성능과 메모리가 제한된 기기에서도 AI를 구동할 수 있도록 모델을 경량화하고 최적화하는 기업이다. 2025년 11월 코스닥에 상장했다.

AI 반도체 기업이 연산을 담당하는 칩을 만든다면, 노타는 그 칩에서 AI가 효율적으로 작동하도록 하는 소프트웨어를 개발한다. 엔비디아 GPU, Arm 기반 프로세서, 삼성전자 모바일 반도체, AMD 플랫폼 등 다양한 하드웨어에 맞춰 AI 모델을 최적화하는 것이 주력 사업이다.

주력 제품은 AI 모델 최적화 플랫폼 넷츠프레소다. 모델 압축과 양자화, 연산 최적화, 하드웨어별 변환과 성능 검증을 지원한다. AI 개발자가 반도체 종류에 맞춰 모델을 일일이 수정하고 시험하는 과정을 줄여준다.

넷츠프레소를 활용한 산업별 온디바이스 AI 솔루션도 제공한다. 대표 제품인 ‘노타 비전 에이전트(NVA)’는 영상 속 상황과 행동을 분석하는 지능형 영상 관제 솔루션이다. 사람이나 사물을 찾아내는 수준을 넘어 현장 상황과 행동 맥락을 파악하고, 자연어로 영상을 검색하거나 분석 보고서를 작성할 수 있다.

지능형 교통 시스템(ITS)은 기존 CCTV에 AI를 적용해 교통량과 돌발 상황을 분석한다. 운전자 모니터링 시스템(DMS)은 졸음이나 휴대전화 사용 등 운전자의 부주의를 감지한다. 얼굴인식(FR) 기술은 출입통제와 인증 등에 활용된다. 모두 고성능 서버에 연결하지 않고 기기 자체에서 AI를 실행하는 온디바이스 방식이다.

노타는 채명수 대표이사(CEO)가 경영과 사업을 총괄하고, 창업자인 김태호 최고기술책임자(CTO)가 원천 기술 개발을 이끄는 체제다. KAIST 인공지능연구소에서 함께 연구한 두 사람은 2015년 김 CTO의 창업 이후 2018년 채 대표의 합류를 계기로 사업을 확장했다. 채 대표는 AI 모델 경량화 사업으로의 전환과 글로벌 사업 확대를, 김 CTO는 넷츠프레소를 비롯한 AI 최적화 기술 개발을 맡고 있다.

노타는 삼성전자, Arm, 퓨리오사AI, 모빌린트 등 국내외 반도체 기업과 협력해 왔다. 지난 7월에는 AMD의 글로벌 로보틱스 파트너 네트워크에 아시아·태평양 및 일본(APJ) 지역 주요 초기 파트너사 중 하나로 합류했다. 10월에는 Arm의 AI 개발자 플랫폼에도 넷츠프레소 기반 최적화 기술을 선보였다.

노타는 이번 AMD 플랫폼 검증을 계기로 AI PC와 로보틱스 분야에서 사업을 확대할 계획이다. 이들 기기는 제한된 메모리와 전력으로 AI를 구동해야 하는 만큼 GPU와 NPU 등 여러 연산 자원을 효율적으로 활용하는 소프트웨어가 중요하다.

김태호 노타 CTO는 “에이전틱 AI와 피지컬 AI 시대에는 모델 자체의 성능뿐 아니라 GPU와 NPU 등 다양한 컴퓨팅 자원을 얼마나 효율적으로 활용하느냐가 서비스 성능과 운영 효율을 결정한다”며 “모델부터 추론 시스템 전반을 최적화하는 기술을 바탕으로 글로벌 반도체 생태계와 협력을 확대하겠다”고 말했다.