[이데일리 김현아 기자] AI 인프라 기업 모레(MOREH)가 인공지능(AI) 데이터센터의 경쟁 기준이 GPU 확보량에서 토큰 생산 효율로 이동하고 있다고 진단했다. 엔비디아와 AMD 등 서로 다른 AI 반도체를 하나의 인프라처럼 묶어 토큰을 효율적으로 생산하는 ‘토큰 팩토리(Token Factory)’ 개념도 제시했다.

모레는 15일(현지시간) 미국 산타클라라 컨벤션센터에서 열린 ‘AI 인프라 서밋 2026’에서 조강원 대표가 ‘이기종 가속기 데이터센터를 위한 LLM 서빙 프레임워크’를 주제로 발표했다고 16일 밝혔다.

토큰은 생성형 AI가 이용자의 질문을 처리하고 답변을 생성할 때 사용하는 데이터 단위다. AI 서비스 이용이 늘면서 데이터센터의 경쟁력도 GPU를 얼마나 확보했느냐에서 같은 자원으로 얼마나 많은 토큰을 낮은 비용에 생산할 수 있느냐로 이동하고 있다는 게 모레의 설명이다.

조 대표는 AI 데이터센터가 단순히 GPU를 제공하는 공간에서 벗어나 토큰을 생산·판매하는 ‘토큰 팩토리’로 바뀌어야 한다고 강조했다.

핵심은 서로 다른 AI 반도체를 효율적으로 묶는 것이다. 데이터센터에는 엔비디아와 AMD뿐 아니라 최신·구형 가속기가 함께 운영되는 만큼 특정 GPU의 성능만 높이는 방식으로는 전체 효율을 높이는 데 한계가 있다는 설명이다.

모레는 이를 위한 ‘토큰 팩토리 OS’와 ‘MoAI Inference Framework’를 선보였다. 다양한 가속기를 하나의 자원 풀처럼 묶고 AI 모델과 작업 특성에 따라 연산을 적합한 가속기에 나눠 처리하는 방식이다.

실증 사례도 공개했다. 엔비디아 H100과 AMD MI300X를 하나의 추론 시스템으로 묶어 입력 처리인 프리필은 H100에서, 답변 생성인 디코드는 MI300X에서 수행했다. 모레는 자체 분산 추론 소프트웨어로 두 가속기를 연결한 결과 동일 벤더 기반 구성보다 최대 1.67배 높은 처리량을 확인했다고 밝혔다.

모레는 이기종 가속기 운영 경험을 AMD와의 협력 및 국산 AI 반도체 생태계 확장에도 활용한다는 구상이다.

조 대표는 엔비디아뿐 아니라 AMD와 국산 NPU를 함께 사용하는 환경에서 어떤 작업을 어떤 칩에 배분할지 최적화하는 경험이 국내 AI 반도체 기업의 경쟁력이 될 수 있다고 설명했다. 모레는 AMD와 오픈소스 AI 모델 최적화를 진행하고 있으며, 일본에서는 엔비디아와 AMD GPU를 통합한 인프라에서 실제 AI 서비스를 운영하고 있다고 소개했다.

이 같은 이기종 AI 인프라 구축은 정부 차원에서도 논의되고 있다. 과학기술정보통신부는 지난달 20일 서울 종로구 HJ비즈니스센터 광화문점에서 ‘개방형 AI 컴퓨팅 인프라 생태계 구축을 위한 간담회’를 열었다. 당시 AMD코리아를 비롯해 퓨리오사AI, 리벨리온, 딥엑스, 모빌린트, 하이퍼엑셀, 모레AI, 노타AI, 파두, KTNF 등 AI 반도체·서버·소프트웨어 기업들이 참석했다.

모레는 단순히 AMD 장비를 추가하는 데 그치지 않고 엔비디아, AMD, 국산 NPU가 함께 작동하는 데이터센터 환경을 구축해 운영 경험을 축적한다는 계획이다.

조강원 대표는 “AI 데이터센터는 GPU를 제공하는 공간에서 토큰을 생산하고 판매하는 토큰 팩토리로 진화하고 있다”며 “중요한 것은 특정 GPU의 성능이 아니라 서로 다른 가속기를 얼마나 효율적으로 활용해 낮은 비용으로 토큰을 생산하느냐”라고 말했다.

이어 “다양한 종류와 세대의 가속기를 하나의 인프라처럼 활용할 수 있는 분산 추론 소프트웨어가 필요하다”며 “특정 하드웨어에 종속되지 않고 고객에게 가장 효율적인 토큰 팩토리를 구축할 수 있도록 지원하겠다”고 했다.

한편 AI 인프라 서밋 2026은 15~17일(현지시간) 미국 산타클라라 컨벤션센터에서 열린다. 올해 8000명 이상의 업계 전문가와 250개 이상의 파트너사가 참여해 AI 데이터센터 구축에 필요한 컴퓨팅·네트워킹·시스템·소프트웨어 기술 등을 공유한다.