망고부스트는 12일 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 기자간담회를 열고 서버리스 AI 추론 플랫폼 ‘망고 인퍼런스’의 유료 서비스를 시작했다고 밝혔다.
김장우 망고부스트 대표는 “지금까지는 컴퓨터를 만들고 있었는데 드디어 고객에게 바로 가는 서비스를 시작했다”고 말했다. GPU 서버와 네트워크 카드, 소프트웨어 등을 공급하던 사업을 최종 고객이 직접 이용하는 AI 서비스로 확장한 것이다.
김장우 망고부스트 대표가 12일 서울 강남구에서 열린 기자간담회에서 발표하고 있다. (사진=신영빈 기자)
망고 인퍼런스는 이용자가 GPU 서버를 직접 구축·운영하지 않고 AI 모델을 사용할 수 있는 서비스다. 웹사이트에서 API 키를 발급받아 기존 AI 에이전트 애플리케이션에 연결하면 된다. 현재 5개 모델을 지원하며, 새 모델이 공개되면 가급적 한 달 안에 서비스에 추가할 계획이다. 토큰 사용량과 모델별 이용 현황, 결제 내역 등을 확인하는 기능도 제공한다.
기술적 기반은 자체 추론 최적화 소프트웨어 ‘LLM부스트’다. AMD GPU의 특성과 고객의 사용 패턴에 맞춰 소프트웨어를 최적화하고, 서로 다른 세대의 GPU를 활용할 수 있도록 지원한다. 망고부스트는 GPU 서버·스토리지 서버와 이를 연결하는 DPU 기술까지 함께 설계해 추론 과정의 데이터 이동과 자원 활용 효율을 높인다는 설명이다.
김 대표는 자체 시스템을 설계하는 역량이 가격 경쟁력으로 이어진다고 강조했다. 그는 “우리가 원하는 모습으로 컴퓨터를 사고 만들고 구성했다”며 “가격을 수십 퍼센트 낮출 수 있는 여력이 언제나 있다”고 말했다.
권동업 망고부스트 최고기술책임자(CTO)는 추론 속도와 함께 모델의 답변 품질을 검증하는 것이 중요하다고 설명했다. 연산 일부를 생략하는 방식으로 속도를 높이면 모델의 지능 평가 점수가 떨어질 수 있다는 것이다.
권 CTO는 “지능 점수가 어디에 있는지도 봐야 한다”며 “충분히 검토하고 검증된 것만 실제 서비스에 내놓고 있다”고 말했다. 망고부스트는 모델 개발사가 공개한 평가 결과 등을 검토해 최적화 과정에서 답변 품질이 유지되는지 확인하고 있다.
직접 서비스를 운영하며 확보하는 고객 사용 패턴도 인프라 개선에 활용할 계획이다. 권 CTO는 “고객 워크로드를 직접 이해하고 통제할 수 있는 것이 가장 중요하다”며 “인프라를 최적화하고 고객에게 품질 높은 서비스를 제공하기 위한 피드백 루프를 만들었다”고 설명했다.
권동업 망고부스트 최고기술책임자(CTO)가 12일 서울 강남구에서 열린 기자간담회에서 AI 추론 플랫폼 ‘망고 인퍼런스’를 소개하고 있다. (사진=신영빈 기자)
망고부스트는 추론 서비스를 운영할 자체 AI 팩토리도 구축하고 있다. 서울 강남구 도산공원 인근에서 약 1메가와트(MW) 규모로 조성 중이며, 내년 1분기 완성을 목표로 한다. 건물이나 전력 설비를 직접 조성하는 방식은 아니다. 외부 데이터센터의 공간과 전력을 제공받는 상면 서비스를 이용하고 그 안에 GPU 등 IT 장비를 넣는다.
현재 망고 인퍼런스는 자체 인프라와 해외 네오클라우드에서 빌린 GPU를 함께 활용한다. 김 대표는 “점점 외부 클라우드를 줄이고 우리 것을 늘려갈 것”이라며 AMD 최신 GPU 수백 장을 도입하는 과정에서 일부 수십 장이 이미 들어왔다고 설명했다.
새 AI 팩토리에는 에이전트가 긴 작업 맥락을 효율적으로 처리하도록 스토리지 중심 설계를 적용할 예정이다. 에이전트는 작업을 수행하며 이전 대화와 결과를 계속 참조한다. 이때 사용하는 KV캐시를 별도 스토리지에 저장·재사용하고, 데이터 위치에 맞춰 작업을 수행할 GPU를 배정하는 방식이다.
권 CTO는 “질문에 대한 답이 계속 쌓이면서 컨텍스트가 길어진다”며 “이전에 했던 컨텍스트를 얼마나 효율적으로 가져오느냐가 중요한 요소가 됐다”고 설명했다. GPU 메모리 확장에 드는 부담을 줄이면서 반복적으로 참조하는 데이터를 효율적으로 활용하겠다는 구상이다.
해외 확장 구상도 공개했다. 김 대표는 미국·일본·동남아 등의 파트너와 협력해 500MW 규모까지 확대하는 로드맵을 마련했다고 밝혔다. 초기 1~5MW 수준은 자체 재원으로 추진할 수 있으며 대규모 확장을 위해 대기업과 합작법인 설립, 미국 업체와 공동 사업 등을 논의하고 있다고 설명했다.
국내 AI 팩토리를 통해 추론 데이터의 국내 처리·관리 체계를 갖추는 것도 목표다. 권 CTO는 “한국에 데이터센터를 짓고 한국에서 운영해야 한다”며 “그곳에서 만들어지는 모든 데이터가 한국에서 관리돼야 한다”고 강조했다.
