kt cloud는 AI 반도체 기업 리벨리온의 차세대 NPU를 적용한 ‘NPU Server’를 출시하고 공공기관 대상 서비스 제공을 본격화한다고 4일 밝혔다.
이번 상품은 공공 전용 데이터센터에 구축된 NPU 기반 인프라를 가상머신(VM) 형태로 제공하는 서비스다. 특히 국내 NPUaaS(NPU as a Service) 가운데 처음으로 CSAP(클라우드 보안인증)을 획득해 공공기관이 요구하는 보안 기준을 충족했다.
정부가 국산 AI 반도체 활용 확대를 추진하는 가운데, 이번 서비스는 공공 AI 전환(AX) 사업에 참여하는 기업들이 정책 방향에 부합하는 AI 인프라를 보다 쉽게 활용할 수 있는 기반이 될 것으로 기대된다.
공공기관과 지방자치단체를 대상으로 AI 서비스를 제공하는 기업들도 보안이 검증된 NPU 인프라를 활용해 민원 상담, 행정 업무 지원, 문서 검색 및 분석 등 다양한 AI 서비스를 안정적으로 구축할 수 있게 된다.
이번 서비스에는 리벨리온의 데이터센터용 NPU인 ‘ATOM Plus’가 적용됐다. 최근 AI 산업의 중심축이 대규모 모델 학습에서 실제 서비스 단계인 추론(Inference)으로 이동하면서, 추론에 최적화된 NPU가 GPU 대비 높은 효율성과 비용 경쟁력을 제공하는 대안으로 주목받고 있다.
kt cloud는 지난 4월 선보인 AI 통합 플랫폼 ‘AI Nexus’와 연계해 AI 서비스 전 주기를 지원할 계획이다.
AI Nexus는 학습용 인프라 서비스 ‘AI Train’과 추론용 서비스 ‘AI SERV’를 통합한 플랫폼으로, AI 모델 개발부터 학습, 추론, 배포까지 전 과정을 하나의 환경에서 제공한다.
특히 모델 서빙(Model Serving) 기능을 통해 고객이 개발한 AI 모델을 별도의 복잡한 구축 과정 없이 즉시 서비스 환경에 적용할 수 있도록 지원한다. 자체 모델이 없는 스타트업과 중소기업은 모델 스토어(Model Store)에 등록된 오픈소스 모델을 활용해 생성형 AI 서비스를 손쉽게 구축할 수 있다.
현재 AI Nexus는 엔비디아 A100, H100, H200 등 주요 GPU를 지원하고 있으며, 올해 3분기에는 차세대 GPU인 엔비디아 B300 기반 서비스도 추가할 예정이다.
김봉균 kt cloud 대표는 “정부의 국산 AI 반도체 활용 확대 정책에 발맞춰 공공 전용 NPU 서비스를 선제적으로 출시하게 됐다”며 “공공기관과 기업의 AI 전환을 지원하는 최적의 AI 인프라 플랫폼 사업자로서 국가 AI 경쟁력 강화에 기여하겠다”고 말했다.
