최근 생성형 AI의 확산으로 대규모 AI 서비스를 안정적으로 운영할 수 있는 인프라 수요가 빠르게 증가하고 있다. 퍼블릭 클라우드 기반 AI 운영은 GPU 장애 발생 시 원인 분석의 어려움, 장시간 연산에 따른 비용 부담 등 구조적 한계를 드러내고 있다. 이에 따라 AI 데이터센터를 중심으로 운영과 비용을 직접 통제할 수 있는 프라이빗 인프라 구축에 대한 관심이 높아지고 있다.
오케스트로의 ‘소버린 AI 클라우드 솔루션’ 패키지는 이러한 환경 변화에 대응해 AI 데이터센터에 필수적인 AI 워크로드 최적화를 구현할 뿐 아니라 고객 환경에 따라 필요한 기능만 선택해 구성할 수 있는 ‘모듈형 AI 인프라 아키텍처’를 핵심으로, 퍼블릭 클라우드나 CSP와 달리 데이터와 AI 운영, 비용과 장애 대응 체계를 고객이 직접 통제할 수 있도록 설계됐다.
이번 프로젝트는 일본 현지 AI 데이터센터에 오케스트로 소버린 AI 클라우드 솔루션 패키지를 대규모로 적용한 사례로, 기존 코로케이션 방식에 한계를 느낀 AI 사용 고객의 페인 포인트를 프라이빗 클라우드 기술로 해결하는 데 초점을 맞췄다. 오케스트로는 GPU 가상화(GPUaaS)를 기반으로 생성된 컨테이너 자원을 활용해, 대규모 LLM 서비스를 안정적으로 운영할 수 있는 AI 인프라 환경을 구성한다.
오케스트로 소버린 AI 클라우드 솔루션 패키지에는 서버 가상화 솔루션 콘트라베이스와 클라우드 네이티브 운영관리 플랫폼 비올라(VIOLA)가 적용돼, 데이터센터 내 GPU 자원의 통합 관리부터 컨테이너 배포 및 AI 엔드포인트 운영까지 전 과정을 지원한다.
오케스트로 김범재 대표는 “국내에서 검증된 소버린 AI 클라우드 솔루션이 일본 데이터센터 환경에서 실제 서비스로 구현된다는점에서 매우 뜻깊다”며 “퍼블릭 클라우드 중심의 기존 운영 방식과는 차별화된 소버린 AI 클라우드 데이터센터 아키텍처를 앞세워, 글로벌 AI 인프라 시장의 새로운 표준을 제시하겠다”고 말했다.
