AI 인프라 소프트웨어 기업 오케스트로 그룹은 테크 컨퍼런스 ‘오퍼스(OPUS) 2026’에서 AI 인프라에 대한 고객 관심이 GPU 확보에서 추론 성능과 운영 효율로 이동하고 있음을 확인했다고 7일 밝혔다.
김민준 오케스트로 그룹 의장이 지난달 28일 서울 삼성동 코엑스 오디토리움에서 열린 테크 컨퍼런스 ‘오퍼스(OPUS) 2026’에서 발표하고 있다. (사진=오케스트로)
행사에서는 기업과 공공기관의 AI 인프라 구축·운영 과제를 중심으로 상담과 기술 논의가 이뤄졌다. GPU 자원 배분과 응답 지연 개선, 복잡한 추론 환경의 운영 방안에 대한 문의가 집중됐고, 기존 자원을 활용해 추론 성능과 운영 안정성을 높이려는 수요가 공통적으로 나타났다는 설명이다.
오케스트로는 AI 인프라 경쟁력을 판단하는 기준이 GPU 확보 자체에서 실제 운영 성과로 옮겨가고 있다고 분석했다. 응답 속도와 처리 성능을 높이는 동시에 운영 비용과 복잡성을 관리할 수 있는지가 핵심 기준으로 부상하고 있다는 것이다.
이 같은 흐름은 오퍼스 2026 이후 기업·공공기관 IT 종사자 1703명을 대상으로 진행한 조사에서도 확인됐다. 조사 결과 AI 인프라 또는 추론 환경을 운영할 때 가장 큰 부담으로 GPU 서버 비용이 36.9%를 차지했다. AI 인프라 전문 인력 부족도 36.5%로 비슷한 수준을 보였다.
AI 인프라 구축·운영 경험이 부족하다는 응답은 22.2%였다. AI 추론 플랫폼 선택 기준으로는 추론 성능과 응답 속도 20.2%, GPU 활용률과 비용 효율 19.2%, 기존 인프라 및 클라우드 환경과의 연계성 16.7%가 꼽혔다.
오케스트로는 이러한 결과가 AI 인프라 경쟁의 무게중심이 하드웨어 확보에서 소프트웨어 기반 운영 효율화로 이동하고 있음을 보여준다고 설명했다. 기업과 공공기관이 보유 자원의 활용 효율과 추론 성능을 높이고 비용과 운영 안정성을 함께 관리하는 것을 주요 과제로 인식하고 있다는 것이다.
오케스트로는 AI 추론 운영 플랫폼 ‘콘체르토 AI’를 앞세워 관련 수요에 대응하고 있다. 콘체르토 AI는 분산 서빙 기반의 추론 최적화와 실시간 자원 배분을 통해 응답 지연을 줄이고 GPU 자원 활용 효율을 높이는 플랫폼이다.
김민준 오케스트로 그룹 의장은 “오퍼스 2026은 금융·제조·IT 등 다양한 산업의 기업과 공공기관이 AI 인프라를 운영하며 겪는 과제와 시장의 변화를 직접 확인한 자리였다”며 “고객과 현장의 목소리를 바탕으로 한정된 자원에서도 AI 서비스의 응답 성능과 처리 효율을 높일 수 있는 해법을 지속적으로 제시해 나가겠다”고 말했다.
