IaaS(Infrastructure as a Service)는 기업이 서버와 저장장치, 네트워크 등 정보기술(IT) 인프라를 직접 구축하지 않고 클라우드를 통해 필요한 만큼 빌려 쓰는 서비스다. AI 시대에는 여기에 그래픽처리장치(GPU) 등 AI 연산에 특화된 고성능 컴퓨팅 자원을 결합한 ‘AI 최적화 IaaS’ 수요가 급증하고 있다.
가트너는 11일 전 세계 AI 최적화 IaaS 지출이 올해 420억달러(약 59조원)에 달할 것으로 전망했다. 지난해 215억달러에서 96.4% 증가하는 규모다. 2027년에는 661억달러(약 93조원)까지 성장할 것으로 예상했다.
AI 모델을 처음부터 학습시키는 데 필요한 막대한 컴퓨팅 자원뿐 아니라 기업들이 AI를 실제 서비스와 업무에 적용하면서 인프라 수요가 빠르게 늘고 있다는 분석이다.
특히 AI 시장의 중심이 ‘학습’에서 ‘추론’으로 이동하고 있다는 점이 주목된다.
학습은 AI가 데이터를 바탕으로 모델을 만드는 과정이라면, 추론은 만들어진 AI 모델이 실제 이용자의 질문에 답하거나 업무를 처리하는 과정이다. 챗봇이나 AI 에이전트가 사용자의 요청을 받아 답변을 생성하는 것도 추론에 해당한다.
가트너에 따르면 올해 전 세계 AI 최적화 IaaS 지출 가운데 추론 관련 지출은 233억달러(약 33조원)로, 학습 관련 지출 190억달러(약 27조원)를 넘어설 전망이다. 추론이 전체 지출에서 차지하는 비중도 올해 55%에서 2027년 59%까지 확대될 것으로 예상된다.
에이전틱 AI 확산도 이런 변화를 가속하고 있다. AI 에이전트는 단순히 질문에 답하는 것을 넘어 사용자의 지시를 받아 여러 단계를 스스로 처리한다. 검색, 데이터 분석, 문서 작성, 결제 등 복잡한 작업을 반복적으로 수행하기 때문에 기존 챗봇보다 많은 실시간 연산이 필요하다.
기업들이 AI를 실제 업무에 적용하면서 클라우드 인프라를 사용하는 방식도 달라지고 있다. 일회성 모델 학습을 위한 대규모 연산에서 벗어나 고객 대응과 업무 자동화 등을 위해 AI를 지속적으로 가동하는 구조로 바뀌고 있는 것이다.
하딥 싱 가트너 수석 애널리스트는 “기업들이 모델 개발에서 대규모 상용 배포로 전환하면서 미세조정 모델과 도메인 특화 모델이 고객 대응 및 운영 시스템에 빠르게 통합되고 있다”며 “지속적인 실시간 실행이 필요해지면서 클라우드 소비와 AI 최적화 인프라 수요가 늘고 있다”고 말했다.
◇글로벌 빅테크부터 국내 클라우드까지 경쟁
AI 최적화 IaaS 시장을 둘러싼 경쟁도 치열해지고 있다.
글로벌 클라우드 시장에서는 아마존웹서비스(AWS), 마이크로소프트 애저(Azure), 구글 클라우드 등이 대규모 AI 인프라 투자를 확대하고 있다. GPU 기반 클라우드뿐 아니라 자체 AI 반도체와 AI 전용 인프라를 강화하며 AI 워크로드 확보에 나서는 모습이다.
국내에서는 네이버클라우드, KT클라우드, NHN클라우드, 삼성SDS 등이 AI 데이터센터와 GPU 클라우드 사업을 확대하고 있다. AI 모델 개발 기업과 일반 기업을 대상으로 GPU를 빌려주거나 AI 개발·운영 환경을 제공하는 방식이다.
AI 반도체 기업들도 데이터센터 시장을 겨냥하고 있다. 엔비디아를 중심으로 AMD와 인텔 등이 AI 가속기 시장에서 경쟁하는 가운데 국내에서도 리벨리온, 퓨리오사AI, 딥엑스 등이 데이터센터용 AI 반도체 시장을 공략하고 있다.
◇단순 GPU 확보 넘어 ‘운영 효율’ 경쟁
업계는 AI 서비스가 본격적인 상용화 단계로 접어들면서 단순히 GPU를 얼마나 확보하느냐보다 이를 얼마나 효율적으로 운영하고 필요한 순간에 빠르게 제공할 수 있느냐가 경쟁력이 될 것으로 보고 있다.
AI가 실험실을 넘어 산업 현장과 기업 업무에 본격적으로 활용되면서 AI 인프라에 요구되는 조건도 달라지고 있다. 모델 학습을 위한 대규모 연산 능력뿐 아니라 실시간 추론을 안정적으로 처리하고 비용까지 낮출 수 있는 인프라 경쟁이 중요해지고 있다.
이에 따라 AI 최적화 IaaS는 단순한 클라우드 상품을 넘어 AI 서비스 확산을 뒷받침하는 핵심 인프라로 자리 잡을 전망이다.
