[이데일리 신영빈 기자] 인공지능(AI) 인프라 경쟁의 병목이 그래픽처리장치(GPU)에서 데이터센터로 옮겨가고 있다. GPU 공급은 나아지고 있지만 데이터센터 구축에 시간이 걸리면서 2~3년 뒤 대형 데이터센터 용량도 상당 부분 선점된 상태다.

공용준 KT클라우드 전무는 1일 서울 양재 엘타워에서 열린 ‘AI클라우드 빅테크 2026’ 기조강연에서 “올해 초만 해도 GPU 서버를 주문하면 10개월 정도를 이야기했는데 이제 조금씩 줄어들고 있다”며 “지금은 병목이 GPU 공급이 아니라 데이터센터”라고 말했다.

그는 “GPU는 준비돼 있어도 데이터센터를 짓는 데 최소 2~3년 정도 걸린다”며 “GPU를 사기 전에 먼저 데이터센터부터 확보하는 현상이 벌어지고 있다. 2028년~2029년까지의 대규모 데이터센터는 거의 완판돼 있는 상태”라고 설명했다.

◇GPU 확보전 다음은 전력·데이터센터

AI 확산으로 데이터센터가 요구하는 전력과 설비 규모도 빠르게 커지고 있다.

공 전무는 과거에는 1메가와트(MW)만 해도 큰 데이터센터로 여겨졌지만 최근 업계에서는 10MW 이하 시설을 엣지 데이터센터 수준으로 보기도 한다고 설명했다. GPU 한 랙이 소비하는 전력도 크게 늘면서 기존 데이터센터 설계 방식의 변화가 불가피하다는 것이다.

전력 확보도 핵심 과제다. 수도권에서는 추가 전력을 확보하기 어려워지고 있어 전력이 있는 지역을 찾아 데이터센터를 짓는 움직임도 나타나고 있다. GPU 냉각 방식 역시 고성능 제품을 중심으로 수랭식으로 바뀌면서 냉각 설비까지 함께 고려해야 하는 상황이다.

다만 공 전무는 앞으로 AIDC 경쟁력이 건물과 전력만으로 결정되지는 않을 것으로 내다봤다. GPU를 효율적으로 배분하고 AI 서비스를 안정적으로 운영할 소프트웨어와 클라우드 플랫폼의 중요성이 함께 커지고 있다는 설명이다.

그는 “예전에는 GPU만 가져다 놓으면 이용자가 직접 다 하려고 하는 시대가 있었지만 지금은 GPU가 공기와 같아진 것 같다”며 “서비스를 개발하는 입장에서는 GPU가 당연히 있다고 보고 그 위에서 무엇을 할지를 고민하는 시대”라고 말했다.

◇“AIDC, 결국 AI 서비스센터로”

AIDC에는 GPU뿐 아니라 쿠버네티스 등 클라우드 환경과 모델 서빙 소프트웨어, 스토리지, 네트워크, 장애 대응 체계까지 갖춰야 한다고 강조했다. AI 서비스 이용이 늘수록 서비스 중단이 기업 업무에 직접 영향을 줄 수 있어 기존 IT 서비스처럼 고가용성과 복구 체계도 중요해질 것으로 봤다.

여러 데이터센터를 연결하는 네트워크도 중요해진다. 대규모 모델과 데이터를 데이터센터 사이에서 빠르게 옮기고 학습용 데이터센터와 추론용 데이터센터를 연결하기 위한 이른바 ‘AI 패브릭’이 필요하다는 설명이다.

공 전무는 이런 변화가 이어지면 데이터센터라는 이름 자체도 달라질 수 있다고 전망했다. 그는 “AI 데이터센터라고 하면 건물이나 전력을 먼저 떠올리게 된다”며 “앞으로는 ‘AI 서비스센터’나 ‘AI 에이전트 서비스센터’와 같은 형태로 바뀌어야 하지 않을까 생각한다”고 말했다.

KT클라우드는 2031년까지 기가와트(GW)급 AI 데이터센터를 단계적으로 구축할 계획이다. 관련 인프라 투자 규모는 약 6조원으로 잡았다. KT클라우드 자체 플랫폼과 전국 네트워크를 결합해 단순 데이터센터가 아닌 AI 서비스를 제공하는 인프라로 구축한다는 구상이다.

공 전무는 “데이터센터 자체를 쓰는 것보다 그 위에 AI 클라우드나 서비스 클라우드를 올리는 형태로 시장이 가게 될 것”이라며 “클라우드 통합 운영 시스템과 GPU 서비스, 에이전트 빌더 등까지 올라가야 AI 서비스센터의 면모를 갖출 수 있을 것”이라고 말했다.