[이데일리 신영빈 기자] 18일 서울 영등포구 양평동 NHN클라우드 인공지능(AI) 데이터센터 ‘팩토리X 서울’.

데이터홀 안으로 들어서자 성인 키를 훌쩍 넘는 검은색 서버 랙이 길게 늘어서 있었다. 수백대의 장비가 돌아가며 낮게 ‘웅’ 하는 소리를 냈지만, 옆 사람과 대화하기 어려울 정도로 시끄럽지는 않았다.

랙 위쪽을 따라서는 굵은 전력선과 함께 냉각수가 오가는 배관이 촘촘하게 얽혀 있었다. 서버와 물을 최대한 떨어뜨리던 기존 데이터센터와는 사뭇 다른 풍경이다.

이곳에는 서버 가까이까지 냉각수가 들어간다. 고성능 그래픽처리장치(GPU)가 뿜어내는 열을 공기만으로 감당하기 어려워지면서 냉각 방식 자체가 바뀐 것이다.

팩토리X 서울은 엔비디아 B200 GPU 총 7656장을 구축한 AI 전용 데이터센터다. 지난 4월 초부터 본격 가동에 들어갔다. 전체 연산 능력은 FP32 기준 574페타플롭스(PF)다.

이 가운데 4080장은 하나의 클러스터로 연결돼 있다. ‘NIPA-CL1’으로 불리는 이 클러스터는 글로벌 슈퍼컴퓨터 성능 순위 TOP500에서 세계 20위, 국내 최고 순위를 기록했다.

팩토리X 서울의 GPU 랙 하나에는 B200 GPU 48장이 들어간다. GPU 8장이 탑재된 서버 6대를 한 랙에 넣은 구조다. 랙 하나의 가격은 약 60억원, 소비전력은 약 75kW에 달한다.

◇GPU 코앞까지 들어온 냉각수

GPU 성능이 높아지면서 데이터센터의 고민도 달라졌다. GPU를 얼마나 확보하느냐 못지않게 충분한 전력을 공급하고 여기서 발생하는 열을 식히는 것이 중요해졌다.

기존 데이터센터는 찬 공기를 서버 앞으로 보내고 뜨거운 공기를 뒤로 빼내는 공랭식에 주로 의존했다. 하지만 GPU의 집적도와 발열이 높아지면서 고밀도 환경에서는 수랭식 냉각의 필요성이 커지고 있다.

팩토리X 서울은 직접액체냉각(DLC) 방식을 적용했다. 과거 누수 위험 때문에 데이터홀 내부에 물을 들이지 않는 것이 원칙에 가까지만 이곳에서는 GPU 가까이까지 냉각 배관이 연결돼 있다. 대신 냉각수 온도·압력·유량과 누수 여부를 실시간으로 감시한다.

기계실에서 만든 냉수는 데이터홀의 냉각수분배장치(CDU)까지 공급된다. CDU 내부 열교환기에서 별도의 냉매가 냉기를 전달받아 GPU 서버를 순환하는 구조다.

일반 공랭식 고성능 GPU 서버는 경우에 따라 100dB를 웃돌 만큼 소음이 커질 수 있지만, 이곳은 수랭식 적용으로 상대적으로 조용한 환경을 유지할 수 았었다.

팩토리X 서울은 고성능 GPU·CPU는 수랭으로 식히면서 네트워크·스토리지 등은 공랭을 병행했다.

◇공간 남아도 GPU 못 놓는다…전력이 먼저 찼다

데이터홀을 둘러보면 서버 랙 사이사이에 빈 공간이 눈에 띄었다. 얼핏 GPU를 더 들여놓을 수 있을 것 같지만 실제로는 어려웠다.

팩토리X 서울이 입주한 데이터홀은 당초 랙당 약 30kW 수준을 기준으로 설계됐지만, B200 GPU 48장이 들어간 랙 하나가 약 75kW를 사용하고 있다.

고밀도 GPU 랙이 기존 여러 랙에 나눠 공급하던 전력을 사용하는 셈이다. 물리적인 공간보다 전력 공급 여력이 먼저 한계에 도달한 것이다.

NHN클라우드가 사용하는 팩토리X 서울 4개 층은 IT 장비가 동시에 최대 13MW의 전력을 사용할 수 있도록 설계됐다.

발전기실에는 거대한 디젤엔진 10대가 나란히 들어서 있었다. 평소에는 멈춰 있지만 외부 전력 공급이 끊기면 곧바로 가동해 서버 전력을 이어받는다.

서로 다른 두 변전소에서 들어오는 전원이 모두 끊기면 무정전전원장치(UPS)가 먼저 서버에 전력을 공급하고, 그 사이 디젤발전기가 기동하는 구조다.

UPS는 최대 부하에서도 최소 10분 이상 버틸 수 있도록 설계됐다. 데이터센터에서는 이처럼 전원 공급이 몇 초라도 끊기지 않도록 외부 전력과 UPS, 비상발전기를 여러 단계로 겹쳐 놓는다.

전력 공급부터 GPU 작동 상태까지는 관제실에서 24시간 살핀다. 직원들은 대형 모니터를 통해 GPU 서버와 네트워크·스토리지의 사용률과 장애 여부를 확인하고, 전력·온도·냉각수 상태 등 데이터센터 운영 환경도 실시간으로 감시한다.

NHN클라우드는 광주에서 A100·H100 중심의 AI 인프라 운영 경험을 쌓은 데 이어 서울에서는 B200 7656장, 판교에서는 크래프톤용 B300 GPU 1000장 이상 규모의 클러스터를 운영하며 AI 인프라 사업을 확대하고 있다.

이일준 NHN클라우드 기술사업부장(이사)은 “좁은 공간에 얼마나 많은 전력을 공급하고 그만큼 늘어나는 열을 안정적으로 처리할 수 있느냐가 AI 데이터센터 경쟁력을 좌우한다”라며 “GPU 전력 밀도가 높아지는 만큼 수랭식 냉각의 필요성이 더욱 커질 것”이라고 말했다.