젠슨 황 엔비디아 최고경영자(CEO). (사진=방인권 기자)
엔비디아는 6일 AI 팩토리가 높은 처리량과 낮은 토큰 비용을 통해 수익 창출 능력을 높이고, 기존 하드웨어의 유효 수명을 연장하며, 다양한 AI·가속 컴퓨팅 워크로드를 지원해야 투자 수익을 극대화할 수 있다고 밝혔다.
엔비디아에 따르면 메가와트급 AI 팩토리 하나를 구축하는 데 약 6000만달러가 투입된다. 대규모 자본 투자를 결정하기 위해서는 얼마나 많은 토큰을 생산·판매할 수 있는지, 하드웨어가 얼마나 오랫동안 수익을 창출하는지, 생산된 토큰에 대한 수요를 얼마나 확보할 수 있는지를 함께 고려해야 한다.
엔비디아는 이 세 가지 요소를 각각 생산성, 내구성, 범용성으로 설명한다. 특정 요소 하나가 뛰어나더라도 다른 부분이 뒷받침되지 않으면 AI 팩토리 전체의 수익성을 높이기 어렵다는 것이다.
◇전력 한계 속 토큰 생산량·비용이 수익성 좌우
우선 생산성 측면에서는 제한된 전력 안에서 최대한 많은 토큰을 생성하는 것이 중요하다. AI 팩토리 확장의 핵심 제약 요소가 전력인 만큼 메가와트당 초당 토큰 처리량을 높이고 토큰당 비용을 낮춰야 수익성을 높일 수 있다는 설명이다.
(엔비디아 제공)
엔비디아는 이러한 성능 향상이 모델과 워크로드부터 소프트웨어, 컴퓨팅, 네트워킹, 메모리까지 전체 시스템을 함께 최적화하는 공동 설계를 통해 가능하다고 설명했다. 토큰 비용이 낮아질수록 경제성을 확보하는 AI 활용 사례가 늘어나 전체 컴퓨팅 수요도 오히려 확대될 것으로 보고 있다.
하드웨어의 유효 수명을 늘리는 내구성도 핵심 요소로 꼽았다. 모든 워크로드에 최신 GPU가 필요한 것은 아닌 만큼 차세대 제품 출시 이후에도 이전 세대 시스템이 지속적으로 활용될 수 있다는 것이다.
2020년 출시된 A100 GPU는 현재도 상용 서비스에서 활용되고 있다. 코어위브는 기존 A100 GPU의 주문 기간을 2029년까지 연장했다. 중고 시장에서도 A100이 출시 6년이 지난 현재 초기 가격의 약 25% 수준의 가치를 유지하는 것으로 조사됐다.
엔비디아는 여러 GPU 세대에 걸쳐 호환되는 CUDA 생태계와 지속적인 소프트웨어 최적화도 기존 하드웨어의 활용 기간을 늘리는 요인으로 보고 있다. 새로운 아키텍처가 출시되더라도 기존 GPU에서 머신러닝과 생성형AI, 추론, 에이전틱AI, 피지컬AI 등 새로운 워크로드를 계속 수행할 수 있다는 설명이다.
엔비디아는 자사 플랫폼이 높은 범용성을 바탕으로 모든 유형의 AI 워크로드를 모든 단계와 환경에서 실행할 수 있다고 밝혔다. (엔비디아 제공)
범용성은 AI 팩토리가 대응할 수 있는 수요 범위를 넓히는 역할을 한다. 엔비디아 플랫폼은 언어와 비전, 생물학, 물리학, 로보틱스 등 다양한 AI 모델뿐 아니라 데이터 처리, 과학 컴퓨팅, 시뮬레이션, 그래픽 등 AI 이외의 가속 컴퓨팅 작업도 지원한다.
하이퍼스케일과 AI 클라우드, 소버린 AI, 기업 데이터센터, 엣지 등 다양한 환경에서도 동일한 플랫폼을 활용할 수 있다. CUDA-X는 1000개 이상의 사전 구축 라이브러리를 통해 딥러닝부터 계산 리소그래피, 양자 회로 시뮬레이션, 벡터 검색, 기후 모델링 등을 지원하고 있다.
실제 제약과 금융, 콘텐츠, 제조 등 다양한 산업에서 엔비디아 GPU 기반 AI 팩토리가 활용되고 있다. 릴리는 온프레미스 GPU 클러스터에서 신약 개발 모델과 내부용 AI 에이전트를 운영하고 있으며, 핀터레스트는 대규모 GPU 인프라를 활용해 비전언어모델을 학습·배포하고 있다. 다쏘시스템과 유니레버 등도 시뮬레이션과 디지털 트윈 분야에 GPU를 활용하고 있다.
엔비디아는 “높은 생산성과 내구성, 범용성을 갖춘 AI 팩토리가 더 많은 토큰을 낮은 비용으로 생산하고 장기간 다양한 수요에 대응할 수 있다”며 이를 통해 AI 인프라 투자의 수익성을 높일 수 있다고 설명했다.
