다만 이는 동일한 전력 한도에서 구성할 수 있는 서버 수와 개별 서버의 측정 성능을 반영해 계산한 수치로, CPU 한 개의 성능이 두 배라는 의미는 아니다.
AI 에이전트는 사용자의 지시에 답하는 데 그치지 않고 맥락을 유지하며 도구를 호출하고 여러 단계를 거쳐 작업을 수행한다. 이 과정에서는 모델 추론뿐 아니라 작업 계획, 도구 실행, 실행 환경 구성과 작업 조율 등 CPU가 담당하는 기능도 중요하다. Arm은 기존의 단일 작업 중심 평가만으로는 실제 에이전트 서비스의 성능을 충분히 측정하기 어렵다고 보고 새로운 평가 방법론을 마련했다.
메타·오픈AI·후지쯔와 개발한 방법론은 실제 에이전트 활용 사례를 반영하고, 반복 가능한 CPU 측정을 거쳐 최종 작업 결과까지 검증하는 데 초점을 맞췄다. CPU 자체의 성능을 다른 요소와 구분해 측정하는 한편, 실제 작업에서 성능 개선으로 이어지는지도 확인하도록 설계했다.
출처=Arm
출처=Arm
시그널65는 Arm AGI CPU와 AMD EPYC 9755를 대상으로 도구 실행, 에이전트 작업 흐름, 추론·계획 수립 등 7개 작업을 비교했다. 같은 벤치마크 스크립트를 사용해 서버 단위 성능을 측정한 뒤, 이를 바탕으로 랙당 처리 성능을 모델링했다.
분석 결과 Arm AGI CPU는 랙당 평균 1.99배의 성능을 기록했다. 작업 유형별로는 도구 실행 분야가 평균 1.7배, 에이전트 작업 흐름·조율 분야가 2배, 추론·계획 수립 분야가 2.2배였다. 개별 작업의 랙당 성능 차이는 1.43~3.19배로 나타났다.
이 수치에는 CPU 자체의 처리 성능뿐 아니라 랙에 얼마나 많은 서버를 넣을 수 있는지도 반영됐다. 시그널65가 제시한 24㎾ 랙 모델에서는 Arm AGI CPU 서버를 21~23대, AMD EPYC 9755 기반 서버를 13대 구성할 수 있는 것으로 계산했다. 서버당 정격 전력은 Arm AGI CPU 시스템이 950~1050W, AMD의 2소켓 시스템이 1700W다.
따라서 랙당 1.99배라는 결과는 같은 전력 한도에서 서버를 더 많이 배치할 수 있는 점과 각 서버의 측정 성능을 함께 반영한 것이다. 실제 랙 전체를 동일한 환경에서 직접 측정한 결과와는 구분할 필요가 있다. 시그널65도 초기 시스템의 측정값을 바탕으로 랙 성능을 모델링한 결과라고 설명했다.
◇샌드박스 생성 시간은 별도 비교…기준 CPU 달라
에이전트가 독립된 실행 환경인 ‘샌드박스’를 만드는 데 걸리는 시간도 비교했다. 이 시험에서 Arm AGI CPU는 AMD EPYC 9965와 비교해 샌드박스 생성 지연시간을 최대 45% 줄였다. 랙당 성능 비교에 사용한 EPYC 9755와는 다른 모델을 기준으로 한 별도 시험이다.
샌드박스 생성 시간 단축은 여러 에이전트가 동시에 작업을 시작하는 환경에서 실행 대기 시간을 줄이는 데 도움이 될 수 있다. 다만 지연시간 개선 폭은 시험 조건과 실행 환경에 따라 달라질 수 있다.
Arm은 높은 코어 집적도와 코어별 전용 메모리, 고대역폭 입출력(I/O) 설계가 에이전틱 AI 작업에 적합하다고 설명했다. AI 데이터센터에서는 개별 CPU의 처리 속도뿐 아니라 제한된 전력과 공간 안에서 얼마나 많은 작업을 처리할 수 있는지도 중요한 평가 기준이라는 주장이다.
Arm은 CPU 설계뿐 아니라 개방형 AI 인프라 생태계 확장도 추진하고 있다. Arm AGI CPU 레퍼런스 서버 설계를 오픈 컴퓨트 프로젝트(OCP)에 제공하고 있으며, 메타의 차세대 랙 규모 시스템 설계인 ‘요세미티 YV5’에도 Arm AGI CPU가 적용된다.
콜린 자비스 오픈AI 글로벌 포워드 디플로이드 엔지니어링 총괄은 “에이전트의 역량이 높아지면서 이를 뒷받침하는 인프라의 성능을 이해하는 것이 업계의 중요한 과제가 됐다”고 말했다. 아바셰크 다노티아 메타 소프트웨어 엔지니어는 “일관된 비교 기준을 마련하려는 Arm의 노력이 향후 시스템 발전 방향을 설정하는 데 도움이 될 것”이라고 밝혔다.
