28일(현지시간) 월스트리트저널(WSJ)에 따르면 일부 미국 기업들은 직원들의 AI 사용이 늘면서 증가한 비용을 효율화할 방안을 찾고 있다.
이들 기업은 수개월 만에 연간 예산을 모두 소진하거나 AI 운영 비용이 2~3배로 뛴 상황이다. 이에 경영진들은 조직 내 AI 사용을 제한하고, 직원들을 더 저렴한 자체 개발 도구로 유도하고 있다. 또 투자 대비 성과를 높이기 위해 직원들의 역량을 강화하는 방안도 모색 중이다.
불과 몇 달 전만 해도 많은 미국 기업들이 직원들에게 ‘AI 도구를 업무에 많이 활용하라’고 주문하던 것에서 분위기가 크게 달라진 것이다.
AI 열풍이 정점에 달했던 지난해까지만 해도 기업들은 직원들에게 사실상 무제한적인 사용 환경을 제공했고, 이 과정에서 필요 이상으로 많은 자원을 사용하는 이른바 ‘토큰맥싱(tokenmaxxing)’ 현상도 나타났다. 토큰맥싱은 간단한 이메일 작성이나 단순한 질문과 잡담에도 최고급 추론 모델을 사용하는 등 토큰(AI 연산 기본 단위)을 최대치로 쓰는 행위를 가리키는 신조어다.
이에 우버, 메타, 마이크로소프트, 세일즈포스, 도어대시 등 주요 정보기술(IT) 기업들도 최근 AI 사용 효율성을 높이기 위한 관리 방안을 찾고 있는 것으로 알려졌다. 우버는 올해 3월까지 에이전트 AI 관련 연간 예산을 모두 소진한 것으로 알려졌다. 세일즈포스는 토큰 사용량이 실제 사업 성과로 연결되는지를 추적하는 시스템을 도입했다.
메타의 최고기술책임자(CTO) 앤드류 보스워스는 지난달 내부 메모에서 “단지 AI를 사용하기 위해 AI를 사용해서는 안 된다. 토큰 사용량 자체는 어떤 영향력도 측정하지 못한다”며 직원들에게 토큰 낭비에 대한 주의를 보냈다.
마이크로소프트는 직원들에게 앤스로픽 대신 내부 코딩 도구를 사용하도록 유하고 있다. 다만, 마이크로소프트 대변인은 WSJ에 이 같은 조치가 비용 때문이 아니라 조직 내 사용 도구를 표준화하기 위한 목적이라고 했다.
기업들의 AI 비용 통제 움직임이 AI 산업을 위축시킬 수 있다는 우려도 나온다. 기업공개(IPO)를 추진 중인 앤스로픽과 오픈AI 등 AI 스타트업의 성장에 제동이 걸릴 수 있다는 분석이다.
하지만 대다수의 투자자들과 기술 업계 관계자들은 AI 산업 확장은 계속 될 것으로 전망하고 있다. 자산운용사 프라임 캐피털 파이낸셜의 윌 맥고우 최고투자책임자(CIO)는 “AI 도입은 아직 초기 단계에 불과하다”며 “대형 기업들조차 최적의 활용 방식을 찾아가는 과정에 있다”고 말했다.
다만, 기업들의 AI 전략이 ‘무조건적인 확산’에서 ‘성과 중심의 선별적 활용’으로 전환되고 있다는 점에서, AI 모델 기업 간의 경쟁도 가성비에 초점을 맞춘 성능 개선에 집중될 것으로 보인다. 앤스로픽, 오픈AI, 구글 등도 주력 모델의 저가 버전을 제공하고 있다. 질의의 난이도에 따라 적절한 모델을 자동 선택해 보다 저렴한 모델로 업무를 배분하는 시스템을 제공하는 AI 기업들도 등장했다.
