LLM 라우터는 챗GPT, 클로드, 제미나이 등 주요 AI 모델을 하나의 플랫폼으로 연결하고, 사용자의 요청에 맞는 모델을 선택·분배·전환해주는 오케스트레이터 역할을 한다.
최근 생성형 AI 이용이 보편화되면서 목적에 따라 여러 AI 모델을 함께 쓰는 멀티호밍 이용도 늘고 있다. 과학기술정보통신부가 지난 3일 발표한 ‘2025년 부가통신사업 실태조사’에 따르면 생성형 AI 이용자의 53.2%는 2개 이상의 생성형 AI 플랫폼을 함께 사용하는 멀티호밍 이용자로 나타났다. 코딩, 검색, 번역, 요약, 콘텐츠 제작 등 목적에 따라 서로 다른 AI를 활용하는 방식이 확산되고 있다는 설명이다.
다만 활용하는 AI 모델이 늘어날수록 관리 부담도 커진다. 서비스마다 계정과 비용, 사용 현황을 별도로 관리해야 하고, AI 모델을 서비스에 연동할 경우 새 모델을 추가하거나 교체할 때마다 설정과 운영 작업이 필요하다.
카페24는 LLM 라우터가 이 같은 복잡한 과정을 하나의 연동 환경에서 관리할 수 있도록 설계됐다고 설명했다.
LLM 라우터는 오픈AI GPT 계열 모델을 비롯해 클로드, 제미나이, 딥시크, 큐원, 라마 등 120여개 AI 모델을 하나의 API로 이용할 수 있도록 지원한다.
핵심은 라우팅 엔진이다. 라우팅 엔진은 사용자가 입력한 요청 내용을 바탕으로 코딩, 추론, 번역, 창작 등 작업 유형을 분석하고 적합한 AI 모델을 자동으로 연결한다. 사용자가 활용할 모델 범위를 미리 지정하면 해당 범위 안에서만 자동 연결된다. 이를 통해 이용자는 모델을 일일이 비교하거나 선택하지 않아도 목적에 맞는 AI를 활용할 수 있다.
특정 AI 서비스 제공사를 허용하거나 제외하는 화이트리스트와 블랙리스트 기능도 지원한다. 사용자는 자동 연결 대상 범위를 필요에 따라 조정할 수 있다.
특정 AI 모델이 응답하지 않을 경우를 대비한 자동 전환 기능도 제공한다. 사용자는 주 모델과 대체 모델을 미리 설정할 수 있다. 앞선 모델이 응답하지 못하면 다음 후보 모델이 자동으로 요청을 이어받는다. 예컨대 주 모델로 사용하던 클로드가 응답하지 않을 경우 사전에 지정한 다른 모델이 자동으로 처리해 서비스 연속성을 확보할 수 있다.
여러 AI 모델을 하나의 환경에서 관리할 수 있는 대시보드도 제공된다. 사용자는 실시간 대시보드를 통해 요청 수, 비용, 토큰 사용량 추이, 모델별 비용 비중, 성공·실패 비율 등을 한 화면에서 확인할 수 있다. 요청 단위 상세 기록과 팀·프로젝트·환경별 사용량 분류 추적도 지원해 AI 활용 현황과 비용 구조를 파악할 수 있다.
사용자가 보유한 AI 모델 키를 LLM 라우터에 연결해 쓰는 것도 가능하다. ‘BYOK’ 모드를 통해 GPT, 클로드, 제미나이 등 이미 사용중인 모델 키를 등록하면 해당 모델을 LLM 라우터 환경에서 그대로 활용할 수 있다. 이를 통해 LLM 라우터를 거치더라도 AI 모델 사용 비용을 직접 관리할 수 있다.
카페24는 앞으로 신규 AI 모델과 AI 서비스 제공사 지원 범위를 확대하고, AI 운영과 관리 편의성을 높이는 기능을 고도화할 계획이다.
이재석 카페24 대표는 “AI 모델의 종류가 빠르게 늘어나면서 이를 효율적으로 연결하고 운영하는 것이 새로운 과제가 되고 있다”며 “카페24는 앞으로도 사용자가 다양한 AI를 더 편리하게 활용할 수 있도록 관련 인프라 역할을 충실히 해나가겠다”고 말했다.
