KT(030200)가 국내외 인공지능(AI) 모델 500개 이상을 한곳에서 선택하고 이용량과 비용까지 통합 관리할 수 있는 기업용 AI 플랫폼을 선보였다. 자체 개발한 모델 추천·프롬프트 압축 기술로 토큰 사용량을 최대 25% 줄여 기업의 AI 활용 비용을 낮춘다는 구상이다.

KT는 27일 서울 종로구 광화문 West 빌딩에서 AI 모델 선택부터 비용 관리, AI 신뢰·안전 기능까지 하나의 플랫폼에서 제공하는 'KT 토큰팩토리'(KT Token Factory)를 공개했다. 정식 출시는 오는 30일이다.

토큰팩토리는 국내외 500개 이상의 AI 모델을 통합 제공한다. 가입부터 사용량 확인, 비용 관리, 결제까지 한곳에서 처리할 수 있어 고객이 업무 목적과 비용, 보안 요구 사항에 맞는 모델을 선택해 활용할 수 있다.

여러 AI 모델을 개별적으로 탐색하거나 각각의 이용 환경을 관리할 필요 없이 모델 선택부터 이용 현황 모니터링, 비용 관리까지 통합적으로 수행할 수 있는 것이 특징이다.

이를 위해 KT는 글로벌 AI 게이트웨이 플랫폼이자 AI 모델 마켓플레이스 사업자인 '오픈라우터'(OpenRouter)와 국내 최초로 공식 파트너십을 체결했다.

양사는 오픈라우터가 제공하는 글로벌 AI 모델과 KT의 국내 인프라, 소버린 AI 모델을 연계해 서비스 범위를 확대할 계획이다.

KT는 통신사업을 통해 축적한 연결·과금·보호 역량도 적용했다. 국내외 다양한 AI 모델을 하나로 연결하고 사용량에 따라 요금을 산정하는 토큰 과금 체계를 구현했다. 데이터 보호와 보안 기능도 강화했다.

토큰팩토리는 업무 성격에 따라 적합한 AI 모델을 자동으로 선택해 비용을 줄이는 기능을 제공한다. 단순 업무에는 가벼운 모델을, 복잡한 분석 업무에는 고성능 모델을 적용하는 방식이다.

이를 위해 KT가 자체 개발한 AI 모델 라우팅 기술인 '오토 모델 라우터'(Auto Model Router)를 적용했다.

오토 모델 라우터는 질문의 업무 유형과 난이도, 요구 품질, 비용, 고객이 사전에 허용한 모델 범위 등을 종합해 적합한 AI 모델을 선택한다. KT에 따르면 이 기술은 모델 선택 성능을 평가하는 글로벌 벤치마크 'RouterArena'에서 종합 1위를 기록했다.

프롬프트 압축 기술도 적용했다. 한국어 특성을 고려한 압축과 불필요한 반복 표현 제거를 통해 질문의 의미와 응답 품질을 유사하게 유지하면서 입력 토큰 수를 줄인다.

KT는 자체 개발한 모델 추천·프롬프트 압축 기술을 통해 AI 이용에 필요한 토큰 사용량을 최대 25% 절감할 수 있다고 설명했다.

토큰팩토리는 해외 AI 서비스 의존에 따른 데이터 주권 우려를 줄이기 위해 국내 KT 데이터센터에서 직접 AI 추론 서비스를 제공한다.

KT는 국내 소버린 AI 인프라를 기반으로 자체 모델과 국내외 오픈웨이트(Open Weight) 모델, 독자 AI 파운데이션 모델 등을 활용할 수 있는 멀티 AI 환경을 구축했다.

다양한 오픈웨이트 모델을 국내 인프라에서 이용할 수 있도록 지원하는 한편, 모델 평가 체계와 자체 가드레일(Guardrail) 기술을 적용해 AI 이용 과정의 안전성을 높였다.

가드레일은 고객이 입력하는 프롬프트에 개인정보·민감정보나 유해 표현이 포함돼 있는지 점검하고, AI가 생성한 답변도 검사하는 기능이다.

KT는 향후 고객별 업무 환경과 보안 요구를 반영해 탐지 대상과 차단 수준을 세밀하게 설정할 수 있도록 기능을 확장할 계획이다.

KT는 토큰팩토리를 기업의 인공지능 전환(AX)을 지원하는 핵심 플랫폼이자 새로운 성장사업으로 육성할 방침이다.

오는 30일 출시 이후 고객과 서비스 범위를 단계적으로 확대한다. 초기에는 여러 AI 모델을 활용하면서 비용을 효율적으로 관리하려는 기업 고객을 대상으로 서비스를 제공한다.

KT는 오픈라우터를 통해 국내에서 제공하는 AI 모델의 글로벌 유통도 추진한다. 토큰팩토리를 국내외 AI 모델과 이용자를 연결하는 AI 허브로 발전시키겠다는 구상이다.

AI 코딩·에이전트 분야의 유라클과 CAST AI, 기업용 AI 워크스페이스 분야의 타임리 등 국내외 전문기업과 협력도 확대한다.

업스테이지, 다음 등 '모두의 AI' 컨소시엄 참여사와 협력을 강화해 AI 인프라부터 모델 활용, AI 서비스까지 연결하는 파트너 생태계를 구축하고 글로벌 시장으로 사업 영역을 확대할 계획이다.

박상원 KT T AX사업부문장 전무는 "AI 시장은 이제 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다"며 "통신사업에서 축적한 연결·과금·보호 역량을 AI 서비스로 확장한 토큰팩토리를 기반으로 고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다"고 말했다.

한편 박윤영 KT 대표는 지난 7월 취임 100일 기자간담회에서 'AX 플랫폼 컴퍼니' 도약 전략을 발표했다. 당시 토큰팩토리를 새로운 AX 성장사업으로 제시하고 AI 데이터센터(AIDC) 1GW 확보와 기업·소비자 대상 AX 서비스 확대 등을 추진하겠다고 밝혔다.

minju@news1.kr