[이데일리 한광범 기자] “기업들이 인공지능(AI)을 단순한 기술 도입이나 솔루션 구매로 접근하면 실패할 확률이 높습니다. 지금은 기술 유행이 아닌, 비즈니스적 생존을 위해 분절된 프로세스 전반에 에이전트를 적재적소에 융합하는 전략적 자세가 필요한 시점입니다.”

한선호 베스핀글로벌 최고AI책임자(CAIO)는 지난 18일 서울 서초동 베스핀글로벌 사무실에서 진행한 이데일리와의 인터뷰에서 기업들의 AX(AI 전환) 전략에 대해 이 같이 조언했다. 한 CAIO는 IBM에서 왓슨 기반 AI 사업을 이끌고, AI 스타트업 코그넷나인 대표를 거쳐 AI MSP(관리서비스공급업) 기업인 베스핀글로벌에 합류해 AI 전략을 총괄하고 있다.

한 CAIO는 현재 기업들의 AI 도입 성숙도를 ‘어드밴스드(선두)’, ‘중간 티어’, ‘비기너’의 3대 집단으로 분류하며, 다수 기업이 조직 내 ‘항아리 구조’의 병목 현상을 겪고 있다고 진단했다. 최고경영진의 높은 비전과 실무단의 구현 의지 사이에서 중간 기획단이 지식의 갭으로 막혀 있다는 분석이다. 이로 인해 무리하게 거대한 프로젝트만 구상하다 실전 단계로 나아가지 못하고 시간을 허비하는 경우가 많다는 것이다.

특히 현업 실무 부서가 AI 도입을 꺼리거나 업무에 수용하지 못하는 괴리의 배경을 ‘곱셈의 법칙’으로 명쾌히 설명했다. 한 CAIO는 “실무자가 시스템을 믿고 라이브 업무에 태우려면 최종 정확도가 최소 93~95% 이상은 확보돼야 한다”며 “하지만 많은 기업이 이 기준을 맞추지 못해 현업에서 불신이 생기는 것”이라고 짚었다.

◇현업 AI 불신, ‘3P 전략’으로 조직 내 병목 뚫어야

이 같은 괴리는 인풋과 아웃풋 사이에 작동하는 수학적 구조 탓이라는 설명이다. 최종 아웃풋의 퀄리티는 ‘원본 데이터의 정합성’, ‘검색(Retrieval) 성능’, ‘LLM의 답변 성능’이 모두 곱해져 결정된다.

한 CAIO는 “원본 데이터 정합성이 90%이고 RAG 검색 성능이 95%이며 LLM 답변 성능이 90%라면, 각각의 수치는 높아 보여도 곱해진 최종 정확도는 76%대까지 떨어진다”고 지적했다. 이어 “LLM의 확률론적 답변 성능은 기술적 한계로 인해 95%가 맥시멈이기에, 최종 정확도를 확보하려면 실시간 감시를 통해 데이터 정합성과 검색 성능 단을 무조건 100%에 수렴하도록 통제해야 한다”고 해법을 제시했다.

실제로 기술 도입 자체가 아닌 비즈니스적 생존을 최우선 목표로 삼아 AI 전환에 성공한 사례들이 이를 증명한다. 새 회계기준(IFRS 17) 도입으로 관리 상품이 3배 급증했으나 인력을 늘릴 수 없었던 생명보험 업계는 영업 설계, 청약 심사, 지급 심사에 에이전트를 도입해 돌파구를 마련했다.

카드사들 역시 단순 가격 출혈 경쟁에서 벗어나 자체 커머스 플랫폼에서 대규모 고객 인터랙션을 처리하는 컨시어지 서비스에 AI 에이전트를 생존 수단으로 융합해 비즈니스 트랜스포메이션을 이뤄냈다.

이처럼 성공적인 AI 전환(AX)을 이루기 위한 구체적인 방법론으로 한 CAIO는 사람(People), 프로세스(Process), 플랫폼(Platform)을 아우르는 ‘3P 리스크 전략’을 역설했다.

사람 관점에서는 최고경영진의 보여주기식 설계나 ‘톱다운’ 방식의 강제 교육이 가장 큰 리스크라고 평가했다. 한 CAIO는 “수십억 원을 들여 구축한 에이전트가 위쪽 보고용 지표에만 맞춰져 실무자의 잡무만 늘리는 사례가 허다하다”며 “탑다운 압박 대신 실패 리스크 없이 자유롭게 실험할 수 있는 ‘플레이그라운드’ 환경을 바텀업으로 깔아주고 성공 프랙티스를 전파하는 구조를 짜야 한다”고 조언했다.

프로세스 관점에서는 단편적인 기능 단위의 솔루션 구매를 경계했다. 기술 스펙 위주로 접근하면 포인트 단위의 단절된 기능만 채워져 시스템이 고립(사일로화)되기 때문이라는 분석이다. 그는 “과거에는 분절된 시스템 사이를 사람이 직접 수작업으로 메꿔왔다”며 “프로세스 드리븐 관점에서 전체 흐름을 들여다보고 에이전트를 적재적소에 융합해야 한다”고 설명했다. 이를 위해 비즈니스 임팩트와 실현 가능성을 평가하는 ‘비즈니스 밸류 어세스먼트(BVA)’를 통한 우선순위 정립이 필수적이다.

플랫폼 관점에서는 특정 스택에 종속되는 완성형 폐쇄 플랫폼 대신 레고 블록 같은 개방형 환경을 강조했다. 기술 변화 속도가 빠르기 때문에 완성형 스택은 나쁜 의미의 ‘락인(종속)’이 되기 때문이다.

한 CAIO는 단순한 구축을 넘어 플랫폼을 지속 가능하게 운영하기 위한 뼈대로 ‘AI 오퍼레이션(AI Ops)’ 인프라를 제시하며, 이를 일종의 ‘에이전트 인사고과 평가 체계’로 정의했다. 엄격하게 구축된 골든셋 기반의 모델 정량 평가와 감점 방식의 루브릭(Rubric) 정성 평가를 통해 객관적인 현업 수용도를 측정해야 한다는 설명이다.

이와 함께 에이전트의 업무 완수율(Completion)과 효율성(Efficiency), 소비 토큰량 가성비 및 시스템 자원 가용성을 상시 감시해야 한다고 짚었다. 나아가 의사결정을 역추적하는 설명 가능성(Explainability)과 거버넌스 기술, 그리고 성능 저하 시 지연 없이 다른 모델로 즉각 갈아 끼울 수 있는 ‘하이브리드 교체 역량’이 AI Ops의 핵심 지표가 될 것이라고 내다봤다.

◇통제와 절차 학습한 AI, 스스로 생각하는 ‘자율형’으로 이동

기업 시장에서 AI의 향후 역할에 대해서는 “스스로 생각하고 자율적으로 작동하는 동반자”로 정의했다. 한 CAIO는 현재 기술 시장의 판도에 대해 “글로벌 빅테크조차 오픈소스 진영의 무서운 발전 속도로 인해 장기 기술 로드맵이 완전히 붕괴되고 큰 전략 방향만 남은 상황”이라고 진단했다.

이 때문에 기업 시장에서의 AI 기술은 단순히 파운데이션 모델을 그대로 갖다 쓰는 수준을 넘어섰다. AI의 지능이 높아지면서 지시를 벗어나 엇나가는 것을 막기 위해 고삐를 죄듯 제어하는 ‘하네스(Harness) 엔지니어링’이나, 마치 회사의 결재 라인처럼 업무 프로세스를 단계별로 촘촘히 연결해 AI의 행동을 통제하는 ‘에이전틱 워크플로우(Agentic Workflow)’ 단계로 진화하는 추세다.

한 CAIO는 여기에서 한 발 더 나아가 AI가 스스로 판단하는 시대가 머지않았다고 내다봤다. 그는 “최근에는 여러 페르소나의 에이전트들이 서로 협업하는 ‘에이전트 팀’ 단계를 지나, 복잡한 워크플로우를 사람이 짜주지 않아도 스스로 생각하고 작동하는 ‘자율형 에이전트(Autonomous Agent)’ 단계로 빠르게 이동하고 있다”고 전했다.

이어 “인프라 부담을 줄이는 캐싱 및 프레시저 메모리 설계를 기반으로 자율성을 극대화하는 흐름이며, 올해 개념 정리를 거쳐 내년부터 본격적으로 기업 시장에 쏟아질 것”이라고 전망했다. 이에 따라 퍼포먼스와 경제성에 맞춰 지연 없이 모델을 교체하는 아키텍처 유연성이 기업의 핵심 역량이 될 것이라는 분석이다.

◇글로벌 독점 막을 최소한의 무기…국산 LLM은 미래 시장 ‘가격 방어선’

한 CAIO는 글로벌 빅테크와의 격차로 인해 국산 파운데이션 모델 무용론이 고개를 드는 현 상황에 대해 비즈니스적 팩트를 기반으로 국산 LLM의 필요성을 역설했다. 국산 모델의 진짜 가치는 기술적 1등이 아니라, 시장 독점을 견제하고 최소한의 가격 방어선을 구축하는 대체제로서의 존재감에 있다는 논리다.

그는 “과거 국내 IT 시장에서도 특정 해외 독점 제품의 독과점 횡포와 일방적인 비용 인상 요구에 맞서 국산 대체재가 버티고 있었기에 가격 폭리를 저지하고 시장의 협상력을 유지할 수 있었던 명확한 실전 사례가 존재한다”고 밝혔다.

이어 “지금은 상용 모델을 한 달에 2만~3만원이라는 비교적 저렴한 가격으로 편하게 쓰고 있지만, 글로벌 빅테크가 시장을 완전히 장악하고 토종 대체제가 전멸하는 순간 그들이 가격을 무리하게 올려도 완벽히 종속된 상태의 기업들은 대안이 없어 돈을 지불할 수밖에 없다”고 지적했다.

그러면서 “미래 AI가 보편적 유틸리티 인프라가 되는 순간 공급자 중심 가격 게임에서 최소한의 국가적 협상력과 가격 방어의 칼자루를 쥐기 위해 국산 대체제 모양새를 국가적으로 반드시 유지해 가야 한다”고 거듭 강조했다.