"AI 블랙박스·신뢰 장벽 넘어야"…업스테이지가 밝힌 AX 장벽은

IT/과학

이데일리,

2026년 October 23일, PM 01:57

[이데일리 윤정훈 기자]“작년까지만 해도 ‘AI를 어디에 쓸 수 있을까’라는 열린 질문이 많았다면, 올해는 ‘AI 업무를 정확히 얼마나 개선할 수 있느냐’는 구체적인 목적성 요구로 바뀌었습니다. AI 도입의 가장 큰 허들은 기술이나 비용이 아닌 바로 ‘신뢰’ 문제입니다.”

권순일 업스테이지 최고전략책임자(CSO)는 23일 서울 강남 파르나스타워에서 열린 ‘AWS AI 웨이브 기자간담회’에서 기업들의 인공지능 전환(AX) 현장에서 드러나는 실제 애로사항과 해결 과제를 이같이 진단했다. 이날 간담회는 최영준 아마존웹서비스(AWS) AI 스페셜리스트와 권 CSO가 참석해 기업 현장의 AI 도입 흐름과 기술적 과제를 논의하는 자리로 마련됐다.

권순일 업스테이지 최고전략책임자(CSO)는 23일 서울 강남 파르나스타워에서 열린 'AWS AI 웨이브 기자간담회'에서 발표하고 있다. 옆자리는 최영준 아마존웹서비스(AWS) AI 스페셜리스트(사진=윤정훈 기자)
권순일 업스테이지 최고전략책임자(CSO)는 23일 서울 강남 파르나스타워에서 열린 'AWS AI 웨이브 기자간담회'에서 발표하고 있다. 옆자리는 최영준 아마존웹서비스(AWS) AI 스페셜리스트(사진=윤정훈 기자)
◇“기술 자체보다 거버넌스·레거시 연동이 진짜 숙제”

권 CSO는 최근 현업 기업들이 AI 도입 과정에서 겪는 가장 큰 애로사항으로 기존 레거시 시스템과의 연동과 절차적 거버넌스 준수를 꼽았다.

권 CSO는 “실제 돈을 벌고 있는 대기업이나 엔터프라이즈 고객이 리셋 버튼을 누르고 제로베이스에서 AI 네이티브로 갈 수는 없다”며 “기존 밸류체인과 탄력적인 롤베이스(역할 기반 접근 제어)를 갖춘 레거시 시스템을 건드리지 않고 AI를 어떻게 안전하게 엮어서 쓸지가 최대 관심사”라고 설명했다.

특히 현업 IT 부서가 느끼는 결정적 한계로 AI의 ‘블랙박스’ 특성을 지적했다. AI 기술 태생상 입력값과 출력값 사이의 중간 추론 과정을 명확히 설명하기 어렵다는 점이 기존 기업의 단단한 업무 절차와 충돌한다는 것이다.

그는 “기존의 업무 절차와 규정을 지키지 않은 채 결과값만 그럴싸하게 나오는 것은 현업 고객 입장에서 쓸 수 없는 솔루션”이라며 “결과물이 나와도 어떤 데이터를 참조했고 어떤 절차를 거쳤는지 증명할 수 없으면 조직 차원의 채택이 불가능하다”고 강조했다.

◇“데이터 읽기 AI 98점·사람 92점… 그래도 안심 못 해”

권 CSO는 AI 수용의 가속도를 막는 핵심 병목으로 기술적 성능이 아닌 ‘사회적·조직적 신뢰의 부재’를 꼽았다.

그는 “문서나 데이터를 읽어내는 능력에서 사람은 92점 수준이고, AI는 98점까지 올라왔지만 여전히 기업들은 안심하지 못한다”며 “지금까지 AI가 블랙박스라는 한계 속에서 거버넌스나 절차를 얼마나 지키는지 보여주는 데 소홀했기 때문”이라고 밝혔다.

실제로 금융·공공 등 규제가 엄격한 산업군일수록 설명 가능성에 대한 장벽은 더 높다. 권 CSO는 금융권의 신용평가 사례를 들어 현장의 입장을 전했다.

그는 “AI가 추론을 통해 신용평가를 진행하고 회수율을 예측하는 성능 자체는 사람보다 훨씬 뛰어날 수 있지만, 그것을 과연 금융사가 완전히 믿고 채택할 수 있느냐는 완전히 다른 차원의 문제”라며 “AI의 블랙박스 특성 때문에 규제 산업에서는 평가 자체를 AI에 완전히 맡기기보다, 평가 이후 정해진 후속 워크로드를 처리하도록 구체적인 절차를 지키게 함으로써 신뢰를 확보하는 방식으로 에이전트를 적용하고 있다”고 밝혔다.

이어 “최근 에이전트 시대로 넘어오면서 AI가 무엇을 참조했고 어떤 과정을 거쳤는지 보여주는 보안 및 거버넌스 장치가 결합되고 있다”며 “관리·통제 비용보다 AI가 만드는 비즈니스 임팩트가 눈에 보일 때 톱다운 형태의 결단과 함께 전사적 확산이 이뤄질 것”이라고 덧붙였다.

◇업스테이지-AWS, ‘솔루션 스튜디오’로 절차 관리 제공

업스테이지는 이러한 현업의 애로사항을 해결하기 위해 뒷단의 파운데이션 모델(솔라 등) 제공을 넘어, 앞단에서 업무 절차와 거버넌스를 관리할 수 있는 ‘솔루션 스튜디오’ 제품군 및 절차 관리 플랫폼 환경을 집중적으로 제공하고 있다.

또한 AWS와의 전략적 협력을 통해 세이지메이커 기반의 모델 학습 최적화와 함께, AWS의 AI 모델 플랫폼인 점프스타트 및 베드락 생태계를 활용해 글로벌 엔터프라이즈 마켓으로의 진출을 가속화하고 있다.

최 스페셜리스트는 “경신홀딩스와 같은 제조·부품 기업들도 기존 MS SQL이나 SAP 등 레거시 데이터를 그대로 둔 채 베드락의 에이전트 코어를 적용해 보안 규칙과 절차를 준수하도록 구현하고 있다”며 “기술이 고도화됨에 따라 단순 모델 성능 겨루기에서 벗어나 기업의 데이터 거버넌스와 레거시 시스템을 손상시키지 않는 에이전틱 AI 프레임워크 구축이 AX의 핵심이 될 것”이라고 말했다.

추천 뉴스