[이데일리 김호준 기자] 스마일샤크는 AWS 서밋 서울 2026에서 생성형 AI 품질 검증 사례를 공개했다고 21일 밝혔다.

AWS 서밋 서울은 국내 최대 AI·클라우드 행사로, 올해는 생성형 AI 상용화와 산업 현장 적용 사례를 중심으로 다양한 발표가 진행됐다.

스마일샤크는 행사 첫날 인더스트리 데이 세션에서 매경AX AI 팟캐스트 자동화 프로젝트 사례를 소개했다. 최병주 솔루션즈 아키텍트(SA)는 생성형 AI 결과물의 신뢰도를 높이기 위한 운영 전략을 상세히 설명했다. 특히 ‘LLM-as-a-Judge’ 기반 품질 검증 체계를 적용해 AI가 또 다른 AI의 결과물을 검증하는 구조를 구축했다. 이를 통해 사실 오류를 크게 줄이고 검수 효율성을 높였다고 밝혔다.

스마일샤크에 따르면 해당 시스템 도입 후 월 평균 15~20건에 달하던 사실 오류가 월 1건 이하로 감소했고, 검수 시간도 약 90% 단축되는 성과를 거뒀다. 최병주 SA는 “생성형 AI는 실제 서비스 운영 단계에서 품질 관리가 핵심 과제가 된다”며 “평가 체계와 운영 기준이 함께 마련돼야 안정적인 서비스 제공이 가능하다”고 강조했다.

행사 현장 부스에서는 클라우드 서비스 추천 콘텐츠와 맞춤형 굿즈 프로그램이 운영됐으며, AI 도입을 고민하는 기업 관계자들을 대상으로 기술 상담도 활발히 진행됐다.

장진환 스마일샤크 대표는 “기업들의 생성형 AI 도입 수요가 확대되면서 운영 경험 기반의 실무 사례에 대한 관심도 커지고 있다”고 말했다.

업계 전문가들은 생성형 AI 활용 범위가 넓어질수록 결과물 검증과 운영 안정성 확보의 중요성이 더욱 커질 것으로 전망하고 있다.