클레온 AI 상호작용 기술 확장(사진=클레온)
이번에 게재된 논문은 ‘Emo-LiveSync: Real-Time Universal Lip Synchronization with Explicit Emotion Control’이다. 음성과 영상의 정렬을 얼굴 전체 움직임을 담는 모션 공간에서 수행해 입모양뿐 아니라 감정 표현까지 하나의 생성 구조로 다룬 것이 특징이다.
기존 AI 영상 기술이 음성에 맞춰 입을 움직이는 데 초점을 맞췄다면, 클레온은 실제 대화처럼 말의 의미와 감정에 따라 눈빛과 표정, 얼굴 전체가 함께 반응하는 기술에 주목했다.
이번 기술은 기쁨, 슬픔, 화남 등 서로 다른 감정에 따라 얼굴 표정이 달라지고, 감정의 강도와 변화도 조절할 수 있도록 설계됐다. 실제 사람뿐 아니라 애니메이션, 3D 캐릭터에도 적용할 수 있다.
클레온은 영상 품질, 인물 생김새 보존, 음성·입모양 동기화 성능에서 기존 모델 대비 우수한 결과를 기록했다고 설명했다.
클레온 AI 상호작용 기술 확장(사진=클레온)
클레온의 기술은 얼굴 표현에 그치지 않는다. 음성만으로 손짓과 몸동작까지 자연스럽게 생성하는 전신 대화형 아바타 기술은 CVPR 2026에 게재됐다.
해당 논문은 ‘AudioAvatar: Personalized Audio-driven Whole-body Talking Avatars’로, 음성 기반 개인화 3D 아바타의 얼굴, 손짓, 몸동작을 생성하는 기술을 다뤘다.
의상처럼 신체 움직임에 따라 함께 흔들리는 비강체 영역의 2차 움직임을 표현하는 기술도 ICLR 2026에 게재됐다. 논문명은 ‘SMAGA: Secondary Motion-Aware 3D Clothed Gaussian Avatars from Monocular Videos’다. 두 연구는 고려대학교 박경문 교수 연구실과 공동으로 진행됐다.
클레온은 말에 맞춰 입을 움직이는 기술에서 출발해 얼굴로 감정을 표현하고, 손과 몸으로 반응하는 방향으로 기술을 확장하고 있다. 사람과 닮은 영상을 만드는 것을 넘어, AI가 실제 사람 앞에서 말하고 표정 짓고 몸으로 반응하는 인터페이스를 구축하는 것이 목표다.
클레온 AI 상호작용 기술 확장(사진=클레온)
클레온은 대규모언어모델(LLM), 음성인식(ASR), 음성합성(TTS), 검색증강생성(RAG), 실시간 영상 생성·스트리밍 기술을 결합해 휴먼 AI 인터페이스를 구현하고 있다.
관련 기술은 기업 교육, 디지털 사이니지, 리테일, 공공공간, 브랜드 행사와 전시 등 실제 사람과 AI가 만나는 접점에 적용되고 있다.
기업 교육에서는 AI 휴먼과의 반복 대화를 통해 응대, 상담, 세일즈 역량을 훈련할 수 있다. 리테일 환경에서는 얼굴과 목소리, 표정이 있는 AI 인터페이스가 설명, 안내, 응대 경험을 제공한다.
클레온의 기술은 롤핏, 클레온 스튜디오 SDK, 이벤트 프로모터 OS 등 제품으로 구현된다.
롤핏은 기업이 교육, 롤플레이, 상담 등 목적에 맞는 대화형 AI 에이전트를 구축·운영할 수 있도록 지원하는 제품이다. 클레온 스튜디오 SDK는 디지털 휴먼을 다양한 디바이스와 서비스에 탑재할 수 있게 하는 개발도구다. 이벤트 프로모터 OS는 전시·행사·브랜드 현장에서 다국어 AI 프로모터를 운영하기 위한 솔루션으로 출시를 준비 중이다.
강지수 클레온 최고기술책임자(CTO)는 “AI가 실제 사람 앞에서 응대하고 설명하고 훈련시키는 역할을 하려면 질문을 이해하고 답변을 생성하는 것만으로는 충분하지 않다”며 “자연스럽게 입을 움직이고, 상황에 맞는 표정과 감정을 표현하며, 몸짓으로 반응할 수 있어야 한다”고 말했다. 이어 “개별 기술의 성능을 높이는 동시에 이를 하나의 실시간 시스템으로 연결해, AI가 사람과 더 자연스럽게 상호작용할 수 있는 인터페이스를 만들어 나가겠다”고 강조했다.
