해상도와 프레임(초당 영상 수)을 동시에 향상시키는 것이 특징으로 향후 실시간 스트리밍부터 CCTV·블랙박스·의료영상까지 다양한 산업 분야에 활용이 기대된다.
[연구그림] C-STVSR(양방향 흐름 기반 시공간 초해상화 모델)기법들의 비디오 복원 결과.
UNIST(울산과학기술원) 인공지능대학원 유재준 교수 연구팀은 해상도와 프레임을 동시에 개선하는 AI 모델 ‘BF-STVSR(Bidirectional Flow-based Spatio-Temporal Video Super-Resolution. 양방향 흐름 기반 시공간 초해상화 모델)’을 개발했다고 24일 밝혔다.
이번 연구 성과는 컴퓨터 비전 분야 최고 권위 학회 중 하나인 CVPR 2025(미국 내슈빌)에 채택되며 주목받았다.CVPR 2025의 1만 3008편 논문 중 상위 22.1% 논문에 포함됐다.
고화질 복원, 외부 네트워크 없이 자체 학습으로 구현
기존의 영상 복원 기술은 해상도와 프레임을 개별적으로 처리하며, 프레임 향상을 위해 사전에 학습된 ‘옵티컬 플로우(Optical Flow)’ 네트워크에 의존해왔다. 하지만 이 방식은 연산 비용이 크고 오류 누적이 발생해 실시간 활용에 제약이 컸다.
반면 UNIST 연구팀이 제안한 BF-STVSR은 프레임 간 움직임을 자체 학습하는 구조로, 외부 네트워크 없이도 자연스러운 움직임과 정밀한 디테일을 복원할 수 있다. 외부 옵티컬 플로우 네트워크 없이 해상도·프레임 동시 복원이 가능한 것이다.
푸리에 기저함수(Fourier 기저함수·복잡한 신호를 여러 개의 주파수 성분으로 분해해 표현할 수 있도록 해주는 수학적 도구)를 통해 공간상의 고주파 세부정보를 표현했고, 비스플라인 기저함수(B-spline 기저함수)를 통해 시간축의 부드러운 움직임을 효과적으로 표현했다.
연구팀은 저해상도·저프레임 영상에 이 기술을 적용한 결과, 영상 품질 평가 지표인 최대 신호 대 잡음비(PSNR), 구조 유사도 지수(SSIM)등에서 기존 복원 기술을 능가하는 성능을 확인했다고 밝혔다.
이는 움직임이 많은 상황에서도 인물 외형의 왜곡 없이 자연스러운 복원이 가능하다는 의미다.
“스트리밍·보안·의료·위성영상 등 전방위 적용 가능”
응용 분야는 스트리밍, CCTV·블랙박스, 의료영상, 위성영상 등 다양하다. 유 교수는 “이번 기술은 스트리밍 플랫폼의 네트워크 부하를 줄이거나, 저사양 장비로 촬영된 CCTV·블랙박스 영상의 복원, 의료 영상 품질 향상 등 다양한 분야에 전방위적으로 적용될 수 있다”고 설명했다.
연구팀은 향후 해당 모델을 생성형 AI, 메타버스, 실감형 인터페이스 기술 등과도 연계할 수 있는 확장 가능성도 높다고 평가했다.
이번 연구는 한국연구재단(NRF), 정보통신기획평가원(IITP), UNIST 슈퍼컴퓨팅센터의 지원을 받아 진행됐으며, 김은진 연구원이 제1저자, 김현진 연구원이 공동저자로 참여했다.