[이데일리 안유리 기자] 두 시간짜리 스포츠 중계에서 하이라이트를 잘 골라내는 인공지능(AI)을 평가할 공통 지표가 나왔다.

UNIST 인공지능대학원 김태환 교수팀은 스포츠 영상에서 하이라이트를 추출하는 AI 모델을 평가하는 대규모 벤치마크인 ‘SVHighlights(Sport Video Highlights)’를 만들었다고 13일 밝혔다.

기존 하이라이트 추출 모델의 평가는 보통 몇 분 길이의 짧은 영상에 머물렀다.

반면 연구팀이 만든 벤치마크는 축구, 야구, 농구, 배구, 미식축구, 아이스하키, 럭비, 레이싱 등 8개 종목 320편의 영상으로 구성돼 있으며, 누적 640.18시간이다. 영상 한 편의 평균 길이가 2시간으로 기존 데이터셋보다 무려 30~60배나 길어, 실제 스포츠 중계 길이와 비슷한 수준이다.

연구진은 방송사 등이 공개한 공식 하이라이트를 정답 자료로 썼다. 전문 편집자가 선별한 장면을 활용해 별도 주석 작업을 크게 줄인 것이다. 사람이 확인한 작업은 경기의 시작·종료 시점 표시와 자동 매칭 결과 검토가 대부분이었다. 연구진에 따르면 검토 단계에서 잘못 연결된 화면의 비중은 0.18%였다.

핵심은 하이라이트 장면이 원본 중계의 어느 시점에 해당하는지를 자동으로 찾는 알고리즘이다. 원본과 요약 영상의 프레임을 PSNR 방식으로 대조해 비슷한 이미지를 연결했다. 득점 장면이 반복 재생되는 중계 특성을 고려해 시간 흐름도 함께 반영했다. 실제 경기 장면 대신 리플레이 화면을 정답으로 연결하는 오류를 줄이기 위해서다.

연구진은 이 벤치마크와 함께 ‘TF-SELECTOR’도 개발했다. 장면 분할·음성 인식·비전언어·대규모 언어 모델을 결합한 하이라이트 추출 모델이다.

SVHighlights 벤치마크로 테스트했을 때, TF-SELECTOR는 대부분의 지표에서 기존 모델들보다 우수한 성능을 보였다. 차순위 모델과 비교해 가장 중요하다고 고른 장면이 실제 하이라이트인지를 평가하는 HIT@1은 2.50%포인트, 실제 하이라이트 수만큼 후보를 골랐을 때 얼마나 많이 찾아냈는지를 평가하는 HIT@K는 4.04%포인트 높았으며, 예측 구간과 정답 구간의 겹침을 나타내는 IoU도 2.95점 높았다.

연구 수행은 과학기술정보통신부 및 정보통신기획평가원의 인간과 교감하는 멀티모달 인터랙션 인공지능 기술, 산업융합형 멀티모달 생성 인공지능 인재양성 사업, AI스타펠로우십 지원, 인공지능대학원 사업의 지원을 받아 이뤄졌다.

이번 연구는 이동규 UNIST 석·박사통합과정생과 기영빈 석사가 공동 제1저자로 연구에 참여했다. 논문은 지난달 제주에서 열린 데이터마이닝분야 권위 국제학회 ‘ACM KDD(ACM SIGKDD Conference on Knowledge Discovery and Data Mining)’에 채택됐다.

김태환 교수는 “방송사가 이미 만들어 둔 하이라이트를 활용해 사람이 수 시간을 들여야 했던 정답 작업을 대체했으며, 같은 방식으로 데이터를 계속 늘려갈 수 있어 장시간 영상 분석 모델을 객관적으로 평가하고 성능이 더 나은 모델을 개발하는 데 도움이 될 것”이라고 말했다.