전자IT미디어공학과 석사과정 이한솔(지도교수 이계민) 학생이 지난 8월 사단법인 대한전자공학회가 주최하는 '2020 하계종합학술대회'에서 네이버 관심논문으로 선정되어 수상하였다.

▲이한솔(좌), 이계민 교수(우)

이한솔 학생이 발표한 논문은 'Attention 기반의 문맥을 이용한 하이라이트 예측 알고리즘'으로, 주된 내용은 딥러닝(인공지능)을 이용한 영상의 하이라이트 예측 알고리즘을 설계이다. 하이라이트 영상이란 방송사 또는 동영상 스트리밍 사이트에서 제공되는 편집된 영상으로, 원본 영상에서 시청자들의 관심을 끌거나 중요한 부분만을 모아놓은 짧은 영상을 의미한다. 흔히 축구와 야구 같은 스포츠 경기나 드라마 같은 긴 영상에서 많이 제공되는 것을 볼 수 있다. 그러나 하이라이트 영상을 제작하는데는 전문적인 기술과 장비, 시간 등이 필요하기 때문에 딥러닝(인공지능)을 이용하여 이를 자동화하는 연구를 진행하고 있는 것이다.

본 논문에서는 영상의 시각적 정보(frame정보)와 음성 정보(경기영상에서의 관중들의 응원소리, 해설자의 목소리 등)를 추출하여 데이터를 얻고, 최근 주목받고 있는 인공지능 기술 'Attention'을 응용한 모델을 제안했다. 'Attention'이란 딥러닝 모델에서 입력의 전체를 동등하게 탐색하지 않고 유의미한 정보를 많이 가지고 있을만한 특정 부분에 가중치를 주어 성능을 올리는 기법이다.

전체 영상에서 특정 장면과 영상의 전체적 흐름 사이의 상호관계를 파악하면 그 장면이 하이라이트에 포함되는가 포함되지 않는가를 판단하는데 도움이 될 수 있다. 이를 위해 attention을 이용하여 영상의 전체적 흐름과 특정 장면 사이의 상호관계를 파악하고 어느 부분에 더 높은 가중치를 주어야하는지 계산해야하는데, 이를 활용하여 모델은 하이라이트 스코어를 생산하고 스코어가 높은 장면들은 하이라이트이다, 스코어가 낮은 장면들은 하이라이트가 아니다로 예측하는 classification 문제를 풀게 되는 방식이다.