비데오보간은 흐레임들사이 존재하지 않는 흐레임들을 합성하여 비데오의 시각적효과를 좋게 하는 기술이다.
연구조에서는 구조특징과 운동추정에 기초한 큰 운동비데오보간을 진행하여 보간흐레임의 질을 개선하기 위한 연구를 진행하였다. 제안한 구조는 말단 대 말단 학습망으로 구성되여있다. 이 방법은 운동추정에 의한 일반화된 와핑모형과 경계에 의한 구조특징을 리용하여 큰운동비데오보간에서 구조정보를 보다 잘 반영하도록 하였다. 또한 후처리망을 통하여 보간흐레임의 질을 더욱 개선할수 있게 하였다.
제안한 비데오흐레임보간구조는 그림에서 보여주는것처럼 크게 2개의 기본요소들로 구성되여있다.
제안한 방법에서는 입력흐레임 It-1(x)와 It+1(x)으로부터 BDCN(Bi-directional cascade network)을 리용하여 경계화상을 얻어 4통로화상을 특징추출망에 입력한다. 한편 문맥추출망을 리용하여 입력흐레임의 문맥정보 Ct-1와 Ct+1를 얻는다. 그리고 얻어진 입력흐레임들의 특징화상들을 부분모듈들에 입력하여 흐름벡토르를 얻고 이에 기초하여 입력흐레임과 문맥화상들에 대한 와핑결과를 각각 얻는다.
다음에 입력흐레임에 대한 2개의 와핑화상에 대하여 페색처리를 진행하여 얻은 중간흐레임과 문맥화상에 대한 와핑결과를 여분처리망에 입력하여 여분정보를 얻고 중간흐레임과 결합하여 최종적인 보간흐레임을 생성한다.
연구에서는 여러 공개성능검사자료모임들에서 제안된 방법의 우수한 성능을 검증하였다. 따라서 제안한 방법이 페색령역에 대해서도 비데오보간흐레임의 질을 개선할수 있다는것을 보여준다.
연구결과는 잡지 《Information Technology》에 《Quality improvment of large motion video interpolation based on motion estimation and structureal feature》(https://www.elibrary.ru/item.asp?id=25795345)의 제목으로 발표되였다.
