시공간정보학습에 기초한 대상추적방법에 대한 연구

 2020.11.13.

경애하는 김정은동지께서는 다음과 같이 말씀하시였다.

《과학연구부문에서는 나라의 경제발전과 인민생활향상에서 전망적으로 풀어야 할 문제들과 현실에서 제기되는 과학기술적문제들을 풀고 첨단을 돌파하여 지식경제건설의 지름길을 열어놓아야 합니다.》

중첩신경망에 기초한 추적방법들은 지난 시기 우수한 성능을 보여주었다. 그러나 본래의 매개 중첩층으로부터의 특징들은 보통 공간정보를 표현할수 있지만 시간적인 정보는 표현할수 없다. 최근의 방법들은 화상분류를 위하여 구축된 큰 규모의 자료모임에서 예비학습된 중첩신경망을 리용하지만 분류와 추적과제들사이의 근본적인 차이로 인하여 결과는 그리 좋지 못하게 될수 있다. 매개 중첩층으로부터의 특징들은 보통 공간정보를 표현할수 있지만 시간적인 정보는 표현할수 없다.

심층학습에 기초한 추적방법들은 학습 첫단계에서 목표분류를 위한 특징들을 학습한다. 다음 미리 학습된 분류망에 기초한 흐레임으로부터 생성되는 모든 쪼각들을 분류한다. 추적은 사실상 미래의 상태와 현재의 상태들의 식별이다. 심층학습에 기초한 이전의 방법들은 현재의 상태들에 대한 식별에 의존한다. 즉 미리 학습된 망들은 예비학습단계에서 시간정보를 학습시키지 않기때문에 앞으로의 상태들을 예측할수 없다. 그것들은 오직 검사단계에서 시간정보를 추가적으로 리용한다. 추적에서의 예측은 계산량을 줄이고 지어 현재의 상태들을 더 빨리 식별하도록 한다.

연구집단에서는 예비학습단계에서 공간특징들과 시간정보를 먼저 학습시키고 그 자료들에 기초하여 추적기능을 모의하는 학습을 진행하여 추적성능을 개선하기 위한 연구를 진행하였다.

학습은 3단계 즉 공간정보의 학습, 립자려파기에 기초한 사후확률밀도함수의 계산, 시간추적기의 학습단계를 거쳐 완성된다.

- 공간정보의 학습

추적을 위한 공간특징들을 학습시키기 위한 망에서 매 층은 미리 학습된 VGG-M망의 층들로부터 재구성된다. 학습절차를 통하여 일반적인 특징들이 공유된 령역독립층들에서 모형화되는데 여기로부터 화상순서렬에서의 추적에 유용한 일반적인 공간특징표현들이 얻어진다. 이 모형은 립자려과기와 협동하여 사후확률밀도함수를 계산하는데 즉 매 립자로부터 공간특징을 추출하는데 리용될것이다.

-립자려파기에 기초한 사후확률밀도함수

립자려파와 사전학습된 공간특징모형에 기초하여 추적기구의 다음번 학습을 위하여 앞서 리용되게 되는 사후확률밀도함수를 계산한다.

증강된 학습자료에서 매 화상렬의 첫번째 흐레임에서 가우스분포에 따라 표준자료가까이에서 첫번째 립자들을 분포하고 다음에 미리 학습된 공간모형의 conv3특징들을 리용하여 매 립자로부터 특징을 추출한다. 다음 매 립자와 목표사이의 류사성은 유클리드거리를 리용하여 평가되고 다음 흐레임전에 리용될 첫번째 흐레임에서 사후확률을 얻기 위하여 전체 립자들에 걸쳐 정규화된다. 다음 흐레임으로 이행하기전에 목표는 표준자료의 위치에 따라 교체된다. 그러면 립자들은 다음 흐레임의 립자려파기의 작용에 따라 분포되고 첫번째 흐레임에서 조작들을 반복한다. 이 조작을 모든 증강된 화상렬들의 전반적인 순차흐레임에서 구현하여 다음단계에서 립자려파기에 기초한 추적기구를 학습시키기 위한 자료모임을 준비한다.

- 시간추적기의 학습

전반적인 시간공간에서 원래의 화상렬과 사후확률지도들을 리용하여 추적하기 위한 시간기구를 학습시킨다.

학습구조의 입력은 시간 t에서의 흐레임과 시간 t-1에서 사후확률로 구성되며 출구는 시간 t에서 사후확률을 포함한다. 학습과정에 사후확률은 화상의 3 개의 통로에 대한 마스크와 같이 작용한다.

망의 학습과정에 시간 t-1에서 사후확률은 다음 흐레임에 있는 립자들의 상태를 예측하는 리용된다. 즉 망은 립자려파기의 거동에 따르는 추적절차를 학습한다. 결과적으로 학습된 망은 립자려파기에 기초한 추적기구를 모의할수 있다.

연구집단은 여러 공개성능검사자료모임들에서 제안된 추적알고리듬을 평가하고 현대적인 추적기들과 그의 성능을 비교하였다. 실험결과들은 제안된 방법이 선행방법들에 비하여 우월한 성능을 가진 가진다는것을 보여주었다.