최근년간 지구관측위성에 의하여 얻어진 원격수감화상이 지면분류와 재해예측, 광물탐사와 같은 많은 응용분야들에서 광범하게 리용되면서 전정색화상선명화에 대한 연구가 심화되고있다. 전정색화상선명화의 연구방법들은 크게 성분치환방법, 다중해상도해석방법, 변분최량화방법, 심층학습방법으로 갈라볼수 있다.
우리는 심층물리적모형에 의해 제한되는 피라미드식전정색화상선명화를 진행하는 새로운 심층신경망모형인 P3Net를 제기하였다. 이 망은 서로 다른 기능을 수행하는 PDFNet, M2PNet, H2LNet라는 3개의 부분망들로 구성되여있다. PDFNet는 망의 기본부분망으로서 다층피라미드구조를 리용하여 여러가지 척도의 전정색(PAN)화상, 다중스펙트르(MS)화상쪼각들로부터 공간적세부를 추출하고 올리표본화된 저해상도다중스펙트르(LRMS)화상에 융합한다. 두개의 부분망인 M2PNet, H2LNet는 각각 고해상도다중스펙트르(HRMS)화상으로부터 PAN화상, LRMS화상을 귀환하는 비선형넘기기를 모형화하는 심층망이다. 이 물리모형들은 PDFNet보다 먼저 훈련되여 출력화상이 공간적으로, 스펙트르적으로 입력들과 일치하도록 기본망의 훈련을 안내하는데 리용된다.
연구에서 해결한 내용은 다음과 같다.
첫째로, 내리표본화된 PAN과 MS화상들로 구성된 다층피라미드를 구성하여 매 척도수준에서 해당한 고주파정보들을 추출하였으며 다시 거꿀방향으로 세부특징들을 병합하여 공간적세부추출효과를 높이였다.
둘째로, 신경망입력에 대한 새로운 선택방안으로서 복제된 PAN화상을 올리표본화된 매 통로의 MS화상과 한개 처리단위로 짝을 짓고 스펙트르차원방향으로 정렬하여 리용하였다. 그리하여 더 많은 공간정보가 망훈련과정에 동반되게 하였을뿐 아니라 그룹중첩연산으로 매 통로들을 독립적으로 처리될수 있게 하였다.
셋째로, 전정색화상선명화에 대한 물리적고찰에 근거하여 선행연구들에서 HRMS화상과 PAN/LRMS사이관계에 대하여 가정한 선형성을 비선형으로 갱신하였다. 간단한 CNN구조로 설계된 두개의 심층물리모형이 미리 학습되여 PDFNet를 훈련하는데 리용되였다. 그리하여 전정색화상선명화과정에 대한 해석이 보다 물리적원리에 접근하고 스펙트르적 및 공간적 이지러짐을 줄이였다.
우리의 연구결과는 잡지 《IEEE Transactions on Geoscience and Remote Sensing》(Volume 60, 2022, 5412418)에 《P3Net: Pansharpening via Pyramidal Detail Injection with Deep Physical Constraints》(https://doi.org/10.1109/TGRS.2022.3214209)의 제목으로 출판되였다.
