과학연구

음성인식에서 부분공간가우스혼합모형에 기초한 언어모형화방법

 2017.9.27.

위대한 수령 김일성동지께서는 다음과 같이 교시하시였다.

《새로운 과학분야를 개척하며 최신과학기술의 성과를 인민경제에 널리 받아들이기 위한 연구사업을 전망성있게 하여야 합니다.》 (김일성전집》 제72권 292페지)

최근 조선어음성인식의 응용범위와 과제의 확대로 하여 련속공간에서 언어모형화를 진행하기 위한 연구가 본격적으로 벌어지고있다. 우수한 학습자료표현능력과 적응능력을 가지고있는 부분공간가우스혼합모형에 기초한 언어모형(SGMLM)은 가우스혼합모형에 기초한 언어모형(GMLM), 재귀신경망에 기초한 언어모형(RNNLM)과 같이 련속공간언어모형화의 한 형태이다.

SGMLM은 적은 학습자료하에서도 학습을 효률적으로 하는것으로 하여 조선어열린어휘음성인식 《룡남산》의 인식률을 크게 개선시켰으며 여러가지 효과적인 적응방법들을 적용할수 있는것으로 하여 회의기록과 같은 소규모전문분야과제들에 성공적으로 응용되였다. 현재 이 기술은 음성인식은 물론 자연언어처리를 동반하는 과제들에 적용할수 있는 전망성있는 기술이다. 우의 SGMLM에서 매 형태부모형을 구축하는 방식은 발성자인식에서 매 발성자의 모형을 구축하는 방식과 류사하다. 실례로 《학교》,《아시아》,《에서》와 같은 형태부의 모형은 일반GMM모형에 대한 간단한 선형변환에 의하여 생성된다. 6만개 어휘범위에서 N-GRAM LM과 GMLM, SGMLM을 구축하고 평가본문(4 500문장)에 대하여 분기수를 계산한 결과 각각 106, 90, 60정도였다. 음성인식률평가를 위해 400개 발성문장으로 이루어진 검사모임에 대해서 인식실험을 진행하였을 때 단어인식률이 97.78%, 97.89%, 98. 34%였다. 인식실험에서 GMLM과 SGMLM은 계산시간상 문제로 복호기의 두번째 통과에서 리용되였으며 련속특징량으로는 RNN의 숨은 층의 출구를 리용하였다.

각이한 적응본문크기에 따르는 매 모형들의 적응실험을 한 결과를 평균적으로 보면 N그람(MAP적응)에 비하여 GMLM(FMLLR적응)은 상대적으로 22.5%, SGMLM(FMLLR적응)은 상대적으로 65.39%만큼 개선되였다.