2008 년 9 월전자공학회논문지제 45 권 SP 편제 5 호 111 논문 2008-45SP-5-14 3GPP2 SMV 의실시간유 / 무성음분류성능향상을위한 Gaussian Mixture Model 기반연구 (Enhancement Voiced/Unvoiced Sounds Classification for 3GPP2 SMV Employing GMM ) 송지현 *, 장준혁 ** * (Ji-Hyun Song and Joon-Hyuk Chang ) 요 약 본논문에서는패턴인식에서우수한성능을보이는가우시안혼합모델 (Gaussian mixture model, GMM) 을이용하여비정상적인잡음환경에서 3GPP2 selectable mode vocoder (SMV) 의유 / 무성음분류알고리즘성능향상을위한방법을제안한다. 기존의 SMV 에대해서분석하고, 이를기반으로유 / 무성음분류알고리즘에서우수한성능을보여주는특징벡터를선택하여 GMM 의입력벡터로효과적으로이용한다. 다양한잡음환경에서시스템의성능을평가한결과 GMM 을이용한제안된방법이기존의 SMV 의방법보다우수한유 / 무성음분류성능을보였다. Abstract In this paper, we propose an approach to improve the performance of voiced/unvoiced (V/UV) decision under background noise environments for the selectable mode vocoder (SMV) of 3GPP2. We first present an effective analysis of the features and the classification method adopted in the SMV. And then feature vectors which are applied to the GMM are selected from relevant parameters of the SMV for the efficient voiced/unvoiced classification. For the purpose of evaluating the performance of the proposed algorithm, different experiments were carried out under various noise environments and yields better results compared with the conventional scheme of the SMV. Keywords : Voiced/Unvoiced classification, Selectable Mode Vocoder (SMV), Gaussian Mixture Model (GMM) Ⅰ. 서론 최근새로운디지털무선통신시스템과양방향음성통신서비스가비약적으로발전하면서, 한정된주파수자원과같은디지털무선통신시스템환경의효율적인사용에대한연구가진행되고있다. 특히, 네트워크와 * 학생회원, ** 정회원, 인하대학교전자공학부 (Department of Electronics Engineering, Inha University) 본연구는지식경제부및정보통신연구진흥원의 IT 핵심기술개발사업 [2008-F-045-01] 과지식경제부및정보통신연구진흥원의대학 IT연구센터지원사업의연구결과로수행되었음 (IITA-2008-C1090-0804- 0007). 접수일자 : 2008년1월19일, 수정완료일 : 2008년8월5일 전송채널상태에따라서전송속도가유연하게변화함과동시에높은품질을보장하는가변전송률음성부호화하는기술이각광받고있다 [1~2]. 실제로우수한가변적인비트율을갖는음성코덱의실현을위해서유 / 무성음구간을분류하는알고리즘의성능이중요한요소로작용하고있고, 이와관련하여다양한잡음환경에서도우수한성능을보이는알고리즘의연구가활발히진행되고있다. 특히, 신호의주기적특성을이용한방법과통계적특성을이용한방법이유 / 무성음분류알고리즘에서매우우수한성능을보여주는것으로알려져있고, 이러한특징벡터로영교차율, 에너지, 피치, 상관계수, 선형예측계수등이사용된다 [3~7]. 본논문에서는 ETSI의 3GPP2 표준코덱인 Selected Mode Vocoder (SMV) 에대해서분석하고, SMV의유 / (519)
112 3GPP2 SMV 의실시간유 / 무성음분류성능향상을위한 Gaussian Mixture Model 기반연구송지현외 그림 1. SMV의인코딩과정에대한블록도 Fig. 1. Block diagram of the SMV encoding part. 무성음분류성능을향상시킬수있는 GMM 기반의알고리즘을제안한다. 구체적으로, 실제유 / 무성음분류에서많이사용되는특징벡터중 SMV에사용되는특징벡터를선택하여통계적패턴인식알고리즘에서우수한성능을보이는 GMM의특징벡터로사용하여적은계산량의추가로우수한성능을보여주는알고리즘을제안하였다. 제시된알고리즘의성능은다양한잡음환경에서기존의 SMV 유 / 무성음분류알고리즘보다향상된결과를보여주었다. Ⅱ. SMV (selectable mode vocoder) SMV는 ETSI의 3GPP2 표준코덱으로서 Extended Code Excited Linear Prediction (ex-celp) 기반의압축방식을사용하는데, 사람의청각특성에최적화된모델을사용하여음성을저전송률로압축하는데효율적이다 [8~9]. 또한, 한정된주파수대역을효율적으로사용하기위해가변전송률을갖고이동국과기지국사이의통신망채널에따라서동적으로바뀌는 4가지모드를 표 1. 깨끗한음성에대한전송률의백분율 (%) Table 1. Rate percentages for clean speech (%). Rate 1 (8.55 kbps) Rate 2 (4.0 kbps) Rate 3 (2.0 kbps) Rate 4 (0.8 kbps) mode 0 mode 1 mode 2 mode 3 55.9 28.5 11.0 5.3 4.5 18.7 36.2 42.0 0 10.8 9.7 9.7 39.6 41.9 42.9 42.9 제공하여다양한평균전송률을갖는특성때문에시스템의효율성과음질간의관계를선택적으로조절할수있다. 표 1은 SMV에서유성음 44%, 무성음 13.1%, 무음 42.9% 로구성된깨끗한음성테스트파일의각모드에대한결정된전송률의백분율을보여준다. 1. SMV 인코더개요 SMV는 8 khz로샘플링된입력신호를 20 ms 길이의프레임단위로처리한다. 그림 1은 SMV의인코딩과정에대한블록도를나타낸다. 입력신호는먼저전처리기를통해서고대역통과필터를통과한후잡음억제기를통과한다. 프레임처리기는전처리된신호로부터피치, 단기예측오차, 선형예측계수등을계산한다. 신호분류기는프레임처리기를통해서구해진특징벡터들과각각의문턱값과의비교를통해서프레임을잡음, 묵음, 무성음, 비정상적유성음, 정상적유성음, 변화중한개로분류되고, 통신상태에따라서결정된 mode와현재프레임의분류된종류를기반으로전송률결정알고리즘에의해전송률이결정된다. Rate 1 또는 Rate 1/2로분류된경우다시비정상적유성음을나타내는 type 0 과정상적유성음을나타내는 type 1로나누어져비트를할당한다. Type 0은 type 1에비해서적응코드북에더많은비트를할당하고고정코드북에는더적은비트를할당하여부호화한다. Rate 1/4 또는 Rate 1/8은 Line Spectral Frequencies (LSF) 와에너지를이용하여부호화한다. 2. SMV 유 / 무성음분류시스템 SMV는유 / 무성음분류알고리즘결과를기반으로 (520)
2008 년 9 월전자공학회논문지제 45 권 SP 편제 5 호 113 Ⅲ. 제안된 GMM 기반의유 / 무성음분류시스템 그림 2. SMV 유 / 무성음분류블록다이어그램 Fig. 2. Block diagram of voiced/unvoiced classification of the SMV. 입력된신호의프레임분류및전송률을결정하기때문에유 / 무성음분류알고리즘의성능은음성코덱에서매우중요한요소이다. SMV는두단계를통해서유 / 무성음분류를한다. 첫번째로전처리된신호와가중된잔여신호를이용하여유 / 무성음의특징을잘나타내는 7개의특징벡터를추출하고고정된문턱값과비교를통해서무음, 유성음, 무성음으로분류한다. 구체적으로가중된잔여신호의 sharpness와에너지, first order coefficient, 영교차율 (zero-crossing rate), 전처리신호의평균에너지, 샘플의절대값이 0.1 보다작은샘플의수가유 / 무성음분류알고리즘의특징벡터로사용된다. 이분류결과를기반으로개회로피치검출을통해서구해진특징벡터와이전프레임의분류결과를이용하여더욱세분화된유 / 무성음분류를하는데, 그림 2 에유 / 무성음분류블록다이어그램을나타내었다 [10]. 먼저, 유 / 무성음분류기는음성검출기 (Voice Activity Detection, VAD) 의분류결과를통해서입력신호를무음과무성음으로분류한다. 무성음으로분류된프레임은변화검출기를통해서변화와무성음으로분류되고, 무성음은다시유성음검출기를통해서유성음과무성음으로재분류된다. 유 / 무성음분류알고리즘에서사용된특징벡터는입력된신호의크기와관련이있기때문에깨끗한입력신호에서우수한유 / 무성음분류성능을보여주지만노이즈환경에서는성능을보장하지못하는것을알수있다. SMV의유 / 무성음분류성능을향상시키기위해서실시간 GMM 기반의분류알고리즘을제안한다. 이번연구에서 GMM을사용하게된동기는 SMV 특징벡터의통계적분포를다른평균과공분산행령을갖는복수개의가우시안함수에의해서효과적으로표현할수있기때문이다. 제안된방법은 SMV의특징벡터중유 / 무성음분류알고리즘에서우수한성능을보여주는특징벡터를별도의계산과정없이추출하여 GMM의특징벡터로사용하여분류성능을향상시킨다. 그림 3은제안된방법의유 / 무성음분류알고리즘의블록다이어그램을나타내는데구체적으로 SMV의 VAD에서신호가있다고판단될경우제안된 GMM은생성된특징벡터와 GMM의모델을이용하여유성음과무성음에대한우도를생성하고, 우도비테스트 (Likelihood Ratio Test, LRT) 를통해서유 / 무성음을분류한다. 그림 3. 제안된방법의유 / 무성음분류블록도 Fig. 3. Block diagram of the proposed SMV method. 1. 제안된알고리즘에사용된특징벡터특징벡터의통계적편차가클수록더욱우수한성능을보여주는 GMM의특징벡터를선택하기위해서 SMV에서사용되는특징벡터의통계적분포를분석하였다. 그중그림 5에서도시한바와같이통계적분포특성이우수한에너지, 피치, 피치상관계수, 반사계수를특징벡터로사용하였으며, 자세한기술은아래와같다. 1.1. 에너지 () 일반적으로에너지는유성음은크고, 무성음작게나타나는특성때문에유 / 무성음분류알고리즘에서우수한특징벡터로이용된다. SMV에서는선형예측부호화 (Linear Prediction Coding, LPC) 분석과정에서추출된신호의파워 ( ) 와 LPC 윈도우의길이 (= 240) 을이용하여얻어진다 [10]. (1) (521)
114 3GPP2 SMV 의실시간유 / 무성음분류성능향상을위한 Gaussian Mixture Model 기반연구송지현외 1.2 피치, 피치상관계수 SMV의개회로피치검출과정은그림 4와같은 3개의윈도우를이용하여 3개의피치와피치상관계수가추출되고고정된문턱값과이전프레임의피치를이용하여각프레임간상관성을고려하여수정된다. 가우시안혼합성분밀도의가중치합의함수로서다음과같이정의된다 [12~13]. 여기서 (2) (3) 그림 4 LPC 윈도우 Fig. 4. LPC window. 1.3 반사계수 (reflection coefficients) 음성프레임의마지막 1/4에중심을둔윈도우를이용하여계산된 LPC 계수를 Levinson-Durbin 알고리즘에사용하여얻어진다 [11]. 2. Gaussian Mixture Model (GMM) 먼저유 / 무성음분류시스템에서사용되는 GMM은 여기서 는혼합성분의가중치를나타내고 는평균벡터, 는공분산행렬을나타낸다.. (4) GMM은크게유 / 무성음에대한특징벡터의분포를가장잘나타낼수있는모델을찾는훈련부와이모델을이용하여인식하는인식부로나눌수있다. 먼저훈련부는위와같은파라미터를가지고 Expectation Maximization (EM) 알고리즘기반의학습을통해서유 / 무성음에대한혼합가우시안모델 을추정하고인 그림 5. SMV 특징벡터에대한통계적분포도 Fig. 5. Normalized distributions of the selected SMV feature vectors. (522)
2008 년 9 월전자공학회논문지제 45 권 SP 편제 5 호 115 식부는훈련부에만들어진 을이용해서입력된음성신호에대한사후확률을구하여가장큰확률을갖는모델을찾는다.. (5) 본실험에서는 GMM의특징벡터로서 SMV의유 / 무성음분류알고리즘에사용되는피치상관계수, 피치와이전에추출된특징벡터인에너지와반사계수를사용하여다양한혼합성분개수로 ( 유성음모델 ) 과 ( 무성음모델 ) 를추정하였다. 테스트과정에서 GMM의모델파라미터 과 에실제데이터가입력되어각모델에대한우도를생성하고, 아래와같은우도비 (Likelihood Ratio) 를이용하여유 / 무성음을분류한다. (6) 여기서 는유 / 무성음분류의문턱값이고, 는프레임번호를나타낸다. 표 2. SMV와제안된알고리즘의유 / 무성음분류성능비교 Table 2. Comparison of voiced/unvoiced detection probability between the method of the SMV and the proposed SMV technique. environments SMV proposed SMV noise SNR (db) V UV V UV clean 0.85 0.80 0.95 0.93 5 0.81 0.90 0.95 0.81 car 10 0.84 0.85 0.95 0.89 15 0.85 0.79 0.95 0.91 20 0.86 0.76 0.96 0.90 5 0.67 0.46 0.93 0.82 street 10 0.77 0.55 0.94 0.87 15 0.83 0.61 0.94 0.89 20 0.85 0.65 0.95 0.89 5 0.49 0.53 0.88 0.75 office 10 0.68 0.59 0.89 0.89 15 0.79 0.66 0.92 0.91 20 0.84 0.66 0.94 0.91 5 0.57 0.16 0.87 0.93 white 10 0.73 0.31 0.89 0.93 15 0.78 0.42 0.90 0.93 20 0.85 0.55 0.95 0.91 Ⅳ 실험 본논문에서는제안된 GMM 기반의유 / 무성음분류성능을평가하기위해서 4명의여자와 4명의남자에의해서녹음된 NTT 음성데이터베이스가사용되었다. 실험의 GMM 훈련에서유성음 44.0%, 무성음 13.1%, 무음 42.9% 로구성된총 230초의깨끗한음성이사용되었고, 테스트에는총 220초의음성이사용되었다. 실제로신뢰성있는결과도출을위해훈련에사용된데이터는테스트에사용되지않았고, 두시스템의실제성능을판단하기위해서 20 ms 마다유성음 (2), 무성음 (1), 무음 (0) 으로수동으로표시한메뉴얼을만들었다. 잡음환경은 car, street, office, white를사용하였으며 SNR 을 5, 10, 15, 20 db로부과하였다. 먼저, SMV와제안된방법의유 / 무성음분류성능을비교하기위해서, 유 / 무성음검출확률 ( ) 실험을하였다. 표 2는 SMV와제안된알고리즘에서실제유성음을유성음이라고판단한유성음검출확률 ( ) 과무성음을무성음이라고판단한무성음검출확률 ( ) 을보여주고있다. 실험결과 SMV 유 / 무성음분류알고리즘 그림 6. (1) 테스트파일의파형 (2) SMV의유 / 무성음분 류결과 (3) 제안된알고리즘의유 / 무성음분류결과 Fig. 6. (1) Waveform of the test file (2) Results of the SMV (3) Results of the proposed SMV method. 의경우 car 노이즈같은특수한노이즈환경에서다소우수한성능을보여주는반면제안된알고리즘은대체적으로우수한성능을보여주는것을볼수있다. 특히, office 와 white 잡음환경에서매우향상된성능을보였다. (523)
116 3GPP2 SMV 의실시간유 / 무성음분류성능향상을위한 Gaussian Mixture Model 기반연구송지현외 그림 6은 15dB SNR을갖는 office 잡음환경에서 SMV와제안된알고리즘의유 / 무성음분류결과를시간축상에서테스트파일의메뉴얼과비교하여도시하였다. 그림 6(2) 와 6(3) 의점선은테스트파일의메뉴얼을나타내고유성음 (2.5), 무성음 (1.5), 무음 (0.5) 를나타낸다. 실험결과로부터특징벡터의통계적분포특성을이용한제안된실시간 GMM 기반의유 / 무성음분류기법이더우수함을검증할수있었다. V. 결론 본논문에서는 ETSI의 3GPP2 표준코덱인 SMV의실시간유 / 무성음성능을향상시키기위해 GMM 기반의유 / 무성음분류방법을제안하였고, 계산량을줄이기위해서기존의 SMV에서사용되는특징벡터만을효과적으로이용하여 GMM의특징벡터로사용하였다. 다양한잡음환경에서기존 SMV의유 / 무성음분류성능과비교한결과 GMM을이용한제안된방법이유 / 무성음분류에서향상된성능을보여주었다. 참고문헌 [1] 3GPP2 Spec., Source-controlled variable-rate multimedia wideband speech codec (VMR-WB), service option 62 and 63 for spread spectrum systems, 3GPP2-C.S0052-A, vol. 1.0, Apr. 2005. [2] Y. Gao, E. Shlomot, A. Benyassine, J. hyssen, Huan-yu Su, and C. Murgia, The SMV Algorithm Selected by TIA and 3GPP2 for CDMA Applications, Proc. IEEE International Conference on Acoustics, Speech and Signal Processing, vol. 2, pp. 709-712, May 2001. [3] J. -H. Chang, N. S. Kim, and S. K. Mitra, A statistical model-based V/UV decision under background noise environments, IEICE Trans. Inf. & Syst., vol. E87-D, no. 12, pp.2885-2887, Dec. 2004. [4] S. Ahmadi and A. S. Spanias, Cepstrum-based pitch detection using a new statistical V/UV classification algorithm, IEEE Trans. Speech Audio Process., vol. 7, no. 3, May 1999. [5] B. Atal and L. R. Rabiner, A pattern recognition approach to voiced-unvoiced-silence classification with application to speech recognition, IEEE Trans. Acoust. Speech Signal Process., vol. ASSP-24, pp. 201-212, Jun. 1976. [6] L. Siegel, A procedure for using pattern classification techniques to obtain a voiced/unvoiced/ classifier, IEEE Trans. Acoust. Speech Signal Process., vol. ASSP_27, pp. 83-88, Jun. 1976. [7] L. R. Rabiner and M. R. Sambur, Application of an LPC Distance Measure to the Voiced- Unvoiced -Silence Detection Problem, IEEE Trans. Acoust. Speech Signal Process., vol. ASSP-25, no. 4, pp. 339-343, Aug. 1977. [8] S. C. Greer, and A. Dejaco, Standardization of the selectable mode vocoder, Proc. IEEE International Conference on Acoustics, Speech and Signal Processing, vol. 2, pp. 953-956, May 2001. [9] C. V. Goudar, P. Rabha, M. Deshpande and A. Rao, SMVLite: Reduced Complexity Selectable Mode Vocoder, Proc. IEEE International Conference on Acoustics, Speech and Signal Processing, vol. 1, pp. 701-704, May 2006. [10] 3GPP2 Spec., Selectable Mode Vocoder (SMV) Service Option for Wideband Spread Spectrum Communication Systems, 3GPP2- C.S0030-0, v3.0, Jan. 2004. [11] P. Vary and R. Martin, Digital Speech Transmission : enhancement, coding and error concealment, pp.182-187, 2006. [12] G. Xuan, W. Zhang and P. Chai, EM algorithm of gaussian mixture model and hidden Markov model, Proc. IEEE International Conference on Image Processing, vol. 1, pp. 145-148, Oct. 2001. [13] D. A. Reynolds, T. F. Quatieri, and R. B. Dunn, Speaker verification using adapted Gaussian mixture models, Digital Signal Processing, vol. 10, pp. 19-41, Jan. 2000. (524)
2008 년 9 월전자공학회논문지제 45 권 SP 편제 5 호 117 저자소개 송지현 ( 학생회원 ) 2007 년인하대학교전자전기공학부학사. 2007 년 현재인하대학교전자공학과석사과정 < 주관심분야 : 디지털신호처리 > 장준혁 ( 정회원 ) 1998 년경북대하교전자공학과학사. 2000 년서울대학교전기공학부석사. 2004 년서울대학교전기컴퓨터공학부박사. 2000 년 2005 년 ( 주 ) 넷더스연구소장 2004 년 2005 년캘리포니아주립대학, 산타바바라 (UCSB) 박사후연구원 2005 년한국과학기술연구원 (KIST) 연구원 2005 년 현재인하대학교전자공학부조교수 < 주관심분야 : 음성신호처리, 오디오신호처리, 통신신호처리, 휴먼 / 컴퓨터인터페이스 > (525)