pissn eissn Vol.10 No.4 pp 말소리와음성과학 합성에의한음질변환에관한연구 Voice qualit

Size: px

Start display at page:

Download "pissn eissn Vol.10 No.4 pp 말소리와음성과학 합성에의한음질변환에관한연구 Voice qualit"

미려 한
4 years ago
Views:

pp. 121-125 말소리와음성과학 https://doi.org/10.13064/

1 pissn eissn Vol.10 No.4 pp 말소리와음성과학 합성에의한음질변환에관한연구 Voice quality transform using jitter synthesis 조철우 * Jo, Cheolwoo Abstract This paper describes procedures of changing and measuring voice quality in terms of jitter. Jitter synthesis method was applied to the TD-PSOLA analysis system of the Praat software. The jitter component is synthesized based on a Gaussian random noise model. The TD-PSOLA re-synthesize process is used to synthesize the modified voice with artificial jitter. Various vocal jitter parameters are used to measure the change in quality caused by artificial systematic jitter change. Synthetic vowels, natural vowels and short sentences are used to check the change in voice quality through the synthesizer model. The results shows that the suggested method is useful for voice quality control in a limited way and can be used to alter the jitter component of voice. Keywords: jitter, TD-PSOLA, resynthesis, voice quality 1. 서론음성의음원의변화를나타내는불규칙적인변수중에는진폭성분의변화와주기성분의변화가있다. 이러한불규칙적변화는음성의자연성과연관되어있다고생각되나피치주기등과는달리상대적으로널리연구의대상이되지않고있다. 이러한주기성분의불규칙성때문에음성은준주기성을갖는다고도한다. 1968년 Fujimura 에의해스펙트럼대역에서의준주기적현상이연구된이래 (Fujimura, 1968) Titze, Deshmukh 등이음성의준주기성검출에관하여연구하고보고한바있다 (Titze, 1995; Deshmukh et al., 2005). 음성합성에의적용사례로는 Hillenbrand 가합성음에서의주기성의변이에대해보고한바 가있고 (Hillenbrand, 1987) Endo & Kasuya 등이장애음성의합성에적용한사례가있다 (Endo & Kasuya, 1996). 국내에서는음성의준주기성인 jitter의특성에관해조사하고가우시안분포를통하여합성해내는방법에관한연구가진행된바가있다. 이논문에서는선행연구자들의방법을통해 jitter 성분을체계적으로제어하는방법을합성음성을통하여실험하고실제발성음성에서측정한 jitter 성분의범위와유사한형태로생성될수있도록하여방법의유효성을확인한바있다 ( 조철우, 2016). 그러나선행연구에서는 jitter 성분을제어하는방법을실제음성에대해적용하고그효과를측정한사례가부족하였으므로본연구에서는이를보완하여실제음성을음성합성모델을통해분석하고분석된주기성분을변형하여재합성한뒤다양한음 * 창원대학교, cwjo@changwon.ac.kr Received 1 November 2018; Revised 10 December 2018; Accepted 10 December 2018 c Copyright 2018 Korean Society of Speech Sciences. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License ( which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. Jo, Cheolwoo / Phonetics and Speech Sciences Vol.10 No.4 (2018)

2 성의준주기성과관련한파라미터들의측정을통해인위적으 로변화시킨준주기성변화에따른음질의변화를조사하고자 한다. exp (3) 2. Jitter 합성방법 준주기성의구현방법은먼저특정 F 0 의주기에대해일정한 변이된주기를 1 개혹은여러개의간격으로삽입하는방법 (Kreiman & Gerratt, 2003), 두번째는하모닉상태의음원을생성 한뒤특정전달함수를통과시켜 F 0 의변이를생성하는방법 (Endo & Kasuya, 1996) 그리고세번째로특정 F 0 을기준으로난 수발생기에따른 F 0 의변이를생성하여구현하는방법이있다 (Alzamendi et al., 2013; Ruinskiy & Lavner, 2008). 앞의두가지방 법은정확한 jitter 값을구현하는데는적합하지않기때문에세 번째방법을사용하였다. 먼저정해진 jitter 값을갖는준주기적 펄스열을생성하는데필요한확률분포를측정하고이를바탕 으로통계모델을구한다음그결과로부터난수발생기를통해 펄스열을발생시킨다. 유성음의피치구간분석결과로부터우리는피치주기의변 동이정규분포의형태와유사하다는것을확인할수있었다. 이 에따라피치주기의변이를정규분포에따라발생시킨다는가 정하에원하는 jitter 값을 F 0 의변이로부터구하는식은다음과 같이도출된다. Jitter% 값은다음과같이정의된다고한다. 준주기적펄스의변동이가우시안분포를따른다고가정 하였을때확률밀도함수를다음과같이정의할수있다.. 여기서 는주기의평균값이고 는표준편차이 다. 이가정은 Titze(1995) 와 Kreiman(Kreiman & Gerratt, 2003) 에 의해사용되었다. 밀도함수에기반하여각피치위치의변동의 폭이결정된다. 음성신호의주기의변이분포는 F 0 의역수에해 당하는주기의빈도가크고주기가짧아질수록빈도가줄어드 는현상을보이는데이는가우시안분포의절반에해당하는반 가우시안분포의특성을갖는다고가정할수있다. (1) 이면 는 에수렴하 며 는 에수렴한다는것이알려져있다. 식 (3) 을 식 (2) 에대입하여풀면 와같이구해진다 (Alzamendi et al., 2013). 식 (4) 에의해원하는 jitter 값을갖는펄스위치의변이를만들기위한위치의편차를 동일한분포를갖는난수발생기를이용하여구할수있다. 주기성분은주기적인펄스형태로모델링할수있다. 준주기 적현상은정확히주기적인펄스의주기를어떤방식으로임의 적인변화를주도록함으로써구현할수있다. 준주기성을구현 하는방법은두가지가있다. 첫번째는주기적인펄스를통해 주기성분을구현한뒤펄스의위치를랜덤하게변경시켜줌으 로써구현하는방법이있고 (Endo & Kasuya, 1996), 두번째는주 기적인펄스를생성한뒤난수성분이가미된준주기성펄스를 만드는방법이있다 (Hillenbrand, 1987). 본연구에서는첫번째 방법을사용하였다. 실험에서는특정 jitter 값을가정하지않고 임의로순서적으로값을증가시켜가며발생시키는방식을적 용하였다. Jitter 성분생성을위해서가우시안백색잡음을발생시키기 위하여 Praat 에서제공하는 randomgauss 함수를사용한다. 그림 1 은함수에의해생성된 50 개의잡음신호값의히스토그램분 포를보여준다. (4) 여기서 이다. 는반가우시안 (hemi-gaussian) 특성을가지며다음과 같은확률밀도함수를갖는다. i f i f 그외에 (2) 그림 1. RandomGauss 함수로부터발생한난수의분포 Figure 1. Histogram of random numbers from the function randomgauss 122 Jo, Cheolwoo / Phonetics and Speech Sciences Vol.10 No.4 (2018)

3 3. 합성음성의음질변환 3.1. 합성음생성및변환 Praat코드로부터 jitter값변경에대한효과를측정하기위하여먼저파라미터를제어하기쉬운합성음성을합성하고합성된음성에피치값을체계적으로변동시켜가며음질의변화를측정하고자하였다. 합성음성의생성은 Praat에내장된 KlattGrid 음성합성모델을이용하여음성을합성하였다. KlattGrid 는기존의 D. H. Klatt의합성기를토대로음원등에일부변경한구조를가지고있다. 합성은제1, 제2, 제3포먼트만에의해모음을합성하였다. 피치궤적은단조롭게감소하는형태로합성하였다. 합성한음성은 TD-PSOLA 방법에의해분석하여 jitter값을반영하고결과음성을 TD-PSOLA 모델에의해다시합성하였다. 그림 2는 KlattGrid 음성합성방법의원리를나타낸다. 분석에 TD-PSOLA 방식을적용한이유는차후자연발화음성에 jitter 변동을구현하고측정할때이방식을사용하므로방법의일관성을유지하기위함이다. TD-PSOLA 방식은각음성의음원의박동기를검출하고이를바탕으로음원진동주기를검출한뒤이신호를통해서음원의주기성진동을제어하게된다. Praat의 TD-PSOLA 합성모델에서는 Point process 에의해음원박동기점이효과적으로분리되게된다. Jitter 생성을위해서는 TD-PSOLA 합성기의 pitch tier를구하고여기에잡음성분을더하여피치구간의변동량을임의적으로변화하도록하여 Voicing 블럭을변경시켜주면된다. 그림 3에전체변환과정을나타내었다. 그림 3. 음성변환과정 Figure 3. Voice conversion process 3.2. 자연발화음성의음질변환 녹음된자연발화음성에합성음성과동일한방법으로 jitter 값 을변화시켰을경우음질의변화에어떻게영향을미치는지관 찰하기위해음성을녹음하고 jitter 값을변경시킨이후음질을 측정하였다. 자연발화음성은길이가짧은문장음성 ( 안녕하십 니까?, 남성화자 ) 을사용하여모음부분의중심부에서파라미 터를측정하였다. 자연발화음성으로부터 jitter 성분이추가된합성음성의생성 은 praat 에내장된분석법에의해 pitch tier 를구한뒤이값들 에랜덤함수값을통해각피치주기의시작점을변동시킨후 재합성하는방법을사용하였다. Jitter 성분의구현은합성음성 의경우와동일한방법을적용하여랜덤함수의분산값이서로 다른 10 단계로증가하는 jitter 변수에대하여 Praat 에내장된 TD-PSOLA 음성합성모델을이용하여음성을분석하고다시합 성하였다. 4. 음질측정및평가 그림 2. KlattGrid 합성기구조 Figure 2. Structure of KlattGrid synthesizer Jitter 성분을변화시켜재합성한음성의음질을측정하기위하여 Praat에내장된 jitter파라미터들과피치변수에따른파라미터들을측정하여음질의변화를관찰하였다. 측정한파라미터들은다음과같다. Jitter(local), RAP(relative average perturbation), PPQ5(five point period perturbation quotient), DDP(difference of differences of periods). 이들파라미터는피치변동량을조금씩다른관점에서나타내는파라미터로준주기성관련한음질을정량적으로나타내는수치들이다. 각연관된파라미터의의미는다음과같다. Jitter는연속한피치구간에서의피치값의평균변동량을나타낸다. RAP는인접한두개의이웃한구간에서의피치변동값의상대적변화를나타낸다. PPQ5는인접한 4개의분 Jo, Cheolwoo / Phonetics and Speech Sciences Vol.10 No.4 (2018)

석구간에서의 jitter값의변동을나타낸다. DDP는인접한 jitter값의 2차미분에해당한다. 이들파라미터는피치구간의불규칙성을서로다른척도로표시해주고있으므로피치변동에의한음질의변화를측정하는파라미터로널리사용되고있다. 본연구에서는오로지피치변동과결과로얻어지는주기성의변동의연관성에초점을두었으므로주관적인음질평가에의영향은배제하기로한다.

그림 4는합성음성의경우에분산값을 1부터 10까지변화시켰을경우나타난 jitter값의변화경향을보여준다. 측정값의분산도가커서뚜렷한경향을볼수는없었으나다중측정및회귀직선을통하여일정한기울기로증가하는경향을관찰할수있었다. 그림 5는자연발화음성을변경하여재합성한음성으로부터측정한 jitter값의변화경향을보여준다.

4 석구간에서의 jitter값의변동을나타낸다. DDP는인접한 jitter값의 2차미분에해당한다. 이들파라미터는피치구간의불규칙성을서로다른척도로표시해주고있으므로피치변동에의한음질의변화를측정하는파라미터로널리사용되고있다. 본연구에서는오로지피치변동과결과로얻어지는주기성의변동의연관성에초점을두었으므로주관적인음질평가에의영향은배제하기로한다. 파라미터변동값의범위를설정하기위하여랜덤함수의분산값을 1부터 10까지로단계별로변화시키면서변환된음성으로부터 jitter 및음성파라미터들을구하였다. 매실행시나타나는경향은분산값의증가에따라일관성있게증가하지않고랜덤하게증가하는현상을보였다. 3회반복수행한후회귀직선을구하고이를통하여 jitter값의변화경향을추정하였다. 그림 4는합성음성의경우에분산값을 1부터 10까지변화시켰을경우나타난 jitter값의변화경향을보여준다. 측정값의분산도가커서뚜렷한경향을볼수는없었으나다중측정및회귀직선을통하여일정한기울기로증가하는경향을관찰할수있었다. 그림 5는자연발화음성을변경하여재합성한음성으로부터측정한 jitter값의변화경향을보여준다. 합성음성의경우자연발화음성보다약간더큰 jitter값의변화를보여주고있는것이관찰된다. 그림 6은 RAP, 그림 7은 PPQ5, 그림 8은 DDP값의변화경향을보여준다. Jitter와마찬가지로전체적으로값이증가하는패턴을보이고있다. 그림 5. 변환된자연음성으로부터 jitter 측정결과 Figure 5. Measurement of jitter from transformed natural voice 그림 6. 변환된자연음성으로부터 RAP 측정결과 Figure 6. Measurement of RAP from transformed natural voice 그림 4. 변환된합성음성으로부터 jitter 측정결과 Figure 4. Measurement of jitter from transformed synthetic voice 그림 7. 변환된자연음성으로부터 PPQ5 측정결과 Figure 7. Measurement of PPQ5 from transformed natural voice 124 Jo, Cheolwoo / Phonetics and Speech Sciences Vol.10 No.4 (2018)

5 5. 결론 그림 8. 변환된자연음성으로부터 DDP 측정결과 Figure 8. Measurement of DDP from transformed natural voice 본연구에서는합성된음성과자연음성의피치성분을랜덤 함수를통해변경하여재합성하면서이에따른 jitter 성분및이 와연관된파라미터들을측정하여그변화의경향을살펴보았 다. Jitter 성분이발생하는원리는음원의진동의불규칙성이라 는데근거하여음성합성기를통한음원모델로부터주기성에 랜덤함수를통하여불규칙성을가하여실험을했다. 실험결과 주기변동의랜덤값의크기에비례하여증가하는현상을확인 하였다. 그러나변동폭이과도하게커질경우자연발화음성에나타 나는범위를초과하여변동하여부자연스럽게되는현상이있 었으며일정한구간에한해서 jitter 성분의제어가가능하다는 것을확인하였다. 실험에사용한음성합성모델은실제사람의 음성모델과는차이가있으므로일반적인음성의생성현상에 적용하는데는무리가있으나장애음성합성등시뮬레이션을 통한응용에적용할수있는경향을확인했음에의의가있다고 본다. 향후 jitter 성분을보다정교하게가변할수있는모델의 개발이필요하다. Endo, Y., & Kasuya, H. (1996). A stochastic model of fundamental period perturbation and its application to perception of pathological voice quality. Proceedings of ICSLP 96, Philadelpia, PA, USA. October 3-6, Fujimura, O. (1968). An approximation to voice aperiodicity. IEEE Transactions on Audio and Electroacoustics, 16(1), Hillenbrand, J. (1987). A methodological study of perturbation and additive noise in synthetically generated voice signals, Journal of Speech, Language, and Hearing Research, 30(4), Jo, C. (2016). Analysis and synthesis of pseudo-periodicity on voice using source model approach. Phonetics and Speech Sciences, 8(4), ( 조철우 (2016). 음성의준주기적현상분석및구현에관한연구, 말소리와음성과학, 8(4), ) Kreiman, J., & Gerratt, B. R. (2003). Jitter, shimmer, and noise in pathological voice quality perception. Proceedings of VOQUAL 2003 (pp ). Geneva, Switzerland. Ruinskiy, D., & Lavner, Y. (2008). Stochastic models of pitch jitter and amplitude shimmer for voice modification. Proceedings of 2008 IEEE 25 th Convention of Electrical and Electronics Engineers in Israel (pp ). Eliat, Israel. December 3-5, Titze, I. R. (1995). Workshop on acoustic voice analysis: Summary statement. Denver: National Center for Voice and Speech. 조철우 (Jo, Cheolwoo) 창원대학교전기전자제어공학부교수경남창원시의창구창원대학로 1 Tel: Fax: cwjo@changwon.ac.kr 관심분야 : 음성신호처리, 장애음성분석 감사의글 이논문은 년도창원대학교자율연구과제연구비 지원으로수행된연구결과입니다. 참고문헌 Alzamendi, G. A., Schlotthauer, G., Rufiner, H. L., & Torres, M. E. (2013). Evaluation of a new model for vowels synthesis with perturbations in acoustic parameters. Latin American Applied Research, 43(3), Deshmukh, O., Espy-Wilson, C. Y., Salomon, A., & Singh, J. (2005). Use of temporal information: Detection of periodicity, aperiodicity, and pitch in speech. IEEE Transactions on Speech and Audio Processing, 13(5), Jo, Cheolwoo / Phonetics and Speech Sciences Vol.10 No.4 (2018)

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA The e-business Studies Volume 17, Number 6, December, 30, 2016:275~289 Received: 2016/12/02, Accepted: 2016/12/22 Revised: 2016/12/20, Published: 2016/12/30 [ABSTRACT] SNS is used in various fields. Although