18.hwp

Size: px

Start display at page:

Download "18.hwp"

진근 지
4 years ago
Views:

1 Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.7, No.3, March (2017), pp 전화상담목소리분석을통한신용파라미터추출에관한연구 박종우박형우이상민 요약 사람들은일반적으로목소리로의사소통을한다이때언어를통한정보전달은목소리의주된기능이된다그리고목소리의언어적요소외에다양한정보도전달할수있는데말하는사람의표정감정건강자신감스트레스등여가지의정보가동시에전달할수있다사람의목소리는기본적으로개개인마다다르게나타나며이를분석하면기본적인언어적특징이외에추가요소를얻을수있다특히성대기본톤성도울림특성등을분석하고그특징간의연관성을연구하여추가얻을수있다오늘날사람들은자신이말하는의도를다른사람에게명확하게전달하려고노력하고있으며이음성을분석하여개인신용등급점수를결정하는요소로사용될수있다본연구에서는음성분석을통해얻을수있는다양한특징을이용해개인신용의등급분류를위한모델을만들고자한다신용을판단할수있는전화상담목소리를수집하였고저장하고기본적인분석을수행하였다그리고포먼트를이용해신용에관한파라미터를추출하였다핵심어음성분석전화대출상담목소리특성포만트 Abstract People generally communicate with their voices. At this time, information transmission through the language becomes the main function of the voice. In addition to the verbal elements of the voice, various information can be conveyed. It can convey about 100 kinds of information such as the face expression, emotion, health, confidence, stress of the speaker. The voices of people are basically different for each individual, and analyzing them can provide additional elements in addition to basic linguistic features. Especially, it can be obtained by analyzing the relationship between the characteristics on the fundamental frequency(basic tonality) of the vocal cords, and the characteristics of resonance frequency of the vocal track. Today, people are trying to communicate their intent clearly to others, and that can be analyzed the Received (January 25, 2017), Review Result (February 10, 2017) Accepted (February 17, 2017), Published (March 31, 2017) 이논문은숭실대학교 년교내학술연구비융합연구자지원으로작성되었습니다 ISSN: AJMAHS Copyright 2017 HSST 183

2 voice and use it as a factor in determining a personal credit rating score. In this study, we try to create a model for classification of personal credit by using various features obtained through voice analysis. We collected telephone conversation voices on judgment on loan, stored and conducted basic voice analysis. And we used the formants to extract the parameters related to credit. keywords: Speech analysis, Phone call loan, Voice properties, Formant 서론 사람의목소리는사람사이사람과기계사이에서정보전달을하는데가장손쉬운방법중하나이다그리고이목소리는사람의발성기관을통해생성되어공기중으로퍼져나가게된다이목소리는기본적인의사소통이가능하게하며한번만들어진목소리는멀리퍼져나가다가공기중에서소멸하게된다이때목소리는만들어낸사람의개별적인특징들이남는다또한목소리는만들어지는과정에서발성기관의특성언어적특징개인의성격건강심리상태등의원인으로 분석적인결과가유사하면서도다른특징들이얻어지게된다목소리를분석해보면유사한특징들은언어에의해의미를지는소리의형태로남게되고유사하지않은특징은개인별로다른원인에의해서발생된다사람의목소리가정보전달에손쉽게이용되어왔던만큼이목소리를오래도록기록하거나멀리까지전달하기위해정보통신기술이발전해왔고오늘날은이목소리가갖은정보를분석하여기계가사람의명령을수행하고정보를기록하고심리를판단하여사람과기계의행동방향을설정하기도한다목소리는만들어지는과정에서개개인별로다른특징이얻어지는파라미터가있다이는개인별로얼굴의생김세가다르듯발성기관의형태와특징이다르기때문에다른형태의소리가된다그리고사회생활을하게되면서생기는발성습관주로사용하는어휘에따른언어적구조생활하는지역에따른지방언어의특징등이구분되어지고건강과심리상태에따른목소리변화도또한분석적인결과를추출하는데사용될수있다우리는이러한개인의목소리를분석하여앞에서언급한기본적인언어의정보전달기능을기본적으로사용할수있다그리고목소리에는일백여가지가넘는추가특징이포함되어있는데이를분석하고규명하여목소리를통해의미를전달할뿐만아니라건강심리상태를파악할수있고말하는사람의진정성이나신뢰도를판단하는데사용할수있다정보통신기술의발전으로컴퓨터를이용하여목소리를처리하게되면다양한결과를얻을수있다가장우선적으로목소리를통신장치를이용해멀리전달하거나저장장치를이용해그대로저장하는방법이있다그다음으로목소리의의미를분석하여음성인식을통한명령과의미의전달이나필요한기계의동작을수행하게할수있다그리고다음으로어떤사람이어떠한형태로말을하여사람을인식하거나화자인식구분을하는화자식별을통해출입을인허가하거나중요 한기능의수행여부를판단할수있다그리고컴퓨터가목소리를만들게하여안내방송을하거나기계로부터발생된정보를사람에게전달하는기능을수행할수있다오늘날앞에서언 184 Copyright 2017 HSST

3 Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.7, No.3, March (2017) 급한통신저장음성인식화자식별화자인식음성합성등의기술을사용하게되면감정적인요소가결여된기졔적인소리를만들어내거나감정의요소를덜어낸정보를전달인식분석을하게된다하지만의연구에서와같이음성을합성함에있어서도감정에대한부분을추가한다던지연구에서와같이합성된언어의자연성을추가하려는연구가시도되고있다그리고에서처럼음성인식이나통신과정에서감정을인식하여전달하는정보의양과형태를다르게하는시도또한이루어지고있다사람들은다양한이유로금융기관을이용하게된다그리고금융의기본적인기능은가계기업정부금융기관등이거래를통하여필요한자금을얻거나여유자금을운용하게하는것이다금융기관에서개인과기관의신용은매우중요한정보에해당한다신용도를평가하는기준은과거의거래실적과형태가얼마나성실하게이루어졌고부체를갖고있다면그부체상환의지가어느정도이고부도를낼확률이어느정도여서자금을회수할수있는정도와위험부담을계산하게된다본논문에서는오늘날급격하게발전하는금융에서사용을도입하고자하는목소리분석을통한개인의신용평가척도를마련하고자한다사람들은다양한이유에서좋은목소리를만들기위해노력하고있다그목적은다양한연설개인적인대화세일즈심지어자신의직업에대한면접을준비하는사람들이듣는이에게자신의의도를명확하게전달하고의도한상황을명확하게전달하는것이중요하기때문이다또한음성은개개인신용을평가하는척도로도사용이가능한데음성분석을통해다양한분석특징을추출하여분석목소리의신용에대한척도를만들어낼수있다본논문은장에서기본적인이론의목소리의생성과분석을살펴본다장에서는신용척도평가를위한포만트분석법을제안한다장에서실험및결과를살펴보고장에서결론을맺는다 음성생성모델과목소리분석 목소리의생성과분석방법 사람의목소리는폐에서발생된공기흐름이발성기관을거처공기로퍼지게되는현상이다대기로퍼진목소리는일반적으로다음순서를거쳐우리가듣는소리가된다가슴과횡격막의운동은폐의안쪽공기의압력을높게만들어흐름을유도한다압럭이높아진폐속의공기는기도를따라몸속에서빠져나오며발성기관인성대성문구계입과코를지나며각각의기관의소리울림특징을띄게되고필요에따라울림특성을변화시켜목소리는시간에따라발음이변화하며변화된소리는언어적의미를갖고사람과사람사람과기계간의의사소통을이루게한다그리고듣는사람들은자신또한이러한반응을통해발성을하고듣는과정은사람의청각기관인귀에서이루어지고목소리를만드는것과반대과정으로공기의떨림이분석되어뇌에서정보를인지하게된다그림의블록도는말하는사람으로부터듣는사람까지정보의흐름과동작을표현하 ISSN: AJMAHS Copyright 2017 HSST 185

4 고있다일반적인사람들은이과정을다수의연습과오랫동안습관에의해매우짧은시간동안목소리를만들어발성기관을통해의사를전달하고귀로듣게된공기떨림을분석하여의미를파악할수있다 그림 화자로부터청자까지정보전달흐름도 음성생성모델은화자가목소리를만들어내거나청자가들은소리를분석하는과정을컴퓨터에서도처리할수있도록소리를만드는모델이라할수있다이는년대부터연구를시작하여음성이출력되는과정을공기의흐름을시간의순서에따라분석하고목소리의형태인유성음과무성음으로생성원리를나눠성도라는목소리가울리는굵기과길이가변화하는관을통해필터링되는구조로표현한생성모델이다이음성생성모델의가장기본적인구성은목소리의생성원리에따라유성음과무성음으로나누어여기원으로임펄스트레인과성대모델백색음과성대모델을이용하는여기원모델과소리가올라오는길인성도의굵기길이협착정도와협착타이밍의변화를담은성도모델로나누어분석하는점이다이음성생성모델을그림으로표현하면다음그림와같이나타낼수있다 그림 선형예측음성생성모델 186 Copyright 2017 HSST

5 목소리분석과포만트주파수 Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.7, No.3, March (2017) 음성신호처리분야에서목소리가갖는정보는크게여기원의특징과여파원의특징으로나눠볼수있다첫째로여기원은피치라고불리는공기흐름에의해성대떨림이발생하고이진동을단위시간동안의횟수혹은성문이열리고닫히는주기를분석하여판단하는것을의미한다피치를정확히검출하면음성인식시에화자에따른영향을줄일수있고음성합성시에자연성과개성을유지하거나쉽게변경할수있다일반적으로남성의경우발성가능한피치범위는사이에존재하며여성의경우에는사이에존재하는특징이있다둘째로여파원은포만트라고불리는특징이다목소리에서포만트주파수는성대에서발생된공기떨림이성도를거칠대공명명의의해강조되는주파수대역이다이포만트주파수는낮은주파수부터차례로숫자를매기며첫번째두번째포만트혹은로표현하여순서를표현하고꼭짓점의위치를주파수로표현하고있다여기원에서발생되는공기떨림에의한소리가같아도성도굵기길이변화율에따라증폭되는주파수대역이달라진다일반적으로모음에서는과에의해서그음소의음운학적인성질이결정되고는그사람의개인성을담고있다고한다모음이나유음에서는이나가가장중요하지만마찰음과같은경우에는포만트부분이위에서말한바와같이단순하지않고아주복잡하게되어뿐만아니라에도많은음운학적인정보가포함되어있다 신용도평가를위한포만트분석 본논문에서는목소리의신뢰성을평가하기위하여한국의은행의대출과관련된고객과의전화음성을분석의데이터로사용하였다음성데이터는전화목소리를녹음하여로샘플링하고의대역통과필터를이용해전화목소리에대한잡음을처리하였으며로양자화한후분석하였다목소리데이터는명의남성과여성의목소리를저장하였고목소리상대의연령은대이다그림과에서신용도변화에따른목소리의신뢰도를평가하는파라미터를확인하였다신용도의변화는대출심사과정에서의목소리와대출이후채무불이행상태에서의목소리를비교하였다특히같은발성인네를발성하는동안의특성을모아서분석하였다스펙트로그램분석을보면피치의하모닉수구조도다르고차포만트와차포만드의위치와구조가다르게나타나는것을쉽게확인할수있다 ISSN: AJMAHS Copyright 2017 HSST 187

보기위해 점선을 추가로 그려 넣어두 었고 이 각도 비교를 통하여 목소리의 변화를 판단할 수 있다 본 연구에서 목소리의 신용도를 평 가하기 위해 스펙트로그램 분석과 스펙트럼의 포만트 비교를 수행해 보았고 스펙트로그램 상에서 의 형태와 구조가 다르고 특히

6 그림 상담 목소리 의 스펙트로그램 분석 그림 상담 목소리 의 스펙트로그램 분석 다음 그림 와 그림 은 평균 주파수 분석을 통하여 차와 차 포만트의 기울기를 분석한 결과이 다 앞의 스펙트로그램 분석과 같이 대출 심사와 채무 불이행 이후의 목소리에서 같은 단어 발성 에서의 목소리 분석을 표현하고 있다 분석의 방법은 주파수 분석을 통하여 포만트 주파수 분석을 수행하여 위치와 봉오리의 높이를 분석하여 차와 차 포만트의 구조를 판단하였다 그림 와 그 림 에서 첫 번째와 두 번째 봉오리 사이의 기울기를 비교해 보기위해 점선을 추가로 그려 넣어두 었고 이 각도 비교를 통하여 목소리의 변화를 판단할 수 있다 본 연구에서 목소리의 신용도를 평 가하기 위해 스펙트로그램 분석과 스펙트럼의 포만트 비교를 수행해 보았고 스펙트로그램 상에서 의 형태와 구조가 다르고 특히 포만트의 차와 차 봉오리의 기울기를 가상의 선으로 그려보았을 때 각도가 다르게 나타나는 것을 확인하였다 향후 스펙트럼 분석을 통하여 목소리의 신용도를 판 단하는 파라미터로 차와 차 포만트 기울기 값을 찾을 수 있었다 188 Copyright 2017 HSST

7 Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.7, No.3, March (2017) 그림 상담목소리의스펙트럼분석 그림 상담목소리의스펙트럼분석 결론 사람의목소리는의사소통을위한정보외에도다양한부가정보를포함한다목소리는기본적인기능으로음성을통한언어적인정보전달외에가지가넘는다양한특징들을포함하고있다이목소리는생성되는과정을고려해여기여파원으로구분해분석을하는것이일반적인방법이다여기원은성대의모델을여파원은성도의모델을이용해분석할수있다목소리는시간에따라변화하는시변시스템의출력결과이다그러나그변화가시간에따라매우빠르게변화하거나규칙적으로변화하지는않는다그리고변화와변화사이에는대략적인주기를갖고유사한특징을찾아낼수있다이러한목소리를분석하면건강심리상황등의추가정보를추출하고판단할수있다그중목소리분석을통해사람의신용도를평가하는파라미터를본연구에서확인해보았다본논문에 ISSN: AJMAHS Copyright 2017 HSST 189

8 서는신용신뢰도와관련하여대출을직접진행중인사람들의목소리분석을통하여신용평가를하는데필요한파라미터를확인하였다신용도평가를위해신용에이상이없는사람과신용에문제가생긴사람의목소리를스펙트로그램과스펙트럼분석을수행하였으며두부류의사람의목소리에차이를정량화하기위한실험을수행하였다스펙트럼분석에서는차와차포만트분석을통하여신용이높은사람과그렇지않은사람의차이를추출하여파라미터를추출하였다실험결과신용도의변화에따라목소리포만트위치와높이에차를확인할수있었으며변화도가뚜렷하게나타나게됨을확인하였다본연구하나만을통해목소리로신용을평가하는것은한계가있지만다양한목소리신용파라미터추출을통해목소리로신용을평가할수있는시스템구축하는것이가능하다 References [1] Feb 28 (2014). [2] M. J. Bae Editor, Read the world with the sound of Professor BaeMyeongJin, Korean Publishers. Korea (2013) [3] P. H. Woo, B. M. Jin, Editors. Analysis of Kim Jung-un's Confidence and Control through His. Voice Advanced and Applied Convergence Letters, (2015) November 12-15; Seoul, Korea [4] H. W. Park, A Study on Voice Reliability Parameter Analysis using Formant, Proceedings of AJMAHS, (2017), January; Busan, Korea. [5] P. H. Woo, S.G. Bae, and M. J. Bae, Analysis of Confidence and Control through Voice of Kim Jung-un, INFORMATION, (2016), Vol. 19, No. 5, pp [6] M.J. Bae and S.Y. Lee Editor, Digital Voice Analysis. Dongyoung publish (1998). [7] Hyung Woo Park, Sang Woo Hahm, Study on Stress Response in Brain Wave on the Relationship between Job Characteristics and Growth Need Strength, Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, (2016) Vol.6, No. 10, pp [8] Sang Woo Hahm, Hyung Woo Park, A study on Different Achievement for Creativity and Memorizing Using Electro-Encephalo-Graphy(EEG) Comparison, (2016) Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, Vol.6, No. 12, pp [9] R. R. Lawrence, R. W. Schafer, Editor, theory and Applications of Dig Digital Speech Processing, PEARSON (2011) [10] Woo Chul Park, Snag Bong Lee and Sun hee Lee, Fundamentals of Sound Engineering, Chasong press (2009). 190 Copyright 2017 HSST

Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.8, No.4, April (2018), pp

Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.8, No.4, April (2018), pp. 277-284 http://dx.doi.org/10.21742/ajmahs.2018.04.30 소프라노가수들의바이브레이션심도측정에관한연구 송욱진