논문 11-36-05-06 한국통신학회논문지 '11-05 Vol. 36 No. 5 입체음향시스템을위한상호간섭제거기법의유효청취범위분석 준회원이정혁 *, 정상효 *, 정회원유승수 *, 종신회원송익호 **, 김선용 * A Study on Sweet Spot of Crosstalk Cancellation Schemes for Sound Rendering Systems Junghyuck Lee*, Sanghyo Jeong* Associate Members, Seungsoo Yoo* Iickho Song**, Sun Yong Kim* Lifelong Members Regular Member, 요 약 본논문에서는입체음향시스템을위한대표적인상호간섭제거기법인머리전달함수만 (head related transfer function, HRTF) 이용한기법과두귀에도달하는소리의시간차와세기차를 (interaural time/intensity difference, ITD와 IID) HRTF와함께이용한기법의상태지수와 ITD/IID 수준을보이고, 이로부터두기법의유효청취범위를보인다. 입체음향시스템의유효청취범위는청취자가의도된음향의입체감을왜곡없이느낄수있는공간으로등역 (equalization zone) 또는 sweet spot으로도부른다. Key Words : Sound Rendering System, Acoustic Signal Based Localization, Sweet Spot, Crosstalk Cancellation, Interaural Intensity Difference, Interaural Time Difference ABSTRACT In this paper, equalization zone of two crosstalk cancellation (CC) schemes, which are the one based on only head related transfer function (HRTF) and the other one based on interaural intensity/time difference (ITD/IID) as well as HRTF is studied. To do this, the condition numbers and ITD/IID levels of two schemes are shown. Ⅰ. 서론최근 3차원입체영상과함께입체음향재생기술이비약적으로발전하고있다. 입체음향기술이란원음장을충실하게재현하고음의고저, 음색뿐만아니라방향이나거리감까지도재생하는기술이다 [1]. 음원의위치를임의의 3차원공간에정확하게연출할수있는입체음향재생기술은오디오기반미디어의가치를획기적으로높일수있으며영상에포함된 3차원정보의실감성을배가시킬수있다. 이에현장감있는 음을제공하기위한음의가공기법및재생에대한연구가활발하게이루어지고있다 [2]-[4]. 입체음향을구현하기위한요소기술로는음원의위치를원하는가상위치에정위시키는음상정위 (sound image localization), 음원공간을가상으로생성하는음장제어 (sound field control), 핵심공간정보인청취자위치를결정하는음향측위 (listener position tracking), 2채널이상의스피커를이용하여음향청취시발생하는상호간섭을제거하는음향누화제거 (crosstalk cancellation, CC) 기법등이있다. 이가운 본논문은 2010 년도건국대학교학술진흥연구비지원에의한논문임. * 건국대학교전자정보통신공학부 (kimsy@konkuk.ac.kr), ** 한국과학기술원전자전산학과논문번호 :KICS2011-04-170, 접수일자 :2011 년 4 월 6 일, 최종논문접수일자 : 2011 년 4 월 14 일 309
한국통신학회논문지 '11-05 Vol. 36 No. 5 데본논문은 CC 기법에초점을맞춘다. 상호간섭은 2채널스피커를이용하여음향을재생할때왼쪽귀에만 ( 혹은오른쪽귀 ) 들려야할음이오른쪽귀에도 ( 혹은왼쪽귀 ) 들리는현상으로두스피커사이에존재하는공간으로인하여왼쪽스피커에서출력된소리가청취자의왼쪽귀에만 ( 혹은오른쪽귀 ) 전달되는것이아니라오른쪽귀로도 ( 혹은왼쪽귀 ) 전달이되어소리의명확한전달을방해하는것을말한다 [5]. 대표적인 CC 기법은머리전달함수만을 (head related transfer function, HRTF) 이용하는기법과 ( 이하 H-CC 기법 ) 두귀사이에도달하는소리의시간차와세기차를 (interaural time/intensity difference, IID/ITD) HRTF와함께이용한기법이있다 ( 이하 HII-CC 기법 ) [6]. H-CC 기법은청취자가최적청취위치에있는경우에만 CC가가능하다. 여기서최적청취위치는여러음향효과를동일하게느낄수있는공간상의가상영역으로서, 등역이라 (equalization zone) 한다. 즉, 이공간안에서청취자는음향효과의차이를느끼지못한다 [7]. 하지만, 청취자가항상최적청취위치에만존재하는것은아니기때문에 H-CC 기법으로는상호간섭을항상제거하기어렵다. 이러한문제를해결하기위해 HRTF와 IID/ITD를고려하여상호간섭제거및청취자의공간뒤틀림을제거하는 HII-CC 기법이제안되었다 [8]. HII-CC 기법은청취자위치를추적하고청취자위치정보를 ( 특히, 도달지연시간차및신호의도달각 ) 이용하여상호간섭을제거한다. HII-CC 기법의청취자위치추적기에서얻어낸청취자위치정보는추정- 상관기를 (estimator-correlator) 통해각각의마이크에서측정한도달지연시간차를 (time difference of arrival) 바탕으로추정하며이를바탕으로청취자위치에맞는 HRTF를얻고이를활용해상호간섭을제거한다. 본논문에서언급하는 CC 기법의 HRTF는 [9] 의 UC Davis에서측정한 HRTF를사용했다. 본논문의구성은다음과같다. 서론에이어 Ⅱ장에서는 H-CC 기법과 HII-CC 기법에대해소개한다. Ⅲ 장에서는 H-CC 기법과 HII-CC 기법의청취자위치에따른상태지수와, 청취자와좌 / 우스피커사이의거리에따른상태지수를분석하며청취자와좌 / 우스피커사이의 IID와 ITD 수준을보이고, 이를바탕으로두기법의유효청취범위를보인다. 끝으로 Ⅳ장에서결론을맺는다. Ⅱ. 상호간섭제거기법 실내음향시스템에서스테레오사운드시스템은양쪽스피커와청취자를정삼각형의꼭짓점에각각배치하였을때청취자에게최적음향효과를제공한다 [9]. 이때정삼각형의꼭짓점에위치한청취자의위치가최적청취위치가되며, 이러한정삼각형구도는청취자에게정확한음상재현을가능하게한다 [10]. 그림 1은 2채널스테레오시스템에서스피커배치와그에따른청취자의위치이다. 그림 1에서 는최적청취환경에서청취자의위치, 는 ( 또는 ) 와좌측 ( 또는우측 ) 스피커를잇는직선과좌우두스피커를지나는직선의중점을지나는법선의사잇각이다. 이때, 에위치한청취자의왼쪽과오른쪽귀에수신되는음향신호 와 는각각식 (1) 과식 (2) 와같다. 본논문에서 는최적청취위치에서의성분을나타낸다., (1), (2) 여기서 과 는 방향특성을갖는 HRTF, 와 는좌우스피커로송출하는음향신호, 는최적청취위치에서의전파지연이다. 본논문에서는잡음은고려하지않는다. 식 (1) 과식 (2) 에 그림 1. 2 채널스테레오시스템에서스피커배치와청취자의위치 310
논문 / 입체음향시스템을위한상호간섭제거기법의유효청취범위분석 서상호간섭은 와 이다. 식 (1) 과식 (2) 를행렬식을사용해간단히식 (3) 처럼다시쓸수있다., (3) 여기서,, 이고, 는전치행렬을의미한다. 수식표현의용이성을위해 는표현하지않는다. 2.1 H-CC 기법 [8] 최적청취위치에있다고가정한청취자의두귀에도달하는상호간섭이제거된음향신호는식 (4) 처럼정의할수있다., (4) 여기서, 는대각행렬이다. H-CC 기법에서스피커로부터청취자까지의전달함수는청취자가최적청취위치에있을경우를가정하여상호간섭을제거하게되며이를적용한신호는식 (5) 와같다. (5) 여기서 -1 은역행렬연산이다. 하지만, 청취자는스피커의소리가유효한공간어느곳에나위치할수있고이로인해효과적인상호간섭제거가어렵게되며따라서정확한음상재현이불가능하게된다 [10]. 2.2 HII-CC 기법 [8] 청취자는항상최적청취위치가아닌스피커의소리가유효한공간어느곳에나위치할수있으며이로인해정확한음상재현이불가능하게된다. 이러한문제를해결하기위해등장한 HII-CC 기법은 HRTF 뿐아니라 IID와 ITD 모두를고려하여사용자위치에구애받지않고상호간섭제거를수행한다. H-CC 기법은청취자가최적청취위치에있을경우에만상호간섭제거가가능하였으나 HII-CC 기법은청취자자체발성음의도달지연시간차를이용하여청취자위치를추적하고, 이를기반으로상호간섭제거를수행한다. 그림 2. 일반청취위치에서 2 채널스테레오스피커시스템청취모형 2채널스테레오스피커시스템에서의일반적인청취모형은그림 2와같다. 는일반청취환경에서청취자의위치, 은 ( 또는 ) 와좌측 ( 또는우측 ) 스피커를잇는직선과좌 / 우두스피커를지나는직선의중점을법선사이의각, 는좌 / 우스피커를잇는직선의중점과청취자사이의거리, 는좌 / 우스피커를잇는직선의중점을지나는법선과그중점과청취자를잇는직선의사잇각이다. 청취자가임의의위치에있을때왼쪽과오른쪽귀에도달하는음향신호는각각식 (6) 과식 (7) 처럼정의된다. (6) (7) 여기서, 이고, 은좌우두스피커의중점으로부터청취자까지의거리, 은 ( 또는 ) 좌측스피커부터 ( 또는우측스피커 ) 청취자까지의거리, 은 ( 또는 ) 좌측 ( 또는우측 ) 스피커에서청취위치까지의음향전파지연시간이다. 식 (6) 와식 (7) 은행렬식을사용해간단히식 (8) 처럼다시쓸수있다., (8) 311
한국통신학회논문지 '11-05 Vol. 36 No. 5 여기서, 이며, 는단위충격함수이다. 식 (8) 을식 (3) 처럼만들기위해서는일반청취위치에서의공간정보를청취자위치추적기를통해추정해야한다. HII-CC 기법은임의의위치에서발생하는청취자의자체발성음을청취자위치추적시스템의입력으로받아도달시간차를추정한다. 이렇게추정한도달시간차를 Gauss-Newton 기반최소자승법으로최종위치해를구한다. HII-CC 기법은획득한청취자위치정보를 ( 특히 과 ) 사용하여사전부호화과정을거쳐식 (9) 처럼신호를생성한다., (9) 여기서, 이다. 그외 Ⅲ. 유효청취범위분석본논문에서는 H-CC 기법과 HII-CC 기법의유효청취범위, 즉, 등역으로인지되는범위, 분석을위해측위정확도실험과 CC 기법의성능평가를수행하였다. 실험은박수소리를자체발성음을이용하였으며, 그림 3과같은실험환경을구성하고일반적인 2채널스테레오스피커시스템청취모형을이용하였다. 본논문에서청취자측위를위한시스템의측위정확도결과는청취자를중심으로하는최적청취위치의 반경인 0.25이내의측위오차가발생할확률이약 75% 85% 로나타났다. 본논문에서는 CC 기법의객관적성능지표가운데하나인상태지수와청취자와좌 / 우스피커사이의 IID 와 ITD를보여 H-CC 및 HII-CC 기법의효율적인상호간섭제거를위한유효청취범위를보인다. 3.1 상태지수를이용한유효청취범위분석앞서언급한식 (3) 과식 (8) 의관계를고려했을때, 이면이론적으로완벽하게상호간섭을제거할수있다. 하지만실제환경에서는청자들의신체적인특징이나여러요인들이개인마다고유하기때문에상호간섭을완벽하게제거할수없다 [11]. 따라서본논문에서는 CC 기법의객관적성능지표로써식 (9) 처럼상태지수를이용하여제안한기법의성능을평가한다. [12] (10) 여기서 는상태지수이고 (condition number), 와 은각각가장크고작은단일치를 (singular value) 의미한다. 일반적으로상태지수가 10보다작으면물리적인강인성이높다고판단하고, 100이상의값을가지면물리적강인성이낮다고할수있다 [12]. 본논문에서는유효청취범위분석을위해상태지수를이용하였으며다양한청취자위치에서모의실험을진행하였다. 그림 4는 일때 에따른 HII-CC 기법의상태지수 그림 3. 실험환경 그림 4. 일때 에따른 HII-CC 기법의상태지수 312
논문 / 입체음향시스템을위한상호간섭제거기법의유효청취범위분석 이다. 가증가함에따라청취자가최적청취위치에서멀어지게되고, 그로인해상태지수가증가한다. 그림 4를바탕으로도출된효율적인상호간섭제거를위한청취자위치기반 CC 기법의유효청취각은 이며, 좌 / 우스피커를잇는직선의중점과사용자사이의거리 가될때까지효율적인상호간섭제거성능을보장한다. 또한, 청취자위치에따른 HII-CC 기법의상태지수를그림 5처럼분석하였으며좌 / 우스피커를잇는직선의중점과청취자사이의거리 를 로가정했을때, 청취자가좌 / 우스피커를잇는직선의중점을지나는법선에서멀어지는경우, 물리적강인성이낮아지는것을확인할수있었다. 그림 6에서는 와 에따른상태지수를기반으로하는 H-CC 기법과 HII-CC기법의유효청취범위를분석하였다. H-CC기법의유효청취범위는유효공간의중심에위치한사용자를기준으로하는 0.25직경의그림 5. 일때 에따른 HII-CC 기법의상태지수 원으로나타나며이공간에서청취자는여러음향효과를동일하게느낀다 [13]. H-CC기법과 HII-CC기법의유효청취범위는그림 6과같다. 본논문에서언급한 CC 기법은 0 ~ 5 khz 주파수대역에서비교적물리적강인성이높게나타났으며이는본논문에서청취자측위를위해자체발성음으로이용한박수소리의주파수대역에따라이와같은결과가발생한것을알수있었다. 3.2 IID와 ITD를이용한유효청취범위분석청취자가일반적인청취위치에서정확한공간감을느끼지못하는것은청취자와좌 / 우스피커사이 IID 와 ITD가달라지기때문이다. 스테레오스피커의유효공간안에서일반적인청취자의 IID가, ITD 가 이내의범위에있을경우에청취자는음향효과의차이를느끼지못한다 [14]. 이에본논문에서는그림 7과그림 8처럼 H-CC 기법과 HII-CC 기법의 IID와 ITD를보였다. H-CC과 HII-CC 기법의 IID는그림 7과같다. 이는좌 / 우스피커를기준으로청취자가좌 / 우스피커에서멀어지면서 IID가감쇠하는것을볼수있다. H-CC기법과 HII-CC 기법의 IID는좌 / 우스피커를잇는직선의중점을지나는법선을대칭으로하는쌍곡선형태를보이며, HII-CC 기법은 H-CC 기법에비해약 2배정도넓은등역을갖는다. 따라서 HII-CC 기법은 H-CC 기법에비해약 2배정도넓은영역에서상호간섭제거가가능하다. 또한, HII-CC 기법의 ITD는 IID와비슷한개형을보인다. HII-CC 기법의 ITD는 H-CC 기법에비해더넓은등역을보이며이는그림 8과같다. HII-CC 기법의 ITD는 H-CC 기법에비해약 3배정도넓은등역을갖는다. 그림 6. 와 에따른상태지수를기반으로하는 H-CC 기법과 HII-CC 기법의유효청취범위 그림 7. H-CC 기법과 HII-CC 기법의 IID 313
한국통신학회논문지 '11-05 Vol. 36 No. 5 범위는그림 6과그림 9를통해보였으며, HII-CC기법과 H-CC기법의유효청취범위는좌 / 우스피커를잇는직선의중점을지나는법선에대칭인형태로나타난다. 또한, HII-CC기법의유효청취범위는 H-CC기법에비해약 3배정도더넓은영역에서효과적인상호간섭제거가가능함을볼수있었다. Ⅳ. 결론 그림 8. H-CC 기법과 HII-CC 기법의 ITD H-CC 기법은청취자의위치에따라좌우수신신호세기의차가존재하며이로인해청취자는정확한공간감을느끼지못하게된다. 하지만 HII-CC 기법은청취자위치추적기를이용하여사용자의위치를추정하고이를바탕으로사용자의위치에상관없이 IID 및 ITD를조정하여 H-CC 기법에비해더넓은영역에서상호간섭제거가가능하다. 또한 IID와 ITD를기반으로유효청취위치를분석했을때, HII-CC 기법이 H-CC 기법에비해약 2배정도더넓은영역에서유효함을볼수있었으며 IID와 ITD를기반으로도출되는 H-CC 기법과 HII-CC 기법의유효청취범위는그림 9와같으며 HII-CC 기법의유효청취범위가 H-CC 기법의유효청취범위에비해약 3배정도넓은영역에서효율적인상호간섭제거가가능하다. 3.3 HCC기법과 HII-CC기법의유효청취범위상태지수와 IID/ITD를고려한 CC기법의유효청취 그림 9. ITD 와 IID 를기반으로하는 H-CC 기법과 HII-CC 기법의유효청취범위 본논문에서는 HRTF를이용하는 CC기법인 H-CC 기법과 HRTF 뿐만아니라 IID/ITD를고려한 CC기법인 HII-CC 기법에대한유효청취범위를분석하였으며이는 CC의객관적성능평가지표가운데하나인상태지수와 ITD, IID를이용하여 H-CC 기법과 HII-CC 기법의유효청취범위를분석하였다. 본논문에서는성능평가지표를기반으로분석한 HII-CC 기법의유효청취범위는 H-CC 기법에비해약 3배정도늘어난것을볼수있었으며, 유효청취범위는좌 / 우스피커를잇는직선의중점을지나는법선에대칭인형태로나타난다. 추후에는 HII-CC 기법의청취자주관적평가를통해제안한청취범위및 HII-CC 기법의타당성을검증하는연구를진행할예정이다. 참고문헌 [1] 최범석, 홍진우, 입체음향 (3D 오디오 ) 기술과원리, 방송공학회지, 제 6권, 제 1호, 36-45쪽, 2001년 3월. [2] 박영철, 멀티채널실감오디오기술동향, 대한전자공학회논문지, 제 36권, 제 4호, 55-63쪽, 2009년 4월. [3] 서정일, 장인선, 이용주, 유재현, 강경옥, 청취환경차이에따른 3차원오디오기술개발동향, 방송공학회지, 제 13권, 제 1호, 82-96쪽, 2008년 3월. [4] W. Gardner, 3-D Audio using Loudspeakers, Kluwer Academic Publisher, Norwell, MA, 1998. [5] D. B. Ward and G. W. Elko, Effect of loudspeaker position on the robustness of acoustic crosstalk cancellation, IEEE Signal Processing Letters, Vol.6, No.5, pp.106-108, May, 1999. [6] D. B. Ward, Joint squares optimization for 314
논문 / 입체음향시스템을위한상호간섭제거기법의유효청취범위분석 robust acoustic crosstalk cancellation, IEEE Trans. Speech Audio Process, Vol.8, No.2, pp.211-215, Mar., 2000. [7] J. Rose, P. A. Nelson, B. Rafaely, and T. Takeuchi, Sweet spot size of virtual acoustic imaging systems at asymmetric listener locations, Journal of the Acoustical Society of America, Vol.112, No.5, pp.1992-2002, Nov., 2002. [8] 김영문, 유승수, 이기승, 김선용, 자체발성음을이용한실내공간정보획득및공간뒤틀림 / 상호간섭제거기법, 한국통신학회논문지, 제 35권, 제 2호, 246-253쪽, 2010년 2월. [9] V. Algazi, R. Duda, D. Thompson, and C. Avendano, The CIPIC HRTF database, Proc. IEEE Workshop on Applications of Signal Processing to Audio and Electroacoustics, pp.99-102, New Paltz, NY, Oct., 2001. [10] ITU-R BS. 775-1, Multichannel Stereophonic Sound System with and without Accompanying Picture, International Telecommunications Union, Geneva, Switzerland, 1992-1994. [11] 유승수, 김영문, 이기승, 윤경로, 이석필, 김선용, 자체발성음의도달지연시간차기반상향실내음향측위시스템설계, 한국통신학회논문지, 제 35권, 제 1호, 130-137쪽, 2010년 1월. [12] H. Kim, P. Kim, and H. Kim, Cross-talk cancellation algorithm for 3D sound reproduction, ETRI Journal, Vol.22, No.2, pp.11-19, June, 2000. [13] O. Kiekeby, P. A. Nelson, and H. Hamada, The stereo dipole - A virtual source imaging system using two closely spaced loudspeakers, Jounal of the Audio Engineering Society, Vol.46, pp.387-395, May, 1998. [14] M. R. Bai and C. Lee, Objective and subjective analysis of effects of listening angle on crosstalk cancellation in spatial sound reproduction, Journal of the Acoustical Society of America, Vol.120, No.4, pp.1977-1989, Oct., 2006. 이정혁 (Junghyuck Lee) 준회원 2010년 2월건국대학교전자정보통신공학부공학사 2010년 3월~ 현재건국대학교전자정보통신공학부석사과정 < 관심분야 > 통계학적신호처리, GNSS, Seamless Positioning 정상효 (Sanghyo Jeong) 준회원 2010년 8월건국대학교정보통신공학전공공학사 2010년 9월~ 현재건국대학교전자정보통신공학석사과정 < 관심분야 > 통계학적신호처리, 음향신호처리, 위성신호처리유승수 (Seungsoo Yoo) 정회원 2004년 2월건국대학교전자공학부공학사 2005년 2월건국대학교전자정보통신공학부공학석사 2010년 8월건국대학교전자정보통신공학부공학박사 2010년 9월~현재건국대학교 BK21 핵심사업단박사후과정 < 관심분야 > 이동통신, 통신신호처리, 무선측위, GNSS 315
한국통신학회논문지 '11-05 Vol. 36 No. 5 송익호 (Iickho Song) 종신회원 1982년 2월서울대학교전자공학과공학사 ( 준최우등 ) 1984년 2월서울대학교전자공학과공학석사 1985년 8월펜실베니아대학교전기공학과공학석사 1987년 3월~1998년 2월벨통신연구소연구원 1988년 3월~현재한국과학기술원전자전산학과조교수, 부교수, 교수 1995년 1월 ~ 현재한국통신학회논문지편집위원 1991년 11월, 1996년 11월한국통신학회학술상받음 1993년 11월한국음향학회우수연구상받음 1998년 11월한국통신학회 LG 학술상받음 1999년 11월대한전자공학회해동논문상받음 2000년 3월젊은과학자상받음 2000년 11월한국통신학회모토롤라학술상받음. 대한전자공학회, 한국음향학회, 한국통신학회평생회원 ; IEE 석학회원 ; IEEE 선임회원 < 관심분야 > 통계학적신호처리와통신이론, 신호검파와추정, 이동통신 김선용 (Sun Yong Kim) 종신회원 1990년 2월한국과학기술원전기및전자공학과학사 ( 최우등 ) 1993년 2월한국과학기술원전기및전자공학과공학석사 1995년 8월한국과학기술원전자전산학과박사 1995년 4월~1996년 3월동경대학교생산기술연구소박사연구원 1996년 9월~1998년 12월한국전자통신연구원초빙연구원 1996년 3월~2001년 8월한림대학교정보통신공학부전임강사, 조교수 2001년 8월~현재건국대학교전자공학부조교수, 부교수, 교수 1990년 IEEE Korea Section 학생논문대회우수상받음 1992년~1993년 IEEE Communication Society 장학금받음. 대한전자공학회, 한국통신학회정회원, IEEE 선임회원 < 관심분야 > 통계학적신호처리, 이동통신, 통신이론 316