입체음향기술 - 입체음향시스템개요및기술동향 - 2016. 9. 2.
발표순서 1. 청각과음향 2. 입체음향개요 3. 입체음향시스템 4. 입체음향기술동향 2
소리의정의 소리의정의 ( 광의 ) 탄성체를매질로전파되는파동 = 음, 음파 소리의발생및전파에의한정의 ( 협의 ) 청각기관에의해들리는현상 소리의지각에의한정의 소리의특징 무의식, 무의도로지각할수있음 귀는들을수있는목소리를가지고있다 창조성 소리를듣는것과인지하는것은별개 뇌의인지작용 고대주술적의미 비가시성, 공명에의한증폭 말의창조성 천지창조 말로사람을변화시킬수있다. 말이씨가된다. 칭찬은고래도춤추게한다. 3
음원의특징 음원의특징 음원의불확정성 ( 비물질성, 파동 ) 매질혹은센서에의해소리가변형됨 ( 소라껍질 ) 개체고유의정체성으로간주될수있음 색 : 빛의반사에의해간접적으로인지됨 음원의종류 점음원선음원면음원체적음원 4
매질의특징 매질의특징 기체 액체모든물질 고체 매질의영향 음속 물질의밀도에비례 ( 기체 < 액체 < 고체 ) 감쇄 물질의밀도에반비례 ( 고체 > 액체 > 기체 ) 반사 모든물질은일부의음파를반사함 흡음 모든물질은일부의음파를흡수함 굴절 밀도가다른두물질경계면에서음속변화에의한굴절 회절 장애물의뒤로음이전달 간섭 두개의신호가혼합될때진폭의고저가중첩 / 상쇄 울림 주파수가조금다른두신호에의한간섭 공명 물체의고유진동수와동일한주파수음에의해울림 잔향 매질의영향에의해복잡한경로로전파된음의시간적변화 5
청각의특징 청각기관 청각기관의구조 외이 : 귓바퀴, 외이도, 고막 중이 : 망치뼈, 모루뼈, 등자뼈, 유스타키오관 내이세반고리관, 달팽이관, 청신경 음파를집속, 증폭시켜청신경 / 뇌에전달 6
청각의특징 소리주파수범위 : 5 ~ 150kHz 인간의가청주파수범위 : 20 ~ 20kHz HD 오디오샘플링주파수 96kHz 개의청각범위 ( 집안에서이유없이짖는강아지 ) 192kHz 쥐의청각범위 7
청각의특징 지각범위가넓음 360 서라운드 분위기, 공간감 시각 : ~140 ( 수평 ) x 70 ( 수직 ) 청각해상도 공간 평균 ±5 음상의구별이가능 집중할경우 : ±1 감도 : 96dB(65,536 배 ) 청각 시각 8
소리의차원 순음 하나의주파수로구성되는소리 고조파음 배음주파수로구성되는소리 복합음 다수의주파수로구성되는소리 반향음 물체로부터반사되어생성되는소리 잔향 수많은반사와회절 / 산란을통해생성되는소리 다중음원 주변의다양한음원에의한간섭 공간음향 공간내부매질이있는곳이라면어디에나존재 9
10 입체음향의원초적필요성 인간청각의능력? 청각을통해음원의위치를정확하게감지 어두운밤의실종과함께지속적퇴화?? 청각과시각은오랫동안협력한동반자 낮 : 시각, 밤 : 청각 위험감지 : 주로청각으로먼저찾고시각으로확인 공감각 : 예술에활용귀신소리? 현실과차원이다른소리 에코, 잔향, 음색, 시각정보와동기되지않은소리 대부분의비디오매체 멀티미디어노출이많은아이 집중력장애?? 실감멀티미디어의필요성 시각, 청각기능의훈련통한회복과보전 집중력장애회피하이브리드오디오가현실적인솔루션!!
11 1. 청각과음향 2. 입체음향개요 3. 입체음향시스템 4. 입체음향기술동향
12 입체음향이란? 입체음향이란? 사람이실제환경에서직접듣는자연스러운소리 방향감, 거리감, 공간감요인에의하여좌우됨 입체음향기술이란? 원음장을충실하게재현하고, 음의방향감및거리감을재생하여현장감을가지게하는기술 음의방향감, 거리감등음향공간의입체적인인상과현장감을주는기술 음원이발생한공간에위치하지않은청취자가음향을들었을때방향감, 거리감및공간감을느낄수있도록공간정보를부가하는기술 음상정위 (sound localization) 음원에대한지각된음상의위치 ( 방향과거리 ) 를판단하는것
입체음향의원리 방향감지각요인 양이 ( 耳 ) 간음량차이 (ILD) 및위상차이 (ITD) 양이간전달함수 (HRTF) 차이 귓바퀴, 머리, 몸통의영향 거리감, 공간감지각요인 직접음과반사음의비율 반향및잔향패턴 H ll H rr 음원 H ll 음원 H rr 직접음 초기반사음 초기반사음 잔향음 잔향음 직접음 ITG t(s) ITD: Interaural Time Difference, ILD: Interaural Level Difference, HRTF : Head Related Transfer Function 13
14 입체음향효과 현장감을느낄수있다. 영화, 스포츠중계, 게임등에활용 명료도를높일수있다. 특정방향의음원에대한인지율이높아짐 ( 칵테일파티효과 ) 음원객체에대한인터랙션이가능하다. 임의음원객체에대한직관적인상호작용, 가상협연 몰입감을높일수있다. 자연스러운몰입감으로집중력이훈련될수있음 영상과의동기를통해완벽한현장감표현가능
15 입체음향의종류 - 멀티채널 청취자를둘러싸는다수의스피커에의한입체음향재현 유효청취영역이제한됨 스튜디오제작에서는방안의소리로제한됨 시스템구성이간단함 획득및제작이용이함
입체음향의종류 - 바이노럴 귀입구의소리를직접들려줌으로써입체음향재현 귀바퀴, 머리형태등개인차가있음 스피커로재생시크로스토크제거필요 HRTF 측정및획득이어려움 개인차극복이어려움 HRTF : Head Related Transfer Function 16
입체음향의종류 음장합성 (WFS) 음원의위치에따른파면을합성하여입체음향재생 많은스피커가필요함 ( 호이겐스파동원리 ) 재현가능대역이제한됨 스피커간격및길이의영향 유효청취영역이넓음 Primary source Gain 1 Delay 1 Gain 2 Delay 2 Input signal Gain Filter Delay 3 Gain 3 Gain L Delay L WFS: Wave Front/Field Synthesis( 파면합성, 음장합성 ) 17
18 오디오재생방식별비교 출처 : G. Theile / 20.-22.04.2001 / ORF-Seminar / Psychoakustische Grundlagen Nr. 9
오디오재생방식별비교 19
20 오디오재생방식별비교 22.2 채널 surround possible not possible possible? possible possible stable
21 입체음향시스템의한계 획득, 제작, 재생의포맷종속성 기본적으로모든시스템이동일한채널포맷에기반하여야함 포맷변환가능하지만지속적성능저하 몇가지의대표적포맷에의한기술및시장의경직 입체음향성능의한계 입체음향의일부만관심 방향, 음색, 잔향 유효청취영역이제한됨 바이노럴 < 멀티채널 < WFS( 음장합성 ) 영상객체와의공간적비동기 디스플레이크기, 형태 ( 가로세로비율 ), 방크기 / 형태 스피커배치 시각공간의제한 인터랙티브미디어에서의음향 (360 VR, AR, )
22 객체기반입체음향 객체기반음향기술 객체기반실감음향콘텐츠 객체음향신호 + 3차원공간정보 인터랙티브음향서비스 VR, AR, 음성 / 배경음독립볼륨제어, 편파방송, 다중언어방송 객체기반음향기술로종속성해결 OSMU(One Source Multi Use) 한번의제작 다양한재생환경에서최적의재생가능 기술및시장경직성탈피 재생환경에서의렌더링 재생환경의튜닝기술필요 스마트음향디바이스 ( 마이크, 스피커 ) 객체기반제작및재생기술추가개발필요 새로운기술및시장창출
23 1. 청각과음향 2. 입체음향개요 3. 입체음향시스템 4. 입체음향기술동향
24 입체음향시스템구성 획득, 제작, 포맷, 재생 / 사용자제어 EQ 모드 Pop, Classic, 영화, 스포츠, 음장모드 Hall, Theater, Club, Stadium,
25 입체음향획득시스템 근접음원녹음, 멀티채널음장녹음, 바이노럴녹음
입체음향제작시스템 DAW/ 편집도구, Plug-in, 패너, 믹싱콘솔 Pro tools, Nuendo, EQ, Compressor, Limiter, Delay, Reverberator, 2D, 3D panner 26
27 입체음향포맷 멀티채널, 바이노럴, 객체기반 Stereo 7.1 channel 5.1 channel 11.1, 13.1, 5.1.2, 7.1.2, 7.1.4,
입체음향재생 / 제어시스템 입체음향단말, 음향변환기, 사용자제어 AV Receiver, Amp TV, Radio, IPTV 멀티채널 EQ 모드 Pop, Classic, 영화, 스포츠, 음장모드 Hall, Theater, Club, Stadium, 카오디오 사운드바 모바일오디오 3 차원입체음향 룸튜닝 객체음향제어 28
29 발표순서 1. 청각과음향 2. 입체음향개요 3. 입체음향시스템 4. 입체음향기술동향
30 입체음향획득기술동향 근접음원녹음, 멀티채널음장녹음, 바이노럴녹음
입체음향획득기술동향 획득기술의분류 영화 Post Production 다양한방법으로녹음후스튜디오에서음향편집수행 근접녹음, 붐마이크, 음장녹음, 스튜디오녹음, 효과음 (Foley) 녹음, 효과음라이브러리 Post Production 비율이높을수록시간과비용이증가함 붐마이크 더빙녹음 라이브러리 음장녹음 근접녹음 효과음녹음 31
32 입체음향획득기술동향 획득기술의분류 음악 Studio Recording 각파트별로하나씩더빙하면서녹음 미디음악, 가이드보컬을청취하면서녹음 각파트별로별도의트랙을획득할수있음 객체기반대화형음악서비스가능
33 입체음향획득기술동향 획득기술의분류 공연 / 스포츠 현장녹음 멀티채널녹음 멀티채널스피커포맷과동일한배치로녹음 음장녹음 앰비소닉» 임의위치의공간음장을파동의차수에따라녹음 음장녹음» 임의위치의사방에서오는소리를고르게분포된마이크로폰어레이로녹음 바이노럴 더미헤드로녹음하여헤드폰으로청취함
34 입체음향제작기술동향 편집도구 AVID Pro Tools Steinberg Nuendo
입체음향제작기술동향 VST Plug-ins Signal processor, Effector, 가상악기, 패너, Compressor Reverberator 가상악기 - 기타 Limiter Effector 가상악기 - 드럼 패너 35
입체음향제작기술동향 Rendering 기술 Virtual Microphone, Sound Particle VBAP, DBAP LBAP Object-based Rendering 36
37 입체음향포맷기술동향 입체음향포맷 멀티채널 스테레오 / 바이노럴 5.1/7.1/9.1/10.2/11.1/13.1/14.2/30.2/22.2/ 객체기반 음원모델 점음원, 선음원, 면음원, 체적음원 음장모델 초기반사음 잔향음 직접음 점음원 선음원 직접음 초기반사음 면음원 체적음원 잔향음 ITG t(s)
38 입체음향포맷기술동향 Dolby ATMOS 포맷구성 ~118 objects 9.1 channel Metadata for objects Cinema : Upto 64 Channels Home Theater : 5.1.2 ~ 24.1.10 Channels TV - ATSC 3.0 5.1.2 ~ 24.1.10 ~ 64
39 입체음향포맷기술동향 DTS-X Royalty Free Sound Format Standard 11.2 channel 32 Speakers
40 입체음향포맷기술동향 AuroMax 9.1/11.1/13.1 20.1/22.1/26.1
41 입체음향포맷기술동향 MPEG-H 3D Audio 1 to 22.2 channels defined 128 channels and 128 objects 7.1.4 channels
입체음향재생기술동향 멀티채널포맷 롯데시네마 13.1 AURO 10.1 CGV 14.1 돌비 11.1 TTA 10.2 채널 42
입체음향재생기술동향 바이노럴재생 바이노럴 음상외재화 (BRIR : Binaural Room Impulse Response) 헤드트래킹 가상현실음향 트랜스오럴 크로스토크제거 헤드트래킹 음상외재화 크로스토크제거 43
44 입체음향재생기술동향 초지향스피커재생 초음파스피커 스피커어레이 1D 스피커어레이 초음파스피커 2D 스피커어레이
45 입체음향재생기술동향 스피커어레이음장합성 Huygens 의파동전파원리에기반 파동전파에있어파문을이루는각점은새로운파원으로작용 스피커어레이로임의공간의새로운파원생성 Primary source Gain 1 Delay 1 Gain 2 Delay 2 Input signal Gain Filter Delay 3 Gain 3 Gain L Delay L
46 입체음향재생기술동향 스피커어레이초점음원 초점음원생성 스피커간격및개수에따른지연및이득파라메터조정 반사면의위치정보를필요로함 룸튜닝기술필요 Yamaha Sound Projector (a) 반사면에의한가상스피커생성 (b) 근접가상스피커생성 < 초점음원에의한가상스피커생성 >
입체음향재생기술동향 스피커어레이음장합성 음장합성시스템 IOSONO Cinema 야마하 YSP-5600 47
48 입체음향재생기술동향 최적음향제공을위한룸튜닝기술 룸튜닝 사운드바시스템을이용하여가상멀티채널음향을생성할때의최적방사각또는 Mirror Image 예측과정 야마하의빔스캐닝방식 빔포밍알고리즘을활용하는야마하사운드바에서적용하는방식 청취공간상에서모든각도로빔을방사하여최대음압을 발생시키는방사각도예측 측정소요시간 : 약 3 분 직교코드기반사운드빔응답특성 (Impulse Response) 측정방식 ETRI와 KAIST에서공동개발 사운드바를구성하는개별스피커의응답특성을측정하고사운드바전체의응답특성을예측하는방식 고속수행및잡음환경에강인 영상처리기반최적방사각추정 측정소요시간 : 약 25분
49 입체음향재생기술동향 초실감음향 (Ultra Realistic Sound) 초실감 음장재현 Multi Dimensional Audio (NICT) (NICT) CAVE Spatial Audio (Virginia Tech) Virtual Acoustics (McGill)
50 Q & A 감사합니다!