MMChapter9

Chap 9: SOUND 1

SOUND 사운드는음원에서물체가진동하여공기라는매체의압력을변화시킴으로써생성되고이변화는파형 (waveform) 의형태로우리귀에전달 사운드를처리하는것은이러한파형을가공, 편집하는것을의미 소리가전달되는과정 2

SOUND 음원에서발생한진동이공기압의주기적인진동을일으켜전파되는현상 2009-06- 04 3

What is Audio? 20Hz 20kHz AUDIO 초저주파음 (subsonics) 가청주파수 (audible sound) 초음파 (ultra sound) 8kHz 음성 (speech) 음악 (music) 2009-06- 04 4

Time-Domain Waveform Sounds change over time Waveform is a plot of amplitude against time Provides a graphical view of characteristics of a changing sound 2009-06- 04 5

Time-Domain Audio Signal 수평 : 시간, 수직 : 공기압변화, 진폭 4가지요소 : 진폭, 주파수, 파형, 위상 2009-06- 04 6

진폭 (Amplitude) 소리의세기또는크기를결정 음압레벨 (SPL, Sound Pressure Level) 데시벨 (decibel) 단위사용 (db) db = 20log P : 사운드 ( 소리 ) 압력레벨, P 0 : 기준음압 = 2.5 x 10-5 N/m 2, 1000Hz 인 sine 파형의소리를 사람귀로들을수있는최소압력값 Ex) 소리압력값 P 가 1 m 2 당 0.2N(Newton) 이라면 db= 20log8000=78dB 소리압력값이 2 배커지면 6dB 상승 P P 0 2009-06- 04 7

일상적인대화 60dB 정도 80dB 정도소리불쾌감, 130dB 이상이면귀통증 2009-06- 04 8 [ db] 0 10 20 30 40 50 60 70 80 90 100 110 120 130 140 150 160 가까운곳에서들리는제트기엔진소리청취하기에고통스러운소리작은돌깨는소리공항활주로에서들리는천둥소리전력장치의소리시끄러운록- 음악소리지하철에서의소음대형트럭이질주하는소리일반적인공장에서의소음번잡한거리에서의소음작은연주음일상적인대화소리일반사무실에서들리는소리나직한대화소리조용한사무실에서들리는소리조용한거실에서들리는소리방음이완벽한녹음스튜디오에서들리는소리최저가청음

주파수 (Frequency) 주파수 (Frequency) 1초동안의파동의반복횟수, 음의높낮이 Hz 단위사용, f= 1/T (T= 주기 ) 의미있는주파수범위 사람의가청주파수 20Hz-20KHz정도 1KHz ~ 6 KHz 에가장민감사람의가청주파수대를오디오 (Audio) 라고함가청주파수대역만처리하면됨. 사람이낼수있는주파수 100Hz- 8KHz 전화음성주파수 300Hz-3.4KHz 2009-06- 04 9

음압레벨 (SPL) 음압레벨 (SPL) 주파수 음의고조 고주파수신호 : 음이높음, 신호가빠르게변함 저주파수신호 : 음이낮음, 신호가천천히변함 2009-06- 04 10

파형 (waveform) 소리의파형이음색결정 같은세기와주파수를가져도파형이다르면서로다른소리 같은세기와주파수의피아노와바이올린 ( 악기의고유한특징소리 ) 2009-06- 04 11

Frequency-Domain Spectrum 주파수스펙트럼 (Frequency spectrum) 신호의주파수성분을그림으로표현 크기스펙트럼 (Magnitude spectrum) Plot of magnitude against frequency Fast Fourier Transform (FFT) 2009-06- 04 12

음압레벨 (SPL) A sin( 2πf 0t) Tone Signal magnitude A/ 2 frequency( f ) f 0 2009-06- 04 13

사람의청각특성 소리를느끼는과정은소리진동을 주파수로분해하여인식 여러가지말이섞여도인식 ( 칵테일파티효과 ) 2 개의귀사용 (Binaural) 소리의세기차혹은시간차로방향및거리인지 도플러효과 : 소리의발생원이움직일때주파수가달라지는현상 ; 예 ) 기차가다가오면서울리는경적소리주파수가높아지며, 멀어지는것은주파수가낮아짐 2009-06- 04 Digital Signal Processing 14

마스킹 (Masking) 효과 시간 (Temporal) & 주파수 (Frequency) 시간마스킹아주큰소리앞뒤의작은소리는사람이인지할수없음 주파수마스킹큰값의주파수성분음주변작은소리의주파수음은인지하지못함 오디오압축의근본원리 2009-06- 04 Digital Signal Processing 15

Bit rate ( 비트, 데이터레이트 ) 신호 ADC 후초당처리해야할 bit 수 Bit rate = fs (sample/sec) X N (bits/sample) sampling frequency fs >= 2B, 단, B= max frequency. 음성 N=8bit, 음악 N=16bit 2009-06- 04 16

위상 (Phase) 파형의시간차 좌우의귀에들어오는파형은같지만위상의차가있다. 위상차로인하여소리의방향을감지할수있다. 2009-06- 04 17

음성신호 Bit rate f s =4Khz X 2 = 8Khz, 8bit/sample Bit rate R = 8000 X 8 = 64Kbps 음악신호 Bit rate (CD-DA) f s =22.05Khz X 2 = 44.1Khz, 16bit/sample MONO, Bit rate R = 44100 X 16 = 705Kbps Stereo R = 7.05 Kbps X 2 =1.41Mbps 2009-06- 04 18

디지털사운드로의변환 파동 (wave) 은원래아날로그형태 컴퓨터에서처리하기위해서는디지털형태로변환되어야함 표본화 (Sampling), 양자화 (Quantizing), 부호화 (Coding) 과정을거치게됨 ADC(Analog-to-Digital Converter) DAC(Digital-to-Analog Converter) 아날로그신호와디지털신호간의변환과정 19

표본화 (Sampling) 아날로그파형을디지털형태로변환하기위해표본을취함 표본화율 (Sampling Rate) : 1 초동안에취한표본수 ( 디지털화하는횟 수 ) 를말하며, 단위는주파수와같은 Hz 를사용 (a) 아날로그파형 b) 표본화된파형아날로그사운드의표본화 20

표본화 표본화율이높을수록원음에가까운음으로디지털화되지만데이터양이증가 표본화율의차이 21

표본화 (Sampling) 주파수에서의 Hz는 1초에주기가몇번있는가를의미 표본화에서의 Hz는 1초에몇번표본화되는가를의미 나이키스트정리 (Nyquist theorem) 표본화시원음을그대로반영하기위해서는원음이가지는최고주파수의 2배이상으로표본화해야한다. 음악 CD인경우표본화율이 44.1KHz이고여기서재생할수있는최고주파수는 22.05KHz임 ( 사람의귀는 20KHz 이상의사운드는감지할수없음 ) 22

양자화 (Quantization) 디지털형태로표현할정밀도 즉표본화된각점에서값을표현하기위해사용되는비트수 음의해상도 : 값을표현하는정밀도 (Sampling Resolution, Sampling Size) 8 bit로양자화를하면값을 256(2 8 ) 단계로표현할수있지만, 16bit로양자화를하면좀더세밀한 65536(2 16 ) 단계로값을표현할수있음 23

양자화 (a) 2 bit (4 단계 ) (b) 3 bit (8 단계 ) (c) 4 bit (16 단계 ) 아날로그파형의양자화 음악 CD 인경우는 16bit 로값을표현 음을 65,536 단계로표현하고있다. 24

양자화 양자화과정에사용되는비트수는 S/N(Signal to Noise) 비 : 신호대잡음의비율 Dynamic Range: 진폭의최고점과최저점사이의범위를고려하여결정 (a) 원래의파형 (b) 낮은표본화와양자화 (c) 높은표본화와양자화표본화및양자화정도에따른비교 25

부호화 표본화와양자화를거친디지털파형를저장하는과정 부호화과정에서압축이가능함. PCM, DPCM, ADPCM 26

PCM(Pulse Code Modulation) 샘플링후양자화시킨값을그대로저장. CD 나 DAT(Digital Audio Tape) 등 27

DPCM (Differential Pulse Code Modulation) 바로앞신호와의차이를저장 차이를고정된비트수로나타냄. 양자화잡음 : 차이가커서지정된비트수의범위를넘을때표현할수없을때발생하는잡음. 28

ADPCM (Adaptive Differential Pulse Code Modulation) DPCM에서인접한값과의 차이가크면진폭을나누는단계를크게하고, 차이가작으면진폭을나누는단계를작게하여가변적으로차이를정밀하게저장 4:1 까지압축이가능 국제멀티미디어협회 (IMA) 에서기본적인알고리즘을정의하였으나, 업체마다다르게구현하여상호호환성이없음 29

디지털사운드의품질 표본화, 양자화및모드에따른음질의비교 30

디지털사운드파일의크기 파일의크기 파일의크기 = 표본화율 x 해상도 x 모드 (mono=1, stereo=2) x 시간 ( 초 ) 1분길이의음악 CD의경우 = 44100 (Hz) x 16 (bit) x 2 (stereo) x 60 ( 초 ) = 84,672,000 bit = 10,584,000 byte = 10.6 MB CD 한장의용량이 650MB이므로그안에는약 10곡에서 15곡의음악이저장가능 31

고품질사운드의획득 사운드의사용목적을고려하여표본화율과해상도를결정 1. 아날로그신호가들어오면먼저표본화율 (Sampling Rate) 보다높은고주파성분을제거 전처리필터 (Prefilter: Low-pass filter) 를통하여표본화율의 1/2보다높은고주파성분을제거 2. ADC(Analog-Digital-Converter) 에의해표본화, 양자화과정을거쳐디지털신호로변환, 부호화 3. 부호화된디지털 (bit stream) 정보를 DSP(Digital Signal Processor) 에서원하는목적에맞게편집, 가공, 저장 32

고품질사운드의획득 5. 출력시에 DAC(Digital-Analog-Converter) 를거쳐서아날로그파형으로변환. 이때가청주파수보다높은고주파성분발생 6. 고주파성분을제거시키기위해후처리필터 (Postfilter: Lowpass filter) 를통과시켜최종적인아날로그신호로변환 아날로그파형의디지털과정 33

사운드하드웨어 사운드카드의기본적인기능은 ADC, DAC 이외에음원칩, DSP(Digital Signal Processing) 등이추가 데이터의가공, 편집등의향상된기능을제공 사운드카드의개략도 34

사운드카드 PC에서최초의사운드카드는 1987년캐나다의 Adlib사에서제작한 Adlib이라는사운드카드임 일본의 Yamaha사의 YM-3812 칩을사용하여 11중화음의연주가가능 FM 음원을사용하여음이자연스럽지못하고음성처리불가능 ( 여러개의사인파를변형, 합성하여소리생성 ) Creative사에서 SoundBlaster카드발표 PCM 방식의사운드카드 실질적인사운드카드의표준 PCM 음원사용 35

사운드카드의향상된기능 16 bit사운드카드로발전 향상된음원칩내장데이터전송방법의발달 (ISA => PCI) 디지털입출력단자 (S/PDIF) 의제공 인터넷상에서음성통신을하기위해양방향 (full-duplex) 기능을지원 3차원입체음향, Dolby-Surround 음원칩을내장하고있어서 MIDI 지원가능 36

파형의 digital 표현 Pulse Code Modulation(PCM) Sampling 된파형의높이를수치로표현 Differential Pulse Code Modulation (DPCM) 이전 sample 값현재 sample 값과의차이로서신호를표현 Adaptive Differential Pulse Code Modulation DPCM 방식, 단 step size 가가변임.

Sound File Format coding (data compression) algorithm 에따라다름. 저장및전송용 재생이나편집할때는다시 PCM 형태로변형하여야함. 2009-06- 04 38

WAVE Microsoft windows OS standard format Most popular,.wav Header + PCM data Header sampling rate, quantization bit 채널개수, 파일길이, 코딩방식등 AIFF Audio Interchange File Format Apple, Macintosh.aif,.aiff 2009-06- 04 39

MP3 MP3 = MPEG-1 Layer-3 10 ~ 12 정도의압축율 AU Sunmicro system, mu-law 압축 OGG Vorbis MIT 졸업생들이만든포맷, Free VBR (Variable Bit Rate) 지원 MP3 의약 40% 용량으로비슷한수준음질 2009-06- 04 40

WMA Windows Media Audio, Microsoft 주로 streaming 서비스, 저작권보호 RA Real Audio, streaming audio 음질이나쁘고, 연산량이많음 Monkey s Audio 무손실 (lossless) 압축, 3~4 압축률 최근많이사용 그외 AAC, AMR, MIDI,. 2009-06- 04 41

MIDI: Musical Instrument Digital Interface 1983 년세계전자악기제조업체들이모여설정한디지털악기간의통신규약 서로다른회사의악기들을연결하여연주할수있도록한인터페이스표준 MIDI 인터페이스의두측면 하드웨어연결 : MIDI 장치들사이의연결 (MIDI cable 등 ) 데이터포맷 : 음악연주정보의부호화, MIDI 메시지 MID : MIDI 파일의대표적인포맷, 연주정보를저장 Game, ring-tone, 가라오케등에사용함. 장단점 장점 : 사이즈가작다. 단점 : 같은데이터임에도불구하고다르게플레이될수있다. MIDI 장비의특성에따라 42

MIDI 장비 미디소프트웨어 Cakewalk( 미디소프트웨어 ), 편집, 연주등. 미디인터페이스 컴퓨터와미디악기간의연결, Roland사 MPU-401 제품이표준, 게임포트, USB, IEEE 1394 이용 Cakewalk MIDI interface <==> USB 43

MIDI 장비 Synthesizer: 여러가지악기의음을합성 ( 생성 ), 대표음만을내장 Master Keyboard: 미디입력용건반, 미디신호를출력, Synthesizer 를내장한제품도있음. Sequencer: 미디자료생성, 편집하는프로그램 (cakework, soundforge), midi 명령어를발생, 다른 MIDI 장비에전송. Sampler: 음원으로서모든악기의음을내장함 44

MIDI 장비 Mixer: 여러개의오디오출력을혼합 MIDI Interface Card : 컴퓨터와 midi module 간의 interfacing, 시퀀서의출력을 midi 명령으로번역함. 드럼머신, 드럼모듈 : 드럼소리의음원모듈 디지털멀티이펙터 : Synthesizer 의음색을가공 / 처리하여출력 미디케이블 (5 핀, 동축케이블 ), 스피커와앰프, 멀티트랙테이프레코더 45

MIDI 장비 음원모듈 신디사이저 마스터키보드 46

A Simple MIDI System MIDI System 2009-06-04 Multimedia 47

MIDI 규약 (MIDI 1.0) 네트워크상에전송되는메시지전송방법과메시지의의미를규정 MIDI 메시지 : MIDI 장치들에게음악연주에관한정보를전달 여러개의 data unit 으로구성 data unit : 10 bit 로구성됨. 동기화를위한 start, stop bit(2bit) 및실제데이터 (8bit) data unit 가 31.25 kbaud 의속도로 midi network 에시리얼통신방식으로 broadcasting 된다. Staus Byte, Data Byte, Status Byte : 1 개의 data unit, Channel 번호 (4bit) 와명령어 (4 bit) Data Byte : 0 또는그이상의 data unit 으로구성, 명령어의 parameter. 각장치는 broadcast 되는 MIDI 메세지를받아장치에할당된 Channel 번호에해당되면그메시지에따라 Action 함. 48

MIDI ㅡ Messages Channel Voice Messages 음악정보 : 예 ) Note On, Note Off, Polyphonic Key Pressure, Channel Pressure, Pitch Bend Change 등. System Messages 2009-06-04 Multimedia 49