제 9 장국제동영상압 축표준기법 2007. 11. Hanbat National University Prof. Jin-soo KIM -1-
Content 국제동영상압축표준및영상통신시스템 H.261 MPEG-1 Video MPEG-2 Video H.263 MPEG-4 Visual H.264-2-
국제동영상압축표준 압축표준표준화내용표준연도 ITU-T Rec. H.261 MPEG-1 Video (ISO/IEC 11172-2) ISDN (px64kbps, p=1,,31) 영상전화, 영상회의를위한동영상압축표준 1.5Mbps 급의디지털저장미디어 ( 예, CD-ROM) 용도의동영상압축부호화기법 1990 1992 MPEG-2 Video (ISO/IEC 13818-2) (ITU-T Rec. H.262) ITU-T Rec. H.263 MPEG-4 Video (ISO/IEC 14496-2) ITU-T Rec. H.264 (ISO/IEC 14496-10) 고품질동영상압축기법이며, ISO/IEC 의표준화작업에 ITU- T 가참여하여만든공동표준. DTV/HDTV 방송, DVD 등에활용중임. 1.5Mbps ~ 50Mbps 급의고화질제공 공중전화망을위한저전송률 (20kbps ~ 2Mbps) 의영상전화, 영상회의를위한동영상압축부호화기법 멀티미디어스트리밍을포함한범용의동영상압축부호화기법. 약 10kbps ~ 50Mbps 급에응용가능함 범용의고효율압축부호화기법. MPEG-4 Part 10 (AVC) 이라고함. 약 10kbps ~ 240Mbps. ITU-T 표준화작업에 ISO/IEC 가참여하여만든공동표준 1995 1996 1999 2003-3-
영상통신 / 저장시스템의개요 영상정보원 A/D 변환 압축부호화기 채널부호화기 변조기 Transport Layer/ Network Layer/ Data Link Layer 전송채널 / 저장매체 영상정보소비자 D/A 변환 압축복호화기 채널복호화기 복조기 -4-
H.261-5-
H.261 표준의요약 특징 전화선채널 p x 64kbps, p=1,, 30 의통신용동영상압축표준 부호화지연이작은표준 I, P, P, P, 와같은부호화구조 NTSC, PAL, SECAM 등의기존아날로그 TV 표준에공통인영상형식 CIF (Common Interchange Format) 형식을만듬 QCIF(176 x 144) 4:2:0 형식 ( 강제조건 ), CIF(352 x 288) 4:2:0 형식 (optional) 필드영상은지원하지않고, 프레임영상만지원가능함 통신용표준이므로, 오류전파차단을위한주기적인화면내부호화모드의삽입이중요함 -6-
화면내 (Intra) 부호화방식 ( 예 ) 8 8 Y(16x16) DCT 양자화 VLC Cb (8x8) Cr (8x8) -7-
움직임보상을통한복원예 11 16 10 13 12 15 19 14 10 11 22 26 14 12 20 12 10 17 10 15 10 15 18 17 = + 9 15 21 25 12 13 22 12 움직임보상 (MC) 1-1 0-2 2 0 1 0 1 0 1 1 2-1 -2 0 예측오차 - 움직임벡터전송으로복구 - 대부분의표준 16 x 16 크기 - 매우낮은에너지를가짐 - DCT 를통하여압축후 VLC -8-
화면간 (Inter) 부호화방식 ( 예 ) 11 16 14 16 10 17 13 15 3 1-2 -2 Y(16x16) 15 14 15 19 16 13 12 15 = 19 17 12 18 13 15 11 17 + -2-1 0-2 1-4 0-3 Cb (8x8) Cr (8x8) 14 19 13 17 13 16 16 14-1 1-4 2 MV 로전송 예측오차신호 예측오차신호 DCT 양자화 VLC MV 정보 DPCM VLC -9-
부호화화면의구성 -10-
H.261 표준에대한질문 (1) I, P, P, P, 구조에대한부호화지연은얼마인가? ( 프레임율 = 1/30sec 라고가정 ) 1 시간영상통화분량중에가운데 20 분가량을편집하여사용할수있는가? ( 통신중간에임의접근하여, 영상을볼수있는가?) I, P, P, P, I, P, P, P, P, I, P, P, I 등과같이임의의압축부호화프레임구성을할수있는가? I, P, P, P, 구조가 I, P, P, I, P, P, I, 와같이 I- 프레임을주기적으로넣는시스템보다압축효율이항상우수한가? 그렇다면, I- 프레임삽입주기는어떤요소에근거하여결정해야할까? -11-
H.261 부호화기의구조 버퍼의크기가어떤영향을미칠까? 극단적으로매우작은경우와매우큰경우를비교하여설명하면? -12-
H.261 부호화계층구조도 CIF는 12개의 GOB구성 1개의 GOB는 33개의매크로블록구성 1개의매크로블록은 6개의블록구성 1개의블록은 8x8 화소블록 I-프레임부호화 : 모든블록을 JPEG-like부호화 ( 화면내부호화 ) P-프레임부호화 : 매크로블록단위로부호화모드결정 화면내또는화면간부호화 I-프레임은오류전파, 임의접근, 부호화효율특성을고려하여넣거나, 또는화면내매크로블록또는화면내매크로블록그룹으로주기적으로부호화함 -13-
H.261 표준에대한질문 (2) 이론적으로최적인부호화모드를결정하는방법은무엇인가? P- 프레임내의매크로블록부호화모드결정시에 MC/No MC 와 Intra/Inter 모드결정중에어느것을먼저하는가? 화면내부호화모드의강제적인삽입에따라어떤트래픽발생이예측되는가? 루프필터를쓰는이유는무엇인가? 루프필터를쓰면나쁜점은무엇인가? -14-
MC/No MC 부호화모드결정 FD 와 MCFD 가모두작은구간 ( 예, abs(fd)/256 < 1) 에서왜 FD 로할까? 0.5 < abs(mcfd)/256 < 1.5 에서는왜기울기가 1 보다작은가즉왜 FD 로선택 하도록하는가? -15-
화면내 / 화면간부호화모드결정 분산으로비교하는근거는무엇인가? Intra 와 inter 모두의분산이작은구간 ( 예, < 64) 에서는왜 inter 로할까? -16-
Loop Filter 1 3 1 2 3 4 4 2 5 6 7 8 5 7 8 6 9 10 11 12 9 10 11 12 13 14 15 16 13 14 15 16 S t-1 S t 움직임보상및예측오차부호화에따라블록간의경계에서고주파성분들이계속적으로전파됨 부호화효율저하를막기위해, 고주파신호를제거할필요가있음 저역통과필터는 (0.25, 0.5, 0.25) 의계수를가지는 1 차원필터를분리형으로수평과수직방향으로적용한다. 단, 블록의경계부근에서는 (0, 1, 0) 의계수를사용하며, 항상루프필터의출력값은정수값이되도록제어한다 -17-
매크로블록의부호화형태 -18-
MPEG-1-19-
MPEG-1 표준의요약 특징 ISO/IEC 산하의 Moving Picture Experts Group 표준 기존의아날로그 VCR, VTR 을대체한디지털저장매체 ( 예, CD, DAT) 에저장하기위한동영상압축표준 통신응용이아닌저장매체이므로부호화지연이크게설정가능한표준 I- 프레임, P- 프레임외에도 B(Bi-directional) 프레임을지원하여더욱압축효율을높일수있음 필드영상은지원하지않고, 프레임영상만지원가능함 임의접근, 고속재생, 일시정지, 역방향재생등과같은기존의 VTR 제어동작이구현이용이한구조 -20-
MPEG-1 표준부호화기법의기본요건 -21-
입력영상과부호화순서 -22-
화면의종류와구성 SIF는 360 x 240 (30Hz), 360 x 288(25Hz) 형식지원, I-frame, P-frame, B-frame 지원 고속탐색용의 D-frame 지원 4:2:0 형식만지원함 -23-
MPEG-1 표준에대한질문 (1) MPEG-1 에서루프필터가필요하지않은이유는? GOP 구조에서임의접근은카메라캡쳐된그룹으로설정되는가? 아니면, 압축된그룹으로설정되는가? I, B, B, P, 구조 (N=12, M=3) 에대한부호화지연은얼마인가? ( 프레임율 = 1/30sec 라고가정 ) 아래예에서가장좋은부호화효율을가진방식은? -24-
입력영상과부호화순서 GOP 는편집및임의접근단위제공 각화면의헤더에는압축된프레임형태를표시함 슬라이스는채널오류에따른동기화제공 (slice_start_code) 슬라이스내의매크로블록간에는차이값을부호화함 -25-
H.261 과 MPEG-1 의비교 -26-
MPEG-1 의 4:2:0 형식 -27-
MPEG-1 의양자화행렬 -28-
MPEG-1 의 Telescopic Search Telescopic search 가무엇인가? 왜 MPEG-1 에서는 Telescopic search 를사용하는가? 표준인가? -29-
MPEG-1 의 ½ 화소탐색 -30-
MPEG-1 의 B- 화면움직임탐색 B- 화면에서는가중치예측을통하여움직임예측성분을추가적으로반영함 -31-
MPEG-2-32-
MPEG-2 표준의요약 특징 ISO/IEC 산하의 Moving Picture Experts Group 표준 고화질저장매체 (DVD), DTV/HDTV용도의방송용, 고화질디지털통신용도의동영상압축부호화방식 MPEG-1을수용하는형태이며호환됨 비월주사 / 순차주사등을포함 해상도는 360 x 240 30Hz에서 1920 x 1250 60Hz까지다양한고화질의서비스를제공함 4:2:0, 4:2:2, 4:4:4형식을지원함 확장성 (scalability) 과호환성 (compatibility) 을지원함 -33-
MPEG-2 표준의요약 특징 확장성 (scalability): 전송되는비트스트림의일부만을취하여, 영상의시간적해상도또는공간적해상도또는품질이다른영상서비스를추출할수있는기능 Temporal scalability Spatial scalability SNR scalability Data Partitioning 호환성 (compatibility): MPEG-2는 MPEG-1과순방향또는역방향호환성을제공함 MPEG-1과호환이가능한비확장성구조 (non-scalable syntax) 를제공하고, 계층적부호화가가능한확장성구조 (scalable syntax) 를제공함 -34-
MPEG-2 과 MPEG-1 의호환성 -35-
MPEG-1 과 MPEG-2 의특징비교 -36-
MPEG-2 의프로파일과레벨 -37-
MPEG-2 부호화기의개념적구조도 -38-
MPEG-2 의양자화정규화행렬 -39-
MPEG-2 의선택적인스캔방식 -40-