2013 HD 영상압축실습 제 7 장 MPEG-2 HDTV 관련압축표준 인덕대학교방송영상미디어 MPEG-2 란? MPEG-1 의 1.5Mbps 의제한을극복하기위해 MPEG-2 착수 MPEG-2: 5-10Mbps MPEG-3: HDTV(High Definition Television) MPEG-2 로통합 미국차세대 TV(ATV) 에 MPEG-2 채용 유럽의디지털 TV 표준인 DVB(Digital Video Broadcasting) 에 MPEG-2 채용 MPEG-2 의특징 1. 저장미디어뿐만아니라통신, 방송미디어에의적용고려 2. 현행 TV 품질이상의고품질영상을대상으로하며, HDTV 품질까지확장가능 3. MPEG-1, H.261 과달리, 순차주사와비월주사영상취급 4. Scalability 를가짐 5. MPEG-2 복호기는 MPEG-1 비트열도복호할수있는하방호환성 2 1
MPEG-2 의기본적인세가지개념 1. 상호운용성 (Interoperability) 미디어간정보교환성 : 통신, 방송, 저장미디어상호작용 다른플랫폼간정보교환성 : 다른기종컴퓨터간상호작용 2. 스케일러빌리티 (Scalability: 分解能可變性 ) 부호화비트열에서일부만취해낮은품질로복호가능 예제 : HDTV 데이터에서일부만취해일반 TV 품질로복호가능 3. 확장성 (Extensibility) 임의의정해진비트율로전송되는비트열에대해부가분만의정보량추가가능 예제 : 5Mbps 의일반 TV 품질비트열에 10Mbps 분을더하여 15Mbps 급 HDTV 품질전송가능 3 MPEG-2 를핵심으로한미디어통합부호화의개념 DSM( 저장 ) 광디스크, VTR 방송통신 핵심 (CORE) H.262/MPEG-2 JPEG( 포함 ) 공통기능 : 통신계, 방송계, 저장계 (CORE) 분야에적용가능특수기능 : 외부기능으로서매체혹은고위계층에준비하는것을상정한다. 통합화되지않음 JBIG MH&MMR 가역부호화차분계층화 하방호환성 H.261 MPEG-1 스케일러빌리티 손실대책 지연대책 오류대책 4 2
MPEG-2 비디오에대한요구조건 영상포맷 항목요구조건 ITU-R 권고 601, 4:2:0, 4:2:2, 4:4:4, EDTV(Extended Definition Television), HDTV, 순차주사컴퓨터포맷 ( 정방화소 ) 등의여러가지포맷에대응할수있을것 영상품질 4Mbps 부근에서는가정에서보는통상의 TV 화질정도 (PAL/SECAM/NTSC 의화질레벨상당 ) 10Mbps 부근에서는스튜디오에있어서의통상의 TV 화질정도 (ITU-R 권고 601 의화질레벨상당 ) 30Mbps 부근에서는 HDTV 의방송품질정도 70Mbps 부근에서는 HDTV 의스튜디오품질정도 부호화비트율의유연성 부호화. 복호지연 랜덤액세스채널호핑 CBR(Constant Bit Rate), VBR(Variable Bit Rate) 쌍방을지원 영상전화등, 지연이문제되는응용에서도 150mS 이하를실현 랜덤액세스는 0.5 초이하채널호핑 (TV 채널의절환등 ) 은 0.3 1 초정도 비트열스케일러빌리티비트열전부를복호하는경우에비해그일부만을복호함으로써상이한공간해상도. 시간해상도. SNR(Signal to Noise Ratio: 신호대잡음비 ) 이얻어질수있어야한다 복잡도의유연성부호기. 복호기의복잡도의균형을응용에따라적절히선택할수있다. 예를들어방송에서는부호기는복잡해도좋으나복호기는간단한것이바람직하다. 호환성 비트열의편집기능 트릭모드 부화화. 복호의반복 오류내성 MPEG-1, H.261 과호환될것 MPEG-1 과같은 GOP(Group of Picture) 단위로편집을실현 빨리감기, 되감기, 느린재생등아날로그 VTR 에서실현되고있는기능의실현 편집이나프로그램분배를위해부호화. 복호를반복하더라도영상품질이거의열화되지않을것 비트오류나 ATM(Asynchronous Transfer Mode: 비동기전송모드 ) 망에있어서의셀손실에내성을가질것 비디오윈도우 :9 의영상을 4:3 의화면에표시할때일부분만을표시할수있을것 5 MPEG-1 과의차이점 영상포맷 MPEG 1 : 순차주사만취급, 색차포맷 4:2:0 뿐 MPEG 2 : 순차주사, 비월주사영상취급, 4:2:0, 4:2:2, 4:4:4 취급 영상품질 고품질영상용부호화툴사용 부호화비트율유연성 CBR( 고정비트율 ), VBR( 가변비트율 ) 지원 6 3
MPEG-1 과의차이점 부호화, 복호지연 I, P, B 픽쳐제공 MPEG1 : 프레임구조만제공 MPEG2 : 원영상이비월주사인경우프레임부호화단위로하는프레임구조 + 필드를부호화단위로하는필드구조제공 랜덤액세스, 채널호핑 GOP 구조가질수있음 GOP 구조활용 : 랜덤액세스와채널호핑 ( 방송이용시채널바꾼후화면에정상으로표시되기까지의시간간격 ) 필요시간절약가능 7 MPEG-1 과의차이점 비트열스케일러빌리티 스케일러빌리티 : 하나의비트열에서다른 2 종류이상의영상을복호할수있음을가리키는말. 공간, 시간, SNR 스케일러빌리티 단독또는조합으로사용 유연성 프로파일과레벨개념도입 응용에적당한클래스찾아부호기와복호기유연하게선택가능 8 4
MPEG-1 과의차이점 호환성 MPEG2 의신텍스 ( 부호화비트열규칙 ) 는 MPEG1 의신텍스완전히포함 MPEG1 : 하방호환성, 공간스케일러빌리티사용하여 MPEG1 과 MPEG2 비트열혼재하여전송 H.261 : 동시전송방식으로호환유지 비트열편집 GOP 단위로영상편집가능 트릭모드 MPEG1 : 빨리감기, 느린재생등가능 MPEG2 : 강력한툴제공 9 MPEG-1 과의차이점 부호화, 복호의반복 고품질영상부호화위한툴제공 부호화, 복호반복하여도열화현상거의없음 오류내성 오류은닉방법제공 비디오윈도우 여러가지영상포맷대응가능 :9 영상일부를 4:3 장치에표시하기위한윈도우정보함께보냄 일부분만표시가능 10 5
평균 ( 필드구조가있음 ) 2013-12-09 프레임 VS 필드구조 순차주사, 비월주사방식 순차주사 : 한프레임의영상은모두같은시간에샘플링된것으로이루어짐 비월주사 : 한프레임영상이다른시간샘플링된것으로모여이루어짐. 한프레임영상 = 2 장의필드영상으로구성 MPEG 는픽처단위로영상취급 MPEG2 는픽처에프레임 or 필드할당 픽처구성 프레임구조 : MPEG1 과동일 필드구조 : 최초부호화필드가 I 필드일경우, 동일프레임의또다른필드는 I, P 필드어느쪽이건가능. 그밖의경우 2 개픽처는동일한픽처타입요구됨 11 MPEG-2 의기본구조 부호화제어 프레임 / 필드구조에있어서 I, P, B 픽처의매크로블록타입 양자화특성지정정보 비디오입력 DCT 양자화 양자화변환계수 ( 필드 DCT 있음 ) 역양자화 역 DCT ( 필드역 DCT 있음 ) 쌍방향움직임보상용영상메모리 예측메모리 1 평균 : 내삽적예측에사용 예측메모리 2 움직임벡터 양자화특성지정정보 (a) 부호기 ( 필드역 DCT 있음 ) 양자화변환계수 역양자화 역 DCT 프레임 / 필드구조에있어서 I, P, B 픽처의매크로블록타입 B I,P I,P 비디오출력 예측메모리 1 평균 ( 필드구조가있음 ) 예측메모리 2 (b) 복호기 12 6
프레임구조의경우쌍방향예측방법 13 필드화면순서 1 2 3 4 5 6 6 제5화면 4 제3화면제1화면 2 홀수 ( 기수 ) 라인화면군짝수 ( 우수 ) 라인화면군 14 7
압축순서및방법 3: 제 1, 제 2 화면으로부터제 5 화면과의 P( 순방향차분 ) 압축 4: 제 2, 제 5 화면으로부터제 6 화면의 P 압축 1: 제 1 화면 I(intra) 압축 2: 제 1 화면과제 2 화면의 P( 순방향차분 ) 압축 홀수 ( 기수 ) 라인화면군 짝수 ( 우수 ) 라인화면군 15 압축순서및방법 5: 제 1, 제 2, 제 5, 제 6 화면과제 3 화면간의 B( 양방향예측 ) 압축 홀수 ( 기수 ) 라인화면군 짝수 ( 우수 ) 라인화면군 8
압축순서및방법 5: 제 1, 제 2, 제 5, 제 6 화면과제 3 화면간의 B( 양방향예측 ) 압축 6: 제 1, 제 2, 제 5, 제 6 화면과제 4 화면간의 B 압축 홀수 ( 기수 ) 라인화면군 짝수 ( 우수 ) 라인화면군 17 프레임구조의경우예측모드 -1 18 9
프레임구조의경우예측모드 -2 19 필드구조의경우예측모드 -1 기수라인, 우수라인합성 움직임벡터 (MV 1) 8 움직임벡터 (MV 1만혹은 MV 2만 ) 매크로블록 움직임벡터 (MV 2) 8 매크로블록 (a) 필드구조의경우필드예측 (b) X 8 필드구조의경우필드예측 20 10
필드구조의경우예측모드 -2 필드예측과듀얼프라임예측이기본이되는움직임벡터 MV 1, MV 2 기수라인, 우수라인합성 움직임벡터 (MV 1) 매크로블록 움직임벡터 (MV 2) (c) 듀얼프라임예측 21 프레임 DCT 와필드 DCT MPEG-2 에서는프레임 DCT 와필드 DCT 가사용된다. 특히색차의경우 4:2:0 은항상프레임모드로 DCT. 4:2:2 혹은 4:4:4 의경우프레임모드와필드모드절체가능 1 2 1 2 3 4 3 4 좌측반 우측반 22 11
DCT 스캔방식 기존의지그재그스캔 새로운대체스캔 23 양자화스케일타입차이점 24 12
양자화매트릭스 휘도. 색차포맷 휘도인트라용 휘도인터용 색차인트라용 색차인터용 4 : 2 : 0 지정가 지정가 휘도인트라용을사용 휘도인트라용을사용 4 : 2 : 2 지정가 지정가 지정가 지정가 4 : 4 : 4 지정가 지정가 지정가 지정가 8 19 22 26 27 29 34 22 24 27 29 34 37 19 22 26 27 29 34 34 38 22 22 26 27 29 34 37 40 22 26 27 29 32 25 40 48 26 27 29 32 35 40 48 58 26 27 29 34 38 46 56 69 27 29 35 38 46 56 69 83 인트라용양자화테이블 17 18 19 20 21 22 23 17 18 19 20 21 22 23 24 18 19 20 21 22 23 24 25 19 20 21 22 23 24 25 26 20 21 22 23 25 26 27 28 21 22 23 24 26 27 28 30 22 23 24 26 27 28 30 31 23 24 25 27 28 30 31 33 비인트라용양자화테이블 25 스케일러빌리티 (Scalability) 1. 공간스케일러빌리티 : 공간해상도가변성 2. 시간스케일러빌리티 : 시간해상도가변성 3.SNR 스케일러빌리티 : 신호대잡음비가변성 26 13
Spatial Scalability 기본계층 (Base Layer) : 일반적인 MPEG-2 부호화방법으로부호화 I 와 P 픽처만사용하는경우 고위계층 (Enhancement Layer) : 기본계층의영상을업샘플링하여구성 업샘플링 (Up Sampling) : 저해상도화면의화소로부터보간을통해고해상도화면을만들어냄 업샘플링 + 고위계층간예측사용 Simulcast( 동시방송 ) : 두가지영상시퀀스를따로따로보내는방식 스케일러빌리티는동시방송에비해훨씬효율적이다 27 Temporal Scalability 시간해상도 : 1 초당프레임주파수가다른것을동시에보낼수있다. 30 frames/sec, 60 frames/sec 28 14
SNR Scalability SNR : Signal to Noise Ratio 신호대잡음비 SNR 크면압축률낮고화질좋음 원화면복원화면 -원화면 원화면 = 잡음 화질이다른두영상을동시에보내기위해 SNR Scalability 사용하는것이바람직 고위계층 : 고화질 기본계층 : 저화질 고위계층은기본계층과의오차분만으로표현하며오차분을세밀한양자화스텝으로부호화함 점진적열화 (Graceful Degradation): 전송장애시고화질만손실되므로화면전체가안나오는사태를막을수있다. 즉기본계층만은나올수있음 SNR Scalability 사용하면 4:2:0, 4:2:2 를동시방송가능 29 오류내성강화 주요타겟은 ATM 망에서사용할경우셀의손실에대한대비 오류은닉 (Error Concealment) 기법 : 인트라매크로블록에움직임벡터를부가함 è 보통때는인트라매크로블록의움직임벡터는사용하지않다가화면이손실되면사용 è 잃어버린매크로블록에대해주위매크로블록의움직임정보로부터움직임을추측해서참조화면에서화소를복사해오면오류를상당부분은닉할수있음 è 주변매크로블록이모두인트라매크로블록이면움직임을추정할수없기때문에오류은닉기법사용하면오류은닉가능 30 15
프로파일과레벨 복호기의특성을프로파일과레벨개념도입하여나눔 프로파일 : 기능의분류 ( 신택스의차이 ) 레벨 : 양의차이 ( 영상크기등 ) 규정 31 프로파일 Simple Main SNR Spatial High High * 전송속도 (Mbps) 80 100 화소수 / 라인 1920 1920 라인수 / 프레임 1152 1152 프레임 / 초 60 60 High-1440 * 전송속도 (Mbps) 60 60 80 화소수 / 라인 1440 1440 1440 라인수 / 프레임 1152 1152 1152 프레임 / 초 60 60 60 Main 전송속도 (Mbps) 15 15 15 화소수 / 라인 720 720 720 라인수 / 프레임 576 576 576 프레임 / 초 30 30 30 Low 전송속도 (Mbps) 4 4 화소수 / 라인 352 352 라인수 / 프레임 288 288 프레임 / 초 30 30 4 : 2 : 0 4 : 2 : 0 4 : 2 : 0 4 : 2 : 0 4 : 2 : 0 과 4 : 2 : 2 B 픽처없음스케일러빌리티없음 스케일러빌리티없음 SNR 스케일러빌리티 공간스케일러빌리티 SNR 스케일러빌리티 공간스케일러빌리티 SNR 스케일러빌리티 32
복호기 HP HL HP H-14 HP ML Spatial H-14 SNR ML SNR LL MP HL MP H-14 MP ML MP LL SP ML HP HL HP H-14 HP ML Spatial H-14 SNR ML SNR LL MP HL MP H-14 MP ML MP LL SP ML 도표중 은복호기가그비트열을복호할수있어야함을의미한다. 33 MPEG-2 의데이터구조 MPEG-1 과같이시퀀스층으로부터블럭층까지 6 개계층구조 GOP 층없어도무방함 슬라이스층은행간걸치는것이금지되어있음 34 17
MPEG-2 의구조 35 18