디지털영상처리20_동영상압축II

Size: px

Start display at page:

Download "디지털영상처리20_동영상압축II"

정난 황보
5 years ago
Views:

1 디지털영상처리 동영상압축표준의이해 (II)

2 수업목표및내용 q H.263, MPEG-1,2,4 의특징을이해한다. q MPEG 시스템에대하여이해한다. 2/22

3 7.4 H.263 압축표준 H.263 표준개요 64 Kbps 이하의저전송률영상통신을위한영상부호화표준으로제시 전화선을이용하는영상통신의기준인 H.324의영상쪽부분으로서낮은비트율통신을위해영상부호화를위해개발됨 현재는저전송률뿐만아니라, 폭넓은전송률에도적용됨 H.261 과 MPEG 부호화방식과도경쟁가능한기법으로인정됨 H.261 기법을기반으로하고있으나, 여러개선된방법을사용함으로써 H.261보다향상된성능을가짐 H.263의한계는이영상부호화가 H.261을기초로한다는것임 3/22

4 7.4 H.263 압축표준 H.261에서는화소단위 (pixe) 의정밀도에비해 H.263은반화소 (sub-pixe) 단위의정밀도를갖는움직임예측및보상을수행 H.261의비트열구조의일부분이선택사항이됨으로써저전송률또는향상된오류복원이가능 H.263 의 GOB 는항상픽쳐의왼쪽끝에서시작하여오른쪽끝에서끝난다. 4/22

5 7.4 H.263 압축표준 모션벡터는선행하는세개의매크로블록의모션벡터를 기반으로예측하여차이값을코딩 du=u-media (u1, u2, u3), dv=v-media (v1, v2, v3) 반픽셀정밀도의움직임예측 H.261: [-15, 15] H.263: [-16, 15.5] => [-32, 31] Haf pixe predictio by biiear iterpoatio 5/22

6 7.4 H.263 압축표준 비제한적움직임벡터 ( 선택 ) 그림내로제한되지않는참조매크로블록영역 기하학적으로가장가까운거리의픽셀값으로추정 최대범위 [-31.5, 31.5] 산술부호화 ( 선택 ) 고급예측 ( 선택 ) 16x8 픽셀크기매크로블록기반움직임예측 PB- 프레임을사용 ( 선택 ) Two pictured coded as oe uit Idicated i PTYPE fied Not as good as B-frames uder arge motios 6/22

7 H.263 에의해지원되는비디오형식 비디오형식 휘도영상해상도 색차영상해상도 Bit-rate (Mbps) (30 fps 로압축하지않았을때 ) Bit-rate (kbps) ( 압축하였을때 ) sub-qcif 128x96 64 x QCIF 176x x CIF 352x x CIF 704x x CIF 1,408x1, x /22

8 [ 그림 7-18] H.263 휘도영상에서 GOB 의배열 8/22

9 9/22

10 10/22

11 11/22

12 7.5 고화질동영상압축표준 MPEG-1 MPEG (Motio Picture Expert Group) 동영상전문가그룹 표준규격의통칭 ISO (Iteratioa Orgaizatio for Stadard) 의전기위원회 IEC (Iteratioa Eectrotechica Commissio) 의산하기관 1988 년 Caada Ottawa 에서시작 MPEG-1 이라는새로운표준이나오게된이유는? H.261 이응용되는분야 ( 통신분야 ) 와 MPEG-1 이응용되는분야 ( 저장미디어용 ) 가다르기때문 12/22

13 MPEG 의역사 MPEG-1 저장매체를위한동영상압축표준 CD-I MPEG-2 통신, 저장, 방송매체동영상압축표준 TV, HDTV MPEG-3 HDTV, 후에 MPEG-2 에포함 MPEG-4 낮은비트율에서객체중심의동영상압축표준 Codig of Audiovisua Objects MPEG-7 Iterface to Audiovisua Materia Mutimedia Cotet Descriptio Iterface MPEG-21 Mutimedia Framework 13/22

14 MPEG-1 부호화기법의기본요건 임의접근성 : 이전화면의복호화없이압축된영상비트 열의임의시점부터복호화할수있는성질 편집가능성고속순방향탐색, 역방향탐색및역방향재생영상-음성동기화부호화, 복호화지연형태의유연성 14/22

15 MPEG-1 과 H.261 의비교 비교대상 H.261 MPEG-1 응용대상 통신미디어 ( 영상전화, 화상회의 ) 저장미디어 (CD-ROM등) 부호화비트율 p*64 kbps (p = 1~30) 약 1.5 Mbps 까지 복호시작시점 통신개시 GOP와시퀸스헤더 화면의부호화형태 I, P-프레임 I, P, B-프레임 화면의누락 있음 없음 예측구조 순방향 순방향 / 양방향예측 화면내구조 GOB 슬라이스 (Sice) 매크로블록위치정보 MBA (macrobock address) MBA 확장 (extesio) 매크로블록형태 MB 타입 화면유형별 MB 타입 양자화 양자화스텝사용 JPEG과같은양자화표사용 움직임벡터의단위 정수화소단위 반화소단위 DCT계수부호화 2차원 VLC 2차원 VLC 공간부호화 DCT DCT 15/22

16 MPEG-1 BASICS ISO/IEC Part 1 Systems, Part 2 Video, Part 3 Audio, Part 4 Coformace, Part 5 Software No-iteraced oy 352 x 240 at 30 fps for NTSC 352 x 288 at 25 fps for PAL 4:2:0 Chroma Subsampig Costraied Parameter Set Parameter Vaue Horizota picture size Max 768 Vertica picture size Max 576 No. of MBs / picture Max 396 No. of MBs / Secod Max 9,900 Frame rate Max 30 fps Bit-Rate Max 1,856 kbps 16/22

17 B- 프레임부호화 [ 그림 7-20] 양방향움직임검색의필요성 (B- 프레임의필요성및효과 ) 17/22

18 MPEG 에서의 B- 프레임부호화 M = M - M D T P M = M - M D ' T 1 M '' = MT - D ( MP + MS ) 2 S [ 그림 7-21] B- 프레임부호화블럭도 18/22

19 MPEG-1 Sices istead of GOBs Variabe umber of MBs May start ad ed aywhere i the picture (o baks) Each sice is coded idepedety For error recovery 19/65

20 MPEG-1 Differet Quatizatio for iter ad itra codig 20/65

21 MPEG-1 21/65

22 MPEG-1 Sub-pixe precisio for motio vector (1/2 pixe) Broader rage of motio search area [-512, 511.5] => [-1024, 1023] Time coded GOP ayer for Radom Access I-Type Picture I-MB P-Type Picture I-MB, FP-MB B-Type Picture I-MB, FP-MB, BP-MB, B-MB 22/22

23 MPEG-1 23/22

24 MPEG-2 압축표준 디지털 TV 방송, HDTV급의고품질로서높은대역폭에서의영상저장, 방송및통신용으로응용영상과오디오의부호화뿐만아니라다중화전송시스템부분과수신측의검색절차등다양한내용이포함 MPEG-2의주요특징 고정미디어뿐아니라, 통신, 방송미디어에의적용도고려 HDTV 품질까지확장가능 MPEG-1과 H.261과달리순차주사뿐만아니라비월주사영상도취급 스케일러빌리티 ( 가변분해능력 ) 를가진다. MPEG-2 복호기는 MPEG-1 비트열도복호가능 24/22

25 MPEG-2 의응용예 분야 MPEG-2 의응용예 컴퓨터 디지털저장매체 (CD-ROM 이나하드디스크등 ) 를이용한고화질디지털영상의제공. 가라오케, 영화, 멀티미디어시스템, 하이퍼미디어시스템등 방송 전파, 케이블을이용한고품질디지털영상의제공 TV 프로그램방송, 영화, DVD, DMB (Digita Mutimedia Broadcastig), DVB (Digita Video Broadcastig) 등 통신 통신회선을이용한고품질디지털영상의제공영상회의, 영상전화, 원격감시 (DVR 등 ) 등 25/22

26 MPEG-2 Supportig Iteraced Video Frame-Picture Fied-Picture Top-fied Bottom-fied 26/22

27 [ 그림 7-22] MPEG-2 I- 프레임에서의 DCT 블록 ; (a) 비월주사방식의영상, (b) (b) 필드모드 (fied mode), (c) (c) 프레임모드 (frame mode) 27/22

28 MPEG-2 5 Predictios modes Frame Predictio for Frame pictures MPEG-1 과동일하게각 Frame-Picture 의 16X16 Macro bock 을기준으로 MPEG-1 과동일한방식의움직임보상을행하게된다. 28/22

29 MPEG-2 5 Predictios modes Fied Predictio for Fied pictures 각 Fied Picture 의 Macro Bock 을기준으로 Fied-Picture 에서 Predictio MB 을선정하여움직임보상을하게된다. 이때하나의 Target MB 은하나의 Fied-Picture 로부터 Predictio MB 을선정하여 Motio Vector 를구성하고움직임보상을하게되는데, Predictio MB 의대상이되는 Fied-Picture 는 Target MB 과가장가까운 2 개의 P 또는 I-Fied Picture 에서선정되게된다. 29/22

30 MPEG-2 5 Predictios modes Fied Predictio for Frame pictures Target MB 을각 Fied 로나누어 16 X 8 의 bock 을형성, 각 Bock 을기준으로 Motio Compesatio 을하는방식이다. Fied Predictio For Fied-Pictures mode 와의차이는 Motio Compesatio 의단위가달라진점과, 자신과같은 Frame 에서 Predictio Bock 을구할수없다는점이다. 16 x 8 MC for Fied pictures 한 MB 을 upper/ower haf 의두 bock 으로나누어각각 Fied Predictio 을진행한다. 따라서 P-Picture MB 당 2 개, B-Picture MB 당 4 개의 motio vector 를갖게된다. 이는일반적인 MB 의절반에대하여 Motio Compesatio 을하므로불규칙적인움직임이많은 fied picture 에적합하다. 30/22

31 MPEG-2 5 Predictios modes Dua prime for P-pictures 유일하게 Frame-Picture 와 Fied-Picture 에모두적용할수있는움직임보상방법 앞의두 Fied 를참조하기때문에앞의픽쳐가프레임의첫번째 I- fied Picture 이거나 B-Picture 인경우사용되지않음 MB 하나당하나의 Motio Vector 를갖으며, 반 pixe 단위로되어있는 (+/- 0.5) Differetia Motio Vector (dmvector) 를갖는다. Dua-Prime mode 에서는두개의 preimiary predictio 을행하는데, 첫번째 preimiary predictio 은 Target MB 과동일한 parity 를갖는 Fied 의 pes 를이용하여 Fied Predictio 과동일하게 Predictio 을하여 referece pixes 를선정. 두번째 Preimiary Predictio은 Target MB와반대의 parity를갖는 fied의 pixes를이용하여 predictio을하는데이때적용하는 Motio Vector는 tempora scaig을적용하여계산한 vector에 dmvector를더한값의위치에있는 pes를 referece pes로선정한다. 이렇게선정한두세트의 pixes를 iterpoate하여 MB을 31/22 재생.

32 Trasmitted MV Computed MV Corrected MV 32/22

33 MPEG-2 Aterate Sca 33/22

34 에러강인성을위하여 Program Stream 외에추가로 Trasport Stream 을정의 4:2:2, 4:4:4 Chroma Subsampig 을지원 제한된 Sice 구조 : 하나의슬라이스는반드시동일한매크로블록열에서시작하고마쳐야한다. 다양한해상도의지원 두종류의 Scae ( 양자화를위한 ) 을지원 기본은 [1, 31] 의정수 i.e. scae i = i 비선형스케일의지원 ( 아래는예시 ) 34/22

35 MPEG-2 프로파일 MPEG-2 규격의세가지프로파일 (profie) 프로파일 (profie) 이란? 비디오부호화 / 복호화과정에서알고리즘 ( 부호화과정을실행하기위한처리순서 ) 상들어가는기술적구성요소를규격화한것을의미 압축된영상의비트열을복호하기위해필요한기술요소의집합 MPEG-2 의경우범용압축부호화방식으로만들어졌기때문에다양한응용시스템에적용될수있도록여러가지기술요소와기능들이사용 전체적으로볼때복잡도가높고, 각각의응용시스템에서는불필요한기술요소와기능이포함되어있다. 이러한문제를해결하기위해몇개의대표적인응용시스템마다최소한으로필요로하는기술요소와기능을모아둔것을프로파일이라고정의하고, 전체의규격으로부터어떤기능을얻어내는일종의부분집합을정의 35/22

36 심플프로파일 (simpe profie) 메인프로파일 (mai profie) 하이프로파일 (high profie) 심플프로파일 (simpe profie) < 메인프로파일 (mai profie) < 하이프로파일 (high profie) 각프로파일사이의호환성은어느프로파일의비트열이어느프로파일의복호기에서복호가능한지를정의하는것 36/22

37 멀티미디어응용압축표준 MPEG-4 MPEG-2는주로방송용에적합한고화질부호화가목표 MPEG-1이하의저비트율, 보다고압축율의부호화방식에는대응하고있지않음휴대단말의보급과휴대용멀티미디어방송이빠른속도로발전하고있는과정에서의응용인터넷과컴퓨터상에서의멀티미디어데이터를자유자재로취급하기위한용도 -> 수신단말측에서의다양한조작이가능한부호화방 식으로객체 (object) 부호화방식이 MPEG-4 37/22

38 멀티미디어응용압축표준 - MPEG-4 [MPEG-4 의객체기반비디오압축원리 ( 비디오객체평면 )] 38/22

39 MPEG-4 와 H.264/AVC 의비교 항목 MPEG-4 비디오 H.264 지원데이터종류 직사각형비디오프레임과필드, 임의형상비디오객체, 합성또는합성 - 자연하이브리드비디오객체, 2D 와 3D 메쉬객체 직사각형비디오프레임과필드 프로파일 (profie) 의수 19 3 압축효율보통매우높음 비디오스트리밍에대한지원 움직임보상의최소블럭사이즈 스케일러블 (scaavabe) 코딩 8x8 슬라이스 (sice) 스위칭 4x4 움직임벡터의정확도 1/2 또는 1/4 픽셀 1/4 픽셀 디블럭킹필터내장하지않음내장 라이센스사용료 높은라이센스사용료 베이스라인프로파일 : 무료메인및확장프로파일 : 라이센스사용료지불예정 39/22

40 참고문헌 [1] Mutimedia commuicatio, Fred Hasa [2] Fudametas of Mutimedia, Ze-Nia Li, Mark S. Drew [3] 그림으로보는최신 MPEG, 정제창역, 교보문고 [4] 영상통신시스템, 김재균, 영지문화사 [5] H.264/AVC 비디오압축표준, 정제창역, 홍릉과학출판사 40/22

41 질의 / 응답 Thak You! 수고하셨습니다. 41/22

멀티미디어시스템특강10-동영상압축의 이해(I)

멀티미디어시스템특강10-동영상압축의 이해(I) 이론및실습 강의자료 7 장 : 동영상압축표준의이해 수업목표및내용 q 동영상압축원리를이해한다. q H.261 동영상압축표준부호화와복호화에대하여이해 한다. 2/41 동영상압축표준화동향 정성적부호화율 H.263 MPEG-4 Part 2 H.264/AV C H.264 MPEG-4 AVC MPEG-2 H.261 MPEG-1 90 91 92 93 94 95 96 97