MPEG 국제표준화활동 2010. 06. 04. 호요성
발표내용 MPEG 표준의개요 MPEG 표준화과정 MPEG 표준의이해 MPEG 표준의응용 국제표준전문가 맺음말
MPEG 표준의개요 MPEG(Moving Picture Experts Group) ISO/IEC JTC1/SC29/WG11 1988 년에결성됨 MPEG-1, MPEG-2, MPEG-4, MPEG-7, MPEG-21 표준화영역 디지털비디오신호압축부호화방식 (Part 2) 디지털오디오신호압축부호화방식 (Part 3) 압축된데이타의다중화방식 (Part 1) 디지털저장매체제어방식 (Part 6) 디지털저장매체제어방식 (Part 6) 적합성시험 (Part 4)
MPEG 표준의종류 MPEG-1 디지털저장매체용 ( 최대 1.5 Mbit/s) 1992 년말국제표준 [IS 11172-1,2,3,4,5] MPEG-2 디지털방송, 통신, 저장매체용 (2~30 Mbit/s) 1994년말국제표준 [IS 13818-1,2,3,4,5,6,7,9] MPEG-4 초저속전송, 고압축저장용 (64 kbit/s 이하 ) 1995 년시작, 1998 년국제표준 [IS 14496-1,2,3,4,5,6] 1,2,3,4,5,6] MPEG-7 멀티미디어컨텐츠정보의표현방법 2001년국제표준 [IS 15938-1,2,3,4,5,6,7]
MPEG-1 표준 ISO/IEC 11172 (MPEG-1) Coding of moving pictures and associated audio for digital storage media at up to about 1.5 Mbit/s 1992 년국제표준으로확정 Part 1: MPEG-1 Systems Program Stream Part 2: MPEG-1 Video for CD-I Part 3: MPEG-1 Audio, including Layers 1/2/3 (MP3) Part 4: Conformance Part 5: Technical Report Primarily for Error-free Environments
MPEG-2 표준 ISO/IEC 13818 (MPEG-2) Generic coding of moving pictures and associated audio information 1994년국제표준으로확정 Part 1: Systems Part 2: Video Part 3: Audio Part 4: Conformance Part 5: Technical Report Part 6: Digital Storage Media Command & Control (DSM CC) Part 7: Advanced Audio Coding (AAC) Part 9: Real Time Interface (RTI)
MPEG-4 표준 ISO/IEC 14496 (MPEG-4) Coding of audio-visual objects 1998 년국제표준으로확정 Part 1: Systems Part 2: Visual Part 3: Audio Part 4: Conformance Part 5: Reference Software Part 6: Delivery Media Integration Framework (DMIF) Part 10: Advanced Video Coding (AVC)
MPEG-7 표준 ISO/IEC 15938 (MPEG-7) Multimedia content description interface 2001 년국제표준으로확정 Part 1: Systems Part 2: Description Definition Language (DDL) Part 3: Visual Part 4: Audio Part 5: Multimedia Description Schemes Part 6: Reference Software Part 7: Conformance Testing Part 8: Extraction and Use of Descriptions
MPEG-21 표준 ISO/IEC 21000 (MPEG-21) Multimedia Framework 2003 년국제표준으로확정 Part 1: Vision, Technologies and Strategy Part 2: Digital Item Declaration (DID) Part 3: Digital Item Identification (DII) Part 4: Intellectual Property Management & Protection (IPMP) Part 5: Rights Expression Language (REL) Part 6: Rights Data Dictionary y( (RDD) Part 7: Digital Item Adaptation (DIA) Part 8: Reference Software Part 9: File Format
ISO/IEC JTC1 조직도 I S O I E C ISO/IEC JTC 1 ISO/IEC 합동기술위원회 ISO/IEC Joint Technical Committee SC1 SC29 멀티미디어부호화 SC31 WG1 (JPEG, JBIG) WG11 (MPEG) WG12 (MHEG)
영상압축표준방식 ITU-T H.261 Video Codec for Audiovisual Services at p x 64 kbps ITU-T H.263 Video Coding for Low Bitrate Communication JPEG (ISO/IEC 10918), ITU-T T.81 Digital Compression and Coding of Continuous-tone Still Image MPEG-1 (ISO/IEC 11172) Coding of Moving Pictures and Associated Audio at up to About 1.5 Mbps MPEG-2 (ISO/IEC 13818), ITU-T H.262 Generic Coding of Moving Pictures and Associated Audio MPEG-4 (ISO/IEC 14496), ITU-T T H.263 Generic Coding of Audio-Visual Objects MPEG-7 (ISO/IEC 15938) Multimedia Content Description Interface
표준방식의진화 H.261 (1990) H.263 (1995) H.26L (2001) JVT (2003) MPEG-1 MPEG-2 MPEG-4 MPEG-7 (1993) (1995) (1999) (2001) JPEG JPEG 2000 (1992) (2000)
동영상압축표준의영역 화질 MPEG-1 저장매체 MPEG-2 방송, 통신, 저장매체 MPEG-4 통신 H.263 통신 H.261 통신 0 1 2 3 비트율 (Mbit/s)
영상압축표준의특징 국제표준전송률처리신호응용분야 JPEG 20:1 정지영상사진저장, 전송 H.261 p x 64 kbps 동영상영상전화, 영상회의 H.263 p x 64 kbps 동영상영상전화, 영상회의 MPEG-1 1 1.5 Mbps 동영상 / 오디오디지털저장매체 MPEG-2 1-30 130 Mbps 동영상 / 오디오방송, 통신, 저장 MPEG-4 4 Mbps 동영상 / 오디오인터넷, 이동통신
디지털 A/V 시스템 카메라 A/D 변환 비디오인코더 마이크 A/D 변환 오디오인코더 다중화기 채널인코더 데이타 MPEG 관련부분 전송채널 모니터 D/A 변환 비디오디코더 스피커 D/A 변환 오디오디코더 역다중화기 채널디코더 데이타
비디오코덱의구성 송신버퍼제어 소스부호기 다중화 송신버퍼 전송부호기 움직임보상 DCT 양자화가변길이부호화 멀티플렉싱시간정보삽입 송신데이터저장 오류정정부호화 소스복호기역다중화수신버퍼 전송복호기 움직임보상 IDCT 역양자화가변길이복호화 역다중화동기화 수신데이터저장 오류정정복호화
MPEG-1vs vs. MPEG-2 구분 MPEG-1 MPEG-2 응용분야디지털저장매체디지털방송 / 통신 / 저장 전송로특성전송오류거의없음전송오류큰경우고려 비트율 1.5 Mbps 이하 2 ~ 30 Mbps 최대해상도 360 x 240 (30 Hz) 1920 x 1152 (60 Hz) 주사방법순차주사순차주사, 격행주사 화면구성프레임프레임, 필드 색신호표현 4:2:0 4:2:0, 4:2:2, 4:4:4 동작모드단일모드여러프로파일과레벨
MPEG-1 vs. H.261 Major Differences from H.261 Larger gaps between I and P frames Expand motion vector search range ±1024 pels, variable To obtain better encoding, allow motion vectors to be specified to fraction of a pixel (1/2 pixels). Bitstream syntax must allow random access, forward/backward play, etc. Added notion of slice for internal synchronization after data loss/corruption
MPEG-1 Video Codec Frame input DCT Quanti- zation Rate Control VLC Buffer Transmission Channel VLD Inverse Quantization IDCT Inverse Quantization IDCT Motion Compensated Predictor Frame Stores + - + + + Prediction Motion Vector Motion Estimation Frame Stores Frame Output Encoder Decoder
MPEG-1 데이터계층 720 480 Slice #1 Slice #2 0 1 2 3 4 5 GOP #1 GOP #2 GOP #n Slice #30 Y Cb Cr Sequence Layer Picture Layer Macroblock Layer Forward Prediction Bi-directional Prediction I B B P B B P B B P B B 16 16 MB0 MB1 MB44 Pixel M=3 N=12 GOP Layer Slice Layer Block Layer
Picture Types I B B B P B B B P 0 1 2 3 4 5 6 7 8 Group of Pictures I 화면 (Intra-coded Picture) 자체정보를부호화, 압축효율이낮음, 기본화면역할 P 화면 (Predictive-coded Picture) 순방향움직임보상이용, 기본화면역할 B 화면 (Bidirectionally i Predictive-coded i ddpi Picture) 양방향움직임보상이용, 압축효율이높음
Frame Reordering Encoder Input 1 2 3 4 5 6 7 8 9 10 11 12 13 I B B P B B P B B I B B P Encoder Output, Coded Bitstream, Decoder Input Decoder Output 1 4 2 3 7 5 6 10 8 9 13 11 12 I P B B P B B I B B P B B 1 2 3 4 5 6 7 8 9 10 11 12 13 I B B P B B P B B I B B P
움직임예측의개념 탐색영역 움직임벡터 선정된예측치 기준화면 현재화면 움직임벡터를찾는현재의 MB
MB 단위의움직임추정 이미부호화된과거화면 ( 기준화면 ) 현재화면에대한예측화면
움직임보상 (P 화면 ) 과거화면 현재화면 순방향예측 과거화면으로부터예측할수없는새로드러난부분 움직임벡터현재화면 예측화면 예측화면 차분치 부호화하여야할부분
움직임보상 (B 화면 ) 과거화면현재화면미래화면 순방향예측 미래화면으로부터예측가능한부분 현재화면 예측화면 예측화면 역방향예측 차분치
MPEG-2 표준의개요 Major Differences from MPEG-1 Search on Fields, Not Just Frames 4:2:2 and 4:4:4 Macroblocks Frame Sizes, As Large As 16383 X 16383 Pixels Profiles and Levels Scalable Modes: Temporal, Spatial, SNR Non-linear Macroblock Quantization Factor Alternate Scanning of DCT Coefficients
MPEG-2 Profile and Level Profile SNR Spatial Simple Main Level Scalable Scalable High (1920x1152x60) High-1440 (1440x1152x60) Main (720x576x30) Low (352x288x30) SP@ML (Digital CATV) MP@HL (US HDTV) MP@H-14 MP@ML ( 위성 DBS) MP@LL SNP@ML SNP@LL SSP@H-14 (EU HDTV) High HP@HL HP@H-14 HP@ML
MPEG-2 Target Applications Level Size Pixel/sec Bit-rate Applications (Mbit) (Mbit/s) Low 352x240 3M 4 Video Tape Main 720x480 10M 15 Studio TV High 1440 1440x1152 47M 60 HDTV High 1920x1080 63M 80 HDTV
계위성 (Scalability) Scalability 의정의 원래의신호나이것을부호화한비트열을여러부분으로분할하여전송하는기법 디코더에서는각비트열을모아서신호복원 장점 계층적인데이터구조가가능하다 호환성을쉽게확보할수있다 중요한데이터의특별한처리가용이하다 단점 인코더 / 디코더의구조가복잡해진다 부호화효율이다소불리할수있다
MPEG-4: A New Standard 멀티미디어압축표준 (A/V 객체부호화 ) 다양한응용을위한일반적인 Toolbox 내용기반양방향성지원 MPEG-4 표준의주요특징 Accessibility ( 접근용이 ) Usability ( 재사용가능 ) Interactivity ( 양방향대화형 ) Error Resilience ( 오류에강인 ) Scalability ( 계위성지원 )
MPEG-4 의목표 동영상에서비쥬얼객체를쉽게이용 자연영상과합성영상의처리 자연음향과합성음향의처리 다양한멀티미디어응용에적합 동영상의재활용성증대 컴퓨터데이터형태로처리 여러가지저장매체에저장 전송망을통한송신및수신 방송망을통한분배
MPEG-4 의요구사항 내용기반양방향성 내용기반멀디미디어데이터접근도구 내용기반조작및비트열편집 자연 / 합성데이터의혼합부호화 시간축의임의접근성개선 높은압축효율 저장과전송을위한부호화효율개선 여러데이터열의동시부호화 범용접근성 전송오류환경에서강인성 내용기반계위성
객체기반처리
기존의 A/V 시스템 enco oder multiplexer demultiplexer deco oder
MPEG-4A/V 시스템 AV-objects coded AV-objects (un)coded objects encoders objects multiplexe demultiple objects decoders objects compo ositor r xer interaction
VLBV Core 와 MPEG-4 Coder MPEG-4 VLBV Core Coder Video Motion Texture Object (MV) (DCT) Plane (Similar to H.263/MPEG-1) bitstream Video Object Plane Generic MPEG-4 Coder Shape Mti Motion Texture (MV) (DCT) bitstream
MPEG-4 비디오부호화 입력 Video Video objects segmentation Video Object 0 Encoder Video Object 1 Encoder Video Object 2 Encoder System Multiplexer Sy ystems De emultiplex xer Video Object 0 Decoder Video Object 1 Decoder Video Object 2 Decoder Video Object Compositor 출력 Video
VOP 인코더구조 Shape Coding ON/ OFF Shape Information ON/OFF Motion Information MUX Buffer Motion Estimation Motion Compensation - Texture Coding Texture Information Previous Reconstructed VOP +
VOP 디코더구조 Shape Decoding Demultiplex l Motion Decoding Motion Compensation Reconstructed VOP Texture Decoding VOP Memory
MPEG-4 주요응용분야 Application 1 Mobile Video Communication Encoder 입력화상 Decoder 출력화상 출력화상 Decoder Encoder 입력화상 Application 2 Interactive Video Service Content object provider Tool1, Tool2,..., Tool N Algorithm1, Algorithm2,... Content objects compositor/descriptor Decoder Control Interface Decoder Control Interface Decoder Control Interface User 1 User 2 User N
Static Sprite Coding Tools
ITU-T Joint Video Team ITU-T SG16/Q.6 (ext. Q.15) VCEG ISO/IEC Video Coding Experts Group Recommendations H.261, H.262, H.263, H.26L ISO/IEC JTC1/SC29/WG11 MPEG Moving Picture Experts Group International Video Coding Standards MPEG-1, MPEG-2, MPEG-4, MPEG-7
Joint Model (JM) JVT Codec VCEG (H.264) and MPEG (Part 10) 2001.12: JVT Set-up H.26L 1998.01: Call for Paper 1998.12: 본격적인작업시작 1999.08: 주요기능완성 MPEG-4 ISO/IEC JTC1/SC29/WG11 (MPEG) 1995.12: 본격적인작업시작 1999.02: 주요기능완성
MPEG-4 vs. H.26L MPEG-4 Video H.26L JM Block Size 8x88 4x44 DCT Floating-Point Integer Transform ME Unit 16x16, 8x8 16x16,16x8,8x16, 8x8,8x4,4x8,4x4 ME Accuracy VLC Table Intra Prediction ½ pel Separate Tables AC/DC Prediction ¼ pel Universal lvlc Spatial Prediction
Scope of H.26L The basic configuration is similar to H.263. Hybrid Coding: Motion Compensation + DCT + VLC The MPEG-4 baseline algorithm is very similar to the H.263 baseline algorithm. Differences from H.263 Multiple reference frames Multiple block sizes for ME 1/4 pixel motion accuracy 4x4 integer transform coding Only one regular VLC table
Basic Structure Input Video Signal Split into Macroblocks 16x16 pixels - Decoder Intra/Inter 0 Coder Control Transform/ Quantizer Motion- Compensated Predictor Deq./Inv. Transform Control Data Quant. Transf. coeffs Entropy Coding Motion Estimator Motion Data
Technical Overview Intra/Inter Frame Coding Spatial Intra Prediction MB-based Codec ME/MC: Variable Block Size (16x16 to 4x4) DCT: Fixed Block Size (4x4) Integer Transform (Multiplier-free/Mismatch-free) free) Simple & Double Scanning of DCT Coefficients Unique VLC Table Exponential Golomb Code
다른표준과공통요소 I & P Picture Types 16x16 Macroblock Block Transform Scalar Quantization Color Subsampling Block Motion Displacement Motion Vectors Over Picture Boundaries Variable Block-size Motion
Motion Estimation Various Block Size (VBS) ME - Totally 8 types are supported Factional lpixel laccuracy - 1/4 pel accuracy (1/8 pel supported) Multiple Reference Frames Enhanced Reference Picture Selection (ERPS) R-D Optimization Method Adopted Use of Prediction Vectors Non-limited Range of Motion Vectors
MB Motion Estimation 16x16 16x8 8x16 8x8 MB-Modes 0 0 0 1 1 0 1 2 3 8x8 8x4 4x8 4x4 8x8-Modes 0 0 0 1 1 0 1 2 3
Motion Compensation - Coder Control Transform/ Quantizer Decoder Deq./Inv. Transform Control Data Quant. Transf. coeffs Entropy Coding 0 16x16 16x8 8x16 8x8 Motion- MB 0 0 1 Compensated Modes 0 0 1 Intra/Inter Predictor 1 2 3 Motion Estimator 8x8 Modes 8x8 8x4 Motion 4x8 4x4 0Data 0 1 0 0 1 1 2 3 1/4 (QCIF) or 1/8 (CIF) pel
국제표준전문가그룹 국제표준전문가란? Standard Experts Delegates, Head of Delegates (HoD) Convenor, Subgroup Chairs, Editors 국제표준전문가의구비조건 표준화조직의이해 표준화절차의이해 표준화기술의이해 영어구사력 사교성및친화력 지혜와용모
표준전문가교육의필요성 표준화의중요성에대한마인드확산과홍보 표준화회의를주도해갈수있는실무적 소양겸비 표준화작업에효율적인대처능력배양 국제표준화회의진행방법 국제표준화회의기고서작성방법 NB Comments 의적절한활용방법 다른국가 / 기관과의전략적인제휴와연합방법
표준전문가의역할 국가및소속기관의입장과이익옹호 표준에관련된지식의전파 새로운정보의확산 표준의응용및산업화촉진 New Working Item 의발굴 New Project (NP) 의모색
표준전문가양성프로그램 한국정보통신기술협회 (TTA) 정보통신표준전문가육성지원사업 IT 국제표준전문가양성세미나 정보통신표준화워크숍 기술표준원 / 한국표준협회 표준화기초과정 표준화강좌강사지원프로그램
외국의사례 미국 ANSI 산하의 X3L3 회의 MPEG 국제회의중간에 1 주일정도열림 50% 이상참여해야 dl delegate 자격부여 초반에는표준화조직및전문가역할교육 중반이후에는현안및대책논의 일본 체계적이고지속적인전문가활동
MPEG 전문가인증제도 인증제도가필요한가? 누가? 어떻게? 고려사항 인증프로그램의생성 인증프로그램의운영 인증프로그램의관리 인증프로그램의활용
토론사항 국제표준전문가양성 전문가양성프로그램 전문가인증제도 Really Needed? Who can do it? How can we implement it? When can we start it?
MPEG 표준의성공요인 개발인력의우수성 1980년대부터 DSP 관련국내연구인력이확충됨 DTV와 BISDN을근간으로한정부의지속적인지원 기술개발능력의향상 선진국과의경쟁을통한기술개발능력의함양 국제표준화작업에대한안목과자신감이생김 경쟁과협력 산학연공동연구그룹의형성 국내기관의상호협력및공동대응 기업의참여와시장창출 MPEG 특허를확보하기위한기업들의적극적인참여 MPEG 표준을이용하기위한시장창출노력 디지털방송, 인터넷, 이동통신, DMB
MPEG 과지적재산권 MPEG LA (License Administration) MPEG-2 의공동라이센싱특허를보유한기관들이공동으로출자하여만듦로출자하여만듦. MPEG-2/4 의필수특허묶음을작성 MPEG 에서관련자료를제공하며, 적극적인참여를권장 원천적인지적재산권을이용한상품화와응용기술이멀티미디어시장의경쟁력을결정함 기술개발초기에적극적인전략을통해가치있는지적재산권의확보가관건 MPEG-4 Industry Forum MPEG-7 Industry Focus
맺음말 MPEG 동영상압축표준 MPEG 표준화절차 MPEG 표준의내용 MPEG 표준의응용 More Information http://www.mpeg.org/ http://www.chiariglione.org/mpeg/ http://www.mpeg.or.kr/
감사합니다 Questions?
호요성교수 연락처 062-970-2211, 010-3162-3669 hoyo@gist.ac.kr http://vclab.gist.ac.kr/ 실감방송연구센터 062-970-2263 http://rbrc.gist.ac.kr/ 광주과학기술원 광주과학기술원 http://www.gist.ac.kr/