2013 HD 영상압축실습 제 3 장정보압축의국제표준 인덕대학교방송영상미디어 Agent( 대리인 ) 개념 앨런케이의발상 컴퓨터를단순계산기에서대리인 (Agent) 개념을발전시킨소프트웨어로봇으로생각 멀티미디어컴퓨터의역할 복수의표현미디어와하나의전달미디어의통합 DOS 체제에서윈도우의 GUI(Graphic User Interface) 로조작성향상 복수의표현미디어 => 단일전달미디어로통합 2 1
멀티미디어를지향하는컴퓨터플랫폼 AudioVisual 기능탑재 => GUI 와 Audio/Video 압축기능 ügui 에의한객체조작환경의제공 ü 오디오, 비디오 (AV) 신호의입출력 ü 오디오, 비디오신호의소프트웨어에의한압축신장 ü 오디오, 비디오신호의압축신장전용하드웨어와의인터페이스 ü 오디오, 비디오, 문서등멀티미디어정보의편집 ü 오디오, 비디오등멀티미디어정보의상이한포맷간의상호변환 ü 음성인식 ü 문서인식 ( 읽어들이기 ) 멀티미디어환경에요구되는컴퓨터의성능 GUI 에의한 휴먼인터페이스 음성의 압축 / 신장 컴퓨터 그래픽스 정지영상의 압축 / 신장 동영상의 압축 / 신장 문자 / 음성의 압축 / 신장 4 2
필요한연산량과그실현방법 음성신호의압축 / 신장의경우 G.722, G.728, MPEG Audio : 20 ~ 80 MOPS(Million Operation Per Second) MIPS 와 MOPS 가비슷하지만컴퓨터기종에따라약간차이남 : MIPS < MOPS 정지영상의압축 / 신장의경우 704 x 480 Image : 0.5 초의처리시간을허용할경우 440 MOPS 동영상의압축 / 신장의경우 H.261 CIF(352x288) 30Frame/sec : 3,630 MOPS SIF (352x240) 30Frame/sec : 9,430 MOPS ITU-R 601 704x480, 60Field/sec : 37,720 MOPS HDTV 1920x1080, 60Field/sec : 226,320 MOPS 필요한 CPU 처리능력 CISC (Complex Instruction Set Computer) => RISC ( Reduced Instruction Set Computer) 최신 Intel Pentium 4 2.0GHz chip : 1,600MIPS( 약 8,000MOPS) <= CPU만으로는역부족 전용 DSP(Digital Signal Processor) 또는 ASIC (Application Specific IC : 주문형반도체 ) 의이용이해결방안 5 CICS & RISC CPU 의아키텍쳐, 즉구조적측면의차이로, 어떤일정한방법으로명령어를처리하느냐에따라구분 CICS : Complex Instruction Set RISC : reduced instruction Computer set compute 소프트웨어특히, 컴파일러작성을쉽게 자주쓰이지않는명령어들은하기위해하드웨어화할수있는것은소프트웨어로구현하고자주가능한모두하드웨어에게맡긴다는쓰이는명령어만간략화하여원칙아래설계된컴퓨터 CPU의성능을높임 마이크로프로그래밍을통해사용자가 실행속도를높이기위해가능한작성하는고급언어에각각하나씩한복잡한처리는소프트웨어에게기계어를대응시킨회로로구성된, 맡기는방법을택한컴퓨터이다. 중앙처리장치의한종류이다 IBM의 System/6000 기종과 주로쓰이는명령어는일부에불과하고, 매킨토시컴퓨터에사용구조가복잡하므로가격이비싸고전력소모도크다는단점이있다 펜티엄을포함한인텔계열의모든프로세서 6 3
DSP & ASIC DSP 아날로그신호를고속으로처리할수있도록여러가지대처가되어있는데, 칩내부에곱셈기, 부동소숫점연산기가하드웨어적으로되어있으며아날로그신호도직접내장. 고속의아날로그신호처리를강조하여만든마이크로프로세서 ASIC FPGA 를최적화하여마스크타입으로한것. 완벽히 FPGA 의작동이확인되면모든쓸모없는회로와게이트를빼고좀더작은면적의웨이퍼를사용하여프로그램불가능한마스크타입의회로로만드는것. FPGA 도 ASIC 에속하지만프로그램가능한 ASIC 7 멀티미디어컴퓨터에요구되는성능과실현방법 처리항목개략적인요구성능 (MOPS) 실현방법 1 GUI 에의한휴먼인터페이스 5 2 그래픽스 50 CPU, 그래픽스프로세서 (ASIC) 및 Windows 등의 OS 3 음성 [AM 품질 ] (G.722, 48~64kbps) (15kHz Sampling) 20 DSP(Digital Signal Processor, 디지털신호처리기 4 음성 [ 전화품질 ] (G.728, 16kbps) (8kHz Sampling) 60 DSP 5 음성압축 [HiFi 오디오 ] (MPEG-1 오디오, 128~384kbps) (44.1 or 48kHz Sampling) 6 정지영상 [ 해상도 ] (JPEG 704ⅹ480) (2 frames/sec) 7 동영상 [ 간이동영상 ] (H.261 형 160ⅹ120) (5 frames/sec) 8 동영상 [ 영상회의 ] (H.261, 352ⅹ288) (30 frames/sec) 9 동영상 [ 비디오 CD] (MPEG-1, 352ⅹ240) (30 frames/sec) 10 동영상 [ 현행 TV] (MPEG-2, 704ⅹ480) (60 fields/sec) 11 동영상 [HDTV] (MPEG-2, 1920ⅹ1080) (60 fields/sec) 180 압축 120 신장 60 440 압축 220 신장 220 115 압축 90 신장 25 3,630 압축 2,660 신장 970 9,430 압축 8,630 신장 800 37,720 압축 34,520 신장 3,200 226,320 압축 207,120 신장 19,200 ASIC( 신장 ) 또는 DSP ASIC( 신장 ) 또는 DSP( 저프레임율 ) 또는 CPU( 더욱낮은프레임율 ) CPU(Video for Windows, Quick Time 등 ) 에의한신장처리 ASIC 또는영상 DSP ASIC 또는영상 DSP( 신장전용 ) ASIC(Application Specific IC : 주문형반도체 ) ASIC 8 4
멀티미디어부호화 : 음성부호화 음성부호화 시작 : 1960년대전화음성의디지털전송실용화 AT&T벨전화연구소, 1.544Mbps의디지털회선에의한전화 24채널전송실용화됨 PCM(Pulse Code Modulation 펄스부호변조 ) 부호화방식, 300Hz~3.4kHz 대역신호를 8kHz에서표본화하고각표본을 8비트로표현 비선형양자화사용 : 음성신호레벨분포가지수함수적 1971년 CCITT 권고 G.711로표준화됨 : 가장기본적인부호화방식부호화권고 G.721 : 1988년, ITU-T, 32kbps의 ADPCM(Adaptie Differential Pulse Code Modulation 적응차분 PCM) 완성 9 멀티미디어부호화 : 음성부호화 부호화권고 G.728 : 1992년, 16kbps LD-CELP(Low Delay Code Excited Linear Prediction 저지연부호여진형선형예측 ) 권고 G.722 : 1988년, SBADPCM(Subband ADPCM 대역분할ADPCM), 16kHz표본주파수에의한 7kHz 광대역음성신호부호화방식 라디오방송취재, 영상회의에사용됨 마이커와스피커확성기에필요한표준 J.41 : FM 등과같이음악포함한사운드신호대상 1984 년채널당 384kbps 로부호화 ( 압신 PCM 방식, G.722) 10 5
멀티미디어부호화 : 팩시밀리부호화 MPEG 1992년 MPEG-1 오디오표준완성 CD품질의스테레오채널을 384kbps 이하로부호화하기위해서브밴드분할, 청각심리모델에의한잡음정형, MDCT 등의기술구사 팩시밀리부호화 ITU-T 권고 T.4 : G3팩시밀리압축방식 MR(Modified READ) 방식에의한압축부호화방식규정 세계단일표준에의한압축부호화 11 멀티미디어부호화 : 영상부호화 영상부호화 기본부호화표준 ITU-R BT.601 1982년방송 TV신호의디지털표현을규정함 CCIR( 국제무선통신자문위원회 ) 의권고 601 ITU-R(ITU 무선통신부문 ) 권고 BT.601 로개칭 성분별영상신호를대상으로함다른 2가지 TV표준 525/60( 주사선수 525/ 필드주파수 60Hz, NTSC) 방식과 625/50( 주사선수 625라인 / 필드주파수 50Hz, PAL/SECOM) 방식에대해공통의표본화주파수 13.5MHz와공통의주사선당유호화소수 720을정의. 부호화압축률포함되지않음 : 비트율은 216Mbps D1 VTR에의한디지털녹화에사용됨, 다른응용분야에서서브세트가사용됨디지털 TV의근간이되는표준 12 6
영상의압축부호화와요소기술 많은정보를필요로하는영상신호의부호화는저비트율요구됨 프래임내 DCPM (Differential Pulse Code Modulation 차분펄스부호변조 ) 프래임간 DCPM( 조건부화소보충 ) 움직임보상프래임간예측 하이브리드부호화 ITU-U 권고 H.120 ( 현재 X, 고성능국제표준등장함 ) 1984년, 영상회의신호의디지털전송을위해조건부화소보충에의한방식 1988년프래임간예측방식추가디지털일차군전송목적으로함 13 신영상부호화표준 : H.261 저비트율, 384kbps 나 64kbps 속도에대응하는부호화표준을목적으로 1983 년 12 월 CCITT SG XV( 현재의 ITU-T SG15) 전문가그룹설치 H.261 : px64kbps(p=1~30) 영상부호화권고 1990 년말승인받음 움직임보상프레임간부호화와 DCT 결합한하이브리드부호화 ISDN 영상회의혹은영상전화용으로널리사용됨 14 7
프로그램소재전송용표준 CMTT(Committee for Mixed Telephone and Teleision, 현재의 ITU-T SG9) : CCIR과 CCITT의합동연구위원회 CMTT.721과 CMTT.723 1993년완성 프로그램소재즉편집해서방송프로그램을만들수있을정도의고품질소재를전송하는데사용될수있는 2개권고 CMTT.721 : 프레임내 DCPM에의한 140Mbps전송용 CMTT.723 : 하이브리드부호화에의한디지털삼차군 (34~45Mbps) 전송용 15 MPEG 표준 저장미디어분야에서 1988 년 ISO/IEC JTC 1/SC 2( 국제표준화기구 / 국제전기표준회의합동기술위원회 1 / 전문부회 2, 현재는 SC29) 에서동영상부호화연구그룹 MPEG 설립 당시표준화대상 : 약 1.5Mbps 전송속도의 CD-ROM ISO/IEC 11172 로완성, 1992 년승인 16 8
MPEG-2/H.262 표준 고품질영상부호화표준화작업, 1990 년시작됨. ITU-T 의 ATM( 비동기전송모드 ) 비디오부호화전문가그룹은 H.262 작성방침결정하여 MPEG 와합동으로작업진행 CCIR, EBU(European Broadcasting Union 유럽방송연합 ), SMPTE(Society of Motion Picture and Teleision Engineers 미국영화, TV 기술자협회 ) 추가참여 17 멀티미디어부호화 : 정지영상부호화 정지영상부호화 ISO/IEC JTC 1/SC 2( 포토비디오텍스의부호화연구 ) 에서 1986년 CCITT SG8( 현재 ITU-T SG8) 과함께 JPEG 결성 ITU-T권고 T.81과 ISO/IEC 표준 10918 (1992년) 완성 컬러정지화를 DCT에의해 1비트 / 화소이하로부호화할것 시퀀셜표시외에프로그래시브표시를가능하게할듯 시퀀셜 : 고해상도정지영상을좌상으로부터우하로주사의순서대로표시하는통상의방식 프로그래시브 : 고해상도정지영상을몇회로나누어서표시하되처음에는저해상도로전체를표시하고서서히해상도를높여표시하는방식, 영상데이터베이스검색에효과적 본래영상을정보손실없이보낼수있을것 18 9
멀티미디어부호화 : 정지영상부호화 2치영상에는 DCT가최적이아님 JPEG로부터독립된 JBIG 설립되어고압축률및프로그래시브표시등을실현하는부호화방식완성 : ITU-T권고 T.82와 ISO/IEC표준11544(1993년 ) PRES : 표시해상도를시간적으로점점높여가는계층적압축표준 TP : 전형적예측 DP : 결정론적예측산술부호화등의특징 19 멀티미디어다중화 / 하이퍼미디어부호화 하이퍼미디어부호화 멀티미디어의다중화및동기에관한것 영상의대부분은음성을수반하므로영상부호화의표준제정시다중화및동기에관한표준이함께만들어짐. 예 ) H.261-H.221, MPEG-1에대한시스템 영상, 음성, 문자등의모노미디어정보혹은다중화된오디오비주얼정보가사용자에의한대화형조작을포함해서상호어떤관계를맺는지, 그관계가시간적으로어떻게변화하는지기술하는것 하이퍼미디어 : 상호관련되어있는멀티미디어정보를말함 1989년 ISO/IEC에 MHEG 설립되어표준화작업진행 1994 년멀티미디어, 하이퍼미디어객체의표기법에관한표준제정 20 10
국제표준화기관 : ITU-T CCITT( 국제전신전화자문위원회 ) 로불리기도함 국제연합에속하는전문기관 ITU( 국제전기통신연합 ) 의상설기관 기술, 운용및요금에관한과제를연구하고권고를채택함으로써전기통신의표준화에기여함 권고 : Y.nnn ( 로마자한글자 + 숫자 ) SG1 : 서비스 SG8 : 텔레마틱스 SG9 : TV 및사운드전송 ( 구CMTT, 사운드프로그램위한소재전송, 이차분배에필요한부호화담당 ) SG13 : 네트워크 SG15 : 전송시스템과장치 ( 오디오비주얼통신을위한음성부호화, 영상부호화및그것을조합한통합시스템담당 ) 21 국제표준화기관 : ITU-R CCIR( 국제무선통신자문위원회 ) 로불려졌음 무선통신에관해연구하고권고채택하는동시에정지위성궤도를포함한주파수스펙트럼의합리적, 평등적, 효율적, 경제적이용의확보를목적으로활동 권고 : AA.nnn-m ( 로마자 + 숫자에개정번호를하이픈으로표시, 1993 년부터, 이전에는숫자만 ) 12 개의 SG 로이루어짐 SG 10 : 사운드방송연구 SG 11 : TV 방송과 HDTV, 디지털지상파방송, 위성방송, 방송과컴퓨터표준의조화, 초고해상도영상등의과제설정 22 11
국제표준화기관 : ISO/IEC JTC 1 국제표준화기구 / 국제전기표준회의합동기술위원회1 ISO : 물질및서비스의국제교환을용이하게하고지적, 과학적, 기술적및경제적활동분야에있어서국제간의협력을조장하기위해세계적규격의심의제정을촉진시킨다는목적으로활동 IEC : 전기공업에관한국제적표준화의촉진을목적으로활동 두기관을취급분야중복발생 공동의기술위원회 JTC1 이 1989 년설립됨, 18 개의 SC 있음 SC29 : 멀티미디어부호화표준담당 WG1 : 종래의 WG9인 JBIG와 WG10인 JPEG 합병 WG11 : MPEG WG12 : MPEG 23 12