Editorial MPEG 표준화관련최근동향소개 ETRI 차지훈그룹장 MPEG 표준화관련최근동향소개 많은 ICT 기술들이그러하듯미디어기술도하루가다르게진화하고있다. 10년전만해도모바일단말에서동영상을자유롭게소비하는것이쉽지않았으나, 이제는누구나일상에서즐기는보편화된서비스가되었

Transcription

1 OSIA S&TR Journal ISSN Vol. 30, No. 3, September 2017 발행인 : 장영민회장 /OSIA, 국민대 편집위원 : 김규헌교수 / 경희대 Editorial 02 MPEG 표준화관련최근동향소개 차지훈그룹장 /ETRI Article 04 차세대비디오부호화표준화동향최해철교수 / 한밭대 11 MPEG-I Point Cloud Coding 표준화장의선교수 / 한양대 18 Omnidirectional MediA Format 및몰입형미디어전송표준동향 이장원박사 /LG 전자 22 최신 MPEG 오디오표준기술 : MPEG-H 3D Audio 이태진실장 /ETRI

2 Editorial MPEG 표준화관련최근동향소개 ETRI 차지훈그룹장 MPEG 표준화관련최근동향소개 많은 ICT 기술들이그러하듯미디어기술도하루가다르게진화하고있다. 10년전만해도모바일단말에서동영상을자유롭게소비하는것이쉽지않았으나, 이제는누구나일상에서즐기는보편화된서비스가되었다. MPEG (Moving Picture Experts Group: ISO/IEC 산하동영상전문가그룹 ) 은지난 25년간다양한멀티미디어서비스를위해기반이되는표준기술을제공하여전세계멀티미디어산업발전에혁혁한공을세웠다. 최근 MPEG은기존의 2차원적서비스패러다임을넘어서진일보한고품질몰입형멀티미디어서비스를지원하기위해 2016년 10월회의에서처음으로향후 5년간의표준기술개발로드맵을제시하였다. 산업계와관련전문가의의견을수렴하여 2017년 7월에업데이트된로드맵에는대표적인서비스로이종플랫폼간의미디어분배, VR360, 6자유도몰입형미디어등이포함되어있다. 여기에제시된대표적인서비스와기술을살펴보면, 차세대미디어서비스를수식하는키워드로 360, 전방향, 몰입형등을꼽을수있다. 이러한기술및표준개발동향은산학연을망라하여한동안지속이될것으로전망된다. 이에맞추어본호에서는활발한표준기술개발이진행되고있는고품질몰입형미디어서비스를위한기반기술로서차세대비디오부호화, VR 서비스를위한 3D 모델링등에많은활용이예상되는포인트클라우드코딩, OMAF & 몰입형미디어전송표준, 3D 오디오표준기술을소개하고자한다. 첫번째차세대비디오부호화표준화동향논문에서는 HEVC (High Efficiency Video Coding) 이후차세대비디오부호화표준을위한기술및표준화동향에대해기술한다. 특히새로운비디오부호화기술의탐구를위해결성된 JVET (Joint Video Exploration Team) 에서의주요기술동향과, 차세대비디오부호화표준을위한 CfE (Call for Evidence), CfP (Call for Proposals) 등의표준화동향에대해소개한다. 두번째논문은최근 MPEG에서시작하고있는 PCC (Point Cloud Coding/ Compression) 기술의표준화에대한동향을소개하였다. 포인트클라우드의획득기술로시작하여포인트클라우드기반의서비스시나리오를알아보고, 이를바탕으로포인트클라우드압축기술에대한요구사항도소개하고있다. 기술표준화의현황부분에서는 CfP를중심으로평가조건, 테스트데이터, 주요경쟁기술등을요약하고향후에전개될 PCC 표준화에대해저자의의견을제시하고있는부분이매우흥미롭다. 02

3 Editorial 세번째논문은 MPEG 에서진행중인 OMAF (Omnidirectional MediA Format) 과 DASH (Dynamic Adaptive Streaming over HTTP), MMT (MPEG Media Transport) 기반의몰입형미디어전송기술에대해소개한다. 3DoF (Degrees of Freedom) 를지원하는전방향미디어의획득, 공유및전송을위한본표준들의기술요소전반에대해소개하고관련표준화동향과향후전망에대해논의한다. 마지막으로네번째논문은최신오디오표준기술인 MPEG-H 3D Audio에대해소개한논문이다. 다채널, 다객체, 장면오디오신호에대한부호화기술과함께헤드폰이나다양한스피커배치에따른최적의오디오재생을위한렌더링기술을포함하고있는 MPEG-H 3D Audio의표준화현황, 기술요소및서비스에대해제시하고있다. 바쁜중에도훌륭한원고를준비해주신저자들께감사를드리며, MPEG 표준기술에관심 을갖고계시는독자들에게관련자료들이도움이되기를기대한다. OSIA S&TR Journal Vol. 30, No. 3, September

4 Article 1 차세대비디오부호화표준화동향 백아람, 최상규, 최해철 한밭대학교멀티미디어공학과 차세대비디오부호화표준화동향 Abstract 2013년 1월에표준화가완료된 High Efficiency Video Coding (HEVC) 이후 ISO/IEC MPEG (JTC 1/SC 29/WG 11) 과 ITU-T VCEG (Q6/16) 은차세대비디오부호화표준기술개발을위해 Joint Video Exploration Team (JVET) 을결성하고 2015년 10월 1차회의를시작으로현재까지 7번의 JVET 회의를진행하며기술탐색을위한논의를활발히진행하고있다. 본고에서는 JVET에서다루고있는주요기술동향에대해살펴보고, 차세대비디오부호화기술의전망과함께차세대비디오부호화표준을위한 Call for Evidence, Call for Proposals 등의표준화동향에대해소개한다. 새로운비디오압축부호화기술을빠른주기의교체가어 려운분야로서하드웨어복호기적용이필요한응용분야 < 그림 1. 차세대비디오부호화기술이적용가능한신흥시장의예 > I. 서론 높은부호화효율을기반으로다양한응용분야에서폭넓게사용되고있는 High Efficiency Video Coding (HEVC) [1] 와확장표준들은앞으로도그활용도가더욱증가할것으로예상되고있다. 하지만여전히제한된네트워크대역을통해전송또는저장이필수적이므로더높은비디오부호화효율을제공할차세대비디오부호화기술이요구되고있다. 또한사용자소비단말소유에따른다음과같은새로운비디오서비스및응용분야가생성되며고효율비디오압축기술에대한산업수요도증가할것으로예상되며, 새로운비디오압축부호화기술을가장잘받아들일수있는분야로도전망되고있다. 순수한 소프트웨어기반응용분야로서압축비트스트림에대한저장필요성이없는서비스 소프트웨어 복호화기반의응용분야로서이미압축된비트스트림을서버에서단말사용자에게제공하는서비스 하드웨어 복호화기반의응용분야로서스마트폰과같이빠른사용자단말교체주기를가지고있는분야 기존시장과향후시장에서의고효율비디오압축기술적용시나리오또한긍정적으로전망되고있다. 기존시장으로는지상파및위성방송, 케이블, IPTV, 스튜디오콘텐츠, 홈시네마및패키지미디어, 감시비디오, 이동통신망을통한 VoD 서비스등이있으며, 비디오품질, 포맷, 네트워크환경등을고려하였을때새로운비디오압축부호화기술의적용시나리오가긍정적으로전망되었다. 더불어기존시장에비해신흥시장에서새로운비디오압축부호화기술의적용가능성이더욱높은것으로전망되었고, 신흥시장으로는증강및가상현실그리고비디오센서를사용하는자동차응용, 미디어중심사물인터넷 (Internet of Things, IoT) 등이있다 [2]. 이처럼다양한분야와시장에서지속적으로요구되고있는차세대비디오부호화의현재동향을본고를통해살펴볼것이다. 본고는다음과같이구성되어있다. 2 장에서는 JVET 에서수행한차세대비디오부호화표준을위한기술탐구 (Exploration) 동향을소개하며, 3 장에서는본격적으로진행되고있는차세대비디오부호화표준화동향을기술한다. 마지막으로 4 장에서결론으로마무리짓는다. 04

5 II. JVET의차세대비디오부호화기술탐구 2.1 JVET 회의동향 2013년 HEVC의표준최종안 [1] 이확정된이후 ISO/IEC MPEG (JTC 1/SC 29/WG 11) 은 2014년 10월제110 차 MPEG 표준화회의를시작으로차세대비디오압축부호화기술의표준재정을위한차세대비디오부호화 (Future Video Coding, FVC) 표준개발논의를시작하였다. 제110차 MPEG 표준화회의에서초청된 7 개기관의차세대비디오부호화표준제정에대한입장을기반으로 FVC 기술탐색을위한그룹을결성하며논의준비를시작하였고, 제111차회의에서는 FVC 표준개발을위한요구사항초안문서를도출하였다. 제112차회의에서는 FVC 기술에대한 2차워크숍을개최하였고, 제출된기술및의견기고서에대한토의를거쳐 FVC 요구사항에대한첫번째문서와함께 FVC 표준개발을위한테스트영상제안요청서를발표하였다. 제113차회의에서는 FVC 표준개발에앞서사전기술탐색을수행하기위해 Joint Video Exploration Team (JVET) 을 ITU-T VCEG (Q6/16) 과함께결성하였고, FVC 기술탐색을위한공통의플랫폼으로 Joint Exploration Model (JEM) 첫번째버전 [3] 을발표하였다. 이후표 1과같이 JVET은 2015년 10월제네바회의를시작으로 2017년 9월현재까지 7번의회의를통해 Standard Dynamic Range (SDR), High Dynamic Range (HDR), 360 비디오분야에대한기술탐색과 FVC 표준개발을위한테스트영상에대한조사활동을함께진행하고있다. 또한 JVET은현재까지진행된 FVC 표준을위한기술성숙도를살펴보기위해 2017년 4월 Call for Evidence (CfE) [4] 를발행하였고, 2017년 7월이탈리아토리노에서개최된제119차 MPEG 표준화회의에서 Qualcomm, InterDigital, Samsung 등여러기업및기관에서제출한총 8건의 CfE response에대해논의하였다. 2.2 JVET 기술동향 MPEG과 VCEG이 JVET을구성하기이전에 VCEG에서는비디오부호화효율향상을위한기술적논의가이루어지고있었으며, 2015년 2월 ITU-T SG 16 VCEG 미팅에서 HEVC를기반으로추가적인부호화툴을이용하여부호화효율을향상시킨기고서가발표되었다 [5]. 기고서에서는 Large block & transform, Advanced Temporal Motion Vector Prediction (ATMVP), Overlapped Block Motion Compensation (OBMC), Linear Model Cross- Component Prediction (LMCCP), Adaptive Multiple Transform (AMT), Adaptive Loop Filter (ALF) 의추가적인툴을 HEVC에추가하여 All intra (AI), Random access (RA), Low-delay B (LDB) 조건에서각각 Y-BD Rate 기준으로 6.8%, 10.4%, 8.9% 의부호화효율향상을얻었으며, 이기술들을조합하여 HMKTA 1.0 플랫폼으로공개되었다. 2015년 8월에는 HMKTA 2.0이공개되었고 Finer granularity arbitrary directional intra prediction (67 intra modes), Multi-Parameter Intra (MPI), Intra Coding Improvement, Adaptive Motion Vector Resolution (AMVR), Frame Rate Up-Conversion (FRUC) mode, Bi-directional Optical Flow (BIO), Local Illumination Compensation (LIC), Adaptive Secondary Transform, Enhanced CABAC (ecabac) 등의부호화툴이추가되어 AI, RA, LDB에서각각 10.9%, 17.9%, 14.8% 의부호화효율향상을획득하였다. Article 1 < 표 1. 차세대비디오부호화기술탐구를수행한 JVET 회의현황 > MPEG Meeting Date City Released JEM Version MPEG ~10.21 Geneva JEM 1.0 MPEG ~2.26 San Diego JEM 2.0 MPEG ~6.01 Geneva JEM 3.0 MPEG ~10.21 Chengdu JEM 4.0 MPEG ~1.20 Geneva JEM 5.0 MPEG ~4.7 Hobart JEM 6.0 MPEG ~7.21 Torino JEM 7.0 < 그림 2. 차세대비디오부호화를위한 JEM 버전별기존 HEVC 대비 Random Access 부호화효율과복잡도현황 [6]> 이후 VCEG과 MPEG이 JVET을결성하여 2015년 10월 JEM 1.0이공개되었으며, 이는 Position Dependent Intra Prediction Combination (PDPC), Adaptive Reference Sample Smoothing (ARSS), Mode Dependent Nonseparable Secondary Transform (NSST), Affine Transform Prediction (AFFINE), Quadtree plus Binary OSIA S&TR Journal Vol. 30, No. 3, September

6 Article 1 차세대비디오부호화표준화동향 tree (QTBT) block structure 등의툴을포함시켜 AI, RA, LDB, Low-delay P (LDP) 에서각각 14.2%, 20.8%, 16.7%, 19.9% 의성능향상을보였다. 2016년 3월에공개된 JEM 2.0에서는 AFFINE, OBMC, De-blocking Filter (DBF) 툴간의조율기술과 Non-MPM Intra Mode Coding, 1/16 pel Motion Vector Storage Accuracy에대한기술기고를채택하였으며, AI, RA, LDB, LDP에서각각 15%, 22.9%, 16.9%, 20.0% 의부호화효율향상을이루었다. 2016년 6월에공개된 JEM 3.0에서는 Exploration Experiments (EE) 로진행되었던 QTBT Block Structure 가 HEVC의 Quadtree Structure를대신하여적용되었다. 추가적으로 AFFINE, BIO, Intra Prediction의 MPM 유도, ATMVP, ALF, NSST에대한간소화및개선과함께 64x64 Transform Block에대한 Transform Skip (TS) 툴이적용되어, AI, RA, LDB, LDP에서각각 18.2%, 26.1%, 20.7%, 24.1% 의부호화효율향상을보였다. 2016년 11 월에공개된 JEM 4.0은 QTBT에대한 Parameter 조정과 NSST에서의불필요한중복과정제거, NSST 개선등에대한기술이적용되어, AI, RA, LDB, LDP에서각각 19.3%, 27.9%, 21.7%, 25.2% 의성능향상이이루어졌다 년 2월에공개된 JEM 5.0에서는 Decoder Side Motion Vector Refinement, FRUC, Motion Vector Difference (MVD) coding, ALF에대한개선, Multiple Direct Modes for Chroma Intra Coding, Enhanced Cross-component Linear Model Intra Prediction 등의기술을채택하여, AI, RA, LDB, LDP에서각각 19.7%, 28.6%, 22.1%, 25.6% 의부호화성능향상을이루었다. 한편그림 2와같이 JEM 5.0부터는이전까지증가하고있던복잡도에대해고려하기시작하여복잡도를낮추기위한노력을수행하였다. 2017년 4월에공개된 JEM 6.0 [7] 은 BIO, FRUC, Transform Skip (TS), In-loop Filter의개선등에대한기술을바탕으로 AI, RA, LDB, LDP에서각각 20.2%, 29.1%, 22.4%, 26.1% 의부호화효율향상이이루어졌다. < 그림 3. JVET의 360 비디오부호화를위한프로젝션방법예 > Software (SW) 를발표하고 Common Test Condition (CTC) 를정의하였다. 그림 3은 360Lib가지원하는대표적인프로젝션포맷들을나타낸다. 또한그림 4와같이입력 360 비디오에대한부호화프로젝션포맷변환등을지원하는프레임워크를구성하였고, 성능측정을위한기준도정의하였다. 현재까지 360Lib은 3.0 버전 [8] 까지공개되었다. < 그림 4. JVET의 360 비디오부호화기술을위한프레임워크 [9]> III. 차세대비디오부호화표준화동향 3.1 차세대비디오부호화표준요구사항 JVET 360 비디오기술동향 JVET의 FVC 표준개발을위한기술탐색활동에서 360 비디오부호화기술역시중요사안으로진행되고있다. 360 비디오부호화기술의요구사항으로 30~50% 의비트율감소, VGA 부터 8K 4K 영상포맷지원, HDR과 Wide Colour Gamut (WCG) 등의다양한비디오콘텐츠특성지원, 적응적스트리밍지원등이있으며, 가상현실과기존과다른프로젝션방법등도고려되고있다. JVET은 360 비디오부호화기술을위해다양한프로젝션포맷을지원하는 360Lib < 그림 5. 차세대비디오부호화표준화를위한요구사항 [10]>

7 MPEG에서는 FVC 표준을위한본격적인첫걸음으로 FVC 의요구사항을제시하였다. 그림 5는핵심요구사항들을간략하게나타내고있으며, 가장중요히요구되고있는압축효율은이전 HEVC과동일한인지화질대비 30% 의비트율개선을목표로하고있으며, 객관적무손실압축을지원과함께주관적무손실압축도고려하고있다. 상기요구사항에서, 포맷은직사각형화면과 VGA부터 8K 4K까지의공간해상도를지원해야하며, 레벨에의해규정된수치내에서임의크기의해상도도지원가능해야한다. 프레임율은레벨에의해최대프레임율이명시가능해야하며, 스캐닝방법으로순차주사지원을모든프로파일과레벨에서지원해야한다. 컬러공간및컬러샘플링에대해서 4:2:0 샘플링 YCbCr 컬러공간과컴포넌트별 10 비트입력을지원해야하며, YCbCr/RGB 4:4:4 및 YCbCr 4:2:2 포맷지원, 컬러컴포넌트별 16비트입력지원, 부가채널지원등을포함해야한다. 소스비디오콘텐츠특성에대한요구사항으로는범위가매우넓은비디오특성을포괄하는압축기능지원과적응적스트리밍지원, 시스템계층으로의인터페이스, 콘텐츠검출방법지원등이고려되었다. 인코더와디코더복잡도는새로운표준이이용되는시점에예상사용시간이허용가능한범위이내여야하며, 비트율오버헤드비용관점에서병렬처리지원도고려되었다. 부호화복잡도는기존 HEVC보다 10배또는그이상도수용가능하다. 오류강건성과관련하여네트워크전송을위해비트스트림분할과패키지화가지원되며, 복잡도와코딩효율등의적절한균형, 프레임단위에서의오류강건성지원, 비디오게임을위한오류강건성지원등도고려되었다. 마지막으로다양한기능들과관련하여저지연동작, 임의접근과다중채널서비스에서의빠른채널전환, 가상디코더버퍼모델 (Hypothetical reference decoders, HRDs) 을고려한버퍼모델을지원하며, 저장된비트스트림에서트릭모드와모든프레임의인트라부호화지원도함께요구사항으로고려되었다. 3.2 Call for Evidence JVET의기술탐구활동동안부호화효율향상수치가요구사항에서정의한목표치와근접함에따라제118차 MPEG 표준화회의의 6차 JVET 회의기간중인 2017년 4월 7일최종 CfE[4] 가발행되었다. CfE에서는 SDR, HDR, 360 비디오에대한평가조건및항목에대해정의하고있으며, 각각의평가조건에대한실험영상은 SDR의경우 8 개의 4K 영상과 5 개의 2K 영상, HDR은 5 개의 2K 영상, 360 은 5 개의 8K 영상으로구성하였다. 6차 JVET 회의의 CfE에대해 2017년 7 월에개최된제119차 MPEG 및 7차 JVET 회의에서 SDR, HDR, 360 각각 2, 2, 4 개, 총 8개의 CfE response에대한 평가를진행하였다. SDR 비디오부호화 InterDigital 은 BIO 기술의복잡도간소화를통해표 2 와같 이 JEM 6.0 버전과비슷한부호화효율을획득하면서부 / 복 호화복잡도상당히감소시킨코덱을제안하였다. 삼성의제안 코덱은 context model 초기화, BIO, 화면내부호화의 Fourtap Interpolation Filter, PDPC, ARSS 기술등의개선을통 해표 2 와같은부호화효율향상을보였다. < 표 2. JVET Call for Evidence 의 SDR Category Response 에대한 기존 HEVC 대비 Random Access 부호화효율및복잡도비교 > JEM 6.0 CfE bitmatching [6] InterDigital s SDR CfE Response [11] Samsung s SDR CfE Response [12] HDR 비디오부호화 BD-rate Time Y U V Encoding Decoding -34.3% -46.2% -47.7% 100% 100% -34.2% -46.2% -47.7% 92% 75% -36.2% -42.4% -44.0% - - FastVDO 는입력영상의 Y CbCr 4:2:0 포맷변환방 법을개선하였고, Technicolor 는 Luma-based Cross Component Scaling 기술을바탕으로 Y CbCr 의신호특성 을개선하여표 3 과같이부호화효율을향상시켰다. < 표 3. JVET Call for Evidence 의 HDR Category Response 에대한 기존 HEVC 대비 Random Access 부호화효율비교 > MPEG Meeting tpnsr Y DE100 FastVDO s HDR CfE Response [13] Technicolor s HDR CfE Response [14] PSNRL 100 wpsnr Y wpsnr U wpsnr V -24.0% -41.3% -30.0% -30.0% -54.4% -43.0% -27.9% -39.6% -30.3% -30.4% -55.8% -60.7% Article 1 OSIA S&TR Journal Vol. 30, No. 3, September

8 Article 1 차세대비디오부호화표준화동향 < 그림 6. JVET CfE 360 Category 의 Response 들에서사용된 Projection Format> 360 비디오부호화 Qualcomm은기존 HEVC의플랫폼인 HM 16.15과 360Lib 3.0 기반으로 Adjusted Cubemap Projection (ACP) 포맷을이용하였고, InterDigital은 JEM 6.0과 360Lib 3.0 기반으로 Hybrid Cubemap Projection (HCP) 포맷을이용하였다. 삼성은 SDR 비디오 response에서소개한 JEM 6.0 기반의코덱엔진에서 Compact Icosahedral Projection (ISP) 포맷을이용하였고, 각각의 Response 에서이용된포맷은그림 6과같다. TNO는각프레임을 subsampling하여 4개의서브프레임을생성하고 4개의서브프레임에대해부 / 복호화를진행한후원영상으로복원하는 Polypahse Subsampling을소개하였다. 360 비디오부호화의 Response에대한부호화효율결과는표 4와같다. < 표 4. JVET Call for Evidence의 360 Video Category Response에대한기존 HEVC 대비 Random Access 부호화효율비교 > WS-PSNR (End to End) Y U V Qualcomm s 360 CfE Response [15] -10.7% -6.1% -6.2% 최종 CfP 발행 : 2017년 10월 31일 정식등록기간 : 2017년 11월 1일 ~ 2018년 1월 15일 CfP에대응하는제안기술에대한문서등록 : 2018년 3월중 CfP에대응하는제안기술에대한평가 : 2018년 4월중 Test Model 선택기간 : 2018년 4월 ~ 2018년 10월 최종 FVC 표준화종료 : 2020년 10월 IV. 결론 본고에서는 HEVC 이후새로운비디오부호화기술과관련된 ITU-T SG.16과 MPEG이결성한 JVET의기술탐구동향과차세대비디오부호화표준을위한표준화동향에대해살펴보았다. 차세대비디오부화화기술은주로가상및증강현실, IoT, 8K 비디오, 대형파노라마비디오와같은신흥서비스및시장에서그필요성이제기되었으며, 이에따라 JVET은 SDR과 HDR 뿐만아니라 360 비디오에대해서도표준화를준비하고있다. 현재까지 JVET은 SDR과 HDR, 360 비디오부호화에대한기술탐구진행과함께새로운비디오부호화표준을위한 CfE에대한 Response를통해비디오부호화기술의발전성숙도를확인하였기에, 차세대비디오부호화를위한 CfP를 2017년 10월 31일에발행하고본격적인표준화를시작할예정이다. 그러므로신흥시장을위한영상기술을포함하는차세대비디오표준에대한기술력경쟁은지금가장중요한단계로접어들고있으며, 최종표준화종료시점인 2020년 10월까지전세계의관련기업과연구기관, 대학들의기술력확보를위한노력은지속될것으로판단된다. 이에앞으로펼쳐질차세대비디오부호화표준화에서의국내산학연의선전을기대한다. InterDigital s 360 CfE Response [16] % % % Samsung s 360 CfE Response [17] -29.8% -42.6% -47.3% 3.3 Call for Proposals Call for Evidence의 response 결과를통해 HEVC 이후개발된비디오부호화기술에대한성숙도가새로운비디오부호화표준화를시작하기에충분하다고판단한 MPEG 및 ITU-T SG 16은 2017년 9월제119차 MPEG 회의및제7차 JVET 회의에서 Call for Proposals (CfP) 의 draft를공개하였다 [18]. 이 CfP draft에서기술하고있는새로운 FVC 표준화일정은다음과같다. 08

9 References [1] ITU-T Rec. H.165 and ISO/IEC , High efficiency video coding, Final draft approval Jan [2] Donggyu Sim, Jong-Ki Han, Munchurl Kim, Future Video Coding 기술추적보고서, 2015년 MPEG 포럼기술추적보고서, Dec [3] Algorithm Description of Joint Exploration Test Model 1, Joint Video Exploration Team (JVET) of ITU-T VCEG (Q6/16) and ISO/IEC MPEG (JTC 1/SC 29/ WG11), 1nd Meeting, Geneva, Oct 2015, Doc. JVET-A1001. [4] Joint Call for Evidence on Video Compression with Capability beyond HEVC, Joint Video Exploration Team (JVET) of ITU-T VCEG (Q6/16) and ISO/IEC MPEG (JTC 1/SC 29/ WG11), 6 th Meeting, Hobart, April 2017, Doc. JVET-F1002. [5] J. Chen, Y. Chen, M. Karczewicz, X. Li, H. Liu, L. Zhang, and X. Zhao, Coding tools investigation for next generation video coding, ITU-T SG 16, doc. COM-16-C806, Jan [6] JVET AHG report: Tool evaluation (AHG1), Joint Video Exploration Team (JVET) of ITU-T VCEG (Q6/16) and ISO/IEC MPEG (JTC 1/SC 29/ WG11), 7 th Meeting, Torino, July 2017, Doc. JVET-G0001. [7] Report of AHG3 on JEM software development, Joint Video Exploration Team (JVET) of ITU-T VCEG (Q6/16) and ISO/IEC MPEG (JTC 1/SC 29/ WG11), 7 th Meeting, Torino, July 2017, Doc. JVET-G0003. [8] JVET AHG Report: 360 video conversion software development, Joint Video Exploration Team (JVET) of ITU-T VCEG (Q6/16) and ISO/IEC MPEG (JTC 1/ SC 29/ WG11), 7 th Meeting, Torino, July 2017, Doc. JVET-G0006. [9] JVET common test conditions and evaluation procedures for 360 video, Joint Video Exploration Team (JVET) of ITU-T VCEG (Q6/16) and ISO/IEC MPEG (JTC 1/SC 29/ WG11), 7 th Meeting, Torino, July 2017, Doc. JVET-G1030. [10] ISO/IEC JTC 1/SC 29/WG 11 document N15340, Requirements for a Future Video Coding Standard v1, Jun 2015, Warsaw [11] InterDigital s Response to the SDR Category in Joint Call for Evidence on Video Compression with Capability beyond HEVC, Joint Video Exploration Team (JVET) of ITU-T VCEG (Q6/16) and ISO/IEC MPEG (JTC 1/SC 29/ WG11), 7 th Meeting, Torino, July 2017, Doc. JVET-G0028. [12] Samsung s response to Joint CfE on Video Compression with Capability beyond HEVC (SDR category), Joint Video Exploration Team (JVET) of ITU-T VCEG (Q6/16) and ISO/IEC MPEG (JTC 1/ SC 29/ WG11), 7 th Meeting, Torino, July 2017, Doc. JVET-G0029. [13] FastVDO Response to JVET CfE for HDR, Joint Video Exploration Team (JVET) of ITU-T VCEG (Q6/16) and ISO/IEC MPEG (JTC 1/SC 29/ WG11), 7 th Meeting, Torino, July 2017, Doc. JVET-G0021. [14] CfE response to the HDR category from Technicolor, Joint Video Exploration Team (JVET) of ITU-T VCEG (Q6/16) and ISO/IEC MPEG (JTC 1/ SC 29/ WG11), 7 th Meeting, Torino, July 2017, Doc. JVET-G0022. [15] Qualcomm s response to Joint CfE in 360-degree video category, Joint Video Exploration Team (JVET) of ITU-T VCEG (Q6/16) and ISO/IEC MPEG (JTC 1/ SC 29/ WG11), 7 th Meeting, Torino, July 2017, Doc. JVET-G0023. [16] InterDigital s Response to the 360 Video Category in Joint Call for Evidence on Video Compression with Capability beyond HEVC, Joint Video Exploration Team (JVET) of ITU-T VCEG (Q6/16) and ISO/IEC MPEG (JTC 1/SC 29/ WG11), 7 th Meeting, Torino, July 2017, Doc. JVET-G0024. [17] Samsung s response to Joint CfE on Video Compression with Capability beyond HEVC (360 category), Joint Video Exploration Team (JVET) of ITU-T VCEG (Q6/16) and ISO/IEC MPEG (JTC 1/ SC 29/ WG11), 7 th Meeting, Torino, July 2017, Doc. JVET-G0025. [18] Draft Joint Call for Proposals on Video Compression with Capability beyond HEVC, Joint Video Exploration Team (JVET) of ITU-T VCEG (Q6/16) and ISO/IEC MPEG (JTC 1/SC 29/ WG11), 7 th Meeting, Torino, July 2017, Doc. JVET-G1002. Article 1 OSIA S&TR Journal Vol. 30, No. 3, September

10 Article 1 차세대비디오부호화표준화동향 Biographies 백아람 2012년 : 한밭대학교멀티미디어공학과학사 2014년 : 한밭대학교멀티미디어공학과석사주요관심분야 : 비디오부호화, 병렬프로그래밍 aram98123@naver.com 최상규 1975년 : 단국대학교수학과학사 1981년 : 단국대학교수학과석사 1989년 : 인하대학교수학과박사주요관심분야 : 멀티미디어신호처리 sgchoi@hanbat.ac.kr 최해철 1997년 : 경북대학교전자공학과학사 1999년 : 한국과학기술원전기및전자공학과석사 2004년 : 한국과학기술원전기및전자공학과박사주요관심분야 : 영상통신, 비디오부호화, 패턴인식 choihc@hanbat.ac.kr 10

11 Abstract MPEG-I (Immersive) 표준의하나로포인트클라우드압축 (Point Cloud Coding/Compression) 기술의표준화가시작단계에있다. 비디오와그래픽스부분의접점이 AR/VR 부문에서확대되고있는가운데, 공간상의화소로볼수있는점구름데이터의압축기술에대한표준화에대한요구또한과거그어느때보다높다. 본고에서는점구름압축표준화에대한현재의동향과향후전개방향에대하여소개하고자한다. I. 서론 MPEG-I Point Cloud Coding 표준화 점구름이라고도부르는포인트클라우드는말그대로점들이구름처럼모인형태를의미한다. 포인트클라우드는원래는 3D 모델의획득과정에서추출된샘플들의모임을의미하는말이다. 정교한 3D 모델일수록더많은 3D 포인트들이발생하고이과정에서많은포인트를빠른시간안에저장, 전송, 계산하는과정은전통적으로그래픽스영역에서매우중요한문제이다. 전통적으로포인트클라우드는모델의획득과정에서주로사용되었다. 저장, 전송, 렌더링과정에직접사용하기에는포인트의수가많아빠른처리에부담이되었기때문이다. 이러한문제를해결하기위해등장한모델이 3D 메쉬 (Polygonal Mesh) 다. 하나의면을공유하는여러개의포인트를한개의다각형 ( 대개의경우삼각형 ) 으로표시하는 3D 메쉬표현은포인트개수자체의감소에손쉬운해결책이되었다. 그리고추가적인압축기술을 MPEG에서 3D Mesh Coding이란이름으로표준화하기도하였다. 지난수십년간끊임없지진화하고있는컴퓨팅성능은그래픽데이더처리부문에서도많은변화를가져왔다. 그중하나가메쉬기반의표현에서포인트클라우드를직접사용하는것이다. 과거에는처리과정의복잡도로인해다수의포인트클라우드를사용하는대신메쉬기반의표현을사용해왔다. 그러나키넥트등사용자측면의포인트클라우드획득장 장의선한양대학교 치의대중화와함께포인트클라우드자체를서비스단에서직접사용하는사례가대량으로증가하게되었다. 특히실시간포인트클라우드처리는메쉬표현변환과정에서야기되는문제들 ( 예를들면, Manifold 문제, topology 변환, boundary edge 처리등 ) 이원천적으로차단되어복잡도가문제가되지않는다면매력적인표현으로인식되고있다. 최근포인트클라우드서비스가전통적인그래픽, 게임, AR/VR 등의영역을넘어서서자동차나드론등에탑재된 LIDAR등과같은레이저센서를이용한위치기반서비스의영역으로확대되면서공간상의점기반서비스의중요성이더욱확대되어가고있다. 앞서언급한대로, 포인트클라우드자체의데이터용량을줄이는좋은방법은 Mesh 형태로변환하여처리하는것이다. 그리고, 이러한변환은게임등의기존서비스에서는매우효과적인전략이기도하다. 그러나, 포인트클라우드의사용범위가넓어지면서, 포인트자체의위치가서비스의중요한일부가되는경우, 포인트클라우드데이터의압축은선택이아닌필수요건이되어가고있다. 본기고에서는포인트클라우드압축표준화에관련하여최근 MPEG에서진행중인표준화활동을소개하고, 향후기술의발전동향을살펴보고자한다. 2절에서는먼저주요포인트클라우드기반응용및서비스를소개한다. 3절에서는포인트클라우드의기본데이터구조및파일포맷을소개한다. 4절에서는 CfP를중심으로 MPEG에서진행중인표준화활동에대해소개한다. 그리고 5절에결론으로맺음하였다. II. 포인트클라우드기반응용및서비스 2.1 포인트클라우드획득 포인트클라우드는원래 3D 그래픽모델링의한분야로시작했다. 3D 그래픽모델을만들어내는과정은그래픽아티스트의순수창작아이디어인경우도있지만, 많은경우실물에서직접 3D 기하 (Geometry) 정보를추출하여이를다양한응용해활용하여왔다. 실물에서부터포인트클라우드를획득할수있는방법은그림 1과같이크게능동 (Active) 적인방법 Article 2 MPEG-I Point Cloud Coding 표준화 OSIA S&TR Journal Vol. 30, No. 3, September

12 Article 2 MPEG-I Point Cloud Coding 표준화 과피동 (Passive) 적인방법으로구분된다. [1] 피동적인방식은스테레오영상, 비디오, 음영등과같은주어진영상속의정보를분석하여영상속 3D 기하정보를추출하는방식이다. 우리눈이 3D를인식하는것도피동적인획득방식이라고볼수있다. 피동적인획득방식은부가적인장비가없어도주어진영상에서기하정보를추출할수있다는장점이있지만, 주어진정보로부터획득불가능한영역이 Occlusion과같은영상간간섭으로인해획득에제약이존재한다. 아울러, 상대적인기하정보는추출가능하나실제크기나거리같은절대적인기하정보를추출하는데에는오차가클수있다는단점도존재한다. < 그림 1. 포인트클라우드획득방식의분류예 [1]> 능동적획득방법은레이저광선을쏘고그광선이반사되는시간을계산하는이른바이동시간 (Time-of-Flight) 을계산하여실물과센서간의실측거리를정확하게측정하는방법이다. 센서의특징에따라, 이동시간을계산하는방식, 측정오차, 측정가능거리등이결정된다. 정확한거리를측정할수있다는장점이있지만, 센서를탑재한장비가기존의카메라같이저렴하지만은않다는점에서그동안전문영역에서만사용되어왔다. 마이크로소프트에서게임기 Xbox의 3D 센서로 2010년발표된키넥트등저렴한 3D 획등장치의도입으로대중미디어영역으로확장되고있다. 아울러, Lidar로불리는빛과레이더를결합한형태의능동센서가인공위성, 드론, 차량등의영역에광범위하게응용되면서대량의정밀한포인트클라우드데이터가만들어지고있다. Autonomous Navigation Based on Large-Scale 3D Dynamic Maps MPEG에서정리한서비스시나리오는다시크게문화유산을위한포인트클라우드서비스 ( 그림 2), Interactive/ immersive 포인트클라우드서비스 ( 그림 3), GIS/ Navigation을위한포인트클라우드서비스 ( 그림 4) 의세분야로나눌수있다. < 그림 2. 문화유산을위한포인트클라우드서비스의예 [2]> 2.3 포인트클라우드압축기술의요구사항포인트클라우드를이용한서비스는그용도와사용범위가다양하지만, 몇가지공통점을추릴수있다. 첫번째는무손실및손실압축의필요성이다. 좋은화질의정지영상한장의해상도가 8백만화소 (4Kx2K) 를넘어간다. 8백만개의정지영상한장에는공간상의기하정보는포함되어있지않다. 이미정의된 2차원평면안에스캔오더를따라 8백만화소들이정렬되어있기때문이다. 그런데, 각화소의공간정보가추가적으로압축되어야하고, 화소와화소간의연관성도없어진상태이므로기존의비디오압축과는달리압축에대한더많은연구가필요한상황이다. 2.2 포인트클라우드기반서비스시나리오획득장치의다양성만큼이나획득된포인트클라우드가사용될수있는응용분야또한다양하다. 2016년 MPEG에서정리한문서에따르면다음과같은서비스로정리할수있다. [2] Real-Time 3D immersive telepresence Content VR viewing with Interactive Parallax 3D Free viewpoint Sport Replays Broadcasting Geographic Information Systems Cultural heritage < 그림 3. Interactive/immersive 포인트클라우드서비스의예 [2]> 3D Point Cloud Representation - X, Y, Z: 3D 공간좌표를이른다. 공간좌표는 Voxel화할경우, 최소좌표간격이실제공간의해상도를지칭 12

13 하게된다. 그러나, 현재의표현영역에서는실제공간상의해상도를표현하지않고, 수치로주어진가상공간의영역내에서표현되는값으로표현되어있다. - Attributes ( 예 : colour, reflectance, normal vectors and transparency): 각각의포인트에연결되는색, 반사도, 법선, 투명도등의정보등이공간정보외에추가될수있다. - View-dependent attributes: 대용량포인트클라우드가경량의디바이스에서렌더링되어야하는상황에필요한기능으로, 관찰자의시점, 터미널의렌더링능력등을고려하여필요한추가기능을제공할수있도록하였다. - Time-varying: 움직임이없는정적인 (static) 포인트클라우드와시간적으로변화는 (dynamic) 포인트클라우드를모두포함하여표현하도록하였다. 복원또는가변해상도를적용한 (Scalable) 복원이가능하도록하는기능이다. - View-dependent coding: 데이터의크기, 데이터전송속도, 단말기의계산용량등의제약에따라, 단말기에서한꺼번에포인트클라우드를복원하기어려운경우, 비트스트림의일부에접근하여부분적인전송, 복호화, 복원이가능하도록하는기능이다. - Random Access: 다이나믹포인트클라우드와같이시간에따라변화하는포인트클라우드의경우특정시간의포인트클라우드에비트스트림의구조에따른순차적접근이아닌임의의접근이가능하도록하는기능이다. - Error resilience: 데이터전송시오류를최소화하는기능이다. 포인트클라우드의표현과압축을위한요구사항을앞서살펴보았다. 매우많은요구사항들이있지만, 여기서가장중요한요구사항은압축률이다. 현재, MPEG에서 10월에있을제안서성능평가때중요하게평가하는기준중하나는압축비트율이다. 목표하는비트율은 5 ~ 40 Mbps 구간이다. 이것은포인트클라우드압축에특화된값이라기보다는비디오압축에서사용하는비트율을참고한값이다. Article 2 < 그림 4. GIS/Navigation을위한포인트클라우드서비스의예 [3]> 다음으로, 압축에대한요구사항을정리하면다음과같다. 3D Point Cloud Compression 손실 (Lossy) 압축 : 원격채팅, 게임등의약간의손실이주어져도미디어의화질에크게영향을주지않는다고판단되는경우에기하정보와색등속성값 (Attribute) 이원본과다르게압축되거나생략될수있다. - 무손실 (Lossless) 압축 : 원본데이터의최대품질의재현을가능하게하고자, 원본의데이터정밀도 (Precision) 을최대한잃지않고유지하며, 또포인트의수도원본과같이유지하는것이무손실압축의목표이다. 이때, 부동소수점으로입력된값의경우, 일정범위의임계치 (Tolerance value) 를설정하고해당임계치이내의오차만가능하도록하는유사무손실 (Near Lossless) 압축도무손실의범위로간주하고있다. - Progressive and/or scalable 압축 : 전체비트스트림이다전송되지않거나, 일부만전송되어도포인트클라우드의복원이가능하도록점진적인 (Progressive) 앞서언급한 5 ~ 40 Mbps 서비스가어느정도의압축성능일까? 간단한예를들어보자. 백만개정도의포인트를가진포인트클라우드가기하정보로만표현되고있다고가정하자. 초당 30 프레임을서비스해야하고각축별로 10비트씩표현한다면한포인트는 30비트, 한프레임은 30 Mb, 그리고초당비트율은 900 Mbps가된다. 900 Mbps를 5 ~ 40 Mbps 사이로추가압축하려면 180 ~ 22.5:1의압축이되어야한다. 현재 MPEG에서사용하고있는참조기술은대략 10:1 정도의압축기능을제공한다. 따라서, 향후만들어질표준압축기술은이러한기대성능을맞추어야할것이다. III. 기술표준화현황 본절에서는 MPEG에서진행중인 CFP를중심으로현재의기술표준화상황을설명하겠다. 3.1 MPEG 포인트클라우드압축표준화일정 MPEG에서는표 1과같이포인트클라우드압축기술의표준일정을예정하고있다. 올 10월에 Call for Proposals[5] 에 OSIA S&TR Journal Vol. 30, No. 3, September

14 Article 2 대한제안들에대한평가를진행하고, 작업표준안 (WD) 를만들고 2018년에는표준을최종완성짓는다는계획이다. 일정은표준화의진행에따라좀더긴시간동안진행될확률도높을것으로예상된다. MPEG-I Point Cloud Coding 표준화 Year Month Day < 표 1. 포인트클라우드압축표준화일정 > MPEG meeting City Country Stage Geneva CH Approval of CFP Macao CN Approval of WD San Diego US Approval of CD 3.2 Test Data Ljubljana SI Approval of DIS ?? CA Approval of FDIS 앞에서논의한요구사항에기반하여 MPEG PCC 표준화를 위해서선정된테스트용데이터는표 2 와같다. 크게 Static, Dynamic, Dynamic acquisition 등세가지로분류하고있 다. 그림 5, 그림 6, 그림 7 에각각의범주에따른데이터의유 형을확인할수있다. PCC test data set 은 MPEG website [6] 에서구할수있다. < 그림 5. MPEG PCC Test Data Category 1의예 > 전후의점의수가같고, 압축전후의가장가까운두점들 ( 즉, 압축전점과압축후점 ) 사이의거리가허용오차이내로모두계산되는경우는무손실압축으로평가한다. 3.3 평가조건및방법 - 객관적방법 MPEG PCC CFP에서제시하는제안평가방법은크게객관적방법과주관적방법으로나누어진행될예정이다. 먼저객관적방법을설명하도록하겠다. Test Data에서제시된세개의범주에따라표 2와같이다양한조건으로테스트를진행하고그결과를제안서에보고하도록하고있다. 범주별로다양한테스트를실시하고있지만, 크게세가지범주의테스트로다시분류해볼수있다. 첫번째는무손실기하정보압축, 두번째는손실기하정보압축, 세번째는손실기하정보및색정보압축이다. < 표 2. Category 별실험조건 > < 그림 6. MPEG PCC Test Data Category 2의예 > 점의수가바뀌는경우와허용오차보다점간거리가커지는경우는모두손실압축에해당된다. 압축전후의두점간거리를계산할때크게 Point-to-point ( 점간 ) 거리를측정하는방법과 Point-to-plane ( 점면간 ) 거리를측정하는방법을다사용하여측정한다. 색정보의경우 RGB, YUV 등칼라정보와상관없이 YUV 로변환하고압축전후에최단거리로쌍을이루는점들의색을서로비교하는것으로색의왜곡도를평가한다. 기존의비디오에서사용하는 MSE, PSNR을그대로사용한다. 자세한평가도구및방법에대한설명는웹사이트를잠조하면된다. [7] 14 기하정보의압축은간단히보면원래점의수가압축후에 몇개의점으로줄어드는가하는것과압축된점들이원래의 점들에얼마나가까운가하는두가지로평가할수있다. 압축 < 그림 7. MPEG PCC Test Data Category 3 의예 >

15 3.4 평가조건및방법 - 주관적방법주관적인평가는객관적이지않은평가를의미하는것이아니다. 다만, 평가자의평가가사람마다달라질수있다는것을의미한다. 객관적방법이있음에도주관적화질평가를도입하는것은객관적방법으로만확인하기에는부족하다는판단때문이다. 이미비디오나오디오에도이같은방식이도입되어있기도하다. 다만, 무손실압축의경우는주관적방법없이객관적방법으로만평가한다. 표 3은주관적화질평가를위한테스트데이터와평가기준이다. 표에서처럼, 모든테스트데이터를사용하지않고, Class A와 Class B의일부경우만가려뽑아서시행한다. 각데이터별로모두 4개의압축포인트를설정하고각포인트에가까운기술을모아서참조기술과의성능을비교하게된다. 참조기술은다음절에서자세히설명하기로한다. < 표 3. 주관적화질평가를위한 Test Data와평가기준 > 표 3에서 Point Size는참조기술의압축결과물의렌더링시사용한포인트의 ( 각축당 ) 크기이다. 포인트클라우드결과물의렌더링은사용하는렌더러의성능에따라화질이크게달라질수있다. 이점을고려하여, MPEG에서는그림 8과같이모든압축기술의결과물을렌더링할렌더러를별도로개발하여사용하고있다. [8] 포인트사이즈의결정은해당포인트클라우드압축성능에많은영향을줄수있다. 그림 9에서처럼, 같은포인트클라우드라할지라도포인트의크기가너무작으면포인트와포인 < 그림 8. MPEG PCC Player> < 그림 9. Point Size를달리했을때의복원된결과 > 트사이의공간이노출되고, 너무크면포인트와포인트간의간섭이켜져화질이나빠질수있으므로해당압축기술에가장최적의포인트사이즈를제안자가제안기술에대하여제시하도록하였다. 3.5 주요경쟁기술포인트클라우드압축기술이 MPEG에서표준화하기이전에도이미존재하고는있다. 대표적인기술이 LASzip이라는기술로주로대량의포인트클라우드데이터를 Zip과유사한형태로압축하는기술이다. [9] 이기술이 ZIP에비해더유리한것은스트리밍에더유리하다는것이다. 따라서, 대용량의포인트클라우드데이터를압축하고복원하는데유리하다. 보고된자료에근거하면, 현재 LASzip의압축률은 10:1 수준이다. 물론, 이정도의압축률보다높은압축률을목표로현재 MPEG PCC가진행중이다. 최근 Google의 Draco라는메쉬압축기술이발표되었다. 이기술은메쉬객체를압축하는것이주요목표이지만, 포인트클라우드도압축가능하다고알려져있다. 자세한성능이나정보는아직많이공개되어있지않아정확한성능비교를논하기는어렵다. MPEG에서 Anchor로선택하여사용하는참조기술 [10] 은네덜란드의 CWI에서제안한기술로, 그림 10과같이 Intra/Inter 구조를가지고있다. Intra 압축의경우입력된포인트클라우드를바운딩박스를기반으로 Octree로재구성하고옥트리의노드정보를엔트로피압축을하는방식이다. Inter 압축은이미압축된참조프레임과의유사도를비교하여 Quaternion과 Translation으로참조프레임으로부터의변화치를압축하는 P coding과유사도가적다고판단하여 I coding하는두가지방식이있다. 색정보의경우, 64개의색을모아 8x8 블록화하고이를 JPEG으로압축하는방식을채택하고있다. 참조기술의경우현재대략 10:1 정도에서무리없는압축기술로판단되고있다. 그러나, 현재 PCC가추구하는목표에는미치지못하는만큼 10월에있을제안서리뷰에서더좋은기술들이제안될거라는기대감이있다. Article 2 OSIA S&TR Journal Vol. 30, No. 3, September

16 Article 2 MPEG-I Point Cloud Coding 표준화 향후기술적쟁점 10월에있을제안서평가에서어느정도성능의기술들이발표될지미리예측하는것은어려울것같다. 다만, 10개의기관이제안서를발표하겠다는의향서를지난 7월 MPEG에전했다. MPEG의다른표준코덱의개발역사를고려해보면, 우수하지만비슷한성능을가진코덱몇개가최종경쟁을거쳐검증모델로선택되고, 약 1년간이모델의압축률을개선하는실험을거쳐최종표준으로발전할것으로예상된다. < 그림 10 MPEG PCC 참조기술의 Encoder diagram [11]> PCC CfP에얽힌이야기를하나소개하면, 내용이회차를거듭하면서많이바뀌었다는것이다. 더정확히는내용이더많이늘어났다. 그중에하나가무손실압축에대한논의다. 무손실의개념을영상처럼주어진비트표현에충실한무손실로정의했다가, 입력데이터의반이상이부동소수점표현을쓰고있어서 As Is 무손실의개념이무색해졌다. 그래서, 지금은 Near-lossless까지를무손실에가깝게생각하는개념가지확장이되었다. 향후정확한무손실의개념은표준화와함께정립되어갈것으로보인다. 아직많이논의가되지않은부분가운데하나가바로기하정보와색정보간의비트율배분문제이다. CfP에서는이부분을제안자의임의선택영역으로분류해서문제삼고있지않지만, 향후효율적인 PCC 기반서비스를생각한다면꼭표준화내에서연구되어야할내용이다. 논의가많이이루어지지않은또하나는포인트의저장순서보존에대한것이다. 많은응용서비스에서포인트클라우드내의포인트는저장순서에상관이없다. 그러나일부서비스는저장순서가중요한경우가있을수있다. 만약포인트순서를지켜서압축해야한다면이러한기능을표준이제공할수있을까? 제공할수있다면그비용은추가로얼마나늘어날것인가? 이러한물음역시 PCC 표준화를통해그해답을제시해야할것이다. PCC가기하정보와색정보를압축하는기능을제공하게되면비디오압축에쓰였던많은기술들이응용가능할것으로 보인다. 그래서, 기술의발전속도가기대된다. 충분한기술의숙성이이루어진다면, 실감형미디어의전달기술의하나로충분한자리매김을할것으로보인다. IV. 결론 본고에서는최근 MPEG에서시작하고있는포인트클라우드압축기술의표준화에대한동향을소개하였다. 포인트클라우드의획득기술로시작하여포인트클라우드기반의서비스시나리오를알아보고, 이를바탕으로포인트클라우드압축기술에대한요구사항도살펴보았다. 기술표준화의현황부분에서는 CFP를중심으로평가조건, 테스트데이터, 주요경쟁기술등을요약하고향후에전개될 PCC 표준화에대해나름의의견을제시하였다. Acknowledgement 본연구는미래창조과학부및정보통신기술진흥센터의정보통신. 방송연구개발사업의일환으로하였음 [ , 자율비행을위한포인트클라우드부호화및렌더링기술연구 ] References [1] Weinmann, Martin. Reconstruction and Analysis of 3D Scenes: From Irregularly Distributed 3D Points to Object Classes. Springer, [2] Use Cases for Point Cloud Compression (PCC), ISO/IEC JTC1/SC29/WG11 MPEG2016/N16331, Geneve, June [3] ISO/IEC JTC1/SC29/WG11/M40495, Mobile Mapping System Point Cloud Data from Mitsubishi Electric, Hobart, AU, April, [4] ISO/IEC JTC1/SC29/WG11 MPEG2016/N16330, Requirements for Point Cloud Compression, Geneve, June [5] ISO/IEC JTC1/SC29/WG11 MPEG2016/N16330, Call for Proposals for Point Cloud Compression, Geneve, January [6] Point Cloud Compression: Data set and anchors, pointcloud/cfp.

17 [7] Point Cloud Compression: objective evaluation, Part16-Animation_Framework_eXtension_(AFX)/ trunk/3dgraphics/3dg-pcc/tags/cfp/distortion/ [8] PCC player, MPEG-04/Part16-Animation_Framework_ extension_(afx)/trunk/3dgraphics/3dg-pcc/tags/ CfP/player/ [9] Isenburg, Martin. "Laszip." Photogrammetric Engineering & Remote Sensing 79.2 (2013): [10] PCC Anchor Software, repos/mpeg-04/part16-animation_framework_ extension(afx)/trunk/3dgraphics/3dg-pcc/tags/ cfp [11] Mekuria, Rufael, and Pablo Cesar. "MP3DG- PCC, open source software framework for implementation and evaluation of point cloud compression." Proceedings of the 2016 ACM on Multimedia Conference. ACM, Article 2 Biographies 장의선 1991년 : 전북대학교전자계산기공학과학사 1996년 : SUNY at Buffalo, 전기및컴퓨터공학박사 2002년 ~ 현재 : 한양대학교컴퓨터소프트웨어학부교수주요관심분야 : Image/Video/Graphics Media Compression esjang@hanyang.ac.kr OSIA S&TR Journal Vol. 30, No. 3, September

18 Article 3 Omnidirectional MediA Format 및몰입형미디어전송표준동향 이장원 LG Electronics Omnidirectional MediA Format 및몰입형미디어전송표준동향 Abstract VR (Virtual Reality) 콘텐츠획득과소비가가능한사용자디바이스들이널리보급되고있는가운데, MPEG (Moving Picture Experts Group) 에서는전방향미디어 (omnidirectional media) 의획득, 공유및전송을위한 OMAF (Omnidirectional MediA Format) 와, 몰입형미디어전송기술표준화를활발히진행하고있다. 본고에서는 OMAF와몰입형미디어전송표준의기술전반과표준동향, 그리고향후전망에대해소개하고자한다. I. 서론 최근 HMD (Head Mount Display) 와 360도카메라의사용이보편화되면서, 전방향미디어를이용한몰입형미디어서비스기술에대한관심이높아지고있다. CG (Computer Graphics) 에서주로사용되던 VR 콘텐트처리기술들이실제촬영, 획득가능한실사영상에까지확대되어사용되기시작하면서, 사용자들은전방향미디어를손쉽게획득, 소비할수있게되었다. 이러한미디어시장과기술의움직임속에 MPEG은다양한디바이스와플랫폼간에전방향미디어의공유, 유통을원활히위해, 전방향미디어저장포맷기술인 OMAF (Omnidirectional MediA Format) 와 DASH (Dynamic Adaptive Streaming over HTTP), MMT (MPEG Media Transport) 기반전방향미디어전송기술표준화작업을진행하고있다. 본고는최근활발히진행중인 OMAF와몰입형미디어전송표준의기술전반과표준화동향에대해소개하고자한다. II장에서는본표준들의요소기술에대해전반적으로살펴볼것이다. III장에서는표준화동향과향후전망에대해소개하며, IV 장에서결론을맺는다. II. OMAF 및몰입형미디어전송표준기술개요 2.1 OMAF 표준기술 OMAF는전방향미디어서비스를위한저장포맷표준으로, 기존의 2D (2-dimensional) 미디어처리를위한획득, 압축, 저장, 전송을위한요소기술들을기반으로설계되고있다. 또한, 전방향이미지, 비디오처리를위한새로운프로세싱단계들과여기에필요한메타데이터들을기술범주로포함한다. 그림 1은 OMAF 콘텐트의동작흐름을 end-to-end 관점에서도시하여보여주고있다. < 그림 1. OMAF 콘텐트동작흐름도 [1]> 전방향미디어는오디오센서와카메라들로부터획득된다. 일반적으로전방향비디오, 이미지는여러대의카메라로부터획득되며, 획득된이미지를하나로연결하는스티칭 (stitching), 3D 공간상의전방향이미지를정해진포맷의사각형픽처에투영하는프로젝션 (projection) 과정을거치게된다. 다양한프로젝션포맷들이연구 / 개발되고있으며, OMAF는현재시장에서보편적으로사용되는 Equi- Rectangular Projection (ERP), Cube Map Projection (CMP) 을지원하고있다. 그림 2, 그림 3은각각 ERP, CMP 18 < 그림 2. Equi-Rectangular Projection (ERP) [2]>

19 흐름에따라변화하는시점, 뷰포트관련데이터들을제공하고있다. 전방향미디어는 HEVC, MPEG-H Audio 등의규격으로부호화되며, 앞서설명한메타데이터들과함께 ISO base media file format [3] 기반의파일포맷에저장된다. 저장된 < 그림 3. Cube Map Projection (CMP) [2]> 파일은파일기반서비스, II.2절에서설명될 DASH, MMT 기반의전방향미디어전송및스트리밍을통해사용자에게전에서의프로젝션방법을도시하여보여주고있다 [2]. 달된다. 그림 4. 에서와같이프로젝션의결과물인프로젝티드픽처사용자디바이스에서는전달된파일을파싱 (parsing) 하여 (projected picture) 는선택적으로리전와이즈패킹 (regionwise packing) 과정을거칠수있다. 이과정에서프로젝티호화한다. HMD 등의출력장치를통해복호화된미디어데이미디어데이터와메타데이터를추출하고, 미디어데이터를복드픽처를구성하는영역들의위치, 크기및방향을변형시터와메타데이터를통해전방향미디어를 3D 공간에복원하킬수있으며, 전체적인압축효율을높이거나, 특정뷰포트고, head/eye tracking을통해사용자시점에해당되는전방 (viewport) 에해당하는영역의해상도를다른영역에비해높향미디어의부분을몰입감있는형태로사용자에게제공하게게처리함으로서사용자시점기반프로세싱에사용될수있된다. 도록픽처의구성을가공하여팩트픽처 (packed picture) 를전방향비디오의압축과전송에있어서많은관심을받고생성한다. 또하나의기술요소는사용자시점기반프로세싱 (viewport dependent processing) 이다. 전방향비디오의특성상사용자는항상전체비디오의일부에해당하는뷰포트만을시청하고있으므로, 뷰포트에해당하는일부분에해상도, 대역폭등의자원을집중하여사용한다면, 프로세싱효율을향상시킬 < 그림 4. 리전와이즈패킹 (region-wise packing) [1]> 수있을것이다. 그림 6. 은 MCTS (Motion-Constrained Tile Set) 와이외에도 OMAF는그림 5. 와같이스티칭, 프로젝션, 리 SHVC (Scalable extension of HEVC) 을이용한사용자시전와이즈패킹에걸친팩트픽처생성과정에있어서, 3차점기반프로세싱의예를보여준다. 저화질의 base layer 원공간의회전 (rotation) 정도와전방향콘텐트의시야범위는전체비디오를부호화하고, 고화질의 enhancement (coverage) 를시그널링할수있는메타데이터를제공한다. layer는전체비디오를 MCTS로분할하여부호화한다. 이러한메타데이터를이용하여, 중심점 (center point) 위치 Enhancement layer는사용자의뷰포트에따라해당 MCTS 이동을통한압축효율향상, 360도이하의비디오콘텐트지만전송, 복호화된다. 사용자시점에상관없이항상제공되는원등다양한콘텐트형태와목적을갖는전방향미디어어플저화질의 base layer는사용자시점이동과실제뷰포트이리케이션서비스가가능하도록하고있다. 미지가사용자에게보여지기까지의지연시간 (Motion-tophoton latency) 에사용자에게제공될수있어, 사용자경험악화를최소화할수있다. < 그림 5. 팩트픽쳐생성을위한프로세싱단계 [1]> OMAF는미디어데이터의프로세싱과관련된메타데이터뿐만아니라, 전방향어플리케이션서비스에서의사용자경험향상을위한타임드메타데이터 (timed-metadata) 를제공하고있다. 초기시점 (initial viewpoint), 추천뷰포트 (recommend viewport) 와같이전방향미디어의재생시간 < 그림 6. MCTS와 SHVC를이용한사용자시점기반프로세싱의예 [1]> Article 3 OSIA S&TR Journal Vol. 30, No. 3, September

20 Article 3 Omnidirectional MediA Format 및몰입형미디어전송표준동향 2.2 몰입형미디어전송표준기술 MPEG에서는 OMAF 표준과연계하여, 몰입형미디어의전송및스트리밍을지원하기위한기존전송기술과 OMAF의접목방안이논의되고있다. DASH AhG (Add-hoc Group) 에서는 IP/TCP 환경에서사용자시점기반화질 / 대역폭적응적전방향미디어서비스를제공하기위한 DASH-VR 표준화를수행중이다. 현재 DASH-VR은 3 DoF (Degrees of Freedom) 를지원하는전방향미디어의전송표준화에집중하고있으며, 관련요구사항을토대로고화질 VR전송에대한 Core Experiment (CE) 가진행중이다. 그림 6. 에도시된바와같이, DASH를통한 OMAF 전송을위해전방향미디어전송관련메타데이터지원을위한 DASH MPD (Media Presentation Description) 확장방안과, head/eye tracking을통해사용자시점에해당하는 DASH segment의선택적송수신방안이논의되고있다. < 그림 7. DASH를통한 OMAF 콘텐트전송 > MMT AhG에서는 IP/UDP 환경에서전방향미디어를사용자시점, 제작자시점기반으로효율적으로전송하기위한 MMT-VR 표준화를수행중이다. 모바일환경에서의 FoV (Field of View) 스트리밍및웹환경에서의타일드미디어스트리밍을 MMT 기반으로지원하기위한세션컨트롤등 MMT 개선사항에대한 CE가진행중에있다. 그림 7. 에도시된바와같이, MMT를통한 OMAF 전송을위해전방향미디어전송관련메타데이터생성과, head/eye tracking을통해사용자시점에해당하는 MMTP Flow의효율적송수신방안이논의되고있다. < 그림 8. MMT 를통한 OMAF 콘텐트전송 > III. 기술표준화현황 OMAF 표준화는 Oculus Rift, 삼성 Gear VR 등의 HMD가대중화되기시작했던 2015년 10월, 스위스제네바에서열린 115차 MPEG 회의에서시작되었다. 당시이미시장에전방향미디어서비스및디바이스가보급되어있었기때문에이들을위한공통의어플리케이션포맷제정을위한 MPEG-A MAF (Media Application Format) 의부속표준으로 OMAF를표준화하는것으로참여사들의의견이모아졌다. 이후 3 DoF 기반의전방향미디어저장및전송규격에대한요구사항과기술규격설계를위한논의들이본격적으로이어졌고, 2016년 10월중국청두에서개최된 116차 MPEG 회의에서는 3DoF 기반의저장, 전송규격표준뿐만이아니라, 6 DoF를지원하는몰입형미디어를위한 Systems, Visual, Audio, Graphics를포괄하는 MPEG-I 표준제정의장기적계획이수립되었다. MPEG-I는현재 OMAF 의 3 DoF를시작으로, 3 DoF+, Omnidirectional 6 DoF, Windowed 6 DoF, 6 DoF와같이사용자가경험할수있는시각적자유도에대한개념을세분화하여 2021년까지의표준화작업을계획하고있다 [4]. OMAF는이후 MPEG-I의부속표준으로이동하게되었고, 2017년말까지 3 DoF 표준화완료라는 MPEG-I의계획에따라표준화작업의속도를높여, 2017년 1월에 Committee Draft (CD), 4월에 DIS (Draft International Standard), 7월에는 Study of DIS를발간하였으며, 10월마카오에서개최될 120차 MPEG 회의에서 FDIS (Final Draft International Standard) 발간을앞두고있다. 최근의 MPEG 회의에서는 3 DoF 기반의현재의 OMAF 를 OMAF version 1으로규정하였고, 2017년이후에도 20

21 MPEG-I의계획에맞춰 3 DoF+ 등을지원하는 OMAF version 2 표준화작업이계속될것이다. OMAF version 2 에서는사용자시점자유도확장과사용자시점기반프로세싱등 OMAF version 1의성능개선및기능확장등의주제가논의될것으로전망된다. Biographies 이장원 2007년 : 경희대학교전자공학과학사 2013년 : 경희대학교전자전파공학과박사 2013년 ~ 현재 : LG전자 CTO부문선임연구원 Article 3 주요관심분야 : image processing, media streaming, broadcasting IV. 결론 jangw.lee@lge.com 본고에서는최근 MPEG 에서활발히작업중인 OMAF 와몰 입형미디어전송기술표준의기술전반과표준화동향에대 해소개하였다 년시작된 OMAF 표준화작업은 3 DoF 지원을위한 version 1 표준화작업이마무리단계에이르고 있다. OMAF 는시장의요구에따라현존하는몰입형미디어 서비스기술을표준에담아내고, 다양한어플리케이션서비 스시나리오지원, 전방향미디어프로세싱효율성증대등향 후몰입형미디어서비스기술의방향에대한전망도제시하 고있다. 소개한표준기술들은 MPEG-I 의표준화계획에발 맞춰 6 DoF 기반몰입형미디어서비스기술제공에이르기 까지지속적으로표준화가진행될것으로전망되며, 앞으로도 관련시장의요구와기술동향을충실히반영하는표준기술 이될것을기대해본다. References [1] ISO/IEC JTC1/SC29/WG11/N16950, Study of ISO/ IEC DIS Omnidirectional Media Format, MPEG 119, July [2] Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 360Lib Software Manual, MPEG 117, Jan [3] ISO/IEC JTC1/SC29/WG11/N15177, Text of ISO/ IEC th edition, MPEG 111, Feb [4] ISO/IEC JTC1/SC29/WG11/N16541, New Work Item Proposal on Coded Representation of Immersive Media, MPEG 117, Jan OSIA S&TR Journal Vol. 30, No. 3, September

22 Article 4 최신 MPEG 오디오표준기술 : MPEG-H 3D Audio Abstract 디지털오디오신호의음질손실을최소화하면서데이터량을줄이기위한오디오압축기술은 1980년대후반부터 MPEG을중심으로기술개발과표준화를진행하고있다. MPEG-H 3D Audio는 MPEG의최신오디오압축표준으로다채널, 다객체, 장면오디오신호에대한부호화기술과함께헤드폰이나다양한스피커배치에따른최적의오디오재생을위한렌더링기술까지를포함하고있다. 본논문에서는 MPEG 오디오압축표준의기본원리및역사와함께 MPEG-H 3D Audio 표준에대해기술한다. I. 서론 최신 MPEG 오디오표준기술 : MPEG-H 3D Audio 이태진, 백승권, 이미숙 Electronics and Telecommunications Research Institute (ETRI) 따라기존 5.1채널서비스를넘어서는새로운오디오서비스에대한시장과사용자의요구가증대되고있다. UHDTV 와같은고화질영상을위한 UHD 오디오서비스는몰입감 (Immersive) 과개인화 (Personalization) 라는키워드로정의할수있다. 몰입감은그림 1과같이수직면까지음상을제공하는다채널 (10.2채널/11.1채널) 오디오기술, 헤드폰환경에서 3D 입체음향을제공하는바이노럴오디오기술등을활용하여기존스테레오 (2.0) 나 5.1채널서비스를넘어서는현장감과사실감을제공해주는것을의미한다 [1]. 개인화는개인의취향에따른오디오제어및선택이가능한서비스로그림 2와같이스포츠중계에서아나운서 / 해설자의목소리만을크게하여좀더명료한방송을청취하거나, 관중과현장의소리를크게하여좀더현장감있는방송을청취 가정과극장에서 4K 와같은고화질영상서비스의확대에 < 그림 1. 다채널오디오스피커구성 > < 그림 2. MPEG-H 3D Audio 서비스 > 22

23 할수있다. 또한다양한해설 / 아나운서음성을제공하여자신이응원하는팀의해설 / 아나운서음성과관중의응원을선택하여청취하거나음악서비스에서오디오객체 ( 가수, 악기등 ) 의위치나레벨을자신의취향에따라변경할수있다 [2][3]. 5.1채널을넘어서는몰입감과객체기반의개인화된오디오서비스를제공하는 UHD 오디오서비스를위한표준기술은 MPEG의 MPEG-H 3D Audio와 Dolby의 AC-4등이있다. 두기술모두몰입감과개인화라는 UHD 오디오서비스를제공할수있지만, 본논문에서는국내지상파 UHDTV를위한오디오표준인 MPEG-H 3D Audio에대해소개하고자한다. II. MPEG 오디오표준 오디오신호의데이터량은초당획득한샘플의수인샘플링율 (Sampling rate) 과채널수 (No. of channel), 획득한샘플을디지털로표현하기위한비트해상도 (Bit resolution) 를이용하여계산할수있다. 예를들어스테레오신호인경우 44,100( 샘플링율 ) 2( 채널수 ) 16( 비트해상도 ) = 1,411,200 bits/sec의데이터량을가지며, UHDTV 를위한다채널오디오인경우 48,000( 샘플링율 ) 16( 채널수 ) 24( 비트해상도 ) = 18,432,000 bits/sec의데이터량을가진다. 데이터량을줄이기위해서샘플링율이나비트해상도를낮추거나채널수를줄이는방법있을수있다. 그러나채널수를줄이면다채널오디오에의한스테레오이미지가약해져서몰입감이저하되고, 샘플링율을줄이면고주파신호가없는대역제한된신호가생성되며, 비트해상도를줄이면양자화잡음이발생한다. 따라서최대한원음의음질을유지하면서데이터량을줄이기위한오디오압축기술이필요하다. 데이터량을최소화하면서음질을최대화하기위한오디오압축기술의기본구조는그림 3과같은형태를가지고있다. 오디오부호화기의경우입력오디오신호를주파수영역 으로변환하고, 심리음향모델을이용하여인간이들을수있는신호와들을수없는신호로구별하고, 들을수있는신호에비트를할당하여압축된비트스트림을생성한다. 오디오복호화기는부호화기의역과정을거쳐서압축된비트스트림입력신호를이용하여복원된오디오신호를생성한다. 오디오압축에대한본격적인연구를시작한 1980년대후반부터다양한오디오압축기술이발전해오고있지만, 그림 3과같은기본적인구조에다채널, 다객체지원이나저비트율지원을위한툴을추가하는구조를가지고있다. MPEG에서는 1992년 MPEG-1 Audio 표준 (ISO/IEC )[4] 을시작으로 2017년하반기표준화가예정되어있는 MPEG-H 3D Audio(ISO/IEC )[5] 까지다양한오디오압축기술에대한표준화를진행해왔다. 그림 4는 MPEG의오디오압축기술에대한역사를간략하게정리한것이다. 1.41Mbps의정보량을가지는 CD의스테레오오디오신호를 192kbps로압축하기위한 MPEG- 1 오디오표준은우리에게 MP3(MPEG-1 Layer 3) 라는표준으로잘알려져있으며, DTV 방송과모바일오디오재생장치등 MPEG 오디오표준중가장성공적으로시장에서서비스되고있다. AAC(Advanced Audio Coding) 라는표준명으로잘알려져있는 MPEG-2 오디오표준 (ISO/IEC ) 은 128kbps로스테레오오디오신호를압축하기위한기술로 DAB, DRM 등에서오디오표준으로서비스되고있다 [6]. 고주파대역이나, 스테레오에대한정보를파라미터로표현하여 64kbps까지스테레오오디오신호를압축하기위한 MPEG-4 오디오표준 (ISO/IEC ) 은 HE-AAC(High-Efficiency AAC) v1/v2로알려져있으며 DVB, DAB 등에서사용되고있다 [7]. 5.1채널과같은다채널오디오서비스가확장되어가면서, 다채널오디오에대한효율적인압축기술에대한시장의요구에따라 MPEG-D MPEG-Surround(ISO/IEC ) 표준이개발되었다 [8]. 또한다객체오디오신호에대한압축기술인 MPEG-D SAOC(ISO/IEC ) 가 2010년에표준화되었다 [9]. < 그림 3. 오디오부 / 복호화기기본구조 > < 그림 4. MPEG 오디오압축기술 > Article 4 OSIA S&TR Journal Vol. 30, No. 3, September

24 Article 4 최신 MPEG 오디오표준기술 : MPEG-H 3D Audio 음성과오디오신호모두에대해우수한음질을제공하는오디오압축기술의개발을위해 MPEG에서는 2007 년 CfP를시작으로표준화를진행하여 2012년 MPEG-D USAC(Unified Speech and Audio Coding) 표준을승인하였다 (ISO/IEC )[10]. III. MPEG-H 3D Audio MPEG의최신오디오압축표준인 MPEG-H 3D Audio는고차다채널오디오신호, 객체기반오디오신호와함께장면기반오디오신호를지원한다. 고차 다채널오디오 (High-order Multichannel Audio): 채널오디오신호는각각의스피커로전달되는음향신호를의미하며, MPEG-H 3D Audio에서는기존 5.1채널뿐아니라 10.2/11.1채널과같은고차다채널오디오신호를지원한다. 객체기반오디오 (Object-based Audio): 채널신호와함께전송되는음향신호로수신단에서특수취급또는사용자상호작용을요구하는음원을의미한다. 예를들어, 별개의음성대화나악기음과같은대화형 (interactive) 객체뿐만아니라, 움직이는비행기, 자동차등비대화형 (non-interactive) 특수효과객체등을포함한다. 장면기반오디오신호 (Scene-based Audio): 음향장면 (Sound Scene) 을공간상에서직교하는데이터로표현한신호를의미한다. HOA(Higher Order Ambisonics) 오디오신호는하나의 Eigen 마이크를이용하여음향장면을획득하고, 스테레오, 5.1/10.2/11.1채널등재생환경에따른최적의입체음향신호를재현할수있는특징이있다. < 그림 5. MPEG-H 3D Audio 부호화기구조 > MPEG에서는이와같은다양한형태의입력신호를처리하기위해그림 5와같이기존의 MPEG 오디오표준기술인 USAC, MPS, SAOC 기술을활용하고장면기반오디오신호의처리를위한 HOA와다양한재현환경에최적화된오디오재생을위한렌더링 (Rendering) 기술을포함하여 MPEG-H 3D Audio 기술을표준화하였다 [11]. 3.1 MPEG-H 3D Audio 압축기술 MPEG-H 3D Audio 압축기술의주요부호화모듈 (Core encoder) 은 USAC 표준에새로운툴을추가한형태를가지고있다. 기존 USAC 과같이오디오신호의특성에따라음성특성신호인경우 LPD(Linear Prediction Domain) 모드, 음악특성신호인경우 FD(Frequency Domain) 모드로구분하여동작하면서다채널오디오신호에대한고음질 / 저비트율부호화를위한 MCT(Multi-Channel Coding) 툴, 저비트율에서고대역신호를생성하기위한 IGF(Intelligent Gap Filling) 툴등을추가하여다채널 / 다객체오디오신호에대한저비트율 / 고음질압축을제공한다. 3.2 MPEG-H 3D Audio 렌더링기술 MPEG-H 3D Audio를활용하여 10.2 채널과같은다채널오디오콘텐츠를제공하더라도모든시청자가 10.2 채널의스피커를정해진표준위치에설치하는것이아니기때문에스테레오, 5.1채널스피커나다른위치에배치된스피커또는헤드폰사용자에게도원제작자의의도에충실한오디오장면을제공할수있어야한다. MPEG-H 3D Audio의주요특징중하나는다양한스피커배치환경과헤드폰에서도최적화된오디오를재현할수있는렌더링기술이다. MPEG-H 3D Audio에서제공하는플렉서블렌더러 (Flexible Renderer) 에는채널, 객체, 그리고장면오디오신호각각을렌더링하는모듈이포함되어있다. 포맷변환기 (Format Converter) 는입력채널과출력채널구성사이의변환장치로원콘텐츠의효과를최대한반영하기위한능동적믹싱 (Dynamic mixing) 을지원한다. 객체오디오신호는객체렌더러를통해특정스피커재생환경에맞게렌더링되고, 장면오디오신호는복호화된채널오디오신호와 HOA 메타데이타를사용하여 HOA 렌더러를통해서특정스피커재생환경에맞게생성된다 [11]. 사용자가헤드폰환경을선호하게된다면 MPEG-H 3D Audio는원콘텐츠의효과를최대한반영할수있도록헤드폰을위한바이노럴기술기반의스테레오오디오신호를생성할수있다. 고차다채널오디오신호를헤드폰을통해재생하기위한바이노럴재현 (Binaural Rendering) 기술은복호화 24

25 기의최종출력신호인다채널오디오신호를 BRIR(Binaural Room Impulse Response) 필터와 Convolution 연산을통해이루어진다. 음질과 3차원음장감에영향을미치는 BRIR 의주파수별잔향시간 (Reverberation Time) 특성은저주파대역이고주파대역에비해상대적으로길며, 주파수대역별로길이가다른특징을가지고있다 ( 그림 6). 따라서주파수대역별로다른길이의 BRIR 필터를사용하게되면, 음질을최적으로유지하면서도 BRIR 필터에필요한연산량을최소가되도록설계할수있다. 마지막으로, MPEG-H 3D Audio에서지원하는기능으로 DRC(Dynamic Range Control) 모듈이있다. MPEG-H 3D Audio는기본적으로다양한포맷의오디오신호를처리한다. 따라서상호간에발생하는오디오신호의레벨차가존재할수있다. DRC의첫번째요구기능은다양한출력오디오포맷사이의레벨차를맞추는것이다. 따라서프로그램별로다양한형태의오디오포맷이존재하더라도최종출력레벨의차이를느낄수없도록 DRC가오디오포맷별로출력레벨을조절할수있어야한다. 기본적으로 DRC 기능은출력신호의레벨을자동적으로일정레벨로맞추어줄수있어야한다. 예를들어, 방송콘텐츠별로상이한오디오레벨로제작되었다하더라도, 사용자단말에서는사용자가개별적으로볼륨을조절하지않아도동일한라우드니스 (loudness) 를가질수있어야한다. 이는최근많은이슈가되어왔던사항으로, 사용자가채널별로혹은콘텐츠별로인지하는라우드니스레벨차이가상이하여시청시, 오디오볼륨을상시조절해야하는번거로움을줄이기위한기술이다. MPEG-H 3D Audio는코덱단에서 DRC를통해라우드니스를제어하여사용자의볼륨조절의번거로움을최소화시킬수있다 [11]. Article MPEG-H 3D Audio 프로파일 < 그림 6. BRIR의주파수대역별잔향시간 > MPEG-H 3D Audio의바이노럴오디오기술은그림 7과같이부호화기의출력신호인 N채널오디오신호를주파수대역별로가변적인길이를가지는 QMF(Quadrature Mirror Filter) 대역의가변차수필터링 (Variable Order Filtering in Frequency-domain) 방법으로 BRIR 필터를적용한다. 특히상대적으로청감상둔감한고주파대역에대해서는하나의이득값과지연값으로만표현되는 TDL(Tapped Delay Line) 을 QMF 밴드에서적용 (QMF-domain TDL) 하여지각되는음질의손상을최소화하면서연산량을줄일수있다. < 그림 7. MPEG-H 3D Audio 바이노럴오디오기술블록도 > MPEG 표준은 RM(Reference Model) 선정이후에도성능향상을위해다양한툴들을추가하기때문에활용분야에따라채널수, 비트율, 사용툴등에대해프로파일로정의한다. 각프로파일은서비스목적에따라제공하는기능및처리가능한채널수를명시하고있다. MPEG-H 3D Audio는그림 8과같이세개의프로파일을지원하며각각의특징은아래와같다 [2]. < 그림 8. MPEG-H 3D Audio 프로파일 > Main 프로파일 : Phase 1에서개발된기술들에대한프로파일로, 복잡도에대한제약사항없이높은몰입감과여러기능을지원하기위해필요한기술들을포함하고있으며, 지원가능한채널수및객체수도제약을두지않고있다. OSIA S&TR Journal Vol. 30, No. 3, September

26 Article 4 최신 MPEG 오디오표준기술 : MPEG-H 3D Audio LC(Low-Complexity) 프로파일 : MPEG-H 3D Audio 가높은몰입감을제공하고다양한기능을지원함으로써새로운오디오코덱형상을제시하였으나, 높은복잡도로인해 Main 프로파일을실제서비스단말에서지원하기는다소부담이될수있다. 이를해결하기위해서 Phase 2 기술개발기간동안에복잡도가낮은기술, 또는기존기술의복잡도를낮춘기술들을표준에반영하였다. LC 프로파일은이러한기술들을조합하여만든프로파일이지만몰입감의수준과제공하는기능은 Main 프로파일과크게다르지않다. High 프로파일 : LC 프로파일이저-복잡도를위한프로파일이기는하지만 Main 프로파일에는기술되지않은새로운기술들을포함하게되었다. 이에따라모든기술들이포함된 High 프로파일을새롭게정의하여 MPEG-H 3D Audio Phase 1과 Phase 2의모든기술들을반영하였다. 일본, 미국, 유럽등에서 UHDTV에대한기술개발과표준화가활발하게진행중에있다. 국내에서는 2015년지상파 UHDTV 방송을위한 700MHz 주파수대역을각방송사가할당받음으로써, 본격적인 UHDTV 방송을위한작업에착수하였다. 국내지상파 UHDTV를위한오디오의경우 Dolby 의 AC-4, MPEG-H 3D Audio, DTS 기술이경합하여, UHDTV 오디오서비스를실현하기위한렌더링기능을포함하고있는 MPEG-H 3D Audio의 LC 프로파일을최종오디오표준으로선정하였다. IV. 결론 본논문에서는 MPEG을중심으로한오디오압축기술의역사와함께 5.1채널을넘어서는몰입감과개인형오디오서비스를제공하기위한 MPEG-H 3D Audio의기술의표준화현황및기술의개요에대해살펴보았다. 국내에서는 MPEG-H 3D Audio LC 프로파일을기반으로최대 16트랙을지원하는 UHDTV 오디오표준을제정하였고, 국내지상파 UHDTV 서비스가시작된 2017년 5월말부터 MPEG-H 3D Audio 복호화기를탑재한 TV가판매중이다. 2018년부터객체기반의개인화방송을먼저시작하고, 가정내에다채널오디오스피커환경이나사운드바등이보급될예정인 2019년이후부터다채널오디오서비스를제공하는단계적접근방법을통해머지않아 UHD 오디오서비스를가정에서제공받을수있기를기대해본다. Acknowledgement 이논문은 2017년도정부 ( 과학기술정보통신부 ) 의재원으로정보통신기술진흥센터의지원을받아수행된연구임 ( , 초실감테라미디어를위한 AV 부호화및 LF 미디어원천기술개발 ) References [1] 이태진외, UHDTV 를위한 10.2채널기반다채널오디오재현기술, 방송공학회논문지제 17권제 5호, 2012년 [2] 이미숙, 백승권, 이태진, UHDTV 방송서비스를위한 MPEG-H 3D Audio 기술, TTA Journal 167호, 2016년 [3] 백승권, MPEG-H 3D Audio 배경및진행과정, 방송과기술, 5 월호, 2016년 [4] ISO/IEC :1993, Information Technology - Coding of moving pictures and associated audio for digital storage media at up to about 1.5 Mbit/s - Part 3: Audio [5] ISO/IEC :2015, MPEG-H (High efficiency coding and media deliver in heterogeneous environments), Part 3: 3D Audio [6] ISO/IEC :2006, Information Technology - Generic coding of moving pictures and associated audio information - Part 7: Advanced Audio Coding(AAC) [7] ISO/IEC :2009, Information Technology - Coding of audio-visual objects - Part 3: Audio [8] ISO/IEC :2007, Information Technology - MPEG Audio Technologies - Part 1: MPEG Surround [9] ISO/IEC :2010, Information Technology - MPEG Audio Technologies - Part 2: Spatial Audio Object Coding(SAOC) [10] ISO/IEC :2012, Information Technology - MPEG Audio Technologies - Part 3: Unified Speech and Audio Coding [11] 이태진, 백승권, UHDTV 를위한차세대오디오표준 : MPEG-H 3D Audio, 한국방송공학회지 21권, 3호, 2016년 26

27 Biographies 이태진 2000년 ~ 현재 : 한국전자통신연구원미디어연구본부전문위원 2015년 ~ 현재 : 과학기술연합대학원대학교 (UST) 부교수주요관심분야 : 오디오신호처리, 부호화, 음향신호인식 tjlee@etri.re.kr Article 4 백승권 2005년 ~ 현재 : 한국전자통신연구원미디어연구본부책임연구원주요관심분야 : 오디오신호처리, 부호화 skbeack@etri.re.kr 이미숙 2004년 ~ 현재 : 한국전자통신연구원미디어연구본부책임연구원주요관심분야 : 음성 오디오신호처리, 부호화 lms@etri.re.kr OSIA S&TR Journal Vol. 30, No. 3, September