31 특집 360VR 및몰입형미디어 몰입형미디어포맷표준화동향 이장원 / LG 전자 요약 VR(Virtual Reality), AR(Augmented Reality) 컨텐츠의획득과소비가가능한사용자디바이스들이널리보급되고있는가운데, MPEG(Moving Picture Experts Group) 에서는몰입형 (immersive) 미디어의압축과포맷, 전송에대한표준제정작업이활발히진행중이다. 본논문에서는몰입형미디어표준프로젝트인 MPEG I와그부속표준의하나이며전방향미디어포맷에대한표준인 OMAF 표준의기술전반과표준동향에대해소개하고자한다. I. 서론 최근 HMD(Head Mount Display) 와 360도카메라등몰입형미디어를처리하는디바이스의사용이보편화되면서, 몰입형미디어서비스기술에대한관심이높아지고있다. CG(Computer Graphics) 기반의컴퓨터게임등에서주로사용되던 VR 컨텐 츠처리기술들이실제촬영, 획득가능한실사영상에까지확대되어사용되기시작하면서, 사용자들은 360도 VR 비디오를비롯한몰입형컨텐츠를손쉽게획득, 소비할수있게되었다. 이러한미디어시장과기술의움직임속에 MPEG 은다양한디바이스와플랫폼간에몰입형미디어의압축, 공유, 유통을원활히하기위해, 몰입형미디어표준프로젝트인 MPEG I(Coded Representation of Immersive Media)[1] 와 360도미디어저장포맷기술인 OMAF(Omnidirectional MediA Format)[2] 표준화작업을진행하고있다. 본고에서는 MPEG I 와그부속표준인 OMAF 의기술전반과표준화동향에대해소개하고자한다. 먼저 II장에서는 MPEG I 의표준화현황과기술개요에대해소개하고, III장에서는 OMAF 의표준화동향및요소기술들에대해설명하며, 마지막 IV장에서향후전망과함께결론을맺는다. 2018 년 10 월 31
344 특집 : 360VR 및몰입형미디어 II. MPEG I 표준화현황및기술개요 2016년 10월중국청두회의에서 MPEG은몰입형미디어를위한차세대 MPEG 프로젝트인 MPEG I(Corded Representation of Immersive Media) 표준화를위한공식활동을시작하였다. 본표준화에서는새로운미디어서비스로대두되고있는 VR과 AR 서비스에활용될수있는몰입형오디오, 비디오, 그래픽스및시스템기술에대한표준화를주요목표로삼고있다. MPEG I 는비디오, 오디오에서시스템요소에이르기까지전체컨텐츠에코시스템을대상으로하는표준기술로구성되며, 360 VR 비디오와 MR(Mixture Reality) 및 6 DoF(6 Degrees of Freedom) 관련컨텐츠를포함한몰입형미디어전체를고려대상으로한다. MPEG I 는총 2단계의 Phase 와 8개의파트로정의되어있고, 각파트마다서로다른표준으로구성되어있다. Phase1 에서는 360도 VR 영상시청시나리오를목표로진행하며 Phase2 는 6축자유도를가질수있는 6 DoF VR 영상도포함을한다. 이를위해각파트별로표준화를착수중에있거나일부는이미진행하고있다. MPEG I 파트 1(Immersive Media Architectures) 은 MPEG I 요구사항이요약된몰입형미디어의주요사용시나리오및아키텍처를정의하며 MPEG I 의전체아키텍처를포함하는기술보고서로구성된다. 기술보고서에는또한 MPEG I 의파트들에서사용되는몰입형미디어와관련된주요용어의정의가포함되어있다. MPEG I 파트 2 표준인 OMAF(Omnidirectional MediA Format) 는 MPEG I 의시스템표준규격이 며몰입형미디어를위한 ISO Base Media File Format(ISOBMFF) 의확장미디어파일포맷규격이다. OMAF 버전 1은전방향 360도비디오의저장및전송을목표로하였으며, 현재표준화가진행중인버전 2에는 3 DoF+ 미디어지원및복수시점 360 비디오, 오버레이, 서브픽처트랙등버전 1 기능의확장이진행중이다. OMAF 의표준화현황및기술개요에대해서는본논문의 III장에서자세히소개한다. MPEG I 파트 3은 MPEG I 몰입형미디어서비스에중요한비디오규격을정의한다. 이를위해 HEVC(High Efficiency Video Coding) 표준이후로 Joint Video Exploration Team(JVET) 을구성하여차기영상압축기술을위한차기코덱표준화작업을시작하고있다. 차기코덱표준은 VVC (Versatile Video Coding) 로명명되어표준화가진행중이다. MPEG 1 파트 4는몰입형오디오를위한규격을정의한다. 이부분에는특히 6 DoF 컨텐츠표현을위해필요한특정오디오압축및재생관련표준이포함된다. 차기오디오압축표준의공식명칭은향후결정될예정이다. MPEG I 파트 5(Point Cloud Coding) 는향후몰입형컨텐츠를구현하기위한핵심기술로예상되는포인트클라우드의압축관련표준을정의한다. 포인트클라우드는영상의색을담는정보와공간상의좌표를담는정보를가진 3차원영상표현방법으로서차기 6 DoF 및 Mixture VR를가능하게하기위한기술로알려져있다. MPEG I 파트 6(Immersive Media Metrics) 에는몰입형미디어생태계전반에걸친사용자경험의품질을정량화하고평가할수있는미디어메트릭목록이포함되어있다. 32 방송과미디어제 23 권 4 호
몰입형미디어포맷표준화동향 345 MPEG I 파트 7(Immersive Media Metadata) 은 MPEG I 의다른파트에서새롭게정의된메타데이터를총괄하는규격파트이다. 특히비디오, 오디오및시스템등여러분야의기술에걸쳐각기다른표준에서공통으로사용될수있는메타데이터의정의를주요한목표로하고있다. MPEG I 파트 8(Network Based Media Processing) 에서는몰입형미디어의네트워크연동을위한인터페이스를정의한다. 특히 6 DoF 컨텐츠의높은데이터량을필요로하는몰입형미디어서비스를위해클라우드와모바일단말간에복잡한계산을나눠처리할수있도록네트워크인터페이스를정의하여전송데이터감소및단말의배터리런타임향상을가능하게한다. MPEG I 타임라인은 3 단계로진행된다. Phase 1a 요구사항은 360도전방향비디오를가능하게하는기술을지원하는반면 Phase 1b 및 Phase 2 요구사항은각각 3DoF+ 및 6 DoF 미디어컨텐츠를지원하는기술을목표로한다. Phase 1a의표준화는지난 2017 년말완료되었고, Phase 1b 시스템및비디오분야에서기술표준화가진행중이며, Phase 2는사용시나리오및요구사항논의중에있고 PCC 등일부시나리오및기술분야에있어서는기술표준화가진행중에있다. 이미시장에 360도미디어서비스및디바이스가보급되어있었기때문에이들을위한공통의어플리케이션포맷제정을위한 MPEG A(Media Application Format) 의부속표준으로 OMAF를표준화하는것으로참여사들의의견이모아졌다. 이후 3 DoF 기반의 360도미디어저장및전송규격에대한요구사항과기술규격설계를위한논의들이본격적으로이어졌고, 2016 년 10월중국청두에서개최된 116차 MPEG 회의에서는 3 DoF 기반의저장, 전송규격표준뿐만이아니라, 6 DoF 를몰입형미디어를위한비디오, 오디오, 그래픽스및시스템기술들을포괄하는 MPEG I 표준제정의장기적계획이수립되었다. OMAF 는이후 MPEG I 의부속표준으로이동하게되었고, 2017 년말까지 3 DoF 표준화완료라는 MPEG I 의계획에따라표준화작업의속도를높여, 2017 년 1월에 Committee Draft(CD), 4월에 DIS(Draft International Standard), 7월에는 Study of DIS를발간하였으며, 10월마카오에서개최된 120차 MPEG 회의에서 FDIS(Final Draft International Standard) 를발간함으로써버전 1 표준화를마무리하였다. 현재 3DoF+ 미디어지원및복수시점 360 비디오, 오버레이, 서브픽처트랙등확장기능을포함하는버전 2 표준화를 2020 년초완료를목표로진행하고있다. III. OMAF 표준화현황및기술개요 2. OMAF 표준기술개요 1. OMAF 표준화현황 OMAF 표준화는모바일과 PC 기반의 HMD가대중화되기시작했던 2015 년 10월, 스위스제네바에서열린 115차 MPEG 회의에서시작되었다. 당시 OMAF 는 360도미디어서비스를위한저장포맷표준으로, 기존의 2D(2 dimensional) 미디어처리를위한획득, 압축, 저장, 전송을위한요소기술들을기반으로설계되고있다. 또한, 360도이미지, 비디오처리를위한새로운프로세싱단계들과여 2018 년 10 월 33
346 특집 : 360VR 및 몰입형 미디어 <그림 1> OMAF 컨텐츠 동작 흐름도 [2] <그림 2> Equi Rectangular Projection (ERP) [3] 기에 필요한 메타데이터들을 기술 범주로 포함한 다양한 프로젝션 포맷들이 연구/개발되고 있으며, 다. <그림 1>은 OMAF 컨텐츠의 동작흐름을 end OMAF는 현재 시장에서 보편적으로 사용되는 to end 관점에서 도시하여 보여주고 있다. Equi Rectangular Projection(ERP), Cube Map 360도 미디어는 오디오 센서와 카메라들로부터 Projection (CMP)을 지원하고 있다. <그림 2>, 획득된다. 일반적으로 360도 비디오, 이미지는 여 <그림 3>은 각각 ERP, CMP에서의 프로젝션 방법 러 대의 카메라로부터 획득되며, 획득된 이미지를 을 도시하여 보여주고 있다. 하나로 연결하는 스티칭(stitching), 3D 공간상의 <그림 4>에서와 같이 프로젝션의 결과물인 프로 전 방향 이미지를 정해진 포맷의 사각형 픽처에 투 젝티드 픽처(projected picture)는 선택적으로 리전 영하는 프로젝션(projection)과정을 거치게 된다. 와이즈 패킹(region wise packing) 과정을 거칠 34 방송과 미디어 제23권 4호
몰입형미디어포맷표준화동향 347 < 그림 3> Cube Map Projection (CMP) [3] < 그림 4> 리전와이즈패킹 (region wise packing) [2] < 그림 5> 팩트픽쳐생성을위한프로세싱단계 [2] 수있다. 이과정에서프로젝티드픽처를구성하는영역들의위치, 크기및방향을변형시킬수있으며, 전체적인압축효율을높이거나, 특정뷰포트 (viewport) 에해당하는영역의해상도를다른영역에비해높게처리함으로써사용자시점기반프로세싱에사용될수있도록픽처의구성을가공하여팩트픽처 (packed picture) 를생성한다. 이외에도 OMAF 는 < 그림 5> 와같이스티칭, 프로 젝션, 리전와이즈패킹에걸친팩트픽처생성과정에있어서, 3차원공간의회전 (rotation) 정도와 360 도컨텐츠의시야범위 (coverage) 를시그널링할수있는메타데이터를제공한다. 이러한메타데이터를이용하여, 중심점 (center point) 위치이동을통한압축효율향상, 360 도이하의비디오컨텐츠지원등다양한컨텐츠형태와목적을갖는몰입형미디어어플리케이션서비스가가능하도록하고있다. 2018 년 10 월 35
348 특집 : 360VR 및몰입형미디어 OMAF 는미디어데이터의프로세싱과관련된메타데이터뿐만아니라, 몰입형어플리케이션서비스에서의사용자경험향상을위한타임드메타데이터 (timed metadata) 를제공하고있다. 초기시점 (initial viewpoint), 추천뷰포트 (recommend viewport) 와같이 360도미디어의재생시간흐름에따라변화하는시점, 뷰포트관련데이터들을제공하고있다. 360도미디어는 HEVC, MPEG H Audio 등의규격으로부호화되며, 앞서설명한메타데이터들과함께 ISO base media file format[4] 기반의파일포맷에저장된다. 저장된파일은파일기반서비스, 본장의후반부에설명될 DASH(Dynamic Adaptive Streaming over HTTP), MMT(MPEG Media Transport) 기반의 360도미디어전송및스트리밍을통해사용자에게전달된다. 사용자디바이스에서는전달된파일을파싱 (parsing) 하여미디어데이터와메타데이터를추출하고, 미디어데이터를복호화한다. HMD 등의출 력장치를통해복호화된미디어데이터와메타데이터를통해 360도미디어를 3D 공간에복원하고, head/eye tracking 을통해사용자시점에해당되는 360도미디어의부분을몰입감있는형태로사용자에게제공하게된다. 360도비디오의압축과전송에있어서많은관심을받고있는또하나의기술요소는사용자시점기반프로세싱 (viewport dependent processing) 이다. 360도비디오의특성상사용자는항상전체비디오의일부에해당하는뷰포트만을시청하고있으므로, 뷰포트에해당하는일부분에해상도, 대역폭등의자원을집중하여사용한다면, 프로세싱효율을향상시킬수있을것이다. < 그림 6> 은두비트스트림과 MCTS(Motion Constrained Tile Set) 를이용한사용자시점기반프로세싱의예를보여준다. 저화질로전체비디오를부호화하여하나의비트스트림을구성하고, 고화질의비디오는 MCTS로분할하여부호화한다. 고화질의비디오는사용자의뷰포트에따라해당 < 그림 6> 두비트스트림과 MCTS 를이용한사용자시점기반프로세싱의예 [2] 36 방송과미디어제 23 권 4 호
몰입형미디어포맷표준화동향 349 MCTS 만전송, 복호화된다. 사용자시점에상관없이항상제공되는저화질의비디오는사용자시점이동과실제뷰포트이미지가사용자에게보여지기까지의지연시간 (Motion to photon latency) 에사용자에게제공될수있어, 사용자경험악화를최소화할수있다. 저장포맷인 OMAF 표준과연계하여, 몰입형미디어의전송및스트리밍을지원하기위한기존전송기술과 OMAF의접목방안또한논의되어 OMAF 표준의일부로포함되었다. DASH 를통한 OMAF 의전송기술은 IP/TCP 환경에서사용자시점기반화질 / 대역폭적응적 360 도미디어서비스를제공하기위한방안들을표준화하였다. < 그림 7> 에도시된바와같이, DASH 를통한 OMAF 전송을위해 360도미디어전송 < 그림 7> DASH 를통한 OMAF 컨텐츠전송 [2] 관련메타데이터지원을위한 DASH MPD(Media Presentation Description) 확장방안과, head/ eye tracking을통해사용자시점에해당하는 DASH segment 의선택적송수신방안이고려되어있다. MMT를통한 OMAF 전송기술은 IP/UDP 환경에서 360도미디어를사용자시점, 제작자시점기반으로효율적으로전송하기위한방안들을표준화하였다. < 그림 8> 에도시된바와같이, MMT를통한 OMAF 전송을위해 360도미디어전송관련메타데이터생성과, head/eye tracking 을통해사용자시점에해당하는 MMTP Flow 의효율적송수신방안이고려되어있다. 현재까지소개한 360도전방향미디어지원을 OMAF 버전 1의기술요소들을기반으로, 기능확장을위한 OMAF 버전 2 표준화가현재진행중에있다. OMAF 버전 2는 3 DoF+ 미디어지원을기본목표로하며, 복수시점 360도미디어, 오버레이, 360 비디오의서브픽처 (sub picture) 등다양한기능을제공하고있다. < 그림 9> 는복수시점 360 비디오서비스의형상을보여주고있다. 하나의 360도비디오시청중사용자의상호작용을통해동일한컨텐츠의다른시점에서획득된 360도비디오로이동할수있다. 경기장의트랙을따라이동하는카메라의예와같이복수시점의 360도비디오지원은고정된카메라시점에서뿐만아니라가변적위치의카메라시점또한지원한다. < 그림 10> 은오버레이가포함된 360도비디오서비스의형상을보여주고있다. 360 비디오에 2D 또는 3D 비디오, 이미지가올려진형태의영상을사용자에게제공할수있으며, 광고, 위치기반서비스등다양한 VR 어플리케이션에서활용이가능하 2018 년 10 월 37
350 특집 : 360VR 및몰입형미디어 F MMT Sending Entity ADC Generator MPEG CI/PI Generator Timed/Non-Timed VR media in MMTP Flow Presentation Information/ Signalling MMTP/UDP MMTP/WebSockets Viewport Feedback Application Signalling Fi MMT Receiving Entity HMD Current Viewport/HMD Information < 그림 8> MMT 를통한 OMAF 컨텐츠전송 [2] < 그림 9> 복수시점 360 비디오지원 [5][6] 38 방송과미디어제 23 권 4 호
몰입형미디어포맷표준화동향 351 < 그림 10> 오버레이가포함되는 360 비디오 [7] 다. IV. 결론 지금까지몰입형미디어표준인 MPEG I 와그부속표준으로서몰입형미디어포맷에대한시스템표준인 OMAF 의표준화동향및기술전반에대 해소개하였다. MPEG I 에서정의하는사용시나리오는 < 그림 11> 과같이다양한몰입환경을포함한다. 표준화가완료된 3 DoF 의 360도전방향비디오와현재표준화가진행중인 3 DoF+ 전방향비디오에서나아가, 앞으로의네이게이션이가능한컨텐츠, Social < 그림 11> MPEG-I 의몰입감단계정의 [2] 2018 년 10 월 39
352 특집 : 360VR 및몰입형미디어 VR 및 6 DoF 서비스를위하여표준화가진행될것이며 MPEG I 는차세대물입형미디어에대한산업계표준이될전망이다. 2015 년시작된 OMAF 표준화작업은 3 DoF 지원을위한버전 1 표준화작업을마무리하고, 3 DoF+ 및다양한사용자경험지원을위한버전 2 표준화작업을활발히진행하고있다. 현재까지 MPEG I 와 OMAF 는시장의요구에따라현존하는몰입형미디어서비스기술을표준에담아내고, 다양한어플리케이션서비스시나리오지원, 전방향미디어프로세싱효율성증대등향후몰입형미디어서비스기술의방향에대한전망도제시하고있다. MPEG I 와 OMAF 는표준화계획에발맞춰 6 DoF 기반몰입형미디어서비스기술제공에이르기까지지속적으로표준화가진행될것으로전망되며, 앞으로도관련시장의요구와최신의몰입형미디어기술동향을충실히반영하는표준기술이될것을기대한다. 참고문헌 참고문헌 [1] ISO/IEC JTC1/SC29/WG11/N17685, Technical Report on Architectures for Immersive Media, MPEG 122, Apr. 2018 [2] ISO/IEC JTC1/SC29/WG11/N17827, WD 2 of ISO/IEC 23090-2 OMAF 2nd edition, MPEG 123, July 2018. [3] Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 360Lib Software Manual, MPEG 117, Jan. 2017 [4] ISO/IEC JTC1/SC29/WG11/N15177, Text of ISO/IEC 14496-12 5th edition, MPEG 111, Feb. 2015. [5] ISO/IEC JTC1/SC29/WG11/M42483, Support of switching between content from different viewpoints, MPEG 122, Apr. 2018 [6] ISO/IEC JTC1/SC29/WG11/M42457, Support of multiple viewpoints, MPEG 122, Apr. 2018 [7] ISO/IEC JTC1/SC29/WG11/M42466, Spatial alignment of OMAF visual content, MPEG 122, Apr. 2018 필자소개 이장원 - 2007 년 : 경희대학교전자공학과학사 - 2013 년 : 경희대학교전자전파공학과박사 - 2013 년 ~ 현재 : LG 전자 CTO 부문선임연구원 - 주관심분야 : image processing, media streaming, broadcasting 40 방송과미디어제 23 권 4 호