초안검토미래미디어분과위원회위원회기술보고서안심의위원회운영위원회 성명소속직위위원회및직위기술보고서번호 미래미디어기술보고서 ( 과제 ) 제안김휘용 ETRI 그룹장분과장윤국진 ETRI 책임미래미디어분과간사이용주 ETRI 책임미래미디어분과위원방건 ETRI 책임미래미디어분과위원정준

Transcription

1 F B M F T e c h i c a l R e p o r t 미래방송미디어표준포럼기술보고서 제정일 : 2017년 12월 19일 몰입형미디어기술및표준화동향 ( 기술보고서 ) A Tred of Immersive Media Stadardizatio (Techical Report) ( 앞표지 )

2 초안검토미래미디어분과위원회위원회기술보고서안심의위원회운영위원회 성명소속직위위원회및직위기술보고서번호 미래미디어기술보고서 ( 과제 ) 제안김휘용 ETRI 그룹장분과장윤국진 ETRI 책임미래미디어분과간사이용주 ETRI 책임미래미디어분과위원방건 ETRI 책임미래미디어분과위원정준영 ETRI 연구원미래미디어분과위원남승진 KBS 수석미래미디어분과위원유남경 KBS 사원미래미디어분과위원이장원 LG전자선임미래미디어분과위원기술보고서초안작성자황수진 LG전자주임미래미디어분과위원이헌주 MBC 사원미래미디어분과위원유현우 MBC 사원미래미디어분과위원홍순기 SBS 매니저미래미디어분과위원최기호삼성전자책임미래미디어분과위원최광표삼성전자수석미래미디어분과위원 정상권 ( 주 ) 조이펀대표 - 사무국담당김제우 KETI 팀장운영위간사 본문서에대한저작권은미래방송미디어표준포럼에있으며, 미래방송미디어표준포럼과사전협의없이이문서의전체 또는일부를상업적목적으로복제또는배포해서는안됩니다. 본표준발간이전에접수된지식재산권확약서정보는본표준의 부록 ( 지식재산권확약서정보 ) 에명시하고있으며, 이후 접수된지식재산권확약서는미래방송미디어표준포럼웹사이트에서확인할수있습니다. 본표준과관련하여접수된확약서외의지식재산권이존재할수있습니다. 발행인 : 미래방송미디어표준포럼의장발행처 : 미래방송미디어표준포럼 06130, 서울특별시강남구테헤란로 7길 22 신관 1108호 Tel : , Fax : 발행일 :

3 서 문 1 기술보고서의목적 이기술보고서의 1차적인목적은, 최근전세계적으로관심이높아지고있는 360도영상 / 음향콘텐츠등몰입형미디어관련주요산업체및표준화기구의동향을요약 / 정리하고주요이슈및고려사항을제시함으로써, 관련산업종사자및표준화담당자가전반적인사항을쉽고빠르게파악할수있도록하는데있다. 또한이기술보고서의 2 차적인목적은, 몰입형미디어중특히 360 비디오관련기술이 국내표준화추진을할수있을만큼성숙되어있는지분석하기위한기초자료를제공 하는데있다. 본보고서의버전은 1.0 이며 2017 년까지의기술및표준화동향을 360VR 을중심으로 분석하는것을그범위로한다. VR 관련기기 / 서비스 / 표준화동향이시시각각변하는점 을고려하여, 2018 년에최신동향을반영한버전 2.0 을발간할예정이다. 2 주요내용요약 이기술보고서의 5 장에서는몰입형미디어산업체의기술동향을분석한다. 5.1 절및 5.2 절에서는실사기반의 VR 콘텐츠의획득 / 제작및재현기술을장비와단말중심으로 살펴보고, 5.3 절에서는 VR 서비스플랫폼과다양한서비스현황을분석한다. 이기술보고서의 6장에서는몰입형미디어표준화동향을분석한다. 6.1절에서는 MPEG-I 및 JVET 360비디오표준화현황에대해요약하며, 6.2절에서는 DVB의 VR 미디어표준화현황을 CM_VR 그룹의활동을중심으로살펴본다. 또한 6.3절및 6.4절에서는 3GPP 및 IEEE의 VR관련표준화동향을간략히요약한다. 3 인용기술보고서와의비교 3.1 인용기술보고서와의관련성 해당사항없음 3.2 인용표준과본기술보고서의비교표 해당사항없음 i

4 목 차 1 적용범위 1 2 인용표준 1 3 용어정의 1 4 약어 3 5 몰입형미디어산업체동향분석 VR 콘텐츠획득및제작 VR 콘텐츠재현및단말 VR 플랫폼및서비스 24 6 몰입형미디어표준화동향분석 MPEG 표준화동향및전망 DVB 표준화동향및전망 GGP 표준화동향및전망 IEEE 표준화동향및전망 63 7 결론및시사점 VR 콘텐츠획득, 제작, 재현 몰입형미디어표준화 65 부록 Ⅰ-1 지식재산권확약서정보 67 Ⅰ-2 시험인증관련사항 68 Ⅰ-3 본기술보고서의연계 (family) 기술보고서 69 Ⅰ-4 참고문헌 70 Ⅰ-5 영문기술보고서해설서 72 Ⅰ-6 기술보고서의이력 73 ii

5 몰입형미디어기술및표준화동향 (A Tred of Immersive Media Techology ad Stadardizatio) 1 적용범위 이기술보고서는몰입형미디어관련주요산업체및표준화기구의동향을종합하여요 약 / 정리하고주요이슈및고려사항을제시함으로써, 관련산업종사자및표준화담당 자가전반적인사항을쉽고빠르게파악할수있도록한다. 이기술보고서의각절에포함된고려사항및이슈사항, 그리고 7장의결론및시사점은미래방송미디어표준포럼미래미디어분과에참여하고있는내의해당분야전문가의견을참고용으로기재한것으로서, 미래방송미디어표준포럼이나미래미디어분과의공식의견이아님을밝혀둔다. 2 인용표준 [1] [HEVC] ISO/IEC :2015 High efficiecy codig ad media delivery i heterogeeous eviromets-part 2 High efficiecy video codig, [2] [3DAudio] ISO/IEC :2015, High efficiecy codig ad media deliver i heterogeeous eviromets), Part 3: 3D Audio, [3] [AC4] ETSI TS V1.1.1, Digital Audio Compressio (AC-4) Stadard, April, 용어정의 360VR 영상 (360도영상, VR360 영상 ) 하나의영상안에 360도전방향의화소가모두포함된일종의파노라마영상이다. 360 도카메라 (omidirectioal camera) 를사용하여촬영하며, 재생시원하는영역을실시간으로선택하면서볼수있다. HMD(Head Mouted Display) 를착용하고감상하면, 촬영현장에있는듯한몰입감을느낄수있어몰입형영상이라고도부른다. 이와비슷하게, 180도한쪽방향의화소모두를포함하는파노라마영상을 180VR 영상이라고함. 스티칭파노라마영상또는 360VR 영상은여러카메라로촬영한영상들을하나의영상으로이어붙여서만드는데, 이렇게영상여러개의영상을부드럽게잇는작업을스티칭이라고한다. 그리고, 각영상의경계에서스티칭이이루어진점을연결한선을 스티칭라인 이 1

6 라고함. 디지털인터미디어트 (DI, digital itermediate) [ 출처 ] IT 용어사전, 한국정보통신기술협회 촬영단계에서획득한영상의밝기, 색상, 채도등의차이를후반작업에서일치시키는 과정으로, 색보정을비롯한전반적인교정작업을의미. 3 DoF 3 차원좌표계에서원점을중심으로사용자머리회전 (rotatio) 인 Ywa, Pitch, Roll 이허 용된움직임을 3 DoF 혹은 3 자유도라함. 3 DoF+ 3 차원좌표계에서원점을중심으로사용자머리회전이허용된 3 DoF 에더해제한적인 범위내에서사용자의상하 / 좌우 / 앞뒤움직임허용된것을 3 DoF+ 라함. 6 DoF 3차원좌표계에서원점을중심으로사용자머리회전 (rotatio) 인 Yaw, Pitch, Roll이허용된것을 3 DoF(3 자유도 ) 라하며, 3자유도에더하여사용자의상하 / 좌우 / 앞뒤움직임까지광범위한범위에서허용된것을 6 DoF(6 자유도 ) 라함. 포인트클라우드포인트클라우드는 3차원좌표계상에서유한한범위내에서자유롭게군집해있는점들의집합을의미하며각점들은색깔이나밝기값을속성으로갖을수있고이를이용해 3 차원객체를손쉽게표현하는데매우편리하게사용할수있는방식임. 프로젝션포맷 360도비디오는 3차원좌표계기준의구 (Sphere) 에맵핑되어전방위비디오로표현되는데, 이를 360도범위의수평축과 180도범위의수직축으로이루어진 2차원좌표계로투영시켜평면상에다양한형태로 360도비디오를나타낸것을프로젝션포맷이라고함. 일례로프로젝션포맷에는 ERP(Equirectagular projectio) 포맷, CMP(Cube Map Projectio) 포맷, EAP(Equiarea Projectio) 포맷등이있음. 프로젝션포맷팩킹다양한형태의프로젝션포맷을부호화성능이나전송을효과적으로하기위해 2차원평면에영상을재배치시켜는방식을의미함. 일례로프로젝션포맷팩킹에는 3x4 형태의 CMP(Cube Map Projectio) 포맷을수직방향과수평방향의영상으로구분하여 3x2 형태인 Compact CMP로재배치시킨팩킹방식이나 ERP 포맷에서중심에높은해상도를위치하고상하에는낮은해상도로구성한 Regio wise 팩킹방법등이있음. HMD(Head mouted Display) 2

7 사용자의머리에장착한디스플레이장치를통해영상을표시하는장치이다. 자이로센 서를함께탑재하여비행기조정시뮬레이션등에주로사용되었으며, 360VR 영상의시 청및 VR 게임을위한필수장비. 4 약어 3GPP ACP AhG AOP AR AVC CD CE CfE CfP CM CMP CR DASH DIS DoF DTS DVB EAC EAP ERP EST FDIS FoV FPS HDR HEVC HMD HOA IF IPTV ISOBMFF ISP ITU JVET LTE MBMS MCTS MMT MPD MPEG 3rd Geeratio Partership Project Adjusted Cubemap Projectio Adhoc Group Acoustic Overload Poit Augmeted Reality Advaced Video Codig Committee Draft Core Experimet Call for Experimet Call for Proposal Commercial Module Cubemap Projectio Commercial Requiremet Dyamic Adaptive Streamig over HTTP Draft Iteratioal Stadard Degrees of Freedom Dedicated To Soud Digital Video Broadcastig Equi-Agular Cubemap Equal-area Projectio Equi-rectagular Projectio Electroic Sell-Through Fial Draft Iteratioal Stadard Field of View Frame Per Secod High Dyamic Rage High Efficiecy Video Codig Head Mouted Display Higher Order Ambisoics Idustry Forum Iteret Protocol Televisio ISO Base Media File Format Icosahedro Projectio Iteratioal Telecommuicatio Uio Joit Video Exploratio Team Log Term Evolutio Multimedia Broadcast Multicast Services Motio Costaied Tile Set MPEG Media Trasport Media Presetatio Descriptio Movig Picture Experts Group 3

8 MR MTP NGA OHP OMAF PAR PC QoE RoI RSP SDK SDR SEI SHVC SMG SNR SNS SSP STB SVoD TG TM TP ToR TR TS TSP TTA UHDTV VCEG VOD VR W3C WD WG Mixed Reality Motio To Photo Next Geeratio Audio Octahedro Projectio Omidirectioal Media Applicatio Format Project Authorizatio Request Persoal Computer Quality of Experiece Regio of Iterest Rotated Sphere Projectio Software Developmet Kit Stadard Dyamic Rage Supplemetal Ehacemet Iformatio Scalable extesio of HEVC Study Missio Group Sigal to Noise Ratio Social Network Service Segmeted Sphere Projectio Set-Top Box Subscriptio Video o Demad Task Group Techical Module Techical Pleary Terms of Referece Techical Report Trasport Stream Trucated Square Pyramid Telecommuicatios Techology Associatio Ultra High Defiitio Televisio Video Codig Experts Group Video O Demad Virtual Reality World Wide Web Cosortium Workig Draft Workig Group 4

9 5 몰입형미디어산업체동향분석 5.1 VR 콘텐츠획득및제작 360VR 영상은다수의카메라로 360도전방향을동시에촬영한후, 촬영된영상들을하나의영상으로이어붙인 ( 스티칭, stitchig) 영상을말한다. HMD를착용하고시청할경우, 현장에있는듯한몰입감을느낄수있어몰입형콘텐츠라고도부른다. 360VR 영상은크게두가지방식으로제작할수있다. 첫번째는앞서언급한바와같이다수의실사카메라를이용하여촬영한영상들을스티칭하여제작하는방법이있으며, 다른한가지는 3D 그래픽의가상카메라를이용하여 360도전방향영상을렌더링하는방법이있다. 3D 그래픽을이용한방식은인터랙션의유무에따라실시간렌더링방식과후반렌더링방식으로나뉜다. 실시간렌더링은사용자의반응에따라영상이실시간으로반응해야하는콘텐츠제작에적용되며, 대부분의게임콘텐츠가여기에해당한다. 후반렌더링방식은정해진시간흐름에따라 360도가상카메라로전체영상을미리렌더링한후시청하는방식이며, 애니메이션영화가여기에해당한다. 3D 그래픽콘텐츠제작과정에서카메라파라미터등을재설정하고렌더링하면 360VR 영상을얻을수있기때문에, 이미작업이끝난 3D 애니메이션은비교적손쉽게양질의 360VR 콘텐츠로변환할수있다. 360도실사카메라를사용한제작방식은다수의카메라영상을스티칭하는작업과각영상의차이를보정하는작업이주가된다. 스티칭및카메라보정작업은기존의콘텐츠제작단계에는없었던것으로많은시간과비용이소모되어 360VR의확대에장애가되고있다. 이러한단점을극복하기위하여일체형 360도카메라가출시되고있는데, 일체형 360도카메라는복잡한스티칭과정을내부적으로처리하여콘텐츠제작시간과비용을획기적으로줄일수있다. 최근에는좌우한쌍의카메라에 180도어안렌즈를장착하여카메라의앞쪽 180도영상만을촬영하는방식이등장하였다. 180VR 영상은시청확률이낮은뒷면의촬영을포기하는대신에앞쪽영역을고해상도의입체영상으로제작함으로써제작효율성및몰입감을증가시키는목적으로고안되었다 VR 영상제작기술및장비현황이곳에서는실사카메라를이용하여 360VR 영상을획득하는기술과장비현황에대하여알아보고자한다. 상업용 360VR 영상제작에가장많이사용되는카메라는리그 (Rig) 형 360도카메라이다. 리그형 360도카메라는표준화각의범용카메라여러대를특수한리그에장착하는구조이다. 촬영된영상간의스티칭이용이하도록카메라간격을최소화하고있으며, 카메라조작, 영상모니터링등에서차별화된기능들을제공하고있다. 카메라의개수가적을수록스티칭라인이줄어들어촬영및편집이용이하고관리와운용성도좋아진다. 그러나, 카메라수를줄이려면더욱화각이큰광각렌즈를사용해야해서화질이열화되고영상의왜곡이커지는단점이있다. 5

10 ( 그림 5-1) 리그형 360 도카메라 ( 왼쪽 ) 표준렌즈 360 도카메라 (Pro7), ( 오른쪽 ) 광각렌즈 360 카메라 (Etaiya 220 도사용 ) 다수의카메라를장착한리그방식카메라가대중화되기위해서는몇가지개선이이루어져야할필요가있다. 가장우선적으로, 모든카메라의촬영시점을일치시키는동기화솔루션이반드시제공되어야한다. 시간차이에의한각카메라의영상차이는깔끔한스티칭을불가능하게만들기때문이다. 그리고, 제작편의를위해서는각각의카메라에분산된저장매체를통합관리할수있는솔루션을제공해야한다. GoPro는비교적저가의동기화솔루션을제공하고있으며, NEXTVR은자체개발한카메라를 180VR 라이브스트리밍서비스에사용하고있다. ( 그림 5-2) 동기화된 360 도카메라 ( 왼쪽 ) GoPro Omi, ( 오른쪽 ) NEXTVR Ihouse 360 Stereo Camera 6

11 전문콘텐츠제작영역과는별개로일반대중을위한일체형 360도카메라가다수출시되었다. 일체형카메라는 2개이상의렌즈가하나의카메라케이스에내장되어있어사용이편리하며, 가장중요한동기화문제가해결되어있다. 또한, 하나의저장매체에모든카메라영상이녹화되고, 모바일폰등을통한조작및모니터링이가능하다. 현재다수의벤더에서일체형 360도카메라를출시하고있다. ( 그림 5-3) 일체형 360 도 VR 카메라 ( 왼쪽부터 ) 삼성기어 360, LG360, Ricoh Theta V360 일체형 360도카메라는내부적으로동기화가되어있고, 스티칭이필요없으며, 단일저장매체를사용하는등다양한사용편의성으로인해일반인들사이에서많이사용되고있다. 그러나작은렌즈사용으로인해저조도환경에서화질이떨어지기때문에상용콘텐츠제작에사용하기에는한계가있다. HMD 착용환경에서사용자의머리움직임에연동된전방위영상제공만으로는깊은몰입감을느끼기에한계가있다. NEXTVR, Itel TrueVR, VENTAVR 등은이러한한계를인식하고입체 VR 콘텐츠제작및서비스를주요사업으로육성하고있다. NEXTVR과 Itel TrueVR은 360도영상의후면부는대부분의사용자가시청하지않는다는점에착안하여, 후면부영상을포기하고전면부영상을입체로제작하는 180도 3DVR 콘텐츠제작및서비스분야를개척하였으며, 콘텐츠제작을위해 180도 3DVR 카메라를자체개발하였다. NEXTVR은 NBA, 윔블던테니스등다수의주요스포츠이벤트를 180도 3DVR 형식으로생중계하였으며, Itel TrueVR은 MLB 스포츠와제휴하여 180도 3DVR 콘텐츠를서비스하고있다. 2017년 6월구글도 Youtube에 180도 VR 영상을지원한다고공식선언하였 7

12 다. 구글은 180도 VR 콘텐츠에 3D를더하는것이 360도 2DVR 콘텐츠보다경쟁력이있다고판단하고있다. 왜냐하면, 구글이상상하는 180도 3DVR 영상은스티칭이필요없는 180도어안렌즈를사용하는방식으로서콘텐츠제작사들이기존의제작과정에서사용하던대부분의장비를그대로이용할수있기때문이다. ( 그림 5-4) 180 도 3DVR 카메라 ( 왼쪽 ) NEXTVR 180 도카메라, ( 오른쪽 ) Itel TrueVR 180 도카메라 구글은 180도 3DVR 콘텐츠를활성화시키기위하여 LG, Leovo, YI Techology, Z CAM 등다수의제조사와협의하여일체형 180도 3DVR 카메라를 2017년말에출시한다고발표하였다. 3DVR은복잡한스티칭작업으로인해, 몇몇벤더만이제작솔루션을확보하고있는분야인데, 스티칭이필요없는 180도 3DVR 카메라가출시된다면 VR 콘텐츠제작및서비스가보다빨리대중화될것으로기대된다 편집기술및장비현황이곳에서는촬영된 360도영상을편집하고보정하는기술과장비현황을알아본다. 스티칭작업은보통원거리에있는배경을중심으로하게되는데, 스티칭영역에근거리의물체나사람이존재하면이음새부분이잘리는현상이발생하게된다. 8

13 ( 그림 5-5) 스티칭오류보정전, 후 스티칭오류가있는곳은전문적인툴을이용하여해당프레임을수동으로합성하여보정하여야한다. 360도카메라는전방위영상을촬영하기때문에카메라의아래부분에촬영자또는카메라의삼각대가노출될수있다. 이부분은새롭게바닥을만들어합성하거나, 로고를삽입하여덮어준다. ( 그림 5-6) 바닥로고삽입전, 후 각카메라영상의색상, 밝기차이등을보정하기위하여마지막으로디지털인터미디어트 (Digital Itermediate) 작업을수행하다. 360VR 영상은여러개의카메라영상을이어붙여만들기때문에각각의영상의차이는전체영상의완성도를저해하는요소가된다. 특히, 각각의카메라방향이모두다르기때문에, 카메라간의밝기와색상을일치시키는작업이매우중요하다. 9

14 ( 그림 5-7) D.I. 작업전 ( 그림 5-8) D.I. 작업후 이밖에도 360VR 콘텐츠를편집하기위해서 Adobe, Kolor, GoPro, Orah, Mettle 등다 양한벤더에서 360VR 영상에특화된기능들을가진소프트웨어들을출시되고있으며, 이러한기능들은동영상편집프로그램에채용되고있다. 스티칭결과실시간프리뷰 HMD 기기를통한실시간프리뷰 Yaw, Pitch, Roll 방향조정 360 영상안정화 (stabilizatio) 실시간제작및서비스를위한라이브스티칭 스테레오영상편집 360도영상간의트랜지션효과 10

15 5.1.3 오디오콘텐츠획득및제작오디오콘텐츠의획득은일반적으로마이크로폰을통해이루어진다. 기존의채널기반오디오에서는하나이상의모노또는스테레오마이크를활용하여오디오를획득하고, 이를믹싱하여활용하는방법이사용되었다. VR 오디오에서는 360도영상에대응하는공간감있는오디오를획득하는것이이슈가되고있는데, 여전히많은경우에서기존과유사한획득방법이사용되고있으나, VR을위한새로운시도도있다. HOA(Higher Order Ambisoics) 마이크로폰을활용한방법이나, 바이노럴 (biaural) 마이크로폰등이대표적이라할수있다. HOA 마이크로폰은아래의그림과같이장면기반오디오 (Scee based Audio) 를획득하기위한마이크로폰인데, 최근에는 VR 오디오획득을위한소형마이크가출시되고있다. ( 그림 5-9) 다양한 HOA 마이크로폰 HOA는해당공간에서의다양한방향에대한오디오를획득할수있는기술로서, 현장감있는오디오를획득하는것에장점이있어, 실시간전송과같은서비스에서잘활용될수있다. 바이노럴마이크로폰은사람이귀로듣는것과유사한소리를획득하기위한마이크로폰으로서사람머리모양이나귀모형안에마이크로폰을설치하여수음을하는방식이다. 바이노럴마이크로폰은사람의머리전달함수등을획득하는데에많이사용되었는데, 최근 360VR 오디오의획득에도사용되고있다. 머리전달함수의측정등에서는두개의마이크로폰을활용하는방식이일반적이었는데, 사람의머리움직임에대응하기위해여러개의귀를가진마니크로폰이등장하였고, 오큘러스에서만든바이노럴마이크폰이잘알려져있다. 11

16 ( 그림 5-10) 다양한바이노럴마이크로폰 최근에는 VR 콘텐츠를하나의장치에서획득하기위하여카메라와마이크를일체형으로 한장치가선보이고있는데, 대표적인것이 5 개의카메라와 64 개의마이크를하나의장 치로개발한 visisoics 사의 5/64 Audio/Visual Camera 이다. ( 그림 5-11) VisiSoics 5/64 Audio/Visual Camera HOA 기반의오디오나바이노럴오디오의경우획득한신호를후처리과정을거치지않고전송하는것이가능하나, 대부분의오디오는오프라인에서의제작단계를거친후전송된다. 기존의오디오는스테레오, 5.1채널, 7.1채널등과같이채널기반으로저작이되었으며, 현재의 VR 콘텐츠의경우에도대부분이와같은채널기반으로제작이되어있다. 이러한채널기반의오디오제작기법은 360VR 콘텐츠가아닌일반영상용오디오를저작하기위하여사용이되어온것으로 360VR 콘텐츠의제작에는다소의불편함이있을수있다. 최근에는 VR용오디오를더욱쉽게저작할수있는도구가플러그인 (Plug-i) 형태로출시되고있는데, 대표적인것이국내업체인가우디오 (GAudio) 에서개발한 works 이다. 가우디오의 works는 VR용오디오를제작할수있는프로툴즈 (Pro tools) 용플러그인으로서영상의특정위치에오디오음원을위치시키고, 이를시간에따라이동하는것이가능하도록하여, VR용오디오를쉽게저작할수있도록하였으며, 장면기반오디오, 객체기반오디오, 채널기반오디오를모두지원한다. 12

17 ( 그림 5-12) 가우디오의 works 실행화면 ( 출처 ) 이와유사한플러그인으로 AudioEase 의 360pa suite 가있다. 360pa suite 도 360VR 콘텐츠의오디오를제작하는데특화된프로툴즈용플러그인으로서영상장면의 특정위치에오디오객체를위치시키고이동하도록하는것이가능하다. ( 그림 5-13) 360 pa suite 실행화면 ( 출처 ) 이외에도 360VR 오디오저작을위한전용플러그인이출시가되고있으며, 향후더욱많은플러그인이출시가될것으로전망된다. 한편 360VR 전용플러그인으로볼수는없으나, 기존의채널기반저작도구와달리객체오디오를지원하는플러그인이있는데, 이러한플러그인도 360VR 오디오의제작에활용될수있다. 대표적인것으로는 Dolby, DTS, Auro3D 의플러그인이있으며, 국내에서는한국전자통신연구원에서채널오디오와객체오디오를지원하는프로툴즈용플러그인을개발하고있다. 13

18 ( 그림 5-14) VR 오디오제작에활용가능오디오프러그인의예 ( 왼쪽위부터시계방향으로 ) Dolby 플러그인, DTS 플러그인,Auro3D 플러그인, ETRI 플러그인 VR 영상제작사례방송사에서는 360VR 콘텐츠에지속적으로관심을가지고있으며, 실험적인차원에서다양한 360VR 콘텐츠를제작하고있다. 또한, 고화질의 360VR 콘텐츠에서소행성, 미러볼효과등과같이 360VR 영상의특성을반영한클립을추출하여지상파방송콘텐츠제작에사용하는사례도늘고있다. ( 그림 5-15) VR Clip 방송적용 (KBS 쉼터 VR) 14

19 ( 그림 5-16) VR Clip 방송적용 (MBC 복면가왕, 아이돌육상대회, 무한도전, 2017 대선 ) MBC는 8K 이상의고화질 VR을방송에활용하는기법을개발하여사용중이며, KBS는 쉼터VR 이라는프로그램을지상파용콘텐츠와몰입형 VR 콘텐츠로동시에제작하여지상파와인터넷으로각각서비스하였다. 360VR 콘텐츠제작및서비스환경이개선되면서제작관계자들의관심도증가하고있으며, 방송사들의 360VR 콘텐츠제작도서서히늘어갈것으로예상된다. ( 그림 5-17) 360VR 콘텐츠 (KBS 쉼터 VR) 15

20 ( 그림 5-18) 360VR 콘텐츠 (MBC 2016 DMC 페스티벌, 용인대장금파크홍보영상 ) 미국의 NBC 방송사는리우올림픽의하이라이트영상을 360VR 콘텐츠로제작하여서비 스하였으며, NHK 는 2017 년 6 월세계최초로방송과동기화된 360 도비디오 Trumph World 를제작하여방송하였다 고려사항및문제점 360VR 영상은기존의영상에서느낄수없는깊은몰입감을제공할수있기때문에, 차세대미디어로서많은기대를받고있다. 그러나, 360VR 영상이대중화되기위해서는제작, 서비스, 단말등많은부분에서아직까지부족한면이많은것이현실이다. 여기서는제작부분에대한이슈를우선적으로살펴보고자한다. 상업적인 360VR 영상제작이활성화되기위해서는 360도카메라의조작성과화질이우선적으로개선되어야하며, 이를위해서는카메라간의동기가내부적으로구현된안정된형태의일체형카메라가출시되어야한다. 또한, 보다높은몰입감을제공하기위해서는양안입체영상을제작할수있는 360도카메라가필요한데, 입체영상은완벽한스티칭작업이상대적으로더욱어렵다는문제가있다. 입체영상에서스티칭오류에의한양안불일치는심한시각적부작용을초래한다. 몰입감을높이고눈의부작용을최소화하기위해서는스티칭작업이필요없는 180도 3DVR 카메라가현실적인대안이될것으로예상된다. 그러나, 180도 3DVR 카메라도근거리의피사체를촬영할때는가장자리부분에서좌, 우영상의크기차이가발생하기때문에이를개선할수있는방법을모색할필요가있다. 제작, 서비스, 단말에서요구되는모든조건을충족시키는 VR 솔루션은아직까지존재하지않는다. 일례로, 드라마세트를 360도카메라로촬영하면조명과스텝등이노출되어드라마의허구성이드러나는단점이있는반면에, 뉴스나자연다큐멘터리, 드라마현장스케치등사실적전달이중시되는장르에서는조명및스텝이포함되는 360도촬영이오히려장점으로작용할수있다. 이와같이, 360VR 영상은콘텐츠의장르, 촬영장소, 스토리전달방법등다양한요소에따라요구조건과제약사항이달라질수있으므로각각 16

21 을만족시키기위해서는 360도 /180도, 입체 (3D)/ 모노 (2D) 등다양한제작형식이공존할것으로생각된다. 따라서, 다양한형식의 VR 콘텐츠를시청단말에서자동으로인식하고올바로재생하기위해서는제작, 서비스, 단말에서관련메타데이터를표준화하는작업등이함께추진되어야할것으로생각된다. 17

22 5.2 VR 콘텐츠재현및단말 VR 콘텐츠재현 VR 콘텐츠의재현을구성하는요소는크게양안시차를활용하여입체감을느끼게하는 HMD(Head Mouted Display) 의광학장치와사용자에게움직임자유도 (Degree of Freedom) 를제공하기위한움직임정보획득장치로구성된다. ( 그림 5-19) 는대표적인 VR 콘텐츠재현단말인오큘러스리프트와구글카드보드의구성을보여주고있다. 두 VR 콘텐츠재현단말은매우다른특성을가지고있지만, 공통적인요소는디스플레이영상을볼록렌즈로눈에투영하여눈의초점을멀리서잡히게만들어입체감을느끼게한다는것이다. ( 그림 5-19) ( 좌 ) 오큘러스리프트분해도와 ( 우 ) 구글카드보드설계도 위와같이 VR 재현에는영상을재생해주는디스플레이와이를시청자의눈에투영해주는렌즈가필수적으로사용되고있으므로, 디스플레이의화소 (Resolutio) 이슈와렌즈의시야각 (FoV: Field of View) 이슈는 VR 재현품질에있어서중요한요소이다. 현재 VR 재현단말의디스플레이의화소 (Resolutio) 는 < 표 5-1> 에서확인할수있듯이대다수 1080x1200 화소로 PPI(Pixel Per Ich) 로환산하였을경우약 550 PPI 수준이다. 따라서사람의눈이 117,250 PPI 수준인것을감암하면, 현재 HMD를통해제공되는영상은실제사람이눈으로보는영상에비해약 1/30 품질로 VR 콘텐츠를감상하고있는것이다. 이로인해많은사용자들은 VR 콘텐츠의화질에대한불만을제기하고있는것이현실이다. 시야각은한번에볼수있는시야영역을말하며, 눈를고정하였을때인간의시야각은약 110도로 < 표 5-1> 에서확인할수있듯이대다수의 VR 재현단말들은 110도시야각을제공하고있다. 하지만실제 VR 콘텐츠를시청하는경우눈을고정하는경우는거의없으므로, 눈을움직임경우의사람의시야각은좌우약 220도, 상하 90도로확장 [6] 되며, 이를만족하는 VR 재현단말은현재존재하지않는다. 또한강제로 VR 재현단말의시야각을강제로확장한다고하더라도, 평면인디스플레이를볼록렌즈로확대하여보는현재의구조로는렌즈에의한왜곡으로화면이구겨지고어색하게보이는문제가생긴다. 따라서현재의시야각문제를해결하기위해서는렌즈에의한왜곡을최소화하기위한기술연구와함께평면형태의디스플레이를곡면형태의디스플레이로바꾸기위한 18

23 연구도필요할것으로생각된다. < 표 5-1> VR 콘텐츠단말의화소와시야각 주요단말 단말 HTC Vive 소니 Playstatio VR 페이스북오큘러스 Rift Razer OSVR HDK 화소 (per eye) 1080x x x x1200 시야각 단말 삼성기어 VR LG 360 VR HTC Lik 화소 (per eye) 1440x x x1200 시야각 일반적으로사용자머리의움직임을 YAW, Pitch, Roll의 3방향으로정의하는데, 이를 3DoF(Degree of Freedom) 라고한다. 이러한 3DoF는고정된위치에서머리와시선방향을움직여 360VR 영상을시청하는방식으로현재가장일반화되어있는방식이다. 3DoF에깊이정보를추가하여제한된크기의위치자유도를부가한후, 사용자의움직임정보에연동해서 VR 콘텐츠를재현하는방식을 3DoF+ 로정의한다. 마지막으로 3DoF+ 에서위치에대한제한을극복하여사용자의위치이동을자유롭게반영하여콘텐츠를재현하는방식을 6DoF로정의한다. 이후에는각각의자유도정의에따른주요특징과 VR 콘텐츠재현예시를알아보려한다. 3DoF 방식은일반적으로 (1) 파노라마 360도영상, (2) 시점정보획득장치로구성되며 VR 콘텐츠를사용자가원하는시점에서자유롭게시청하는방식으로재현된다. ( 그림 5-20) 3DoF VR(Gear VR) 19

24 3DoF+ 방식은일반적으로 (1) 제한된깊이 360 도영상, (2) 시점정보획득장치, (3) 사용자움직임정보습득장치로구성되며사용자가제한된범위에서시청위치를바꿔 가며 VR 콘텐츠를시청하는방식으로재현된다. ( 그림 5-21) 3DoF+ VR(VR Simulator - ICAROS) ( 출처 ) 6DoF+ 방식은일반적으로 (1) 제한된깊이 360 도영상, (2) 시점정보획득장치, (3) 사용자움직임정보습득장치, (4) 사용자위치정보습득장치로구성되며사용자가자 유롭게이동하면서 VR 콘텐츠를시청하는방식으로재현된다. ( 그림 5-22) 6DoF VR(HTC Vive) < 표 5-2> 자유도에따른 VR 콘텐츠재현방식분류 자유도주요특징서비스 3DoF - 기본적인 360도영상 - 사용자의머리나바라보는시점에대한트래킹 - 사용자가 360도파노라마영상의시점을임의로선택하여시청함. - Youtube VR - Gear VR - Facebook VR 20

25 3DoF+ - 3DoF에깊이정보추가 - 정확한사용자의시점트래킹 - 사용자의움직임검출을위한보조기구사용함. - Oculus Lift - VR Simulator 6DoF - 3DoF+ 에위치정보추가 - 사용자의위치검출을 위한보조기구사용함. - HTC Vive - HTC Lik VR 오디오재현기술최근까지는스테레오, 5.1채널, 7.1채널등과같은정규화된채널기반의오디오가사용되었는데, 최근에표준화가완료된 MPEG-H 3D audio, Dolby 사의 AC4 등에서는채널오디오와함께, 장면기반오디오. 객체기반오디오등이표준에포함되었다. 이러한장면기반오디오및객체기반오디오는 VR 오디오에잘활용될수있는오디오신호규격으로, 최근 VR 재현에적용되고있다. 장면기반오디오의경우최근에야 MPEG-H 3D audio, AC-4 등의표준에포함되기는하였으나, 예전부터규격화가완료되었고, 일부활용이되었던기술이기때문에, You tube, Facebook에서제공하는 VR 플레이어에서는장면기반오디오를입력받아재현하고있다. 그러나, 객체기반오디오의경우새로운기술로서, 방송분야에서는미국과유럽및국내의 UHDTV 표준으로제정이되어단말에서구현이되고있으나, VR 콘텐츠에서는특별한표준이제정되지않은상태로서, 아직활용이잘되지못하고있는상태이다. 앞서소개하였던 Youtube, Facebook 등의 SW 플레이어를제외한대부분의 VR 재현단말은채널기반의오디오만을지원하고있으며, 채널기반오디오재현단말의경우머리움직임에따른오디오의연동도잘지원을하고있지못하는상태이다. 국내에서는 SBS, GaudioLab에서공동개발한안드로이드용앱에서채널기반오디오, 장면기반오디오, 객체기반오디오등으로구성된오디오를재현하고있는데, 헤드트래킹에따른오디오신호의 3차원재현도가능하다. 그러나, 다양한형태의오디오를포함하는 VR 관련오디오표준이없어독자적인규격을사용하고있는상태로, 타콘텐츠와의호환성측면에서는어려움이있는상태이다 VR 콘텐츠단말 VR 콘텐츠단말은디스플레이와각종센서가포함된헤드셋형태 (HMD: Head Mouted Display) 로구성되어있다. 실제시야와유사하게 FOV(Field Of View) 값을설정한후, 머리의움직임에연동하여 360VR 영상을둘러볼수있어, 사용자는현장에있는듯한몰 21

26 입감을느낄수있다. VR 콘텐츠단말은콘텐츠재생과시점제어등을위해대용량연산처리가필수적인데, 이러한연산처리를수행하는주체에따라 PC/ 콘솔연결형과스마트폰장착 / 연결형으로단말유형을분류할수있다. PC/ 콘솔연결형단말은재생과제어를위한연산을 PC/ 콘솔등의외부기기에서처리하고 HMD에서는영상표출과센서측정만을수행하는형태이다. 대표적으로페이스북오큘러스 Rift, HTC Vive, 소니 Playstatio VR이이러한형태의단말유형에속한다. 높은그래픽처리능력을보유하고있는 PC/ 콘솔과사용자의움직임 / 위치정보를정밀하게측정하기위한별도의외부센서를사용하여게임등의분야에서적극활용되고있다. 하지만이러한형태의단말은고가의전용 HMD를구입하여야한다는점, 사용환경설정이복잡하다는점, 그리고휴대성이떨어진다는점에서 VR 콘텐츠를대중화하는데한계가있었다. 반면, 스마트폰을활용하여 VR용콘텐츠를소비하는스마트폰장착 / 연결형단말은비교적저렴한 HMD, 간편한사용환경설정, 그리고높은휴대성을장점으로최근다양한제품들이출시되었다. 이러한스마트폰장착 / 연결형단말은연산, 영상표출과센서측정을모두스마트폰에서수행하는장착형단말과연산만을스마트폰에서수행하고영상표출과센서측정은 HMD에서수행하는연결형단말로분류할수있다. 대표적인장착형단말은삼성기어 VR과구글 Daydream으로전용 HMD에장착하여 VR 콘텐츠를재생한다. 장착형단말은스마트폰을 HMD에장착한후초점조절등의간단한환경설정만을거쳐 VR 콘텐츠를재생할수있다는장점이있지만, 스마트폰자체의발열과무게로인하여사용자가피로감을쉽게느끼는한계점이있다. 따라서최근에는스마트폰장착형단말의사용편의성은유지하면서도, 발열과무게문제를해결하기위해스마트폰연결형단말이제안되었다. 대표적인스마트폰연결형단말은 LG 360 VR과 HTC Lik로두단말모두 HMD의 2종류 ( 자이로, 가속도 ) 센서를통해사용자시점정보를얻는것은동일하지만 HTC Lik의경우 PC/ 콘솔연결형단말과유사하게사용자움직임 / 위치정보를정밀하게습득하기위한외부센서들을가지고있는특징이있다. < 표 5-3> VR 콘텐츠단말 단말형태 주요단말 PC/ 콘솔 연결형 HTC Vive 소니 Playstatio VR 페이스북오큘러스 Rift Razer OSVR HDK 스마트폰 장착 / 연결형 삼성기어 VR 구글 Cardboard 구글 Daydream LG 360 VR HTC Lik 22

27 5.2.4 고려사항및문제점현재 VR 단말은별도의콘텐츠제공플랫폼을제공하고있다. 즉, VR 단말을사용하기위해별도의앱을설치해야하고, 단말은해당앱에종속되어있다. 이러한콘텐츠제공방식은단말이새로출시될때마다콘텐츠수용방식이파편화된다는걸의미하고현재 VR 콘텐츠수가부족한상황에서사용자의만족감을저하시켜 VR 산업전체에부정적인영향을끼치고있다. 이에다양한 VR 단말이웹브라우저라는단일플랫폼을통해 VR 콘텐츠를재현하는것을목표로 WebVR이제안되었다. WebVR은공개사양서로웹브라우저에서 VR 콘텐츠를재생하기위한기능을 API 형태로정의해놓았다. 현재크롬, 파이어폭스마이크로소프트에지브라우저에는 WebVR이적용되어있으며, 별도의앱없이웹브라우저를이용하여 VR 단말에서 VR 콘텐츠시청이가능하다. 하지만실제로는 < 표 5-4> 와같이웹브라우저와 HMD간인터페이스이슈로웹브라우저별로지원하는 VR 단말이나뉘는파편화이슈가남아있다. 이렇듯 VR 산업활성화를위해서는빈약한콘텐츠문제를더욱심화시키는콘텐츠제공방식의파편화를지양하고, 단일플랫폼으로콘텐츠를제공하는 VR 산업계의전환적인판단이필요해보인다. < 표 5-4> WebVR 지원단말현황 웹브라우저 주요단말 Chrome for Adroid 구글 Cardboard 구글 Daydream Firefox for Desktop HTC Vive 페이스북오큘러스 Rift Samsug Iteret 구글 Cardboard 삼성기어 VR 23

28 5.3 VR 플랫폼및서비스 VR 플랫폼 VR 플랫폼은크게콘텐츠를제작개발하는저작도구를제공하는플랫폼 ( 기술플랫폼 ) 과 VR 콘텐츠를사용자에게제공하는서비스환경 ( 유통플랫폼 ) 으로분류된다. 기술플랫폼은대표적으로 Uity와 Ureal Egie 등전문영상기술업체들이선점하는가운데청각, 후각등실감형콘텐츠구현에주력하는기업들도등장하는추세이다. ( 그림 5-23) 기술플랫폼의대표적인예 ( 왼쪽 ) Uity, ( 오른쪽 ) Ureal Egie 유통플랫폼은주로하드웨어별로연동된앱스토어형태로 VR업계선두주자인 Oculus 의 Oculus Store와게임산업강자인 Soy의 Playstatio VR Store가경쟁우위를보유하고있고, Google VR, Vive와연동된 SteamVR 등의기업들이추격하고있다. 국내기업들의동향을보면기술플랫폼은주로해외업체에의존하고있으며소수의기업들이유통플랫폼구축을추진하고있다. 주로통신사들이주축이되어모바일앱을이용한 360도 VR 동영상을서비스하는형태로유통플랫폼사업에진출해있다. ( 그림 5-24) 국내통신 3 사의모바일 360 도 VR 동영상유통플랫폼 ( 왼쪽부터 ) oksusu(skt), 올레 TV 모바일 (KT), LTE 비디오포털 (LG U+) 24

29 또한통신사들은자사의 IPTV를통해 VR 서비스를제공하는유통플랫폼사업도진행하고있다. KT는세계최초로 IPTV에서 TV 리모컨으로즐길수있는 VR 서비스인 올레 tv 360º GIGA VR 서비스를제공하고있으며, VR콘텐츠를리모컨으로상하좌우회전및시야각변경, 확대, 축소를하면서감상할수있다. 이외에도하이퍼VR 서비스인 TV쏙 을서비스하고있으며, 하이퍼 VR은이용자가영상속으로들어가는가상출연기술을뜻하며, 가상현실보단증강현실에가깝다. 이서비스에는실시간객체추출기술, 추출된객체를 TV 주문형비디오 (VOD) 와합성하는실시간합성기술, VOD 영상뒷배경을투명화해캐릭터만추출하는실시간크로마키기술등이적용되었다. SK브로드밴드는 IPTV에서클라우드기술을통해 VR 콘텐츠를즐길수있는 Btv 360VR 서비스를시작, 클라우드기술을활용하여성능에관계없이앞으로펼쳐질 8K 초고해상도 VR 서비스에도대응이가능할것이라는전망이있다. ( 그림 5-25) IPTV 를플랫폼으로한 VR 서비스 ( 왼쪽 ) KT, ( 오른쪽 ) SK 브로드밴드 도 VR 동영상을지원하는 SNS 360도 VR 동영상이보편화되면서이를웹또는모바일앱으로공유할수있는 SNS 서비스또한늘어나고있는추세이다. YouTube, Facebook, 네이버등다양한 SNS 업체들이 360도 VR 동영상공유서비스를지원하고있다. 또한 YouTube는어느기기에서든 360도 VR 동영상을감상할수있도록 Daydream View, Google Cardboard, PlayStatio VR 등다양한플랫폼에서의어플리케이션을개발하여 360도 VR 동영상재생을지원한다. Facebook은누구나쉽게 360도 VR 동영상을실시간스트리밍할수있도록기어360, Ista360, ALLie Camera 등다양한 360도카메라기기와의호환을지원, 실시간스트리밍서비스를제공하고있다. 25

30 ( 그림 5-26) SNS VR 동영상플레이어 ( 왼쪽 ) YouTube, ( 오른쪽 ) Facebook 방송, 미디어분야 VR 서비스방송, 미디어분야에서도다양한 VR 서비스를하고있다. 방송분야에서의 VR 콘텐츠서비스는 5.1.4절을참고하도록한다. 미디어분야의경우국내외유명언론사들이 1~2년전부터앞다투어 VR 저널리즘을표방하며점점콘텐츠를늘려가는추세이다. 살아있는현장을취재하고알린다 는뉴스본연의가치를고려하면 VR은가장효과적으로현장을전달할수있기때문에글과사진만으로는표현하지못했던현장성을무기로대부분의뉴스제작사들이 VR을활용할것이라는연구와전망이나오고있다. < 표 5-5> 언론사의 VR 서비스현황 SBS < 비디오머그 > VR 360 뉴스웹페이지 조선일보 <VR 조선 > VR 뉴스앱 / 유튜브 26

31 연합뉴스 < 통통티비 > VR 날씨리포트 / 유투브 ABC News <ABC News VR> 웹페이지 AP 통신 <AP360> 웹페이지 CNN NEWS <VR CNN> 웹페이지 뉴욕타임즈 <NYT VR> 웹페이지 USA TODAY <VR STORIES> 웹페이지 국내언론사의경우 SBS는 비디오머그 웹콘텐츠채널에 YouTube를기반으로 VR 360 뉴스를제공하고, 국내외뉴스현장, 엔터테인먼트요소등다양한볼거리를제공한다. 연합뉴스는 통통티비 YouTube 웹콘텐츠채널을이용하여날씨리포팅, 뉴스현장을제공하고, 조선일보도이와유사하게 VR조선 모바일앱과 YouTube를통해뉴스현장및이색현장 VR 영상을제공하고있다. 해외언론사의경우 ABC News는 VR 전용페이지를운영하면서다양한 VR 콘텐츠를서비스하고있으며, 그중시리아내전현장과실제로들여다보기힘든체르노빌원전사고현장을촬영한영상이눈에띈다. 그외 BBC, CNN, 뉴욕타임즈, AP 통신, USA TODAY 등해외주요언론사들이 VR 전용페이지와앱을통해다양한뉴스아이템들과시청자들이실제로가기힘든북한현장등을 360 VR 동영상으로제공하고있다 VR 서비스이슈사항 고성능 VR 헤드셋과 360 도 VR 동영상촬영이가능한카메라가등장해가상현실활용에 큰기대를걸게하고있지만, 시장의기대와소비자의수요차가우려되고있다. 현재서 27

32 비스되고있는 VR 서비스들을보면 HMD와같은 VR 장비들의불편함으로인해사용자들이굳이별도의 VR 장비를구비하지않고스마트폰으로 360도 VR 동영상을감상하는정도에그치고있기때문이다. 이는곧콘텐츠가부족해사용자가가상현실의유효성을인식할수없게될가능성이있으며, 향후 VR 산업활성화를위해서는대중적호감도를끌어올리는킬러콘텐츠와장비보급이필수적이라는인식을갖고있다. 28

33 6 몰입형미디어표준화동향분석 6.1 MPEG 표준화동향및전망 MPEG에서는 2016년 10월중국청두회의에서 MPEG-I(Immersive) 표준화를위한공식활동을시작하였으며, 본표준화에서는새로운미디어서비스로대두되고있는 VR/AR 서비스에활용될수있는몰입형오디오 / 비디오에대한표준화를주요목표로삼고있다. 본절에서는이와관련된 MPEG-I, OMAF, Video, Audio에대한표준기술동향과진행상황에대해각각서술하였다 MPEG-I 개요 MPEG-I (ISO/IEC Coded Represetatio of Immersive Media) 는몰입형미디어에대한 MPEG 차세대프로젝트를말한다. 비디오, 오디오에서시스템요소에이르기까지전체컨텐츠에코시스템을대상으로하는표준기술로구성된프로젝트이며, 360 VR(Virutal Reality) 비디오와 MR(Mixture Reality) 및 6DoF (Degrees of Freedom) 관련컨텐츠를포함한몰입형미디어전체를고려대상으로한다 표준화기술동향 ( 그림 6-1) MPEG-I 단계별 Part 구성 MPEG-I는총 2 단계의 Phase와 8 개의 Part로정의되어있고, 각 Part 마다서로다른표준으로구성되어있다. Phase1에서는 360도 VR 영상시청시나리오를목표로진행하며 Phase2는 6축자유도를갖을수있는 6DoF VR 영상도포함을한다. 이를위해각 Part 별로표준화를착수중에있거나일부는이미진행하고있다. 29

34 Part 1: Immersive Media Architectures MPEG-I Part 1은 MPEG-I 요구사항이요약된몰입형미디어의주요사용시나리오및아키텍처를정의하며 MPEG-I의전체아키텍처를포함하는기술보고서로구성된다. 기술보고서에는또한 MPEG-I의 Part에서사용되는몰입형미디어와관련된주요용어의정의가포함되어있다. Part 2: Omidirectioal Media Format (OMAF) MPEG-I Part 2 표준인 OMAF는 MPEG-I의시스템표준규격이며몰입형미디어를위한 ISO Base Media File Format (ISOBMFF) 의확장미디어파일포맷규격이다. OMAF 버전 1은전방향 360도비디오의저장및전송을목표로하였으며, 향후버전에는 3DoF+ 및 6DoF 시나리오를지원하기위해표준이확장될예정이다. Part 3: Immersive Video MPEG-I Part 3는 MPEG-I 몰입형미디어서비스에중요한비디오규격을정의한다. 이를위해 HEVC (High Efficiecy Video Codig) 표준이후로 Joit Video Exploratio Team (JVET) 을구성하여차기영상압축기술을위한차기코덱표준착수를추진하고있다. Part 4: Immersive Audio MPEG-1 Part 4 는몰입형오디오를위한규격을정의한다. 이부분에는특히 6DoF 컨 텐츠표현을위해필요한특정오디오압축및재생관련표준이포함된다. Part 5: Poit Cloud Compressio MPEG-I Part 5는향후몰입형컨텐츠를구현하기위한핵심기술로예상되는포인트클라우드의압축관련표준을정의한다. 포인트클라우드는영상의색을담는정보와공간상의좌표를담는정보를가진 3차원영상표현방법으로서차기 6DoF 및 Mixture VR를가능하게하기위한기술로알려져있다. Part 6: Immersive Media Metrics MPEG-I Part 6 에는몰입형미디어생태계전반에걸친사용자경험의품질을정량화하 고평가할수있는미디어메트릭목록이포함되어있다. Part 7: Immersive Media Metadata MPEG-I Part 7 은 MPEG-I 의다른 Part 에서새롭게정의된메타데이터를총괄하는규격 파트이다. Part 8: Iterfaces for Network Media Processig MPEG-I Part 8 에서는몰입형미디어의네트워크연동을위한인터페이스를정의한다. 특히 6DoF 콘텐츠의높은데이터량을필요로하는몰입형미디어서비스를위해클라우 30

35 드와모바일단말간에복잡한계산을나눠처리할수있도록네트워크인터페이스를정 의하여전송데이터감소및단말의배터리런타임향상을가능하게한다 표준화진행상황 MPEG-I 타임라인은 3 단계로진행된다. Phase 1a 요구사항은 360 전방향비디오를가능하게하는기술을지원하는반면 Phase 1b 및 Phase 2 요구사항은각각 3DoF+ 및 6DoF 미디어컨텐츠를지원하는기술을목표로한다. 현재진행상황은 Phase 1a 는완료되었고, Phase 1b는요구사항정의중이며, Phase 2는사용시나리오및요구사항논의중에있다. < 표 6-1> 진행상황 단계 목표및현황 완료일정 Phase 1a OMAF v1 (360도 VR) 17년말 ( 완료 ) Phase 1b OMAF v2 (3DoF+) 요구사항논의중 19년말 Phase 2 6DoF 사용시나리오및요구사항논의중 21년말 향후전망및일정 MPEG-I에서정의하는사용시나리오는아래그림과같이다양한몰입환경을포함한다. 3DoF의 360도전방향비디오, 3DoF+ 전방향비디오를시작으로, 네이게이션이가능한컨텐츠, Social VR 및 6DoF 서비스를위하여표준화가진행될것이며 MPEG-I는차세대물입형미디어에대한산업계표준이될전망이다. ( 그림 6-2) MPEG-I 몰입감단계정의 31

36 6.1.2 OMAF Versio 1 OMAF는전방향미디어파일포맷표준으로, 2015년표준화작업을시작하여현재 3 DoF 지원을위한 OMAF versio 1 표준화의마무리시점에있다. OMAF는시장의요구에따라현존하는몰입형미디어서비스기술을표준에담아내고, 다양한어플리케이션서비스시나리오지원, 전방향미디어프로세싱효율성증대등향후몰입형미디어서비스기술의방향에대한전망도제시하고있다. OMAF 표준화는 Oculus Rift, 삼성 Gear VR 등의 HMD가대중화되기시작했던 2015년 10월, 스위스제네바에서열린 115차 MPEG 회의에서시작되었다. 당시이미시장에전방향미디어서비스및디바이스가보급되어있었기때문에이들을위한공통의어플리케이션포맷제정을위한 MPEG-A MAF (Media Applicatio Format) 의부속표준으로 OMAF를표준화하는것으로참여사들의의견이모아졌다. 이후 3 DoF 기반의전방향미디어저장및전송규격에대한요구사항과기술규격설계를위한논의들이본격적으로이어졌고, 2016년 10월중국청두에서개최된 116차 MPEG 회의에서는 3DoF 기반의저장, 전송규격표준뿐만이아니라, 6 DoF를몰입형미디어를위한 Systems, Visual, Audio, Graphics를포괄하는 MPEG-I 표준제정의장기적계획이수립되었다. MPEG-I 는현재 OMAF의 3 DoF를시작으로, 3 DoF+, Omidirectioal 6 DoF, Widowed 6 DoF, 6 DoF와같이사용자가경험할수있는시각적자유도에대한개념을세분화하여 2021년까지의표준화작업을계획하고있다. OMAF는이후 MPEG-I의부속표준으로이동하게되었고, 2017년말까지 3 DoF 표준화완료라는 MPEG-I의계획에따라표준화작업의속도를높여, 2017년 1월에 Committee Draft (CD), 4월에 DIS (Draft Iteratioal Stadard), 7월에는 Study of DIS를발간하였으며, 10월마카오에서개최된 120차 MPEG 회의에서 FDIS (Fial Draft Iteratioal Stadard) 가발간되었다 표준기술개요 OMAF는전방향미디어서비스를위한저장포맷표준으로, 기존의 2D (2-dimesioal) 미디어처리를위한획득, 압축, 저장, 전송을위한요소기술들을기반으로설계되고있다. 또한, 전방향이미지, 비디오처리를위한새로운프로세싱단계들과여기에필요한메타데이터들을기술범주로포함한다. 다음그림은 OMAF 콘텐트의동작흐름을 ed-to-ed 관점에서보여주고있으며, 이러한동작흐름속에다음의기술요소들을포함함다. 32

37 ( 그림 6-3) OMAF 콘텐트동작흐름도 스티칭 (stitchig), 프로젝션 (projectio) 전방향미디어는오디오센서와카메라들로부터획득된다. 일반적으로전방향비디오, 이미지는여러대의카메라로부터획득되며, 획득된이미지를하나로연결하는스티칭 (stitchig), 3D 공간상의전방향이미지를정해진포맷의사각형픽처에투영하는프로젝션 (projectio) 과정을거치게된다. 다양한프로젝션포맷들이연구 / 개발되고있으며, OMAF는현재시장에서보편적으로사용되는 Equi-Rectagular Projectio (ERP), Cube Map Projectio (CMP) 을지원하고있다. 다음그림들은각각 ERP, CMP에서의프로젝션방법을보여주고있다. ( 그림 6-4) Equi-Rectagular Projectio (ERP) 33

38 ( 그림 6-5) Cube Map Projectio (CMP) 리전와이즈패킹 (regio-wise packig) 프로젝션의결과물인프로젝티드픽처 (projected picture) 는선택적으로리전와이즈패킹 (regio-wise packig) 과정을거칠수있다. 이과정에서프로젝티드픽처를구성하는영역들의위치, 크기및방향을변형시킬수있으며, 전체적인압축효율을높이거나, 특정뷰포트 (viewport) 에해당하는영역의해상도를다른영역에비해높게처리함으로서사용자시점기반프로세싱에사용될수있도록픽처의구성을가공하여팩트픽처 (packed picture) 를생성한다. ( 그림 6-6) 리전와이즈패킹 (regio-wise packig) 좌표계변환 (coordiate coversio) OMAF는스티칭, 프로젝션, 리전와이즈패킹에걸친팩트픽처생성과정에있어서, 3차원공간의회전 (rotatio) 정도와전방향콘텐트의시야범위 (coverage) 를시그널링할수있는메타데이터를제공한다. 이러한메타데이터를이용하여, 중심점 (ceter poit) 위치이동을통한압축효율향상, 360도이하의비디오콘텐트지원등다양한콘텐트형태와목적을갖는전방향미디어어플리케이션서비스가가능하도록하고있다. 34

39 ( 그림 6-7) 팩트 (Packed) 픽쳐생성을위한프로세싱단계 피쉬아이 (fisheye) 비디오피쉬아이비디오는앞서설명한스티칭및프로젝션과정을거치지않고피쉬아이렌즈를통해획득된써큘러이미지 (circlular image) 들을픽처에직접배치하는방식이다. 전방향비디오획득을위해보통두개또는그이상의피쉬아이렌즈와써큘러이미지가사용된다. 앞서설명한 ERP, CMP와는달리비디오의인코딩전에스티칭 / 프로젝션및리전와이즈패킹과정을거치지않으며, 써큘러이미지들이사용자디바이스에직접제공되어스티칭및렌더링되는방식이다. OMAF는이러한피쉬아이비디오의스티칭및렌더링지원을위한피쉬아이비디오파라미터들을제공한다. 타임드메타데이터 (timed-metadata) OMAF는미디어데이터의프로세싱과관련된메타데이터뿐만아니라, 전방향어플리케이션서비스에서의사용자경험향상을위한타임드메타데이터 (timed-metadata) 를제공하고있다. 초기시점 (viewig orietatio), 추천뷰포트 (recommed viewport) 와같이전방향미디어의재생시간흐름에따라변화하는시점, 뷰포트관련데이터들을제공하고있다. 사용자시점기반프로세싱 (viewport depedet processig) 전방향비디오의압축과전송에있어서많은관심을받고또하나의기술요소는사용자시점기반프로세싱 (viewport depedet processig) 이다. 전방향비디오의특성상사용자는항상전체비디오의일부에해당하는뷰포트만을시청하고있으므로, 뷰포트에해당하는일부분에해상도, 대역폭등의자원을집중하여사용한다면, 프로세싱효율을향상시킬수있을것이다. 아래그림은 MCTS (Motio-Costraied Tile Set) 와 SHVC (Scalable extesio of HEVC) 을이용한사용자시점기반프로세싱의예를보여준다. 저화질의 base layer는전체비디오를부호화하고, 고화질의 ehacemet layer는전체비디오를 MCTS로분할하여부호화한다. Ehacemet layer는사용자의뷰포트에따라해당 MCTS만전송, 복호화된다. 사용자시점에상관없이항상제공되는저화질의 base layer는사용자시점 35

40 이동과실제뷰포트이미지가사용자에게보여지기까지의지연시간 (Motio-to-photo latecy) 에사용자에게제공될수있어, 사용자경험악화를최소화할수있다. ( 그림 6-8) MCTS 와 SHVC 를이용한사용자시점기반프로세싱의예 DASH를통한전방향미디어전송 DASH AhG (Add-hoc Group) 에서는 IP/TCP 환경에서사용자시점기반화질 / 대역폭적응적전방향미디어서비스를제공하기위한 DASH-VR 표준화를수행중이다. 현재 DASH-VR은 3DoF (Degrees of Freedom) 를지원하는전방향미디어의전송표준화에집중하고있으며, 관련요구사항을토대로고화질 VR전송에대한 Core Experimet (CE) 가진행중이다. 다음의그림과같이 DASH를통한 OMAF 전송을위해전방향미디어전송관련메타데이터지원을위한 DASH MPD(Media Presetatio Descriptio) 확장방안과, head/eye trackig을통해사용자시점에해당하는 DASH segmet의선택적송수신방안이논의되고있다. 36

41 ( 그림 6-9) DASH 를통한 OMAF 콘텐트전송 MMT를통한전방향미디어전송 MMT AhG에서는 IP/UDP 환경에서전방향미디어를사용자시점, 제작자시점기반으로효율적으로전송하기위한 MMT-VR 표준화를수행중이다. 모바일환경에서의 FoV (Field of View) 스트리밍및웹환경에서의타일드미디어스트리밍을 MMT 기반으로지원하기위한세션컨트롤등 MMT 개선사항에대한 CE가진행중에있다. 다음의그림과같이, MMT를통한 OMAF 전송을위해전방향미디어전송관련메타데이터생성과, head/eye trackig을통해사용자시점에해당하는 MMTP Flow의효율적송수신방안이논의되고있다. ( 그림 6-10) MMT 를통한 OMAF 콘텐트전송 OMAF 프로파일 OMAF 는앞서설명한기술요소들과기존오디오 / 비디오 / 이미지코덱들을기반으로전방 37

42 향오디오 / 비디오 / 이미지서비스를제공하기위한다음과같은프로파일들을제공한다. Ÿ HEVC기반사용자시점독립비디오프로파일 (HEVC-based viewport-idepedet profile) : HEVC Mai 10 profile, Mai tier, Level 5.1 사용 Ÿ HEVC 기반사용자시점기반비디오프로파일 (HEVC-based viewport-depedet profile) : HEVC Mai 10 profile, Mai tier, Level 5.1 사용, viewport-depedet processig을위한 SEI message 및 ISO Base Media File Format 추가제약사항을가짐 Ÿ AVC 기반사용자시점기반비디오프로파일 (AVC-based viewport-idepedet profile : AVC Progressive High profile, Level 5.1 사용 Ÿ 3D 오디오베이스라인프로파일 (3D audio baselie profile) : MPEG-H 3D Audio Low Complexity profile, Level 1-3 사용 Ÿ 2D 2D 오디오레거시프로파일 (2D audio legacy profile) : AAC HE-AAC 또는 HE-AACv2 profile, Level 4 사용 Ÿ HEVC 이미지프로파일 (HEVC image profile) : HEVC Mai 10 profile, Mai tier, Level 5.1 사용 Ÿ 레거시이미지프로파일 (legacy image profile) : JPEG 이미지사용 향후전망및일정 OMAF versio 1 표준화가완료된 2017년이후에도 MPEG-I의계획에맞춰 3 DoF+ 등을지원하는 OMAF versio 2 표준화작업이 2018년말까지계속될예정이다. OMAF versio 2 에서는사용자시점자유도확장과사용자시점기반프로세싱등 OMAF versio 1의성능개선및기능확장등의주제가논의될것으로전망된다. 특히마카오에서개최된 120차 MPEG 회의에서는 OMAF versio 1의 FDIS를발간하는동시에, 서브픽처스트림 (sub-picture) 을이용한사용자시점기반프로세싱기술을 OMAF versio 2에서논의하기로결정하고이에대한 TuC (Techogies uder Cosideratio) 를발간하였고, 새로운프로젝션포맷, 리전와이즈패킷타입및다이나믹리전와이즈패킹등 versio 1에서마무리되지않은기술들을 List of proposed features ad techologies for OMAF amedmet 라는제목의문서로발간하였다. 이러한기술들이잠정적인 OMAF versio 2의표준화항목이될것으로예상된다 Video 2015년 ISO산하 SC29/WG11 MPEG과 ITU산하 Q6/ SG16 VCEG은차세대비디오코딩표준을위한스터디그룹을만들기로합의했다. HEVC 이후새로운비디오코딩을준비하는그룹인 Joit Video Exploratio Team (JVET) 은전통적인 2D 영상을포함하여새롭게등장한영상들또한차세대표준의대상으로하였다. 구체적으로 SDR, HDR, 360 도비디오영상을위한차세대압축표준코덱을위한기술발굴하는것을목표로삼았으며, 지난 2년동안 SDR, HDR, 360도비디오분야에서다양한기술들을수집하여다가올차세대비디오압축표준코덱을준비하였다. 38

43 지난 2017년 10월마카오미팅에서 SC29/WG11 MPEG과 ITU산하 Q6/ SG16 VCEG은 Call for Proposal 문서함께발간하였고, 동시에공식적워킹그룹인 Joit Video Expert Team (JVET) 을만들어차세대압축코덱표준화를시작하였다. 또한, HEVC도 360도비디오영상부호화를위한 SEI 정의를하였으며, 이에보고서는 360도영상관련 HEVC 360도비디오부호화표준기술소개와함께 JVET 비디오표준화기술동향, 표준화진행상황, 향후전망및일정을정리하였다 HEVC기반 360도영상코딩을위한 SEI MPEG 및 JCT-VC에서는 2017년 1월제네바에서열린 117차 MPEG 회의에서 Additioal supplemetal ehacemet iformatio 이라는제목의 HEVC의부속표준을 PDAM으로상정하고표준화작업을진행하여왔다. 마카오에서열린 121차 MPEG 회의에서는부속표준을 FDAM으로승인하였다. 부속표준에서는 HEVC 비트스트림의디코딩, 디스플레이, 기타과정을돕기위한목적으로사용되는 HEVC의추가 SEI message 들을정의하였으며, 특히 360도비디오부호화를위한다음과같은 SEI 메세지를정의하고있다. 정의된 SEI 메세지를통해 OMAF에서정의된 ERP와 CMP와같은프로젝션포맷을지원하고리전와이즈패킹, 회전등 OMAF에서지원하는기능들을 HEVC 비트스트림레벨에서동일하게지원하고있다. Equirectagular projectio SEI message 현재의비트스트림의 ERP 포맷임을알려주어디코딩된영상을 3D 공간상에리맵핑 (remappig) 할수있게한다. 추가적으로패딩 (paddig) 과가드밴드 (guardbad) 가적용되었을경우이에대한정보를제공한다. Cubemap projectio SEI message 현재의비트스트림의 CMP 포맷임을알려주어디코딩된영상을 3D 공간상에리맵핑 (remappig) 할수있게한다. Sphere rotatio projectio SEI message 앞서 OMAF에서설명한좌표계변환정보와유사하며, 360 비디오에사용된 3D 좌표계가지준좌표계 (global coordiate) 와다를경우기준좌표계로부터회전한정도에대한정보를제공한다. Regio-wise packig SEI message 앞서 OMAF 에서설명한리전와이즈패킹정보와유사하며, 리전와이즈패킹이적용된경 우에패킹방법에대한정보를제공한다. Omidirectioal viewport SEI message 앞서 OMAF 에서설명한타임드메타데아터와유사하며, 사용자에게추천되는뷰잉오리 엔테이션 (viewig orietatio) 정보를제공한다. 39

44 JVET video 표준화기술동향 도영상을위한표준비디오코딩기본적으로 MPEG 및 VCEG은 2D 이미지및영상을코덱표준의대상으로삼는다. 코덱표준은디코더의신택스및디코딩과정을표준의의무조항 (ormative) 으로삼기에, 인코딩과정및선처리과정 (pre-processig), 후처리과정 (post-processig), 렌더링등은표준에서제약하지않고있다. 하지만, 360도영상의경우, 3D 영상을 2D 영상으로혹은그반대의절차가필요하고, 그과정에서전-후처리는압축성능에영향을미치기때문에, 현재 JVET에서는선처리및후처리를고려한스터디가진행중이다. 특별히프로젝션변환과정이코딩성능에미치는영향력에대한스터디가깊이있게진행되어왔다 프로세싱체인 JVET에서사용하는 360도 VR 압축을위한테스트영상은 Equi-rectagular projectio format (ERP) 프로젝션방식으로만들어진 2D기반 8K 해상도영상을사용한다. 현재시장에서사용되는 360 영상카메라는대부분은저장순간 2D기반 ERP 프로젝션방식으로저장되기에, 테스트영상또한 ERP 프로젝션방식으로만들어진영상을사용하였다. ( 그림 6-11) 은 JVET에서정한 360도영상기본프로세싱체인을나타낸다. 먼저 8K영상이초기입력으로사용되고, 다운샘플링과정과함께사용하고자하는포맷으로변환한다. 이렇게변환된특정프로젝션의 4K 2D영상이인코더의입력값이된다. 이후인코딩 / 디코딩과정을거쳐나온특정프로젝션의 4K 2D영상은바로 Viewport rederer를통해 3D 영상으로변환될수있으며, 혹은원본과같은 ERP 8K 영상으로업샘플링되어아웃풋으로출력되기도한다. ( 그림 6-11) JVET 에서정한 360 도영상기본프로세싱체인 40

45 프로젝션프로젝션방법은 3D를구성하는방식과 3D상에있는영상을인코딩하기전에 2D영상으로바꾸는과정을말한다. 현재 JVET에서는다양한방식의프로젝션방식이제안되어있으며, 각프로젝션방식이코딩성능에미치는영향을파악하기위해, 성능적혹은기능적으로이득이있다고판단되는프로젝션들을수집하여 SW에구현하였다. 현재, 각프로젝션방식은인 / 디코더와함께스터디되고있다. Equi-rectagular projectio format (ERP) 산업계에서가장많이쓰이고있는포맷이다. 3D를구로모델링하였으며, 3D영상을 2D 영상으로변환시경도를 x축으로위도를 y축으로바꾸어맵핑시킨다. 세계지도를나타낼때가장많이쓰이는방법과동일하다. Cubemap projectio format (CMP) 3D를정육면체로모델링하였으며, 3D영상을 2D영상으로변환시 6개의사각형을하나의평면으로맵핑시킨다. 6개의사각형을하나의평면으로맵핑과정시다양한레이아웃이가능하며, 현재는 3x2 레이아웃이디폴트로쓰이고있다. Equal-area projectio format (EAP) ERP 포맷과유사하게 3D를구로모델링하였으며, 3D영상을 2D영상으로변환시경도를 x축으로위도를 y축으로바꾸어맵핑시키지만, ERP와는달리경도를 y축맵핑시 uiform 맵핑이아닌 o-liear 맵핑을쓴다. 해당맵핑을쓰는경우 2D상에서나타내는영역의크기가 3D상과같은비율이되는장점이있다. Octahedro projectio format (OHP) 3D를정팔면체로모델링하였으며, 3D영상을 2D영상으로변환시 8개의정삼각형을하나의평면으로맵핑시킨다. 8개의정삼각형을하나의평면으로맵핑과정시다양한레이아웃이가능하다. Icosahedro projectio format (ISP) 3D를정이십면체로모델링하였으며, 3D영상을 2D영상으로변환시 20개의정삼각형을하나의평면으로맵핑시킨다. 20개의정삼각형을하나의평면으로맵핑과정시다양한레이아웃이가능하다. Segmeted sphere projectio format (SSP) ERP 포맷과유사하게 3D를구로모델링하였으며, 3D영상을 2D영상으로변환시 3개의부분으로나누어맵핑시킨다. 위도 -45도부터 +45도까지는 ERP와동일하게 2D상으로맵핑시키나, -45도이하, +45도이상인부분은원으로 2D상에맵핑시킨다. 각부분은 6 개의정사각형으로구성을할수있다. 41

46 Rotated Sphere Projectio (RSP) ERP 포맷과유사하게 3D를구로모델링하였으며, 3D영상을 2D영상으로변환시 2개의페이스를 2D상으로맵핑시킨다. 해당페이스구성은테니스공을구성하는페이스와동일하다. 그외의프로젝션위에서언급된외에 Trucated Square Pyramid (TSP), Adjusted cubemap projectio (ACP), Equi-Agular Cubemap projectio (EAC) 등이 360Lib에서지원한다. 대부분 CMP에서파생된프로젝션방법들이다. Projectio Frame packig Example Equi-rectagular < 표 6-2> 프로젝션방식및예제 Cubemap Equal-area Octahedro Icosahedro Segmeted sphere 42

47 Rotated Sphere 표준화진행상황토리노에서열린 6차 JVET미팅에서는 Future Video codig과관련된 CfE 결과가발표되었다. SDR, HDR, 360도영상이렇게 3가지항목으로 CfE를응답을받았으며, 360도영상의경우 3개의기관에서관련기술을제출하였다. 각기관에서제출한기술은각자가개발한프로젝션포맷에코어코덱을적용하였으며, 제출된문서에따르면, 객관적성능이모두우수한것으로나타났다. CfE 응답을평가하기위해토리노미팅에서는전문가로구성된평가단이주관적화질평가를진행하였다. 평가단은 Achor ( 현재기술 ) 인 ERP 프로젝션 + HEVC 코덱과비교하여제출된기술이동일비트레이트에서얼마나좋은성능을나타내는지점수를매겼다. 1( 원본과다름 )-5( 원본과동일 ) 사이의점수를매겨각응답기술이주관적성능향상을확인하였는데, 평균적으로동일화질이라간주되는구간에 Achor에비해절반의비트레이트이확인되었다. 다시말해동일화질을나타내기위해서응답한기술은 2배의압축성능을나타내는것이증명되었다. 현재새로운코덱의목표가 2배압축성능향상 (50% 비트레이트감소 ) 인것을고려하여보았을때, 시장에서기술성숙도는이미충분한것으로판단되었다. 따라서, 이제 JVET에서는새로운표준을시작하기로정하고남은절차를밟아나가기로결정하였다. 7차 JVET미팅에서는 Future Video codig과관련된 CfP문서를 MPEG과 VCEG이공동발간하였으며, 해당문서에는 CfP 응답을위한실험환경및규칙, 그리고 logistic에관련된내용이있다 향후전망및일정 예상되는남은일정은 2018 년 CfP 응답및테스트모델선정, 2018 년 WD 발간, 2019 년 CD 발간, 2020 년 IS 확정으로예상된다. CfP 에기록된구체적인일정은다음과같다. < 표 6-3> 표준화진행일정 일정 내용 2017/11/01 공식적 CfP 응답등록시작 2017/11/15 Achor 비트스트림제공 2017/12/15 공식적 CfP 응답등록완료 2017/02/15 CfP 응답자료제공완료 43

48 2017/03/01 주관적평가시작 2018/04/02 CfP 응답문서등록 2018/04/10 주관적평가크로스체크및평가결과공개 2018/04 테스트모델선정시작 2018/10 테스트모델선정완료 2020/10 표준완료 CfP 응답은 SDR, HDR, 360 도영상으로나누어할수있으며, 360 도영상의경우 SDR 과달리포맷팅변환및패딩을위한전 - 후처리가허용이된다. 현재까지 JVET 에서스터디된 360 도영상을위한코덱기술을확인하여보면, CfP 때응 답하는기술들은특정포맷 + 코어코덱이될것으로예상된다. 코어코덱은 SDR 용으로 쓰인코덱이될것이라예상이되며, 360 도영상을위한툴제안은제한적이될것이라 판단된다. 따라서향후 360 도영상을위한표준진행은전 - 후처리를위한포맷변환, 그리고이와관련된신택스정의가될가능성이클것으로예상되며, 향후표준을위해 서는해당이슈를눈여겨보아야할것이다. 새롭게등장한 360 도영상기술은소비자에게생동감넘치는실감성을제공하고있으며, 현재빠른속도로시장을확대하고있다. 전통적인방식의 2D 영상의경우한쪽방향의 영상을캡처링하여저장, 전송, 재생의과정을거치면되었지만, 360 도영상의경우, 기 존대비 2~5 배의넘는공간을표현하기위해소요되는데이터의용량은막대하며, 실시 간서비스를하기에현재코덱은성능이충분하지않은수준이다. 현재새롭게진행하는 360 도영상을위한표준이, 시장에서요구하고있는저장공간및전송대역폭의문제를 해결할수있을지지속적으로지켜봐야할것이다 오디오표준화동향 MPEG 에서는채널오디오와함께장면기반오디오및객체기반오디오를저장, 압축, 전송, 재현하는표준인 MPEG-H 3D audio 표준화를 2016년도까지진행하였다. MPEG-H 3D audio의경우장면기반오디오와객체기반오디오를지원하기때문에, 3DoF 환경에서의오디오신호의저장및재현을대부분지원한다고볼수있다. 최근에 MPEG의오디오표준화그룹에서는 AR/VR 표준화를진행하고있는 MPEG-I, OMAF 그룹과오디오관련요구사항을논의하고있으며, 오디오전문가그룹에서 AR/VR use case를다루기위해필요한오디오기술등을정리한 Thoughts o AR/VR ad 3D Audio 문서를 118차 MPEG 회의에서발행하는등 3DoF 및 6DoF VR 환경에서의오디오지원을위한표준화를진행하고있다. MPEG 118차회의에서는 VR 3D audio의서비스시나리오와오디오의렌더링측면에서고려하여야할지연시간등에대한논의가이루어졌는데, 아래와같은내용이포함되어있다. 시나리오 Ÿ 360 Movie - 3DoF Ÿ 360 Movie with head movemet 3DoF+ 44

49 Ÿ Virtual Reality - 3DoF( 예 : 콘서트홀에서좌석선택 ) Ÿ Widowed 6DoF Ÿ Virtual Reality-6DoF( 예 : 게임 ) Ÿ Augmeted Reality 렌더링지연시간 Ÿ 현재까지의연구결과와 Head trackig을위한시간을 5ms로가정할경우, Ÿ AR Applicatio : 30 ~ 35ms 이내 Ÿ VR Applicatio : 50 ~ 55ms 이내 ( 구현을위한여유분을고려하면, 알고리즘지연은더낮아야함 ) MPEG 119차회의에서는 MPEG-I Audio Architecture ad Evaluatio Procedures for 6DoF 문서를발행 (W17038) 하였다. 해당문서에서는 MPEG-I Audio 구조를아래의그림과같이 MPEG-H 3D Audio를기반으로하며오디오객체에대한메타데이터 ( 예 : 지향성 ) 코딩및해당객체의렌더링을추가하는형태이다. ( 그림 6-12) MPEG-I audio Structure 또한, 해당문서에서는 6Dof 오디오를위한추가기술, 테스트를위한고려사항, 제안 기술평가를위한전제조건, 인터렉티브테스트환경및플랫폼, 주관적평가방법및 추가적이이슈등이논의되었으며, 아래의사항을다음단계의할일로계획하고있다. Determie appropriate origial cotet Determie format for origial cotet Defie referece rederer Defie figure of merit for VR evaluatio Specify details of (real-time) evaluatio platform 45

50 6.2 DVB 표준화동향및전망 표준화개요 DVB(Digital Video Broadcastig) 는시청자가화면내시점을자유롭게선택할수있고주시뷰 (RoI : Regio of Iterest) 기반고화질공간해상도를제공함과동시에최대 6DoF(Degrees of Freedom) 움직임자유도를제공하여몰입감및사실감을극대화할수있는 VR 몰입형미디어방송기술표준화계획을제시하고있다. 이를위하여 DVB는 2015년 10월부터방송에서의 VR 미디어적용및하이브리드망기반의전송기술에대한표준화를위하여 CM(Commercial Module) 산하에 VR(Virtual Reality) 그룹 ( 이하 DVB-CM-VR-SMG((DVB Commercial Module VR Study Missio Group)) 을새롭게신설하였다. DVB-CM-VR-SMG는 VR 방송서비스에대한시장상황, 관련기술및고려사항등전반적인내용을정리한 Study 보고서를발간함과동시에현재는 6DoF기반의 VR미디어서비스에대한연구를진행중에있다. 이와더불어 DVB는상기스터디 (Study) 보고서를토대로 3DoF기반의 VR 방송기술표준화를위하여 2016년 6월 CM-VR-(official) 그룹을발족, 관련서비스시나리오및요구사항을정리중에있으며 MPEG과공조하여표준화를진행중에있다 ( 그림 6-13) 은전체적인가상현실미디어서비스의사슬관계내에서 DVB가표준화에관심을갖는분야를표시한것이다. ( 그림 6-13) DVB VR Media Service Chai 표준화진행현황 CM-VR-SMG 2015년 10월 DVB는 VR 미디어전송기술과관련한표준화추진을위해 DVB-CM-VR-SMG 그룹을발족하였다. DVB-CM-VR-SMG 는 VR이미디어세계의판도를뒤바꿀수있는뉴미디어수단이될지에대한해답을찾고, VR미디어를방송서비스에성공적으로접목하기위하여상업적요구사항 (CR: Commercial Requiremet) 을정의 46

51 하는 CM 조직산하에설립되었다. 또한 2016년 5월 MPEG과 Joit Workshop을스위스제네바에서개최하였고향후 DVB에서정리된상업적요구사항이 MPEG 표준화에적극반영될수있도록 MPEG-I Architecture AhG(Ad hoc Group) 그룹과공조하기로결정하였다. DVB-CM-VR-SMG는 VR미디어의상업적성공여부를판단하기위해아래의세가지 Key 질문을제시하였으며, 이에대한해답을찾기위해 2016년 11월가상현실 (VR) 방송서비스에대한시장상황, VR 체감품질관련기술적요소, 신체적 / 심리적고려사항, 콘텐츠제작방법, 이슈사항, 관련기술및요구사항등을정리한 Virtual Reality Prospects for DVB Delivery 보고서를발간하였으며이를정리한 DVB VR Study Missio Report 를발간하였다. 경제적이고실용적인 VR 영상의획득, 전송및디스플레이기술개발가능성 VR 멀미를포함하여신체적 / 감감적불편함을제거한 VR 서비스시스템개발가능성 소비자가기꺼이지갑을열만한콘텐츠형식의개발가능성 또한 2017년 1월 CM-VR-SMG는 Type A와 Type B로나뉜타임라인을기반으로표준화추진에대한계획을발표하였다. Type A란 (Utethered) 컴퓨터연결없이스마트폰을활용하여 VR미디어를제공하는독립형서비스방식으로삼성의 GearVR, 구글카드보드 (Cardboard) 등이이에속하는반면, Type B(Tethered) 는외부컴퓨터와의연결을통하여처리능력을지원받는비독립형서비스방식으로 HTC 바이브 (VIVE), 오큘러스리프트 (Oculus rift) 가그예이다. 현재 DVB-CM-VR-SMG그룹은 6DoF지원 VR 미디어서비스에대한스터디미션을지속적으로수행하기위하여 2018년 1Q에 VR-IF(Idustrial Forum) 와공동으로 6DoF지원 VR관련표준화동향및산업이슈관련하여워크샵을추진할예정이다 CM-VR-(official group) 상기 DVB VR study missio report 발간의후속조치로서 3DoF 지원 VR 방송서비스를제공하기위한상업적요구사항을정의하기위하여 17년 6월 DVB CM에서승인된 CM-VR 그룹을운영중이며, 6DoF 지원 VR 미디어서비스에대한 study 미션을지속적으로수행하기위하여 CM-VR-SMG가지속적으로활동중에있다. < 표 6-4> 는 17년 6월정의된 CM-VR ToR(Terms of Referece) 를나타내며이를토대로관련서비스시나리오및요구사항에대하여논의중에있다. < 표 6-4> CM-VR ToR(Term of Referece) Scope DVB 기반 VR 미디어전송을위한 CR 개발 기존 TV 디스플레이나연결된 VR 헤드셋또는새로운 " 패닝 (paig)" 디스플레이기술이소비장치가될것으로예상되는 TV, STB 와같은 DVB IRD 를대상 47

52 스마트폰, 태블릿, 게임콘솔, PC 와같은차세대 IP 연결장치를목표 VR 컨텐츠를전달하기위해 DVB 광대역및브로드캐스트네트워크활용 사용가능한기술및실제배포시나리오를고려한 " 파노라마 / 3DOF 플러스 " 까지시청각경험제공 적절한용량의채널내에서브로드밴드또는브로드캐스트를통해 VR 컨텐츠를제공할수있는옵션을사용가능 Deliverable ad timelie CM-VR 의주요목표는 2018 년 1 월에 DVB 상업모듈및운영위원회의승인을받기위해상업적요구사항을 2017 년 12 월까지제공 DVB 는다른 VR 표준화기구, 특히 MPEG, VR Idustry Forum 및 3GPP 에서수행중인작업을고려하여상업적요구사항을정의 [ 출처 : DVB CM-VR0052-ToR-SOW-CM-VR10] VR 미디어분류및 QoE(Quality of Experiece) DVB 는몰입형미디어를사용자의움직임자유도및미디어특성에따라 < 표 6-5> 와같 이크게 3 가지미디어타입으로분류하고있다. < 표 6-5> VR 미디어분류 VR Media Types 3D free viewpoit 3D fixed viewpoit Visual Immersio Head Motio Parallax Free User Navigatio Spherical 360-paoramic 특징 머리의이동에따른시점이동가능 자유롭게걸으며시청불가능 LF 카메라, 움직임제한이적은스테레오카메라로획득 모든거리, 방향으로자유롭게움직이며시청가능 3차원입체재구성, 모델링 LF 카메라획득, 또는 3D 모델링 SW로제작 수평 / 수직방향의모든각도의장면시청가능 머리이동에따른시점이동불가능 수평방향움직임시시차불일치에따른불편함존재 전방향카메라 ( 수직 / 수평방향렌즈배열 ) 획득 카메라위 / 아래부분사각지역존재 머리이동에따른시점이동불가능 전방향스테레오카메라 ( 수평방향렌즈배열 ) 로획득 <180 주시 (gazig) 방향의시점에만최적화됨 48

53 2D fixed viewpoit 360-paoramic 머리위치에따른시점이동불가능 광각의스테레오카메라로획득 카메라위 / 아래부분사각지역존재 머리위치에따른시점이동불가능 전방향카메라 ( 수평방향렌즈배열 ) 로획득 VR 미디어서비스시나리오 < 표 6-6> 은 VR 미디어를통하여방송서비스측면에서새롭게적용될수있는다양한 서비스시나리오를나타낸다. < 표 6-6> VR 미디어서비스시나리오 Use case Details Cosumptio Mode Why VR? View from the actor Add-o with movie HMD provide a Bous for 2D Selected 2D scees purchase/retal immersive Movies filmed i VR Promotio(YouTube experiece Promotios trailer,e.g.) Documetary Cocerts News 360 filmig of scee: ature, war zoes, etc. 360 filmig with VR audio News live or post Free, SVoD, or EST service Free, SVoD, or EST service Additio to the TV broadcast, via the iteret 360 filmig is prove more egagig for dramatic evets VR audio will brig a ew dimesio 360 filmig is prove more egagig for dramatic evets TV Shows VR 360 view Additio to the TV broadcast, via the iteret Mobile cosumptio or optioally with HMD Short-Form Movies New gere to be iveted Free or pay service, via the iteret Similar to mobile video productio Live Sports Sports Highlights Soccer, football, teis already tried Post produced from live capture Additio to the TV broadcast, via the iteret;uicast delivery mostly, broadcast also possible (LTE applicatio) Bous package delivered over the iteret Persoalized view(multicam i uicast); iteractive app ad avigatio is key; immersive audio will be key differetiator vs. broadcast Game highlights; watch actio from differet agle 49

54 6.2.5 잠정 VR 비디오전송및시스템 VR 비디오생성 ( 그림 6-14) 는상위개념에서의기본적인 VR 비디오생성과정을나타내며각과정의특 징은 < 표 6-7> 과같다. ( 그림 6-14) VR 비디오생성과정 < 표 6-7> VR 비디오생성과정특징 Capture Stitchig Mappig 구분 C a m e r a orietatio Paorama view 3D relief c o c a v e view c o v e x view 내용 한대의카메라에서여러방향으로촬영하는다중렌즈카메라 여러카메라시스템이동일장면에대하여촬영 180 도시스템에서 FoV 비율은 1/3 에가깝고 360 도시스템보다높은해상도제공 비디오를캡처할때어떤장치에서나재생할수있는 2D 또는 HMD 에서만재생할수있는 3D 비디오 실시간으로 4 ~ 6 개의 HD 스트림을최대 2160p60의 8 비트해상도로하나의비디오스트림으로스티칭가능 고전적인접근법으로비디오를등변삼각형투영법등으로매핑 VR 비디오인코딩 VR 비디오는 < 표 6-8> 과같이몇가지의방법으로부호화될수있다. < 표 6-8> VR 비디오인코딩 구분 내용 Equirectagular(ERP) legacy - 종래의인코더를통하여프로젝션된 VR 비디오부호화 - 종래방송시스템을그대로이용가능하며, 사용자움직임에따른 RoI(Regeio of Iterest) 영역을추출하여 HMD 에디스플레이 - Legacy equirectagular system 50

55 Equirectagular(ERP) tiles -프로젝션된 VR 비디오에대하여임의의영역크기로분할 -분할된영역 (Tile) 에대하여독립적으로인코딩수행 -수신기에서는사용자움직임에해당하는영역을서버에요청및수신 / 재생 -RoI 영역에대하여높은화질을제공할수있으나 MTP(Motio to Photo) 지연발생 O - d e m a d trascodig - 사용자움직임에해당하는 RoI 영역만을송출 - 부호화스트림내 RoI 영역만을추출재부호화하여 HMD에송출 - HMD에서지원하는 full 해상도의화질을제공할수있으나시스템이복잡하고 MTP 지연발생 Polygo mappig - Equirectagular와다른프로젝션방안적용 - Cube 프로젝션은 Equirectagular 대비약 25% 파일사이즈감소 - 피라미드프로젝션은 Equirectagular 대비약 80% 파일사이즈감소 - 부호화스트림내 ROI 영역만을추출재부호화하여 HMD에송출 ( 상기 O-demad trascodig과유사 ) 51

56 Equirectagular(ERP) : 기본적인 VR비디오프로젝션포맷기반의서비스 Equirectagular tiled : 임의크기의 Tile로분류, 사용자 ROI에따른해당 Tile을전송하는서비스 O-demad trascodig : 사용자 viewport를기반으로 VR 비디오내 ROI 영역을추출하고이를요청한디바이스의해상도로인코딩하여전송하는서비스 Polygo mappig : 상기 ERP 대비저장및압축효율성을고려한 Cube 또는 Pyramid 포맷기반의서비스 VR 미디어전송 VR 미디어는방송망또는통신망을통하여전송될수있으며전송메카니즘및 VR 미디 어구성에따라 < 표 6-9> 와같이분류한다. < 표 6-9> VR 미디어전송형태 Techiques 전송방식전송규격디바이스 Equirectagular O-demad Polygo Equirectagular tiled trascodig mappig Broad Uicast Uicast Uicast Uicast cast DASH/ DASH/ DASH/ DASH/ TS ISOBMFF ISOBMFF ISOBMFF ISOBMFF STB/ Ay IP Ay IP device Ay IP device Ay IP device TV device VR 오디오 Degree of audio Immersio DVB CM에서는 VR 오디오의기본적인요구사항으로, 머리움직임에따라오디오도함께이동하여, 오디오신호가공간상에서고정되어있도록해야한다는것이다. 이에근거한다양한서비스에따른오디오시스템의구축방법에대해아래와같이기술하고있다. Fixed positio 360 2D paorama: 최소 360도서라운드사운드가필요하며, 이를위해가상의스피커가수평면상에위치한다. 사운드는수평면상의어느위치에나존재할수있는데, 가상 moo, 스테레오, 5.1 또는 7.1채널서라운드시스템과유사하다고볼수있다. Fixed positio 180 3D VR (forward view oly): 최소 360도서라운드사운드가필요하며, 이를위해가상의스피커가수평면상에위치한다. 사운드는수평면상의어느위치에나존재할수있는데, 가상 5.1 또는 7.1 채널서라운드시스템과유사하다고볼수있다. 52

57 Fixed positio 3D paorama / spherical: 최소 360 도서라운드사운드가필요하며, 구형사운드 (Spherical Soud) 의재현을 위해서는장면기반오디오 (Scee-based audio) 또는객체기반오디오가필요하다. Moveable positio 3D VR: 자유로운머리움직임을포함하는콘텐츠에해당하는것으로, 3 차원으로매핑된사운 드와객체기반오디오가요구된다 VR audio 기술분석 CM VR의 Audio Subgroup 에서는 VR 오디오를위한기술분석을진행하였으며, audio ad Virtual Reality 라는문서를 2016년에작성하였다. 해당문서에는 VR에활용될수있는오디오기술에대해분석을하였으며, 주요내용은아래와같다. Use cases ad Experieces for VR Audio 오디오입장에서의두가지 use case에대해정의를하였는데, The ifiite Seat 와 Ciematic VR 이다. The ifiite Seat는 3차원공간상의어디에서도청취자가위치할수있고, 머리의움직임도허락이되는상황을의미하는데, 6DoF와유사한개념으로볼수있다. Ciematic VR 의경우사람이움직이지는못하는상황에서콘텐츠를청취하는환경으로 3DoF와유사하다고볼수있다. Backgroud o sciece ad techology VR 오디오와관련된다양한기술에대해서조사가이루어졌는데, 실감오디오를위한 3차원공간상에존재하는오디오의개념, 소리의반사, 머리전달함수, 헤드폰환경에서의오디오렌더링, 머리움직임에따른오디오처리등에대한내용을간단하게포함한다. 그리고, 기존의채널오디오와는다른형태인객체기반오디오, 장면기반오디오의개념에대해소개하고있으며, MPEG-H 3D audio, AC-4, DTS VR 에대해서도간단하게소개한다. Impactig Factors of Audio Quality i VR VR 오디오의 quality 측면에서아직결론을낼수있는수준은아니지만, quality에영향을주는주요요소들에대해기술하고있다. audio Playback System, Quality of HRTF model, Head Trackig ad Motio-to-soud Latecy, Spatial Resolutio, Degrees of audio immersio 등을주요요소로기술하고있다. Existig products ad trials VR 오디오와관련하여현재존재하는제품들과다양한시험에대해조사한결과를나타내고있는데, 아래의 < 표 6-10> 은 VR 오디오관련기술및제품을나타낸것이다. 53

58 < 표 6-10> VR 관련오디오기술 VR Audio techology/compay Compatible Platform Spatial audio techology Liks Uity 3D audio spatializer SDK Oculus Rift, Gear VR, Object uity ad plugis PS4, HoloLes Google spatial audio Google Cardboard, Object, Scee-based google YouTube 360 Frauhofer Cigo LG 360, Gear VR, Object, Chael, cigo Google Cardboard, Oculus Rift, Uity Scee-based Samsug VR player Gear VR Frauhofer Cigo gearvr Playstatio VR PS4 Object, Chael, PlaystatioVR Scee-based, Hardware biaural (HRTF) processig Oculus audio SDK Oculus Rift Object, Chael, OculusAudio Scee-based Next VR Next VR Biaural Array NextVR Two big ears - 3Dceptio plugi Uity, Ureal Egie Object, Scee-based 3Dceptio Visisoics - Realspace 3D audio Uity, Ureal Egie Object, Chael, Realspace3D plugi Scee-based HoloLes Microsoft Microsoft Spatial Soud, HRTF HTC Vive Steam VR Object, Scee-based, Chaels LG 360 VR LG 360 Frauhofer Cigo LGVR Jaut VR Various cell phoes Object (Dolby JautVR Atmos) Ossic VR Uity, Ossic VR Object, Chaels, OSSIC VR Scee-based Rapture3D Uity, Native C/C++ Game audio egie for HOA processig Rature3D for VR VR Audio Delivery ad Iteroperability Aspects VR 오디오의전송은 DVB의 NGA(Next Geeratio Audio) 에서정의된메커니즘을활용할것으로예상하고있다. 아래의 ( 그림 6-15) 는 NGA의전송모델을나타낸것이다. 54

59 ( 그림 6-15) Next Geeratio Audio Delivery model Coclusios ad Recommedatios for DVB CM VR 의 audio subgroup 에서는관련오디오기술의분석을통한결론과이를통 한권고사항을아래와같이기술하고있다. < 표 6-11> 오디오기술분석결론요약 Ÿ Ÿ Ÿ Ÿ Ÿ VR 관련많은오디오기술이존재하지만, 아직은검토단계임 VR 오디오관련표준화는초기단계이며, 여러기술이고려되고있음 VR 오디오의품질에대한완벽한이해가되지않은상태이며, 아직품질측정과관련된구체적인움직임은없는상태임객체기반오디오와장면기반오디오는 VR 오디오를위한중요한요소이며, NGA 시스템에이러한부분이이미존재하고있음 VR 오디오의비트율등과같은전송과관련된요소들은기존의방송과유사 < 표 6-12> 오디오권고사항요약 Ÿ Ÿ Ÿ Ÿ DVB는 VR 오디오규격을제정함에있어, DVB 정규프로세스를적용해야함. 여기에는상업적으로사용되는사례, 일반적인 DVB 생태계의범위에있는명확한범위정의및사용가능서비스가포함되어야함 VR 애플리케이션을포함하는 DVB 권장사항은오디오렌더링에있어머리추적과 diegetic, o-diegetic 오디오를구분하여처리할수있는메타데이터를고려하여야함오디오코딩형식의경우, DVB는 Ambisoics 채널순서를설명하는메타데이터의표준화를검토하여산업간조화를권장하는것이좋을것임 DVB는비실시간콘텐츠전송시나리오와 DASH 기반전송과같은브로드캐스트전송시나리오와같은다양한전송시나리오를다루어야함 55

60 Ÿ DVB 는 MPEG, 3GPP 와같은다른조직과협력하여규격을제정하는것이적절함 VR 미디어서비스주요이슈 DVB는 VR 미디어를성공적으로방송서비스에접목시키기위해 DVB가수행해야할역할을지속적으로논의중에있으며, VR 미디어생성및소비까지의연결관계를토대로 DVB는 VR 미디어서비스를크게 2단계로분류하고표준화를진행하고있다. < 표 6-13> VR 미디어서비스접근및표준화주요일정구분 TypeA(Utethered) TypeB(Tethered) 3DoF 6DoF Cotaier + smart phoe PC or games machie 특징 Low cost + coveiece High cost + less coveiece Potetial 4G broadbad Future 5G delivery delivery 17년 6월 : Defies work 17년 12월 : Study scope 18년 : Prepares CR 17년 12월 : Prepares CR 주요 18년 1월 : Steerig Board 일정 * 현재 Study단계로서주요일정에대 approve 해서는타표준화기구표준화진행현황 18년 5월 : Develops 및산업체요구사항에따라변경될예정 specificatios 또한 VR 미디어서비스의성공적인서비스를위하여주요이슈사항을다음과주요고려사항을다음과같이제시하고있다. 다양한환경또는디바이스에서 VR 미디어소비가가능해야함 VR 영상은 8K 이상의고화질을제공해야함 VR 멀미감소를위해프레임율은최소 90fps, 최대 120fps 제공해야함 VR 미디어저장, 편집그리고배포를위한공통된표준파일포맷을제공해야함이미개발된또는개발중인다양한 VR 서비스플랫폼을활용해야함 TypeA 주요고려사항 DVB는 3DoF지원사용자움직임자유도및시장에출시된다양한 HMD 및스마트폰이중심이되는 TypeA에대한서비스시나리오및요구사항을중심으로표준화를진행중에있으며 Type A 서비스를위한주요고려사항은다음과같다. 56

61 < 표 6-14> Type A 서비스를위한주요고려사항 구분 Frame rates Delivery bit rates Horizotal FoV Resolutio Degree of visual immersio Degree of audio immersio Head trackig latecy 주요내용 Maybe 50-90Hz to avoid blurrig, flickerig May be 10-12Mbit/s Maybe at least 100 degrees sub pixels per degree Fixed forward view, 360-paoramic video, sphercial video 360 surroud soud, fixed positio 3D/spherical etc <20ms DVB 표준화동향및전망 CM-VR-(official group) 은 Type A 표준과관련한서비스시나리오및요구사항정의를 2017년 12월까지마무리한후, 18년 1월까지 Steerig Board(SB) 의승인을받을예정이다. 이에따라본격적인기술적표준화작업은 2018년상반기를목표로추진될것으로예상된다. Type B 표준의경우관련요구사항의정의를올해 12월까지완료할계획이었으나 CM-VR-SMG에서관련스터디를지속적으로진행할예정이며추후 MPEG 등타기구의표준화진행사항및산업체의요구사항에따라진행될것으로전망된다. 57

62 6.3 3GPP 표준화동향및전망 개요 3GPP 역시 3GPP 이동통신규격하에서의 VR 미디어서비스를위한표준화작업을진행중에있다. 3-DoF 360VR over LTE 라는주제로, VR을중심으로한몰입형비디오및오디오기술에대한기술보고서작성을시작하였다. 해당기술보고서는 2016년 4월에작성이시작되어 VR 기술에대한 study 및 VR 미디어서비스와 3GPP 이동통신규격간상호운용가능성이주로검토되었고, 2017년 6월기준으로버전 1.2의작성 ( 3GPP TR , Virtual Reality (VR) media services over 3GPP ) 을마친상태이다. 현재기술보고서에는 VR 비디오및오디오시스템의구조, 3GPP 이동통신규격기반의 VR 서비스형태의실시예, 몰입형미디어품질평가를위한방법론등이포함되어있다 요소기술 3GPP에서논의중인 VR 비디오시스템의 processig chai은 ( 그림 6-16) 과같다. 해당구조를기반으로, 핵심기능블록에대한기술적분석및적용가능한요소기술들에대한분석이이루어졌다. ( 그림 6-16) VR 비디오시스템 processig chai 영상의획득및스티칭관련기술로는아래와같은세가지기술이검토되었다. 아래기 술별장단점분석을통해구성할시스템의특성에맞는요소기술적용방안을검토하였 다. 거울기반의직접스티칭시스템 : 거울을이용하여다수의카메라의 focal poit를일치시킨시스템으로, parallax가없어스티칭이간단하여실시간처리에용이하지만충격에취약하며초기 calibratio이번거로움깊이인지 (depth-aware) 스티칭시스템 : 깊이정보를획득할수있는카메라리그를구성하는방식으로, 시스템이비교적단순하고강인하며초기 calibratio이쉽다는장점이있지만, 실시간처리가어렵고영상간오버랩이발생하여해상도가저하됨 58

63 라이트필드 (light field) 렌더링시스템 : 공간정보를이용하여임의의가상시점을생 성할수있는라이트필드렌더링기반의시스템으로, parallax 가없고공간내에서 자유롭게시점을이동할수있지만복잡도가매우높고오류가쉽게일어날수있음 또한다양한투사 (projectio) 방식이논의되었는데, 대표적으로 Equirectagular 방식과 cube map 방식에따른코딩효율과샘플링왜곡 (samplig distortio) 등이논의되었다. VR 미디어의전송방식에있어서는 < 표 6-15> 와같은세가지방식이비교검토되었다. < 표 6-15> VR 미디어전송방식의비교 Sigle stream 전송방식 Multi-stream 전송방식 Tiled stream 전송방식 사용자에대한개별단일스트림으로전체영상또는뷰포트 (viewport) 영상을전송하는방식으로, 사용자가별도의처리를할필요가없다는장점이있지만네트워크 resource가많이소모됨 뷰포트에따라영상의품질이다른여러개의전체영상을다중스트림으로전송하는방식으로, 사용자가통신상황에따라영상품질을선택할수있으나서버의 storage 및 ecodig 오버헤드가큼 개별적으로 ecodig 된 tile 단위의부분영상을다중스트림으로전송하는방식으로, 사용자는뷰포트와통신상황에따라개별 tile 을선택하여 decodig 함으로써영상품질을최적화할수있음 상호운용성검토 3GPP 규격하에서의 VR 미디어서비스상호운용가능성을검토하기위해 use case를수집및분석하고지연시간관련요구사항을논의하였다. Use case의경우, 사용자의위치가고정된단일관찰점의경우에대해주로논의되었으며다음과같은다양한서비스방식이논의되었다. Uicast DASH 기반실시간스트리밍 VR 미디어서비스 MBMS(Multimedia Broadcast Multicast Services) 기반 VR 미디어생중계서비스 Social VR, 원거리학습과같은 3GPP 이동통신망에서의양방향개인형 VR 서비스 사용자움직임에대한지연시간관련요구사항의경우, 최근미디어의프레임율이약 60~90FPS임을고려할때최대지연시간을약 10ms로목표하는것이타당하다고논의하였으며, 사용자움직임을감지하고이에따른영상처리가모두포함되려면어려움이있다는점도언급하였다 오디오시스템 3GPP에서는 VR 오디오시스템을아래와 ( 그림 6-17) 과같이정의하고, VR 오디오를위한획득시스템, 콘텐츠제작워크플로우 (work flow), 렌더링시스템에대해기술하고있다. 59

64 ( 그림 6-17) VR 오디오시스템의구성 오디오획득시스템장면기반오디오를위한오디오획득시스템, 채널기반오디오를위한오디오획득시스템, 객체기반오디오를위한오디오획득시스템에대해소개를하고있는데, 최근에이슈가되고있는장면기반오디오를위한획득시스템에대해아래와같은고려사항을제시하고있다. Sigal to Noise ratio (SNR) : 오디오장면에포함되지않은잡음소스는사실감과몰입감을방해함에따라오디오캡처시스템은녹음된내용으로적절히가려지며재생중에는인식할수없도록충분히낮은잡음플로어를가져야함 Acoustic Overload Poit (AOP) : 오디오캡처시스템의비선형동작은사실감을방해함에따라오디오장면의유형및관심있는유스케이스에대한채도를피하기위해마이크의음향과부하점이충분히높아야함마이크주파수응답 : 마이크는일반적으로오디오주파수범위에서평탄한주파수응답을가져야함윈드 (Wid) 노이즈방지 : 윈드노이즈는비선형오디오동작을유발하여사실감을방해할수있음마이크요소간격, 누화, 이득및지향성일치 : 이러한측면은궁극적으로장면기반오디오재생의공간정확도를향상시키거나저하시킴대기시간 (Latecy) : 양방향통신이필요한경우, 대기시간은자연스럽게대화할수있을정도로낮아야함 콘텐츠제작워크플로우장면기반오디오, 채널기반오디오, 객체기반오디오를위한콘텐츠제작워크플로우에대해소개를하고있는데, 최근의실시간방송및후제작방송을위한기본적인오디오제작워크플로우를아래의 ( 그림 6-18) 과같이소개하고있다. 60

65 ( 그림 6-18) VR 오디오기본워크플로우 < 표 6-16> 은 VR 오디오를저장할수있는포맷을나타낸다. < 표 6-16> 오디오제작포맷 Sigal type Chael-based audio Mixes or mic array recordigs for a specific loudspeaker layout e.g. Stereo, 5.1, Object-based audio Audio elemets with positioal metadata Redered to target speaker layout or headphoes Scee-based audio B-Format (First-order Ambisoics) Higher-Order Ambisoics (HOA) Examples e.g. Full Mix, Music e.g. Dialogues, Helicopter e.g. Crowd i Sports, Ambiece 오디오렌더링시스템장면기반오디오, 채널기반오디오, 객체기반오디오의렌더링시스템에대해서소개를하고있으며, 오디오의포맷에상관없이헤드폰환경에서의청취를위한바이노럴렌더링이필요하다고소개하고있다. 바이노럴렌더링측면에서, 모바일단말에서는연산량이중요한팩터가될수있으며, 모션과사운드간의지연도중요한팩터로소개하고있는데, 머리움직임과사운드간의지연최대임계치 (threshold) 에대해서는자료마다다른값이제시되고있지만, VR 측면에서는이를다시검증해야할필요가있다고소개하고있다 GPP 표준화동향및전망 3GPP 는 VR 서비스시스템구조, VR 서비스실시예등의내용이포함된기술보고서의 작성을완료한이후아래의내용에대한표준화를진행할것으로전망된다. 61

66 VR 스트리밍프로파일 (profile) 정의 : VR 스트리밍서비스관련유즈케이스를만족하기위한프로토콜 (protocol) 정의오디오품질평가기준정의 : 몰입형오디오시스템의객관적품질평가를위한방법개발 VR 오디오코덱스터디수행 : 기존의 3GPP 오디오코덱의적합성을분석하고 VR 사용자에게최상의 QoE(Quality of Experiece) 를제공하기위한오디오코덱요구사항정의 QoE Metric 스터디수행 : Metric이란클라이언트측의디바이스성능, 네트워크사양등의정보를종합하여만든 VR의품질평가를위한객관적데이터포맷정의 62

67 6.4 IEEE 표준화동향및전망 개요 IEEE P3079는 2016년 12월 12일 IEEE-SA의승인으로시작된국제사실표준기구로초기에는 IEEE P3333 (3D Huma Factor) WG의 Sub-WG인 IEEE 으로제안되었다. 그러나, IEEE 3333과별개의 WG으로진행하는것으로출범초기에승인되어 2017 년 9월 28일 IEEE 3079 WG으로코드명이바뀌었다. IEEE 3079 WG의정식명칭은 HMD based 3D Cotet Motio Sickess Reducig Techology 이며, PAR(Project Authorizatio Request) 는 IEEE P3079로 WG의명칭과같다 표준화목표 WG의명칭에서알수있듯이 HMD(Head Mouted Display) 를기반으로한가상현실콘텐츠의어지러움증을줄이기위한기술을연구개발하고표준화를진행하는것을목표로하고있다 표준의범위 IEEE 3079는 HMD를사용하여표현되는모든가상현실콘텐츠의어지러움증저감을위한기술을표준의대상으로삼고있으며, 관련기술에해당하는하드웨어와소프트웨어를모두포함한다 기구조직 IEEE 3079는 6개의 TG(Task Group) 과 1개의 TP(Techical Pleary) 로이루어져있다. 각각의 TG는기술적으로전문분야가있으며, 각분야의기술들이상호영향을주게되어있으므로, 궁극적으로는 Huma Factor에있어서가장긍정적인효과를기대할수있는형태의기술표준을제안할수있도록 TP에서의결하는형태이다. ( 그림 6-19) IEEE 3079 기구조직도 63