02본문

Size: px

Start display at page:

Download "02본문"

정아 노
5 years ago
Views:

58 특집 : 360VR 및몰입형미디어 특집 360VR 및몰입형미디어 윤국진, 정준영, 정원식, 이광순, 서정일 / 한국전자통신연구원 요약점점현실화되는가상의환경내에서자유롭게시점을선택하여볼수있고전방위공간내몰입형경험을제공하는 VR(Virtual Reality) 미디어는자연스러운사실감을제공함과동시에공간과시간의제약을극복할수있는실감미디어로인식되고있다.

1 58 특집 : 360VR 및몰입형미디어 특집 360VR 및몰입형미디어 윤국진, 정준영, 정원식, 이광순, 서정일 / 한국전자통신연구원 요약점점현실화되는가상의환경내에서자유롭게시점을선택하여볼수있고전방위공간내몰입형경험을제공하는 VR(Virtual Reality) 미디어는자연스러운사실감을제공함과동시에공간과시간의제약을극복할수있는실감미디어로인식되고있다. 이렇듯 VR 미디어의출현은한정된시점에서의입체감및고화질의서비스를제공하는방식을벗어나전방위시점에서몰입형서비스를제공할수있는발판이되었으며, 이를방송및통신환경에서제공하기위한기술개발및표준화에대한노력이진행되고있다. VR미디어는사용자의움직임자유도지원범위에따라 3DoF(Degrees of Freedom) 및 6DoF 360VR로분류되어단계별표준화가추진중에있으나, 본고에서는 3DoF VR 미디어를중심으로이를서비스하기위한각표준화단체의동향을살펴본다. I. 서론 VR 미디어는전방위공간내에서현실감과몰입감을극대화하면서자유롭게시점선택및사용자의상호작용을통해실감효과를제공함으로써지속적으로발전되는몰입형미디어의주요매개체로인식되고있다 [1-2]. 더욱이 HMD(Head Mounted Display) 및스마트폰에적용되면서 VR 미디어의대중화가가속화됨에따라방송망또는통신망을통하여이를제공하기위한노력이각표준화단체를중심으로진행중에있다. 유럽의디지털방송표준화단체인 DVB(Digital Video Broadcasting) 는 2015년 10월방송에서의 VR 미디어적용및방송서비스에대한시장현황, 이논문은 2018년도정부 ( 과학기술정보통신부 ) 의재원으로정보통신기술진흥센터의지원을받아수행된연구임 (No , 이머시브전문연구실 ). 58 방송과미디어제 23 권 4 호

371 관련기술및기술적요구사항을정의하기위하여 CM(Commercial Module) 산하에 VR 그룹 (CM- VR- SMG(Study Mission Group)) 을신설하였다 [3]. CM-VR-SMG는가상현실이미디어세계의판도를뒤바꿀수있는새로운미디어수단이될것인가에대한답을찾고 VR 미디어를방송에접목하기위하여 DVB의역할을수립하기위하여발족되었다.

2 371 관련기술및기술적요구사항을정의하기위하여 CM(Commercial Module) 산하에 VR 그룹 (CM- VR- SMG(Study Mission Group)) 을신설하였다 [3]. CM-VR-SMG는가상현실이미디어세계의판도를뒤바꿀수있는새로운미디어수단이될것인가에대한답을찾고 VR 미디어를방송에접목하기위하여 DVB의역할을수립하기위하여발족되었다 년 1월 Type A와 B로나뉜표준화타임라인을기반으로 3DoF 및 6DoF VR 미디어서비스에대한표준화추진계획을제시하고 3DoF VR 미디어방송서비스를우선적목표로 MPEG(Moving Picture Experts Group) 과공조하여 2018 년 6월까지 CR(Commercial Requirement) 을정의하기위한표준화를진행하였다. 그러나 2018 년 7월 SB (Steering Board) 회의에서요구사항정의단계의표준화수행에대한활동중단을결정하고 2019 년 2월 SB회의에서재논의하기로하였다. 이동통신시스템기술규격을제정하는 3GPP (3 rd Generation Partnership Project) 는 3DoF 360VR over LTE 라는주제로 2016 년 4월 VR 미디어대한관련기술보고서작성을시작하였다. VR 미디어에대한요소기술분석및 3GPP 이동통신 규격간상호운용가능성을토대로 2018 년 3월 Ver.15.2 작성을마친상태이다 [4]. 기술보고서는 VR 비디오프로세싱구조, 부복호화기술, 3GPP 이동통신규격기반의 VR 서비스형태의실시예, VR 미디어품질평가를위한방법론등을포함하고있다. 현재 3GPP 는 VR 미디어객관적품질 (QoE: Quality of Experience) 평가및몰입형오디오코덱등에대한스터디를진행중에있다. VR미디어는사용자시점변화에따른해당영상을자연스럽게재현함과동시에보다사실적인몰입감을제공함으로써다양한분야에서이를접목하기위한기술개발이가속화되고있다 [5]. 특히, 3DoF VR 미디어는이미상용화되어시장에출현되고있으며점차그영역을확장하고있는가운데, 본고에서는 3DoF 360VR 미디어를중심으로방송망및통신망을기반한 VR 서비스에대한각표준화기구의동향을살펴본다. II. DVB 표준화현황 DVB 는시청자가화면내시점을자유롭게선택 Capture Raw data (video, 3D point cloud, 3D model) Preparation Stitching, editing, image processing, encoding Delivery Broadcast or unicast transmission Processing Image processing; decoding, upscaling, re-projection Rendering video display & headtracking interaction Feedback Head orientation for region of interest < 그림 1> DVB VR 미디어서비스사슬관계 2018 년 10 월 59

3 372 특집 : 360VR 및몰입형미디어 할수있고주시뷰기반고화질의해상도를제공함과동시에최대 6DoF 움직임자유도를지원하는 VR 방송기술개발을목표로하여 2015년 10월부터 2018년 6월까지관련표준화를진행하였다. < 그림 1> 은전체적인가상현실미디어서비스의사슬관계에서 DVB의표준화관심분야를나타낸다. 1. CM - VR - SMG 2015 년 10월 DVB는 VR 미디어전송기술과관련한표준화추진을위해 CM -VR -SMG 그룹을발족하였다. CM -VR -SMG는 2016 년 5월 MPEG 과 Joint Workshop 을통해 DVB에서정리된상업적요구사항이 MPEG 표준화에적극반영될수있도록 MPEG-I Architecture AhG(Ad hoc Group) 그 룹 [6] 과공조하기로결정하였으며, VR미디어의상업적성공여부를판단하기위해아래의세가지질문을제시하였다. 경제적이고실용적인 VR영상의획득, 전송및디스플레이기술개발가능성 VR 멀미를포함하여신체적 / 감각적불편함을제거한 VR 서비스개발가능성 소비자가기꺼이지갑을열만한콘텐츠개발가능성이에대한해답을찾기위해 2016 년 6월가상현실 (VR) 방송서비스에대한시장상황, VR 체감품질관련기술적요소, 신체적 / 심리적고려사항, 콘텐츠제작방법, VR 미디어서비스이슈사항, 관련전송형태및요구사항등을정리한 Virtual < 표 1> VR 미디어서비스주요이슈순번요구사항 1 다양한환경또는디바이스에서 VR 미디어소비가가능해야한다. 2 뷰포트 (Viewport) 당고화질을제공하기위하여최소 8K이상을제공해야한다. 3 멀미등감소를위해프레임율은최소 90fps, 최대 120fps를제공해야한다. 4 VR 미디어저장, 편집, 그리고배포를위한공통된표준파일포맷을제공해야한다. 5 기개발된또는개발중인다양한 VR 서비스플랫폼을활용할수있어야한다. < 표 2> VR 미디어전송방식 VR 미디어구성 Equirectangular Equirectangular tiled On-demand transcoding Polygon mapping 전송방식 방송망 유니캐스트 유니캐스트 전송규격 MPEG-2 TS DASH/ISOBMFF DASH/ISOBMFF 디바이스 STB/TV Any IP device Any IP device Equirectangular(ERP) : 기본적인 VR 미디어프로젝션포맷기반의서비스 Equirectangular tiled : ERP 기반의임의크기의타일 (Tile) 로분류, 사용자 RoI(Region of Interest) 에따른해당타일만을전송하는서비스 On-demand transcoding : 사용자뷰포트를기반으로 VR 영상내해당영역을추출하고이를요청한디바이스의해상도에맞게인코딩하여전송하는서비스 Polygon mapping : 상기 ERP 대비저장및압축효율성을고려한다른프로젝션포맷기반의서비스 TS : Transport Stream, DASH : Dynamic Adaptive Streaming over HTTP, STB:Set-top Box, ISOBMFF : ISO Based Media File Format 60 방송과미디어제 23 권 4 호

4 373 Reality Prospects for DVB Delivery 보고서 [7] 및같은해이를정리한 DVB VR Study Mission Report 를발간하였다 [8]. 또한 2017 년 1월 Type A 와 B로나뉜단계별표준화타임라인을기반으로 3DoF 및 6DoF VR 방송서비스에대한표준화추진계획을제시하였다. < 표 1> 과 < 표 2> 는상기보고서내포함된 VR 미디어서비스의주요이슈사항및구성형태에따른전송방식을나타낸다. 2. CM - VR - (official group) DVB는상기 DVB VR study mission report 발간의후속조치로서 3DoF VR 방송서비스를제공하기위한서비스시나리오및상업적요구사항을 정의하기위하여 2017 년 6월 CM -VR -(official) 그룹을발족하였으며 [9], 기발족된 CM -VR -SMG는 6DoF 지원 VR 미디어서비스에대한스터디미션을지속적으로수행하였다. < 표 3> 은주요 CM - VR -(official) 의주요 ToR(Terms of Reference) 를나타낸다 [10]. CM - VR - (official) 은정의된 ToR을토대로 3DoF VR 방송서비스에대한다양한유스케이스 (Usecase) 를논의함과동시에관련 CR의처리과정을보다빠르게진행하기위하여 2018 년 2월두개의파트로구성된설문지초안을발간하였다 [11]. Part 1은현재 VR 기술개발및인프라현황, 품질등을고려한시장에서의수요측면및서비스가능성을파악하기위한설문내용을정의하고있다. Part 2는제안된유스케이스요약과더불어방송환 < 표 3> 주요 CM -VR -ToR 목표 DVB기반 VR 미디어전송을위한 CR 개발 내용 VR 컨텐츠를전달하기위해 DVB 광대역및브로드밴드활용 사용가능한기술및실제배포시나리오를고려한파노라마 / 3DoF+ 까지의시청경험제공 MPEG, VR-IF(Industry Forum) 및 3GPP에서수행중인작업을고려한상업적요구사항정의 < 표 4> 범주별주요유스케이스 범주서비스레벨서비스컴포넌트레벨전송및호환성레벨 유스케이스 Linear RF channel broadcast OTT service - Live streaming, On-demand, Download Push download over broadcast VR second screen with hybrid delivery Audio messages for indicating the RoI Predetermined viewports Text-based subtitle(or closed caption) Graphics overlay Guided rendering indication(ex. initial/recommended view) Low latency transition from view to another one VR media decodable on non-vr compatible devices Bandwidth efficient broadcasting with backward compatibility (< 그림 2> 참조 ) Lower transmission bandwidth and lower decoding complexity 2018 년 10 월 61

5 374 특집 : 360VR 및몰입형미디어 경에서의구현가능성평가및우선적으로고려해야하는 CR을도출하기위한설문내용을포함하고있다. 상기설문지내포함된유스케이스는 < 표 4> 와같이크게 3가지의범주로분류된다. 첫번째범주는라이브스포츠중계또는 VR CS(Companion Service) 등자체가서비스로제안된유스케이스를나타내며, 두번째범주는서비스타이틀및초기뷰포트정보등서비스컴포넌트에관한내용을포함한다. 마지막으로세번째범주는기존단말과의호환성및효율적으로전송하기위한구성요소에관한유스케이스를나타낸다. < 그림 2> 는상기세번째범주내역호환성을유지하면서이종망기반 3DoF VR 방송서비스를제공하는하나의유스케이스예를나타낸다 [12]. < 그림 2> 이종망기반 VR 방송서비스유스케이스예 CM -VR -(official) 은 12개기관의설문에대한답변 [13] 을토대로 2018 년 6월까지 CR을정의하기 위한표준화를진행하였다. VR 방송서비스에있어 QoE, Streaming/Broadcast, Synchronization aspects for companion devices 및 Subtitling 에대한 CR이도출되었으나, DVB 회원사가다수포함되어있는 VR - IF에서진행되는워킹 (Working) 아이템외추가적으로할아이템에대한표준화진행여부필요성및관련요구사항을도출하기위한기관의참여부족의이유로 2018 년 7월 SB 회의에서잠정활동중단을결정하고관련표준화활동여부는 2019 년 2월 SB회의에서재논의하기로하였다. III. 3GPP 표준화현황 이동통신표준화기술협력기구인 3GPP 는표준화범위를회전운동만을지원하는 3DoF VR서비스에한정하여관련한표준화작업을수행하고있다. VR 서비스에필요한요소기술과기존의 3GPP 이동통신규격간의상호운용성 (Interoperability) 을분석하여새로운표준화이슈를도출하기위한스터디가 2016년 4월부터 3GPP WG(Working Group) SA(Service and System Aspects)4 (Codec) 에서진행되었고, 이의결과를종합하여 3GPP TR Virtual Reality media services over 3GPP 라는이름의기술보고서를작성하였다. 초안은 2017 년 6월에발간되었고, 이후지속적인보완을거듭하여 2018 년 3월에 Ver.15.2 를배포하였다 [14]. 본기술보고서는 VR과관련한하드웨어및소프트웨어기술, 파일포맷, 전송및부복호화요소기술, 품질평가및상호운용성등관련내용을포함하며, 고정된사용자위치에서의 3DoF 360VR 서 62 방송과미디어제 23 권 4 호

6 375 < 표 5> 3GPP VR 관련신규스터디아이템및워크아이템정보 순서명칭목적완료일시 1 VRStream 2 LiQuiMas 3 FS_QoE_VR 4 IVAS VR profile for streaming media 의줄임말로 VR 스트리밍서비스를위해기존의 3GPP 이동통신규격에새롭게추가해야할프로파일 (Profile) 정의 Subjective/objective test methods for immersive audio systems 의줄임말로오디오시스템의품질및성능을객관적으로평가하기위한방법정의 QoE metrics for VR 의줄임말로 VR 콘텐츠생성절차, 네트워크상태, 장비사양을포함한세가지요소를고려하여사용자경험의품질 (QoE) 을객관적으로평가하기메트릭분석 Codec for Immersive Voice and Audio Services 의줄임말로몰입형오디오및 3D 오디오기능을지원하는새로운코덱을정의 2018년 4월 2018년 4월 2018년 9월 2019년 12월 비스를중심으로 유니캐스트 DASH기반실시간스트리밍 VR 서비스, MBMS(Multimedia Broadcast Multicast Services) 기반 VR 미디어중계서비스 및 3GPP 기반양방향개인형 VR 서비스 등의유스케이스가제시되었다. 현재 3GPP는상기 SA4 그룹의스터디내용을바탕으로 2017년 6월부터 VR과관련한여러개의새로운스터디및워크아이템에대하여논의중에있으며각아이템의명칭, 목적및완료일시는 < 표 5> 와같다. 1. VR 미디어요소기술 VR 미디어서비스를위한 End-to -end 프로세싱구조는 < 그림 4> 와같으며, 이를기반으로핵심기능에대한기술적특징및적용가능한요소기술에분석을수행하였다. 전체적으로 3DoF VR 미디어저장을위한 MPEG -I Part 2 OMAF 표준 [15] 내포함된 VR 미디어프로세싱구조와유사한형태로본장에서는스티칭및 3GPP 기반 VR 미디어전송방식을중심으로기술한다 QoE metrics for VR Study Item Work Item Codecs for VR Audio FS_VR Study Item 3GPP VR Profile for Streaming Media Subjective/objective test methods for immersive audio systems Codec for Immersive Voice and Audio services Release15 stage3 (5G) < 그림 3> 3GPP 표준화타임라인 2018 년 10 월 63

376 특집 : 360VR 및몰입형미디어 < 그림 4> VR 미디어서비스를위한프로세싱구조 VR 영상의획득및스티칭 (Stitching) 관련기술로아래 3가지기술이검토되었으며, 기술별장단점분석을통해특성에맞는요소기술적용방안을제시하였다. 또한 VR 미디어전송에있어서는 < 표 6> 과같이 3가지의방식이검토되었다.

7 376 특집 : 360VR 및몰입형미디어 < 그림 4> VR 미디어서비스를위한프로세싱구조 VR 영상의획득및스티칭 (Stitching) 관련기술로아래 3가지기술이검토되었으며, 기술별장단점분석을통해특성에맞는요소기술적용방안을제시하였다. 또한 VR 미디어전송에있어서는 < 표 6> 과같이 3가지의방식이검토되었다. 거울기반의직접스티칭 : 거울을이용하여다수의카메라의초점을일치시키는방식으로시차 (Parallax) 가없어스티칭이간단하여실시간처리에용이하지만충격에취약하며초기카메라캘리브레이션이번거로움 깊이인지 (Depth- aware) 스티칭 : 깊이정보를획득할수있는카메라리그를구성하는방식으로시스템이비교적단순하고강인하며초기카메라캘리브레이션이쉬운장점이있지만실시간처리가어렵고영상간오버랩 (Overlap) 이발생하여해상도가저하됨 라이트필드 (Lightfield) 영상획득및재현 : 공간정보를이용하여임의의가상시점을생성할수있는방식으로시차가없고공간내에서자유롭게시점을이동할수있는장점이있지만복잡도가높아실시간처리가어렵고가상시점오류가쉽게일어날수있음 < 표 6> VR 미디어전송방식비교 구분단일 (Single) 스트림전송멀티 (Multi) 스트림전송타일드 (Tiled) 스트림전송 내용 360VR 미디어전체를단일스트림으로전송하는방식으로사용자에의한별도의뷰포트처리를할필요가없으나 RoI 화질이떨어지면서네트워크자원이많이소모됨화질에따른다수의 360VR 영상을다중스트림으로전송하는방식으로네트워크상태에맞추어사용자가적절한품질의영상을선택할수있으나서버의저장및부호화오버헤드가커짐개별적으로부호화된타일드영상을다중스트림으로전송하는방식으로사용자의뷰포트에따라필요한타일드영상을선택하여복호화함으로써재현시최적화된영상품질을제공할수있으나, 경우에따라재현지연이발생할수있음 64 방송과미디어제 23 권 4 호

8 377 IV. 결론 이상으로사용자에게시점변화에따른해당영상을자연스럽게재현함과동시에보다나은몰입감을제공하는 3DoF VR 미디어에대한 DVB 및 3GPP 표준화동향을살펴보았다. VR미디어는전방위가상공간내에서현실감및상호작용을통해실감효과를극대화함으로써지속적으로발전하는몰입형미디어의주요매개체중하나로인식되고있다. DVB는 2015 년 10월부터 2018 년 6월까지방 송에서의 VR 미디어적용및서비스에대한요구사항정의를위한표준화를진행하였으며, 3GPP 는 2016 년 4월부터통신망기반 VR 미디어서비스를위한기술분석을토대로현재 VR 미디어품질평가방안및몰입형오디오코덱에대한워킹아이템을중심으로관련논의를진행중에있다. 이러한변화의흐름속에서, 본고가방송망또는통신망기반의 VR 미디어서비스기술의연구개발방향을예측하고몰입형미디어표준화분야에서기술경쟁력을높이는데조금이나마도움이되기를기대한다. 참고문헌 참고문헌 [1] 곽상운, 정준영, 김준수, 윤국진, 정원식, 서정일, VR미디어표준화동향, 전자통신동향분석, 제 32권 3호, 2017 [2] 정원식, 이광순, 윤정일, 윤국진, 서정일, Light Field 미디어기술개발및표준화동향, 방송과미디어, 제 23권 1호, pp.33-45, 2018 [3] [4] 3GPP TR , Virtual Reality (VR) media Services over 3GPP, Mar [5] 호요성, MPEG-I 표준과 360도비디오콘텐츠생성, 전자공학회지, 44권 8호, pp.52-57, 2017 [6] ISO/IEC JTC1/SC29/WG11, Working Draft 1.0 of TR: Technical Report on Architectures for Immersive Media, N17060, July 2017 [7] Report of DVB-CM-VR-SMG, Virtual Reality-Prospects for DVB Delivery, June 2016 [8] Report of DVB-CM-VR-SMG, DVB VR study mission report summary, Nov [9] [10] [11] DVB CM-VR, CM-VR0087 Questionnaire, Feb [12] DVB CM-VR, CM-VR0060 TDF-Proposal to DVB CM-VR, Nov [13] DVB CM-VR, CM-VR0091 Report for CM#81, June 2018 [14] specificationid=3053 [15] ISO/IEC JTC1/SC29/WG11, Coded representation of immersive media (MPEG-I) Part 2: Omnidirectional media format N17399, October 년 10 월 65

378 특집 : 360VR 및몰입형미디어 필자소개 윤국진 - 1999 년 : 전북대학교컴퓨터공학과학사 - 2001 년 :

한국전자통신연구원테라미디어연구그룹책임연구원 - 주관심분야 : VR/AR, MPEG, 디지털방송 정준영 - 2013 년 :

주관심분야 : VR/AR, CG, MPEG 정원식 - 1992 년 : 경북대학교공과대학전자공학과학사 - 1994 년 :

한국전자통신연구원테라미디어연구그룹책임연구원 - 주관심분야 : 디지털방송, MPEG, VR/AR/MR 이광순 - 1993 년 :

년 ~ 현재 : 한국전자통신연구원테라미디어연구그룹책임연구원 - 주관심분야 : LF 비디오획득 / 재현, VR/AR 서정일 - 1994 년 :

9 378 특집 : 360VR 및몰입형미디어 필자소개 윤국진 년 : 전북대학교컴퓨터공학과학사 년 : 전북대학교컴퓨터공학과석사 년 : 경희대학교전자전파공학과박사 년 ~ 현재 : 한국전자통신연구원테라미디어연구그룹책임연구원 - 주관심분야 : VR/AR, MPEG, 디지털방송 정준영 년 : 퍼듀대학교전자공학과학사 년 : 퍼듀대학교전자공학과석사 년 ~ 현재 : 한국전자통신연구원테라미디어연구그룹연구원 - 주관심분야 : VR/AR, CG, MPEG 정원식 년 : 경북대학교공과대학전자공학과학사 년 : 경북대학교대학원전자공학과석사 년 : 경북대학교대학원전자공학과박사 년 ~ 현재 : 한국전자통신연구원테라미디어연구그룹책임연구원 - 주관심분야 : 디지털방송, MPEG, VR/AR/MR 이광순 년 : 경북대학교공과대학전자공학과학사 년 : 경북대학교대학원전자공학과석사 년 : 경북대학교대학원전자공학과박사 년 ~ 현재 : 한국전자통신연구원테라미디어연구그룹책임연구원 - 주관심분야 : LF 비디오획득 / 재현, VR/AR 서정일 년 : 경북대학교전자공학과학사 년 : 경북대학교전자공학과석사 년 : 경북대학교전자공학과박사 년 ~ 현재 : 한국전자통신연구원테라미디어연구그룹그룹장 - 주관심분야 : 실감미디어, UWV, 360 Video, 공간미디어, MPEG 66 방송과미디어제 23 권 4 호

À±½Â¿í Ãâ·Â

À±½Â¿í Ãâ·Â Representation, Encoding and Intermediate View Interpolation Methods for Multi-view Video Using Layered Depth Images The multi-view video is a collection of multiple videos, capturing the same scene at