본보고서는과학기술정보통신부가지원하는 범부처 Giga KOREA 사업 (2013~2021) 의미래서비스 실증과제 ( 주관기관 (KT, SKT, LGU+)) 에서수행한 5G 융합서비스시나리오기획보고서입니다.

Size: px

Start display at page:

Download "본보고서는과학기술정보통신부가지원하는 범부처 Giga KOREA 사업 (2013~2021) 의미래서비스 실증과제 ( 주관기관 (KT, SKT, LGU+)) 에서수행한 5G 융합서비스시나리오기획보고서입니다."

윤서 낭
5 years ago
Views:

1 5G 융합서비스기획보고서 [ 증강 / 가상현실 ]

2 본보고서는과학기술정보통신부가지원하는 범부처 Giga KOREA 사업 (2013~2021) 의미래서비스 실증과제 ( 주관기관 (KT, SKT, LGU+)) 에서수행한 5G 융합서비스시나리오기획보고서입니다.

3 목차 I. 개요 1 Ⅱ. 대표서비스 5 1. 개요 5 2. 제공서비스 10 Ⅲ. 대표서비스구현전략 서비스기술 표준및주파수고려사항 서비스 / 기술로드맵 22 Ⅳ. 결론및기대효과 결론 기대효과 28 참고문헌 30 작성기여자 31

5 I 개요 증강 / 가상현실 (AR/VR) 서비스와 5G 기술가상현실 (VR) 및증강현실 (AR) 서비스는현실감있는감각정보의제공및몰입감높은상호작용을제공하는것이주요특징이다. 상기한특징을만족시키기위하여증강 / 가상현실서비스는높은품질의콘텐츠, 즉고화질및고수준의다중감각콘텐츠를요구하며, 사용자의입력및행위에대한감각적반응이수ms 이내의빠른시간에생성되어제공될것을요구한다. 이러한요구조건은기존의네트워크에서는해결이어려워대부분다운로드중심의연결서비스나제한된상호작용만을제공하고있다. 기존의증강 / 가상현실서비스는사용자주도보다는콘텐츠사업자주도의특성을지니고있으며, 고가의높은수준의디바이스를필수적으로요구하여그대중화와서비스의다양화에큰제약을갖고있다. 5G 네트워크의등장과발전으로서비스특성이크게변화할것으로예측되며, 대표적인요소를요약하면다음과같다. - 사용자중심서비스 : 고대역폭및제약없는 UL구조로인하여고품질의콘텐츠를제공하는 1인미디어혹은중 / 소규모다중사용자미디어서비스가보편화될것이며, 이를위한디바이스와플랫폼생태계가등장할것이다. - 높은수준의몰입감제공서비스 : 초고화질및상호작용에대한다중감각정보의생성과전송에대한제약이초저지연, 고대역폭네트워크에의하여크게완화됨에따라중저가디바이스를기반으로한높은수준의몰입감서비스가보편화되어가상현실및증강현실서비스의보편화가좀더빠르게다가올것이다. - 현장감있는증강현실서비스 : 영상획득과정합, 그리고현장감있는정보의검색과생성이초저지연네트워크및고대역폭의제공으로클라우드환경에서가능해져많은데이터의활용과분석을통하여높은수준의정확도가달성될수있을것이다. 이를통하여낮은복잡도의디바이스에서도현장감있는증강현실서비스가가능해지게되며, 관련된다양한안경등의디바이스의등장과서비스플랫폼의발전이급속하게이루어질것이다. 5G 네트워크를위한증강 / 가상현실서비스증강 / 가상현실의서비스시장은유사한다른시장과는다른특성을갖고있다. 증강 / 가상현실은미디어를다루는모든서비스의기초기술로교육, 훈련, 의료, 제조, 공연, 방송, 게임, 통신, 유통등의거의모든분야에적용되고있다. 1

6 증강 / 가상현실의새로운플랫폼에서기존의서비스들이서로융합 / 결합 / 공유될가능성을고려하여여러서비스들을정리하고, 증강 / 가상현실서비스에적합한버티컬마켓과대표적서비스형태를선별한결과는다음표와같이정리할수있다. 이러한서비스는 5G 네트워크의특성을바탕으로기존환경에서는구현하기어려운기술적한계나제약을해결함으로써현실화가능하다. [ 표 2. 증강 / 가상현실서비스에적합한버티컬마켓선별 ] 구분 실감형방송서비스 지능형정보전달 / 가이드서비스 헬스케어서비스 교육 / 훈련서비스 제조 / 엔지니어링 / 유지보수서비스 증강 / 가상리테일 ( 쇼핑 ) 내용 - 대표적인대중콘텐츠서비스로서콘텐츠갱신주기가주로일단위 / 주단위로이루어짐 - 기본적으로 360도영상제작및송출 / 배포서비스이며지상파 / 케이블뿐만아니라인터넷방송이나온라인소셜네트워킹서비스등을폭넓게포함 - 플랫폼과기술이성숙하면상호작용서비스까지포함될수있음 - 인터넷포털, PC 바탕화면, 스마트폰런쳐와같은서비스시작플랫폼 - 관광, 내비게이션, 위치기반현장형검색서비스등에폭넓게적용가능 - 온라인 (PC/ 모바일 ) 소셜네트워킹서비스, 메시징 / 텍스팅서비스등에적용가능 - 재활치료등전문적이고제한적인서비스뿐만아니라실버세대의근력과치매예방을위한다양한헬스케어서비스가능 - 가상체화기술등을이용하여단계조절이용이한재활치료서비스 - 개인체형과행동방식데이터를활용하여증강현실기반헬스케어서비스가능 - 대표적인 B2C시장이나 B2B시장의규모도작지않음 - 평생교육이중요해지는시대적특성뿐만아니라사교육등이산업적으로크게융성한한국적시장특수성을감안하면수요기반과수익창출기반확보용이 - 전통적으로 B2B시장에가까우나프로슈머 (Prosumer) 시대에서는 B2C 시장과중첩될가능성이매우높음 - 설계 / 디자인의사전검증측면에서가상현실서비스가, 사후검증과유지보수측면에서증강현실서비스가활용 - 제조비용과주기를획기적으로줄일수있음 - 다양한상품들에의해전반적인콘텐츠갱신주기가길지않음 - 몰입적실감시뮬레이션을통해실물없이주관적인착용 / 작동확인 - 리테일방식의혁명적변화 ( 온라인 모바일 증강 / 가상현실 ) 2

7 관련산업의특성과 5G 와의연관성시장확대를위한콘텐츠요구특성 - 우선손쉬운고품질의콘텐츠제작을위한기술이요구된다. 현재의제약사항인정해진시점에서의고가장비를사용한 3차원 360영상의제작에서, 사용자참여가가능한자유시점의 3차원정보의레코딩과자유로운제작이요구되고있다. - 이와함께단순한시각과청각의레코딩이아닌촉각등의다양한감각을제공하기위한물리적성질과다중감각의제작기술에대한요구가점차발생하고있으며, 이에대한기술개발이요구된다. 이는필연적으로대용량의정보의실시간공유를요구하게되며이를해결할수있는고대역폭, 초저지연 5G 네트워크의필요성은매우크다. 시장확대를위한플랫폼요구특성 - 현재의플랫폼시장은디바이스제조사중심의콘텐츠플랫폼을시작으로몇몇콘텐츠플랫폼에대한지장접근이이루어지고있다. 아직국내에서는플랫폼에대한구체적인형태는나오지않고있으나점차그관심은커져가고있다. - 단순한콘텐츠플랫폼은콘텐츠에대한 2차서비스나부가가치창출이어려워시장이크게성장하는데에한계를보이고있다. Facebook 은이를넘어서비스플랫폼으로변화를꾀하고있으나, 아직콘텐츠기술의부족과디바이스플랫폼의다양성으로크게확대되고있지는못하고있다. - 이러한한계는다른콘텐츠기반산업의초기와유사한형태이며, 증강 / 가상현실시장에서도점차서비스플랫폼그리고경험플랫폼으로의변화가요구되고있다. 시장확대를위한네트워크요구특성 - 증강 / 가상현실을위한콘텐츠는기존의미디어콘텐츠에비교하여대용량의특성을갖고있다. 자유시점을지원하는영상정보는개인화되고높은해상도를요구하며, 3차원정보에대한전송이필수적이다. 또한기존의비디오 / 오디오에더하여촉각등의다른감각정보에대한전송은매우많은양의데이터의실시간전송을요구한다. - 대용량데이터의특성과함께증강 / 가상현실의상호작용성은사용자의행위, 예를들어고개를돌려시점을바꾸거나가상객체혹은현실객체를조작하는행위에대한가상세계의반응이즉시성을갖도록요구한다. 이러한즉시성은감각의조합에따라 1ms에서 100ms 까지다양한요구사항을지니며, 특히중요한시각의경우에는 5ms 이내에대한요구사항을갖고있다. 이를만족시키기위한초저지연네트워크가요구된다. 3

8 시장확대를위한디바이스요구특성 - 현재디바이스시장은 HMD를중심으로빠르게성장하고있다. 그러나아직디바이스의접근성 ( 가격및무게등의편의성 ) 에한계가있어기대했던것만큼시장이크게확대되지는못하고있다. - 또한, HMD 기반기기가갖는밀폐성의장점에도불구하고, 일상적인생활에서의편의성의한계로점차디스플레이디바이스의무게중심은안경 / 고글형장치로옮겨가고있는추세이다. - 이와함께 3차원공간에서의상호작용을위한입력장치에대한요구도커지고있으며, 현재의복잡한설치가필요한입력장치에서단순한제스쳐및일상물체를활용한입력에대한요구도커지고있다. 산업생태계확대를위한융합서비스대응방안상기요구사항을만족시키기위하여중단기적으로는다음의대응이필요하다. - 사용자의콘텐츠증강 / 가상현실제작이용이할수있도록중품질이상의콘텐츠제작기술이요구된다. 이와함께고품질서비스가요구되는시장과중품질서비스의시장의융합을위하여증강 / 가상현실콘텐츠의품질에대한표준화역시이루어질필요가있다. 이는단순한해상도등의물리적품질에더하여멀미, 경험등에대한품질표준화를포함한다. - 플랫폼의확장을위해서는콘텐츠기술의빠른발전에맞추어섣부른콘텐츠양식의표준화보다는플랫폼의다양화가더좋은대응이될것이다. 또한단순한콘텐츠플랫폼에서벗어나 SNS 등과연계된서비스플랫폼으로의빠른진입이효과적인대응으로분석된다. - 네트워크측면에서는초저지연, 대용량네트워크서비스기술과함께다양한사용자의콘텐츠생성을지원하는다대다 (m:n) 연결의동적지원기술에대한개발과인프라구축이시급한것으로분석된다. - 디바이스는콘텐츠품질에대한표준화를바탕으로이품질에대한만족도의표준개발이필요하며, 이를통하여다양한디바이스기술이개발되고시험될수있도록하는것이시급하다. 섣부른디바이스형식의표준화보다는다양한기술이시험되고시장에서평가될수있도록하는기술지원이더시급한것으로분석된다. 4

9 Ⅱ 대표서비스 1 개요 기술발전과미디어서비스의변화초고속, 저지연 5G 네트워크의도입, 증강 / 가상현실소프트웨어기술및단말의발전에힘입어실감미디어로소통하는시대가다가오고있다. 이를주요기술및생태계측면에서요약하면다음과같다 촬영카메라, 깊이를측정할수있는전문화된카메라및초소형화되어휴대할수있는형태의촬영장비가출시되고있다. - 다중주파수대역을활용하여초저지연광대역통신을지원하는 5G 네트워크의상용화가 2019년을목표로추진되고있다. - 증강 / 가상현실단말플랫폼의확산으로 2020년말 90% 이상의보급이예측되며얼굴인식등감성의영역을감지하고정보화하는센싱기술역시보편화되고있다. - HMD 형태의증강 / 가상현실단말의보급이확산대고, 착용성이크게개선되어 2020년말안경과같이착용하고생활을할수있는형태의단말이보편화될것이예측된다. 실감미디어의등장은최적화된콘텐츠를제작하고, 언제어디서나손실과지연없이전달하며, 최종사용자가높은실재감, 몰입감과함께고품질의미디어를체험할수있는서비스환경구축을요구하며이를위한기술개발이활발히추진되고있다. - 자유시점촬영방식에기반한실시간모델링기술로 3차원의영상을생성하는시도가활발히이루어지고있으며, 보다실재감을높일수있도록촉각, 후각등의단위감각은물론운동감, 바람등재현이용이한형태의정보를메타정보에포함시키는연구도진행중이다. - 실감미디어등보다높은화질의광대역콘텐츠를언제어디서나안전하게실시간으로전달할수있도록표준화가진행되고있다. - 오감및운동감을가상콘텐츠와연결하여실재감이극대화된콘텐츠감상이가능하도록단말하드웨어, 소프트웨어기술이개발되고있다. 기술의발전은아직까지는파편화된단위기술수준의개발에머물러있으며, 이를결합하여언제어디서나실감미디어를체험할수있도록플랫폼, 네트워크및단말의통합서비스환경이구축되어야한다. 5

- TV는보다높은현장감, 몰입감을제공하기위해패널의대형화, 고화질화를지속하고있으며, 초다시점 TV, 홀로그램등다양한방식으로실재감을제공할것으로예상된다.

10 이러한변화는결과적으로콘텐츠의생성, 전달및체험에대한새로운요구를 등장시키며향후가상의공간이현실과결합되어표출되는형태로진화될것이다. 이를요약하면다음그림과같다. [ 그림 1. 실감미디어트렌드및대표서비스목표 ] 실감미디어콘텐츠의진화현재의미디어는평면TV에서모바일TV로변화되는과정에있으며, 향후가상의공간이현실과결합되어표출되는형태로진화될것이다. - TV는보다높은현장감, 몰입감을제공하기위해패널의대형화, 고화질화를지속하고있으며, 초다시점 TV, 홀로그램등다양한방식으로실재감을제공할것으로예상된다. - 증강 / 가상현실단말은소형화, 경량화, 저전력화를통해사용성을높여가고있으며, 어지러움등을해소하기위한다양한헤드트래킹기술, 광학기술등이시도되고있다. - 망과단말의진화에따라유통되는콘텐츠의영상비중이급격히증가되고있으며, 5G망의상용화시대용량실감미디어콘텐츠의전달비중은더욱늘어날것으로보인다. 이를현재, 2020년, 2025년및 2030년에대하여예측하여요약하면다음과같다. 현재의방송영상정보는평면TV를중심으로고화질화되어가고있으며, 스마트폰, 가상현실 HMD 등의보급확대에따라 3차원영상정보제작이시도되고있다. 6

11 - 평면 TV는 8K 화질의상용제품이출시되었으며, 방송은 4K급이시험중이다 파노라마방식콘텐츠가시범적으로적용되고있으며오브젝트 360 방식및자유시점촬영방식에대한기술이활발히개발되고있다. - 현재의음성정보는다채널의녹음을단말에전달하여공간감을만들어주는수준의서비스를제공하고있으며, 메타정보는자막, 이미지등을영상에결합하여보여주는형태에머무르고있다. 2020년에는 3차원화된영상을스마트폰으로시청하는소비형태가보다활성화될것이며, 음성, 촉각, 운동감등추가적인실감정보가함께전달되어보다실재감을높일수있게될것으로예상된다. - 평면 TV는네트워크의성능개선, 적정가격의패널공급에의해 60인치대크기, 8K 수준의고화질콘텐츠감상이활성화될것이다 촬영콘텐츠는스티칭기술의발전으로개인이손쉽게 6K 수준의가공된콘텐츠를만들고공유할수있게되며, 소셜네트워크를중심으로사용량이증가할것이다. - 자유시점촬영방식은 2K 화질의콘텐츠를생성할수있게될것으로예상되나, 많은카메라촬영환경, 초고속의영상처리플랫폼등을감안할때방송, 영화등전문화된제작사중심으로활용이늘어날것으로예측된다. - 3D 모델링된정보는단말이직접내려받아자유로운시점에서영상을감상할수있을것이며, 실시간렌더링기능이탑재되지않은단말은망의엣지 (edge) 에설치된클라우드플랫폼의도움을받아실시간으로뷰포트를변경하며감상할수있게될것이다. - 음성정보는보다높은방향성과음색구분을통해보다고품질의믹싱이가능해질것이며, 촉각정보도제한적으로제공하게될것이다. - 5G 네트워크의상용화에따라언제어디서나실감콘텐츠를업로드, 다운로드할수있는환경이제공될것이다. 2025년에는 4K 수준의고품질실감미디어를보편화된스마트글래스를이용하여체험할수있게될것이며, 운동감등효과정보의전달범위가더욱넓어질것이다. - 16K 고화질카메라 100대이상의카메라로촬영한자유시점영상을분석, 처리하여 4K 수준의고화질모델링결과물을실시간으로생성된다. - 연 3억대판매가예상되는스마트글래스를활용하여가상의사물이현실공간에결합되어동작하는지능형실감미디어제작이활성화될것이다. 7

1) - 8K 수준의고화질모델링결과를실시간으로얻을수있으며, CCTV, 자동차블랙박스등곳곳에설치된이종 ( 異種 ) 카메라로부터획득된영상에서 3차원의모델링을얻을수있을것이다.

12 - 운동정보, 바람, 향기등재현가능한효과정보가늘어날것이며, 소리의발생위치, 음색기준으로음원을분류하고, 음성정보의경우이를자동으로인식하고번역하여주는기능이제공될것이다. 2030년에는홀로그램등안경없이 3차원의영상을감상할수있는기술이개발될것으로예상하며, 직접센싱및영상기반사물인식기능을통해수집된오감정보를웨어러블단말장치를통해재현할수있게될것이다. - 16K 고화질대형 TV의대중화가이루어질것이다. 1) - 8K 수준의고화질모델링결과를실시간으로얻을수있으며, CCTV, 자동차블랙박스등곳곳에설치된이종 ( 異種 ) 카메라로부터획득된영상에서 3차원의모델링을얻을수있을것이다. - 센싱기술의발전으로보다많은감각정보를수집할수있게되며, 영상분석에따른사물인식기능으로 3차원모델에촉각, 향기, 소리등의특성을부여할수있게될것이다. 이를요약하면다음그림와같다. [ 그림 2. 실감미디어콘텐츠의진화 ] 1) 16k 해상도에대한예측은거실공간에서적절한곡면을갖는 TV 가 150 도이상의 FoV 를제공하기위하여요구되는해상도를예측한것임. 구면이아닌부드러운곡면에서충분한 FoV 를갖추기위하여는 TV 와시점의거리가충분히가까워야하며, 스크린크기역시매우커져야함. 이를바탕으로역추산하면 16k 해상도에대한요구가발생할것으로예측됨 8

따라서 TV 콘텐츠와가상현실단말을결합하여보다실재감이높은방송미디어서비스를제공하며, 가상현실단말을모바일과결합하여언제어디서나실감미디어를촬영하고공유할수있도록개인미디어서비스를제공하고,

13 실감미디어서비스의추진방향고화질대형화되고있는 TV환경, 영상중심의모바일사용패턴, 성장초기단계에접어든증강 / 가상현실단말환경을감안할때실감미디어서비스는전문화된고품질의서비스와개인미디어서비스그리고타산업분야와융합된융합산업미디어서비스로제공될것으로예측된다. 따라서 TV 콘텐츠와가상현실단말을결합하여보다실재감이높은방송미디어서비스를제공하며, 가상현실단말을모바일과결합하여언제어디서나실감미디어를촬영하고공유할수있도록개인미디어서비스를제공하고, 실감미디어구성요소를산업현장기술과융합하여자동화, 집중화되는미래환경에서생산성과편의성, 안정성을높일수있는산업미디어서비스가제공될것이다. TV, 증강 / 가상현실단말및모바일단말에대한변화를바탕으로각각의서비스의전개방향을도식하면다음그림과같다. [ 그림 3. 실감미디어서비스전개 ] 다음절에서는세가지서비스에대한개념과서비스절차를중심으로기본적인 요구조건을요약한다. 9

2 제공서비스 방송미디어서비스경험이풍부한전문조직을통해제작된고품질 3D 실감미디어를스마트폰, HMD, TV 등의단말을이용하여감상하는서비스이다. 대표적인서비스는영화나드라마와같은영상과, 스포츠중계및뉴스와같은실시간중계서비스가될것이다. 디지털시네마도초고화질을제공하는실감시네마서비스가등장할것이다.

com/ko/ 존 - 웨인 - 배우 - 포도주 - 서 - 부 - 카우보이 - 영화 - 모션 - 사진 -401251/ https://pixabay.com/ko/ 야구 - 선수 - 유격수 - 내 - 야 - 스포츠 - 연주 - 장갑 - 내야수 - 분야 -582366/) 서비스절차및요구품질을설명하면다음과같다.

14 2 제공서비스 방송미디어서비스경험이풍부한전문조직을통해제작된고품질 3D 실감미디어를스마트폰, HMD, TV 등의단말을이용하여감상하는서비스이다. 대표적인서비스는영화나드라마와같은영상과, 스포츠중계및뉴스와같은실시간중계서비스가될것이다. 디지털시네마도초고화질을제공하는실감시네마서비스가등장할것이다. 콘텐츠는사용자가원하는시점에서자유롭게감상가능하며, 다양한디바이스를통하여개인장소, 이동중, 혹은공공장소에서제공된다. 이를요약하여도식하면다음그림과같다. [ 그림 4. 방송미디어서비스의예 ] ( 사용된클립은 Creative Commons 라이센스하에다음의출처에서사용함 존 - 웨인 - 배우 - 포도주 - 서 - 부 - 카우보이 - 영화 - 모션 - 사진 / 야구 - 선수 - 유격수 - 내 - 야 - 스포츠 - 연주 - 장갑 - 내야수 - 분야 /) 서비스절차및요구품질을설명하면다음과같다. - 다수의카메라를사용하여촬영된영상은영상정합, 포인트클라우드생성, 메쉬모델링, 텍스처과정을거쳐 3차원화된후스트리밍을통해유통플랫폼으로전달된다. - 유통플랫폼은콘텐츠가라이브방송또는멀티캐스팅일경우편집없이스트리밍서버를통해망으로전달하며, 주문형서비스의경우영상편집, 자막삽입, 오디오믹싱등별도의전문화된편집과정을통해콘텐츠를마스터링하여저장하고, 사용자요청이있을경우스트리밍서버를통해망으로전달한다. - 5G 네트워크는충분한대역폭을할당하여콘텐츠스트림을단말로전달한다. 10

- 사용자는스마트폰, 가상현실단말, TV 등을이용하여실감미디어를시청한다. - 레거시 TV의경우별도의셋탑박스를이용하여가상현실기능을제공받아리모콘을통해이용할수있으며, 네트워크의 C-RAN에엣지클라우드형태로뷰포트생성기능을구현하여보다빠르게시점을변경하며시청한다.

방송미디어서비스절차및요구품질 ] - 콘텐츠와디바이스에서의영상의요구품질은디바이스에서 16k ( 최소 12k 이상 ) 의 360도영상을궁극적타겟으로하게되며, 이를위하여는 12~36개의카메라가각각 8k~12k 수준의영상을획득하여야한다. 또한재생성되는 3차원정보는최소 4k 이상의 3차원정보와 24k 이상의영상정보를갖추어야목표수준의영상이획득될것이다.

15 - 사용자는스마트폰, 가상현실단말, TV 등을이용하여실감미디어를시청한다. - 레거시 TV의경우별도의셋탑박스를이용하여가상현실기능을제공받아리모콘을통해이용할수있으며, 네트워크의 C-RAN에엣지클라우드형태로뷰포트생성기능을구현하여보다빠르게시점을변경하며시청한다. - 추후댁내 5G Personal Cell 구성을위한홈게이트웨이를추가하여고화질의실감콘텐츠를끊김없이즐길수있는환경을제공하며, 가상현실체어등실감효과의재현을위한웨어러블장치등도지원한다. [ 그림 5. 방송미디어서비스절차및요구품질 ] - 콘텐츠와디바이스에서의영상의요구품질은디바이스에서 16k ( 최소 12k 이상 ) 의 360도영상을궁극적타겟으로하게되며, 이를위하여는 12~36개의카메라가각각 8k~12k 수준의영상을획득하여야한다. 또한재생성되는 3차원정보는최소 4k 이상의 3차원정보와 24k 이상의영상정보를갖추어야목표수준의영상이획득될것이다. 이러한정보는엣지클라우드에서영상의재생성과정을활용하여줄여서획득될수도있다. 또한글라스형태의디바이스의경우나헤드트래킹의초저지연 (5ms 내외 ) 지원을통하여좀더좁은 FoV (150~220 도내외 ) 와이에해당하는해상도 (8k~12k 내외 ) 로제공할수도있다. - 플랫폼은상호작용성보다는시각, 청각및촉각등의다양한감각에대한동기화및스트리밍이요구되며, 다수의서비스사용자가서로다른관점에서시청할수있는형태의그룹화및엣지클라우드형태의구성이요구된다. - 네트워크의요구조건은중계서비스의경우획득영상의 UL에대한요구가크게등장하며, 모든서비스에있어 16k 수준의 360영상및이에상응하는영상을실시간으로제공할수있는대역폭이요구된다. 엣지클라우드와디바이스간의연동을위한지연은시점변화에대한빠른대응을위하여 5ms 이내의초저지연연동이요구된다. 개인미디어서비스개인이창작한콘텐츠 1인미디어콘텐츠를실시간혹은주문형방식으로제공하거나상호공유하는서비스로서다음의절차에의해사용자에게실감미디어를제공한다. 11

대표적인서비스는관광지및이벤트의중계를포함한개인방송이될것이며, 시청자는 HMD, 글라스혹은모바일디바이스등을주시각매체로한다. 시청자는방송제공자와실시간실감공유를통한상호작용을통하여소통하게된다. 이를통하여출연자와사용자가같은가상공간에서함께즐기고체험하는형태의콘텐츠가등장할것이다. 예를들어가상공간속에서그림을그리는아티스트방송을사용자가바로옆에서지켜볼수있다.

개인미디어서비스의예 ] ( 사용된클립은 Creative Commons 라이센스하에다음의출처에서사용함 https://commons.wikimedia.org/wiki/file:acadia_national_park_beach.jpg) 12 이를요약하여도식하면위그림과같으며, 서비스절차및요구품질을설명하면다음과같다.

16 대표적인서비스는관광지및이벤트의중계를포함한개인방송이될것이며, 시청자는 HMD, 글라스혹은모바일디바이스등을주시각매체로한다. 시청자는방송제공자와실시간실감공유를통한상호작용을통하여소통하게된다. 이를통하여출연자와사용자가같은가상공간에서함께즐기고체험하는형태의콘텐츠가등장할것이다. 예를들어가상공간속에서그림을그리는아티스트방송을사용자가바로옆에서지켜볼수있다. 출연자와사용자가같은공간에서아바타를생성하고, 인식된동작과표정을기반으로아바타를움직이며체스를두는과정을공유하는형태의방송제공이가능하다. 증강 / 가상현실기반의다자간영상회의를통해텔레포트및텔레프레즌스서비스를이용한상황의공유및직관적인의사결정을가능할것이다. [ 그림 6. 개인미디어서비스의예 ] ( 사용된클립은 Creative Commons 라이센스하에다음의출처에서사용함 12 이를요약하여도식하면위그림과같으며, 서비스절차및요구품질을설명하면다음과같다 카메라또는자유시점카메라를이용하여영상을촬영한다. 자유시점카메라는모바일디바이스에포함된장치이거나별도의장치일수있다. - 촬영단에서 1차가공된영상은필요에따라엣지클라우드플랫폼으로전달되어추가적인영상분석및인식과정등을수행한다. - 실시간방송은별도의편집과정없이서비스서버로전달되며, 주문형서비스의경우별도의영상편집및마스터링과정을거친후사용자의요청에의해전달된다. - 서비스서버는사용자의구성에따라영상을합성하고공유하는장치로서, 지정된규칙에따라촬영영상, 시청자의견, 자막등을결합하여모델링하고, 브로드캐스팅과멀티캐스팅채널을구성하여완성된영상을분배하여주는기능을수행한다.

- 완성된영상스트림은 5G 네트워크를통해손실과지연없이사용자단으로전달된다. - 사용자는소지한단말을활용하여고품질개인미디어서비스를감상한다. 감상은단순한감상차원을넘어다수의참여자가동시에 3차원영상을생성하고, 이를상호공유하여커뮤니케이션하는서비스도가능하다. [ 그림 7.

17 - 완성된영상스트림은 5G 네트워크를통해손실과지연없이사용자단으로전달된다. - 사용자는소지한단말을활용하여고품질개인미디어서비스를감상한다. 감상은단순한감상차원을넘어다수의참여자가동시에 3차원영상을생성하고, 이를상호공유하여커뮤니케이션하는서비스도가능하다. [ 그림 7.] - 콘텐츠를소비하는시청자입장에서의영상요구품질은전문고화질방송미디어서비스와동일하나, 실제방송제공자의제공가능한품질은전문고화질방송미디어와는달리개인이휴대가능한 360카메라및하나의자유이동카메라가될것이다. 이의화질수준은각각 12k 360 이거나 4k 수준의스마트디바이스에연결된카메라가될것이며, 제한적으로 8k~12k 수준의고정형카메라역시활용될것이다. - 개인미디어서비스는상호작용을위하여 Live 증강현실이요구되며, 이를위한정합및위치인식플랫폼기술이필요하다. 다수참여자의상호작용을위한소통을위하여연속적인시간에서의정합및위치인식은수 ms 이내의지연으로이루어져야하며, 시청자로부터제공되는피드백역시가급적빠르게제공되어야한다. 다만, 오감공유를위한동시제어에대한요구는크지않아피드백의지연은수십 ms 내외로도만족될수있다. - 네트워크는플랫폼에서의실시간정합을위하여자유시점카메라의실시간업로드가필요하며, 엣지클라우드에서의촉감을포함한상호작용을위하여 5ms 내외의초저지연이요구된다. 산업미디어서비스실감미디어를다양한분야의사업과융합하여실재감, 몰입감이높은콘텐츠를제공함으로보다인지하기쉽고생산성을높여주는기능을제공한다. 대표적으로원격관제나원격조정등을들수있으며, 사용자는고정되거나휴대가능한영상장비로부터취득된 3차원정보를관제센터의대형디스플레이나현장에서의모바일장치로부터모니터링하고상황대응에활용하게된다. 13

- 열차에설치된촬영장비를활용하여관제에필요한영상을촬영하며, 동시에열차의위치, 속도, 문열림등상태정보를수집하여메타정보에반영한다.

예를들어열차전면부에는관제실에서촬영된영상을배치하며, 측면부에는열차의좌, 우촬영영상을배치하여모든방향을관제사가볼수있도록처리하고,

18 [ 그림 8. 산업미디어서비스의예 ] 이를요약하여도시하면위그림과같으며, 사례로무인열차원격제어및관리서비스의경우원격의관제대상에설치하여운영하는절차를소개하면다음과같다. - 열차에설치된촬영장비를활용하여관제에필요한영상을촬영하며, 동시에열차의위치, 속도, 문열림등상태정보를수집하여메타정보에반영한다. - 수집된정보를 5G 네트워크를이용하여실시간으로관제서버에업로드한다. - 관제서버는정해진규칙에따라영상정보를재구성한다. 예를들어열차전면부에는관제실에서촬영된영상을배치하며, 측면부에는열차의좌, 우촬영영상을배치하여모든방향을관제사가볼수있도록처리하고, 하단부에는열차의상태정보와일치된제어패널을배치하여모델링한다. - 인코딩된영상을 5G 네트워크를통해실시간으로관제센터에송출한다. - 관제사는열차에탑승하고있는것과동일한환경을제공받으며, 영상속의패널과동일한위치에동기화된실제환경의제어패널을활용하여원격관제실시한다. - 관제사의제어정보는 5G 망을통해열차로전달되며, 제어의결과는다음미디어프레임에반영되어관제사에게피드백된다. [ 그림 9.] 14

19 - 콘텐츠를소비하는시청자입장에서의주활용디바이스는관제센터의대형디스플레이를통한 12k 해상도스크린을 3개내외활용한 180도내외의시야각이될것이며, 이와함께 12k 해상도의 360 FoV 제공 HMD 역시많이사용될것이다. - 콘텐츠제작은달리개인이휴대가능한 360카메라및다수의고화질 CCTV 카메라가될것이며, 이는수십개수준의 12k 해상도카메라로구성되어최종사용자의화질요구수준에맞추게될것이다. - 산업미디어서비스는현실감있는상황파악을위하여증강현실을위한정합및영상생성이요구되나, 개인미디어보다는직접적인공유환경에서상호작용의요구수준이낮아그정확도에대한요구사항은비교적낮다. 다수참여자의상호작용을위한소통을위하여연속적인시간에서의정합및위치인식은수 ms 이내의지연으로이루어져야한다. - 네트워크는플랫폼에서의실시간정합을위하여자유시점카메라의실시간업로드가필요하며, 주요한상황의파악을위하여저지연에대한요구사항은높아가급적수ms 내외의초저지연으로영상이전송될필요가있다. 엣지클라우드에서의촉감을포함한상호작용을위하여 5ms 내외의초저지연이요구된다. 주요시장플레이어현황 NextVR은가상현실에서라이브이벤트를방송하는선두주자이다. NextVR은 NBA 게임, 국제챔피언스컵축구경기및라이브콘서트와같은가상현실이벤트를시도하고있다. NextVR 카메라는고해상도의몰입형가상 360도비디오를캡쳐하는비디오카메라 6대를사용하며, 6k 해상도로녹화가능하다. 인텔은다양한카메라구성을통하여 360영상을생성하고실시간제공하는기술을 True VR 의이름으로발표하였고, CES 2017에서무인항공기에 360도 4K 카메라를장착하여실시간으로 260명에게방송하는것을시연하였으며, 다양한스포츠중계에적용을시도하고있다. 본보고서가작성된시점에서는 6~12개의스테레오카메라페어를사용하여 4k 수준의 180도 ~360도영상을생성하고있다. Facebook은 Surround 360 등의 3D 360 VR 영상을제작하고제작시간을대폭줄이는스티칭소프트웨어와하드웨어를제공한다. 이를이용하여사용자는 SNS에서가상현실토크쇼를주최하여, 타인은휴대전화및 PC로스트리밍에접근할수있다. 시스템은 17개의카메라로구성되어있으며, 4k, 6k 및 8k의비디오는동적스트리밍을통하여제공된다. OZO 리얼리티플랫폼은여러대의카메라로부터고품질 360 영상을실시간스티칭하여제공한다. 특히, 사운드와융합된영상에대하여자연스러운전송을위한압축 15

20 및전송기술을제공하며, 영상의품질과활용성측면에서최근많은관심과활용을 보여주는플랫폼이다. 기존서비스의한계전술된대표적사례이외에도다양한방송사, 통신사등이시도를하고있으나, 현재의수준은단순한단일시점혹은정해진수의고정시점에서의 360 영상의송출에머물러있다. 또한영상의품질수준은 Ozo 및 NextVR에서 4k 혹은 6k 수준을제공하려하고있으나, 일부기술시연및제한적환경에서보여지고있으며, 아직네트워크, 플랫폼및디바이스의한계로본격적인활성화가되지못하고있는현실이다. 한편, 영상생성장비의고도화와후처리및편집의복잡성으로아직개인영상의생성은 GoPro 나삼성기어 360과같은저가의장치를사용하여저품질의영상을획득하는수준이다. 고가의영상생성장비에있어서도다수의카메라의위치가고정된리그 (Rig) 의형태로구성되어야하는한계를갖고있다. 향후, 네트워크및디바이스의발전과클라우드의다양한소스에기반한영상보간및생성에힘입어이러한한계는곧극복될것으로예측되며, 이에대비한서비스준비가필요하다. 16

3차원의모델을생성하는자유시점촬영방식으로구분할수있다. 전술된오브젝트 360 방식의경우제작기술은자유시점촬영과동일하다. 이를위하여기본적으로 4k ~ 12k 수준의카메라영상해상도에대하여처리할수있는기술이요구된다.

21 Ⅲ 대표서비스구현전략 1 서비스기술 된다. 본보고서에서제시하는대표서비스를개발하기위하여다음의서비스기술이요구 콘텐츠제작기술실감미디어영상콘텐츠는 360 카메라를활용하여모든방향의영상을촬영한후스티칭과정을통해하나의결과물로통합하는파노라믹 360 방식과여러대의다양한위치에설치된카메라를통해촬영된영상을분석하여 3차원의모델을생성하는자유시점촬영방식으로구분할수있다. 전술된오브젝트 360 방식의경우제작기술은자유시점촬영과동일하다. 이를위하여기본적으로 4k ~ 12k 수준의카메라영상해상도에대하여처리할수있는기술이요구된다. 이는 II장의기술요구사항으로부터도출된것이며, 이를개략적으로기술하면다음과같다. [ 그림 10. 콘텐츠제작단계 ] 고품질의 360 영상을얻기위해고해상도대용량의영상정보를왜곡을최소화하며스티칭할수있는기술이필요하다. 스티칭의결과영상은 12k~16k 해상도수준의 360도영상을목표로하며, 특히주시야각인 120도에서는 6k내외의해상도를목표로생성하여야한다. 현재 4k 수준의영상생성은수십 ~ 수백 ms 내외의지연으로가능한기술이개발되고있으며, 향후목표해상도에서수십ms 내외의지연을갖도록향상된기술이개발될필요가있다. 또한영상스티칭의결과를향상시키기위하여 17

3차원모델링기술에기반한영상재조합및인식기술이필요하다. 보다높은 3차원모델링결과를만들어내기위하여많은대수의카메라에서촬영된대량의영상정보를실시간으로분석하기위한기술이필요하며, 이를실시간으로처리할수있도록클라우드기반의컴퓨팅환경이구축되어야한다.

22 3차원모델링기술에기반한영상재조합및인식기술이필요하다. 보다높은 3차원모델링결과를만들어내기위하여많은대수의카메라에서촬영된대량의영상정보를실시간으로분석하기위한기술이필요하며, 이를실시간으로처리할수있도록클라우드기반의컴퓨팅환경이구축되어야한다. 이환경에서는영상의정합을통한 3차원포인트클라우드의생성과이를통한 3차원영상혹은메쉬 (mesh) 정보의생성그리고메쉬정보에부가되는텍스쳐정보의생성을포함한다. 생성되는메쉬정보는적절한수준의자유시점즉, 30cm 내외의시선이동에대한처리를위하여 1m 내외에위치한객체및배경에대하여 24k 해상도수준의영상을생성할수있도록되어야하며, 이는대략 4k개수준이상의메쉬와 24k 해상도수준의텍스쳐로구성되어야한다. 영상정보의양방향성을유지하기위해지연이최소화될수있는인코딩기술이필요하다. 특히개인미디어서비스를위하여엣지클라우드에서의지연은 5ms 이내로 Motion-to-photon 지연을 10ms 이내로맞출수있어야하며, 스트리밍되는영상이엣지클라우드에서재구성되고, 사용자피드백에의하여재생성될수있도록구성되어야한다. 또한, 인코딩되는정보는시각정보이외에사운드와촉각정보로 3차원촉각아이콘등을포함하여야한다. 모든과정은실시간방송이가능하도록고속으로처리되어야하며, 이를위해하드웨어칩셋형태의솔루션을개발할필요가있다. 서비스플랫폼기술실감미디어플랫폼은전술된해상도와복잡도의콘텐츠를실시간에취득하여합성하고, 이를서비스가능한형태로재구성하여야한다. 특히, 증강현실서비스를포함하는개인미디어및기업미디어서비스를위하여영상기반위치정보서비스플랫폼과통합되어실시간에 3차원정보를재구성하고정합할수있어야한다. [ 그림 11. 서비스플랫폼구조 ] 18

23 이를위하여기본적으로조명및형상을포함하는 3차원정합기술과, 영상기반위치검색및정합기술, 촉각및사운드정보의위치와물리적정합및시뮬레이션기술등이요구된다. 실감미디어플랫폼의부하를경감하고빠른응답속도구현을위하여엣지클라우드컴퓨팅기술이필요하다. - 콘텐츠의업로드시콘텐츠의내용을판별하여이에상응하는메타정보를자동으로추가하는기능개발이필요하다. - 레거시 TV 등가상현실렌더링기능미보유단말을위하여다운링크엣지클라우드에뷰포트생성기능을추가할필요가있다. 참여형방송서비스를위해멀티채널로입력되는참여자의모델링된객체를동일한가상세계내에실시간으로결합한후, 복수의채널로송출하는다대다 (m:n) 서비스기술개발이필요하다. 콘텐츠의형태에따른다대다 (m:n) 채널송출기술이개발되어야한다. IPTV 기반의타시스템과의연계기술을개발하여실감미디어콘텐츠의유통채널을확장할수있다. 네트워크기술단위면적당수만명이거주하는대도시의경우에대하여, 높은시청률을갖는콘텐츠를가정하여실감미디어서비스를안정적으로제공하기위하여필요한대역폭을예측하면 1km2당약 3.09Tbps의대역폭이필요하다. 대용량저지연방송영상전달을위해다음특성을만족하는망구축이필요하다. - 일정한간격으로영상정보가전달될수있도록짧은서브프레임구성및전송경로가관리되어야한다. - 실시간방송업로더에게충분한상향링크를배정하여서비스품질이유지될수있도록관리되어야한다. - 엣지클라우드컴퓨팅환경을사용자에가깝게구성하여백홀의망부하를경감시키고망지연손실이최소화되어야한다. 5G 네트워크슬라이스기능을활용한실감미디어최적전송환경구성이필요하다. - 저지연, 광대역전송이가능하도록별도의가상네트워크를구성할필요가있다. 19

24 - 제어신호와영상정보를분리하여대량의실감미디어트래픽이기지국까지최소화된경로로분산전달될수있도록동적경로제어가될수있어야한다. 댁내개인화된셀구성을통해 10m 이내의초지근거리통신지원하며, 단말간직접통신기술 (p2p) 을개발하여망의부담을경감시키게된다. 이와함께동적인네트워크구성을통하여유사한특성을갖는콘텐츠를시청하는다수의시청자에게동시전송을통한대역폭의효율적활용과저지연을지원하게된다. 디바이스기술단말기술의최우선과제는고화질의안정된 HMD 및글라스형태디바이스의개발이다. 현재국내외다수의업체에의하여개발이진행되고있으나, 다음의원천기술개발이특히더요구된다. - 해상도는가급적 360도영상에대하여체험해상도가 16k에가깝도록설계되어야하며, 이를위하여 Motion-to-photon 지연을 10ms 이내로할수있는위치예측및영상생성기술이디바이스와엣지클라우드에의하여지원되어야한다. - 현재글라스형태장치의경우다초첨및동적초점제어기술이개발되고있으나, 초점변화에대한반응과현실감및시야각에큰제약이있다. 이를해결하기위한기술개발이필요하다. 착용형단말의사용성을높이기위한기반기술개발이필요하다. - 학습기반의지능형음성인식기술을탑재하여사용가치를높일수있다. - 광학기술개발을통해장시간착용하여도어지러움이없는단말개발이필요하다. - 가볍고착용감이좋으며, 돌출부를없앤생활친화적디자인의착용단말개발이요구된다. 현재시각디스플레이위주의단말개발에서편리한형태의촉각장치와다양한감각의조합을위한디바이스개발이요구된다. 특히이러한디바이스는다른감각기관의표현수준과동기화되어최적의경험을제공할수있도록연계되어야한다. 이러한연계는감각의동기화수준을위하여수 ms 이내의지연으로제공되어야한다. 20

25 2 표준및주파수고려사항 표준추진전략단기적으로증강 / 가상현실플랫폼이탑재된다양한스마트폰을활용하여실감미디어서비스를체험할수있도록서비스표준화가추진되어야한다. - 단말의종류에따른배율, 화각, 왜곡보정등수작업요소를자동화하여어떠한단말이라도유사한실감미디어품질을얻을수있는표준개발이필요하다. - 제스쳐등단말제어기술의유형별표준화로사용자혼란을방지하고사용성과만족도를높일수있다. 실시간대용량방송을위하여광대역 (embb) 및저지연 (URLLC) 트래픽을동일캐리어내에서다중화하는규격화가진행중이다. 콘텐츠에대한표준화는 MPEG등다수의표준화기관에서진행중이나, 이와함께실감서비스를위한다중감각의공유와경험의수준에대한표준화가필요하다. 주파수고려사항보다효율적인광대역, 저지연트래픽전송을위하여 28GHz와같은높은대역주파수활용검토가필요하며, 커버리지확보를위해 6GHz 대역은물론, 3.5GHz 대역의사용도검토되어야한다. 국내주파수할당에대한미래부의계획은 2018년도 6월 3GPP Release 15의표준화가완료되면 2018년도하반기중에주파수할당일정을수립하고 2019년중에주파수를할당하여 2019년혹은 2020년세계최초로 5G 상용화추진예정이다. 기술적으로는 LTE를기반으로대용량의데이터가필요한경우에한하여추가 user plane channel을 5G를통해확보하여전송하는 NSA (Non Stand-Alone) 모드가초기표준화가이루어지고, 이를중심으로한상용화도시작될것으로예측되고있다. 그러나이기술의경우기존 LTE 기지국장비인 enb의고도화가요구되며, 또한 5G 기지국장비와 LTE 기지국장비와의연동이반드시필요함에따라기존장비업체의종속성이매우크다. 이를극복하기위해서는 5G 망을단독으로운용하는 SA (Stand-Alone) 모드형태로의망구축이유리할수있다. 그러나 SA 모드의경우는 5G 단독망으로서의안정성확보가선행되어야하며, 특히 28GHz와같은높은주파수대역에서의안정적인서비스가상대적으로어렵다는문제점이있다. 21

26 초기의상용서비스는북미의경우 Verizon을중심으로한댁내인터넷서비스연결을위한 Fixed Wireless 서비스위주로시작될것으로예측되나, 유선인프라가잘갖추어진국내환경에서는실효성이크지않을것으로예상됨. 국내의경우현재의 Smart Phone과같은일반사용자중심의대용량데이터서비스를중심으로발달될것으로예상되며, 이를위해서는 Qualcomm, Intel 등의칩제조사의지원일정에따라상용화시기가결정될것으로예상된다. 초지근거리의대용량영상전송을위하여 2015년허가된 24~27GHz, 64~66GHz의용도자유대역사용이권장됨. 고층아파트, 스포츠경기장등인구가극도로밀집된지역에서실감미디어방송을제공하기위하여최적화된셀플래닝이필요하며, 스몰셀의활용도적극검토되어야한다. 3 서비스 / 기술로드맵 22 초기 (~2019): 서비스초기단계는산업미디어서비스및방송미디어서비스가 제공되기시작하는단계로이를위한기술개발요소를요약하면다음과같다. 10 대이상의카메라를활용하여실시간 4K, 주문형 8K 수준의파노라믹 360 스티칭 결과물을제작하며, 영상과사운드가모두시청자의 3 차원위치에따라재생성될 수있도록한다. 이를위한각서비스별필요기술을요약하면다음과같다. 산업미디어는가장먼저상용화될수있는서비스로다음의기술이요구된다. - 실시간 4k 수준해상도의영상스티칭기술 - Motion-to-photon 지연 20 ms 내외의디바이스및네트워크기술 - 다중스크린구성지원 3 차원영상재생성기술 - 원격관제서비스를위한플랫폼개발및시험적용 방송미디어서비스를위하여산업미디어서비스를위한영상스티칭기술과디바 이스및네트워크기술과함께다음의기술개발이요구된다. - 스티칭된영상을바탕으로좌우양안및 5cm 내외의이동에대한자유시점영상생성기술 - 3 차원사운드모델링및재생성기술 - 자유시점지원을위한엣지클라우드구성및이를위한복합시점영상스트리밍기술 - 3D 실감미디어영상편집및마스터링기술

27 - 기존 IPTV, 모바일영상플랫폼과의연동기능개발개인미디어서비스는아직확산되기에는기술의완성도가높지않으나, 본격적인확산을위하여다음에대한기술개발이필요하다. - 스마트폰을이용한 3D 공간및사물인식기술확보이와함께다음의원천기술개발을통하여서비스품질수준과기술적완성도를높일수있다. - 사용성높은 HMD를개발하여차세대단말시장의원천기술을확보 - 운동감, 바람등의재현장치개발및보급 중기 (2020~2025): 서비스중기단계는다양한형태의영상획득과개인형서비스의확대가이루어지는단계로이를지원하기위한기술이요구된다. 30대이상의카메라를활용하여실시간 6K, 주문형 12K 수준의스티칭결과물을제작하며, 4K 수준의 3D 모델을생성하는기술이개발되어야한다. 모든서비스에공통적으로증강현실기반서비스와확장된가상현실서비스를위하여다음의기술개발이요구된다. - 클라우드기반의저작환경을제공하여콘텐츠제작환경을간소화 - 정밀도높은시공간정보유통플랫폼을제공하여증강 / 가상현실단말의공간정보획득시간을단축 - 사물별촉각정보데이터베이스를구축하여인식된사물에따른촉각정보재현 - 실감미디어용네트워크슬라이싱구성으로 5ms 이내무선망지연달성 - 증강현실단말을이용하여생활과산업에밀착된영상서비스제공산업미디어및방송미디어서비스를위하여는영상품질향상이필요하다. - 4k 복잡도수준의 3차원메쉬정보생성기술을통하여 30cm 내외의시점변화에대한빠른영상재생성지원 - 더큰범위의자유시점영상생성을위한형상및영상예측생성기술개발개인미디어서비스를위하여다음의기술개발이요구된다. - M:N 영상합성및멀티캐스팅기능을구현하여참여형개인미디어서비스제공 23

28 후기 (2025~2030): 서비스후기에는자유로운콘텐츠의제작과서비스제공을위한기술의완성도를높일필요가있다. 12K 해상도수준의영상을실시간으로전송하며, 다양한이종 ( 異種 ) 카메라로부터획득된영상을이용하여 3차원모델링을수행할수있는기술을개발하여주변에설치된 CCTV, 블랙박스등의영상을수집하여 3차원모델링이가능한기술이개발되어야한다. 이때사운드와촉각정보를자동으로생성하고인지하여제공할수있는기술이필요하다. 모든서비스에공통적으로다음의기술개발이요구된다. - 오감정보의획득및재현기술발전에따라실감미디어의감각정보를확장 - 기존의공간정보유통플랫폼을시공간정보의영상및실감정보기반플랫폼으로확장개인미디어서비스를위하여는다음의기술이우선적으로개발될필요가있다. - 홀로그램기반의무안경 3D단말을이용한공유형개인미디어서비스개발이를요약하면다음표와같다. - 서비스실증은대중적서비스이전에시범서비스가이루어지는단계이며, 서비스개시는소규모산업영역에적용이되어생태계가구성되는단계를의미한다. 서비스확대는본격적으로대중화가이루어지기시작하는단계이다. - 각각의기술에대한구체적개발요소를요약하면다음과같다. * 12k 해상도 360영상실시간콘텐츠생성기술 실시간 360도영상생성기술개발 자유시점서비스를위한고화질영상재생성기술개발 * 3차원모델기반증강현실콘텐츠생성기술 영상기반 3차원환경생성기술개발 다중감각정보획득기술개발 * 가상 / 증강현실전처리플랫폼기술 다시점영상기반 3차원정보처리기술및실시간환경인식기술개발 실시간환경인식기반 3차원환경저작기술개발 혼합현실환경을위한다중감각저작기술개발 * 가상 / 증강현실서비스플랫폼기술 Edge Cloud 기반동적서비스기술개발 24

29 시공간정보융합플랫폼개발 다중감각생성및관리기술개발 * 다중전송및동적구성기술 Edge Cloud 기반뷰포트스트리밍기술개발 실시간공유를위한복합지연관리기술개발 동적다중서비스기술개발 * 고실감단말기술 실감혼합현실단말기술개발 * 다중감각재현기술 다중감각대응디바이스및재생기술개발 25

30 [ 표 3. 대표서비스개발기술로드맵 ] 구분 연도별목표 현재 방송미디어서비스실증 산업미디어서비스실증 개인미디어서비스실증 증강현실미디어서비스확대 개인미디어서비스확대 오감전달실감미디어 단일시점방송미디어서비스실증 자유시점방송미디어서비스실증 혼합현실방송미디어서비스 자유시점방송미디어서비스 서비스 영상기반개인미디어서비스 혼합현실개인미디어서비스 텔레프레즌스서비스 오감미디어서비스 실감원격관제서비스 실감의료 / 교육서비스 실감업무관리서비스 기초 4K 220 VR HMD 대응영상생성기술 2K 50 AR HMD 개발 뷰포트기반저지연스트리밍 (10ms) 6K 250 VR HMD 대응영상생성기술 2K 60 AR HMD 개발 Edge Cloud 기반스트리밍 (5ms) 12k 360 VR HMD 대응영상생성기술 3K 80 AR HMD 개발 무안경홀로그램디바이스및영상생성기술 Edge Cloud 기반실시간영상분석 / 처리 기술개발계획 90hz 수준실시간영상생성 제한적시점이동영상생성 자유위치기반자유시점영상생성 실감미디어유통플랫폼 4k 메쉬및 12k 텍스쳐실시간 3D 모델링 3D 모델링고화질화기술 공간정보유통플랫폼 응용 실시간환경인식실시간객체인식플랫폼다중감각생성및관리플랫폼 EdgeCloud 기반저지연뷰포트스트리밍플랫폼 실시간 M:N 서비스기술 클라우드기반저작도구 증강현실저작도구 콘텐츠품질표준화 가상객체인코딩및사용자상호작용경험표준화 서비스기술표준화 표준화 3DoF 영상및음성콘텐츠스트리밍표준화 6DoF 다중감각스트리밍표준화 콘텐츠공유및전달표준화 정보및경험공유기술표준화 26

31 Ⅳ 결론및기대효과 1 결론 증강 / 가상현실기술의발전과서비스가상현실및증강현실기술은최근급격하게발전되고있다. 2015년전후의디바이스에대한대규모투자를시작으로최근플랫폼에대한시도와다양한콘텐츠가제공되고있다. 1990년대초창기증강 / 가상현실의기술발전에비교해볼때최근의발전은 Facebook, 구글, Apple, Microsoft, 삼성전자등의다국적대기업의주도로이루어지고있으며, 그변화의속도와방향이매우빠른특징을갖고있다. 최근의동향을요약하면증강 / 가상현실기술의발전은 HMD 중심의몰입형장치에서안경형태의복합형장치로발전하고있으며, 시각중심의감각정보에서청각및촉각을포함하는다감각에대한기술이개발되고있다. 이와함께다양한콘텐츠생성기술의발전과적용이시도되고있으며, 이러한콘텐츠는초기의단일시점혹은다시점체험에서능동적인자유공간체험으로발전하고있다. 또한게임콘텐츠를시작으로다양한콘텐츠플랫폼이초기의디바이스제조사위주에서벗어나서비스제공사주도로등장하고있으며, 이를통하여증강 / 가상현실서비스에대한접근성이크게개선되고있다. 그러나, 증강 / 가상현실콘텐츠의특성인고품질및빠른상호작용피드백에대한요구사항에의하여대부분의콘텐츠의저장및처리는디바이스에서이루어지고있다. 이는고가의복잡한디바이스를요구하여폭넓은사용자층의확보를위한큰한계로등장하고있다. 5G 네트워크를활용한증강 / 가상현실융합서비스의발전방향 5G 네트워크는기존의네트워크가가진한계를초저지연, 고대역폭, 제한없는 Uplink 제공및서비스기반유연한네트워크구조를통하여극복하여다양한융합서비스가가능하게한다. 5G 네트워크의이러한특성을바탕으로증강 / 가상현실서비스는현재보다사용자의상황에맞춘서비스가가능해지며, 궁극적으로 1인미디어혹은다중사용자에의하여실시간으로생성되어제공되는미디어의형태로발전할것으로기대된다. 27

32 또한, 네트워크한계의극복을바탕으로복잡한형태의디바이스가단순화될수있으며, 이를바탕으로좀더빠른대중화와높은품질의콘텐츠제공이가능하게된다. 본연구에서는이러한관점에서 5G 네트워크와융합되는증강 / 가상현실의대표서비스를 몰입형미디어 (Immerse-cast) 로설정하고, 다수의사용자가직접생산한고품질의콘텐츠를실시간에다른시청자에게공개하고상호작용을통하여소통하는형태의미디어서비스로의발전방향을도출하였다. 본연구에서도출한기술개발로드맵은특히 5G 네트워크운영사업자를대상으로실증사업을위한콘텐츠및네트워크에중심을두어기술하였으며, 플랫폼과디바이스에대한개발로드맵은주변환경의변화및기술발전예측에맞추어설정하였다. 이를통하여 5G 네트워크구축초기에효과적인실증사업이구성되어네트워크의활용성과융합산업발전에기여할것으로기대된다. 2 기대효과 기술적기대효과본보고서에서도출된대표서비스를위한기술은 V장에서기술된바와같이특정서비스를위한특화된기술이아니라, 전반적인증강 / 가상현실을위한보편적콘텐츠및네트워크서비스기술이다. 실증사업및관련연구를통하여기반기술이개발되면, 이와연계된타서비스를위한서비스기술로의발전이가속화될것으로기대된다. - 사용자중심의콘텐츠생성기술은현재증강 / 가상현실에서가장부족한면으로제시되고있는콘텐츠의양적질적문제를해결하여다양한서비스의등장과디바이스의발전을가속화시킬것이다. - 고품질 / 중품질콘텐츠에대한정의와표준화는디바이스의목표수준을확립하는데기여하여폭넓은사용자접근성을갖춘디바이스발전에기여할것으로기대한다. - 콘텐츠와네트워크관련기술의발전은콘텐츠플랫폼, 서비스플랫폼나아가경험플랫폼에대한표준화를가능하게하며, 이를바탕으로다양한플랫폼기술이실증될수있도록기여할것이다. 28

33 사회 경제적기대효과전술된기술적성숙을바탕으로증강 / 가상현실디바이스및콘텐츠사업자가다양하게등장하여시장생태계를좀더풍부하게할것이다. 이와함께플랫폼을통한소규모비즈니스환경이구축되어저비용으로고품질의서비스를기획하고제공하는다양한상업적환경이구축될것으로예측한다. 특히이서비스는방송등의미디어콘텐츠뿐만아니라, 스마트시티및자율주행자동차에기반한플랫폼콘텐츠와연계한다양한서비스역시가능해질것이다. 본연구에서도출된서비스의우선적적용과구현은곧도래할증강 / 가상현실에의한삶의방식에대한패러다임변화를위한선도적위치를해당기업과산업에부여할수있을것이다. 29

34 참고문헌 [Bellini2016] Heather Bellini et al., Virtual & Augmented Reality: Understanding the race for the next computing platform, Goldman Sachs Global Investment Research, [Cahill2006] Dennis J. Cahill, Lifestyle Market Segmentation, New York: Haworth Press, [CBInsites2017] The Future Of Entertainment: Media s Rising Investment In AR/VR In One Timeline, CBInsites, [Greegg2007] L. Greegg, N. Tarrier, Virtual reality in mental health: a review of the literature, Social Psychiatry and Psychiatric Epidemiology, 42(5), [Greenlight2016] Virtual Reality Consumer Adoption Report. Greenlight Insights, 2016 [Huizinga1949] Johan Huizinga, Homo Ludens, London: Routledge & Kegan Paul, [Jerald2015] Jason Jerald, The VR Book: Human-Centered Design for Virtual Reality (Acm Books), Morgan & Claypool Publishers, [LexInnova2015] LexInnova, Virtual Reality: Patent Landscape Analysis, LexInnova, 2015 [Milgram1994] Paul Milgram and Fumio Kishino, Taxonomy of Mixed Reality Visual Displays, IEICE Transactions on Information and Systems. pp , [Plummer1974] Joseph T. Plummer, The Concept and Application of Life Style Segmentation, Journal of Marketing, Vol. 38, No. 1, pp , [Rijn2017] Jordie van Rijn, Getting Smart With Marketing Segmentation, monday, [Schultheis2001] M. Schultheis, A. Rizzo, The Application of Virtual Reality Technology in Rehabilitation, Rehabilitation Psychology, 46(3), [Vroomen2010] Jean Vroomen and Mirjam Keetels, Perception of intersensory synchrony: A tutorial review, Attention Perception & Psychophysics, 72(4), pp , May, 2010 [Williams2016] Zaña Diaz Williams, Industrial technology trends: Industry 4.0 related patents have grown by 12x in 5 years, IoT Analytics, [Zeltzer1992] David Zeltzer, Autonomy, Interaction, and Presence, Presence: Teleoperators and Virtual Environments, Vol. 1, No. 1, p ,

35 작성기여자 연구반김형석, 건국대학교김병철, 중부대학교김영준, LetinAR 이희연, 건국대학교김지호, 블루홀이상헌, NOKIA 우장훈, LGU+ 감수 남양희, 이화여자대학교 이하섭, 건국대학교 31

<C3E6B3B2B1B3C0B0313832C8A32DC5BEC0E7BFEB28C0DBB0D4292D332E706466>

<C3E6B3B2B1B3C0B0313832C8A32DC5BEC0E7BFEB28C0DBB0D4292D332E706466> 11-8140242-000001-08 2013-927 2013 182 2013 182 Contents 02 16 08 10 12 18 53 25 32 63 Summer 2 0 1 3 68 40 51 57 65 72 81 90 97 103 109 94 116 123 130 140 144 148 118 154 158 163 1 2 3 4 5 8 SUMMER