02본문

Size: px

Start display at page:

Download "02본문"

슬기 소
6 years ago
Views:

33 특집 차세대방송미디어기술및서비스 Light Field 미디어기술개발및표준화동향 정원식, 이광순, 윤정일, 윤국진, 서정일 / 한국전자통신연구원 요약최근차세대미디어중하나로가상의환경내에서극대화된현실감및몰입감을사용자에게제공해줄수있는몰입형미디어 (Immersive Media) 가각광받고있다.

1 33 특집 차세대방송미디어기술및서비스 Light Field 미디어기술개발및표준화동향 정원식, 이광순, 윤정일, 윤국진, 서정일 / 한국전자통신연구원 요약최근차세대미디어중하나로가상의환경내에서극대화된현실감및몰입감을사용자에게제공해줄수있는몰입형미디어 (Immersive Media) 가각광받고있다. 이를반영하듯 360도전방위영상을이용한 VR미디어에사용자의움직임에따라자연스러운사실감및입체감을제공하는 Light Field 미디어기술을접목하려는시도가가속화되고있으며, MPEG에서도 6DoF(Degrees of Freedom) 기반의 LF 미디어를서비스하기위한 MPEG-I (Immersive) 표준화가진행중에있다. 본고에서는 LF 미디어특성및이를획득하고재생하기위한요소기술개발현황을살펴보고, LF 기술이적용된 MPEG 표준화동향을소개한다. I. 서론 몰입형미디어는공간과시간의제약을극복하고 인간에게자연스러운사실감과몰입감을제공하는미디어로 UHD 이후의차세대미디어로각광받고있으며, MPEG 과같은국제표준화단체에서도몰입형미디어기술에대한표준화를시작하고있다. 시청자에게자연스러운사실감과몰입감을제공하기위해서는영상의품질, 시청자움직임에맞는영상제공을위한인터렉션및실제와같은입체감등이필요하며, 시각피로없는완전입체영상의제공이필수요소라할수있다. 완전한입체감을위해서는인간이입체감을느끼는물리적요인을모두제공하여야하며, 이는크게양안시차, 주시, 운동시차, 초점의네가지로분류된다. 잘알려진안경식 3DTV 의경우에는양안시차와주시만을제공하고있어입체감의왜곡과주시-초점불일치로인한시각피로가발생하는문제 본연구는 2018 년도정부 ( 과학기술정보통신부 ) 의재원으로정보통신기술진흥센터의지원을받아수행된연구임 ( , 초실감테라미디어를위한 AV 부호화및 LF 미디어원천기술개발 ) 2018 년 1 월 33

2 34 특집 : 차세대방송미디어기술및서비스 가있다. 이에비하여네가지입체요인을모두제공함으로써입체감의왜곡이나시각피로가없는완전입체영상을제공할수있는기술로는 LF (Light Field) 기술이있다. 현재까지네가지입체요인을완전히실현할수있는기술로서홀로그램이가장유력하나, 홀로그램을상용화하기위해서는해결해야할기술적인과제가많으므로, 상용화관점에서다소유리한초다시점, 집적영상을이용한 LF 기술이대안으로여겨지고있다. LF 기술은카메라를통해빛의세기와방향정보를획득한후디스플레이를통해그대로재현함으로써시각적으로왜곡이없는완전입체의실감영상을제공한다. LF 기술에대한연구는대형디스플레이에서안경착용없이완전입체영상을볼수있도록하기위한목적으로시작되었다. 그러나, 대형디스플레이에서완전입체영상을제공하기위해서는수백개에이르는고화질의영상을동시에디스플레이하는것이필요하기때문에디스플레이의해상도, 영상데이터처리속도등의문제를해결하여야한다. 이에비하여, HMD(Head Mounted Display) 와같은개인용단말에서 LF 기반의완전입체영상을제공한다면, 동시에디스플레이해야하는영상의수를크게줄일수있어디스플레이의해상도와데이터처리속도를빠른시 간내에구현가능한수준으로줄일수있다. 따라서, 360도전방위영상에 LF 기술을적용함으로써, HMD를통하여사실감과몰입감이크게증가된개인형완전입체영상을제공하기위한기술개발이활발히진행중이다. 또한, 이에대한기술표준화를위하여 MPEG 에서는 MPEG-I 표준화를시작하였다. 본고에서는먼저, LF 미디어기술의개념에대하여알아보고, LF영상의획득, 처리및재생기술에대하여알아본뒤, LF 영상기술이 360도전방위영상분야에어떻게적용되고있는지를알아본다. 또한, LF 기술이적용된몰입형미디어기술표준인 MPEG-I 의표준화동향에대하여알아본다. II. Light Field 미디어기술개발 1. Light Field 미디어의개념 LF는피사체로부터반사되는빛의세기와방향을 3차원공간상에표현하기위한장으로서, LF 미디어는 LF를영상으로획득한후디스플레이를통해재현함으로써시각적으로왜곡이없는완전한몰입형실감영상을시청가능하게하는미디어로정의한다. P(θ,ф,λ,t, V x, V y, V z ) θ,ф : 빛의방향 λ : 빛의파장 t : 시간 V x, V y, V z : 관측위치 광파정보 V x, V y, Vz (V x, V y, V z ) λ (V x, V y, V z ) (V x, V y, V z ) (V x, V y, V z ) P(u, v, x, y) Plane 1 Plane 2 x u y v (a) 7D Plenoptic 함수 (b) 4D Light Field < 그림 1> 공간상의빛을표현하기위한 LF 개념 34 방송과미디어제 23 권 1 호

3 Light Field 미디어기술개발및표준화동향 35 LF는 Plenoptic 함수를통해표현되며, 고밀도의광선을획득및재현할수있는광학소자, 이미지센서, 디스플레이소자등영상시스템을통해구현되고있다. LF는 < 그림 1(a)> 에서와같이 3차원공간상에서피사체로부터반사된빛은모든파장 (λ) 에대해전방향으로 (θ, ф) 관측자의위치 (Vx, Vy, Vz) 에입사되는빛의세기의시간적인변화 (t) 를나타내는 7D Plenoptic 함수, P(θ,ф, λ, t, Vx, Vy, Vz) 로표현된다. 따라서, 7D Plenoptic 함수를구현하게되면특정 3차원공간에대한모든 LF 정보를얻을수있다 [1][2]. 그러나, 현실적으로는 < 그림 1(b)> 에서와같이 P(x, y, u, v) 로표현되는 4D 함수를통해두개의 2차원면을통과하는광선들의세기와방향으로 LF 영상을충분히표현할수있기때문에실제 LF 영상시스템의구현및신호처리를위해서는 4D LF의두면을절단한형태인 2D LF로해석하는것이용이하다. 이상으로부터, LF 영상은피사체로부터반사된모든광선들이여러각도의카메라에투영된영상으로서, 완전한입체, 연속적인시점의변화및깊이에따른초점의변화를지원하기위해고밀도의방향에서획득된시점영상으로정의하기로한다. 2. LF 영상획득기술 LF 영상을획득하기위해서는고밀도의공간및방향성분을가지는광선의획득이필요하다. LF 영상획득방법에는카메라를수평및수직으로배열하여구성된다중카메라를통해획득하는방법과마이크로렌즈어레이 (Microlens Arrays) 기반의카메라로획득하는방법이있다. 다중카메라기반의 LF 카메라는최외각시점영상간의베이스라인폭을넓게할수있어시야각이 넓고, 획득가능한깊이범위가깊으며, 시점영상당해상도를 CCD 의해상도와동일하게유지할수있다는장점이있다. 하지만 < 그림 2> 에서보는바와같이많은수의카메라를동시에다루어야하기때문에카메라설치가어렵고, 정렬및보정과같은촬영영상에대한후처리가어렵다는단점이있다 [3]. < 그림 2> 다중카메라기반의 LF 카메라 반면, 마이크로렌즈어레이기반의 LF 카메라는 < 그림 3> 에서와같이대물렌즈와마이크로렌즈어레이로구성되며, 대물렌즈에의해가상이미지를생성한후다시마이크로렌즈어레이에의해방향성광선을 CCD 센서에투영하는방식으로 LF 영상을획득한다. 따라서단일 CCD 센서로영상의정보뿐만아니라방향성정보를동시에획득할수있다는장점이있다 [3]. 하지만, 획득가능한광선의각도가작고컴퓨팅에의해생성된시점영상중최외각간의베이스라인폭이다중카메라에비해좁아획득가능한깊이범위가얕다는것 [4,5] 과, 여러시점영상이한정된이미지센서에동시에투영되므로시점수가증가할수록, 즉방향해상도가증가할수록시점당공간해상도가감소한다는단점이있다. 따라서, 상용화를위해서는시점영상의해상도및획득가능한깊이범위를동시에증대시키기 2018 년 1 월 35

36 특집 : 차세대방송미디어기술및서비스 Light-Field 카메라 Main lens Microlens array LYTRO TM Subject 2D 카메라 Image sensor Light-Field 카메라촬영영상 (Stanford Tech Report CTSR, 2009) Subject Main lens Image sensor 2D 카메라촬영영상 <

LF 디스플레이에서완전입체영상을재현하기위해서는양안시차와더불어자연스러운시점의변화및시청자가주시하는지점과초점이일치하도록하여야하며, 이를위해서는시청자의동공내에여러개의시점영상이투영가 능하도록고밀도의시점영상을재생하여야한다. LF 카메라의획득가능한시점영상의수와대용량의영상데이터량을고려할때, 고밀도의시점영상을카메라로부터직접획득하는많은어려움이따른다.

4 36 특집 : 차세대방송미디어기술및서비스 Light-Field 카메라 Main lens Microlens array LYTRO TM Subject 2D 카메라 Image sensor Light-Field 카메라촬영영상 (Stanford Tech Report CTSR, 2009) Subject Main lens Image sensor 2D 카메라촬영영상 < 그림 3> 마이크로렌즈어레이기반 LF 카메라의구조및상용품 RAYTRIX R 위한기술개발이필요하다. 3. LF 영상합성및가변초점재현기술 LF 카메라로부터촬영되거나 CG로부터제작된 LF영상의공통포맷은마이크로영상, Fullparallax 시점영상및깊이영상이될수있으며, LF 디스플레이에재현되어시청자에게완전입체영상을보여줄수있다. LF 디스플레이에서완전입체영상을재현하기위해서는양안시차와더불어자연스러운시점의변화및시청자가주시하는지점과초점이일치하도록하여야하며, 이를위해서는시청자의동공내에여러개의시점영상이투영가 능하도록고밀도의시점영상을재생하여야한다. LF 카메라의획득가능한시점영상의수와대용량의영상데이터량을고려할때, 고밀도의시점영상을카메라로부터직접획득하는많은어려움이따른다. 따라서, 저밀도로획득한 LF 영상으로부터가상시점영상합성을통하여고밀도의 LF 영상을생성하여재현하는기술이필수적이라할수있다. 가상시점영상합성방법에는 < 그림 4> 에서보는바와같이스테레오영상에서사용되는변이기반과 3차원워핑 (warping) 기반가상시점합성방법이있다 [6]. 변이기반합성은깊이추정과정에서얻어진각픽셀의변이값을기준으로두영상사이의새로운시점영상의픽셀값을계산하여합성하는방 3 차원공간좌표 워핑 투영 < 그림 4> 변이및 3 차원워핑기반시점합성방법비교 변이가상시점가상시점영상및깊이정보 변이기반시점합성 3 차원워핑기반시점합성 36 방송과미디어제 23 권 1 호

5 Light Field 미디어기술개발및표준화동향 37 법이다. 두영상간변이방향사이의제한적인시점영상만합성가능하나, 구현이간단하고처리복잡도가낮은장점이있다. 반면 3차원워핑기반합성은변이값과카메라매개변수로부터추정된깊이정보를이용하여각픽셀을 3차원점으로워핑하고, 이를새로운시점의영상으로재투영하는합성방법이다. 워핑및재투영의복잡한처리과정이필요하나, 임의위치의가상시점합성이가능하다. 기존다시점영상에서의가상시점합성은좌우시차를지원하기위해수평방향으로의시점합성을고려하였다면, LF영상에서는상하, 좌우, 대각방향의시차를지원하여야하고, 전방위영상으로확장했을때는전후방향으로의시차까지지원할수있도록가상시점영상이생성되어야한다. 영상합성기술과더불어 LF영상기반실감미디 어서비스를가능케하는핵심기술중하나로가변초점재현기술을들수있다. 가변초점재현기술은시청자가주시하고있는객체에초점을맞춤으로써주시-초점불일치로인한시각피로를감소시킬수있는기술로서, 영상합성기술과는 < 그림 5> 에서와같은상호연관성을가진다. 이그림은에피폴라이미지 (Epipolar Image) 개념으로 LF 영상합성과가변초점기술개념을설명하고있다. < 그림 5> 에서어레이방식의 LF 카메라를통해획득된 LF 영상중에서수평또는수직방향의시점영상을 4D LF로표현하면수평축은공간성분, 수직축은방향성분에해당하는시점의변화로표현된다. 이시점영상들에서각수평라인을분리하여재배열하면 2D ray space 상의광선샘플로표현되며, 이를에피폴라이미지라한다. < 그림 5> 에서 3D 공간상객 V V4 V 2D Ray-space X V U LF image Capturing V3 V2 V1 X Y V4 V3 V2 V1 Slope : 1/depth X Sparse sample time Virtual views Virtual path (swccp) with randomly selected starting position V V virtual view position Dense sample X Weighted sum X In-focus Out-of focus Out-of focus In-focus < 그림 5> LF 영상합성및가변초점기술개념 2018 년 1 월 37

6 38 특집 : 차세대방송미디어기술및서비스 체들을시점방향 (v) 의움직임으로표현하면, 기울기는해당객체의깊이를나타내며, 저밀도로획득된시점영상의경우에는수직축 (v) 방향으로저주파의광선샘플분포를나타내게된다. 저주파의광선샘플분포는시점의변화혹은초점의변화와같은 LF영상재현시, 광선신호처리관점에서는엘리어싱, 영상처리관점에서는불연속시점의변화및블록킹이있는가변초점영상재생으로나타난다. 이러한문제를해결하기위해서는고주파의방향성광선즉, 고밀도의시점영상을필요로한다. 이는 Nyquist 이론을만족할정도로공간상에서조밀하게샘플링된광선이필요하다는것을의미하며, 시청자관점에서보면동공크기가샘플링주기라고가정할때이보다더높은주파수의시점영상이필요하다는것을의미한다. LF 영상합성에의해고밀도로합성된수평및수직방향의시점이재현된다면, < 그림 5> 와같이사용자선택에의한연속적인시점의변화 (View Navigation) 가가능하며, 엘리어싱현상이없는, 즉블록킹현상이없는초점변화가가능하게된다. 4. LF 기반 360 전방위영상획득및재현기술 HMD 를이용한가상현실이차세대 ICT 플랫폼기술로전세계적으로주목을받으며급부상함에따라, 다중카메라를전방향으로배치하여공간정보를획득하고, 사용자의 6자유도의움직임을지원하여, 시점뷰 (view) 변화에따라운동시차와양안시차가제공되는영상을재현하는기술이개발되고있다. LF 기반 360 전방위영상획득및재현기술은가상현실의몰입감을극대화하기위한필수기술로, 이전의 LF 영상은 4D LF를기반으로한정된각도의광 선만을다루었다면, 몰입형미디어에적용되는 LF 는 360 도전방위의광선을다루는기술이라할수있다. 이에대한연구개발이연구소, 대학, 기업등여러기관에서진행되고있으며, 주요 ICT 기업들도 LF 기반의 360 전방위영상획득및재현기술개발을추진하고있다. 본절에서는대표적으로 Lytro 와 Facebook 에서공개한기술을살펴본다 [7,8]. Lytro 는초기에설계하였던구형태의카메라리그구조를수정하여, 육각형모양의평면에정면방향 11개층으로평행하게배치된 91대카메라와좌우측상하단촬영을위하여배치된 4대카메라를포함한총 95대의다중카메라로구성된새로운 Immerge 카메라를공개하였다. < 그림 6> Lytro 사의 Immerge 카메라 Immerge 카메라는 120 도시야각의웨지 (wedge) 형태의다중카메라어레이평면을, 72도간격으로회전하면서 360도전방위의 LF 영상을획득한다. 즉, 360도전방위영상을얻기위해서는카메라회전에따른 5번의촬영이필요하다. 따라서, 전방위를동시에촬영하지않으므로, 동기화된전방위영상획득이나, 72도의촬영영역경계를넘어서는움직임을가지는객체에대한촬영이불가능하다. Immerge 를통하여획득한 LF 영상의처리및렌더링방법에관해서는상세내용이공개되지않 38 방송과미디어제 23 권 1 호

았으나, 일부알려진단편적인정보들을종합적으로분석해보면, 각방향에서촬영된다수카메라의시점영상을이용하여깊이정보및텍스쳐정보를추출하고, 자체의 LF 데이터포맷으로변환한후, 이를 3차원공간에구성하여직경 1미터의뷰잉볼륨 (Viewing Volume) 내에서사용자의 6DoF 움직임에따른시점영상이재현되는것으로파악된다.

7 Light Field 미디어기술개발및표준화동향 39 < 그림 7> Immerge 의 LF 영상획득방법 모델기반의 6DoF 서비스를지원한다고한다. 특히장면구성및렌더링툴간에전달되는장면과관련된모든데이터입출력을지원하는패키지기술인 Otoy 의 ORBX 는 MPEG-I 표준화그룹에서 6DoF 지원을위한컨테이너포맷 (Container Format) 으로제안되어논의되고있다. 았으나, 일부알려진단편적인정보들을종합적으로분석해보면, 각방향에서촬영된다수카메라의시점영상을이용하여깊이정보및텍스쳐정보를추출하고, 자체의 LF 데이터포맷으로변환한후, 이를 3차원공간에구성하여직경 1미터의뷰잉볼륨 (Viewing Volume) 내에서사용자의 6DoF 움직임에따른시점영상이재현되는것으로파악된다. Facebook 은 2017년도자사의개발자컨퍼런스 F8에서차기버전의 Surround 360 카메라인 x24 와 x6를공개하였으며, Adobe, Otoy, Foundry, Mettle 등주요포스트프로덕션 (Post Production) 업체들과협력관계를맺고 6DoF 가상현실콘텐츠제작에필요한획득, 압축, 전송및재현을위한툴체인 (Toolchain) 개발을주도하고있다. x24와 x6 카메라는각각 24대와 6대의카메라를구중심에서전방향으로배치한구조로, 픽셀단위로 RGB 영상및깊이정보획득이가능하여, 이를활용한 3차원 < 그림 9> Facebook 의차기 Surround 360 카메라로공개된 x24 와 x6 국내에서는한국전자통신연구원에서 2017 년도부터추진중인 초실감테라미디어를위한 AV 부호화및 LF 미디어원천기술개발 사업내에서 LF 기반전방위입체영상획득및재현에필요한핵심원천기술개발이진행되고있다. 이를통해 HMD 를착용한사용자의 6DoF 움직임에따라최대 4K 의초고해상도시점영상을제공하여실사 VR 콘텐츠의공간감과몰입감을극대화시키는것이기술 < 그림 8> 사용자의 6DoF 움직임에따른시점영상재현개념 2018 년 1 월 39

8 40 특집 : 차세대방송미디어기술및서비스 개발의최종목표이다. LF 기술은가능한많은시점의빛의세기를기록했다가사람이보는방향으로여러시점의빛의세기를동시에보여줌으로써자연스러운운동시차와완전입체정보를제공하기위한기술이지만, 현실적으로많은시점의영상획득도어렵고, 이를재현하기위한데이터처리및디스플레이제작도어렵다는문제가있다. 하지만 LF 기술을 HMD에접목하면한사람의시점만고려하여처리하고재생하면되기때문에, 제한된시점의영상을기반으로사용자의움직임에따른가상의시점영상을동적으로빠르게합성하여완전입체영상을제공하는것이이기술의주요특징이다. 또한 HMD를이용할때발생하는초점불일치로인한시각피로를감소하기위한기술도함께연구되고있어실사 VR 콘텐츠를시청할때느껴지는시각정보불일치에따른이질감을줄이는효과를얻을수있을것으로기대된다. III. Light Field 미디어표준화 MPEG 은 2016 년 1 월부터 360VR 을필두로 Light Field, Free Viewpoint Television 및 Point cloud 등을포함하는몰입형미디어표준화를 MPEG-I 라는프로젝트명으로수행중에있다. MPEG-I 에서는몰입형미디어를 3DoF, 3DoF+ 및 6DoF 의세가지로분류하고, 2021 까지순차적으로표준화한다는계획을가지고있다. 1. MPEG-I 표준화개요 MPEG-I 프로젝트는몰입형및전방위비디오를위한구조, 포맷, 부호화및포인트클라우드등의기술에대한표준을제정하기위한것으로, < 그림 10> 에서와같이 phase 1a, phase 1b 및 phase 2의총 3단계에걸친표준화로드맵을제시하고있다. Phase 1a는고정된중심을기준으로회전운동만을지원 (3DoF) 하고, Phase 1b는 3DoF 에계층기반의깊이감을제공함으로써제한된병진운동 (3DoF+) 을추가적으로제공하며, phase 2는사용자움직임에따라회전및병진운동을모두지원 (6DoF) 함으로써몰입감을극대화하기위한것이다. MPEG-I 프로젝트는총 8개의파트로나뉘어표준화작업이진행중에있다 [9,10]. 각각의파트를 < 그림 10> MPEG-I 표준화계획 40 방송과미디어제 23 권 1 호

9 Light Field 미디어기술개발및표준화동향 41 간단히설명하면다음과같다. Part 1: Technical Report on Immersive Media 실제적인기술적표준화가이루어지는부분이아닌 MPEG-I 의표준화방향성과진행사항을전체적으로정리하는파트이며, 표준화로드맵, 사용자요구사항, 유스케이스 (Usecase) 및단계별구조등을포함 Part 2: Omnidirectional MediA Format (OMAF) 단일전방위비디오및오디오데이터로구성된몰입형미디어의효율적인저장, 전송, 재현, 교환을위한파일포맷표준을개발하는것으로, 현재 3DoF 지원을목표로하는 OMAF 버전 1의표준화가완료단계에있으며, 초고해상도, 계층기반전방위비디오및깊이감제공을위한 3DoF+ 에대한요구사항정의중 Part 3: Immersive Video 3DoF 지원을위한단일전방위비디오부호화및 LF, FTV 미디어등을포함하는 6DoF 에대한부호화표준기술개발 Part 4: Immersive Audio 기제정된표준들이이미 3DoF 및 3DoF+ 오디오를지원하고있는것으로판단하고있으며, 6DoF 지원몰입형오디오의부호화및재생관련표준기술개발 Part 5: Point Cloud Compression LF 미디어와함께시청자가자유롭게움직일수있는환경에서시점의제한이없는 6DoF 지원몰입형미디어구현에핵심기술로고려되고있는포인트클라우드데이터의부호화표준기술개발 Part 6: Immersive Media Metrics 몰입형미디어품질평가를위한객관적인데이터포맷개발 Part 7: Immersive Media Metadata HMD 등의단말에서복호화된몰입형미디어데이터를재현하기위하여요구되는메타데이터표준개발 Part 8: Interfaces for Network Media Processing 높은컴퓨팅파워가요구되는대용량미디어데이터의재현및처리과정을클라우드서버에나누어처리할수있도록네트워크연동을위한인터페이스표준개발지금까지 MPEG-I phase 1a 단계와관련한논의는대부분 Part 2인 OMAF 을중심으로진행되었으며, 2017년 10월 MPEG 미팅에서 FDIS(Final Draft International Standard) 문서를발행하였다 [11]. Phase 1a 표준화가마무리된현재 MPEG-I 의관심사는 Phase 2 단계의 6DoF 서비스에관한것으로, 이를표현-압축 -전송- 재현까지의전반적인상황에대하여시스템및비디오서브그룹을중심으로표준화가진행중에있다. 2. MPEG-I Phase 2 MEPG-I Phase 2의목표는시청자가자유롭게움직일수있는환경에서 6DoF 지원몰입형미디어를제공하는것으로, Phase 2의가장중요한개발요소는 6DoF 지원몰입형미디어를전송및재현하기위한부호화, 컨테이너포맷및대용량데이터를처리하기위한원격처리기술이다. MPEG-I Phase 2를위한비디오의경우, 6DoF 와 Light Field 가주요키워드라할수있으며, LF 2018 년 1 월 41

10 42 특집 : 차세대 방송미디어 기술 및 서비스 <그림 11> 6DoF와 Light Field에 대한 서비스 시나리오 및 발전 전망[12] 에 기반한 6DoF 지원 몰입형 미디어의 발전 방향 의 컬러 영상과 깊이 정보를 이용하여 시청자의 시 및 서비스 시나리오는 <그림 11>에서와 같다[12]. 점에 맞는 가상 시점 영상을 생성하여 제공하는 것 6DoF를 지원하기 위해서는 시청자의 움직임에 따 으로, 영상 부호화 관점에서는 컬러 영상과 깊이 영 라, 움직임에 맞는 영상을 제공하는 것이 필수적이 상의 동시 부호화와 가상 시점으로부터의 예측 부 며, 이를 위해서는 수 많은 시점 영상이 필요하다. 호화 등이 중요한 요소라 할 수 있다. 또한, Dense Omnidirectional 6DoF와 Windowed 6DoF는 다수 LF는 많은 수의 조밀하게 배열된 카메라로부터 얻 <그림 12> Light Field 디스플레이의 refresh rate과 대역폭과의 관계[12] 42 방송과 미디어 제23권 1호

11 Light Field 미디어기술개발및표준화동향 43 은컬러영상을이용하여 HMD나안경착용없이주시-조점이일치된시각피로없는완전입체영상을제공하는것으로, 카메라로부터얻어지는영상의수가 LF 재현에충분한경우에는가상시점합성이필요없으므로깊이정보역시필요없지만, 부호화해야하는영상의수가크게증가한다. MPEG-I Phase2 의비디오분야의목표는앞에서살펴본 LF 기반의 6DoF 지원영상을효율적으로부호화하기위한표준개발이라할수있다. 이경우, 앞에서살펴본바와같이부호화해야할영상의수가기존에비하여월등히많기때문에압축율뿐만아니라부호화된영상의총비트율이중요하다할수있다. < 그림 12> 는연도에따른 LF 디스플레이에서필요로하는 refresh rate ( 오른쪽 y축 ) 과대역폭 ( 왼쪽 y축 ) 과의관계를나타낸다. 이그림에서검정선은디스플레이가발전됨에따라정상적인디스플레이를위해필요한대역폭을의미하며, 회색선은브로드밴드망의가용대역폭을나타낸다. 여기서, 필요대역폭계산은현시점에서의최신코덱인 HEVC 를이용하여압축부호화하는것을가정하였다. 이그림에서필요대역폭과가용대역폭간의약 10배정도의차이가유지됨을확인할수있으며, 이는 LF 영상압축을위해서는 HEVC 의성능이 10배향상되어야함을의미한다. 따라서, 단순히 HEVC 의확장으로는목표성능을확보하기힘들가능성이크며, 새로운접근의부호화기술이필요한시점이라할수있다. 현시점에서의 MPEG-I Phase2 를위한부호화기술에대한표준화활동은요구사항을정의하고, 테스트영상을모집하고있는표준화초기단계에있다. Phase 2 시스템표준화와관련해서, 6DoF 지원몰입형미디어의대용량데이터의처리, 전송및재 현을위하여 HNSS(Hybrid Natural/Synthetic Scene Data Container) 포맷과 NBMP(Network Based Media Processing) 기술에대한표준화가진행중에있다. HNSS 는포인트클라우드, LF기반의실사및 CGI기술을통해가상으로생성한데이터등다양한포맷의미디어데이터를저장, 전송및재현하기위한컨테이너포맷으로현재요구사항 [13] 및 CfP(Call for Proposal) 문서 [14] 가발생되었다. NBMP 는고성능의컴퓨팅파워가요구되는대용량미디어의전처리및재현과정을단말이아닌네트워크기반의원격으로처리하는기술로 2017 년 7월 NBMP AhG이발족되었으며현재요구사항 [15] 및 CfP 문서 [16] 가발행되었다. IV. 결론 본고에서는사용자에게향상된몰입감과자연스러운움직임자유도를제공하기위한 LF 미디어기술및관련 MPEG 표준화동향에대하여살펴보았다. LF 미디어는카메라를통해빛의세기와방향정보를획득한후디스플레이를통해그대로재현함으로써, 시각적으로왜곡없이현실세계를가장근접하게재현할수있는새로운미디어형태중하나로인식되고있다. 더욱이 VR미디어와같은몰입형미디어의성장이예상됨에따라 LF미디어기술과결합된 6DoF 지원몰입형미디어를제공하기위한노력이가속화되고있으며, MPEG 는이를서비스하기위한요소기술표준화를추진중에있다. 이러한변화흐름속에본고가 LF 미디어기술의연구개발방향을예측하고몰입형미디어시장에서의기술경쟁력을높이는데조금이나마도움이되기를기대한다 년 1 월 43

44 특집 : 차세대방송미디어기술및서비스 참고문헌 참고문헌 [1] M. Levoy and P. Hanrahan, Light Field Rendering, Proc. ACM SIGGRAPH 96, pp. 31-42, 1996. [2] S.J. Gortler, R. Grzeszczuk, R. Szeliski, and M.F. Cohen, The Lumigraph, Proc.

Naemura, TransCAIP: A Live 3D TV System Using a Camera Array and an Integral Photography Display with Interactive Control of Viewing Parameters IEEE Trans. on Visualization and Computer Graphics, vol.

12 44 특집 : 차세대방송미디어기술및서비스 참고문헌 참고문헌 [1] M. Levoy and P. Hanrahan, Light Field Rendering, Proc. ACM SIGGRAPH 96, pp , [2] S.J. Gortler, R. Grzeszczuk, R. Szeliski, and M.F. Cohen, The Lumigraph, Proc. 23rd Ann. Conf. Computer Graphics and Interactive Techniques (SIGGRAPH 96), pp , [3] Y. Taguchi, T. Koike, K. Takahashi, and T. Naemura, TransCAIP: A Live 3D TV System Using a Camera Array and an Integral Photography Display with Interactive Control of Viewing Parameters IEEE Trans. on Visualization and Computer Graphics, vol. 15, no. 5, [4] [5] R. Ng, M. Levoy, M. Brédif, G. Duval, M. Horowitz, P. Hanrahan, Light field photography with a hand-held plenoptic camera, Stanford Tech Report CTSR [6] 호요성외 3인, 실감형다시점 3차원영상의획득및처리기술, 진샘미디어, [7] [8] [9] ISO/IEC JTC1/SC29/WG11, Working Draft 1.0 of TR: Technical Report on Architectures for Immersive Media, N17060, July [10] 호요성, MPEG-I 표준과 360도비디오콘텐츠생성, 전자공학회지, 44권 8호, pp.52-57, [11] ISO/IEC JTC1/SC29/WG11, Text of ISO/IEC FDIS Omnidirectional Media Format, N17235, October [12] ISO/IEC JTC1/SC29/WG11, MPEG-I Visual activities on 6DoF and Light Fields, N17285, October [13] ISO/IEC JTC1/SC29/WG11, Requirements for MPEG-I hybrid natural/synthetic scene data container(v.1), N17064, July [14] ISO/IEC JTC1/SC29/WG11, Draft Call for Proposals for MPEG-I hybrid natural/synthetic scene data container(v.1), N17065, July [15] ISO/IEC JTC1/SC29/WG11, Requirements for network based media processing(v1), N17062, July [16] ISO/IEC JTC1/SC29/WG11, Draft Call for Proposals on Network-Based Media Processing, N17263, October 필자소개 정원식 년 : 경북대학교공과대학전자공학과졸업 ( 공학사 ) 년 : 경북대학교대학원전자공학과졸업 ( 공학석사 ) 년 : 경북대학교대학원전자공학과졸업 ( 공학박사 ) - 주관심분야 : 디지털방송, MPEG, VR/AR/MR 이광순 년 : 경북대학교공과대학전자공학과졸업 ( 공학사 ) 년 : 경북대학교대학원전자공학과졸업 ( 공학석사 ) 년 : 경북대학교대학원전자공학과졸업 ( 공학박사 ) - 주관심분야 : LF 비디오획득 / 재현, VR/AR 44 방송과미디어제 23 권 1 호

Light Field 미디어기술개발및표준화동향 45 필자소개 윤정일 - 1996 년 : 전북대학교제어계측공학과학사 - 1998 년 :

주관심분야 : 디지털방송시스템, 방통융합멀티미디어기술 윤국진 - 1999 년 : 전북대학교컴퓨터공학과학사 - 2001 년 : 전북대학교컴퓨터공학과석사 -

MPEG, 디지털방송기반기술 서정일 - 1994 년 : 경북대학교전자공학과학사 - 1996 년 : 경북대학교전자공학과석사 - 2005 년 :

13 Light Field 미디어기술개발및표준화동향 45 필자소개 윤정일 년 : 전북대학교제어계측공학과학사 년 : 광주과학기술원기전공학과석사 년 : 광주과학기술원기전공학과박사 년 ~ 현재 : 한국전자통신연구원테라미디어연구그룹책임연구원 - 주관심분야 : 디지털방송시스템, 방통융합멀티미디어기술 윤국진 년 : 전북대학교컴퓨터공학과학사 년 : 전북대학교컴퓨터공학과석사 년 : 경희대학교전자전파공학과박사 년 ~ 현재 : 한국전자통신연구원테라미디어연구그룹책임연구원 - 주관심분야 : VR/AR, MPEG, 디지털방송기반기술 서정일 년 : 경북대학교전자공학과학사 년 : 경북대학교전자공학과석사 년 : 경북대학교전자공학과박사 년 ~ 현재 : 한국전자통신연구원테라미디어연구그룹그룹장 - 주관심분야 : 실감미디어, UWV, 360 Video, 공간미디어, MPEG 2018 년 1 월 45

À±½Â¿í Ãâ·Â

À±½Â¿í Ãâ·Â Representation, Encoding and Intermediate View Interpolation Methods for Multi-view Video Using Layered Depth Images The multi-view video is a collection of multiple videos, capturing the same scene at