한국전자통신연구원 기술특집

50 2016 한국전자통신연구원 기술특집

Ⅰ. 서론완전한입체실감영상을획득하여, 디스플레이에재현하기위한노력은안경식 3DTV 로부터시작하여끊임없이지속되고있다. 인간이입체감을느끼게하는요인을 ( 그림 1) 에서와같이크게 4가지로분류되고있으며디스플레이기술의진화와더불어단계적으로재현해오고있다. 인간에게입체감을느끼게하는 4가지주요요인은양쪽눈의망막에맺히는상의차이로인해발생되는양안시차 (binocular disparity), 어떤대상을바라볼때양쪽눈의시선이대상을향해모이는폭주각 의차이로인해발생되는주시 (convergence), 관찰자와대상자의상대적위치차이에의한거리감즉, 관찰자가움질일때먼곳은느리게가까운곳은빠르게변화하여느껴지는운동시차 (motion parallax), 인간의눈이먼곳과가까운곳을바라볼때동공의수정체에의해초점이변화하여느껴지는초점 (accommodation) 이있다. 입체단말기술의진화는 ( 그림 2) 에서와같이양안시차와폭주만지원하는안경식 3DTV 에서출발하여, 4가지입체요인을완전히실현할수있는홀로그램까지단계적으로발전하고있다. 하지만홀로그램이현재상용화되기에는현실적으로해결되어야할기술적인과제가많아시간이좀더요구되므로, 4가지입체요인을제한적으로제공하지만, 현재상용화가가능한기술인초다시점및 Light-Field(LF) 기술에대한응용이국내외에서다양한실감분야에시도되고있다. Ⅱ장에자세히설명하겠지만, LF 기술은모든방향의광선 (right ray) 을획득하여고밀도로재현하는것으로서수평방향의광선만다루는초다시점및곤충의눈을묘사한집적영상 (integral imaging)[1] 도 LF 분야에포함된다고볼수있다. LF 디스플레이는초점조절까지가능하여시각피로의주요원인인초점-주시불일치문제를해결할수있다. 현재까지 LF 디스플레이에서초점을조절하는방 이광순외 / Light-field 영상획득및재현기술동향 51

식은동공내에 2개이상의인접한시점영상을보이게하는방식 [2] 과다중초점면 (multi-focal plane) 을구성하여재현하는방법이있다. 이외에체적형디스플레이는물리적, 광학적으로완전한초점면을형성할수있으나응용분야가제한적이다. 직접영상은 depth of field (DOF) 가큰 focal plane 을디스플레이에구현하는방법이고, MIT 에서소개되어최근에 head mounted display(hmd) 까지적용되고있는적층형 LCD를사용한 Tensor display 는대표적인다중초점면을이용한방식이다 [3]. Ⅱ. Light Field의개념 LF는 3차원공간상에서피사체로부터반사되는빛의세기와방향을표현하기위한장 (field) 으로서, LF 영상획득및재현기술은카메라를통해 LF를획득한후디스플레이를통해그대로재현하여시각적으로왜곡이없는완전입체의실감영상을시청하게하는기술이다. 일반적으로 3차원공간상에서피사체로부터반사된빛은모든파장 (λ) 에대해전방향으로 (θ, ϕ) 관측자의 ( 이미지센서, 눈 ) 위치 (Vx, Vy, Vz) 에입사되는빛의세기의시간적인변화 (t) 를나타내는 7D plenoptic 함수, P(θ, ϕ, λ, t, Vx, Vy, Vz) 로표현되고이 7D plenoptic 함수를구하게되면특정 3차원공간에대한모든 LF 정보를얻을수있다 [4][5]. 카메라의경우, 4D 함수, P(θ, ϕ, Vx, Vy) 로표현되며 ( 그림 4) 에서와같이, 피사체의한점으로부터나온빛이메인렌즈의임의의한점 (u, v) 을지나포토센서의한점 (x, y) 으로입사되는 Ray-Space 상에서의빛의세기를나타내는 4D 함수, P(x, y, u, v) 로도표현한다. 이상 4D plenoptic 함수는카메라로부터 LF 정보를획득하여디스플레이할때필요한수학적도구이며, 이를시스템상으로구현하기위해서는고밀도 (dense) 의광선 (light ray) 을획득및재현할수있는광학소자, 이미지센서, 디스플레이소자등이필요하므로 Ⅲ장부터이를위한기술개발동향을살펴보고자한다. 여기서고밀도의광선은 Ray-space 상에서는고해상도의공간 (spatial) 성분과방향 (directional) 성분으로구성된다. Ⅲ. Light-Field 영상획득기술 LF 영상을획득하기위해서는우선고해상도의공간및방향성분을가지는광선을획득해야하며, 이를위해수평및수직시차를동시에고해상도로획득가능한영상획득소자또는고정밀깊이정보를획득하기위해센서가필요하다. LF 영상획득방법은수평및수직어레이로구성된다중카메라를통해획득하는방법과마이크로렌즈어레이 (microlens array) 기반의카메라로획득하는방법이있다. 마이크로렌즈어레이기반 LF 카 52 전자통신동향분석제 31 권제 3 호 2016 년 6 월

메라는마이크로렌즈어레이를통해피사체로부터반사되는빛의세기와방향성정보를단일 CCD 를통해획득할수있으므로, 획득이용이하고카메라정렬 (calibration) 및보정 (rectification) 등의처리가쉬워 LF 영상획득이용이하다는장점이있다. 하지만획득가능한광선의각도가작고컴퓨팅에의해생성된시점영상중최외각간의베이스라인 (baseline) 폭이다중카메라에비해좁아획득가능한깊이범위가얇다는단점이있다 [6][7]. 반면에다중카메라기반의 LF카메라는최외각시점영상간의베이스라인폭을넓게할수있어시야각이넓고획득가능한깊이범위가깊으며, 시점영상당해상도가 CCD 의해상도와동일하게유지할수있다는장점이있다. 하지만 ( 그림 6) 에서와같이카메라정렬및보정이어렵고설치가난해하여보급의장애로작용하고있다 [8]. 1. 마이크로렌즈어레이기반 LF 영상획득기술마이크로렌즈어레이기반의 LF 카메라는 ( 그림 7) 에서와같이대물렌즈 (Main lens) 와마이크로렌즈어레이로구성되며, 대물렌즈에의해가상이미지 (virtual image) 를생성한후다시마이크로렌즈어레이에의해방향성광선을 CCD 센서에투영하는방식을취한다. 따라서단일 CCD 센서로영상의정보뿐만아니라방향성정보를동시에획득할수있다는장점이있다 [6]. 마이크로렌즈어레이기반 LF카메라의동작원리를설명하면 다음과같다. 메인렌즈를통해이미지평면에맺히는가상영상을마이크로렌즈어레이가다중카메라처럼동작하여요소영상 (elemental image) 을생성한다. 가상영상의특정객체를중심으로몇개의요소영상으로부터변위 (disparity) 를구할수있고이를통해깊이정보를획득하는것이다. 단일 CCD 센서이고마이크로렌즈어레이의광학특성이유사하므로, 특별한카메라정렬및보정과정이없고, 마이크로렌즈어레이간의베이스라인폭이좁기때문에고해상도의깊이정보를획득할수있는것이다. 하지만, 마이크로렌즈어레이기반 LF 카메라의가장큰단점은여러시점영상이한정된이미지센서에동시에투영되므로시점수가증가할수록, 즉방향해상도가증가할수록시점당공간해상도가감소한다는것이다. 따라서시점영상의해상도및획득가능한깊이범위를동시에증대시키기위한기술개발이마아크로렌즈기반 LF 카메라보급을위해절실히필요한실정이다. 2. LF 카메라성능향상기술여러개의고해상도카메라와고감도깊이센서를사용하는것이고해상도의시점영상과고정밀깊이정보를획득가능한방법이지만, 카메라간및카메라- 깊이센서간정렬및보정등의신호처리기술과, 간편하게사용할수있는카메라리그 (Rig) 기술을필요로한다. 마이크로렌즈어레이기반 LF 카메라의경우공간해상도를향상시키기위해마이크로렌즈어레이의초점을 이광순외 / Light-field 영상획득및재현기술동향 53

개하였다 [8]. 따라서향후마이크로렌즈어레이기반과다중카메라기반을혼합한 LF 카메라가개발된다면두방식의장단점이상호보완되어, 전방위까지확장하여 3D 공간영상정보를초고화질및고밀도로획득가능할것으로전망된다. Ⅳ. Light-Field 영상단말재현기술 가변하는기술을접목하고있다. 대표적으로독일의 Raytrix 사는 ( 그림 8) 에서와같이다중초점면 (multifocus plane) 기법을사용하고있다 [7]. 이는서로다른초점거리를가지는다중초점마이크로렌즈어레이를사용하여단일초점마이크로렌즈어레이방식보다 DOF 를증대시킬수있고, 신호처리를통해유효공간해상도를 CCD 센서해상도의 1/4 로유지한다. 즉, 4K 해상도의 CCD 를사용하면깊이정보와더불어다중의 Full HD 시점영상을획득할수있게된다. Lytro 사는소비자용의 LF 카메라를출시하고있으며, 베이스라인폭이작다는단점을보완하기위해 ( 그림 9a) 에서와같이 LF 카메라가좌우로이동가능한스테레오 LF 영상획득시제품을제작하였다. 현재는테스트용으로시도되었지만향후 Virtual Reality(VR) 서비스를위해성능확장을시도하고있다. 또한, 몰입형 VR 서비스에필요한전방위 LF 영상을획득하기위해, ( 그림 9b) 에와같이일련의 LF 센서들이 5층적층형구조로장착되어있는 Lytro Immerge 의개발을최근에공 LF 카메라혹은 CG에의해생성된영상을 LF 단말에재현하기위한개념도는 ( 그림 10) 에서와같다. 만일콘텐츠서버에서 LF단말에필요한영상을 3mm 이내고밀도시점간격으로생성하여제공한다면대용량의데이터가필요하기때문에일반적으로저밀도 (sparse) 로생성하여단말에전송하고, 단말에서중간영상합성을통해고밀도로의 Full parallax( 수평 / 수직시차지원 ) 시점영상으로시점보간 (view interpolation) 한다. 이때 LF 중간영상합성은수평, 수직및대각선의방향으로시점보간이되어야하므로고속의 LF 영상합성기술의개발이필요하다. 일본동경대는 64개 (8 8) 의카메라시스템으로실시간 LF 영상을획득하여 60시점으로렌더링하기까지한프레임처리에 100ms 소요하였으며, 시점영상이 256 192 정도로저해상도였다 [9]. 한편최근에는마이크로렌즈기반카메라, 다중 / 깊이카메라등다양한구조의 LF 영상이다양한형태의 LF 디스플레이에공통적으로사용할수있는 LF 영상포맷표준화에대한필요성이 Moving Picture Experts Group(MPEG) 국제표준단체에서대두되고있다. 54 전자통신동향분석제 31 권제 3 호 2016 년 6 월

1. 마이크로렌즈어레이기반 LF 디스플레이기술 ( 그림 11) 은마이크로렌즈어레이기반 LF 디스플레이와이의시청환경기하구조를나타낸다. 마이크로렌즈어레이를통해투영되는영상이요소영상 (elemental image) 이며, 요소영상의각픽셀들에의해조사되는광선들은렌즈에의해굴절되어집속되면시청영역 (viewing zone) 을형성하는데, 광추적기법에의해시청영역내각시점구간들이 (V11, V12, ) 계산될수있다. 가. 집적영상기반 LF 디스플레이마이크로렌즈어레이기반으로 LF 영상을획득및재현하는방식은 1908 년부터 Lippmann 에의해집적영상 (integral imaging)[2] 을시작으로개발되어오고있다. 집적영상방식은획득단계와디스플레이재현단계가상호역의관계가되도록동일하게구성된다. 즉카메라단에서마이크로렌즈어레이를통해모든방향으로보여지는 3D 객체의투영시점영상이여러개의요소영상으로획득되며역위보정 (pseudoscopic correction) 과정을거친후, 디스플레이에서방향성이있는요소영상들이재생되고마이크로렌즈어레이를통해 3D 공간에집적되어재현되면시청자에게입체영상으로보여지게된다. 집적영상방식은단일초점면을이용할때는 마이크로렌즈어레이의 DOF 범위내에서초점이맞는깊이를재현가능하며, 서로다른초점거리를가지는마이크로렌즈어레이를배열하여다중초점면을구성함으로써깊이재현범위를확대하도록시도되어왔다. 집적영상기술이보편화되기위해해결해야할방식상의이슈사항은 ( 그림 12) 에서집적되는영상의해상도 (RI), 깊이감 (DZm) 및시야각 (W) 을동시에증가시키는것이다. 하지만집적영상디스플레이의특성상이들은상호역의관계이므로, 동시에증가시키기위해서광선의발생량을증가시킬수있는새로운광학소자의개발이필요한실정이다. 집적영상은마이크로렌즈어레이에의해초점이맺혀재현되는영상의위치에따라 Real, virtual, focused 3가지모드로동작시킬수있는데, 이는평판패널과마이크로렌즈어레이간격 (g) 과초점거리 (f) 에따라결정된다. 집적영상이패널앞쪽에재현되는 real 모드는 g>f 인경우이며, g<f 일때는 virtual mode 로서집적영상이패널뒤쪽에재현되고, focused 모드는 g=f인경우로서집적영상은패널앞및뒤쪽으로동시에재현된다. 따라서디스플레이화면앞뒤로집적영상을동시에재현하기위해서는, focused 모드로동작시켜야하나초점이맞는집적영상의깊이범위 (DZm) 를결정하는 Central Depth Plane(CDP) 가마이크로렌즈어레이층에형성되므로초점이맞는 3D 영상을재현시키는데한계가있다. 따라서광학적으로여러개의 CDP 를형성하기위한방식이완성되지않는 D 이광순외 / Light-field 영상획득및재현기술동향 55

다면초점조절이가능하면서깊이감이큰집적영상을형성하기는어려울것이므로, 양안시차를활용하고동공내 2개이상의시점영상을재현하는방식은필요하게된다. 일본 NHK 는 ( 그림 13) 에서와같이현재다중의 8K 패널기반으로확장가능한집적영상방식의 3D 카메라및 Integral 3DTV (3D 픽셀수 : 10만픽셀 ) 관련장비개발을진행중에있으며, 2022 년 IntegralTV(HoloTV) 방송을계획하고있다 [10]. 나. 공간및방향해상도증대기술공간해상도는 LF 디스플레이를통해재현가능한시점해상도를결정하고방향해상도는시점수를결정한다. 주어진디스플레이의패널해상도상에시점해상도와시점수는상호역관계있다. 따라서 LF 디스플레이가재현가능한광선의처리량 (throughput) 를늘려시점해상도및시점수를동시에향상시키기위해서는, 평판패널픽셀의밀도인 Pixels per Inch(PPI) 를향상시키는것과동시에전기적인신호에의해동작하는능동형광학소자와더불어시간적다중화 (time-multiplexing) 또는공간적다중화 (spatial multiplexing) 기법들의적용은필요하다고할수있다. 대표적인능동형광학소자는편광의존형 Liquid crystal(lc) 렌즈, 방향성백라이트 (directional backlight) 이며, ( 그림 14) 는능동형방향성백라이트를이용하여시점해상도를증대하는기본적인원리를설명하고있다. ( 그림 14) 에서방향성백라이트는시간적으로번갈아가며두개이상의방향으로빛을굴절시킬수있다면, 즉 60Hz 속도로동작하면서홀수번 30Hz 프레임구간은홀수번시점을재생하고짝수번 30Hz 프레임구간은짝수번시점을재생할수있다면, 30Hz 속도로시점해상도혹은시점수를 2배증대가능한것이다. 그림 12는 1/2 피치의마이크로렌즈어레이를사용하여시점수는유지하면서시점해상도를증대시킨경우이다. 2. 모바일용 LF 단말개발을위한요구규격미래창조과학부지원범부처기가코리아사업을통해 2015 년 9월부터모바일용 LF단말을개발하고있다. 본기술개발은초점조절을포함하는 4가지입체요인을모바일단말에구현하여사용자로하여금완전입체의영상을볼수있게하는것으로서요구되는스펙은 < 표 1> 56 전자통신동향분석제 31 권제 3 호 2016 년 6 월

과같다. 여기서초점조절은동공내 2개이상의조밀한시점영상재현을통해구현할예정이며, < 표 1> 에서요구되는시청거리, 시청각및시점해상도를만족하기위해서 ( 그림 15) 에서와같은해결해야할기술적인이슈가있다. 45cm 시청거리에서 20도의시야각을형성하려면시청폭은약 10cm 정도이다. 여기에 3mm 의시점간격을유지하려면 35개의시점영상을필요로한다. 만일 8K해상도의디스플레이패널을사용한다면시점영상의수평해상도는 220 픽셀정도로서, HD급의시점해상도와는거리가멀다. 따라서삼성디스플레이에의해디스플레이의패널해상도를 10K 정도까지증대시키면서, 시간다중화및공간다중화의효과를동시에적용하기위한능동형마이크로렌즈어레이및방향성백라이트를개발중이다. 3. LF 응용분야 LF 카메라로획득된영상은수평 / 수직시차시점영상, 깊이영상등의실감영상포맷을지원하기때문에다양한응용분야에적용가능하다. 스마트폰에적용될경우노키아, 도시바가일부상용화를시도했지만, 초점가변및깊이정보추출기능을이용하여한번촬영한영상의배경을바꿀수있다. ( 그림 16) 는전경인물은그대로두면서배경을바다, 산, 강등다양하게바꾸는앱에활용하는것을보여주고있다. 또한, 획득된시점영상및깊이정보를이용하여 3D 모델링된영상을생성할수 있다. LF 카메라는초점가변기능에의해넓은피사체심도를제공하기때문에, 피사체와카메라와의거리에덜민감하게초점을맞추고이를통해인식률을높일수있으므로, 방범용 CCTV 카메라또는영상인식카메라로이용가능하다. 독일의 Raytrix 사의경우주요판매제품은생산라인에서제작되는부품중에서불량품을체크하는관측카메라용이다. ( 그림 18) 에서와같이현재전세계적으로이슈가되고있는 VR 서비스에도활용될수있다. VR 서비스의활성화를위해서는개인용단말인 HMD 및투시형디스플레이 (see-through display) 를사용자친화적으로개선하는것이절실한데, 이를위해경량으로시각피로가없이몰입감을극대화할수있는기능의구현이필요하다. 이를위해국내외에서 LF 기술을 VR에접목하는시도가기초연구차원에서진행되어오다가최근에시제품까지개발되고있다. ( 그림 19) 에서와같이 NVIDIA 사 이광순외 / Light-field 영상획득및재현기술동향 57

는주로획득과디스플레이에대해다루었지만대용량 LF 영상을고효율로압축하기위한논의도이미 MPEG 국제표준화에서진행되고있고, 모바일 LF 카메라및단말이국책사업을통해개발되고있으므로향후에 LF 기술은차세대실감미디어서비스를위한기반기술이될것으로전망된다. 약어정리 < 출처 >: NVIDIA 는집적영상의 virtual mode 를이용해마이크로렌즈어레이가이미지확대용광학렌즈를대체하고동시에초점조절기능을부여할수있는 HMD 시제품을개발하여시연하였으며 [11], Arizona 대학은마이크로프로젝트와마이크로렌즈어레이를이용해초점조절이가능한투시형디스플레이시제품을시연하였다 [12]. 시연된제품들은아직시제품수준으로서, 마이크로렌즈어레이에의한공간해상도의열화개선, 조절가능한초점범위향상, 6 자유도 (degrees of freedom) 제공을위한운동시차 (motion parallax) 부여등의기술개발을필요로하고있다. 또한, Lytro 사의 Lytro Immerge 카메라와같이전방위 LF 영상을고품질의공간해상도와방향해상도로획득가능한전방위 LF 카메라의개발도병행되어야할것이다. Ⅴ. 결론본고에서는완전입체실감영상을구현하기위한 LF 카메라및단말재현기술에대해살펴보았다. 본고에서 CCTV CDP DOF GPS HMD LC LF MPEG PPI VR 참고문헌 Closed-circuit television Central Depth plane Depth of Field Global Positioning System Head Mounted Display Liquid crystal Light-Field Moving Picture Experts Group Pixels per Inch Virtual Reality [1] M.G. Lippmann, Épreuves Reversible, Photographies Integrales, Académie des Siences, 1908, pp. 446-451. [2] Y. Takaki, K. Tanaka, and J. Nakamura, Super Multi- View Display with a Lower Resolution Flat-Panel Display, Optics Express, vol. 19, no. 5, 2011, pp. 4129 4139. [3] G. Wetzstein et al., Tensor Displays: Compressive Light Field Synthesis using Multilayer Displays with Directional Backlighting, ACM Trans. Graph. - Proc. ACM SIGGRAPH, vol. 31, no. 4, 2012, pp. 1 11. [4] M. Levoy and P. Hanrahan, Light Field Rendering, Proc. ACM SIGGRAPH, 1996, pp. 31-42. [5] S.J. Gortler et al., The Lumigraph, Proc. 23rd Ann. Conf. Computer Graphics and Interactive Techniques (SIGGRAPH), 1996, pp. 43-54. [6] R. Ng et al., Light Field Photography with a Hand-Held Plenoptic Camera, Stanford Tech Report CTSR, Feb. 2005. [7] http://www.raytrix.de/ [8] https://www.lytro.com/ [9] Y. Taguchi et al., TransCAIP: A Live 3D TV System 58 전자통신동향분석제 31 권제 3 호 2016 년 6 월

Using a Camera Array and an Integral Photography Display with Interactive Control of Viewing Parameters, IEEE Trans. Visualization and Computer Graphics, vol. 15, no. 5, 2009, pp. 841-852. [10] N. Okaichi, and M. Miura, Broadcast Technology, Broadcast Technology, no. 62, Autumn 2015. [11] D. Lanman, and D. Luebke, Near-Eye Light Field Displays, ACM Trans. Graph. SIGGRAPH Asia, vol. 32, no. 6, 2013. [12] H. Hua, and B.Javidi, A 3D Integral Imaging Optical See- Through Head Mounted Display, OPTICS EXPRESS, vol. 22, no. 11, June 2nd, 2014, pp. 13484-13491. 이광순외 / Light-field 영상획득및재현기술동향 59