02( ) CSTA18-05.hwp

Size: px

Start display at page:

Download "02( ) CSTA18-05.hwp"

용민 제
6 years ago
Views:

1 ISSN X(Print) / ISSN (Online) Journal of KIISE, Vol. 45, No. 9, pp , 복원된실내환경의 3D 기하기반실시간재질추정기법 (Real-time Intrinsic Image Decomposition using 3D Geometry of Reconstructed Indoor Scene) 최윤지 이성길 (Yoonij Choi) (Sungkil Lee) 요약기하복원기법의발전으로영상기반모델링의접근성은높아졌으나텍스처에포함된음영으로복원된모델의활용범위는좁다. 따라서본연구는상용소프트웨어를이용해복원된실내모델에서음영을제거하여복원된모델의조명을동적으로변경가능하도록하는재질추정기법을제안한다. 본논문은광원추정과역렌더링을이용하여기하의복원정도에비례한재질추정을수행하며역렌더링시실시간렌더링기법인퐁조명모델과광전파볼륨을이용하여실시간성능을보인다. 실내의특성을고려한역렌더링을위해모든추정광원을점광원으로간주하였으며, 간접조명연산시필터를적용한텍스처사용으로반사광의색상을근사하여재질추정의품질을높였다. 또한본기법은기하복원정도에비례한재질추정을수행하여영상기반모델링의장점인라이팅연산의간략화를유지하였다. 키워드 : 재질추정, 역렌더링, 실시간렌더링, 재조명 Abstract Development of 3D reconstruction techniques has improved the accessibility of image-based modeling. However, the usage of reconstructed models is limited because of shading in texture. Therefore, we present an intrinsic image decomposition method for indoor models reconstructed using commercial software to manipulate light conditions dynamically. In our approach, we use light source estimation and inverse rendering to perform intrinsic image decomposition relative to reconstructed geometry information. We apply Phong reflectance model and light propagation volume, real-time rendering method, to inverse rendering for real-time performance. Considering the features of indoor scenes, all light sources are estimated as point lights and indirect lighting include reflectance colors estimated from filtered texture. Our approach maintains simplification of lighting, benefit of image-based modeling, because of estimating reflectance relative to geometric information. Keywords: intrinsic image decomposition, inverse rendering, real-time rendering, relighting 본연구는미래창조과학부의재원으로한국연구재단의 < 실감교류인체감응솔 논문접수 : 2018년 4월 18일 루션 > 글로벌프론티어사업 (2018M3A6A ), 과학기술인문융합연구사 (Received 18 April 2018) 업 (2017M3C1B ) 의연구비지원으로수행하였습니다. 논문수정 : 2018년 6월 2일 학생회원 : 성균관대학교전자전기컴퓨터공학과 (Revised 2 June 2018) y.j.choi@skku.edu 심사완료 : 2018년 6월 4일 종신회원 : 성균관대학교소프트웨어학과교수 (Sungkyunkwan Univ.) sungkil@skku.edu (Corresponding author 임 ) (Accepted 4 June 2018) CopyrightC2018 한국정보과학회ː 개인목적이나교육목적인경우, 이저작물의전체또는일부에대한복사본혹은디지털사본의제작을허가합니다. 이때, 사본은상업적수단으로사용할수없으며첫페이지에본문구와출처를반드시 명시해야합니다. 이외의목적으로복제, 배포, 출판, 전송등모든유형의사용행위 를하는경우에대하여는사전에허가를얻고비용을지불해야합니다. 정보과학회논문지제45권제9호 ( )

2 882 정보과학회논문지제 45 권제 9 호 ( ) 1. 서론특별한장비없이여러시점에서촬영된이미지만을이용한 3D 복원기법 [1-4] 의발전으로이를기반으로한응용소프트웨어들이상용화되고있다. 기하복원기술의발전이영상기반모델링 [5] 에대한접근성을높였음에도불구하고복원된모델의활용범위는제한되어있다. 원인은모델의텍스처에포함된촬영당시의조명에의한음영으로, 음영정보가포함된모델은게임, 영화와같이자유로운조명을다루는프로그램에서의사용이제한된다. 따라서복원된모델에서음영정보를제거하여자유로운조명적용이가능하도록하는재질추정기법 (intrinsic image decomposition) 들이연구되고있다. 실세계의물체는물체의재질과빛의상호작용에의해지각또는촬영된다. 촬영된이미지를구성하는픽셀은물체표면의반사율인재질과음영의곱으로이루어지므로이미지에서음영을제거하여물체의고유의값인재질을추정할수있다. 이처럼이미지에서음영과재질을분리하는것이재질추정의목표로추정된재질은물체인식, 이미지편집, 조명편집등에활용가능하다. 재질추정은이미지를기반 [6-9] 으로음영과재질을추정해야하는잘풀리는않는문제로문제의모호성을해결하기위해여러장의이미지 [10-13], 깊이정보 [14-16] 등추가적인데이터를이용하려는시도가진행되고있다. 재질추정기법은주로이미지편집을위해연구되고있으며대부분긴연산시간을요구한다. 최근실시간재질추정 [17-19] 이연구되고있으나아직까지활발한연구가이루어지지않았다. 대부분의재질추정기법은단편적장면또는물체에대해연구되어공간전체에대한재질추정은실외환경만을대상으로소수만이연구되었다 [10,11] 지금까지본논문과같은실내환경에대한연구의예는거의발견되지않았다. 우리는상용소프트웨어를이용해복원한실내공간모델에대한실시간재질추정기법을제안한다. 복원된모델을이용한자유로운조명적용이본논문의목표로이미지편집을위한재질추정과달리음영과색상의완벽한분리가아닌, 기하의복원정도에비례한재질추정을수행한다. 복원된기하와비례하는재질추정을위해역렌더링을이용하며, 실시간렌더링기법인퐁반사모델 [20] 과광전파볼륨 (light propagation volume, LPV) [21] 을사용하여실시간성능을달성하였다. 다양한종류의조명기구가사용되는실내환경에특성에의해역렌더링시광원을한정하여정의할수없다. 따라서우리는광원추정기법을기반으로광원을다수의점광원으로간주한다. 실내환경은간접조명이강하게발생하 여간접조명근사가재질추정의품질에큰영향을끼친다. 우리는필터가적용된텍스처를반사광색상근사에사용하여보다정확도높은간접조명효과를연산하여재질추정의품질을높였다. 2. 관련연구 2.1 Inverse rendering 역렌더링은촬영된이미지와기하, 조명등주어진데이터를기반으로렌더링을역으로연산하여원하는데이터를추정하는접근이다. 역렌더링을이용한재질추정은음영근사를통하여이루어지므로음영근사를위해기하정보와조명정보가요구된다. 기하복원을위해깊이카메라 [18,19], 적외선센서 [22] 와같은특수장비를이용하거나여러장의사진 [10,11] 을사용한다. 조명은반사구 (reflective sphere) 를이용한환경맵이미지촬영 [10,11] 과촬영시조명을조작 [14] 등다양한방법으로측정된다. 실시간재질추정은음영정보를이용해기하를추정하는음영기반기하복원 (structure from shading, SfS) [23] 를기반으로, 깊이카메라를이용해이루어지고있다. 하지만현재 SfS를이용한실시간재질추정은공간전체가아닌물체를대상으로기하복원과재질추정이수행된다 [18,19]. 또한, SfS를이용한모든실시간접근은영상을입력으로받아이전프레임의정보 [18,19] 를활용한다. 현재연구된공간전체에대한재질추정기법은실외환경을대상으로만 [10,11] 연구되었다. 실외환경의경우광원을태양으로한정하며그외의조명은하늘 (sky) 에의한것으로가정한다. 하지만실내환경은다양한종류의조명이존재하여조명을한정하여정의하는접근은적용될수없다. 연구된공간을대상으로한재질추정기법은실시간성능을보이지않는다. 2.2 Intrinsic image 기하복원없이이미지를재질과음영으로분리하는재질추정방법은주로이미지편집을목표로하여다양한기법이연구되고있다. 이미지를그레이스케일로변형하여재질을추정하는 retinex 접근은음영의변화에의한경계는점진적인반면재질의변화는급격하다는점에착안한방법으로이를기반으로한접근이다수이루어지고있다 [24,25]. 이접근은강한그림자와같이음영이급격하게변화는영역의재질추정의오차가발생하는한계가있다. 이와비슷하게색각항상성을이용하여주변픽셀의색도 (chromaticity) 가비슷하다면그픽셀은같은재질을갖는다고간주하는접근또한연구되고있다 [8,26]. 그외클러스터링 [27], 추정의정확도향상을위한추가적최

복원된실내환경의 3D 기하기반실시간재질추정기법 883 적화 [9] 등다양한접근이시도되고있다. 다양한추정방법에도불구하고재질추정은여전히잘풀리지않는문제로그정확도를높이기위하여추가적인데이터를이용하는접근들이시도되고있다. 본논문의접근과유사하게동일한조명조건에서촬영한다시점이미지가이용되거나동일한시점에서서로다른조명조건에서촬영한이미지 [12,13].

이미지편집을위한재질추정은재질과음영의완벽한분리를목표로삼는다. 그러나본논문은영상기반모델의장점인조명간략화를잃지않는수준의재질추정으로위의연구들과목표하는바에차이가있다. 3. 알고리즘우리는복원된실내환경을대상으로추정된기하정보에비례한실시간재질추정기법을제안한다. 그림 1은본논문이제시하는재질추정기법의전체과정을도식화한것이다.

3 복원된실내환경의 3D 기하기반실시간재질추정기법 883 적화 [9] 등다양한접근이시도되고있다. 다양한추정방법에도불구하고재질추정은여전히잘풀리지않는문제로그정확도를높이기위하여추가적인데이터를이용하는접근들이시도되고있다. 본논문의접근과유사하게동일한조명조건에서촬영한다시점이미지가이용되거나동일한시점에서서로다른조명조건에서촬영한이미지 [12,13]. 깊이정보 [14-16], 사용자의입력 [9], 영상 [17] 등다양한종류의추가데이터가사용된다. 실시간재질추정의경우최근영상데이터를기반으로연구되었다 [17]. 이연구는 GPU 최적화를통한연산과영상데이터의특성을기반으로이전프레임의정보를이용하는접근을통해실시간재질추정을수행하였다. 하지만대부분의재질추정은여전히긴연산시간이요구된다. 이미지편집을위한재질추정은재질과음영의완벽한분리를목표로삼는다. 그러나본논문은영상기반모델의장점인조명간략화를잃지않는수준의재질추정으로위의연구들과목표하는바에차이가있다. 3. 알고리즘우리는복원된실내환경을대상으로추정된기하정보에비례한실시간재질추정기법을제안한다. 그림 1은본논문이제시하는재질추정기법의전체과정을도식화한것이다. 다시점이미지를이용해모델을복원한후복원된정보를이용하여광원추정을수행한다. 재질추정을위하여복원된기하와광원정보를이용한역렌더링을수행하며이때, 간접조명근사를위해 bilateral 필터 [28] 를적용한텍스처를이용한다. 모든물체의표면이람베르트반사율을가진다고가정하였으며그림자는고려되지않았다. 3.1 데이터구성본논문이사용한광원추정기법 [29] 은복원된모델의 텍스처를기반으로수행되므로조명기구를포함한전체실내환경에대한복원을수행한다. 기하복원시다시점이미지와상용프로그램을이용되며추가로기하를수정하지않는다. 복원된모델을기반으로광원추정을수행하여광원의위치및색상을근사한다. 광원추정시면적을가지는조명은여러개의점광원으로추정된다. 3.2 Image Model 복원된기하와추정된광원을이용한역렌더링을위하여이미지모델을정의한다. 직접조명연산을위해퐁조명모델을사용하며, 간접조명연산시광전파볼륨을사용한다. 이미지모델은다음과같다. cos (1) 는픽셀값을, 은물체의재질을의미한다. 는입사각을의미하며 와 는각각직접조명과간접조명을의미한다. 은물체의표면과광원사이의방향벡터를의미하며 은표면의법선벡터를, 은거리 에따른빛의감쇠를의미한다. 은추정된광원을의미한다. 기하의불완전한복원으로인한간접조명근사의오차로인하여, 퐁조명모델에서간접조명근사를위해사용하는앰비언트 (ambient) 값을광전파볼륨과함께사용하는것이더나은품질을보임이실험을통해확인되었다. 따라서아래와같이앰비언트값이수식에추가되었다. (2) 앰비언트는간접조명근사를도울뿐광전파볼륨을대체할수없다. 그림 2는앰비언트만을이용한간접조 그림 1 재질추정과정의개요도 Fig. 1 Overview of the intrinsic image decomposition process

884 정보과학회논문지제 45 권제 9 호 (2018. 9) 그림 2 간접조명근사에앰비언트만을이용한음영근사와재질추정결과 ( 좌측 ) 와광전파볼륨과앰비언트를함께이용한결과 ( 우측 ) Fig.

앰비언트만을이용한경우서랍 ( 빨간박스 ) 에서발생한반사광에의한음영이제거되지않아서랍에근접한벽지의재질이주변보다밝게추정되었으며노란계열의색상을보인다. 광전파볼륨을함께이용한우측의경우벽지의전체적인색상이유사하게추정되었음을확인할수있다. 3.3 간접조명근사를위한필터적용광전파볼륨을이용한간접조명근사시반사광의색상표현을위해반사가발생하는표면의재질이필요하다.

4 Inverse rendering 역렌더링시간접조명연산에이용되는광전파볼륨은광원의위치에시점을두어공간을렌더링한 reflective shadow maps (RSM)[30] 을생성하여반사광의위치와색상을근사한다. 광원추정의결과면적을갖는조명이다수의점광원으로추정되므로 RSM은각각의점광원에대해생성된다.

직접조명연산은모든추정점광원을사용하여수행된다. 정의한이미지모델을기반으로복원된모델과광원추정결과, 평탄화된텍스처를이용하여역렌더링을수행한다. 재질추정결과는근사된음영정보를복원된모델의원본텍스처에나누어획득된다. 아래는역렌더링에사용되는최종식으로 는 RSM 생성에사용되는광원을의미한다. (3) 4.

4 884 정보과학회논문지제 45 권제 9 호 ( ) 그림 2 간접조명근사에앰비언트만을이용한음영근사와재질추정결과 ( 좌측 ) 와광전파볼륨과앰비언트를함께이용한결과 ( 우측 ) Fig. 2 Results of intrinsic image decomposition using ambient (left) and LPV with ambient (right) to approximate indirect lighting 명근사와광전파볼륨을이용한간접조명근사에따른재질추정결과의차이를보인다. 앰비언트만을이용한경우서랍 ( 빨간박스 ) 에서발생한반사광에의한음영이제거되지않아서랍에근접한벽지의재질이주변보다밝게추정되었으며노란계열의색상을보인다. 광전파볼륨을함께이용한우측의경우벽지의전체적인색상이유사하게추정되었음을확인할수있다. 3.3 간접조명근사를위한필터적용광전파볼륨을이용한간접조명근사시반사광의색상표현을위해반사가발생하는표면의재질이필요하다. 하지만간접조명근사의목적이음영제거를통한재질추정으로이를수행하기엔문제가있다. 따라서입력된복원모델의텍스처를 bilateral 필터를이용해평탄화한후이를간접조명색상근사를위한정보로사용한다. Bilateral 필터연산을위해픽셀의색상정보와월드공간좌표가사용되며이는 GPU에서연산된다. 평탄화된텍스처는반사광의색상근사에만사용된다. 3.4 Inverse rendering 역렌더링시간접조명연산에이용되는광전파볼륨은광원의위치에시점을두어공간을렌더링한 reflective shadow maps (RSM)[30] 을생성하여반사광의위치와색상을근사한다. 광원추정의결과면적을갖는조명이다수의점광원으로추정되므로 RSM은각각의점광원에대해생성된다. 그러나밀접한점광원에대해생성된 RSM은동일한반사광정보를가지고있으므로모든추정광원의대해 RSM을생성하는것은속도를하락시킬뿐품질에큰영향을주지않는다. 따라서본논문은간접조명근사시근접한점광원에대한 RSM 이생성하지않도록임계값 (threshold) 을이용한다. 간접조명효과는생성된 RSM을기반으로전파되어근사 되며이때반사광의색상은평탄화된텍스처의색상을이용해근사된다. 직접조명연산은모든추정점광원을사용하여수행된다. 정의한이미지모델을기반으로복원된모델과광원추정결과, 평탄화된텍스처를이용하여역렌더링을수행한다. 재질추정결과는근사된음영정보를복원된모델의원본텍스처에나누어획득된다. 아래는역렌더링에사용되는최종식으로 는 RSM 생성에사용되는광원을의미한다. (3) 4. 결과모든물체가람베르트반사율을갖도록제작된가상공간과실세계의실내공간에서본논문이제안하는재질추정기법을수행하였다. 난반사만이발생하는가상의침실환경은물리기반렌더러인 mitsuba renderer [31] 로제작되었으며, 조성된가상환경을촬영한 70 80장의이미지를이용하여기하를복원하였다. 실세계데이터는드레스룸을상용카메라인아이폰 6S의기본카메라로촬영한 50 60장의사진을이용한기하복원으로제작되었다. 두데이터모두고정된조명에서촬영되었으며조명을포함한공간이복원되었다. 모델은상용소프트웨어인 Autodesk의 Recap( 을이용해복원되었다. 그림 3은가상환경인침실과실세계환경인드레스룸의복원결과와광원추정결과로빨간색점은추정된점광원을나타낸다. 재질추정은 Intel(R) Core(TM) i7-5960x CPU, GeForce GTX 1080 Ti GPU 환경에서수행되었다. 본논문이제안한재질추정수행결과, 가상으로조성된침실 ( 그림 4) 모델에서 bilateral 필터 6.31ms, inverse rendering 29.75ms, 총 36.06ms의속도를보였다. 실세계데이터인드레스룸모델 ( 그림 5) 의연산속도는 bilateral 필터 6.52ms, inverse rendering 28.39ms, 총 34.91ms를그림 3 기하복원과광원추정결과 Fig. 3 Results of 3D reconstruction and light source estimation

복원된 실내 환경의 3D 기하 기반 실시간 재질추정 기법 885 그림 4 난반사만이 일어나도록 조성된 가상환경을 이용한 재질추정 수행 결과. 좌측부터 기하 복원 결과와 음영 근사 결과, 재질추정 결과 Fig.

From the left, 3D reconstruction result, shading approximation, and intrinsic image results are shown 그림 5 실세계를 데이터 이용한 재질추정

From the left, 3D reconstruction result, shading approximation, and intrinsic image results are shown 보여 두 데이터에서 모두 실시간에 달하는

낮은 정확도와 광원의 특성을 고려하지 않은 음영 근사 그림 4는 난반사만이 일어나도록 제작된 가상환경에 로 특정 영역에서 재질추정의 정확도가 하락하였다.

5 복원된 실내 환경의 3D 기하 기반 실시간 재질추정 기법 885 그림 4 난반사만이 일어나도록 조성된 가상환경을 이용한 재질추정 수행 결과. 좌측부터 기하 복원 결과와 음영 근사 결과, 재질추정 결과 Fig. 4 Result of intrinsic image using a virtual environment designed to cause diffuse reflection only. From the left, 3D reconstruction result, shading approximation, and intrinsic image results are shown 그림 5 실세계를 데이터 이용한 재질추정 수행 결과. 좌측부터 기하복원 결과와 음영근사 결과, 재질추정 결과 Fig. 5 Result of intrinsic image using real environment data. From the left, 3D reconstruction result, shading approximation, and intrinsic image results are shown 보여 두 데이터에서 모두 실시간에 달하는 속도를 달성 재질추정이 수행되었음이 확인된다. 하지만 기하복원의 했음이 확인되었다. 낮은 정확도와 광원의 특성을 고려하지 않은 음영 근사 그림 4는 난반사만이 일어나도록 제작된 가상환경에 로 특정 영역에서 재질추정의 정확도가 하락하였다. 침 서의 재질추정 결과로 음영 근사와 이를 이용한 재질추 대(파란 박스)에서 부정확한 기하복원으로 인한 재질추 정의 수행 정도를 보인다. 조명에 의한 음영 차가 큰 영 정 품질 하락이 확인되며, 광원의 특성을 고려하지 않은 역(노란 박스)에서 재질추정 결과를 확인할 수 있다. 서 음영 근사로 천장과 벽(초록 박스)이 동일한 벽지를 가 랍과 근접한 벽지(빨간 박스)의 경우, 간접조명의 색상 짐에도 다른 재질로 추정되었음이 확인된다. 이 포함된 음영이 재질에서 제거되어 보다 정확도 높은 그림 5는 실세계 데이터를 이용해 기하를 복원한 후

6 886 정보과학회논문지제 45 권제 9 호 ( ) 재질추정을수행한결과로본논문이제시하는기법이실세계환경에서적용가능함을보인다. 조명에의한음영차가큰영역 ( 빨간박스 ) 를통해재질추정결과를극명하게비교할수있으며, 화장대 ( 노란박스 ) 에서간접조명효과제거로정확도높은재질추정이수행됐음을확인할수있다. 하지만그림 4와마찬가지로부정확하게복원된기하로인하여부정확한재질추정이이루어졌음이스위치 ( 파란박스 ) 에서확인된다. 실세계는물체는다양한반사성질을가지므로이로인한부정확한재질추정이이루어졌다. 이는대리석재질을가진화장대 ( 초록박스 ) 에서발생한정반사가제거되지않았음을통해확인할수있다. 5. 토론 우리는영상기반모델을이용한자유로운동적조명변경을위한복원된실내환경의실시간재질추정기법을제안하였다. 복원된기하의불완전성을고려한이미지모델을정의하였으며기하에비례한음영제거로영상기반모델의장점인조명연산간략화를잃지않았다. 본논문은역렌더링시광원추정기법을사용하여조명측정을위한별도의장비를요구하지않으므로상용소프트웨어를기반으로복원된모델에본논문이제안하는재질추정기법의적용을용이하게하였다. 또한, 간접조명의영향이큰실내환경특성을고려하여평탄화된텍스처를이용해근사한반사광의색상을음영근사에사용하여재질추정의품질을높였다. 하지만추정된조명을모두점광원으로간주하므로그에따른품질저하가발생한다. 이는조명연산시사용자에게광원의특성을입력받아역렌더링에적용하여해결할수있다. 현재간접조명연산시불필요한 RSM 생성으로인한속도저하가발생한다. 이는미래연구로예정된부분으로추정된밀접광원을합병해근접한광원에대해하나의 RSM만을생성하도록개선할예정이다. 드레스룸모델에서발생한정반사로인한품질하락은본논문이전제로한람베르트반사에벗어나는현상으로차후연구될예정이다. References [1] Snavely, Noah, Steven M. Seitz, and Richard Szeliski, "Photo tourism: exploring photo collections in 3D," ACM transactions on graphics (TOG), Vol. 25, No. 3, pp , ACM, [2] Goesele, Michael, et al., "Multi-view stereo for community photo collections," Proc. of the IEEE 11th International Conference, pp [3] Fuhrmann, Simon, Fabian Langguth, and Michael Goesele, "MVE-A Multi-View Reconstruction Environment," GCH, pp , Oct [4] Jancosek, Michal, and Tomás Pajdla, "Multi-view reconstruction preserving weakly-supported surfaces," Proc. of the 2011 IEEE Conference, pp , Jun [ 5 ] Debevec, Paul E., Camillo J. Taylor, and Jitendra Malik, "Modeling and rendering architecture from photographs: A hybrid geometry-and image-based approach," Proc. of the 23rd annual conference on Computer graphics and interactive techniques, pp , [6] Bonneel, Nicolas, et al., "Intrinsic decompositions for image editing," Computer Graphics Forum, Vol. 36. No. 2. May [ 7 ] Tappen, Marshall F., William T. Freeman, and Edward H. Adelson, "Recovering intrinsic images from a single image," Proc. of the Advances in neural information Processing systems, pp , [8] Shen, Li, Ping Tan, and Stephen Lin, "Intrinsic image decomposition with non-local texture cues," Proc. of the IEEE Conference, pp. 1-7, [ 9 ] Shen, Jianbing, et al., "Intrinsic image decomposition using optimization and user scribbles," IEEE transactions on cybernetics, Vol. 43, No. 2, pp , [10] Duchêne, Sylvain, et al., "Multi-view intrinsic images of outdoors scenes with an application to relighting," ACM Transactions on Graphics, Vol. 34, No. 5, pp. 164:1-16, Oct [11] Laffont, Pierre-Yves, Adrien Bousseau, and George Drettakis, "Rich intrinsic image decomposition of outdoor scenes from multiple views," IEEE transactions on visualization and computer graphics, Vol. 19, No. 2, pp , Feb [12] Weiss, Yair, "Deriving intrinsic images from image sequences," Proc. of the Eighth IEEE International Conference, pp , [13] Matsushita, Yasuyuki, et al., "Estimating intrinsic images from image sequences with biased illumination," Proc. of the European Conference on Computer Vision, pp , [14] Hudon, Matis, et al., "Shape and Reflectance from RGB-D Images using Time Sequential Illumination," Proc. of the VISIGRAPP (3: VISAPP), pp , [15] Hachama, Mohammed, Bernard Ghanem, and Peter Wonka, "Intrinsic scene decomposition from rgb-d images," Proc. of the IEEE International Conference on Computer Vision, pp , [16] Chen, Qifeng, and Vladlen Koltun, "A simple model for intrinsic image decomposition with depth cues," Proc. of the 2013 IEEE International Conference, pp , [17] Meka, Abhimitra, et al., "Live intrinsic video," ACM

복원된실내환경의 3D 기하기반실시간재질추정기법 887 Transactions on Graphics (TOG), Vol. 35, No. 4, pp. 109:1-14, Jul. 2016. [18] Wu, Chenglei, et al.

7 복원된실내환경의 3D 기하기반실시간재질추정기법 887 Transactions on Graphics (TOG), Vol. 35, No. 4, pp. 109:1-14, Jul [18] Wu, Chenglei, et al., "Real-time shading-based refinement for consumer depth cameras," ACM Transactions on Graphics (TOG), Vol. 33, No. 6, pp. 200:1-10, Nov [19] Guo, Kaiwen, et al., "Real-time geometry, albedo, and motion reconstruction using a single rgb-d camera," ACM Transactions on Graphics (TOG), Vol. 36, No. 3, pp. 32:1-13, Jun [20] Phong, Bui Tuong, "Illumination for computer generated pictures," Communications of the ACM, Vol. 18, No. 6, pp , Jun [21] Kaplanyan, Anton, and Carsten Dachsbacher, "Cascaded light propagation volumes for real-time indirect illumination," Proc. of the 2010 ACM SIGGRAPH symposium on Interactive 3D Graphics and Games, pp , [22] Choe, Gyeongmin, et al., "Refining geometry from depth sensors using IR shading images," International Journal of Computer Vision, Vol. 122, No. 1, pp. 1-16, Mar [23] Horn, Berthold KP, and Michael J. Brooks, "The variational approach to shape from shading," Computer Vision, Graphics, and Image Processing, Vol. 133, No. 2, pp , Feb [24] Land, Edwin H., and John J. McCann, "Lightness and retinex theory," Journal of the Optical Society of America, Vol. 61, No. 1, pp. 1-11, [25] Horn, Berthold KP, "Determining lightness from an image," Computer graphics and image processing, Vol. 3, No. 4, pp , Dec [26] Shen, Hui-Liang, et al., "Chromaticity-based separation of reflection components in a single image," Pattern Recognition, Vol. 41, No. 8, pp , Aug [27] Garces, Elena, et al., "Intrinsic images by clustering." Computer graphics forum, Vol. 31, No. 4, pp , Jun [28] Tomasi, Carlo, and Roberto Manduchi, "Bilateral filtering for gray and color images," Proc. of the Sixth International Conference, pp , [29] Debevec, Paul, "A median cut algorithm for light probe sampling," Proc. of the ACM Siggraph 2005 Posters, pp. 66, [30] Dachsbacher, Carsten, and Marc Stamminger, "Reflective shadow maps," Proc. of the 2005 symposium on Interactive 3D graphics and games, pp , Apr [31] W. Jakob. (2010). Mitsuba renderer [Online]. Available: (downloaded 2018, Jan. 17) 최윤지 2017년숭실대학교글로벌미디어학부졸업 ( 학사 ). 2017년~현재성균관대학교전자전기컴퓨터공학과석사과정. 관심분야는 Real-time rendering, augmented reality, virtual reality 이성길정보과학회논문지제 45 권제 7 호참조

High Resolution Disparity Map Generation Using TOF Depth Camera In this paper, we propose a high-resolution disparity map generation method using a lo

High Resolution Disparity Map Generation Using TOF Depth Camera In this paper, we propose a high-resolution disparity map generation method using a low-resolution Time-Of- Flight (TOF) depth camera and