Ⅰ. 개요 최근광학기술및컴퓨팅성능의향상으로광학장치를이용해인체를 3D로복원하려는시도가증가하 고있다. 광학장치를이용한인체의 3D 외형복원은레이저나구조광을이용하는능동센서방식과카메라로부터획득한영상을기반으로하는수동센서방식으로분류할수있다. 능동방식은정확도가높아전부터많이활용돼왔으나

Size: px

Start display at page:

Download "Ⅰ. 개요 최근광학기술및컴퓨팅성능의향상으로광학장치를이용해인체를 3D로복원하려는시도가증가하 고있다. 광학장치를이용한인체의 3D 외형복원은레이저나구조광을이용하는능동센서방식과카메라로부터획득한영상을기반으로하는수동센서방식으로분류할수있다. 능동방식은정확도가높아전부터많이활용돼왔으나"

주희 서
5 years ago
Views:

1 3D 얼굴복원기술분석및연구동향 사용자중심차세대콘텐츠기술특집 윤승욱 (S.-U. Yoon) 황본우 (B.-W. Hwang) 김갑기 (K.-K Kim) 임성재 (S.-J. Lim) 최진성 (J.-S. Choi) 구본기 (B.-K. Koo) CG기반기술연구팀선임연구원 CG기반기술연구팀선임연구원 CG기반기술연구팀선임연구원 CG기반기술연구팀선임연구원 CG기반기술연구팀팀장영상콘텐츠연구부부장 Ⅰ. 개요 Ⅱ. 3D 얼굴복원기술분석및연구동향 Ⅲ. ETRI 3D 얼굴복원기술 Ⅳ. 맺음말 * 본연구는문화체육관광부 / 지식경제부및한국산업기술평가관리원의산업원천기술개발사업의일환으로수행하였음 (KI001798, 방통융합형 Full 3D 복원기술개발 ). 최근 3DTV, 입체모니터, 입체노트북등이출시되고, 3D 영화, 게임등 3D 관련산업이성장하면서관련콘텐츠의요구사항이증가하고있다. 특히, 3D 콘텐츠의주요요소중하나인인체는전통적으로고가의 3D 스캐너를이용해모델링하는방식을주로사용해왔다. 하지만근래에는광학기술및컴퓨팅성능의향상으로구조광과같은능동센서나카메라로부터획득한영상을기반으로 3D 인체외형을복원하는연구가각광을받고있다. 이런추세에발맞춰본고에서는인체중에서도사용자의민감도가높은얼굴의 3D 복원기술및연구동향을살펴보고, 다양한응용을목적으로 ETRI 에서개발중인 3D 얼굴복원기술을소개하고자한다 한국전자통신연구원

2 Ⅰ. 개요 최근광학기술및컴퓨팅성능의향상으로광학장치를이용해인체를 3D로복원하려는시도가증가하 고있다. 광학장치를이용한인체의 3D 외형복원은레이저나구조광을이용하는능동센서방식과카메라로부터획득한영상을기반으로하는수동센서방식으로분류할수있다. 능동방식은정확도가높아전부터많이활용돼왔으나가격이비싸고사용이어려운단점이있고, 수동방식은상대적으로저가지만영상의해상도가낮고, 처리에많은시간이소요되는문제점이있다 [1]. 하지만최근에는광학소자기술발달이가속화되면서능동센서의가격이낮아지고보급이확산되고있다. 또한, 컴퓨팅성능의증가와병렬처리기술의발달로카메라의가격대비해상도및영상처리속도가향상되면서인체의 3D 외형복원에관한연구가각광을받고있다. 인체의 3D 외형복원은크게얼굴복원과몸복원으로나눌수있는데, 일반적으로인간은얼굴외형의변화에민감한반면몸은의복착용으로가려지는부분이많아복원품질에덜민감하다. 따라서몸과관련해서는몸전체의정확한 3D 외형복원보다는신체치수측정과움직임추정및인식등에관한연구가활발한편이다. 본고에서는인체부위중얼굴을대상으로하는 3D 얼굴복원기술및관련연구동향을살펴보고, ETRI 에서개발중인 3D 얼굴복원기술을소개한다. (a) (b) ( 그림 1) 스캐너를통해획득한얼굴외형요즘에도산업계에서주로사용하고있는것이 3D 스캐너를이용한방식이다. 3D 스캐너는레이저를물체에투사하고삼각측량을통해물체의 3D 정보를획득하는광학장치로영화, 게임과같은엔터테인먼트, 의학, 제품디자인, 문화유산보존등넓은분야에서이용되고있다. 대상물체의크기에따라다양한형태의 3D 스캐너가존재하며, 기하정보와동시에컬러정보도획득이가능하므로주로물체의정교한 3D 데이터를얻기위한목적으로사용된다 [1]. 최근에는스캐너장비자체의무게와크기도감소해직접손에들고스캔이가능한장비도출시됐다. ( 그림 1) 은상용핸드헬드스캐너인 Artec MHT TM 장비를이용해스캔한 3D 얼굴데이터이다 [2]. 일반적으로 3D 스캔한데이터는 3D 좌표를갖는정점의집합, 즉, 포인트클라우드형태이며, 레이저만으로는컬러정보를획득할수없으므로스캐너에부착된카메라를사용해스캔과동시에컬러정보를획득한다. 이렇게획득된포인트클라우드데이터는스캐너전용소프트웨어를통해다각형메시모델로변환된다. 그후 ( 그림 1a) 와같이불필요한오류나 구멍이생긴부분을처리하는등편집과정을거치고, Ⅱ. 3D 얼굴복원기술분석및연구동향 1. 능동센서기반 3D 얼굴복원기술가. 3D 스캐너를이용한얼굴복원능동센서방식중전통적으로많이사용해왔고 여기에앞서획득한텍스처정보를추가하면최종결과가완성된다. 이러한 3D 스캐닝방식은한번의스캔으로는정제된데이터를획득하기어렵기때문에같은물체를여러번스캔하고결과를목적에적합하도록다듬는후처리과정이필수적이다. 따라서스캐너장비뿐만아 윤승욱외 / 3D 얼굴복원기술분석및연구동향 13

니라전용소프트웨어의가격이높고이를다룰수있는전문인력이필요하다. 또한, 정지된물체일경우에는스캔의정확도가높지만움직임이있는경우나, 검은머리나눈동자등검은색이존재하는곳은레이저가흡수되어스캔이어려운단점도존재한다 [1]. 나.

이방식은광선을물체에투사하고이들이물체에부딪힌후반사되어돌아오면이를카메라등을통해측정함으로써물체의 3D 정보를실시간으로획득하는접근법을사용하며, 이를 ToF(Time-of- Flight) 기반방식또는깊이카메라방식이라고부른다.

수년간깊이카메라의가격이수천만원이상의고 가였기때문에이를활용한연구가범용적으로수행되지는않았지만, ToF 방식은실시간으로물체의깊이정보를추출할수있어 3D 장면복원등에사용돼왔다.

하지만잡음에매우민감해후처리가필요하며, 최근출시된깊이카메라들은대부분해상도가 176 144 등으로매우낮은단점이있다 [1]. 깊이카메라는인체의 3D 외형복원보다는주로물체사이의깊이관계를추출하거나물체의실시간움직임을유추하는데많이이용돼왔다.

3 니라전용소프트웨어의가격이높고이를다룰수있는전문인력이필요하다. 또한, 정지된물체일경우에는스캔의정확도가높지만움직임이있는경우나, 검은머리나눈동자등검은색이존재하는곳은레이저가흡수되어스캔이어려운단점도존재한다 [1]. 나. 깊이카메라를이용한 3D 얼굴복원광학신호를물체에투사한다는측면에서는 3D 스캐너와유사하지만레이저가아닌적외선이나초음파등을이용하는방식에관한연구도지속적으로수행돼왔다. 이방식은광선을물체에투사하고이들이물체에부딪힌후반사되어돌아오면이를카메라등을통해측정함으로써물체의 3D 정보를실시간으로획득하는접근법을사용하며, 이를 ToF(Time-of- Flight) 기반방식또는깊이카메라방식이라고부른다. ( 그림 2) 는적외선의시간에따른위상차 (phase shift) 를이용하는깊이카메라의구동방식및제품의예를나타낸다 [3]. 수년간깊이카메라의가격이수천만원이상의고 가였기때문에이를활용한연구가범용적으로수행되지는않았지만, ToF 방식은실시간으로물체의깊이정보를추출할수있어 3D 장면복원등에사용돼왔다. ToF 방식은환경제약이상대적으로적고, 동기신호를받을수있어송출신호간간섭이없는범위내에서는몇대의카메라를동시에설치해장면을획득할수있다. 하지만잡음에매우민감해후처리가필요하며, 최근출시된깊이카메라들은대부분해상도가 등으로매우낮은단점이있다 [1]. 깊이카메라는인체의 3D 외형복원보다는주로물체사이의깊이관계를추출하거나물체의실시간움직임을유추하는데많이이용돼왔다. 특히, 근거리물체촬영시에는깊이값의왜곡, 잡음에민감한센서문제가있어왜곡보정및후처리가필요하다. 최근에는 ( 그림 3) 에서보는바와같이이런단점들을어느정도해소하면서깊이카메라를이용해인체의얼굴외형을 3D로복원하는연구가발표됐다 [4],[5]. 그밖에도깊이카메라는실시간깊이정보획득이가능함과동시에동기신호를받을수있으므로, 이를범용산업용카메라와결합해하이브리드시스템을구성할수있다. 하이브리드시스템을이용해깊이카 (a) Color (b) Kaw (c) Proposed (d) Laser (e) Error (f) Color Image Scan Method Scan Plot Coding Legend ( 그림 2) 깊이카메라의작동원리및제품 ( 그림 3) 깊이카메라를이용한 3D 얼굴복원결과 14 전자통신동향분석제 27 권제 3 호 2012 년 6 월

메라에서획득한깊이값을스테레오정합의초기값으로사용함으로써스테레오정합의성능과속도를향상시키려는연구도진행되고있다 [6],[7]. 다. 구조광방식을이용한얼굴복원능동센서기반접근중최근가장주목을받고있는방법은구조광 (structured light) 을이용하는방식이다.

또한, 프로젝터와카메라들사이의카메라보정이필수적이다 [1]. 이러한단점을보완하기위해 ( 그림 4) 와같이패턴이투사된여러프레임정보를사용하는연구도발표되었다. 시간축으로누적된프레임을모두고려해계산하므로많은처리시간이소요되지만정지된물체뿐아니라움직이는얼굴도복원이가능하다 [8].

4 메라에서획득한깊이값을스테레오정합의초기값으로사용함으로써스테레오정합의성능과속도를향상시키려는연구도진행되고있다 [6],[7]. 다. 구조광방식을이용한얼굴복원능동센서기반접근중최근가장주목을받고있는방법은구조광 (structured light) 을이용하는방식이다. 이방식은미리고안된 2D 패턴을정지된물체에투사하고이를카메라로촬영해패턴의변형과왜곡을분석해물체의 3D 정보를추출한다. 이때사용되는패턴은이진, 컬러, 줄무늬등색상과모양이다양하며, 구조광을이용하면 3D 스캐너에버금가는정확한모델획득및비교적저가의시스템구성이가능하다. 하지만움직이는물체는복원이어렵고, 패턴영상의크기와해상도가복원정밀도에영향을미치므로고성능프로젝터가필요하다. 또한, 프로젝터와카메라들사이의카메라보정이필수적이다 [1]. 이러한단점을보완하기위해 ( 그림 4) 와같이패턴이투사된여러프레임정보를사용하는연구도발표되었다. 시간축으로누적된프레임을모두고려해계산하므로많은처리시간이소요되지만정지된물체뿐아니라움직이는얼굴도복원이가능하다 [8]. 구조광방식중정밀도측면에서가장성능이우수한방식은편광패턴 (polarized light patterns) 을이용하는접근이다. 대표적인연구로는 2008년발표된디지털에밀리프로젝트 ( The Digital Emily Project ) 가있다 [9]. 모델의기본적인외형은줄무늬모양의구조광을사용해복원하고, 얼굴표면의미세한외형복원을위해 LED(Light-Emitting Diode), 편광조명하에서획득한영상으로부터정반사및난반사성분을분리해낸다. 정반사성분으로부터각화소위치에서빛의법선벡터방향을계산하면얼굴의주름까지도복원이가능하다 [9]. 이단계까지의결과는얼굴의 3D 형상만을복원한결과이며여기에정교한텍스처를얻기위한후처리를거치고최종렌더링을하게되면 ( 그림 5) 와같은디지털액터가탄생하게된다. 실사인물과의차이를구별하기힘들정도로정밀한결과이다. 이방식은입력데이터획득을위한복잡하고정교한구조물과이의운용을위한전문인력이필요하며, 각단계별로최종결과물의품질을높이기위한많은시간과노하우가필요하다. 따라서복원결과의정확도와품질이가장중요하게취급되는영화나고해상도비디오게임등의응용분야에서주로사용되고있다. 결과를통해확인할수있듯이이연구는능동 ( 그림 4) 구조광기반 3D 얼굴복원결과 ( 그림 5) 디지털에밀리 : 최종렌더링결과 윤승욱외 / 3D 얼굴복원기술분석및연구동향 15

센서방식을이용한 3D 얼굴복원분야에서한획을그었다고볼수있으며, 발표이래많은연구의비교기준으로서의역할도수행하고있다 [1]. 한편, 3D 복원의정확도를최대로높이려는연구방향과는달리최근에는 Microsoft사의 Kinect가출시되면서실시간으로물체의깊이정보를추출할수있게되었다.

5 센서방식을이용한 3D 얼굴복원분야에서한획을그었다고볼수있으며, 발표이래많은연구의비교기준으로서의역할도수행하고있다 [1]. 한편, 3D 복원의정확도를최대로높이려는연구방향과는달리최근에는 Microsoft사의 Kinect가출시되면서실시간으로물체의깊이정보를추출할수있게되었다. Kinect 역시구조광방식의일종으로랜덤패턴을물체에투사하고이를읽어들여미리정해진규칙에따라분석함으로써실재물체의 3D 정보를유추한다. 초당 30 프레임의속도로 해상도의깊이영상과컬러영상을출력하는 Kinect 의등장으로저가의깊이센서시대가열렸다고해도과언이아니다 [1]. Kinect는 Microsoft 사의게임기인 Xbox 360의부가장치로출시되었지만, 가격대비성능이우수해 2010년제품출시이후최근까지각종판매기록을갱신하며컴퓨터비전분야를비롯한다양한영역의연구를가속화시키고있다. Kinect는패턴을투사하는프로젝터와, 투사된패턴영상을획득하는카메라, 그리고컬러정보를획득할수있는 RGB 카메라로구성된다 [10]. 하지만인체동작의인식을기본목적으로하므로 Kinect 만으로 3D 복원을수행하기위해서는이들사이에카메라보정을별도로수행해야한다. 또한, 측정거리의제약이있어약 1미터이상 3.5미터이내일때만깊이정보추출이가능하므로, 근거리에서사람의얼굴에대한 3D 정보를획득하는데는어려움이있다 [1]. 최근에는앞서언급한이동식 3D 스캐너와유사하게 Kinect 를손에들고움직이면서정지된물체를여러번스캐닝하면실시간으로물체의외형을 3D로복원하는연구가발표됐다 [11]. KinectFusion이라불리는이방식은부정확한깊이값을보상하기위해물체를반복적으로스캐닝한다. 물체의깊이정보를초당 30 프레임의속도로얻을수있으므로물체에작은 (a) (b) (c) ( 그림 6) Kinect를통해실시간으로복원한인체상반신움직임이있어도프레임정보를누적해이를일부보상할수있다. 또한, 복원결과를사용자의움직임에따라바로확인할수있으므로복원이불완전하거나스캔이부족한부분에서는스캔횟수를늘림으로써최종복원결과의품질을향상시킬수있다 [1]. 이러한과정을거쳐인체의상반신을 3D로복원한결과를 ( 그림 6) 에나타내었다. (a) 는키넥트의입력데이터이며, (b) 는복원과정을통해계산한노멀맵, (c) 는복원된모델의쉐이딩결과이다 [11]. 기존의 Kinect는센서의제약으로측정거리에한계가존재하지만, 2012년출시된 Kinect for Windows 는하드웨어성능이향상되어근접모드기능이추가되었고, RGB 카메라의해상도도높아져관련분야의연구가더욱가속화될것으로전망된다. 2. 수동센서기반 3D 얼굴복원기술수동방식은광학신호를능동적으로발신하는것이아니라반대로수신한다는측면에서붙여진이름이며, 주로카메라로촬영한여러장의영상을분석해얼굴의 3D 정보를추출한다. 즉, 카메라를이동하거나여러대의카메라를사용해얼굴을촬영하고각영상사이의대응관계를계산해 3D 정보를유추한다. 카메라의움직임과위치뿐만아니라, 화소간대응관계를추적해야하므로영상의해상도와특성에따라결과가달라지며, 계산시간도많이소요된다. 전통적으로는주로인체보다는일반물체나건물 16 전자통신동향분석제 27 권제 3 호 2012 년 6 월

등을대상으로한 structure from motion 이나스테레오정합, 다시점스테레오정합, 복셀조각 (voxel carving) 방식등이사용되어왔다. 이중 3D 얼굴복원과관련해서는스테레오정합방식이최근다시각광을받고있다. 그동안은스테레오정합계산에많은부하가소요되고, 영상의해상도가낮아좌우영상간차이를구별하기어려운점등문제점이많았다.

6 등을대상으로한 structure from motion 이나스테레오정합, 다시점스테레오정합, 복셀조각 (voxel carving) 방식등이사용되어왔다. 이중 3D 얼굴복원과관련해서는스테레오정합방식이최근다시각광을받고있다. 그동안은스테레오정합계산에많은부하가소요되고, 영상의해상도가낮아좌우영상간차이를구별하기어려운점등문제점이많았다. 하지만최근카메라성능향상으로고해상도영상획득이가능해지고, 병렬처리및 GPU(Graphics Processing Unit) 기술의발달로계산성능또한향상돼스테레오기반으로인체의얼굴을 3D로복원하는연구결과가발표되고있다. 대표적인연구로여러대의 DSLR(Digital Single- Lens Reflex) 카메라를사용해사용자의얼굴을촬영하고인접한두장의영상단위로스테레오정합을수행한후, 이를 3D 포인트클라우드형태로변환해시점별정합결과를하나로합성 (merging) 함으로써얼굴을복원하는방식이있다 [12]. 이방식은 DSLR 카메라를사용해약 2K급이상해상도의입력영상을획득하고, 촬영환경을일반적인실내로설정해조명조건을제어했으며, 얼굴에적합한카메라보정용기구를고안해카메라의정확한위치와방향을계산했다 [1]. 구체적으로살펴보면우선여러대의카메라들로부 터획득한두장의영상마다스테레오정합을수행한다. 이때, 한번만정합을수행하는것이아니라영상해상도를미리정한몇개의단계로나누고가장작은해상도에서큰해상도로정합을수행하면서정합조건 (constraint) 을확인하고정제 (refinement) 하는과정을반복한다. 특히, 사람의얼굴은깊이값의변화가부드럽게변하는영역이많기때문에피라미드식다단계정합을통해낮은해상도에서의계산결과를높은해상도계산시초기값으로이용함으로써정합오류를최소화할수있다. 전체적인 3D 얼굴복원과정을 ( 그림 7) 에나타냈다 [12]. 이렇게시점별로얼굴에대한깊이맵을계산한후에는카메라보정인자를사용해이를 3D 포인트클라우드로변환한다. 시점별로복원된포인트클라우드를정합한후, 합성을통해하나의메시모델을생성한다. 생성된메시모델의각정점위치를텍스처정보를기반으로법선방향으로조정한다. 이와같은표면정제과정을반복수행하게되면편광패턴을이용한방식과유사하게얼굴의주름이나땀구멍수준까지표현이가능하다. 이때, 복원된미세한주름의기하정보는텍스처를기반으로의사적으로 (pseudo) 유추한결과이므로물리적으로정확하다고보기는어렵지만, ( 그림 8) 의결과에서확인할수있듯이복원된 3D 얼굴의주관적인품질은상당히우수하다. ( 그림 7) 다단계스테레오정합기반 3D 얼굴복원과정 윤승욱외 / 3D 얼굴복원기술분석및연구동향 17

( 그림 9) 얼굴표정의 3D 복원결과 ( 그림 8) 다단계스테레오정합기반 3D 얼굴복원결과 2011년발표된이연구는수동방식을이용해 3D 얼굴외형을밀리미터수준까지정밀하게복원한대표적인예로, 스테레오기반방식으로도능동방식과유사한복원결과를얻을수있다는것을보여준다. 하지만고해상도영상을사용하고 3D 표면정제등복잡한단계를거쳐야하므로처리시간은수십분정도소요된다.

기존방식의단점중하나는얼굴표정이움직이는경우마커를사용해이를추적하는방식을사용하지않으면복원이매우어렵다는점인데, 제안방식은마커없이프레임단위로얼굴외형을복원함으로써움직이는표정을 3D로복원한다.

( 그림 9) 는두방식을사용해얼굴표정을 3D로복원한결과이다. 한편, 사용자얼굴외형의사실적복원보다는표정의움직임에초점을맞춰아바타가피촬영자의퍼포먼스를따라하는얼굴애니메이션연구도진행중이다 [15]. 이를위해 3D 공간에서얼굴의특징점들을추적하고아바타의표정을자연스럽게생성하는기술이사용된다.

7 ( 그림 9) 얼굴표정의 3D 복원결과 ( 그림 8) 다단계스테레오정합기반 3D 얼굴복원결과 2011년발표된이연구는수동방식을이용해 3D 얼굴외형을밀리미터수준까지정밀하게복원한대표적인예로, 스테레오기반방식으로도능동방식과유사한복원결과를얻을수있다는것을보여준다. 하지만고해상도영상을사용하고 3D 표면정제등복잡한단계를거쳐야하므로처리시간은수십분정도소요된다. 또한, 여러대의하이엔드 DSLR 카메라의사용으로전체적인시스템구성에필요한가격도수천만원수준으로아직은고가이다 [1]. 3. 3D 얼굴표정및퍼포먼스복원앞서언급한연구를확장해최근에는정지된얼굴뿐만아니라움직이는얼굴표정이나퍼포먼스 (performance) 를 3D로복원하려는연구가수행되고있다 [13],[14]. 기존방식의단점중하나는얼굴표정이움직이는경우마커를사용해이를추적하는방식을사용하지않으면복원이매우어렵다는점인데, 제안방식은마커없이프레임단위로얼굴외형을복원함으로써움직이는표정을 3D로복원한다. 참조 (reference) 프레임을선택하고복원된참조프레임 3D 메시의각정점을시간에따라추적하면서표정의움직임을복원하거나, 표정이급격하게변하는위치에서기준 (anchor) 프레임들을선택해 3D로 복원하고, 중간프레임은보간으로생성하는방식이사용된다. 3D 정점뿐아니라텍스처도프레임기반추적을통해생성한다. ( 그림 9) 는두방식을사용해얼굴표정을 3D로복원한결과이다. 한편, 사용자얼굴외형의사실적복원보다는표정의움직임에초점을맞춰아바타가피촬영자의퍼포먼스를따라하는얼굴애니메이션연구도진행중이다 [15]. 이를위해 3D 공간에서얼굴의특징점들을추적하고아바타의표정을자연스럽게생성하는기술이사용된다. 입력데이터로부터 3D 얼굴을복원한후템플릿모델로복원한모델의표정을추적하고, 이를통해아바타의얼굴애니메이션을생성한다. ( 그림 10) 의 (a) 와 (b) 는 Kinect를통해획득한입력, (c) 는템플릿모델의복원모델표정을추적결과, (d) 는이를통해생성된아바타의표정이다 [15]. 이렇게 3D 얼굴복원연구가새롭게각광을받게되면서, 스테레오기반으로인체얼굴및상반신의 3D 외형, 움직임을복원하는상용제품도출시되었다. 영국의 Dimensional Imaging사는여러대의다시점 DSLR 카메라와산업용카메라기반으로스테레오정합, 시점별복원결과정합, 합성과정을거쳐 (a) (b) (c) (d) ( 그림 10) 얼굴표정복원및애니메이션 18 전자통신동향분석제 27 권제 3 호 2012 년 6 월

3D 얼굴을복원하는제품과복원모델을다른모델로전이하고편집할수있는제품을판매중이다 [16]. Ⅲ. ETRI 3D 얼굴복원기술 앞서설명한바와같이스테레오기반 3D 얼굴복원기술이새롭게관심을받고있지만, 대부분여러대의 DSLR 또는산업용카메라기반고가의시스템을사용한다. 또한, 배경과조명조건의제약으로적어도 2m 2 이상의설치공간이필요해이동이쉽지않은단점이있다.

또한, 시스템의설치제약이적고이동이용이하며, 작업의간편성을확보할수있는저가형 3D 얼굴복원시스템에대한요구사항도존재한다. 예로미용분야에서는아직까지사진을중심으로피부분석등을수행하고고객에게정보를제공했으나, 요즘에는이를 3D로확장하려는움직임이증가하고있다. 성형등의료분야에서도성형전후환자의모습을짧은시간에 3D로복원해상담에이용하려는시도가늘고있다.

8 3D 얼굴을복원하는제품과복원모델을다른모델로전이하고편집할수있는제품을판매중이다 [16]. Ⅲ. ETRI 3D 얼굴복원기술 앞서설명한바와같이스테레오기반 3D 얼굴복원기술이새롭게관심을받고있지만, 대부분여러대의 DSLR 또는산업용카메라기반고가의시스템을사용한다. 또한, 배경과조명조건의제약으로적어도 2m 2 이상의설치공간이필요해이동이쉽지않은단점이있다. 이는관련연구가주로높은해상도와정밀도를갖는 3D 복원결과획득, 즉, 영화나게임산업에서사용중인 3D 스캐너나구조광기반시스템을대체하기위해진행되어온이유도있다. 최근에는이런연구방향과는달리모바일폰이나디지털컴팩트카메라등을통해영상을획득하고이로부터간편하게 3D 얼굴을복원하려는시도도많다. 하지만흥미위주의시도를넘어다양한산업분야에서의쓰임새를고려하면응용에맞는품질조절이필요하다. 또한, 시스템의설치제약이적고이동이용이하며, 작업의간편성을확보할수있는저가형 3D 얼굴복원시스템에대한요구사항도존재한다. 예로미용분야에서는아직까지사진을중심으로피부분석등을수행하고고객에게정보를제공했으나, 요즘에는이를 3D로확장하려는움직임이증가하고있다. 성형등의료분야에서도성형전후환자의모습을짧은시간에 3D로복원해상담에이용하려는시도가늘고있다. 이러한다양한응용을목적으로 ETRI에서는웹캠, 산업용 /CMOS(Complementary Metal-Oxide Semiconductor) 카메라등입력장치를다변화하고응용에따라 3D 얼굴복원모델의해상도를조절할수있는기술을연구중이다 [1]. ETRI 에서연구중인 3D 얼굴복원기술은스테레 ( 그림 11) 스테레오기반얼굴복원과정오영상을입력으로사용한다. 시점의개수, 즉, 스테레오카메라의개수는응용에따라달라질수있으며, 두시점이상일경우전체적인 3D 얼굴복원과정을 ( 그림 11) 에나타냈다. 우선각시점별로스테레오정합을통해변위맵을계산하고, 이를카메라보정인자를사용해격자형 3D 메시로변환한다. 모든변환된메시를공통좌표계에위치시킨후이들을합성해하나의 3D 모델을생성한다. 여기에입력영상과카메라의위치및방향정보등을이용해텍스처맵을추가함으로써 3D 얼굴복원결과를얻게된다. 단계별로살펴보면우선입력영상은웹캠, 산업용카메라혹은 CMOS 카메라등다양한카메라로촬영할수있으며, 제안시스템에서는최종텍스처품질을고려해약 2K급정도해상도를갖는영상을사용한다. 해상도가너무작으면모델의세부를복원하기가어렵고, 해상도가너무크면계산시간이증가한다. 입력영상에서얼굴영역만을분리하기위해크로마키배경이사용될수있다. 제안시스템에사용된스테레오정합기술은조명변화에강인해실내자연조명환경에서도구동이가능하며, 필요에따라적절한지속광또는스트로브조명이용도가능하다. ( 그림 12a) 는제안시스템을이용해자연조명환경에서얼굴데이터를획득하는예를나타낸다. 카메라의속 윤승욱외 / 3D 얼굴복원기술분석및연구동향 19

(a) (b) ( 그림 12) 자연조명환경에서얼굴데이터획득예 (a) 및카메라보정구조물 (b) 성및위치와방향정보를계산하는카메라보정작업은일반적인격자패턴또는동심원패턴등을사 용해수행할수있다. 이경우는보정영상촬영과처리에많은시간이소요되는단점이있어, ETRI 에서는 ( 그림 12b) 와같이자체적으로 26면체형태의동심원패턴을개발하였다.

시점별복원은카메라의보정인자와계산한변위맵을입력으로삼각법을이용하여영상위의화소를 3D 카메라좌표계위의한점으로변환해격자형 3D 메시를구하는과정이다 [1]. 정합및합성단계에서는우선생성된격자형메시 ( 그림 13) ETRI 3D 얼굴외형복원결과면서도단순한체적합성방법을사용한다.

9 (a) (b) ( 그림 12) 자연조명환경에서얼굴데이터획득예 (a) 및카메라보정구조물 (b) 성및위치와방향정보를계산하는카메라보정작업은일반적인격자패턴또는동심원패턴등을사 용해수행할수있다. 이경우는보정영상촬영과처리에많은시간이소요되는단점이있어, ETRI 에서는 ( 그림 12b) 와같이자체적으로 26면체형태의동심원패턴을개발하였다. 카메라별로세장의영상만획득하면수작업없이일분내외의짧은시간에카메라보정인자를얻을수있다. 변위맵생성은스테레오정합을통해좌우영상의화소별대응관계를계산하는과정이다. 영상해상도에따라단계별로정합을수행하면저해상도에서의정합결과를고해상도정합의초기값으로사용함으로써검색범위를줄이고, 정확도를높일수있으며계산시간도단축할수있다 [12]. 시점별복원은카메라의보정인자와계산한변위맵을입력으로삼각법을이용하여영상위의화소를 3D 카메라좌표계위의한점으로변환해격자형 3D 메시를구하는과정이다 [1]. 정합및합성단계에서는우선생성된격자형메시 ( 그림 13) ETRI 3D 얼굴외형복원결과면서도단순한체적합성방법을사용한다. 통합된 3D 메시를생성할공간을복셀로구성하고, 각복셀내에존재하는객체의등가면 (iso-surface) 을찾는다. 얻어진등가면에 Marching Cubes 알고리즘을적용해체적모델을 3D 메시로변환한다 [1],[17]. 3D 외형데이터출력은합성된메시에텍스처를맵핑하여일반적으로사용되는그래픽데이터파일로출력하는과정이다. 각정점을모든카메라시점으로투사해가장적절한시점을선택하고선택된시점에서텍스처를가져오는방식을사용한다. 최종생성된데이터는 3D 그래픽스파일형식으로저장된다. ( 그림 13) 의상단과좌하단의얼굴메시모델은제안시스템을통해생성된다양한품질별복원결과이며, 우하단은좌하단고품질메시모델에텍스처를추가한최종 3D 얼굴복원결과이다. 를카메라외부인자를이용하여공동좌표계위에 대략적으로위치시키고겹치는영역이최대가되도록위치와방향을조절한다. 그후정합을통해한좌표계로이동된격자형메시들을합성해하나의 3D 메시모델을생성한다. 제안시스템에서는오류에강인하 IV. 맺음말 본고에서는전통적으로많은연구가수행되어온능동센서방식과최근다시금각광을받고있는스테 20 전자통신동향분석제 27 권제 3 호 2012 년 6 월

10 레오기반 3D 얼굴복원기술및연구동향에대해소개하였다. 또한, 다양한응용을위해 ETRI 에서연구중인 3D 얼굴복원시스템에대해기술하였다. 현추세대로광학소자및카메라의성능이지속적으로향상되고, 대용량데이터의처리속도가계속증가하면, 향후에는훨씬저가의예산으로시스템구축이가능해져관련응용분야가더욱확대될것으로전망된다. 용어해설 스테레오정합좌우영상의각화소간대응관계를계산하는기법변위맵스테레오정합을통해계산한화소별변위값을이차원영상포맷으로저장한결과정합두시점이상의포인트클라우드또는메시데이터를공통좌표계로이동시켜겹치는영역이최대가되도록위치또는방향을조절하는기법퍼포먼스캡처얼굴표정의변화를센서나비전기술을이용하여감지해낸뒤디지털로옮기는기술템플릿모델사용용도에맞게정규화된기하모델과텍스처맵으로구성된 3D 메시모델전이 3D 메시모델의기하모델및텍스처맵을목표로하는 3D 모델에정합및피팅시키는기법 약어정리 CMOS DSLR GPU LED ToF 참고문헌 Complementary Metal-Oxide Semiconductor Digital Single-Lens Reflex Graphics Processing Unit Light-Emitting Diode Time-of-Flight [1] 윤승욱, 황본우, 다시점영상을이용한 3D 복원기술, 방송과기술, , pp [2] [3] A. Kolb, E. Barth, and R. Koch, ToF-Sensors: New Dimensions for Realism and Interactivity, Comput. Vision Pattern Recognit., Workshops, June 2008, pp [4] Y. Cui et al., 3D Shape Scanning with a Time-of- Flight Camera, Comput. Vision Pattern Recognit., June 2010, pp [5] M. Breidt, H.H. Bulhoff, and C. Curio, Face Models from Noisy 3D Cameras, ACM SIGGRAPH ASIA Sketches, [6] E.-K. Lee and Y.-S. Ho, Generation of High-Quality Depth Maps Using Hybrid Camera System for 3-D Video, J. Visual Commun. Image Representation, vol. 22, no. 1, 2011, pp [7] J. Zhu et al., Reliability Fusion of Time-of-Flight Depth and Stereo Geometry for High Quality Depth Maps, IEEE Trans. Pattern Anal. Mach. Intell., vol. 33, no. 7, July 2011, pp [8] L. Zhang, B. Curless, and S.M. Seitz, Spacetime Stereo: Shape Recovery for Dynamic Scenes, Comput. Vision Pattern Recognit, June 2003, pp [9] O. Alexander et al., Creating a Photoreal Digital Actor: the Digital Emily Project, Eur. Conf. Visual Media Production, [10] [11] R.A. Newcombe et al., KinectFusion: Real-Time Dense Surface Mapping and Tracking, Int. Symp. Mixed and Augmented Reality, Oct [12] T. Beeler et al., High-Quality Single-Shot Capture of Facial Geometry, ACM Trans. Graphics, vol. 29, no. 4, July 2010, pp. 40:1-40:9. [13] D. Bradley et al., High Resolution Passive Facial Performance Capture, ACM Trans. Graphics, vol. 29, no. 4, July 2010, pp. 41:1-41:10. [14] T. Beeler et al., High-Quality Passive Facial Performance Capture using Anchor Frames, ACM Trans. Graphics, vol. 30, no. 4, July 2011, pp. 75:1-75:10 [15] T. Weise et al., Realtime Performance-Based Facial Animation, ACM Trans. Graphics, vol. 30, no. 4, July 2011, pp. 77:1-77:10. [16] [17] W.E. Lorensen and H.E. Cline, Marching Cubes: A High Resolution 3D Surface Construction Algorithm, ACM SIGGRAPH Comput. Graphics, vol. 21, no. 4, 윤승욱외 / 3D 얼굴복원기술분석및연구동향 21

À±½Â¿í Ãâ·Â

À±½Â¿í Ãâ·Â Representation, Encoding and Intermediate View Interpolation Methods for Multi-view Video Using Layered Depth Images The multi-view video is a collection of multiple videos, capturing the same scene at