논문번호 12-37A-04-07 고해상도스테레오카메라와저해상도깊이카메라를이용한다시점영상생성 정회원이천 *, 송혁 **, 최병호 **, 종신회원호요성 * Multi-view Generation using High esolution Stereoscopic Cameras and a ow esolution Time-of-Flight Camera Cheon ee *, Hyok Song **, Byeongho Choi ** egular Members, Yo-Sung Ho * ifelong Member 요 약 최근자연스러운 3차원영상의재현을위하여깊이영상을이용한영상합성방법이널리이용되고있다. 깊이영상은시청자의눈에보이지는않지만합성영상의화질을결정하는중요한정보이므로정확한깊이영상을획득하는것이중요하다. 특히적외선센서를이용한깊이카메라 (time-of-flight camera) 는보다정확한깊이영상을획득하는데이용되고있다. 깊이카메라는스테레오정합 (stereo matching) 에비해정확하고실시간으로깊이정보를추출할수있지만, 제공되는해상도가너무낮다는단점이있다. 본논문에서는단시점의깊이영상을두시점의깊이영상으로확장하고, 이를이용하여여러시점의중간영상을생성하는시스템을제안한다. 특히복잡도를낮춰빠른속도로다시점영상을생성하는시스템을제안한다. 고해상도의컬러영상을획득하기위하여두대의컬러카메라를설치하고중간에깊이카메라를획득한다. 그리고깊이카메라에서획득한깊이영상을 3차원워핑을이용하여양쪽의컬러카메라의위치로시점이동한다. 깊이영상과컬러영상간의객체불일치문제는깊이값의신뢰도를기반으로한조인트양방향필터 (joint bilateral filter) 를이용하여보정한다. 이러한과정을통해얻은깊이영상은다시점영상합성방법을이용하여다시점영상을획득한다. 이와같은과정은다중스레드를이용하여빠르게처리할수있도록구현했다. 실험을통해두시점의컬러영상과두시점의깊이영상이실시간으로획득했고, 약 7 fps의프레임율로 10시점의중간시점을동시에생성했다. Key Words : 병합형스테레오카메라, 3차원카메라, 3차원비디오시스템, 깊이영상생성, 3차원영상보정, 다시점영상생성 ABSTACT ecently, the virtual view generation method using depth data is employed to support the advanced stereoscopic and auto-stereoscopic displays. Although depth data is invisible to user at 3 video rendering, its accuracy is very important since it determines the quality of generated virtual view image. Many works are related to such depth enhancement exploiting a time-of-flight (TOF) camera. In this paper, we propose a fast 3 scene capturing system using one TOF camera at center and two high-resolution cameras at both sides. Since we need two depth data for both color cameras, we obtain two views' depth data from the center using the 3 warping technique. Holes in warped depth maps are filled by referring to the surrounded background depth * 광주과학기술원정보통신공학과 ({leecheon, hoyo}@gist.ac.kr) ( o : 교신저자 ) ** 전자부품연구원멀티미디어 IP ({hsong, bhchoi}@keti.re.kr) 논문번호 :KICS2012-02-055, 접수일자 :2012 년 2 월 9 일, 최종논문접수일자 :2012 년 4 월 23 일 239
values. In order to reduce mismatches of object boundaries between the depth and color images, we used the joint bilateral filter on the warped depth data. Finally, using two color images and depth maps, we generated 10 additional intermediate images. To realize fast capturing system, we implemented the proposed system using multi-threading technique. Experimental results show that the proposed capturing system captured two viewpoints' color and depth videos in real-time and generated 10 additional views at 7 fps. Ⅰ. 서론 3차원영상기술은최근들어차세대멀티미디어서비스를이끌핵심기술로주목을받고있다. 하지만 3차원영상에대한연구는 1838년에영국의과학자인찰스휫스톤 (Charles Wheatstone) 이입체시 (stereopsis) 에대해처음으로설명한것으로거슬러올라간다 [1]. 이후입체경 (stereoscope) 과스테레오그램 (stereogram) 등의발명으로꾸준히연구되고있다. 하지만입체영상을볼때느낄수있는어지러움이나구토증세와같은안전상의문제와, 카메라를두대이상으로이용하는문제때문에발생할수있는기술적 / 제정적인문제로인해대중에친숙하도록보급되진않았다. 하지만최근정보통신기술의비약적인발전으로인해이와같은문제가많이해소되고있고, 보다실감있는컨텐츠에대한수요가증가함에따라 3차원영상기술이다시주목받고있다. 특히두시점만을이용하여입체영상을제공하는기존의스테레오영상의한계에서벗어나, 다시점영상을이용하여보다안전하고생동감있는깊이영상이활발하게연구되고있다 [2]. 깊이영상을기반으로한다시점입체영상기술은다시점영상과다시점깊이영상을이용한영상형식 (multi-view video-plus-depth, MV) 을이용한다 [3]. 깊이영상은영상의각화소별 3차원거리를나타내는정보이므로, 각화소를원래의 3차원위치로재사영할수있다. 그리고이를이용하여임의의카메라시점으로재사영하면임의의시점으로영상합성이가능하다. 이러한방법을깊이기반영상렌더링 (depth-image-based rendering, IB) 이라한다 [4]. 이 IB 기술을이용하면다시점영상의시점수를줄일수있는장점이있다. 자연스런입체영상재현을위해서는많은시점의영상이필요로하지만시점수에따라데이터의양도비례하여증가하는단점이있다. 하지만, 깊이영상을이용한시점합성방법을이용하면일부시점과깊이영상만으로다시점의영상생성이가능하므로전송효율면에서큰이득을얻을수있다. 이러한문제를해결하기위하여 2005년부터국제동영상압축표준화그룹인 MPEG(Moving Picture Experts Group) 과 ITU-T가 Joint-Video-Team (JVT) 를구성하여다시점비디오부호화 (multi-view video coding, MVC) 기술을개발했다 [5]. 이기술은다시점컬러영상을시점간상관도를이용하여부호화하는기술이다. 이후 2007년부터는깊이영상의부호화까지수행하는 3차원비디오부호화 (3 video coding) 에대한연구가진행되고있다 [6]. 이와같이, 미래의 3차원비디오기술은깊이영상을중요한보조데이터로이용한다. 하지만, 정확한깊이영상을예측하거나획득하는것이쉽지않다. 두시점이상의컬러영상간의시차를이용하여깊이값을추정하는스테레오정합 (stereo matching) 은하드웨어가필요로하지않고어떠한조건에서촬영한영상이라도추정이가능하다는장점이있지만, 깊이값의정확도가항상보장되지않고복잡도가매우높다는단점이있다 [7]. 이에반해하드웨어를이용한깊이영상획득방법은비용과부피가크지만 [8-9], 비교적정확한깊이영상을빠른속도로획득할수있다는단점이있다. 최근널리이용되고있는 time-of-flight(tof) 방식의깊이카메라는실시간으로비교적정확한깊이영상을획득할수있는장점이있다. 하지만, 지원해상도가매우작아 (QCIF) 고화질의깊이영상을획득하는데어려움이있다. 이러한단점을보완하고고해상도의깊이영상을획득하기위한다양한연구들이진행되고있다. indner [10] 와 Huhle [11] 은한대의컬러카메라와한대의깊이카메라를이용하여 3차원모델을획득했다. 그리고 Kim [12] 와 Hahne [13] 는고해상도의스테레오카메라와한대의깊이카메라를이용하여불안정한깊이영상을개선했다. Zhu [14] 와 ee [15] 의방법은정확한깊이값측정을위하여깊이값을보정하는방법을제안했다. 본논문에서는이러한연구의일환으로두대의고해상도컬러카메라와한대의깊이카메라를이용하여빠르고효율적으로두컬러카메라시점의깊이영 240
논문 / 고해상도스테레오카메라와저해상도깊이카메라를이용한다시점영상생성 그림 1. 두대의컬러카메라와한대의깊이카메라를이용한다시점비디오획득방법 Fig. 1. Overall structure of multi-view generation using one TOF camera and two color cameras 상을획득하고, 다시점비디오까지생성하는방법을제안한다. 특히, 시점이동한깊이영상의깊이값오류를줄이기위하여컬러와깊이값을동시에고려한깊이영상오류수정방법을이용했다. 본논문의구성은다음과같다. 이어지는장에서는본연구를통해구축한카메라시스템을소개하고, 이어서제 3장에서는두시점의깊이영상을획득하기위한깊이영상처리방법을제안한다. 제 4장에서는제안한방법을빠른속도로처리하기위한구현방법과실험결과를보인다. 그리고제 5장에서는결론을맺는다. Ⅱ. 깊이카메라를이용한 3 카메라시스템 2.1 3차원영상획득을위한카메라시스템그림 1은제안하는 3차원영상획득시스템을보인것이다. 일반적인스테레오카메라의카메라간거리인간의양안의거리가약 60-70mm인것을고려하여평균적으로약 65mm의간격을유지한다. 하지만, 제안하는카메라시스템은중간에깊이카메라를설치해야하므로두컬러카메라의거리가약 10.5cm로고정되어있다. 제안하는카메라시스템을이용하여다시점영상을획득하는과정을총세단계로구분할수있다. 먼저두대의컬러카메라로고해상도의스테레오영상을획득하고, 깊이카메라로저해상도의 깊이영상을획득하는 영상획득단 과각영상을다시점영상합성에이용할수있도록컬러및깊이데이터를변형 / 처리하는 3차원영상보정단, 최종획득한컬러영상과깊이영상을이용하여다시점영상을생성하는 3차원영상재현단 으로나눈다. 2.2 카메라변수추정두대이상의카메라를사용하여다시점영상을생성하기위해서는카메라간의위치적상관관계를정확하게정의해야한다. 특히, 깊이정보를이용하여각시점별로화소간상관관계를정의할때는각카메라의정확한변수를이용한다. 다시점카메라의카메라변수를추정하는방법을카메라보정 (camera calibration) 이라고한다 [16]. 카메라변수는카메라내부구조를나타내는내부변수 (intrinsic parameter) 와카메라의방향과위치를나타내는외부변수 (extrinsic parameter) 로구성된다. 카메라내부변수는초점거리, 광축의위치등의변수로구성된 3x3 행렬이다. 카메라외부변수는카메라가가리키는방향을나타내는 3x3 방향행렬 (rotation matrix) 과카메라의 3차원위치를가리키는 3x1 천이벡터 (translation vector) 로이루어진다. 단시점카메라의카메라보정과는달리다시점카메라의카메라보정은카메라간위치관계가명확해야하므로보다세밀한추정과정이필요하다. 그림 2는다시점카메라의카메라변수추정을위한패턴영상을촬영한것이다. 241
(a) 왼쪽카메라 (b) ToF 카메라 (c) 오른쪽카메라 그림 2. 카메라변수추정을위한패턴영상획득 Fig. 2. Pattern images for camera calibration 이렇게추정한카메라변수는 3차원공간상의점과영상에찍힌화소의관계를설명한다. 예를들어, 3차원공간상의한점 Mw = [X, Y, Z] T 이한카메라로투영되어영상의한화소 m=[u v] T 로사영되었을경우, 이두점의상관관계를다음의식 (1) 로표현할수있다. m ~ = A Mw + A t (1) 기술을영상정렬 (image rectification) 이라고한다 [17]. 일반적으로영상정렬은스테레오스코픽영상에적용하여시점간기하학적오류를제거하지만, 본시스템에서이용하는카메라는세대이고, 영상의해상도가서로다르므로적응적인영상정렬을수행해야한다. 영상정렬을수행하면공통된방향벡터와거리가일정한천이벡터를얻을수있고, 통일된컬러카메라의내부변수를얻을수있다. 영상정렬된세카메라변수의관계를수식으로표현하면다음과같이나타낼수있다. A = A A = = t t t (3) 이러한기본개념을두컬러카메라와중앙의깊이카메라에적용하면, 3차원공간상의한점 Mw은각카메라의영상에다음과같이사영된다. m ~ m ~ m ~ = A = A = A M w M w M w + A + A + A t t t (2) (a) 수직축으로차이가있는원본스테레오영상 여기서,, 는왼쪽, 오른쪽컬러카메라와중앙의깊이카메라를표현한것이다. 2.3 다시점영상정렬카메라변수는장면의각점이카메라로투영되어영상으로기록될때각점과영상의각화소간의위치관계를설명한다. 이러한정보를이용하면다시점카메라로획득할때발생할수있는기하학적오류를줄일수있다. 특히, 3차원영상은인간이사물을통해입체감을인지하는조건과최대한비슷하게처리를한후양안으로주사해야하므로, 입체영상간의불필요한요소는미리제거해야한다. 그중가장큰기하학적오류는시점간높이차이와방향차이이다. 시점간방향차이가있는 3차원영상의경우는서로상응하는화소가서로다른높이에존재하기때문에입체영상을관람할때인식의혼동이유발되어어지러움을느낄수있다. 또한두대의카메라가가리키는방향이서로다를경우도사용자에게어지러움을유발할수있다. 이러한기하학적오류를줄이고, 마치 1차원평행형카메라로촬영한것처럼영상을보정하는 (b) 수직축오차를제거한스테레오영상 그림 3. 영상정렬결과 Fig. 3. esult of image rectification 방향행렬은세카메라가통일된다. 이로써세카메라가바라보는방향이같아진다. 그리고좌 / 우의컬러카메라들은내부변수가통일되고, 왼쪽의컬러카메라와중앙의깊이카메라의거리는중앙의깊이카메라와오른쪽의컬러카메라와거리가같아진다. 식에서 B는두컬러카메라간의거리를나타내는상수이다. 이때중요한것은두컬러카메라는동일한초점거리를갖지만, 깊이카메라는컬러카메라와다른초점거리를갖는다. 2.4 깊이카메라를이용한깊이영상변환 깊이카메라에서획득한깊이값은실수로획득되는데, 이를양자화하여회색톤의영상으로저장한다. 이때저장된깊이영상은다시점영상합성에이용되므로컬러카메라의위치관계를이용하여각깊이값을양자화해야한다. 먼저두시점간의시차로인해발 242
논문 / 고해상도스테레오카메라와저해상도깊이카메라를이용한다시점영상생성 생하는변이값 (disparity) 는다음과같이정의된다. F B d = (4) Z 여기서 Z는깊이카메라에서획득한실수단위의깊이값을나타내고, F는영상정렬된컬러카메라의초점거리 (focal length) 를나타내고, B는앞에서설명한컬러카메라의거리를나타낸것이다. 식 (4) 를이용하여깊이값에서변이값으로변환한값은다음의식 (5) 를이용하여깊이영상으로저장한다. v = (2 N d d 1) d max d min min (5) 여기서 v는깊이영상의화소값을나타낸다. d min 은가장먼깊이값을나타내는 Z max 를식 (4) 를이용하여변이값으로변환한값이고, d max 는가장가까운깊이값을나타내는 Z min 을식 (4) 를이용하여변이값으로변환한값이다. 그림 4는깊이영상획득의한예로, 1m 에서 3m 사이의장면을깊이영상으로변환한것이다. 추가적으로깊이카메라를이용하여깊이영상을획득하면동일한객체의내부에작은오류 (noise) 가존재하게된다. 이러한오류를줄이기위하여간단한중간값필터 (median filter) 를적용하였다. 리고결정된임의시점의화소에참조영상의깊이값을할당하여임의시점의깊이영상을생성할수있다. 하지만, 원본깊이영상의해상도가매우낮고, 컬러카메라와의거리가차이가나므로단순 3차원워핑을이용하면정확한깊이영상을획득할수없다. 그러므로해상도차이의영향을줄이고효율적으로두시점의깊이영상을획득하는방법을설명한다. 3차원워핑을수행하기위한시점간상응화소결정방법은그림 5에소개한것과같이깊이영상을역사영 (backward projection) 하여세계좌표계 (world coordinates) 로이동하고, 이영상을다시좌 / 우시점으로각각전사영 (forward projection) 하여영상을시점이동한깊이영상을생성할수있다. 먼저중앙시점의깊이영상의각화소와세계좌표계의점의상응관계를찾는방법은식 (6) 과같다. M -1-1 T -1 w = A [ m 1] Z(m )- t (6) 여기서 A 는깊이카메라의내부변수이고, 와 t 는각각깊이카메라의방향행렬과천이벡터를나타낸다. 그리고 m 는깊이영상의한화소를가리킨다. 이때 Z는실제깊이값을나타내는데, 깊이영상의값을양자화된값이므로, 식 (7) 과같이실제깊이값을 구한다. Z ( m) = ( m) 1 255 Z near 1 1 Z far 1 + Z far (6) 그림 4. 1m~3m 거리에서촬영한깊이영상결과 Fig. 4. Captured depth image from 1~3m Ⅲ. 스테레오영상시점의깊이영상획득 중앙시점의깊이영상을이용하여양쪽의컬러카메라에서획득한것과같은깊이영상을생성하기위해서는 3차원워핑 (3 warping) 을이용해야한다. 3차원워핑은깊이값을이용하여다른시점으로원본시점을임의의시점으로이동하는영상합성방법으로 3차원영상처리에널리사용되고있다. 3.1 3차원영상워핑을이용한상응화소결정 3차원워핑은참조영상의각화소가임의의시점의영상의어디에정합이되는지를결정해야한다. 그 주목할점은, 참조시점의영상과임의시점의영상간의대응화소를결정하기위해서는정확한카메라변수가있어야한다. 이때, 영상의해상도는카메라내부변수와직접관련이있으므로, 두시점간의해상도에따라정확한내부변수를결정해야한다. 3.2 깊이카메라에서획득한깊이영상처리앞에서설명한것과같이, 3차원워핑은대상시점의해상도와는관계없이카메라변수와거리정보만있으면수행할수있다. 그러므로제안한카메라시스템의컬러카메라와깊이카메라의해상도가크게차이가나지만 3차원워핑을수행하는데엔문제가없다. 하지만, 깊이영상의해상도가작다는것은이용할수있는정보가적다는것이므로, 정확한고해상도의깊이영상을획득하기위해서는그림 6과같이단계적으로깊이영상을처리해야한다. 243
여기서 는원래의내부파라미터를 s로스케일링하는연산자로정의하고, 컬러영상을다운셈플링할때는 s=1/4로식 (7) 에대입하여카메라내부변수를조정한다. 이어서수행하는 3차원워핑은앞에서설명한상응화소결정방법을이용하여시점이이동된깊이영상을획득할수있다. 그림 5. 3 차원워핑방법 Fig. 5. 3 image warping 먼저저해상도의깊이영상을이용하여양쪽시점으로시점이동하고, 이때문에발생한빈공간을효율적으로채워야한다. 이어서깊이영상과컬러영상간의경계가불일치하는문제를해결한다. 그리고마지막단계로목표로하는고해상도의깊이영상으로단계적으로업셈플링하면컬러영상과동일한해상도의깊이영상을획득할수있다. 3.2.2 시점이동한깊이영상의빈공간채움 3차원워핑을통해중앙시점에서양쪽으로시점이동을할경우, 그림 7과같이빈공간이발생한다. 중앙의깊이카메라에서좌측컬러카메라로워핑을수행하면객체의왼쪽 (O ) 에빈공간이생성되고, 반대의경우, 객체의오른쪽 (O ) 에빈공간이생성된다. 이러한빈공간은전경객체가카메라에가깝게위치할수록넓게생성된다. 또한빈공간은깊이값이할당되지않은영역이기때문에빈공간주변의가용화소들을이용하여적절한깊이값으로채워야한다. 본논문에서이용하는하는깊이영상의빈공간채움방법은빈공간이배경의확장영역이라는가정으로빈공간의좌 / 우측가용깊이값중에서깊이값이낮은깊이값으로대체하는방법을이용한다. 그림 6. 스테레오카메라시점의깊이영상생성 Fig. 6. epth image acquisition for stereo cameras 3.2.1 3 차원워핑을이용한깊이영상시점이동 컬러영상과같은시점의두깊이영상을획득하기위해서는 3차원워핑을이용한시점이동이필요하다. 이때컬러영상과깊이영상간의해상도차이가크므로, 컬러영상의해상도를 1/4로주는줄인다. 이때, 각영상의해상도가조정되었으므로, 각카메라의내부변수를다음의식 (7) 과같이조정해야한다. s f 0 s px A s o A 0 s f s p y (7) 0 0 1 그림 7. 시점이동에따른빈공간 Fig. 7. Hole regions due to viewpoint shifting 3.2.3 깊이영상과컬러영상간의경계불일치조정앞에서언급한 3차원워핑과빈공간채움방법을이용하면가운데위치한깊이카메라의깊이영상을양쪽의컬러카메라에서획득한것처럼보이는깊이영상을획득할수있다. 하지만, 깊이카메라에서획득한깊이영상은물체의반사도정도와측정거리에따라깊이값오류가포함될수있다. 이러한깊이값오류로인해컬러영상과깊이영상간의객체가불일치하는문제가발생할수있다. 그림 8은이와같은객체가불일치하는예를보인것이다. 244
논문 / 고해상도스테레오카메라와저해상도깊이카메라를이용한다시점영상생성 <light> <light> H C eft QCIF Center H C ight 그림 8. 깊이영상과컬러영상간의객체불일치 Fig. 8. Boundary mismatches between objects 위와같은깊이영상의불일치값을보정하기위하여그림 9와같은방법을이용할수있다. 먼저시점이동한깊이영상을이용하여경계영역을결정한다. 그다음경계에서일정한거리의영역을대상대상영역으로설정하고, 최종적으로컬러영상과깊이영상을동시에고려한조인트양방향필터 (joint bilateral filter) 를이용하여깊이영상을보정한다. 영상의일부분만깊이값을보정하는이유는대부분의깊이값오류가객체의경계에서발생하기때문이다. 이로인해과도한연산량을줄일수있다. 그림 9. 컬러영상과깊이영상간의경계보정 Fig. 9. Object boundary compensation Ⅳ. 실험결과 4.1 제안한하드웨어시스템 앞에서설명한시스템은아래의그림 10과같이세카메라로구성된다. 중앙의저해상도깊이카메라와양쪽에위치한고해상도의컬러카메라가 1차원평행형으로구성된다. 본연구에서사용한깊이카메라는적외선광원 (infrared ray light) 을두대이용한다. 그림 10(c) 는각카메라의가시범위를나타낸것으로, 깊이카메라의해상도는작지만가시범위는좌 / 우의컬러카메라를모두포함할수있도록선택해야한다. 만약깊이영상의가시범위가두대의컬러카메라의가시범위를포함하지못하면, 깊이영상의 3차원워핑을수행한깊이영상에서왼쪽가장자리나오른쪽가장자리에깊이정보가없는영역이발생할수있다. 4.2 제안한소프트웨어시스템 제안한카메라시스템은한대의깊이카메라로두시점의깊이영상을생성하고, 획득한두시점의컬러 < 시스템개념도 > < 실제시스템 > (a) 카메라시스템설계 left (b) 실제카메라시스템 <depth camera> <left camera> <right camera> TOF right (c) 각카메라의가시범위 (field-of-view, FOV) 그림 10. 병합형 3 차원카메라시스템 Fig. 10. Combined 3 camera system 영상과깊이영상을이용하여다시점의중간영상을생성하기때문에복잡도가매우높다. 이러한시스템을촬영부터다시점생성까지다중으로처리하기위해서는구현과정에서윈도우프로그래밍의멀티스레드 (multi-thread) 기법을적용했다. 이외의병렬처리를위한프로그래밍기법은적용하지않았다. 그림 11은멀티스레드를이용한소프트웨어구현을보인것으로각스레드를컬러영상의획득과깊이영상의획득 / 워핑 / 다시점합성등의단계로나누어여러스레드가동시에작업을수행하도록구현했다. Tread_1은두대의컬러카메라에서동시에컬러영상을획득하고 GB 형식의영상으로저장하는역할을수행한다. Thread_2는 TOF 카메라에서획득한깊이데이터를식 (5) 를이용하여 8비트 (N=8) 의회색톤의영상으로변환한다. Thread_3은영상정렬을통해획득된변환행렬을이용하여두시점의컬러영상을정렬하는역할을수행한다. Thread_4와 Thread_5는 Thread_2를통해처리된깊이영상을왼쪽과오른쪽시점으로각각워핑하는역할을수행한다. 이과정에서빈공간채움과객체경계불일치문제를함께처리한다. 마지막으로 Thread_6에서 Thread_15까지는 10개의중간영상을합성하기위한스레드이다. 각스레드는컬러카메라와동일한해상도의두시점의컬러영상과깊이영상을이용하여중간시점의영상을각각생성한다. 기본적으로이들의역할은같으나합성하는위치가다르다. 245
이와같이다중스레드를이용한시스템을구축할경우엔각스레드간정확한동기화가필요하다. 본연구에서는스레드간동기화를제한적으로수행했다. 컬러영상을획득하는 Thread_1과 Thread_3는연속적으로수행되므로각스레드의작업완료여부를인지하여수행하도록구현했다. 그리고깊이영상을획득하고보정하는 Thread_2는컬러영상획득과는독립적으로수행하고, Thread_4와 Thread_5는동시에수행하도록동기화를수행했다. 이때컬러영상획득과깊이영상간의동기화가이루어지지않기때문에약간의화면불일치가발생할수있으나, 기본적으로각카메라에서의처리속도가빠르기때문에이러한불일치는눈으로인지하기어려울정도로적다. 마지막으로다시점영상생성을위한다중스레드는각프레임별로동시에수행할수있도록동기화를수행했다. 그림 11. 다중스레드를이용한소프트웨어 Fig. 11. Software implementation using multi-thread 4.3 카메라시스템을이용한영상획득결과그림 12은제안하는병합형깊이카메라시스템을이용하여촬영한원본영상을보인것이다. 왼쪽의그림이깊이카메라를이용하여획득한원본깊이영상이고, 나머지두영상이컬러카메라로획득한컬러영상이다. 그림 13는앞에서획득한깊이영상을이용하여각컬러카메라의시점으로시점이동한결과를보인것이다. 그림 13(a) 는시점이동으로드러나는빈공간 (hole) 을보인것으로, 검정색으로표시되어있다. 그림 13(b) 는앞에서제안한배경의깊이값을이용하여빈공간을채운결과를보인것이다. (a) 깊이영상 (b) 왼쪽컬러영상 (c) 오른쪽컬러영상 그림 12. 제안한카메라를이용하여촬영한원본 Fig. 12. Captured images using proposed camera (a) 3 차원워핑으로시점이동한깊이영상 (b) 빈공간을채운깊이영상 그림 13. 3 차원워핑으로시점이동한깊이영상 Fig. 13. 3 warped depth images 4.4 다시점영상생성 제안한카메라시스템의최종단계는두시점의컬러영상과각시점의깊이영상을이용한다시점영상의생성이다. 그림 14는 10개의중간시점을추가적으로생성한 12시점의다시점영상을보인것이다. 그림의 1번위치의영상이왼쪽원본영상을나타내고, 12 번위치의영상이오른쪽원본영상이다. 나머지영상은앞에서설명한다시점영상생성방법을이용하여합성한영상이다. 시점이동으로인한빈공간은인페인팅기법을이용하여채웠다 [18]. 1번부터 12번으로갈수록가운데의인형의위치가바뀌는것을알수있다. 4.5 카메라시스템의각부분별처리속도측정 제안한시스템의복잡도를측정하기위하여각부분의처리속도를측정했다. 측정을위해사용한컴퓨터는 Zeon E5630@2.53GHz 프로세서와 32GB 2 메모리, Windows 7 64-bit로구성되었다. 이러한장비를이용하여각기술의부분별로표 1과같이측정했다. 두대의컬러카메라를이용하여 VGA(640x480) 해상도의컬러영상을획득하는프레임율은약 30 fps 이다. 이이과정에서영상정렬도함께수행된다. 깊이카메라를이용한깊이영상의획득은약 34 fps의프레임율을보였다. 중앙시점의깊이영상을양쪽의컬러카메라의시점으로시점이동하는속도는약 57 fps의프레임율을보였다. 이로써다시점영상생성을위한입력데이터를획득하기위한과정은실시간으로획득할수있었다. 반면다시점영상생성을위한시간은다소복잡도가높았다. 총 10시점의중간영상을동시에생성함에있어서약 7 fps의프레임율을보였다. 특히시점이동에따른빈공간채움과정에서많은시간을소비했다. 246
논문 / 고해상도스테레오카메라와저해상도깊이카메라를이용한다시점영상생성 그림 14. 2 시점의영상을 12 시점의다시점영상으로확장한다시점영상 Fig. 14. 12 view images from 2 captured images 표 1. 각부분별처리속도측정결과 Table 1. Estimated time of each process 구분세부기술평균속도 (ms) 전체속도 (ms) 프레임율 (fps) 컬러영상획득 깊이영상획득 깊이영상시점이동 다시점영상생성 컬러영상획득 17.89 영상정렬 15.65 깊이영상획득 28.04 깊이영상정렬 1.03 깊이영상의시점이동 17.20 깊이영상의빈공간채움 0.42 깊이영상을이용한시점이동 42.01 각시점별빈공간채움 102.14 33.54 29.82 29.07 34.40 17.63 56.73 144.15 6.94 그림 15는다중스레드를이용한각시점별중간영상생성속도와하나의스레드로 10개시점을생성했을때의프레임율을비교한것이다. 다중스레드를사용하면시점마다다소차이가발생하지만대체적으로중간시점으로갈수록프레임율이낮아짐을알수있다. 이는중간시점으로갈수록빈공간의영역이넓어져복잡도가증가하기때문이다. 이를통해실시간다시점영상생성을위해서는보다빠르고효과적인빈공간채움방법이필요함을알수있다. 그리고하나의스레드로 10개시점을생성했을때약 1.44 fps의속도를보였다. 이를통해다중스레드를이용한다시점영상생성방법이더효율적임을알수있었다. 그림 15. 중간영상의시점별속도비교 Fig. 15. Comparison of frame rates 247
Ⅵ. 결론 본논문에서는저해상도의깊이카메라한대와고해상도의스테레오카메라를이용하여다시점영상생성시스템을제안했다. 제안한카메라시스템은고해상도의컬러영상과같은시점을가지는정확한고해상도의깊이영상을획득하고, 이를이용하여다시점영상을생성한다. 깊이카메라를중간에설치해서두컬러카메라간거리가 10.5cm로다소크지만, 깊이영상을이용한영상합성을이용하여가장시청하기편안한시점을사용자가직접선택할수있도록시스템을구현했다. 다시점의영상을생성하기위해서는각컬러시점의깊이영상이필요하기때문에중앙시점에서획득한깊이영상을양쪽의컬러시점으로시점을이동했다. 두시점의컬러영상은편안한 3차원영상을제공하기위한영상정렬을실시간으로수행하고, 깊이영상의시점이동또한실시간으로수행한다. 빠른데이터의처리를위하여다중스레드를이용하여소프트웨어를구현했다. 이로인하여두시점의컬러영상의획득과깊이영상의획득은실시간으로획득할수있었다. 하지만, 10개의중간시점을생성하는데는다소시간이오래걸려약 7fps의프레임율의성능을보였다. 이는시점이동에따른빈공간을채우는과정이복잡도가다소높기때문이다. 본논문에서제안한시스템은빠른속도로다시점영상을효율적으로생성할수있기때문에스테레오영상재현뿐만아니라다시점영상재현에도효율적으로이용할수있다. 감사의글 본연구는지식경제부, 방송통신위원회및한국산업기술평가관리원의산업원천기술개발사업의일환으로수행하였음. [ 반응형광시야각초다시점 3광학계원천기술개발 ] 참고문헌 [1] C. Wheatstone, "On Some emarkable, and Hitherto Unobserved, Phenomena of Binocular Vision," Philos. Trans.. Soc., vol. 54, pp. 196-199, 1838. [2] Yo-Sung Ho, ealistic 3 Content Producing using Multi-view and epth Cameras, The Magazine of the IEEK, vol. 38, pp. 136-141, 2011. [3] A. Smolic, K. Müller, K. ix, P. Merkle, P. Kauff, and T. Wiegand, "Intermediate View Interpolation based on Multiview Video plus epth for Advanced 3 Video Systems," in IEEE ICIP, pp. 2448-2451, Oct. 2008. [4] C. Fehn, "epth-image-based endering (IB), Compression and Transmission for a New Approach on 3-TV," in Stereoscopic isplays and Virtual eality Systems XI, pp. 93-104, Jan. 2004. [5] ISO/IEC JTC1/SC29/WG11, "Study Text of ISO/IEC 14496-10:200x/FPAM 1 Constrained Baseline Profile and supplementary enhancement information," in MPEG output document N10540, April 2009. [6] ISO/IEC JTC1/SC29/WG11, "raft Call for Proposals on 3 Video Coding Technology," in MPEG output document N11679, Oct. 2010. [7]. Scharstein and. Szeliski, "A Taxonomy and Evaluation of ense Two-frame Stereo Correspondence Algorithms," IJCV, vol. 47, pp. 7-42, April 2002. [8]. Scharstein and. Szeliski, "High-accuracy Stereo epth Maps using Structured ight," in IEEE Computer Society Conference on Computer Vision and Pattern ecognition, pp. I/195-I/202, June 2003. [9]. Kaufmann, M. ehmann, M. Schweizer, M. ichter, P. Metzler, G. ang, T. Oggier, N. Blanc, P. Seitz, G. Gruener, and U. Zbinden, "A time-of-flight line sensor - evelopment and application," Proceedings of SPIE - The International Society for Optical Engineering, pp. 192-199, 2004. [10] M. indner, A. Kolb, and K. Hartmann, "ata-fusion of PM-based distance-information and high-resolution GB-images," International Symposium on Signals, Circuits and Systems, pp. 121-124, 2007. [11] B. Huhle, S. Fleck, and A. Schilling, 248
논문 / 고해상도스테레오카메라와저해상도깊이카메라를이용한다시점영상생성 "Integrating 3 Time-of-Flight Camera ata and High esolution Images for 3TV Applications," Proceedings of 3TV-CON, 2007. [12] Y. M. Kim,. Chan, C. Theobalt, and S. Thrun, "esign and calibration of a multi-view TOF sensor fusion system," IEEE CVP, 2008. [13] U. Hahne and M. Alexa, "epth Imaging by Combining Time-of-Flight and On-demand Stereo," ecture Notes in Computer Science, vol. 5742, ed, pp. 70-83, 2009. [14] J. Zhu,. Wang,. Yang, and J. avis, "Fusion of time-of-flight depth and stereo for high accuracy depth maps," IEEE CVP, 2008. [15] E. K. ee and Y. S. Ho, "Generation of Multi-view Video using a Fusion Camera System for 3 isplays," IEEE Transactions on Consumer Electronics, vol. 56, pp. 2797-2805, Nov. 2010. [16]. Y. Tsai, "Versatile Camera Calibration Technique for High-accuracy 3 Machine Vision Metrology using Off-The-Shelf TV Cameras and enses," IEEE Journal of obotics and Automation, vol. A-3, pp. 323-344, Aug. 1987. [17] Y. S. Kang, C. ee, and Y. S. Ho, "An Efficient ectification Algorithm for Multi-view Images in Parallel Camera Array," Proceedings of 3TV-CON, pp. 61-64, 2008. [18] A. Telea, "An Image Inpainting Technique based on The Fast Marching Method," Journal Graphics Tools, vol. 9, pp. 25-36, May 2004. 이천 (Cheon ee) 정회원 2005년한국항공대학교항공전자공학과졸업 ( 학사 ) 2007년광주과학기술원정보통신공학과졸업 ( 석사 ) 2007년~현재광주과학기술원정보통신공학과박사과정 < 관심분야 > 3차원 TV, 실감방송, 3차원비디오부호화, MPEG 표준 송혁 (Hyok Song) 정회원 1999년광운대학교제어계측공학과졸업 ( 학사 ) 2001년광운대학교전자공학과졸업 ( 석사 ) 2012년광운대학교전자공학과졸업 ( 박사 ) 2000년~현재전자부품연구원멀티미디어IP연구센터책임연구원 < 관심분야 > 영상인식, 3영상처리, 보안시스템최병호 (Byeongho Choi) 정회원 1991년한양대학교전자공학과졸업 ( 학사 ) 1993년한양대학교전자공학과졸업 ( 석사 ) 2010년중앙대학교첨단영상대학원영상공학과졸업 ( 박사 ) 1993년~1997 G전자비디오연구소주임연구원 1997년~현재전자부품연구원멀티미디어IP연구센터센터장 < 관심분야 > 3, Vision, 반도체호요성 (Yo-Sung Ho) 종신회원 1981년서울대학교공과대학전자공학과졸업 ( 학사 ) 1983년서울대학교대학원전자공학과졸업 ( 석사 ) 1989년 Univ. of California, Santa Barbara, ept. of Electrical and Computer Engineering.( 박사 ) 1983년~1995년한국전자통신연구소선임연구원 1990년~1993년미국 Philips 연구소, Senior esearch Member 1995년~현재광주과학기술원정보통신공학과교수 < 관심분야 > 디지털신호처리, 영상신호처리및압축, 디지털 TV와고선명 TV, 멀티미디어시스템, MPEG 표준, 3차원 TV, 실감방송 249