Journal of the Korea Academia-Industrial cooperation Society Vol. 14, No. 1 pp. 351-357, 2013 http://dx.doi.org/10.5762/kais.2013.14.1.351 한병완 1*, 임성준 2 1 동원대학교컴퓨터애니메이션과, 2 동원대학교인터넷정보과 Development of HD Resolution Stereoscopic Camera and Apparatus for Recognizing Depth of Object Byung-Wan Han 1* and Sung-Jun Lim 2 1 Division of Computer Animation, Tongwon University 2 Division of Internet Information, Tongwon University 요약 3D 입체영상을만들어내기위해서는사람의오른쪽눈과왼쪽눈의역할을하는양안카메라가필요하다. 즉, 왼쪽과오른쪽두대의카메라로부터입력되는영상을합치는 3차원영상처리를통하여입체영상으로만들어내는과정을거치게된다. 본논문에서는 HD 해상도를가지는스테레오영상카메라구현을위하여두대의고해상도줌카메라로부터입력되는영상데이터를스테레오영상포맷으로변환하는알고리즘을 FPGA를통하여실시간으로동작하도록구현하였다. 또한생성된스테레오영상으로부터좌우영상간의물체의위치차이를계산하여구하는방법을제시하였다. Abstract Two cameras which function like human eyes, are needed to make 3D stereoscopic image. That is, stereoscopic image is made via 3 dimensional image processing for combining two images from left and right camera. In this paper two high resolution zoom cameras are used to make HD resolution stereoscopic camera. And the algorithm which convert to stereoscopic image from HD resolution zoom camera image, is implemented using FPGA for real-time operation. The algorithm which measure the depth of object between left and right image is proposed. Key Words : HD resolution, Stereoscopic Camera, Zoom Lens 1. 서론 스테레오영상기술은사용자에게영상현실감을극대화시킬수있는미래영상기기의핵심기술로서입체영상실험방송및영화제작과같은상용화를위한시도들이다양하게진행되고있다. 스테레오영상기기개발동향으로스테레오영상촬영, 영상처리, 영상전송, 영상디스플레이기기등의분야에서활발한연구를진행하고있으며새로운기술개발및표준화를진행하고있다.[1] 입체감을느낄수있는생리적요인으로양안시차의원리를이용한다. 좌우눈에보이는상은눈에가까울수록차이가많고멀어질수록차이가적어진다. 두눈은모 양체의근육을긴장혹은이완시켜초점을조절하고있다. 물체를볼때가까우면가까울수록안구를안쪽으로회전하여야한다. 이때근육의긴장이거리감을주게된다. 사람은좌우양안에투영되는상의차이에의해 3차원공간속의장면및사물에대해입체감을인식하게된다. 스테레오영상기술은서로다른위치에서영상카메라로촬영한 2개의영상을이용하여영상에입체감을부여하게된다. 입체영상을이용하면영상에있는물체의거리를측정할수있다. 스테레오영상카메라에서물체의거리를측정하는방법은두개의카메라간의거리와렌즈화각을이용하여좌우영상간의물체의위치차이를계산하여구할수있다. 스테레오영상카메라에서피 * Corresponding Author : Byung-Wan Han (Tongwon University) Tel: +82-10-2217-0985 email: bwhan@tw.ac.kr Received November 27, 2012 Revised (1st December 17, 2012, 2nd December 31, 2012) Accepted January 10, 2013 351
한국산학기술학회논문지제 14 권제 1 호, 2013 사체의거리를측정할수있다면피사체의이동경로추적, 최적영상크기설정, 카메라간의연계동작등다양한응용분야에이용할수있다. 사람의좌우눈은서로다른 2차원영상을보게되며각각의영상이망막을통하여뇌로전달되면이를서로융합하여영상의깊이감과실제감을만들게된다. 이러한원리를 3D 영상카메라설계에적용하면두대의카메라를두눈의간격과유사하게약65mm 간격을두고위치시키며각각영상을촬영하게된다. 두개의카메라를위치시키는방법에따라평행식, 복합식등의다양한형태로배치하게된다.[2] 본연구에서는줌렌즈의설치와기구설계의편의를위하여평행식설치방안을채택하였으며 HD 해상도와고배율줌렌즈를채용하여스테레오영상카메라를구현하고, 이를움직이는물체에대하여실시간거리측정에응용방안에대하여연구하였다. [Fig. 1] Stereo Video Data Forat 2.2 스테레오영상카메라의구성 2. 본론 2.1 스테레오영상데이터포맷 스테레오영상을만들어내기위해서사용하는영상포맷은 side by side 방식, top and bottom 방식과 frame packing 방식이주로사용된다. side by side 방식은영상을전송할때전송화면의한라인을구성할때, 반은왼쪽카메라의영상을나머지반은오른쪽카메라의영상을보내는방식이다. top and bottom 방식은영상을전송할때전송화면의위쪽부터반은왼쪽카메라의영상을나머지반은오른쪽카메라의영상을정송하는방식이다. 이에반하여 frame packing 방식은한프레임은왼쪽카메라의영상을다음한프레임은오른쪽카메라의영상을보내는방식이다.[3] side by side 방식은한라인에왼쪽카메라의한라인과오른쪽카메라의한라인데이터를보내야하기때문에일반적으로샘플링방식을사용하여데이터를반으로줄여서전송한다. 따라서수평해상도가낮아지는단점을가지고있다. top and bottom 방식은수평해상도의저하는사람의눈에민감하게반응하기때문에상대적으로덜민감한수직해상도를반으로줄여서전송하는방식이다. 이에반하여 frame packing 방식은매프레임마다왼쪽과오른쪽카메라로부터받은하나의완전한영상을번갈아보내는방식으로해상도의저하가없어서최근에많이사용하는방식이다. Fig. 1에앞에서설명한세가지전송방식의영상포맷을나타내었다. [Fig. 2] Block Diagram of Stereo Camera 두개의줌영상카메라로부터입력된연상을 3D 영상규격을만들게된다. 3D 영상규격을지원하는영상을만들기위하여 Xilinx사의 Spartan-6 FPGA를사용하였으며동작주파수는 74.25MHz를사용하였다. 본연구에서개발된 FPGA에서지원하는 3D 영상규격은 Side-by-Side, Top-Bottom 이며 Full HD 해상도의 3D 영상에대하여초당 30 프레임의실시간동작이가능하도록설계하였다. [Fig. 2] 는본논문에서구현한스테레오카메라의구성도이다. 2.3 스테레오영상데이터변환입력된두개의카메라영상으로부터스테레오영상데이터를만들기위해구현한 FPGA의블록도는 Fig. 3과같다. I2C 통신부는 3D 변환모드를설정하기위하여프로세셔와 I2C 통신을하여 side by side, top and bottom, left only, right only 중하나의모드를설정한다. 메모리제어부와 3D 변환기에서는 I2C 통신부를통하여입력된 3D 포맷에따라서 right 용메모리 2개와 left용메모리 2 개를제어하여원하는데이터포맷으로변환한다. 이때사용한메모리는 128M SDRAM으로 16비트메모리를사용하였다.4:2:2 => 4:4:4 포맷변환기에서는 4:2:2 형태로입력된영상데이터를 4:4:4 형태의영상데이터로변환해주는역할을해주며, 동기신호발생기에서 HSync, VSync와 DE 신호를만들어준다. 352
[Fig. 3] Block Diagram of Stereo Format Converter [Fig. 4] Flowchart of memory writing operation Left Memory 와 Right Memory 를두개씩사용한이유 는계속해서실시간으로입력되는영상데이터를실시간으로출력해야하기때문에하나의메모리를이용하여제어하는경우에는입출력시간의부족으로 SDRAM 같이입력과출력을공유하는메모리를사용하면문제를발생시키게된다. 따라서본논문에서는하나의메모리에쓰기동작을할때에는다른메모리에서데이터를읽고, 반대의경우에는반대편메모리에쓰고, 나머지메모리에서데이터를읽는작업을한다. 사용한메모리의용량은 8Mb x 16로한 row 당 512개의데이터를저장할수있다. 그러나본연구에서는한 row 당 480 픽셀데이터만저장하였다. 그이유는 Full HD 카메라의경우하나의라인이 1920 픽셀로구성되어있기때문에어드레스제어를간단히하기위해서이다. 즉메모리데이터저장시에유효화소구간이시작되면 480 픽셀데이터를하나의 row에저장한후, 다음 row에저장하는방식을사용하였기때문에카메라 1라인을저장하기위해서는 4번의 row 주소증가가필요하였다. 그리고 top and bottom 모드에서는두개의라인중하나의라인데이터는버리고나머지하나의라인데이터만사용하기때문에저장시에매카메라라인마다뱅크주소를 0과 1을번갈아사용하였다. Fig. 4에메모리저장동작에관련된순서도를나타내었다. top and bottom 모드가선택된경우에는우선 Left Memory에서 1920 픽셀의데이터를 540 라인읽어들인후, 다시 Right Memory에서 1920 픽셀의데이터를 540 라인읽어들여사용한다. 이경우카메라영상의왜곡을막기위하여메모리1과메모리2의픽셀데이터를읽을때한라인데이터를읽고다음라인의데이터는읽지않는방식을사용한다, 메모리데이터의저장시에매라인마다뱅크주소를 0과 1을반복하여사용하였기때문에 top and bottom 모드의읽는순간에는하나의뱅크만선택하여읽으면자동으로 540 라인만선택하여읽을수가있다. [Fig. 5] 에 top and bottom 모드의읽기동작에대한순서도를나타내었다. side by side가선택된경우에메모리읽기동작은다음과같다. 우선메모리1에서카메라의 1 HD가시작되면한라인의데이터를읽은후나머지시간에메모리2 의한라인데이터를읽어들이는방식으로메모리데이터를읽는다. 이때메모리1과메모리2의데이터는각각저장되어있는 1920개의픽셀데이터를읽는것이아니라각각 960개의픽셀데이터만읽어들여야한다. 따라서메모리를읽을때 4개의이미지데이터중세번째와네번째데이터만읽고나머지데이터는읽지않으면서메모리를읽는동작을수행해야한다. Fig. 6에 side by side 모드에서의메모리읽기동작에대한순서도를나타내었다. 353
한국산학기술학회논문지제 14 권제 1 호, 2013 [Fig. 6] Flowchart of memory reading operation at side by side mode [Fig. 5] Flowchart of memory reading operation at top and bottom mode left only와 right only 모드는왼쪽이나오른쪽하나의카메라영상데이터만전송하는방식이므로 Left Memory나 Right Memory 하나의메모리만사용하게된다. 2.4 스테레오카메라를이용한거리계측피사체의거리를측정하는방법으로수동적방법과능동적방법이있을수있다. 본논문에서채용한방법은수동적방법이며스테레오카메라를이용하는방법을채택하였다. 스테레오카메라를이용한피사체의거리측정은측정대상물과양카메라간의상대적인거리를바탕으로계산할수있다.[4-6] 피시체의거리를감지할수있는스테레오시각시스템은투시변환에의해 3차원공간을 2차원공간으로매핑하는스테레오카메라 2대를이용하여스테레오카메라와피사체간의기하학적인배치로부터 3차원정보를복원하는원리이다. 피사체의거리를측정하는방법은 2개의카메라를이용하여좌측영상과우측영상을촬영하고각영상에대하여윤곽선을검출하여상호매칭되는영상부분에대한분석방법을사용한다. 354
스테레오카메라를이용한거리측정에서우선고려하여야할것은양카메라의기구적으로직및수평적으로정확하게배치되어야영상의분석오차를줄일수있다. 또한, 움직이는물체에대한거리측정에서동일시점에동기되어영상을촬영하여야만피사체의이동에의하여발생하는오차를줄일수있다. 된다. 좌우카메라영상에서가장일치도가높은지점 k 는가장왼쪽으로부터이동화소수를나타내며, B 는좌우카메라가설치된간격, Xo 는좌우각카메라의최대화소수를나타낸다. [7] 본연구에서사용된줌렌즈와화소수에대한정보를바탕으로스테레오영상카메라의좌우카메라에서동일물체에대한상대적인차이에대한위치값을바탕으로기하학적인공식을이용하여피사체의거리를측정하는방법을흐름도 Fig. 7에나타내었다. 2.5 구현및검증본논문에서 3D 변환기를설계하기위해서 Xilinx FPGA인 Spartan 6를사용하였으며, Verilog를이용하여코딩하였다. 또한동작주파수는입력되는데이터의주파수와일치하는 74.25MHz를사용하였다. 메인클럭은외부에오실레이터를달아사용하지않고, LVDS receiver 를통해추출해놓은클럭을메인클럭으로사용하였다. [Fig. 7] Flowchart of measuring depth of object 스테레오카메라를이용한정확한거리측정을위하여거리측정범위에적합한렌즈의사양을선정하는것이중요하다. 거리측정에주로이용되는렌즈사양은화각과최대해상도와관련되어있다. 스테레오영상카메라를이용하여피사체의거리를측정하기위하여 FPGA 에서구현된실시간흐름도를 [Fig. 7] 에나타내었다. 여기서, D는계산된거리값을나타내며, N과 M 값은좌우카메라에서영상창의크기를나타내는것으로 M > N 이다. 또한, 좌측카메라에서 N( 수직 ) x N( 수평 ) 크기의영상영역을나타내며, 우측카메라에서는 N( 수직 ) x M( 수평 ) 크기의영상영역으로설정되었다. 좌우카메라에서촬영된동일피사체에대한영상에대하여좌측영상영역 N x N 영상을우측영상영역 N x M 내에서왼쪽에서오른쪽으로한화소씩차례로이동하면서좌우카메라영상의일치여부를판단하게 [Fig. 8] Stereo Camera Board 논문에서제시한설계를검증하기위하여 ModelSim 을이용하여시뮬레이션을하였다. Fig. 8은본논문을위하여구현된스테레오카메라모습니다. [Fig. 9] Simulation result of memory writing operation - column address Fig. 9는메모리쓰기동작에서의 column 주소의변화를보이고있다. 메모리쓰기동작시에는 side by side 모 355
한국산학기술학회논문지제 14 권제 1 호, 2013 드나 top and bottom 모드에상관없이매클럭마다 1씩 column 주소가증가되는것을볼수있다. Fig. 10은메모리쓰기동작에대한시뮬레이션결과를나타내고있다. 앞서언급한것과같이 top and bottom 모드시의메모리읽기동작을간단히하기위하여카메라한라인마다뱅크주소가 0과 1로바뀌는것을볼수있다. [Fig. 12] Simulation result of memory reading operation at side by side mode - column address [Fig. 10] Simulation result1 of memory writing operationrow address and bank address Fig. 11은 side by side 모드에서의메모리읽기동작에대한시뮬레이션결과를나타내고있다. 앞서언급한것과같이매라인마다메모리1에서 960 픽셀데이터를읽고이어서메모리2에서 960 픽셀데이터를읽어들이는것을볼수있다. Fig. 13은 top and bottom 모드에서의메모리읽기동작에대한시뮬레이션결과를나타내고있다. 앞서언급한것과같이메모리1에서 540 라인데이터를읽은후메모리2에서나머지 540 라인데이터를읽고있는것을볼수있다. 시뮬레이션상에서 row 주소가 2160으로보이는것은한라인마다 4개의 row를사용하였기때문이다. 또한앞서설명한것과같이뱅크주소는변하지않고있는것을볼수있다. [Fig. 13] Simulation result of memory reading operation at top and bottom mode - row address and bank address [Fig. 11] Simulation result of memory reading operation at side by side mode - row address Fig. 12는 side by side 모드에서의메모리읽기동작시 column 주소의변화를보여주고있다. 각메모리에저장된 1 라인의데이터를읽을때전체라인을읽는것이아니라 1/2 라인데이터를읽기위하여 column 주소가연속적으로증가하는것이아니라두개의픽셀데이터를일고나머지두개의픽셀데이터는버리기위하여불연속적으로증가하고있는것을알수있다. Fig. 14는 top and bottom 모드에서의읽기동작시의 column 주소의변화를보여주고있다. 이경우 side by side 모드와는달리주소가연속적으로변하는것을볼수있다. [Fig. 14] Simulation result of memory reading operation at top and bottom mode - column address 356
3. 결론 본논문에서스테레오영상포맷을구현하기위한알고리즘과이를이용하여거리측정응용에대한최적의구현방법에대하여논하였다. Xilinx FPGA Spartan6를사용하여실시간으로동작테스트를하였으며, 동작주파수 74.25MHz와같이고속의동작조건에서설계한 FIFO 가완전하게동작하는것을확인하였다. 다양한데이터포맷을지원하도록설계하였으나본논문에서일반적인 3D 영상포맷을지원하도록설계하고실시간동작을확인하였으나 FPGA 구현시내부 PLL을이용하여주파수 168.5MHz 까지시스템이동작하도록설계하여시뮬레이션상에서검증하였으므로추가연구에서는 Frame Packing 방식도지원할수있을것으로예상된다. 또한스테레오영상을만들기위해서사용하는카메라의줌배율에따라화각이달라지므로다양한줌배율에따른거리측정알고리즘의검증이필요할것이다. References [1] Y. S. Yu, Technical Trend and Market Prospects of 3D Display, ETRI [2] S. D. Park, Photographing and Editing of 3D Stereoscopic Image, www.kocca.kr, 2010년 [3] T. G. Moon Technical Trend and Outlook of 3D Display Technology, KEIT, PD ISSUE VOL 11-7, 2011. [4] H. Walcher, "Position sensing Angle and distance measurement for engineers, 2nd edtion", Butterworth Heinermann, 1994. [5] "Navigation 2, Radio Navigation, Revised edition", Oxford Aviation Trainng, 2004. [6] J. Carnicelli, "Stereo vision: measuring object distance using pixel offset", http://www.alexandria.nu [7] Jernej Mrovlje and Damir Vrancic, "Distance measuring based on stereoscopic pictures", 9th International PhD workshop and System and Control, 2008. 한병완 (Byung-Wan Han) [ 정회원 ] 1985 년 2 월 : 경북대학교전자공학과 ( 공학사 ) 1987 년 2 월 : 연세대학교전자공학과 ( 공학석사 ) 2006 년 2 월 : 연세대학교정보대학원 ( 정보학박사 ) 1987 년 1 월 ~ 1998 년 2 월 : LG 전자멀티미디어연구소 1998 년 3 월 ~ 현재동원대학컴퓨터애니메이션과부교수 < 관심분야 > 멀티미디어네트워크, 3D 애니메이션 임성준 (Sung-Jun Lim) [ 정회원 ] 1989 년 2 월 : 고려대학교전기공학과 ( 공학사 ) 1991 년 2 월 : 고려대학교전기공학과 ( 공학석사 ) 2007 년 2 월 : 연세대학교정보대학원 ( 정보학박사 ) 1991 년 1 월 ~ 1999 년 2 월 : LG 전자멀티미디어연구소선임 1999 년 3 월 ~ 현재동원대학교인터넷정보과부교수 < 관심분야 > 멀티미디어시스템, 웹프로그램 357