32 다중어안카메라를이용한움직이는물체검출연구배광혁외 논문 2008-45SP-4-4 다중어안카메라를이용한움직이는물체검출연구 (A Study on Detecting Moving Objects using Multiple Fisheye Cameras ) 배광혁 *, 서재규 *, 박강령 **, 김재희 *** * (Kwanghyuk Bae, Jae Kyu Suhr, Kang Ryoung Park, and Jaihie Kim ) 요 약 기존의보안ㆍ감시시스템은화각이좁은일반렌즈를주로사용하여천정이낮고실내가넓은환경에적용하기가어려웠다. 이를해결하기위해단순히카메라의수를늘리는방법은비용의증가와설치의어려움등의문제가있다. 따라서본논문에서는화각이 180 도인어안카메라를다수설치한사용자감시시스템을제안하였다. 단일어안카메라에서물체간의교차에의한가림현상이발생되는문제를해결하기위해서카메라간의상동관계를다중어안카메라시스템에적용하였다. 17 14 m 의공간의 2.5 m 높이에설치된 4 대의어안카메라에서 5 명이서로교차하면서움직이도록하여수행한결과, 단일어안카메라에서최대 46.1% 낮은검출율을보인반면제안된시스템에서 83.0% 로향상된성능을보였다. Abstract Since vision-based surveillance system uses a conventional camera which has a narrow field of view, it is difficult to apply it into the environment whose the ceiling is low and the monitoring area is wide. To overcome this problem, the method of increasing the number of camera causes the increase of the cost and the difficulties of camera set-up For these problems, we propose a new surveillance system based on multiple fisheye cameras which have 180 degree field of view. The proposed method handles occlusions using the homography relation between the multiple fisheye cameras. In the experiment, four fisheye cameras were set up within the area of 17 14 m at height of 2.5 m and five people wandered and crossed with one another within this area. The detection rates of the proposed system was 83.0% while that of a single camera was 46.1%. Keywords : Surveillance, Multiple Fisheye cameras, Homography Ⅰ. 서론 최근실내에서범죄감시와이동경로추적, 특정지역의이동량조사등을위한카메라기반의영상감시시 * 학생회원, *** 평생회원, 연세대학교전기전자공학과, 생체인식연구센터 (School of Electrical and Electronic Engineering, Yonsei University, Biometrics Engineering Research Center) ** 정회원, 동국대학교전자공학과, 생체인식연구센터 (Dept. of Electronics Engineering, Dongguk University, Biometrics Engineering Research Center) 본연구는 2002년도정부 ( 과학기술부 ) 의재원으로한국과학재단지정생체인식연구센터의지원을받아이루어졌습니다. (R112002105070020(2008)) 접수일자 : 2008년2월29일, 수정완료일 : 2008년5월7일 스템의설치가증대되고있다. 특히, 지하철, 주차장, 백화점등과같이천정이낮고실내가넓은공간에서카메라가설치되고있다. 이러한장소에서단일카메라를이용한영상감시시스템은카메라가획득할수있는시각적범위가한정되어있어광범위한지역에서사람의움직임이나행동패턴의추적이쉽지않다. 또한단일카메라를사용할경우움직이는물체간의교차에의한가림 (occlusion) 현상이발생하여물체를분리해내는작업이어렵게된다. 보다넓은공간을이동하는사람이나물체를감시하기위해화각이넓은전방향 (omnidirectional) 카메라를이용하여움직이는물체를추적하거나 [1 3] 여러대의카메라를넓은범위에걸쳐설치하는방법이활발하게 (326)
2008 년 7 월전자공학회논문지제 45 권 SP 편제 4 호 33 연구되고있다 [4 9]. 단일카메라에서움직임을모니터링하는감시자의역할이다중카메라로확대될경우여러영상을한번에모니터링해야하는부담이증가하며, 한카메라에서움직이는물체가다른카메라에서어떻게연관이되는지알기가힘들다는단점이있다. 이같은문제점들을해결하기위하여최근다중카메라를이용한영상감시시스템에서는카메라사이의관계를알아내어동일한물체의움직임을추적하는연구와카메라사이의정보교환에의한가림현상의해결에관한연구들이진행되고있다 [4 9]. 하지만기존방법들 [4 9] 에서는화각이좁은일반렌즈를사용하여천정이낮고넓은실내환경에서적용하기가어렵다. 본논문에서는천정이낮고넓은실내환경에서적용이가능한다중어안카메라를이용한영상감시시스템을제안하였다. 본논문은구성은다음과같다. II장에서는다중카메라를이용한영상감시시스템에서렌즈의선택에관하여설명한다. III장에서는본논문에서제안된다중어안카메라시스템에서카메라들사이의상동관계에의한움직이는물체검출방법을사전처리부와실시간처리부로나누어설명한다. IV장에서는천정이낮고넓은실내공간에서제안된시스템을실험및평가하였다. 마지막으로 V장에서는결론과향후연구과제에대해서논의한다. 그림 1. 천정이낮은실내환경에서렌즈의화각에따른공통영역의비교 [1 일반렌즈 ( 화각 :33 o 25 o ), 2 일반렌즈 ( 화각 : 65 o 49 o ), 3 광각렌즈 o ( 화각 : 154 115 o o ), 4 어안렌즈 ( 화각 :180 180 o )] Fig. 1. Comparison of the field of views (FOVs) in indoor environment [1 general lens (FOV:33 o 25 o ), 2 general lens (FOV: 65 o 49 o ), 3 wide o angle lens (FOV:154 115 o ), 4 fisheye lens o (FOV:180 180 o )] (a) (b) Ⅱ. 다중카메라를이용한영상감시시스템 다중카메라를사용하여가림현상을해결하기위해서는그림 1과같이각카메라의화각을겹치게배치하여공통된영역이존재하도록해야한다. 천정이낮고넓은실내환경에서설치된일반렌즈 [ 그림 1에서화각 1과화각2, 그림 2(a),(b)] 를사용할경우에그림에서보이는것처럼공통된부분이좁아넓은영역을감시할수가없다. 광각렌즈 [ 그림 1에서화각3, 그림 2(c)] 의경우에카메라를기울이면그림과같이공통영역이넓어지게된다. 하지만화각을겹치게배치하기위해카메라방향의조절이필요하다. 어안렌즈 [ 그림 1에서화각4, 그림 2(d)] 의경우카메라의광축을바닥면에수직으로설치하면수평면상의전방향에서감시가가능하게되어, 카메라사이에공통영역이항상존재하게된다. 또한어안카메라를물체보다높이설치할경우감시영역에서물체가화각에서벗어나게되는사각영역이없게된다. 기존에다중카메라를사용한영상감시시스템에서 (c) (d) 그림 2. 실제영상에서의화각과중심축비교 (a) 일반 렌즈 1, (b) 일반렌즈 2, (c) 광각렌즈 3, (d) 어안렌즈 4 Fig. 2. Comparison of the FOVs and principal axis (a) general lens 1, (b) general lens 2, (c) wide angle lens 3, (d) fisheye lens 4. 카메라사이의대응관계를찾는방법으로는영역기반의방법과점기반의방법이있다 [5]. 영역기반의방법은한카메라에서움직이는물체의영역과다른카메라에서의물체영역간의유사도를영상그레이값, 색정보등을기반으로찾는방법이다. 따라서넓은영역을감시하기위해카메라사이의거리를멀게설치하거나같은사물을다른방향에서바라보게설치하게되면카메라사이의공통영역에대한유사도가떨어지게된다는단점을 (327)
34 다중어안카메라를이용한움직이는물체검출연구배광혁외 갖는다. 점기반방법은삼차원공간에서카메라사이의위치관계를미리파악한후극상선 (epipolar line) 제약조건을이용한다. 하지만실제사용에서설치된카메라간의정확한관계를얻어내는것이어렵게된다. 이러한단점을극복하기위하여최근에는카메라사이의상동관계 (homography) 를이용한방법들이연구되고있다 [5 9]. 상동관계에의한영상감시방법은화각내의공통된영역에존재하는평면과물체의중심축을이용한다. 기존에어안렌즈가아닌화각이좁은일반렌즈를사용한시스템 [5 8] 에서는움직이는물체의중심축이형성하는두소실점 (vanishing points) 이영상에서그림 2(a),(b) 와같이 y축상의 ± 에존재하여중심축은 y축과평행한직선에서찾게된다. 광각렌즈 [ 그림 1에서화각3, 그림 2(c)] 의경우에그림과같이카메라를기울이면공통영역이넓어지게된다. 하지만렌즈의화각이커질수록반지름방향의왜곡이커지고, 광각렌즈를그림 1과같이기울여설치할경우에그림 2(c) 에서보이는것처럼, 물체의중심축은두소실점을지나는곡선이되다. 이러한이유로광각렌즈를사용할경우에설치할때마다소실점들을다시구해야한다는문제점이있다. 반면어안렌즈의경우에바닥면과수직으로설치하면물체의중심축이광축과평행하게되어하나의소실점은반지름방향의 + 에존재하고다른하나는영상의주점 (principal point) 에위치한다. 따라서반지름방향의직선위에서움직이는물체를검출하게된다. 따라서천정이낮고넓은실내환경에서가림현상에강인한감시시스템으로는넓은공통영역을갖고상동관계를쉽게적용하여가림현상을해결할수있는다중어안카메라시스템이적합하다. Ⅲ. 다중어안카메라를이용한움직이는물체검출방법제안된다중어안카메라를이용한영상감시시스템은광축이바닥면과수직하도록천정에설치된 개의어안카메라로구성되고이시스템의전체흐름도는그림 3과같다. 전체시스템은카메라설치후에카메라사이의관계를구하는사전처리부와단일어안카메라에서움직이는물체를검출한후에전체카메라의정보를융합하여가려진물체를구별하고색인하는실시간처리부로구성된다. 그림 3. 전체시스템흐름도 Fig. 3. Block diagram of the overall system. 1. 사전처리부 다중어안카메라설치후어안카메라의내부변수와각카메라사이의상동관계를미리구한다. 가. 어안카메라의캘리브레이션 어안카메라영상에서반지름방향의왜곡모델과카메라내부변수 ( 초점거리, 주점, 종횡비 ) 를추정하여입력된영상의좌표와원근투영 (perspective projection) 좌표사이의변환관계를알아낸다. 원근투영시의반 지름방향길이 r u 는식 (1) 과같이그림 4의초점거리 f 와 tanθ 함수의곱형태로표현된다 [10]. r f tanθ u = (1) 어안렌즈의구면수차에의해서왜곡된반지름방향길이 ( rd ) 는식 (2) 와같이무한급수로표현이가능하다 [10]. d 3 5 7 9 ( θ) θ θ θ θ θ r k k k k k = 1 + 2 + 3 + 4 + 5 +K (2) 본논문에서는식 (2) 의왜곡함수 rd 에대해 9차방정식을사용하였고, Brandt 의방법을이용하여어안카메라의왜곡변수 ( k1,..., k 5) 와내부변수 ( 초점거리, 주점, 종 횡비 ) 를추정하였다 [10]. 입력받은영상의좌표 x 에서 와 φ 를구하고식 (2) 에의해 θ 를구하면원근투영좌표는식 (3) 과같이표현된다. xu cosφ ˆ = = f tanθ y u sinφ x (3) 원근투영된좌표 ˆx 는계산편의를위해사영평면 (projective plane) 의좌표 x% = ( x,,1) T u yu 를사용한다. 그림 4(b) 는캘리브레이션을위한평면패턴영상과그영상을추정된왜곡변수로보정한결과를보여준다. rd (328)
38 다중어안카메라를이용한움직이는물체검출연구배광혁외 Ⅳ. 실험 본논문에서는실험을위하여그림 8 과같이 17m 14m 실내환경에서네대의어안카메라를바닥으로부터 2.5 m 높이에수직으로설치하였다. 어안렌즈는 Fujinon 사의 YV2.2x1.4A-2 [14] 를사용하였고이를네트워크카메라에연결하여영상을획득하였다. 입력영상의크기는 1032 779 pixels이고, 초당 3.5 frames 속도로카메라사이의동기를맞추어동영상을취득하여실험하였다. 실험영상은천정을통해태양광이입사되는실내환경에서취득되었다. 사전처리부는입력영상크기에서수행하였고, 카메라사이의상동관계는바닥면위의타일을이용하여 10개의좌표를가지고 DLT 방법 [13] 으로구했다. 기준카메라영상에각카메라의대응좌표를상동관계와어안렌즈내부변수의해서다시투영했을때, 기준카메라영상좌표와각카메라의대응좌표사이의평균오차는평균 2.18 픽셀이었다. 그 림 9(b) 는상동관계에의한각카메라의사영평면을카메라 1에정합한결과와카메라위치를보여준다. 실시간처리부는 516 390 pixels으로다운샘플링된영상에적용되었다. 성능평가를위해서검출율은다음 (a) 그림 8. 실험환경 Fig. 8. Experimental environment. 표 1. 개별카메라를사용한방법과제안된방법의 검출율비교 Table 1. Comparison of detection rates. 실험환경 검출율 (%) 사단일카메라성능제안측정프레람카메라카메라카메라카메라방법시간임수수 1 2 3 4 성능 2 4분 33초 955 87.3 82.9 77.3 81.3 98.3 3 7분 44초 1624 69.8 72.0 69.8 70.9 95.9 4 6분 16초 1314 58.1 54.7 50.8 55.2 87.1 5 7분 08초 1498 44.4 45.5 46.1 40.3 83.0 (b) 그림 9. 실험결과예시 (a) 가림현상이있을때움직 이는물체후보검출과후보결정후어안카메라사이의연관관계를표시한영상, (b) (a) 에서상동관계를사용하여기준카메라의사영평면에각카메라의위치와중심축을표기하고움직이는물체를검출한결과 Fig. 9. Example of experimental result (a) Detection of moving object candidates and labelling of moving objects with occlusion, (b) Principal axes and camera positions on projective plane of camera 1 with the detection of moving objects. (332)
2008 년 7 월전자공학회논문지제 45 권 SP 편제 4 호 39 과같이식 (15) 에정의하였다. 검출율측정을위해정해진인원이감시영역을서로교차하면서돌아다니도록하였다. 검출율 검출된인원이실제인원과같은프레임수 (15) 전체프레임수 그림 9는실험결과를보여준다. 그림 9(a) 는각어안카메라의영상에서움직이는물체를검출한결과를보여준다. 그림 9(b) 는각카메라에서검출된움직이는물체들을기준카메라에서바라본가상평면으로변환하고각중심축들의교차점을추출하여최종적으로얻어진움직이는물체들의위치를나타낸다. 그림 9(b) 에서각카메라에서가려진물체는각카메라의주점과직접적으로연결된선분이존재하지않는다. 그림 9의물체들사이의상호간교차에의해구별이되지않았던후보가 ( 카메라 1의 5번, 카메라 2의 5 번, 카메라 3의 3번와 2번, 카메라 4의 1번 ) 제안된방법을수행하여해결되었다. 표 1은움직이는인원수를변화시키면서실험하였을때단일카메라를사용한경우와제안한시스템을물체검출율로비교하였다. 인원수를증가할수록단일카메라에서움직이는물체의가림현상이빈번히발생하여검출율이급격히낮아졌지만제안된방법의경우검출율이높게유지되는것을발견할수있었다. 2명이움직였을때단일카메라에서최대 87.3% 이나제안된방법은 98.3% 로향상되었으며, 5명이움직였을경우 46.1% 에서 83.0% 로성능이향상되었다. 다중어안카메라를사용하여도성능이 100% 가안나오는이유는두물체사이가너무가까운경우이다. 이는연속적인추적방법과결합하면해결될수있을것이다. Ⅴ. 결론 본연구에서는천정이낮고넓은실내공간에서움직이는물체의위치및개수를파악할수있는다중어안카메라기반감시시스템을제안하였다. 제안된방법에서는일반적인화각을가지는렌즈가아닌전방향의화각을갖는어안렌즈를사용하여천장이낮고넓은실내에서보다넓은영역을감시하는것을가능하게하였으며, 다중어안카메라와각카메라들간의상동관계를사용하고움직이는물체와관련이없는교차점제거방법을제안함으로써움직이는물체간에나타나는가림현상문제를효과적풀수있었다. 향후검출된물체들의위치를연속적으로추적하는알고리즘과결합하여성능을향상시키는연구를수행하고자한다. 참고문헌 [1] 배광혁, 박강령, 김재희, 전방향카메라영상에서 사람의얼굴위치검출방법, 대한전자공학회하계 종합학술대회, 30권, 1호, 2007. [2] K. Bae, K. R. Park, and J. Kim, 3D Head Position Estimation using a Single Omnidirectional Camera for Non-intrusive Iris Recognition, MRCS 2006, LNCS, Vol. 4105, pp. 167-174, 2006. [3] K. Bae, K. R. Park, and J. Kim, Tracking Head Positions in Three Dimensional Space by Using a Single Omnidirectional Camera, Optical Engineering, Vol. 47, No. 4, 2008. [4] W. Hu, T. Tan, L. Wang, and S. Maybank, A survey on visual surveillance of object motion and behaviors, IEEE Trans. Systems, Man, and Cybernetics, Part C: Applications and Reviews, Vol. 34, no. 3, pp. 334 352, 2004. [5] W. Hu, M. Hu, X. Zhou, T. Tan, J. Lou, and S. Maybank, Principal axis-based correspondence between multiple cameras for people tracking, IEEE Trans. Pattern Recognition and Machine Intelligence, Vol. 28, no. 4, pp. 663 670, 2006. [6] L. Lee, R. Romano, and G. Stein, Monitoring Activities from Multiple Video Streams: Establishing a Common Coordinate Frame, IEEE Trans. Pattern Recognition and Machine Intelligence, Vol. 22, no. 8, pp. 758-767, 2000. [7] K. Kim and L. S. Davis, Multi-camera Tracking and Segmntation of Occluded People on Ground Plane Using Search-Guided Particle Filtering, ECCV 2006, Part III, LNCS, Vol. 3953, pp. 98-109, 2006. [8] W. Du and J. Piater, Muti-camera People Tracking by Collaborative Particle Filters and Principal Axis-Baed Integration, ACCV 2007, Part I, LNCS, Vol. 4843, pp. 365-374, 2007. [9] E. Garcia and L. Altamirano, Decision Level Multiple Camera Fusion Using Dezert- Smarandache Theory, CAIP 2007, LNCS, Vol. 4673, pp. 117-124, 2007. [10] S. S. Brandt, A Generic Camera Model and Calibration Method for Conventional, Wide-Angle, and Fish-Eye Lenses, IEEE Trans. Pattern Recognition and Machine Intelligence, Vol. 28, no. 8, pp. 1335-1340, 2006. (333)
40 다중어안카메라를이용한움직이는물체검출연구배광혁외 [11] T. Horprasert, D. Harwood, and L.S. Davis, A statistical approach for real-time robust background subtraction and shadow detection, in Proc. IEEE ICCV 99 FRAME-RATE Workshop, 1999. [12] P. KaewTraKulPong and R. Bowden, An Inproved Adaptive Background Mixture Model for Realtime Tracking with Shadow Detection, in Proc. European Workshop on Advanced Video Based Surveillance Systems (AVBS01), 2001. [13] R. Hartley and A. Zisserman, Multiple View Geometry in computer vision, Cambridge University Press, 2003. [14] http://www.fujinon.com/ (accessed on 2008.02.26) 배광혁 ( 학생회원 ) 2001 년건국대학교전자공학과학사졸업. 2003 년연세대학교전기전자공학과석사졸업. 2008 년연세대학교전기전자공학과박사과정. < 주관심분야 : 지능형감시시스템, 생체인식, 컴퓨터비전 > 저자소개 박강령 ( 정회원 ) 1994 년연세대학교전자공학과학사졸업. 1996 년연세대학교전자공학과석사졸업. 2000 년연세대학교전기 컴퓨터공학과박사졸업. 2000 년 2 월 ~2003 년 2 월 LG 전자기술원 Digital Vision Group 선임연구원. 2003 년 3 월 ~2008 년 2 월상명대학교소프트웨어대학디지털미디어학부조교수. 2008 년 3 월 ~ 현재동국대학교전자공학과조교수. 2003 년 8 월 ~ 현재생체인식연구센터총괄과제책임자. < 주관심분야 : Biometric 영상처리, 패턴인식, 컴퓨터비전 > 서재규 ( 학생회원 ) 2005 년인하대학교전자공학과학사졸업. 2007 년연세대학교전기전자공학과석사졸업. 2008 년연세대학교전기전자공학과박사과정. < 주관심분야 : 지능형감시시스템, 생체인식, 컴퓨터비전 > 김재희 ( 평생회원 )- 교신저자 1979 년연세대학교전자공학과학사졸업. 1982 년 Case Western Reserve University 전기공학과석사졸업. 1984 년 Case Western Reserve University 전기공학과박사졸업. 2008 년연세대학교전기전자공학부교수. 2008 년 ( 과학기술부 / 과학재단지정 ERC) 생체인식연구센터소장. 2008 년한국바이오인식포럼의장. 2008 년한국공학한림원정회원. < 주관심분야 : 생체인식, 패턴인식, 컴퓨터비전, 영상인식 > (334)