한국산학기술학회논문지 Vol. 6, No. 4, pp. 349-354, 2005 움직임추정에기반한단일이동객체추적 오명관 1* Tracking of Single Moving Object based on Motion Estimation Myoung-Kwan Oh 1* 요약컴퓨터비전에관한연구는인간의시각능력을대신할시스템을구축하고자하는것으로특히이동객체추적시스템은최근중요한연구분야로대두되고있다. 본연구에서는움직임추정에기반한단일이동객체를추적할수있는시스템을제안하였다. 추적시스템은차영상기법을이용하여객체의움직임을추정하고, 카메라의 Pan/Tilt를제어함으로서이동객체를추적할수있도록하였다. 구현된시스템은영상획득및전처리단계, 움직임추정단계, 객체추적단계로구성하였다. 실시간추적실험을실시한결과이동객체의움직임을추정할수있었고, 추적과정에서도객체를잃어버리지않고정상적으로추적할수있었다. Abstract The study on computer vision is aimed on creating a system to substitute the ability of human visual sensor. Especially, moving object tracking system is becoming an important area of study. In this study, we have proposed the tracking system of single moving object based on motion estimation. The tracking system performed motion estimation using differential image, and then tracked the moving object by controlling Pan/Tilt device of camera. Proposed tracking system is devided into image acquisition and preprocessing phase, motion estimation phase and object tracking phase. As a result of experiment, motion of moving object can be estimated. The result of tracking, object was not lost and tracked correctly. Key words : 이동객체추적, 움직임추정, 차영상 1. 서론 1) 최근컴퓨터비전및영상처리분야에서일련의동영상으로부터움직이는객체를검출하고추적하는시스템에대한관심이점차높아지고있다. 이러한연구는보안감시분야 [1,2] 는물론기상관측시스템, 지능형교통관제시스템 [3], 군사적인분야 [4] 등다양한분야에활용되고있으며보다높은정확도와고속처리를위한많은연구가진행되고있다. 특히정보화의발전에따라정보의유출및도난방지를위한보안감시의필요성이증가함에따라이동객체검출및추적기술은보안감시분야에서매우중요한기술로대두되고있다. 컴퓨터비전에관한연구는인간의시각능력을대신할본연구는 2004년도혜전대학교내연구비지원에의하여수행되었음. 1 혜전대학컴퓨터과 * 교신저자 : 오명관 (mkoh@hyejeon.ac.kr) 시스템을구축하고자하는것으로특히실시간이동객체추적시스템은최근중요한연구분야로대두되고있으며다양한연구가진행되고있다. 이러한이동객체추적시스템은그핵심인카메라와객체의관계에따라다음두가지경우로크게나누어볼수있다. 우선고정된카메라와움직이는객체에관한것 [5,6] 으로주로동작인식분야에이용되고있다. 연속되는영상에서움직임정보를추출하고이러한움직임에관한정보를활용하는것이다. 공장의무인품질검사, 접근위험에대한경보분야, 차량무인감시카메라, 무인보안감시분야등에널리이용된다. 움직이는카메라와움직이는객체에관한연구 [7,8] 는가장일반적인자연현상을표현할수있으나객체뿐만아니라카메라가이동되기때문에배경의변화를극복하는것이어렵다. 움직이는배경속에서움직이는객체를검출해내고배경과무관하게움직이는객체를추적하는것이핵심적인과제이다. 본연구에서는원격제어에의해상하좌우이동이가 349
한국산학기술학회논문지제 6 권제 4 호, 2005 능한장치에고정된카메라를이용하여움직이는단일이동객체를추적할수있는시스템을구현하였다. 추적시스템은차영상기법에기반한움직임추정단계와추정된중심점좌표를기준으로카메라를제어하는추적단계로구성되어있다. 2. 움직임추정기법 본장에서는이동객체의움직임을추정하기위한기법의각단계에대하여설명하였다. 제안한움직임추정기법은그림 1과같은과정을통해수행된다. 이동객체의움직임을추정한다는것은객체를포함하는최소사각형인 MBR(Minimum Bounding Rectangle) 을결정하고그영역의중심점좌표를얻는것이다 [9]. 1. 차영상의히스토그램을구한다. 2. 히스토그램에 MAF(Moving Average Filter) 를취한다. 이때, 필터의마스크크기는 25로하였다. 3. 스무딩된히스토그램에대해인접명도값에대한기울기계산 4. 기울기그래프에대해 MAF 를취한다. 5. 명도값 0에서명도값이증가하는방향으로기울기값조사 ⅰ. 기울기값이음수이고, 그크기가 20이하인지점선택 ⅱ. 선택지점의이전구간에대해기울기의크기가증가하는구간인지감소하는구간인지를조사 ⅲ. 감소하는구간이면조사를종료하고, 그렇지않으면 5번과정반복 6. 선택된지점의명도값에서부터가장큰명도값까지의범위를계산, 범위의 5% 에해당되는값을더하여임계값결정그림 2. 차영상에서임계값결정알고리즘 이전영상현재영상 Histogram Equalization 차연산차연산및이진화이진화이진차영상블록블록단위단위재귀적재귀적 Labeling 면적계산및잡음제거 영상획득및전처리움직임추정 3. 추적시스템 본연구에서구현된추적시스템에서추적단계는움직임추정과정에서얻어진중심점좌표를이용하여 Pan/Tilt 장치를제어하는과정이다. 중심점좌표를 Pan과 Tilt의절대값으로변환한후, RCM 제어명령을생성한다. 이명령을 RCM(Robotic Camera Mount) 장치에전달함으로서카메라의중심을이동하게된다. 종료명령이주어지지않으면시스템은주어진시간간격으로위의과정을반복하면서연속적으로추적을수행한다. 시작 현재현재이동이동객체객체영역영역결정결정중심좌표그림 1. 움직임추정순서도움직임추정과정은이전영상과현재영상의차영상을구하는것으로부터시작된다. 히스토그램평활화과정은차영상의특성상조명등의외부환경변화에민감하므로이것을보완하기위한전처리과정이다. 얻어진차영상은임계값을적용하여이진화된다. 이때임계값결정알고리즘은그림 2와같다 [10]. 이진차영상에대해레이블링을수행하여잡음을제거하고현재영상에서의움직임영역을결정한다. 마지막으로결정된움직임영역에대한중심점좌표를계산함으로서움직임추정을수행한다. 영상획득단계 카메라로부터시간간격을두고두개의칼라영상을획득하여 그레이스케일영상으로변환한다. 그레이스케일 영상 이동객체영역검출단계 차영상기법등을이용하여이동객체영역을결정하고중심점 좌표를구한다. 중심점좌표 추 좌표변환단계 영역검출단계에서영상좌표를 RCM 장치에맞는 pan 및 tilt 의 적 절대값으로변환한다. 단 계 RCM 제어단계 RCM 명령을장치에전달하여 카메라를이동하여객체를영상 중앙에오도록한다. No 종료? Yes 종료 그림 3. 제안된추적시스템처리흐름도 350
움직임추정에기반한단일이동객체추적 본연구에서구현된추적시스템은그림 3에서와같이세개의과정으로구성되었다. 우선영상획득단계는카메라로부터획득되는동영상열에서시간간격을두고두개의칼라영상을얻는다. 먼저획득한영상이이전영상이되고, 나중에얻어진영상이현재영상이된다. 이렇게얻어진칼라영상은그레이스케일영상으로변환된다. 움직임추정단계는 2장에서제안된움직임추정기법을이용하여이동객체의움직임영역을결정하고, 그영역의중심점좌표를얻는단계이다. 그림 4는구현된시스템의메인화면이다. 상단왼쪽이이전영상을상단중앙에현재영상을보여주게되어있다. 상단우측은현재실시간으로카메라를통해입력되는동영상을보여준다. 하단왼쪽화면은이동객체영역을검출한결과를보여준다. 사각형으로표시된부분이검출된이동객체영역에해당된다. 하단우측화면은 Pan/Tilt 장치를제어하여카메라의방향이이동한후의추적결과영상을나타낸다. 하단우측에서실험에필요한각종변수를입력할수있도록하였다. 변경이가능한변수는이진차영상을얻기위한임계값결정에관한사항, 레이블링을위한블록의크기, 잡음영역결정을위한기준값및반복수행을제어하기위한시간간격이있다. 표 1. 실험환경 구분환경 CPU 운영체제 PentiumⅣ 1.6GHz Windows 2000 Server 구현언어 Visual C++ V6.0 카메라 Scaneye SNC-320 ( 삼성전자 ) 카메라화각 (view angle) Pan/Tilt 장치 실험장소 수평 : 40.5 수직 : 30.7 영상크기 320 240 TransitRCM (Surveyor) 영상포멧 bmp ( 비트맵 ) 4.2 이동객체추적장치 충북대학교컴퓨터비전연구실 이동객체추적은이동하는객체가항상카메라비디오스트림의중앙부위에위치하도록카메라를상하좌우로조정하는과정이다. 즉, 움직임추정단계에서결정된객체의중심점좌표를이용하여이좌표값이영상의중앙에위치하도록하는것이다. 이러한추적을위해그림 5와같이상하좌우로제어가가능한 Pan/Tilt 장치에카메라를장착하였다. 본연구에서는 Surveyor사의 TransitRCM 장치를사용하였다. 그림 4. 추적시스템화면 4. 실험및결과 4.1 실험환경이동객체의움직임추정및추적을위한시스템은 IBM 호환 PC에서 Visual C++ 언어를사용하여구현하였다. 실험에사용된영상은충북대학교컴퓨터비전연구실에서획득한영상을사용하였다. 실험영상의크기는 320 240이다. 실험에사용된제반환경은표 1과같다. 그림 5. 추적에사용된 TransitRCM 장치이장치는초당 240 이상의최대제어속도를제공하며고속의위치변경이가능하다. 또한그림 6과같이좌우이동및상하이동범위는각각 180 를제공하는데이범위는 128단계로나누어제어된다. 351
한국산학기술학회논문지제 6 권제 4 호, 2005 127 step top 64 64 bottom 0 step 0 left right 127 step (a) 상하이동 (Tilt) 그림 6. RCM 이동범위및제어단위 (b) 좌우이동 (Pan) 4.3 실험결과및분석본연구에서구현한단일이동객체의추적시스템의성능을평가하기위해다양한실험을실시하였다. 우선이동객체의다양한변화에대하여움직임추정이정상적으로이루어지고추적이가능한가를실험하였다. 그결과그림 7, 그림 8, 그림 9, 그림 10와같이정상적인추적이가능함을확인하였다. 그림 7은객체의움직임이많아객체의이전영역과현재영역이분리가되는경우이고, 그림 8은객체의움직임이적어이전영역과현재영역이분리되지않는경우의결과이다. 또한그림 9와그림 10 은객체의크기가변화하는경우에대하여움직임추정및추적이가능한가를실험한결과이다. 그림에서 (a) 는이전영상이며, (b) 는객체가이동한후의현재영상이다. 또한 (c) 는움직임추정결과로서사각형으로표시된영역이현재객체가위치한영역으로추정한결과이며, (d) 는카메라를제어하여객체를추적한결과영상이다. 그림 8. 객체의움직임적은경우에대한결과 그림 9. 객체의크기가커진경우에대한결과 그림 7. 객체의움직임많은경우에대한결과 그림 10. 객체의크기가작아진경우에대한결과 352
움직임추정에기반한단일이동객체추적 다음으로는사람이일상적인속도로이동하는환경에서실시간추적실험을실시하였다. 사람이카메라와멀리떨어진곳에서나타나연구실내를좌우로또는카메라가까이에다가왔다가멀어지는등이동을실시하였다. 그림 11에추적결과의일부를정리하였다. 그림 11 의결과는동영상으로부터일정한시간간격을두고캡쳐한영상이다. 카메라의상하좌우이동에소요되는시간을고려하여추적결과영상을저장하였다. 용하였다. 차영상기법에있어임계값의결정은시스템의성능을좌우하는중요한요소로본연구에서는차영상의히스토그램을분석하여영상의명도값분포특성을반영할수있는적응적방법을사용하였다. 추적단계는움직임추정단계에서제공된중심점좌표를이용하여카메라가장착된 Pan/Tilt 장치의절대좌표를계산한다. 이절대좌표를제어명령과함께컴퓨터의직렬포트를통해장치에전달함으로서이동객체를추적하게된다. 구현된이동객체의실시간추적시스템의성능을평가하기위해사람이보통의속도로이동하는환경에서실시간추적실험을실시하였다. 그결과객체를잃어버리지않고정상적으로추적할수있었다. 본연구에서는영상내에이동객체가하나인것으로한정하였다. 향후에추적시스템을보안감시분야에적용하기위해서는다중객체의이동에대해서도추적이가능하여야할것이다. 이러한다중객체의추적을위해객체인식기술및이동경로정보를활용하는방안에대하여계속적인연구가필요할것으로생각된다. 또한이진차영상에서객체의이전영역과현재영역이겹치는경우에도정확하게현재객체영역을검출할수있는해결책이연구된다면보다우수한성능을갖는시스템으로발전할것으로판단된다. 참고문헌 그림 11. 이동객체실시간추적결과영상 5. 결론 본연구에서는고정된카메라를이용하여단일이동객체를추적하기위한시스템을구현하였다. 추적시스템의구성은영상획득단계, 이동객체의움직임추정단계및추적단계로구성하였다. 영상획득단계는연속된동영상열에서일정한시간간격을두고두개의칼라영상을획득하는과정으로획득된칼라영상은그레이스케일영상으로변환된후히스토그램평활화처리를수행하였다. 움직임추정단계는객체를포함하는최소사각형을검출하고, 검출된객체영역의중심점좌표를결정하는과정이다. 이동객체영역검출을위해차영상기법을사 [1] 박천주, 박희정, 이재협, 전병민, 움직임검출의캠제어에의한웹기반이동객체추적, 한국콘텐츠학회논문지, 제2권제2호, 2002, pp.17-26 [2] A. Bakowski, G.A. Jones, Video Surveillance Tracking using Color region Adjacency Graphs, Image Processing and its Applications, Conference Publication No.465, 1999, pp.794-798 [3] 김강석, 신경회로망과특징벡터를이용한다중표적추적알고리즘, 부산대학교, 석사학위논문, 2001 [4] Hai Tao, Harpreet S. Sawhney, Rakesh Kumar, Object Tracking with Bayesian Estimation of Dynamic Layer Representations, IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol.24 No.1, 2002, pp.75-89 [5] 박병욱, 이동객체추적에관한연구, 동의대학교대학원, 석사학위논문, 2001 [6] 이진성, 움직임백터의신뢰도에기반한이동목표물추적기법, 한국과학기술원, 석사논문, 1999 [7] 전춘, 이주신, 이동카메라영상에서이동물체의 353
한국산학기술학회논문지제 6 권제 4 호, 2005 실시간추적, 정보처리학회논문지, 제9-B권제4호, 2002, pp.465-470 [8] 설성욱, 동적환경에서의강인한다중물체추적알고리즘, 부산대학교대학원, 박사학위논문, 2003 [9] 오명관, 한군희, 최동진, 전병민, 차영상을이용한이동객체추적, 한국톤텐츠학회 2004 춘계학술대회, 제2권 1호, 2004, pp.396-400 [10] 오명관, 김태익, 최동진, 전병민, 차영상에서의히스토그램을이용한적응적임계값결정, 한국콘텐츠학회논문지, 제4권 3호, 2004, pp.91-97 오명관 (Myoung-Kwan Oh) [ 정회원 ] 1990 년 2 월 : 충북대학교컴퓨터공학과 ( 공학사 ) 1993 년 2 월 : 충북대학교컴퓨터공학과 ( 공학석사 ) 2004 년 8 월 : 충북대학교컴퓨터공학과 ( 공학박사 ) 1994 년 9 월 ~ 1999 년 2 월 : 고려정보테크 ( 주 ) 선임연구원 1999 년 3 월 ~ 현재 : 혜전대학컴퓨터과조교수 < 관심분야 > 패턴인식, 영상처리, 컴퓨터비전 354