Journal of Insue of Conrol, Robocs and Sysems (0) 8(6):56-570 hp://d.do.org/0.530/j.icros.0.8.6.56 ISS:976-56 eiss:33-4335 물체특징과실시간학습기반의파티클필터를이용한이동로봇에서의강인한물체추적 Robus Objec rackng n Moble Robos usng Objec Feaures and On-lne Learnng based Parcle Fler 이형호, 최학남, 김형래, 마승완, 이재홍, 김학일 * (Hyung-Ho Lee, Xuenan Cu, Hyoung-Rae Km, Seong-Wan Ma, Jae-Hong Lee, and Hak-Il Km ) LIG e Inha Unversy Absrac: hs paper proposes a robus objec rackng algorhm usng objec feaures and on-lne learnng based parcle fler for moble robos. Moble robos wh a sde-vew camera have problems as camera jer, llumnaon change, objec shape varaon and occluson n varey envronmens. In order o overcome hese problems, hsogram and HOG descrpor are fused for effcen represenaon of an objec. Parcle fler s used for robus objec rackng wh on-lne learnng mehod IPCA n non-lnear envronmen. he valdy of he proposed algorhm s revealed va epermens wh DBs acqured n varey envronmen. he epermens show ha he accuracy performance of parcle fler usng combned and shape nformaon assocaed wh onlne learnng (9.4 %) s more robus han ha of parcle fler usng only nformaon (7. %) or parcle fler usng shape and nformaon whou on-lne learnng (90.3 %). Keywords: objec rackng, parcle fler, HOG, hsogram, IPCA, moble robos I. 서론최근로봇은다양한분야에서필요와요구에따라그개발분야도다양화되어가고있다. 자동화공장에서의로봇부터지능화된이동로봇까지그범위는점차늘어나고그와더불어카메라를이용한컴퓨터비전기술의요구도늘어나고있는추세이다. 로봇에서의컴퓨터비전기술은로봇의시각의역할을수행한다. 특히카메라나다른비전센서로부터획득된데이터에서특정물체를추적하는것은그정보를제어부에전달함으로써다른부가적인기능을수행하는데큰역할을하며이를위해높은정확성을가진추적이요구되었다. 또한응용의목적에따라추적해야하는대상과대상이가지는특징, 주변환경의요소들이다르기때문에적절하게추적이수행될수있도록고려해야하는사항도많다. 자율이동로봇에서의추적은다양한환경에서이루어져야하기때문에많은문제가존재하게된다. 일반적으로카메라의떨림, 조명의변화, 물체의형태의변화, 복잡한배경, 다른물체에의한가려짐과같은많은외부적요인에의해서성능에많은영향을미치게된다. 이러한문제점을해결하기위해다양하게변화하는외부환경에대해서강인하게물체를추적할수있도록많은연구가진행되고있다 []. * 책임저자 (Correspondng Auhor) 논문접수 : 0..., 수정 : 0. 3. 7., 채택확정 : 0. 5. 3. 이형호 : LIG e(hyungho.lee@lgne.com ) 최학남, 이재홍, 김학일 : 인하대학교정보공학과 (ncu@vson.nha.ac.kr/jaehong@vson.nha.ac.kr/hkm@nha.ac.kr ) 김형래, 마승완 : 인하대학교로봇공학과 (hrkm@vson.nha.ac.kr/swma@vson.nha.ac.kr) 본연구는 00 지식경제부산업원천기술개발사업 (480) 의지원에의하여연구되었음. 물체를추적하기위해서는영상내의물체의특징을이용하여야한다. 이동로봇과같은환경의동적카메라에서물체의특징을이용하는방법에는크게두가지가있다. 첫번째는학습을통해형성된정보를이용하여영상내에서직접적으로물체를검출하여추적하는방법이다 [-4]. 이는다양한환경에서많은학습을수행하여야좋은성능을기대할수있으며, 시간적으로많은노력이필요한방법이다. 두번째는물체영역에대해서확률적으로물체를표현하여추적하는방법이다 [5-0]. 초기화를통해추적할물체의정보를특징화하고이를통해연속적인프레임에서비슷한특징을가지는영역을통해물체를추적하는방법이다. 최근두방법을혼합하여다양한응용에서물체를추적하는연구가진행되고있으며, 이는기존의방법보다외부적인요인에강인한성능을보이고있다 [4,-0]. 환경에맞는물체추적을위해서는물체의특징을정의하는것도중요한요소이다. 색상히스토그램은기존의많은연구에서물체추적을위해사용되어왔던특징이다 [4-9,4]. 하지만조명의변화가빈번한환경에서는물체를표현하기에충분하지못하다. 최근물체를효과적으로표현하고자 HOG (Hsogram of Orened Gaussan) 방법이연구되었다 [4,4, 6,7]. 영상내에서물체의형태를표현하기에적합하며, 조명의변화에강인한성질을나타내어많은물체추적응용에서사용되고있다. 본논문에서는측면카메라를이용한이동로봇에서발생하는빠르게변화하는배경, 조명의변화, 물체형태의변화등의문제점에강인한물체추적알고리즘을제안한다. 물체의특징을보다세밀하게표현하기위해색상히스토그램과 HOG 서술자를혼합하여이용하였으며, 비선형적인환경에 Copyrgh ICROS 0
물체특징과실시간학습기반의파티클필터를이용한이동로봇에서의강인한물체추적 563 적합한추적알고리즘인파티클필터 (Parcle fler) 를통해물체를추적하였다. 또한추적된물체의정보를실시간으로학습하고지속적으로변화하는물체의주요성분을이용하여기존의방법보다추적성능을높였다. 본논문의구성은다음과같다. 제 I 장에서는본논문에대한서론이며, 제 II 장에서는물체추적알고리즘의전반적구성을소개한다. 제 III 장에서는물체추적을위한특징추출에대해소개하고, 제 IV 장에서는 IPCA (Incremenal Prncpal Componen Analyss) 를이용한실시간학습방법을소개한다. 제 V 장에서는물체특징을혼합하고실시간학습을이용한파티클필터기반의알고리즘을제안한다. 제 VI 장에서는실험을통해제안된알고리즘의성능을검증하며, 제 VII 장에서는연구에대한결론및향후과제에대해기술한다. II. 물체추적알고리즘의전반적구성측면카메라를이용한이동로봇에서의물체추적은이동로봇의움직임과물체의움직임이독립적이며, 추적하는물체는그형태를지속적으로유지하지않는다. 또한실제환경에서물체는빛의변화에따라물체가가지는색상의변화를가져올수있다. 따라서이러한영향에보다강인하게하기위해서는선형적이지않은움직임을추적할수있어야하며, 물체의형태와색상의변화에따라지속적으로물체를모델링하여야한다 [4]. 이동로봇의이동과독립적인물체의이동으로발생하는비선형적인움직임을보다효과적으로추적하기위해파티클필터를이용하여물체를추적한다. 또한물체의형태와색상특징을추출하여물체를모델링하며, 연속되는프레임영상에서의물체의형태와색상을강인하게측정하기위해실시간학습방법을사용한다 [5-9]. 실시간학습방법을사용하면형태와색상이변화하는물체에서의대표적인성분을통해모델링할수있다는점에서물체추적에보다효과적이다. 제안된알고리즘의순서도는그림 과같다. 그림. 이동로봇에서의물체추적순서도. Fg.. Objec rackng n moble robos flow char. 입력된영상에서추적하고자하는물체의 ROI를선택하고, ROI의영역을 64의영상으로크기를재설정한후, ROI 내에서형태특징을나타낼수있는 HOG 서술자와색상특징을나타내는색상히스토그램을형성한다. 영상의크기를재설정하는이유는물체의특징의차원을줄이고, 주요특징성분만계산하기위함이다. 형성된두특징은실시간학습이진행되기전까지의 프레임까지물체를표현하는초기특징으로사용된다. 초기화를통해영상전체에분포된파티클영역에서 HOG 서술자와색상히스토그램을각각계산하고, 이를이용하여초기특징과의유사성을통해각파티클의가중치를부여한다. 각파티클의가중치에따라가중합을구하여현재프레임에서의물체의위치를계산하며, 물체의위치에서의색상과형태특징은실시간학습을위해초기정해놓은 프레임까지누적을한다. 프레임이후부터는누적된형태와색상특징을실시간학습방법중하나인 IPCA를이용하여대표적인성분을계산한다 [5,6]. 이성분은앞으로각파티클에서계산된색상과형태특징을재구성하는데사용된다. 현재프레임에서각파티클에서계산된색상과형태특징과재구성된색상과형태특징과의유사성을계산하여각파티클에가중치를부여한다. 이후 프레임이전의계산과같이파티클들의가중합을통해물체의위치를계산하며, 이위치에서의색상과형태특징을누적함과동시에오래된특징을제거한다. 제안된알고리즘의 는 40으로정의하였다. III. 물체추적을위한특징추출이동로봇에서의물체추적은추적하고자하는물체의특징을환경에맞게정의해야하고물체를잘표현해야하는두가지를만족해야한다. 환경에맞게물체의특징을정의하기위해서는그환경이먼저고려되어야한다. 환경이복잡하지않고추적하고자하는물체가구분하기명확하다면색상이나형태혹은다른종류의단일특징만으로물체를기술하는것이적절하다. 하지만이동로봇에서의환경과같이다양하고동적인배경을가지는환경이라면물체가가지는특징을정의하기란쉽지않다. 따라서다중의특징을이용하는것이적합하다. 물체가가지는특징을적절하게정의하기위해서본논문에서는색상히스토그램과 HOG를이용한다.. Color hsogram 컴퓨터비전에서가장많이사용되는물체를표현하는특징은색상히스토그램이다 [5-9]. 색상히스토그램은 RGB, HSV, YCbCr 등다양한채널영역에서계산해낼수있으며, 이를기반으로많은응용분야에서사용되고있다. 색상히스토그램을계산해내기위해서는몇개의채널을사용할것인지와몇개의양자화된구간으로나눌것인지가중요하다. 채널이많이포함되어있으면원하는물체혹은영상을표현하는데많은정보를가지는대신실제연산과정에서많은처리시간을소요하게한다. 그리고양자화시킨구간인저장소 (Bn) 의개수에따라중요색상만을알아낼수도있고혹은물체를표현하는모든색상을표현할수있다. 일반적으로관심영역으로검출되는영역은다소배경의영역을포함되어있으므로이와관련하여배경영역의영향을줄이고자커널 (Kernel) 을이용하여색상히스토그램을계산하였다
564 이형호, 최학남, 김형래, 마승완, 이재홍, 김학일 [7]. 이는식 () 과같이표현된다. n * δ u = q = k( ) [ c( ) u] () k( ) = r * q 는히스토그램에서나타내는각저장소에누적된색상의 u 개수를의미하며 u 의범위는한개의채널을몇개의저장소로나누었는지를정의한다. δ[( c) u] 은영상에서의픽 셀의위치 에서의색상값이해당저장소의범위에속하 * 였을때개수를누적함을나타낸다. k( ) 는물체를표 현한 ROI내중심픽셀에서가장먼픽셀까지의거리를 로 * 정규화한값에서계산하고자하는픽셀 와중심픽셀간의 정규화된거리를뺀값을나타낸다. 그림 는 HSV 모델색상 (Hue) 채널에서식 () 을이용하여물체의관심영역에서의색상히스토그램과커널을이용한가중된색상히스토그램의결과를나타낸다. 물체의색상정보를보다정밀하게나타내기위해서는 차원색상히스토그램보다 3차원색상히스토그램을이용하여야한다. 따라서 HSV모델에서색상 (hue), 채도 (sauraon), 밝기 (value) 를모두이용하도록구성하였으며, 각채널의차 (a) Orgnal mage. 누적값 (b) Color hsogram. (c) Weghed hsogram. 그림. 물체관심영역에서의색상히스토그램과가중된색상히스토그램비교. Fg.. (a) Comparson beween hsogram and weghed hsogram n objec ROI. (a) Orgnal mage. (b) 4 HOG descrpors wh 8 orenaon bn. 그림 4. 8개의방향성을가지는 4(64) 개의 HOG 서술자. Fg. 4. 4 HOG descrpor wh 8 orenaon bn. 원은 884를이용하였다. 이동로봇의환경에서는조명의변화가빈번히발생할수있으므로차원을적게하여조명의변화에민감하지않도록구성하였다. 그림 3은이동로봇의측면카메라를통해입력받은영상에서식 () 을이용하여물체를표현하는관심영역의 3D 색상히스토그램을표현한결과이다.. HOG (Hsogram of Orened Graden) 최근영상에서사람을검출및추적하기위해많이쓰이는대표적인특징은방향성기울기히스토그램 HOG이다 [4, 4,6,7]. 기울기히스토그램은이름에서와같이영상내에서기울기 (graden) 와각각의기울기가가지는방향성 (orenaon) 을이용하여서술자로표현하는방식이다. 기울기히스토그램을계산하기위해 RGB 3채널의영상자체를이용하는방법도있지만, 차원의효율성을위해 채널의그레이 (gray) 영상을이용하는방법을이용하였다. 그림 4는실제영상에서의 ROI내의물체를표현하는 HOG 서술자를나타낸다. 그림 4 의왼쪽그림에서의물체 ROI를 64로중복되지않는격자영역으로분할하고, 각격자에서의크기와방향성에따라값을누적하여각각의서술자표현하고, 64의서술자들을모두정규화하여오른쪽결과와같이표현하였다. 그림 4의결과와같이 HOG 서술자를계산하는방법은다음과같다.. 윈도우크기 55의가우시안필터 (Gaussan fler) 를이용한잡음이제거된영상획득. 획득된영상의픽셀 I(, y ) 에서 X와 Y방향으로의각각 D 마스크를이용한기울기 (Graden) g (, y) 와 g y (, y) 계산 g (, y) = I( +, y) I(, y) g (, y) = I(, y+ ) I(, y) y () 3. 영상내의각픽셀당기울기의크기 (magnude) 인 m (, y) 및방향성 (Angle) θ ( y, ) 을계산 (a) Orgnal mage. (b) 3D hsogram n HSV (884). 그림 3. HSV모델에서의 3D 색상히스토그램 (884). Fg. 3. 3D hsogram n HSV (884) n HSV model. m (, y) = g( y, ) + g( y, ) θ (, y) an g (, y) y = y g (, y) (3)
물체특징과실시간학습기반의파티클필터를이용한이동로봇에서의강인한물체추적 565 4. 방향성성분을 0~360도로만들기위해방향성이 0보다작을경우 π 를더하여계산 θ( y, ) π f θ( y, ) 0 θ + < (, y) = (4) θ (, y) oherwse 5. 44 격자 (grd) 안에서 8개의방향성저장소 u 로누적과정규화 (normalzaon) 을이용한서술자 (descrpor) 형성 D = m( y, ) ( ( y, ) u), u=,..., 8 (5) n u f δθ = IV. IPCA를이용한실시간학습이동로봇에서측면카메라를통해추적하고자하는물체는매프레임마다다른형태를취하고있으며, 또한실제환경구간마다다른빛의양때문에조명의영향으로다른색상을나타나게된다. 따라서이를보다효과적으로해결하기위해서는실시간으로물체의정보를갱신하여물체를추적할때사용하도록해야한다. 이러한문제를해결하기위해다양한실시간학습방법이연구되ㄴ고있으며, 본연구에서는패턴인식과관련하여많은응용에서사용되고있는 PCA 기반학습방법을사용하였다. 본래 PCA는실시간이아닌사후시간학습으로많이사용되는방법인데, 위와같은문제들을해결하기위한요구에따라실시간을위한 IPCA (Incremenal PCA) 방법이연구되었다 [5,6]. IPCA는 PCA와같이특정값들의주성분을분석하는것이 주요목표이다. 그림 5는주성분분석을위한 U 와 Σ 를구하는과정을나타낸다. 주성분분석을위해서는특정시간에누적된특징값들을정의하여구성해야한다. IPCA 에서사용되는 d n 의행렬 A = { I,..., I } n 는매프레임영상에서계산된물체의특징인각열의 d 차원벡터 I 로구성된다. 제안된알고리즘에서는색상 f히스토그램과 HOG 서술자모두 n = 40 으로정의하였고, 각특징의차원을 d 로정의하였다. A 는 SVD (Sngular Value Decomposon) 을이용하여 A 관측된물체의특징들로만든 d m 행렬이다. 제안된알고 = UΣV 로표현될수있다. B 는 A 이후의프레임에서 리즘에서의 m = 로정의하였다. 그리고두행렬 A 와 B 에 서의중요성분을분석하기위해서 [ A B] = U ΣV 로나타낼수있으며, 식 (6) 은 [ A B] 의주요성분을분석하기위해세분화된행렬의곱으로표현한식이다. [ A B] = U U B V 0 B Σ 0 B B 0 I (6) 여기서 B 는 U 에직교인 B 의요소를나타내며, 식 (6) 의오른쪽행렬들중가운데행렬을 R 로표현한다. R 은 SVD 를통해 R = U Σ V 로다르게표현할수있다. 식 (7) 은식 (6) 을 R 의 SVD를이용한표현에따라다시한번재구성한것을나타낸다. [ A B] = U Σ V V 0 = ( U B U ) Σ V 0 I (7) 식 (7) 을이용하여최종적으로구하고자하는 U 와 Σ 를계 산할수있다. U 와 Σ 는 A 에서의 U 와 Σ 가 B 의정보가더해져갱신된값을나타낸다. 따라서이를이용하면연속되는프레임안에서물체의특징을효과적으로갱신할수있다. V. 파티클필터를이용한물체추적파티클필터는최근들어많은연구가진행되고있는알고리즘이며, 다양한분야의시스템에서사용되고있다 [4,0,, 4,9]. 시간에따라변화하는시스템은항상잡음이나모호한값들이존재하게되는데, 이러한값들을제거하고확률적으로가능성이높은값을추정하여시스템의상태를파악하는방법으로써그효과가입증되어있다. 가장많이사용하는분야는로봇에서의위치추정 (robo localzaon), 영상에서의물체추적 (objec rackng), 사람포즈인식 (pose recognon), 게임에서의인공지능 (arfcal nellgence) 등이있다. 커다란문맥에서파티클필터는 bayesan framework 안에서실시간학습을위해 mone carlo samplng 방법을이용한 recursve bayesan fler를구현하는기술이다. 필터를구현하기위해많은양의파티클들을사용하게되는데각각의파티클들은상태변수 (sae varable) 와가중치 (wegh) 를포함하고있다. 이러한파티클들의집합을이용하여영상에서의현재상태의물체를표현하는방법이파티클필터이다. 파티클필터는다양한종류가있지만, 본논문에서는 SIR (Sequenal Imporance Resamplng) 방법의 condensaon 알고리즘을사용하였다 []. 파티클필터를사용하기위해서는먼저상태변수를정의하여야한다. 대부분의영상을이용한물체추적에서는상태변수를식 (8) 과같이정의하여사용한다. Χ= [, y, w, h,, y ] (8) 그림 5. 실시간학습을위한 IPCA 과정. Fg. 5. Process of IPCA for on-lne learnng. 와 y 는영상에서의물체의위치를표현하기위한변수이며각파티클이있는위치를나타낸다. w 와 h 는영상에서의물체의폭과크기의정보를표현하기위한변수이며각파티클의폭과크기를나타낸다. 또한 ẋ 와 ẏ 는물체가이동하는속도를나타내는변수이며각파티클이가지고있는
566 이형호, 최학남, 김형래, 마승완, 이재홍, 김학일 속도값을나타낸다. 파티클필터에서는이러한상태변수를이용하여과거의상태변수를이용하여현재의상태를예측하며, 시간에의상태변수를갱신하기위해이전시간 에서의상태변수에측정행렬곱하고잡음을더함으로써시스템모델 (sysem model) 을식 (9) 와같이정의한다. 0 0 0 0 y 0 0 0 0 y w 0 0 0 0 0 w γ wdh = + h 0 0 0 0 0 h γ hegh 0 0 0 0 0 γ y 0 0 0 0 0 y γ y 잡음행렬의 0 0 (9) γ 와 γ 는물체의폭과크기에따라형 wdh hegh 성된잡음의값을의미하며, 포함되는잡음값이다. 잡음을발생시키기위해 γ 와 γ y 는물체의속도에따라 γ wdh γ 는 -.5~.5의균등분포 (unform dsrbuon) 난수를사용 hegh 하였으며, γ 와 γ y 는각각 -6.5~6.5, -.5~.5의범위를가지는균등분포난수를사용하였다. 파티클필터에서또하나의중요한요소는측정모델 (measuremen model) 이다. 측정모델은예측된현재상태를통해얻어진측정값인 lkelhood를이용하여현재상태를갱신하는단계이며, 영상을이용한물체추적에서는측정값을구하기위해다양한특징을사용한다. 본논문에서는색상히스토그램과 HOG 서술자를이용하여 lkelhood를계산하며, 실시간학습이전과이후두부분을나누어계산방법을다르게한다. 실시간학습이전의 lkelhood를계산하는방법은특징을나타내는두벡터간의유사성을판별하는데사용되는 Bhaacharyya coeffcen를이용하였다. 식 (0) 과식 () 은각각실시간학습을시작하기전까지의색상히스토그램과 HOG 서술자를이용한 lkelhood pz ( ) 를계산하는방법을나타낸다. pz ( ) = ep πσ D ( h, href ) σ ref =, ref, = where, Dh (, h ) h h pz ( ) = ep πσ D ( h, href ) σ ref =, ref, = where, Dh (, h ) h h 와 (0) () 식 (0) 과식 () 에서의 h 와 h 는각파티클에서계 산된색상히스토그램과 HOG 서술자를각각나타내며, 와는물체추적을시작할때초기화하였던영 href href 상의 ROI에서의색상히스토그램과 HOG 서술자를각각나타낸다. 또한 은벡터로표현한색상히스토그램과 HOG 서술자의각각의차원을나타낸다. 실시간학습이전의방법과다르게실시간학습이후에는 IPCA 방법을통해계산된 특징들의주요성분을이용한방법으로 lkelhood를계산하게된다. 식 () 와식 (3) 은각각실시간학습이후의색상히스토그램과 HOG 서술자를이용한 lkelhood 계산을나타낸다. Dz (, z ) recons pz ( ) = ep πσ σ where, z = U U z, recons recons, recons, = Dz (, z ) = z z Dz (, z ) recons pz ( ) = ep πσ σ where, zrecons UU z, recons =, recons, = Dz (, z ) z z 식 () 와식 (3) 에서의 에서계산된 z 행렬인와 U 와 U = zrecons z 와 zrecons () (3) 는현재시간 를각각의주요성분을나타내는 를이용하여재구성 (reconsrucon) 한 물체의색상히스토그램과 HOG 서술자를나타낸다. 또한 은각특징이가지는차원의수를나타낸다. 또한 lkelhood를계산하기위해사용된모든 σ 와 σ 는 0.4 로정의하였다. 두특징인색상히스토그램과 HOG 서술자에서의 lkelhood는파티클필터의각파티클에가중치를부여하기위해적절하게혼합된형태로사용되어야한다. 식 (4) 는각파티클에가중치를부여하기위해사용된특징혼합방법을나타낸다. pz ( ) = αpz ( ) + ( α) pz ( ) (4) 최종적으로계산된 pz ( ) 는각파티클에서의가중치로부여해주며, α 는색상히스토그램과 HOG 서술자를통해계산된 lkelhood의결합가중치이다. 본논문에서는실험적결과로 α = 0. 로하여알고리즘을실험하였다. 이러한이유는빈번하게발생되는조명변화로인해색상히스토그램의정보가 HOG 서술자에비해상대적으로낮은확신도를가지고있기때문이다. 본논문에서사용된파티클필터는가중치에따라그값이적은파티클들은제거하고값이큰파티클의주변에새로운파티클들을재생성시키는 SIR기반의방법이다. 이는 SIS 방법에서발생할수있는퇴화현상을방지하고보다효과적으로물체를추적할수있다 []. 다음은색상히스토그램과 HOG 서술자를이용하여특징들을혼합시키고, 파티클필터를기반으로한제안된알고리즘의 Psuedo Code를보여준다.
물체특징과실시간학습기반의파티클필터를이용한이동로봇에서의강인한물체추적 567 IF = 0 HE 초기화 : 균등하고독립적인난수발생을통해 개의파 ( ) 티클, = [,..., ] 을분포시키고, 각파티클에가중 0 ( ) 치, = [,..., ] 로영상에분포시킴 0 ELSE HE ( ) ( ) ( ) 입력 : <,,, [,..., ], w c z > = FOR =,, DO ( ) - 파티클 선택하기. 균일분포의난수 r [0, ] 생성하기 ( ). c r 인가장작은 찾기 ( ) ( ) 3. = ( ) ( ) - 새로운파티클 = A + Bℵ 예측하기 - 가중치계산하기 ( ) ( ) ( ) ( ) w = p( z ) ( ) = = αw + α w,, ED FOR 가중치정규화하기 w ( ) w ( ) = ( ) w 축적가중치계산하기 () ( ) () c = c + w, = [,..., ] 표. 실험환경. able. Epermenal envronmens. CPU / RAM Inel Core Quad CPU Q6600.4GHz / 4GB ool Vsual Sudo 008 / OpenCV. Camera Mcrosof Lfecam Cnema Image resoluon 640 480 Image fps 30 fps 표. DB 분류. able. DB classfcaon. 환경 낮 밤 급격한유사물체조명변화등장 ( 회 ) DB_0 O X O 8 DB_0 O X O 6 DB_03 O X O 6 DB_04 O X O 7 DB_05 X O O 3 DB_06 X O O 3 DB_07 X O O 3 DB_08 X O O 3 의기대값계산하기 ED ELSE = w δ ( ) () () (a) Rapd llumnaon change (Day). (a) Process of parcle fler. (b) Resul of parcle fler. 그림 6. 물체추적을위한파티클필터과정과결과. Fg. 6. Processng and resul of parcle fler for objec rackng. 은파티클의개수를의미하며, = 00을사용하였다. 은식 (8) 에서언급되었던각파티클의상태변수를나타내며, w 는각파티클의가중치를나타낸다. 또한 c 는모든파티클의가중치를순서대로누적한값을의미한다. c 는 pseudo code에서와같이난수발생을이용하여확률적으로파티클을선택할때사용된다. 의기대값은각파티클의상태변수 의가중치 w 에따른가중합을나타내며, 이는추적하고있는물체의위치와크기를나타내는것과같다. 그림 6는파티클필터를이용한물체추적의결과를나타낸다. VI. 실험결과본절에서는조명변화가빈번히발생하고, 주변환경이계속적으로변화하며, 물체의형태도계속적으로변화하는다양한어려움을내포하는환경에서제안한알고리즘을실험하였다. 표 은실험이수행된환경을나타내며, 표 는실험에사용된대표적인 8개의 DB를분류를나타낸다. (b) Rapd llumnaon change (gh). 그림 7. 급격한조명변화의예. Fg. 7. Eample of rapd llumnaon change. 실험은표 과표 의환경에서수행되었으며, 8개의 DB는동일한시나리오로획득하였다. 표 의급격한조명변화는물체가이동하는동안환경에서의조명변화가존재하는지의여부를나타내며, 그림 7은낮과밤에발생하는급격한조명변화를나타내었다. 유사물체등장은 DB안에서물체가이동하는동안유사한물체가영상내에존재하게되는경우를의미한다. 제안된알고리즘은성능을평가하기위해색상히스토그램만을이용한파티클필터, 색상히스토그램과 HOG 서술자를혼합한특징을이용한파티클필터와각각비교하였다 [4,0]. 색상히스토그램을이용한파티클필터는물체의특징을색상만으로고려하여물체를추적하기때문에실험에서사용된 DB의환경과같이조명변화가빈번히발생하는환경에서는기존의초기화된값을기반으로추적하기에는정확
568 이형호, 최학남, 김형래, 마승완, 이재홍, 김학일 (a) Resul of parcle fler usng hsogram. (a) Resul of parcle fler usng hsogram and HOG descrpor. (b) Resul of proposed algorhm. 그림 8. 색상히스토그램을이용한파티클필터와제안된알고리즘의비교. Fg. 8. Comparson beween parcle fler usng hsogram and proposed algorhm. (b) Resul of proposed algorhm. 그림 9. 색상히스토그램과 HOG 서술자를혼합하여이용한파티클필터와제안된알고리즘의비교. Fg. 9. Comparson beween parcle fler usng hsogram and HOG descrpor and proposed algorhm. 성이떨어지게된다. 그림 8은색상히스토그램만을이용한파티클필터와제안된알고리즘의결과를나타낸다. 두알고리즘의초기화는동일한조건의물체 ROI를입력받아물체를추적하게하였으며, 그림 8(a) 는색상히스토그램을이용한파티클필터의결과를나타낸다. 초기 ROI에서입력된색상히스토그램의측정값을기반으로물체를추적하기때문에초기화가된시점과다른조명상태를갖는환경에서는그림 8(a) 의오른쪽의결과와같이많은파티클이물체에수렴하지않고분산되어있음을알수있다. 분산된파티클의기대값은물체의현상태를나타내기때문에그림 8(a) 의왼쪽의결과와같이실제물체의위치보다어긋난곳에서물체가있음을보여준다. 그림 8(b) 의결과와같이제안된알고리즘의결과는색상히스토그램만이용한파티클필터의결과보다안정적인물체추적을보여준다. 그림 8(b) 의오른쪽결과와같이다수의파티클들이물체에수렴하고있으며, 이를통해계산된기대값도그림 8(b) 의왼쪽결과와같이물체를안정적으로표현하고있음을알수있다. 그림 9은색상히스토그램과 HOG 서술자를혼합한특징을사용하는파티클필터의결과와제안된알고리즘의결과를나타낸다. 두알고리즘역시동일한조건하에물체를초기화하여추적을수행시켰다. 그림 9(a) 는색상히스토그램과 HOG 서술자를혼합한특징을사용한파티클필터의결과이다. 그림 9(a) 의오른쪽결과와같이유사한물체가등장할시에파티클이유사한물체로많이분포됨을알수있다. 이러한결과로인해파티클의기대값을나타내는왼쪽결과와같이추적하는물체와유사한물체사이에서물체를추적하게되는경우를확인할수있다. 그림 9(b) 는제안된알고리즘의결과로그림 9(a) 와조금다른결과를보인다. 학습을이용한제안된알고리즘은물체의형태와색상정보의주요성분을포함하고있기때문에학습을하지않는그림 9(a) 보다좋은성능으로물체를추적하게된다. 그림 9(b) 의오른쪽 결과를보면추적하는물체에보다많은파티클이수렴되고있음을확인할수있다. 그림 0와표 3은 8개의대표적인 DB에서각각의알고리즘을정량적으로평가하고이를표현하였다. 그림 0와표 3에서는색상히스토그램을이용한파티클필터를 Color 로표기하였고, 색상히스토그램과 HOG 서술자를혼합한특징을이용한파티클필터는 Color+HOG로표현하였다. 또한 Frame Pos는각 DB에서추적에성공한총프레임수를나타낸다. 표 3을살펴보면제안된알고리즘은다른알고리즘에비해여러 DB에서높은성능을보였다. 하지만추적되는물체의특징을여과없이누적하는과정에서몇개의 DB에서는색상히스토그램과 HOG 서술자를혼합한알고리즘보다다소낮은성능을보였다. 또한, 밤에획득된 DB 에서는충분하지않는조명의효과로인해모든알고리즘에서평균적으로낮은성능을보였다. 그림 는낮에획득된 DB와밤에획득된 DB에서의제안된알고리즘의결과를보여준다. 그림 0. 각알고리즘의성능평가그래프. Fg. 0. Performance evaluaon graph of each algorhm.
물체특징과실시간학습기반의파티클필터를이용한이동로봇에서의강인한물체추적 569 표 3. 8 개의 DB 에서의알고리즘성능평가. able 3. Performance evaluaon n 8 DBs. ame Color + HOG Color [0] Proposed oal [4] Frame Frame Frame Frame % % % Pos. Pos. Pos. DB_0 305 8 70.6 883 95.6 93 96.9 DB_0 790 36 84.6 555 9.6 689 96.4 DB_03 3545 43 68. 3397 95.8 3365 94.9 DB_04 35 98 68.4 3035 94.4 305 94.9 DB_05 774 50 64.7 68 8. 658 85.0 DB_06 360 73 53.8 957 70.4 9 67.8 DB_07 9 735 65. 86 76.3 04 89.8 DB_08 347 47 85. 87 88. 53 93.0 Average 7. % 90.3 % 9.4 % Processng me 7 ms 3 ms 55 ms (a) Resul of objec rackng n day DBs. (b) Resul of objec rackng n ngh DBs. 그림. 낮 / 밤 DB에서의제안된알고리즘의결과. Fg.. Resuls of proposed algorhm n day/ngh DBs. VII. 결론및향후과제본논문에서는이동로봇에서측면카메라를이용하여물체를추적하는알고리즘을제안하였다. 전방카메라보다빠른주변배경의변화와조명의변화, 물체의형태의변화등의문제점을극복하기위해물체의색상히스토그램과 HOG 서술자를혼합하여물체를효율적으로모델링하였고, 파티클필터를통해비선형적인물체의움직임을강인하게추적하였다. 또한, 추적되는물체의정보를매프레임동안누적하고실시간학습을통해주요성분을분석하고이를이용하여형태및색상이변화하는물체를보다효율적으로추적하도록하였다. 표 3의결과와같이기존의방법보다높은성능을나타냄을확인하였다. 하지만실험결과에서보이는것과같이물체의특징이기존의특징과유사성을지니는지의판별을하지않고누적한결과로인해추적이잠시동안실패함에따라성능이저하됨을보였다. 또한유사물체의등장시에도기존의색상히스토그램과 HOG 서술자를이용한방법보다추적하는물체에보다많은파티클이수렴함으로써상대적으로높은성능을보였지만기존의방법과유사하게불안정한성능을보였다. 향후이러한문제점을개선하기위해특징의차원을높임과더불어효율적으로특징을정의하고, 환경의변화에적응적인방법으로알고리즘이개선이된다면보다높고안정적인성능을가지게될것이라예상된다. 또한제안된알고리즘은평균 55 ms의처리속도를가지므로 CPU기반혹은 GPU기반의병렬처리프로그래밍을적용한다면보다향상된처리시간을통해실시간처리가가능할것으로예상된다. 참고문헌 [] A. Ylmaz, O. Javed, and M. Shah, Objec rackng: a survey, ACM Compung Surveys, vol. 38, no. 4, Dec. 006. [].. Heu and W. M. S. Arnold, Fas occluded objec rackng by a robus appearance fler, IEEE ransacon on Paern Analyss and Machne Inellgence, vol. 6, no. 8, pp. 099-04, Aug. 004. [3] W. Zuo and D. Zhang, Bdreconal PCA wh assembled mar dsance merc for mage recognon, IEEE ransacons on Sysems, Man, and Cybernecs, vol. 36, no. 4, pp. 863-87, Aug. 006. [4] F. Xu and M. Gao, Human deecon and rackng based on HOG and parcle fler, Inernaonal Congress on Image and Sgnal Processng, pp. 503-507, Oc. 00. [5] G. R. Bradsk and S. Clara, Compuer vson face rackng for use n a percepual user nerface, Inel Journal, 998. [6] D. Comancu and V. Ramesh, Mean shf and opmal predcon for effcen objec rackng, Inernaonal Conference on Image Processng, vol. 3, pp. 70-73, 000. [7] J. G. Allen, R. Y. D. Xu, and J. S. Jn, Objec rackng usng camshf algorhm and mulple quanzed feaure spaces, Proceedngs of Pan-Sydney area workshop on Vsual Informaon Processng, pp. 3-7, 004. [8] J. A. Corrales, P. Gl, F. A. Candelas, and F. orres, rackng based on hue-sauraon feaures wh a mnaurzed acve vson sysem, Proc. of he 40h Inernaonal Symposum on Robocs, pp. 07-, 009. [9] Q. Xuena and L. Qang, arge rackng and localzaon of
570 이형호, 최학남, 김형래, 마승완, 이재홍, 김학일 bnocular moble robo usng CAMShf and SIF, Proc. of he frs ACM/SIGEVO Summ on Genec and Evoluonary Compuaon, pp. 483-487, 009. [0] J. H. Km, C. H. Park, and I.-S. Kweon, Vsual rackng for non-rgd objecs usng rao-blackwellzed parcle fler, IEEE Inernaonal Conference on Robocs and Auomaon, pp. 4537-4544, May 00. [] Y. Salh and A. S. Malk, Comparson of sochasc flerng mehods for 3D rackng, Paern Recognon, vol. 44, no. 0, pp. 7-737, Oc. 0. [] S. Avan, Ensemble rackng, IEEE ransacon on Paern Analyss and Machne Inellgence, vol. 9, no., pp. 6-7, 007. [3] D. A. Klen, D. Schulz, S. Fnrop, and A. B. Cremers, Adapve real-me vdeo-rackng for arbrary objecs, IEEE Inernaonal Conference on Inellgen Robos and Sysems (ICROS), pp. 77-777, Oc. 00. [4] L. Jn, J. Cheng, and H. Huang, Human rackng n he complcaed background by parcle fler usng -hsogram and, Inernaonal Symposum on Inellgen Sgnal Processng and Communcaon Sysems, pp. -4, Dec. 00. [5] D. A. Ross, J. W. Lm, R.-S. Ln, and M.-H. Yang, Incremenal learnng for robus vsual rackng, Inernaonal Journal of Compuer Vson, vol. 77, no., pp. 5-4, 007. [6] H. Yang, Z. Song, and R. Chen, An ncremenal PCA-HOG descrpor for robus vsual hand rackng, Lecure oes n Compuer Scence, vol. 6454, pp. 687-695, 00. [7] W.-L. Lu and J. J. Lle, Smulaneous rackng and acon recognon usng he PCA-HOG descrpor, Canadan Conference on Compuer and Robo Vson, pp. 6-3, 006. [8] B. Jung and G. S. Sukhame, Real-me moon rackng from a moble robo, Inernaonal Journal of Socal Robocs, vol., no., pp. 63-78, 00. [9] M. D. Breensen, F. Rechln, B. Lebe, E. Koller-Meer, and L. Van Gool, Robus rackng-by-deecon usng a deecor confdence parcle fler, IEEE Inernaonal Conference on Compuer Vson, pp. 55-5, Oc. 009. [0] P. Perez, C. Hue, J. Vermaak, and M. Gangne, Color-based probablsc rackng, Proc. of he 7h European Conference on Compuer Vson, pp. 66-675, 00. [] J.-H. Km, D.-W. Lee, K.-R. Cho, S.-Y. Jo, J.-H. Km, and D.-I. Han, Vson based esmaon of 3-D poson of arge for arge followng gudance/conrol of UAV, Journal of Insue of Conrol, Robocs and Sysems (n Korean), vol. 4, no., pp. 05-, 008. [] J. H. Park, W. Bhan,.-Y. Cho, H. I. Kwon, D.-I. Cho, and K. S. Km, Recognon performance of vesbular-ocular refle based vson rackng sysem for moble robo, Journal of Insue of Conrol, Robocs and Sysems (n Korean), vol. 5, no. 5, pp. 496-504, 009. 이형호 00년인하대학교정보통신공학부 ( 공학사 ). 0년인하대학교정보공학과 ( 공학석사 ). 0년 ~ 현재 LIG e 전자전연구센터연구원. 관심분야는패턴인식, 물체추적, 로봇비전, 병렬영상처리. 최학남 007년상명대학교컴퓨터과학과 ( 공학석사 ). 0 년인하대학교정보공학과 ( 공학박사 ). 0 년 ~ 현재인하대학교슈퍼지능연구소 Pos Doc.. 관심분야는로봇비전, 의료영상처리, 머신비전, 병렬영상처리. 김형래 0년목원대학교지능로봇공학과졸업. 0 년 ~ 현재인하대학교로봇공학전공석사과정재학중. 관심분야는로봇비전, 자동차비전. 마승완 00년인하대학교컴퓨터정보공학과졸업. 00년 ~ 현재인하대학교로봇공학과석사과정재학중. 관심분야는로봇비전, 물체인식, SLAM. 이재홍 005년 ~ 현재인하대학교재학중. 0 년졸업예정및인하대학교정보통신공학과석사과정입학예정. 관심분야는로봇비전, 물체인식및추적. 김학일 983년서울대학교제어계측공학과 ( 공학사 ). 985년 Purdue Unv. 전기 / 컴퓨터공학과 ( 공학석사 ). 990년 Purdue Unv. 전기 / 컴퓨터공학과 ( 공학박사 ). 990년 ~00년인하대학교자동화공학과조교수. 00년 ~ 현재인하대학교정보통신공학과교수. 00년 ~ 현재한국바이오인식포럼부의장. 00 년 ~ 현재정보보호학회바이오인증연구회회장. 003년 ~ 현재 ISO/IEC JC/SC37 (Bomercs) 국내및국제전문위원. 004 년 ~008년 Elsever Paern Recognon Leers Assocae Edor. 005년 ~ 현재 IU-/SG7/WP/Q.9 (elebomercs) Rapporeur. 관심분야는패턴인식, 컴퓨터비전, 바이오인식, 초분광영상처리, 로봇비전, 의료영상처리.