Journal of the Korea Institute of Information and Communication Engineering 키넥트를이용한손영역검출의정확도개선 김희애 1 이창우 2* Detection Accuracy Improvement of Hang Region using Kinect Heeae Kim 1 Chang Woo Lee 2* 1 Department of Computer Information Engineering, Kunsan National University, Kunsan 573-701, Korea 2* Department of Computer Information Engineering, Kunsan National University, Kunsan 573-701, Korea 요약 최근마이크로소프트사의키넥트 (Kinect) 를이용하여객체를추적하거나인식하는기술에관한연구가활발히진행되고있다. 이와같은환경에서손을검출하고추적하는기술은휴먼 - 인터페이스개발의가장기본적인기술이다. 본논문에서는키넥트를이용하여단색으로제한되지않은환경에서검출된손의경계를개선하는방법을제안한다. 제안된방법은키넥트센서의깊이영상 (Depth Image) 에서추출된손의영역과칼라영상에서피부색 (Skin Color) 의검출결과를결합하여손영역의정확도를개선한다. 제안된방법으로손영역의검출을수행한결과깊이영상만사용한방법보다손영역을검출하는정확도를높일수있음을보였다. 제안된방법이수화나제스처인식시스템에적용된다면정확도개선에많은기여를하리라기대한다. ABSTRACT Recently, the researches of object tracking and recognition using Microsoft s Kinect are being actively studied. In this environment human hand detection and tracking is the most basic technique for human computer interaction. This paper proposes a method of improving the accuracy of the detected hand region s boundary in the cluttered background. To do this, we combine the hand detection results using the skin color with the extracted depth image from Kinect. From the experimental results, we show that the proposed method increase the accuracy of the hand region detection than the method of detecting a hand region with a depth image only. If the proposed method is applied to the sign language or gesture recognition system it is expected to contribute much to accuracy improvement. 키워드 : 키넥트, 깊이영상, 손영역검출, 피부색 Key word : Kinect, Depth Image, Hand Region Detection, Skin Color 접수일자 : 2014. 09. 25 심사완료일자 : 2014. 10. 15 게재확정일자 : 2014. 10. 29 * Corresponding Author Chang Woo Lee(E-mail:leecw@kunsan.ac.kr, Tel:+82-63-469-4861 Department of Computer Information Engineering, Kunsan Nitional University, Kunsan 573-701, Korea Open Access http://dx.doi.org/10.6109/jkiice.2014.18.11.2727 print ISSN: 2234-4772 online ISSN: 2288-4165 This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/ by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. Copyright C The Korea Institute of Information and Communication Engineering.
Ⅰ. 서론 Ⅱ. 본론 최근인간과컴퓨터의상호작용의한수단으로손영역의검출과인식에관한연구가활발히진행되고있다 [1, 2]. 입력영상으로부터손영역의추출을위한소프트웨어적인수단으로피부색모델을이용한검출방법 [3] 이나, 2차원, 혹은 3차원가상모델 [4], 그리고특징검출에의한손영역검출방법 [5] 이제안되었다. 또한하드웨어적수단으로는마이크로소프트사의키넥트센서 [6-9] 나, 스테레오카메라를이용한검출방법 [10-12], 등이제안되었다. 키넥트는 2010년마이크로소프트사에서 Xbox 360 의입력장치로시장에출시한제품으로깊이맵 (Depth Map) 을획득하기위한 IR 프로젝터와센서, 그리고, 컬러영상획득을위한 RGB 센서로구성되어있다 [6, 11, 13]. 키넥트는게임인터페이스로서의사용보다컴퓨터비전분야의수단으로연구가활발하게진행되었으며, 특히센서의보정 (Calibration) 에관한연구 [7], 모션인식에관한연구 [8], 삼차원복원에관한연구 [9] 등이활발히진행되고있다. 현재까지진행된손영역검출방법으로키넥트를이용한연구들에서는손영역이센서로부터최근접지역에서최대크기의영역이라는가정으로손영역을검출하고있으며, 일부방법에서는피부색모델과의중첩영역을손으로검출하는연구결과가발표되었다 [1]. 제스처인식시스템이나, 수화인식시스템, 등에서보다정확한손영역의검출이선행된다면시스템의성능향상효과를기대할수있지만, 기존의손영역을검출하는연구들은손영역의경계에대한후처리과정에관심을보이지않았다. 본논문에서는키넥트센서의깊이영상과컬러영상의피부색정보를결합하여검출된손영역의정확한경계도출을위한방법을제안한다. 제안된논문의구성은다음과같다. 먼저 2장에서키넥트의적외선센서와칼라영상센서로부터획득한영상을이용하여손영역을검출하는과정을자세히설명하고, 보다정확한손영역검출을위한영역확장기법에대하여설명한다. 3장에서는제안된방법의우수성을증명하기위해배경이단순한경우와복잡한경우에대한실험과정을설명하며, 마지막 4장에서결론을맺는다. 마이크로소프트사의키넥트는깊이정보를획득하기위해레이저광선을방출하는 IR 프로젝터와물체에반사되어돌아오는레이저광선을획득하는 IR 센서, 그리고칼라영상을획득하기위한 RGB센서로구성되어있다 [6]. 본논문에서는그림 1에서보는바와같이키넥트센서의입력을이용하여손영역을검출하고, 보다정확한손영역을검출하기위한영역확장방법을제안한다. 그림 1. 제안된방법의흐름도 Fig. 1 Flowchart of the Proposed Method 제안된방법은먼저키넥트장치로부터칼라영상과깊이정보를포함한깊이영상을획득한다. 획득된깊이영상에서손영역의후보영역을검출하기위해센서에근접한최대영역이손이라는가정으로깊이영상을이진화한다. 또한칼라영상으로부터피부색모델을이용하여손영역의후보영역을검출한다. 이렇게형성된두개의초기손후보영상을정합하여손영역을검출한다. 마지막단계에서보다정확한손영역의검출을위한영역확장을수행한다. 2728
키넥트를이용한손영역검출의정확도개선 그림 2에서보는바와같이키넥트센서에서획득된깊이영상과칼라영상은각각센서들의배치관계로인해그화각이나해상도면에서차이를보인다. 그림 2의 와 는각각근거리와원거리의객체의깊이영상을칼라영상에중첩 (overlap) 한영상으로두영상간의차이를보여준다. 그림 3의 와 는각각키넥트센서를이용한깊이영상과칼라영상의예이고, (c) 와 (d) 는두영상의보정이후의정합영상이다. 특히그림 3의 (d) 는정합이후의손영역의검출정확도가낮다는예시로써, 깊이센서로손을인식할때가장가깝고큰물체가손이라고가정하고배경을제거하면소매등이포함된거친형태의손영역을얻을수있다. 이영역에피부색을검출한결과를결합하면보다정확한손영역을얻게된다. 그림 2. 깊이영상과칼라영상의위상차이 근거리 원거리 Fig. 2 Discrepancy between Depth and Color Images Near Far 일반적으로두영상을 1대1로정합할수없기때문에두영상의보정과정을거치게된다. 그림 3에서는이를보정하기위해 OpenNI[14] 를사용하여영상의보정을수행한다. 그림 4. 배경의복잡도가낮은입력영상의예 입역영상 깊이영상 Fig. 4 Example of an Input Image with Simple Background Input Image Depth Image 후보영역영상은단순히깊이영상과피부색영상을중첩한영상이므로피부색영역임에도포함되지않는부분이존재할수있다. 본논문에서는손영역검출의정확도를높이기위하여깊이영상또는피부색영상의데이터가유효한영역의모든픽셀을대상으로수행한다. 대상픽셀의주변 5*5영역에서피부색픽셀이하나이상존재하고, 이영역의색평균이피부색모델의범위이내라면해당픽셀이피부색일가능성이높다고판단한다. ㅡㅡㅡ + ㅡㅡ + + ㅡㅡㅡ + ㅡㅡ + + (c) (d) 그림 3. 보정전후 칼라영상 깊이영상 (c) 깊이영상이중첩된칼라영상 (d) 칼라영상과깊이영상의차이 Fig. 3 Before and After Calibration Color Image Depth Image (c) Color Image Overlapping Depth Image (d) Discrepancy between Depth and Color Image + + 그림 5. 검출영역의정확도개선개념도 개선전영역 개선후영역 Fig. 5 Overview of the Improvement of Detection Accuracy Before Region Growing After Region Growing 2729
그림 5는개선할영역의예시를나타내는개념도이다. ㅡ 로표시된영역은피부색영역, 는깊이영역, + 는중첩영역을각각도시한그림이다. 제안된방법을적용한후에는그림 5의 에 / 으로표시된것처럼포함되지않았던피부색영역이추가된결과영상을도시한것이다. 에서손영역이아닌영역에대해실험결과영상에서도손영역이아니라고검출된참부정 (True Negative, TN) 의값을계산하였다. 이수치들을이용하여제안된방법의검출의정확도를계산하기위해수식 (1) 과 (2) 에서와같이정확률 (Precision Rate) 과재현율 (Recall Rate) 을계산하였다. Ⅲ. 실험결과 정확률 = (1) 실험을위해사용된시스템은 Intel Core i7 3.4GHz, 16G RAM을사용하였고, Windows 8.1 운영체제와 Visual C++ 2012 컴파일러환경에서실험하였다. 마이크로소프트사의 PC버전키넥트장치를이용하여영상을획득하였으며 OpenCV 2.4.9버전의라이브러리 [15] 를이용하였다. 키넥트센서의근거리모드 (Near mode) 를사용하고깊이영상에서는미리설정한반경이내의객체를검출하였다. 검출된결과는 RGB 카메라와깊이센서의위상차이에의해서로어긋나있으므로, OpenNI 라이브러리를이용하여보정과정을거쳤다. 피부색모델의색상범위는조명과주변의영향을많이받기때문에그범위를동적으로변경할수있도록하였다. 그림 6의 는단순한배경으로부터깊이범위 0.4 ~0.7m 이내의물체를검출한결과이다. 손이외에도소매부분이포함된것을볼수있다. 그림 6의 는피부색범위를 75<Cb<131, 135<Cr<138로설정한후손영역을검출한결과이다. 본실험의정확도를판별하기위하여, 기준영상 (Ground Truth Image) 을수작업으로준비하였다. 기준영상에서손영역의픽셀수와제안된방법에의한손영역에서검출된픽셀수를구한후이둘의비율을계산하였다. 결과는중첩되는비율과중첩되지않는범위의비율로나뉘는데, 정확하게검출된픽셀의수를참긍정 (True Positive, TP) 이라하고, 중첩되지않는영역에서기준영상의손영역임에도불구하고실험결과에서손영역으로검출되지못한영역의픽셀수를거짓부정 (False Negative, FN) 의결과를계산하였다. 이와동시에기준영상에서손영역이아닌데도불구하고실험결과에서손영역으로검출된영역의픽셀수인거짓긍정 (False Positive, FP) 을계산하였다. 또한, 기준영상 재현율 = (2) 그림 6. 깊이영상과피부색영상으로부터손검출결과 검출된깊이영상 피부색검출영상 Fig. 6 Immediate Result of Hand Detection from Depth and Color Images Detected Depth Image Result of Skin-color Detection 그림 6의각결과와이를기준영상의손영역을비교한결과, 그림 6의 는참긍정이전체의 97.5% 에육박하나, 거짓긍정이 127.0% 로손이외의영역이두배이상검출된결과를보였다. 그림 7. 제안된방법의실험결과 중첩영상 ( 피부색 + 깊이 ) 제안된방법의결과 Fig. 7 Experimental Result of the Proposed Method Overapped Image (Skin Color Image + Depth Image) Final Result 2730
키넥트를이용한손영역검출의정확도개선 그림 6의 는참긍정이 86.3% 이었으나, 제한된배경임에도불구하고빛의영향으로배경에서손이아닌영역인거짓긍정이 74.3% 이상검출되었다. 따라서깊이영상과칼라영상각각에서손영역을검출하는방법은많은제약과오류를유발시켰다. 그러나제안된방법은그림 7에서보는바와같이깊이영상과칼라영상을결합하여참긍정이 90.2%, 거짓긍정이 6% 만검출되었다. 그림 8은다양한배경환경에서제안된방법의실험결과를도시하였다. 그림 8의 -(d) 까지는복잡한배경에서손영역을검출한결과이고, (e)-(g) 까지는단순한배경에서손영역을확장하여검출한결과이다. 한다. 그림 8의각숫자는참긍정을표시한것이다. 제안된방법의일반성을확보하기위해단순한배경에서획득한영상 250장과복잡한배경에서획득한실험영상 250장을대상으로정확률과재현율을측정하였다. 표 1에서는제안된방법이다양한환경에서실험한결과를도시한다. 깊이정보만을사용한경우, 피부색만을이용한경우와제안된방법에의한손영역검출의정확도를비교한것이다. 표 1에서보는바와같이참긍정의비율은깊이영상에서제일높게나왔다. 그러나손이아닌영역을검출한거짓긍정률이상대적으로높다는사실을인지한다면좋은결과라할수없다. 제안된방법이정확률면에서많은향상을보였다. 표 1. 정확률과재현율평균 (%) Table. 1 Average of Precision and Recall Rate (%) 정확률 재현율 피부색 66 87.3 단순배경 깊이 41.8 97.4 제안된방법 94.1 88.4 (c) (d) 복잡배경 피부색 23 83.4 깊이 30.6 97.9 제안된방법 95.1 84.6 Ⅳ. 결론 (e) (g) 그림 8. 다양한배경에서실험결과 (%) 92.0 86.9 (c) 89.9 (d) 86.3 (e) 89.8 (f) 89.9 (g) 91.7 (h) 88.9 Fig. 8 Experimental Result in Simple and Cluttered Background 92.0 86.9 (c) 89.9 (d) 86.3 (e) 89.8 (f) 89.9 (g) 91.7 (h) 88.9 (f) (h) 본논문에서키넥트의깊이센서로인식한손의정확도를피부색정보를결합하여향상시킬수있는방법을제안하였다. 깊이영상의부족한정보를컬러영상에서보충하고, 손영역의정확도를높이기위한영역확장방법을제시하였다. 제안된방법의다양한실험결과는단순한배경에서 94.1%, 복잡한배경에서 95.1% 의정확률을보였다. 제안된연구의결과를수화인식시스템이나손가락의모양이필요한제스처인식시스템에적용한다면해당시스템의성능을크게향상시킬수있다. 향후과제로에지정보를결합하여에지방향으로에지의경계영역까지손영역을확장하는방법을고안할계획이다. 2731
REFERENCES [ 1 ] H. Park, J. Choi, J. Park, K. Moon, A Study on Hand Region Detection for Kinect-Based Hand Shape Recognition, Journal of Broadcasting Engineering, vol. 18, no. 3, pp. 393-400, May 2013. [ 2 ] J. Y. Chang, M. W. Ryu, S. C. Park, Technology Trends of Range Image Based Gesture Recognition, Electronics and Telecommunications Trends, vol. 29, no. 1, pp. 11-55, Feb. 2014. [ 3 ] S. Bilal, R. Akmeliawati, M. J. E. Salami, A. A. Shafie, and E. M. Bouhabba, "A hybrid method using haar-like and skin-color algorithm for hand posture detection, recognition and tracking," in Proceeding of the International Conference on Mechatronics and Automation, pp. 934-939, 2010. [ 4 ] S. Park, S. Yu, J. Kim, S. Kim, and S. Lee, "3D hand tracking using Kalman filter in depth space," EURASIP Journal on Advances in Signal Processing, vol. 36, pp. 1-18, 2012. [ 5 ] J. Kim, J. Baek, E. Kim, A part-based rotational invariant hand detection, in Proceeding of the 2013 International Conference on Fuzzy Theory and Its Applications, pp. 127-129, 2013. [ 6 ] Wikipedia Onlind Documentation [Internet]. Available: http://en.wikipedia.org/wike/kinect. [ 7 ] K. Berger, K. Ruhl, C. Brummer, Y. Schroder, A. Scholz, and M. Magnor, Markerless motion capture using multiple color-depth sensors, In Proceding of the Vision, Modeling and Visualization(VMV) 2001, pp. 317-324, 2011. [ 8 ] T. Dutta, Evaluation of the Kinect sensor for 3-d kinematic measurement in the workplace, Applied Ergonomics, 2011. [ 9 ] T. Stoyanov, A. Louloudi, H. Andreasson, and A. J. Lilienthal, Comparative evaluation of range sensor accuracy in indoor environments, Proceedings of the European Conference on Mobile Robots (ECMR), Sweden, pp. 7-9, September 2011. [10] J. P. Wachs, M. Ko lsch, H. Stern, and Y. Edan, "Visionbased hand-gesture applications," Communications of the ACM, vol. 54, pp. 60-71, 2011. [11] A. Conci, E. Nunes, J. J. Pantrigo, A. Sanchez, Comparing color and texture-based algorithms for human skin detection, Computer Interaction, vol. 5, pp. 168-173, 2008. [12] V. A. Oliveira, A. Conci, Skin Detection using HSV color space, In: Sibgrapi, No. 12, 2009. [13] K. Khoshelhan and S. O. Elberink, Accuracy and resolution of kinect depth data for indoor mapping applications, Sensor, vol. 12, no. 2, pp. 1437-1454, Feb. 2012. [14] OpenNI Online Documentation [Internet]. Available: http://www.openni.org/ [15] OpenCV Online Documentation [Internet]. Available: http://opencv.org/ 김희애 (Heeae Kim) 2011 년 ~ 현재 : 국립군산대학교컴퓨터정보공학과학부과정생 관심분야 : 영상처리 이창우 (Chang Woo Lee) 2004 년 ~- 현재 : 군산대학교컴퓨터정보공학과부교수 관심분야 : 패턴인식, 컴퓨터비젼, 상황인식 2732