Journal of the Korea Academia-Industrial cooperation Society Vol. 18, No. 12 pp. 157-163, 2017 https://doi.org/10.5762/kais.2017.18.12.157 ISSN 1975-4701 / eissn 2288-4688 김태우 1*, 조태경 2 1 한양사이버대학교전기전자통신공학부, 2 상명대학교정보보안공학과 Object Segmentation for Detection of Moths in the Pheromone Trap Images Tae-Woo Kim 1*, Tae-Kyung Cho 2 1 Division of Electrical, Electronic and Communication Engineering, Hanyang Cyber University 2 Dept. of Information Security Engineering, Sangmyung University 요약객체분할방식은객체를먼저분할한후, 검출된객체에대해해충검출알고리즘을적용하므로해충개체를검출하는데필요한처리비용이줄어드는장점이있다. 본논문에서는방법을제안한다. 제안한방법은전처리, 문턱치처리, 형태학적필터링, 레이블링처리로구성된다. 이들과정중문턱치처리는객체분할의성능을좌우하는매우중요한처리과정이다. 제안한방법은문턱치처리과정에서해충영상의국소적특성을반영하므로매우정교한문턱치처리를할수있다. 과수원에설치된페로몬트랩에서수집된복숭아심식나방영상에대해 Otsu의방법의전역적방식과국소적방식, 그리고제안한방법으로처리한결과, 제안한방법이조명과배경의특성을잘반영함을알수있었다. 페로몬트랩에수집된복숭아심식나방영상에대해객체분할과개체분류를수행하였다. 개체분류는 SVM 분류기로학습하여사용하였다. 실험에서제안한방법으로 10개의해충영상에대해복숭아심식나방검출결과 95% 의평균검출율을보임으로써과수원의복숭아심식나방의개체모니터링방법으로서효과적임을보였다. Abstract The object segmentation approach has the merit of reducing the processing cost required to detect moths of interest, because it applies a moth detection algorithm to the segmented objects after segmenting the objects individually in the moth image. In this paper, an object segmentation method for moth detection in pheromone trap images is proposed. Our method consists of preprocessing, thresholding, morphological filtering, and object labeling processes. Thresholding in the process is a critical step significantly influencing the performance of object segmentation. The proposed method can threshold very elaborately by reflecting the local properties of the moth images. We performed thresholding using global and local versions of Ostu's method and, used the proposed method for the moth images of Carposina sasakii acquired on a pheromone trap placed in an orchard. It was demonstrated that the proposed method could reflect the properties of light and background on the moth images. Also, we performed object segmentation and moth classification for Carposina sasakii images, where the latter process used an SVM classifier with training and classification steps. In the experiments, the proposed method performed the detection of Carposina sasakii for 10 moth images and achieved an average detection rate of 95% of them. Therefore, it was shown that the proposed technique is an effective monitoring method of Carposina sasakii in an orchard. Keywords : Carposina sasakii, Moth detection, Moth image, Object segmentation, Pheromone trap, SVM classifier 1. 서론 복숭아심식나방 (Carposina sasakii) 은한국, 일본, 중 국등지에분포하며, 복숭아순나방 (Grapholita molesta) 과함께사과, 배, 복숭아, 자두, 살구, 대추등의과실을가해하여수량감소에직접적인영향을끼치는주요해 * Corresponding Author : Tae-Woo Kim (Hanyang Cyber Univ.) Tel: +82-2-2290-0311 email: twkim2@hycu.ac.kr Received November 1, 2017 Revised November 28, 2017 Accepted December 8, 2017 Published December 31, 2017 157
한국산학기술학회논문지제 18 권제 12 호, 2017 충중의하나이다 [1][2]. 복숭아심식나방의피해를최소화하기위해서는효과적인방제가매우중요하다. 과수원에분포하는복숭아심식나방의개체수를모니터링하여방제시기와방제횟수의결정하는것이바람직하다. 관심해충의모니터링은성페로몬트랩 (sex pheromone trap)[1][3] 을과수원에설치하여관심해충을수집하여해충개체수를확인하는방법으로할수있다. 넓은지역의과수원에페로몬트랩을설치하고해충의개체수를확인하는효과적인방법은영상처리기법을이용한자동화된모니터링방법이다. 영상처리를이용한해충개체검출에대한국내의연구는벼멸구류밀도측정 [4], 볼록총채벌레자동판정 [5] 등이발표되어있다. 국외연구는 SVM (support vector machine)[6], ANN (artificial neural network)[7], KNN (k-nearest neighbors)[8] 등의방법들이연구되어있다. 이들방법들은영상에서해충개체분류를위해분류기로입력되는형식에따라슬라이딩윈도방식 (sliding window approach)[5][7], 객체분할방식 (object segmentation approach)[4], 특징기반방식 (feature based approach)[ 4][6][8] 으로나눌수있다. 슬라이딩윈도방식은해충개체를검출하기위해영상전체를순차적으로탐색한다. 영상전체에대해탐색해야하므로탐색하는데처리시간이오래걸린다. 반면객체분할방식은객체를먼저분할한후, 검출된객체에대해해충개체검출알고리즘을적용한다. 이방식은해충개체를검출하는데필요한처리비용이줄어드는장점이있다. 특징기반방식은전역적특징 (global feature) 과국소적특징 (local feature) 을추출하여특징을이용하여개체를분류한다. 본논문에서는페로몬트랩영상에서복숭아심식나방의해충검출을위한객체분할방법을제안한다. 제안한방법은전처리 (preprocessing), 문턱치처리 (thresholding), 형태학적필터링 (morphological filtering), 레이블링처리 (labeling)[9] 로구성된다. 이들과정중문턱치처리는객체분할의성능을좌우하는매우중요한처리과정이다. 제안한방법은문턱치처리과정에서입력영상의국소적특성을반영하므로매우정교한문턱치처리를할수있다. 제2장에서는본논문의객체분할방법에대해논하고제3장에서는복숭아심식나방의검출에대해논한다. 제4장에서는제안한방법에대한실험결과에대해다루고, 제5장에서결론을맺는다. 2. 객체분할복숭아심식나방의실제모습과촬영된영상의모습은 Fig. 1과같다. 영상에서는배경보다는주로어두운색상을보이며, 자세는대체로날개를접은상태, 날개를편상태가많다. 해충영상에대한본논문의객체분할방법은 Fig. 2 와같이전처리, 문턱치처리, 형태학적필터링, 객체레이블링 [9] 과정으로구성된다. 전처리는복숭아심식나방영상에대해 RGB 컬러를 HSI 컬러로의변환 [9] 과가우시안필터링 [9] 으로잡음을제거하는과정이다. 영상의날카로운부분들이전처리단계에서제거된다. 문턱치처리는영상의국소적특성 (local property) 을반영한문턱치맵 (threshold map) 을만들어사용한다. 형태학적필터링은형태학적열기 (morphological opening)[9] 를통해미소객체제거, 약하게붙은객체들을분리하는역할을한다. 형태학적필터링을통해얻어진객체들에대해최종적으로레이블링 (labeling) 처리를하면분리된각객체를얻게된다. 2.1 복숭아심식나방영상의특징해충영상에서복숭아심식나방은 Fig. 1과 Fig. 3과같이객체가배경의밝기값과의차이가크지않음을볼수있다. 이러한특징은해충과배경간의밝기차이가크지않은특성도있지만, 해충이트랩에붙은후움직이면서트랩을오염시켜트랩의색상을변화시키는영향도있다. 또한불균일한조명의영향으로해충영상의밝기가영상의위치마다다름을볼수있다. Fig. 3은성페로몬트랩에수집된복숭아심식나방영상에대한전형적인히스토그램을보여준다. 158
Fig. 1. Appearance and trap image of Carposina sasakii. 의문턱치처리방법은영상의국소적특성 (local property) 을반영하도록영상으로부터문턱치를추정한다. Fig. 4와같이영상의국소적특성을해충영상으로부터추출하는방법이다. 국소적특성은전역적문턱치처리를통해얻은결과를이용하여해충영상의배경영역들로부터밝기특성을추출한다. 추출된국소적특성들을보간 (interpolation)[9] 하여문턱치맵 (threshold map) 을만든다. 생성된문턱치맵은 Fig. 6 (c) 와같다. 문턱치처리는문턱치맵을각화소의문턱치값으로사용한다. 2.3 기존의방법과비교 Fig 5와 Fig. 6은히스토그램기반방법인 Otsu의방법 [10] 의전역적방법 (global approach) 과국소적방법 (local or adaptive approach), 본논문의방법으로처리한결과와문턱치맵을보여준다. Fig. 7 는국소적방법과제안한방법과의차이를보여주는데, 영상의가운데를중심으로약간왼쪽부분에서두드러진차이를보인다. Fig. 7 는문턱치맵의중간위치에서가로방향의단면을보여준다. 전역적방법보다국소적방법이, 그리고국소적방법보다제안한방법이조명과배경의특성을잘반영함을알수있다. Fig. 2. Flow chart of object segmentation process for the moth images. Fig. 3. Typical histogram of the pheromone trap image of Carposina sasakii. 2.2 문턱치맵의생성이러한특성을가진복숭아심식나방영상에대해서는좀더세밀하게문턱치처리를해주어야한다. 본논문 Fig. 4. Extraction of thresholds from the moth image: globally thresholded result, and sampled regions described in yellow color box by using the thresholed image and moth image. 159
한국산학기술학회논문지제 18 권제 12 호, 2017 (c) Fig. 6. Obtained threshold map: the global version and local version of Otsu s method, and (c) the proposed method. 3. 복숭아심식나방의검출 (c) Fig. 5. Thresholding results: by globally optimal thresholding, by locally optimal thresholding, and (c) by thresholding using the proposed method. 복숭아심식나방의검출은 Fig. 8과같이분할된객체들에대해 SVM 분류기로진행한다. 먼저분할된객체의크기를분류하여크기가작은객체들은 SVM 분류기로관심해충을검출한다. 크기가큰객체들은다중해충개체들로간주한다. 다중해충개체들은단일해충개체들의평균면적을기준으로한면적비율로추정하게된다. 3.1 SVM 분류기의학습 SVM 학습에사용되는데이터는샘플영상들로부터객체를분할하여만든다. Fig. 9와같이분리된객체들에대해중심점과주축을계산한다. 객체들의중심점을중심으로하여일정한방향으로주축을정렬한후, 31 31 크기의영상블록 (image block) 을추출한다. 주축을정렬하면 SVM 학습에사용되는학습패턴의종류와수를줄일수있다. 160
해중심점과주축을구하여중심점을중심으로주축을정렬한다. 중심점을기준으로 31 31 영상블록을추출하여 SVM 분류기로입력하게된다. Fig. 9. Training patterns for an SVM classifier: true moth patterns and the other patterns. Fig. 7. Comparison among the threshold maps resulted from three methods: difference image between the local approach of Otsu s method and the proposed method, and horizontal profile in the center of the threshold map. Fig. 10. Detection of Carposina sasakii in the moth image: the objects of red contours represent single or multiple interest moths. 4. 실험결과및토의 Fig. 8. Flow chart of moth classification. 3.2 SVM 분류기의해충개체분류학습패턴으로학습한파라미터를이용하여 SVM 분류기로입력된해충영상들에대해개체를분류한다. 입력영상에대해먼저객체를분할한다. 분할된객체에대 실험에사용된해충영상은사과과수원에서성페로몬트랩으로수집하여실험실에서 Cannon EOS 40D 카메라로촬영한것이다. 촬영된원본은해상도가 3888 2592이고처리의편의를위해해상도가 640 480 인저해상도로변환하였다. 이들해충영상에대해제안한방법으로객체를분할하였다. 그리고분할된객체에대해 SVM 분류기로복숭아심식나방을검출하였다. Fig. 11은전형적인복숭아심식나방영상에대한관심해충의검출을보여준다. Fig. 12는 Otsu의전역적방법과국소적방법, 본논문의방법으로처리한객체분할결과를보여준다. 제안한방법이기존의방법보다영상의국소적특성을잘반영하 161
한국산학기술학회논문지제 18 권제 12 호, 2017 여객체를분할할수있음을볼수있다. 분할된객체들에대해 SVM 분류기로분류한결과는 Table 1와같고, 10개의해충영상에대해평균검출율은 95% 였다. 검출율은전문가에의한개체수를조사한것을기준하여, 본논문의방법으로개체수를추정한것의비율을나타낸다. 5. 결론 본논문에서는페로몬트랩영상에서복숭아심식나방의해충검출을위한객체분할방법을제안하였다. 제안한방법은해충영상의국소적특성을반영하므로매우정교한문턱치처리를할수있는장점이있다. 실험에서기존의전역적방법과국소적방법과비교하여제안한방법이우수한성능을나타남을보였다. 또한해충영상에대해개체분류를수행하여평균 95% 의검출율을얻어과수원의복숭아심식나방의모니터링에유용하게사용할수있음을보였다. 향후영상에다양한해충이나타나는성페로몬해충영상들에대한복숭아심식나방의검출에대한연구가필요하다. Fig. 12. Thresholding results: by globally optimal thresholding, by locally optimal thresholding, and (c) by thresholding using the proposed method. Table 1. Detection and its success rate of Carposina sasakii in ten moth images. Fig. 11. Typical detection of Carposina sasakii in moth image: input image and the objects of red contours represent single or multiple interest moths. No 1 2 3 4 5 6 7 8 9 10 Total Correct moths 65 66 10 8 8 9 19 9 11 4 209 Detected moths 57 62 10 9 9 9 21 9 9 4 199 Rate(%) 88 94 100 88 88 100 91 100 82 100 95 162
References [1] Sun-Young Lee, Kyung-Hee Choi, Yun-Su Do, Soon-Won Lee, Changmann Yoon and Gil-Hah Kim, Management of Grapholita molesta and Carposina sasakii Using Mating Disruption in Non-Chemical or Organic Apple Orchards, Korean J. Appl. Entomol., 53(2), pp. 103-110, 2014. DOI: https://doi.org/10.5656/ksae.2013.11.0.056 [2] Jeong, Sun-A, Lalit Prasad Sah, Jeong Joon Ahn, Young-il Kim, and Chuleui Jung, Occurrence Patterns of Three Major Fruit Moths, Grapholita molesta, Grapholita dimorpha and Carposina sasakii, Monitored by Sex Pheromone in Plum Orchards, Korean J. Appl. Entomol., 51(4), pp. 449-459, 2012. DOI: https://doi.org/10.5656/ksae.2012.10.0.061 [3] Adriano Guarnieri, Stefano Maini, Giovanni Molari, Valda Rondelli, Automatic trap for moth detection in integrated pest management, Bulletin of Insectology, 64(2), pp. 247-251, 2011. [4] Young-Seuk Park, Man-Wi Han, Hwang-Yong Kim, Ki-Baik Uhm, Chang-Gyu Park, JangMyung Lee, and Tae-Soo Chon, Density Estimation of Rise Planthoppers Using Digital Image Processing Algorithm, Korean J. Appl. Entomol., 42(1), pp.57-63, 2003. [5] Chang Bae Moon, Byeong Man Kim, Jong Yeol Yi, Jae Wook Hyun, and Pyoung Ho Yi, Detection of Candidate Areas for Automatic Identification of Scirtothrips Dorsalis, J Korea Industr Inf Syst Res, Volume 17, Number 6, pp.51-58, 2012. DOI: https://doi.org/10.9723/jksiis.2012.17.6.051 [6] Chenglu Wen, Daniel E. Guyer, Wei Li, Local feature-based identification and classification for orchard insects, Biosystems Engineering, 104, pp.299-307, 2009. DOI: https://doi.org/10.1016/j.biosystemseng.2009.07.002 [7] Weiguang Diang, Graham Taylor, Automatic moth detection from trap images for pest management, Computers and Electronics in Agriculture, 123, pp.17-28, 2016. DOI: https://doi.org/10.1016/j.compag.2016.02.003 [8] Chenglu Wen, Daniel Guyer, Image-based orchard insect automated identification and classification method, Computers and Electronics in Agriculture, 89, pp.110-115, 2012. DOI: https://doi.org/10.1016/j.compag.2012.08.008 [9] Hyeon-Joong Yoo, Tae-Woo Kim, and Chun-Seok Oh, Digital Image Processing, Firstbook, 2013. [10] Nobuyuki Otsu, A Threshold Selection Method from Gray-Level Histogram, IEEE Transactions on Systems, Man, and Cybernetics, 9(1), pp.62-66, 1979. DOI: https://doi.org/10.1109/tsmc.1979.4310076 김태우 (Tae-Woo Kim) [ 종신회원 ] 1992 년 2 월 : 한양대학교대학원전자통신공학과 ( 공학석사 ) 1995 년 2 월 : 한양대학교대학원전자통신공학과 ( 공학박사 ) 1997 년 3 월 2003 년 2 월 : 삼성종합기술원 U-health 팀수석연구원 2003 년 3 월 현재 : 한양사이버대학교전기전자통신공학부교수 < 관심분야 > 영상처리, 패턴인식, 기계학습, 인공지능, 정보통신 조태경 (Tae-Kyung Cho) [ 종신회원 ] 1984 년 2 월 : 한양대학교전자통신공학과 ( 공학사 ) 1986 년 2 월 : 한양대학교대학원전자통신공학과 ( 공학석사 ) 2001 년 8 월 : 한양대학교대학원전자통신공학과 ( 공학박사 ) 2003 년 3 월 현재 : 상명대학교정보보안공학과교수 < 관심분야 > 정보보안시스템, 데이터통신, e-learning, 영상처리, 정보통신 163