Journal of the Korea Academia-Industrial cooperation Society Vol. 19, No. 3 pp. 693-698, 2018 https://doi.org/10.5762/kais.2018.19.3.693 ISSN 1975-4701 / eissn 2288-4688 무인항공기를이용한밀집영역자동차탐지 서창진상명대학교정보보안공학과 Vehicle Detection in Dense Area Using UAV Aerial Images Chang-Jin Seo Department of Information Security Engineering, Sangmyung University 요약본논문은최근물체탐지분야에서실시간물체탐지알고리즘으로주목을받고있는 YOLOv2(You Only Look Once) 알고리즘을이용하여밀집영역에주차되어있는자동차탐지방법을제안한다. YOLO의컨볼루션네트워크는전체이미지에서한번의평가를통해서직접적으로경계박스들을예측하고각클래스의확률을계산하고물체탐지과정이단일네트워크이기때문에탐지성능이최적화되며빠르다는장점을가지고있다. 기존의슬라이딩윈도우접근법과 R-CNN 계열의탐지방법은 region proposal 방법을사용하여이미지안에가능성이많은경계박스를생성하고각요소들을따로학습하기때문에최적화및실시간적용에어려움을가지고있다. 제안하는연구는 YOLOv2 알고리즘을적용하여기존의알고리즘이가지고있는물체탐지의실시간처리문제점을해결하여실시간으로지상에있는자동차를탐지하는방법을제안한다. 제안하는연구방법의실험을위하여오픈소스로제공되는 Darknet을사용하였으며 GTX-1080ti 4개를탑재한 Deep learning 서버를이용하여실험하였다. 실험결과 YOLO를활용한자동차탐지방법은기존의알고리즘보다물체탐지에대한오버헤드를감소할수있었으며실시간으로지상에존재하는자동차를탐지할수있었다. Abstract This paper proposes a vehicle detection method for parking areas using unmanned aerial vehicles (UAVs) and using YOLOv2, which is a recent, known, fast, object-detection real-time algorithm. The YOLOv2 convolutional network algorithm can calculate the probability of each class in an entire image with a one-pass evaluation, and can also predict the location of bounding boxes. It has the advantage of very fast, easy, and optimized-at-detection performance, because the object detection process has a single network. The sliding windows methods and region-based convolutional neural network series detection algorithms use a lot of region proposals and take too much calculation time for each class. So these algorithms have a disadvantage in real-time applications. This research uses the YOLOv2 algorithm to overcome the disadvantage that previous algorithms have in real-time processing problems. Using Darknet, OpenCV, and the Compute Unified Device Architecture as open sources for object detection. a deep learning server is used for the learning and detecting process with each car. In the experiment results, the algorithm could detect cars in a dense area using UAVs, and reduced overhead for object detection. It could be applied in real time. Keywords : Vehicle Detection, Deep Learning, Darknet, YOLOv2, Object Detection 1. 서론 지능형교통시스템 (ITS : intelligent transport system) 은교통체계의효율성과안전성을제고하기위하여기존 의교통체계에전자, 정보, 통신, 제어등의지능형기술을접목시킨차세대교통체계이다. 지능형교통시스템은도로의변화하는환경을실시간으로분석하여현재의도로환경을개선하는방향으로교통량의흐름을조절하는 본논문은상명대학교 2016년교내연구비지원에의해수행되었음. * Corresponding Author : Chang-Jin Seo(Sangmyung Univ.) Tel: +82-41-550-5445 email: cjseo@smu.ac.kr Received February 5, 2018 Revised (1st February 19, 2018, 2nd February 22, 2018) Accepted March 9, 2018 Published March 31, 2018 693
한국산학기술학회논문지제 19 권제 3 호, 2018 시스템이다. 이러한지능형교통시스템의구축을위해서는도로의상황을실시간으로파악할수있는데이터수집기능이선행되어야한다. 현재도로에설치되어있는기계식루프검지기는설치및유지보수의문제를가지고있으며고정형무선센서를이용한방법은일정한탐지영역만을가진다는단점을가지고있다. 최근무인항공기와고해상도카메라 (UHD : ultra high definition) 의발전으로저렴한비용으로항공이미지를얻을수있게되었다 [1-3]. 최근까지자동차의항공영상을얻기위하여인공위성 (satellites), 비행기 (air-craft), 헬리콥터등을이용하였으나영상획득을위한비용이과다하고시간및날씨의변화에실시간으로대응하지못하는단점을가지고있다. 최근저고도항공영상을이용하여자동차를탐지하는분야에대한연구가활발히진행되고있고그응용분야도매우다양하게적용되고있다. 특히, 무인항공기 (UAVs : unmanned aerial vehicles) 를이용한자동차탐지에대한연구가최근에활발히진행되고있다. 무인항공기를이용하는방법은저렴한비용으로초고화질항공영상을사용할수있게됨으로변화하는도로환경 ( 기상의변화, 조명의변화등 ) 에서도손쉽게항공영상을획득할수있게되었다 [4-5]. 본논문에서는실시간물체탐지에최근주목을받고있는 YOLO를이용하여저고도항공영상에존재하는자동차를실시간으로탐지하는방법을제안한다. 논문의구성은다음과같다. 2장에서는제안하는연구의배경이되는 R-CNN, YOLO에대하여살펴보며, 3 장에서는제안하는연구방법, 4장에서는제안하는연구방법의실험결과, 5장에서는결론및향후연구과제를제시한다. 2. 관련연구 UAV 항공이미지를이용하여물체를탐지하고추적하는최근의연구를살펴보면항공영상에존재하는사람, 자동차, 군사적목표물을찾기위하여다양한형태로연구가진행되고있다 [6]. 항공영상은대부분대용량데이터를사용하기때문에물체를탐지하는데많은계산시간이필요한단점을가지고있다. 그러므로탐지알고리즘의성능이물체탐지및추적기의성능에많은영향을 주게된다. 영상에존재하는물체를탐지하기위하여복잡한알고리즘을채택하면탐지성능은좋아지나실시간분석능력이저하되고간단한알고리즘을채택하면실시간처리능력은좋아지나탐지성능이저하되는문제점을가지고있다 [7-8]. 결국, 영상에존재하는다양한물체의특징정보를어떻게추출하는가에따라전체시스템의성능에영향을주게된다. 2.1 R-CNN Ross Girschick는 object proposal과 CNN(convolution neural network) 을결합시켜물체를인식하고탐지하는 R-CNN(region with convolutional neural network) 을제안하였다. R-CNN의기본원리는입력이미지로부터약 2,000개의 proposal 영역을생성하고, selective search 알고리즘을이용하여후보영역을생성한다. 선정된후보영역은 CNN의입력크기에맞게 warping과 crop을사용하여이미지의크기를변경하고 CNN에데이터로입력하고 CNN의최종출력단계에서후보영역에대한특징벡터를생성하고 linear SVM을이용하여해당영역을분류한다. R-CNN 은 CNN을물체탐지에적용하여기존의 SIFT나 HOG에비하여뛰어난성능을보이고있다 [9-11]. 그러나 R-CNN과같이 region proposal 방법을이용한물체탐지방법은연산량이많기때문에처리속도가느려실시간으로사용하기에는적합하지않는단점이있다. Faster R-CNN는그림 1과같은구조를가지고있다. R-CNN계열의검출네트워크들은이미지에서물체가있을것같은 ROI(region of interest) 를구성하고후보로선정된 ROI들은분류기에의해클래스분류가이루어지고경계박스 (bounding xox) 를찾는구조로되어있다. region proposal network는이미지에서물체가있을확률이있는영역을선정하여여기에어떤클래스가존재하는지확인할수있도록제안을하는구조이다. 일반적으로하나의이미지에서 300개정도의후보를선정하는것으로알려져있다. 표 1과같이 Faster R-CNN(RPN+ZF, shared) 는학습과정에 2,000개, 테스트과정에서는 300 개의영역을선정한다 [12]. 이러한방식은제안된영역이어떤클래스인지분류하기위해분류기의많은레이어를통과해야한다. 기존의 R-CNN 계열의물체탐지방법이느린이유는 proposal의수도많고, 처리해야하는과정에서오버헤드도크기때문이다. 694
무인항공기를이용한밀집영역자동차탐지 proposal을구하는과정에서오버헤드를개선한방식이다. grid cell 안에오브젝트가있다는보장을할수없지만이것은다른방법도같은경우이다 [13]. 본논문에서는이러한문제점을해결하기위하여 Joseph Redmon에제안한 unified detection 을이용한 YOLOv2 를이용하였다. Fig. 1. Faster R-CNN is a single, unified network for object detection and Detection results on PASCAL VOC 2007[12]. Table 1. Detection results on PASCAL VOC 2007 train-time region proposals test-time region proposals method #boxes method #boxes SS EB RPN+ZF, shared SS EB RPN+ZF, shared 300 map(%) 58.7 58.6 59.9 2.2 YOLO(You Only Look Once) YOLO의네트워크구조는그림 3과같으며총 24개의컨볼루션레이어와 2개의완전히연결된레이어로이루어져있다. 그리고이미지분류를위하여설계된 GoogLeNet 구조를기반으로설계되었으며 GoogLeNet 에서사용된인셥센모듈을대신하여 1 1 컨볼루션레이어다음에 3 3 컨볼루션레이어를사용하여계산량을줄여빠른물체탐지가가능하도록설계되었다 [14]. YOLO는네트워크최종출력단에서경계박스위치와클래스분류가동시에이루어진다. 단하나의네트워크가한번에특징도추출하고, 경계박스도만들고클래스를같이분류하므로그구조가간단하고매우빠른성능을가지고있다. Fig. 3. The Architecture of YOLO[14]. Fig. 2. Motivation: Proposals are Expensive[13]. 일반적으로영상에서물체의경계박스를찾는방법은그림 2와같이 3가지방법으로구분할수있다. 첫번째, selective search 방법은영상에서수많은 proposal을하는방식으로 2.24초정도소요된다. 두번째, EdgeBoxes는영상의에지정보를바탕으로에지박스를찾으면 proposal의수를줄여줄수있으며첫번째방법보다빠른 0.38초의성능을보이고있다. 세번째, YOLO는 cheaper grid 방식을선정하여속도를크게개선하였다. grid cell의개수가곧 proposal의수로 Fig. 4. The YOLO basic Model.[14]. YOLO 네트워크는그림 4와같이좌측의입력영상이네트워크를통과하면중앙의 2개의데이터를얻는구조로구성되어있다. 이안에는경계박스들과영상을 7 7 그리드로나누었을때해당그리드셀안에는어떤 695
한국산학기술학회논문지 제19권 제3호, 2018 클래가 있는지에 대한 정보가 포함되어 있다. 그림 4의 픈소스로 오른쪽 영상은 네트워크 최종 출력을 이용해 생성한 정 (https://github.com/alexeyab/darknet)을 사용하였다[16]. 보로 네트워크가 직접 생성한 것이다. YOLO 네트워크 YOLOv2는 빠른 물체 탐지 속도를 유지하면서 Faster 는 영상을 7 7 그리드로 나눈다. 각 그리드에서 중심을 R-CNN에 비하여 우수한 인식률을 보이고 있다. 그리고 제공 되어지는 YOLOv2 Linux 버전 그리도 안쪽으로 하면서 크기가 일정하자 않는 경계박스를 제안하는 연구를 위하여 OpenCv 3.2, CUDA 8.0, Xeon 2개씩 생성한다. 그리드 셀이 7 7=49개 이므로 총 98개 E5-2650 4-CPU, GTX-1080TI 4-GPU를 탑재한 의 경계박스가 생성되는 구조를 가지고 있다. 이 정보들 SDX-4185 Deep Learning서버를 사용하여 그림 6과 같 중에서 경계박스 안쪽에 어떤 물체가 있을 것 같다고 확 은 환경에서 C와 CUDA기반의 프레임워크인 darknet을 신(confidence score)이 높을수록 박스를 굵게 생성한다. 이용하여 실험하였다. 최종 단계에서는 굵은 경계박스들만 남기고 얇은 경계박 스를 지우며 남은 후보 경계박스를 NMS(non-maximal 3.2 학습 데이터 구성 suppression) 알고리즘을 이용하여 최종 오브젝트를 선 실험에 사용한 영상은 DJI사의 Phantom3 Professional을 정하면 그림 4의 우측 이미지와 같이 3개만 남는 구조로 이용하여 교내 캠퍼스에 주차 및 이동하는 자동차를 고 구성되어 있다. 도 50m 상공에서 촬영하였다. 실험 영상의 크기는 1920 1080 Full HD 크기로 구성하였다. 무인항공기 영 상을 이용하여 지상의 자동차를 탐지하기 위해서는 먼저 3. 제안하는 연구방법 학습과정을 거쳐야 한다. 컨볼루션 네트워크에 대한 학 습을 위해서 지상의 자동차 영상에 대한 학습이 필요하 YOLO는 실시간 물체 검출기로 물체의 경계박스를 다. 그림 7은 학습에 사용한 자동차 영상이다. 나타내고 동시에 클래스를 분류하는 기능을 수행한다. 본 논문에서는 YOLO의 최신버전인 YOLOv2를 이용하 여 실험에 사용하였다[15]. YOLOv2는 성능과 속도를 모두 개선시켜 현재 SSD(single shot multibox detector) 보다 성능이 뛰어난 것으로 알려져 있다. YOLOv2는 네트워크의 크기를 조절하여 FPS(frame per second)와 map(mean average precision)를 균형 있 게 조절할 수 있다. YOLOv2는 그림 5와 같이 성능향상 을 위하여 10가지 추가적 방법을 도입함으로 성능이 향 상 되었다[15]. Fig. 6. The experiment environment[16]. Fig. 5. The path from YOLO to YOLOv2[15] 3.1 실험환경 구축 본 논문에서는 지상에 주차되어 있는 자동차를 무인 항공기로 탐지하기 위하여 다음과 같은 실험환경을 구축 하였다. CNN 모델을 구축하기 위하여 본 논문에서는 오 Fig. 7. The training data set by YOLO Marker[15]. 696
무인항공기를이용한밀집영역자동차탐지 3.3 제안하는컨볼루션신경망구조컨볼루션신경망은학습데이터집합을기반으로신경망의구조에따라학습을진행하여특징을추출하고가중치를최적화하기때문에신경망의구조가물체탐지성능에큰영향을줄수있다. 본논문에서는실시간으로지상의자동차를인식할수있도록 YOLOv2를기반으로컨볼루션신경망을설계하여지상의자동차무인탐지에대한컨볼루션네트워크의활용가능성에대하여실험하였다. 실험에사용된네트워크는그림 8과같이구성하여실험에사용하였다. 실험에사용된네트워크는 YOLOv2 의네트워크구조에서완전히연결된레이어 3개를추가하여 22개의컨볼루션레이어와 5개의맥스풀링레이어로구성하였다. Table 2. The experiment result of proposed method test video Recall Precision Proposed methodfps SSD FPS #1 72.06 84.06 38.7 28.8 #2 83.47 91.05 36.1 26.3 #3 76.07 87.67 42.6 32.4 (a) test video #1 Fig. 8. The proposal training network. (b) test video #2 4. 실험결과 제안한컨볼루션네트워크의성능을정량적으로평가하기위하여물체탐지분야에서성능평가기준으로사용되는재현율 (recall) 과정밀도 (precision) 를계산하였고, FPS를이용하여네트워크의속도를평가하였다. 실험은 1,335의학습이미지와 536개의테스트이미지를사용하였다. 재현율은컨볼루션네트워크로실험한이미지들중에서총 N개의데이터를탐지하였을경우실험데이터에있는클래스들중에서성공적으로검출된클래스이비율의의미하고, 정밀도는검출한결과들중에정검출비율을의미하고 IOU를기준으로판단하였다. 표 2는제안하는방법과 SSD를이용한방법과비교결과이다. 그림 9는지상의자동차를탐지한영상이다. (c) test video #3 Fig. 9. The detection result of proposed method. 본연구에서는지상 50m 이내의저고도영상을이용하여데이터를학습하고실험하였기때문에저고도에존재하는차량의탐지에는좋은성능을보였다. 그러나실험에사용한네트워크를이용하여지상고도 50m 이상에서촬영한영상에서는자동차를인식률이현저하게떨어지는문제점이나타났다. 697
한국산학기술학회논문지제 19 권제 3 호, 2018 5. 결론및향후과제 본논문에서는지상의자동차를학습시킨컨볼루션네트워크를이용하여지상의자동차를실시간으로탐지하는모델을제안하였다. 실험결과컨볼루션네트워크의정밀도가각실험영상에서 84.06, 91.05, 87.67이며최대 42FPS로물체를탐지하고실시간으로동작하는것을확인할수있었다. 하지만실험에사용한영상의수가적어실험의정확성을판단하기에는다소어려움이있지만물체탐지속도는다른알고리즘에비하여현재최고의성능을보임을알수있었다. 향후연구과제는탐지된자동차의종류 ( 승용, 트럭, 승합, 버스 ) 에대한분류가필요할것으로보이며이동물체에대한추적개념의알고리즘을도입하면보다우수한성능의물체탐지및추적시스템에적용할수있을것으로판단된다. References [1] K. Kozempel and R. Reulke, Fast Vehicle Detection and Tracking in Aerial Image Bursts, in ISPRS City Models, Roads and Traffic(CMRT), Paris, France, vol. 38, no. 3/W4, pp. 175-180, 2009. [2] J. Leitloff, S. Hinz, and U. Stilla, Vehicle extraction from very high resolution satellite images of city areas, IEEE Trans. Geosci. Remote Sens., vol. 48, no. 7, pp. 2795-2806, 2010. DOI: https://doi.org/10.1109/tgrs.2010.2043109 [3] W. Yao,M. Zhang, S. Hinz, and U. Stilla, Airborne traffic monitoring in large areas using lidar data, Int. J. Remote Sens, vol. 33, no. 12, pp. 3930 3945, 2012. DOI: https://doi.org/10.1080/01431161.2011.637528 [4] D. Lenhart, S. Hinz, J. Leitloff and U. Stilla, Automatic Traffic Monitoring Based On Aerial Image Sequences, Pattern Recognition and Image Analysis, vol. 18, no. 3, pp. 400-405, 2008. DOI: https://doi.org/10.1134/s1054661808030061 [5] A. C. Holt, E. Y. W. Seto, T. Rivard and G. Peng, Object-Based Detection and Classification of Vehicles from High-Resolution Aerial Photography, Photogrammetric Engineering and Remote Sensing (PE& RS), vol. 75, no. 7, pp. 871-880, 2009. DOI: https://doi.org/10.14358/pers.75.7.871 [6] M. Elmiktay and T. Stathaki, Car Detection in High-Resolution Urban Scenes Using Multiple Image Descriptors, in Proc. Of International Conference on Pattern Recognition (ISPR), Stockholm, Sweden, pp. 4299-4304, 2014. DOI: https://doi.org/10.1109/icpr.2014.737 [7] T. Moranduzzo and F. Melgani, Detecting Cars in UAV Images with a Catalog-Based Approach, IEEE Transactions on Geoscience and Remote Sensing, vol. 52, no. 10, pp. 6356-6367, 2014. DOI: https://doi.org/10.1109/tgrs.2013.2296351 [8] S. Tuermer, F. Kurz, P. Reinartz and U. Stilla, Airborne Vehicle Detection in Dense Urban Areas Using HoG Features and Disparity maps, IEEE Journal of Selected Topics in Applied Earth Observation and Remote Sensing, vol. 6, no. 6, pp. 2327-2337, 2013. DOI: https://doi.org/10.1109/jstars.2013.2242846 [9] S. Liao, X. Zhu, Z. Lei, L. Zhang and S. Z. Li, "Learning Multi-scale Block Local Binary Patterns for Face Recognition," ICB 2007, pp. 828-837, 2007. DOI: https://doi.org/10.1007/978-3-540-74549-5_87 [10] N. Dalal and B. Triggs, Histograms of oriented gradients for human detection, in IEEE Computer Society Conf. Computer Vision and Pattern Recognition (CVPR), San Diego, CA, USA, vol. 1, IEEE Computer Society, pp. 886-893, 2005. DOI: https://doi.org/10.1109/cvpr.2005.177 [11] X. Chen and Q. Meng, Vehicle Detection from UAVs by Using SIFT with Implicit Shape Model, in IEEE International Conference on Systems, Man, and Cybernetics, pp. 3139-3144, 2013. DOI: https://doi.org/10.1109/smc.2013.535 [12] Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun, Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume: 39, Issue: 6, pp. 1137-1149, June 2017. DOI: https://doi.org/10.1109/tpami.2016.2577031 [13] Mahyar Najibi, Mohammad Rastegari, Larry S. Davis, G-CNN: An Iterative Grid Based Object Detector, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2369-2377, 2016. DOI: https://doi.org/10.1109/cvpr.2016.260 [14] Redmon Joseph, Divvala Santosh, Girshick Ross, Farhadi Ali, You Only Look Once: Unified, Real-Time Object Detection, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 779-788, 2016. [15] Joseph Redmon, Ali Farhadi, YOLO9000: Better, Faster, Stronger, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7263-7271, 2017. DOI: https://doi.org/10.1109/cvpr.2017.690 [16] Alexey, Yolo-v2 Windows and Linux version, https://github.com/alexeyab/darknet 서창진 (Chang-Jin Seo) [ 정회원 ] 1999 년 2 월 : 부산대학교대학원멀티미디어석사 2003 년 2 월 : 부산대학교대학원멀티미디어박사 년 3 월 ~ 2013 년 2 월 : 성덕대학교컴퓨터계열교수 2013 년 3 월 ~ 현재 : 상명대학교정보보안공학과교수 < 관심분야 > Object Detection, Target Tracking, Artificial Vision, Multimedia, E-Learning, Security 698