Journal of the Korea Academia-Industrial cooperation Society Vol. 18, No. 8 pp. 355-360, 2017 https://doi.org/10.5762/kais.2017.18.8.355 ISSN 1975-4701 / eissn 2288-4688 자율주행지원을위한고해상도무인항공영상처리기반의도로정보추출 이근왕청운대학교멀티미디어학과 Extraction of Road Information Based on High Resolution UAV Image Processing for Autonomous Driving Support Keun-Wang Lee Department of Multimedia Science, Chungwoon University 요약최근자율주행자동차기술의발전으로정밀도로지도에대한중요성이증가하고있다. 정밀도로지도는차선정보, 규제 안전정보, 각종도로시설물등이표현된디지털지도로 MMS(Mobile Mapping System) 기반으로시험제작되어왔지만이방법은고가의도입비용으로크게활성화되지못하고있다. 하지만무인항공기의경우적용분야가지속적으로늘어나고있으며, 이에대한연구도다양한분야에서이루어지고있다. 본연구에서는고해상도무인항공기영상의처리를통해자율주행에필요한차선, 시설물등의정보를추출하고자하였다. 자율주행자동차시험도로를연구대상지로선정하고, 무인항공기를이용하여고해상도정사영상을제작하였다. 기존의수치지형도와정밀도로지도의속성비교를통해정밀도로지도제작을위한차선, 중앙분리대, 제어기등의추출항목을선정하였다. 또한영상분류를통해차선, 중앙분리대, 제어기등정밀도로지도구축을위한데이터를효과적으로추출함으로써고해상도정사영상의활용성을제시하였다. 추가적인실험과검증을통해무인항공기영상의이용분야를확대할수있을것이며, 구축된데이터를자동차제작사및관련민 관기관, 벤처기업등에제공한다면국내자율주행차기술발전에기여할것이다. Abstract Recently, with the development of autonomous vehicle technology, the importance of precise road maps is increasing. A precise road map is a digital map with lane information, regulations, safety information, and various road facilities. Conventional precise road mapshavebeen tested and developed based on the mobile mapping system (MMS). But they havenot been activated due to high introduction costs. However, in the case of unmanned aerial vehicles (UAVs), the application field is continuously increasing. This study triesto extract information through classification of high-resolution UAV images for autonomous driving. Autonomous vehicle test roads were selected as study sites, and high-resolution orthoimages were produced using UAVs. In addition, the utilization of high-resolution orthoimages has been proposed by effectively extracting data for precise road map construction, such as road lines, guards, and machines through image classification. If additional experimentation and verification are performed, the field of UAV image use will be expanded, providing the data to automobile manufacturers and related public and private organizations, and venture companies will contribute to the development of domestic autonomous vehicle technology. Keywords : Autonomous Driving, Image Classification, Ortho Image, Precise Road Map, UAV * Corresponding Author : Keun-Wang Lee(Chungwoon University) Tel: +82-32-770-8203 email: kwlee@chungwoon.ac.kr Received July 24, 2017 Revised August 14, 2017 Accepted August 17, 2017 Published August 31, 2017 355
한국산학기술학회논문지제 18 권제 8 호, 2017 1. 서론정밀도로지도는차선정보, 규제 안전정보, 각종도로시설물등이표현된디지털지도로최근자율주행차기술이지도기반추세로발전함에따라중요성이커지고있다 [1-5]. 국토교통부국토지리정보원은 2015년부터정밀도로지도의구축항목, 방법, 기술등에대한기초연구와시범구축을착수하였으며, 구축된결과를관련민간기업, 연구기관등약 40여기관, 기업에제공하여자율주행기술개발등을지원하고, 2020년까지자율주행자동차의상용화지원방안으로전국고속도로및 4차선이상국도의정밀도로지도를구축한다는계획을추진하고있다 [6-8]. 최근도로지도구축을위한연구로 MMS(Mobile Mapping System) 을활용한 DB 구축이이루어지고있다 [9]. MMS는 3D 레이저스캐너, 디지털카메라, IMU(Inertial Measurement Unit), DMI(Distance Measuring Indicator) 등의센서를통합하여빠르게공간정보를취득할수있도록개발된시스템이다 [10,11]. 하지만고가의도입비용으로인해아직관련산업분야에적용이활성화되고있지못하고있는실정이다. 반면무인항공기는영상의촬영, 지도제작, 공간정보구축등다양한분야에적용되어관련시장이빠르게성장하고있다 [12-13]. 특히, 대상지역이넓지않은경우, 공간정보취득의경제성과신속성때문에많은주목을받고있으며, 최근빠르게성장하고있는정보통신기술과의융합은관련산업발전에큰영향을미치고있다 [14]. 본연구에서는무인항공기를이용하여연구대상지역에대한정밀정사영상을제작하고, 영상분류기법을적용하여차선, 도로분리대, 도로주변식생과같은자율주행을위한정보추출을수행하고자하였다. 2장에서는정사영상제작을위한데이터취득과처리과정을기술하며, 3장에서는생성된정사영상의분류및이에대한분석을기술한다. 그림 1은본연구의연구흐름도를나타낸다. 2. 데이터취득및정사영상생성본연구에서는정밀도로지도구축을위한도로정보의추출을위해고해상도정사영상을활용하고자하였다. 연구대상지는대구지역에위치한자율주행자동차시험도로를선정하였으며, 무인항공기를이용하여대상지역의영상을취득하였다. 대상지역의면적은약 1km2이며, 비행고도 150m로영상을취득하였다. 비행은 25분씩 2회수행하였으며, 취득된영상은총 1,100매였다. 그림 3은비행경로를나타낸다. Fig. 2. Study area Fig. 1. Study Flow Chart Fig. 3. Flight path 356
자율주행 지원을 위한 고해상도 무인항공 영상처리 기반의 도로정보 추출 정사영상은 접합점 추출, GCP(Ground Control Point) 입력, DSM(DIgital Surface Model)생성, 영상 모자이크 의 처리과정을 통해 생성하였으며, TBC(Trimble Bussiness Center) 소프트웨어를 활용하였다. 그림 4는 자료처리 화면을 나타낸다. Fig. 4. Data processing screen Fig. 6. Ortho image 자료처리를 통해 지상해상도 2cm급의 정사영상을 제 작하였다. 그림 5는 DSM이며, 그림 6은 정사영상을 나 3. 영상분류 타낸다. 항공사진이나 위성영상 등 다양한 레스터 형태의 자 료는 광역적인 토지피복 모니터링, 대기 오염 모델링, 홍 수 및 산사태 등의 재해평가 등 다양한 분야에 이용되어 왔다. 주로 시계열적인 영상자료를 활용한 광역 변화탐 지 및 모니터링과 같은 분야에 주로 활용이 되어 왔다. 하지만 영상분류는 사용자의 숙련도에 따라 성과물의 품 질이 결정되며, 많은 시간과 노력을 필요로 한다. 본 연 구에서는 ecognition 소프트웨어를 영상분류에 이용하 였다. ecognition은 객체 기반 방식의 영상분류 소프트웨어 로서, 객체 기반 방식의 우수한 컨텍스트 이미지 분석 기 능을 제공한다. 또한 객체분할 처리를 통한 다량의 고해 상도 이미지의 쉽고 빠른 분석을 지원하여, 공간정보에 대한 효율적인 처리가 가능하여 다양한 분야에서 활용되 Fig. 5. DSM 고 있다. 그림 7은 ecognition의 구성을 나타낸다[15]. 357
한국산학기술학회논문지 제18권 제8호, 2017 Fig. 9. Classification items Fig. 7. Components of ecognition 각 항목의 분류를 위해 정사영상의 일부지역을 선정 하여 영상의 색상정보를 활용한 룰셋을 작성하고, 객체 본 연구에서는 무인항공기를 통해 생성한 고해상도 기반의 자동분류 알고리즘을 적용시켜 자동분류를 수행 정사영상을 이용하여 정밀도로지도 구축을 위한 도로정 하였다. 그림 10은 영상분류 지역이며, 그림 11~그림 13 보를 추출하였다. 먼저 정밀도로지도 구축에 필요한 정 은 각 항목에 대한 분류 결과를 나타낸다. 보의 선정을 위해 기존 수치지형도와 정밀도로지도의 속 성을 조사하였다. 그림 8은 수치지형도와 정밀도로지도 의 속성 비교를 나타낸다. Fig. 8. Comparison of properties with digital map and precise road map 기존 수치지형도와 자율주행 지원을 위한 정밀도로지 도의 속성 비교를 통해 정사영상에서의 추출항목을 차 선, 중앙분리대, 식생, 제어기 등으로 선정하였다. 그림 9 는 분류항목을 나타낸다. Fig. 10. Classification area 358
자율주행지원을위한고해상도무인항공영상처리기반의도로정보추출 무인항공기를이용한고해상도정사영상을이용하여그림 11~ 그림 13에보는바와같이정밀도로지도구축을위한차선, 중앙분리대, 제어기등의속성정보를효과적으로추출할수있었다. 이러한결과는무인항공기정사영상을이용한정밀도로정보구축의가능성을제시하는것이다. 또한지속적인연구를통해도로정보의유실점검이나도로의파손여부모니터링과같은분야에활용가능성을검증한다면무인항공기정사영상의이용분야를확대할수있을것이며, 구축된데이터를자동차제작사및관련민 관기관, 벤처기업등에제공한다면국내자율주행차기술발전에기여할수있을것이다. Fig. 11. Classification result road line 4. 결론 Fig. 12. Classification result tree 본연구는고해상도무인항공기영상의처리를통해자율주행을위한정보를추출하고자한것으로다음과결론을얻었다. 1. 무인항공기를이용하여연구대상지역에대해지상해상도 2cm급의고해상도정사영상을제작할수있었다. 2. 기존의수치지형도와정밀도로지도의속성비교를통해정밀도로지도제작을위한차선, 중앙분리대, 제어기등의추출항목을선정하였다. 3. 객체기반영상분류기법을이용하여정밀도로지도구축을위한항목들을효과적으로추출함으로써고해상도정사영상을이용한도로정보추출의활용성을제시하였다. 4. 추가적인실험과검증을통해무인항공기정사영상의이용분야를확대할수있을것이며, 구축된데이터를자동차제작사및관련민 관기관, 벤처기업등에제공한다면국내자율주행차기술발전에기여할것이다. References Fig. 13. Classification result guard, machine [1] S. C. Oh, K. H. Kim, H. Y. Choi, Train interval control and train-centric distributed interlocking algorithm for autonomous train driving control system, Journal of the Korea Academia-Industrial cooperation Society, vol. 17, no. 11, pp. 1-9, 2016. DOI: http://dx.doi.org/10.5762/kais.2016.17.11.1 359
한국산학기술학회논문지제 18 권제 8 호, 2017 [2] D. H. Nam, S. S. Lee, N. S. Kim, Issue-Tree and QFD Analysis of Transportation Safety Policy with Autonomous Vehicle, The Journal of The Korea Institute of Intelligent Transport Systems, vol. 15, no. 4, pp. 26-32, 2016. DOI: http://dx.doi.org/10.12815/kits.2016.15.4.026 [3] Bo Ram Gu, Da Young Ju, "Interaction Characteristics of Autonomous Driving Levels from User Perspective", Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, Vol. 7, No. 2, pp. 351-359, Feb. 2017. DOI: http://dx.doi.org/10.14257/ajmahs.2017.02.70 [4] Joon sung Kim, "The Legal Probability as Causal Responsibility founded on the Probabilistic Theory of Causality: On the Legal Responsibility of Autonomous Vehicles", Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, Vol. 6, No. 12, pp. 587-594, Dec. 2016. DOI: http://dx.doi.org/10.14257/ajmahs.2016.12.58 [5] Yun-Gil Lee, "A Basic Study on the Development of Autonomous Behavioral Agent based on Ontology Used in Virtual Space", Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, Vol. 7, No. 6, pp. 777-784, June 2017. DOI: http://dx.doi.org/10.14257/ajmahs.2017.06.46 [6] Ministry of Land, Infrastructure and Transport, Precise Road Map Advance Commercialization of Autonomous Vehicles, Available From http://www.molit.go.kr (accessed Aug. 2, 2017) [7] National Geographic Information Institute, Precise Road Map Advance Commercialization of Autonomous Vehicles, Available From http://www.ngii.go.kr/. (accessed Aug. 2, 2017) [8] Kiljae, Ahn, Yongsung Kim, "Basic Study of Architectural Design Using low-cost, low-altitute photogrammertric system", Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, Vol. 5, No. 4, pp.789-796, Aug. 2015. DOI: http://dx.doi.org/10.14257/ajmahs.2015.08.54 [9] J. E. Kim, C. H. Hong, (A) study on location correction method of indoor/outdoor 3D model through data integration of BIM and GIS, Journal of the Korea Academia-Industrial cooperation Society, vol. 18, no. 3, pp. 56-62, 2017. DOI: http://dx.doi.org/10.5762/kais.2017.18.3.56 [10] Y. S. Jwa, G. H. Sohn, J. U. Won, W. C. Lee, N. Y. Song, Railway Track Extraction from Mobile Laser Scanning Data, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, vol. 33, no. 2, pp. 111-122, 2015. DOI: http://dx.doi.org/10.7848/ksgpc.2015.33.2.111 [11] E. J. Yoo, D. C. Lee, Determination of Physical Footprints of Buildings with Consideration Terrain Surface LiDAR Data, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, vol. 34, no. 5, pp. 503-514, 2016. DOI: http://dx.doi.org/10.7848/ksgpc.2016.34.5.503 [12] B. J. Kang, H. C. Cho, System of Agricultural Land Monitoring Using UAV, Journal of the Korea Academia-Industrial cooperation Society, vol. 17, no. 6, pp. 372-378, 2016. DOI: http://dx.doi.org/10.5762/kais.2016.17.6.372 [13] Young Jin Park, Min Gyu Kim, "Analysis of Characteristics of Ortho Image by Type of Terrain Model using Unmanned Aerial Vehicle", Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, Vol. 5, No. 5, pp. 505-513, Oct. 2015. DOI: http://dx.doi.org/10.14257/ajmahs.2015.10.37 [14] K. R. Lee and W. H. Lee, Orthophoto and DEM Generation Using Low Specification UAV Images from Different Altitudes, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, vol. 34, no. 5, pp. 535-544, 2016. DOI: http://dx.doi.org/10.7848/ksgpc.2016.34.5.535 [15] Trimble, Imaging Software Suites, Available From http://www.trimble.com (accessed Aug. 2, 2017) 이근왕 (Keun-Wang Lee) [ 종신회원 ] 1993 년 2 월 : 한밭대학교전자계산학과 ( 공학사 ) 1996 년 2 월 : 숭실대학교컴퓨터공학과 ( 공학석사 ) 2000 년 2 월 : 숭실대학교컴퓨터공학과 ( 공학박사 ) 2001 년 3 월 ~ 현재 : 청운대학교멀티미디어학과교수 < 관심분야 > 컴퓨터통신, 멀티미디어통신, 멀티미디어응용 360