Journal of the Korea Academia-Industrial cooperation Society Vol. 20, No. 9 pp. 474-480, 2019 https://doi.org/10.5762/kais.2019.20.9.474 ISSN 1975-4701 / eissn 2288-4688 이재원, 성상민 * 동아대학교토목공학과 Evaluation of Resolution of UAV-Image Using Circular Target Jae-One Lee, Sang-Min Sung * Dept. of Civil Engineering, Dong-A University 요약본연구에서는무인항공영상의품질평가를위해공간해상도검정방법중하나인 MTF(Modulation Transfer Function) 를 Circular target을이용하여평가하는방안을제시하고, MATLAB GUI 기반해상도분석 Tool을제작하여무인항공영상품질의신뢰도와작업의효율성을높이고자하였다. 이를위해무인항공기체인 DJI Phantom 4 Pro(FC 6310) 기체는 80m, 120m, 150m, Matrice 600(iXM-100) 기체는 150m, 200m, 400m의서로다른고도에서촬영하였으며, 유인항공영상과비교를위해 UltraCAM Eagle Mark 2 센서로비행고도 1000m에서영상을촬영하여 MTF를비교하였다. 연구결과 DJI Phantom 4 Pro(FC 6310) 기체의 수치는촬영고도에따라 0.431, 0.524, 0.699, Matrice 600(iXM-100) 기체의 수치는촬영고도에따라 0.332, 0.393, 0.631의결과를나타내어촬영고도가높아질수록영상의품질이낮아짐을알수있었다. 동일한고도인 150m의경우탑재된카메라의성능이높은 Matrice 600(iXM-100) 기체의영상품질이매우높은결과를나타내어카메라의성능이영상의품질에미치는영향을확인할수있었다. 또한, UltraCAM Eagle Mark 2 센서를탑재한유인항공영상의 수치는높은비행고도로인하여 0.711의결과를나타내어모든무인항공영상의품질보다낮은결과를나타내었다. 하지만 DJI Phantom 4 Pro(FC 6310) 기체의 150m 고도에서촬영한무인항공영상에서 수치는 0.699의결과를나타내어유인항공영상의품질과거의비슷한결과를나타내었다. Abstract We propose a method to evaluate a Modulation Transfer Function (MTF) using a circular target. In addition, a MATLAB GUI-based resolution analysis tool was developed to enhance the reliability of UAV image quality and the efficiency of the work. For this purpose, images were taken with an FC-6310 during flights at altitudes of 80 m, 120 m, and 150 m and by an ixm-100 at altitudes of 150 m, 200 m, and 400 m. The MTFs of UAV images were compared with traditional photogrammetry by measuring and analyzing MTFs on images taken by the UltraCAM Eagle Mark-2 sensor at a flight altitude of 1000 m. The results show that of the FC-6310 were 0.431(80 m), 0.524(120 m), and 0.699(150 m), and those of the ixm-100 were 0.332(150 m), 0.393(200 m), and 0.631(400 m), respectively. At the altitude of 150 m, the image quality of the ixm-100, which has a high-performance camera, was very high, and the effect of the camera performance on the image quality was confirmed. In addition, the of the UltraCAM Eagle Mark-2 was 0.711 due to the high flight altitude. This was the worst value among all UAV images. However, the of the FC-6310 at 150-m altitude was 0.699, which is almost the same as that of a manned aerial image. Keywords : UAV-Photogrammetry, MTF, Circular Target, MATLAB GUI, Spatial Resolution 이논문은 2018 년도정부 ( 교육부 ) 의재원으로한국연구재단의지원을받아수행되었음. ( 과제번호 :NRF-2018R1D1A1A02085675) 이논문은교신저자성상민의박사논문일부를발췌한것임. *Corresponding Author : Sang-Min Sung(Dong-A Univ.) email: cantona777@naver.com Received July 11, 2019 Revised August 20, 2019 Accepted September 6, 2019 Published September 30, 2019 474
1. 서론 무인항공사진측량 (UAV-Photogrammetry) 은정사영상, 3D Model과같은성과물을제작하고각종수치지도등의최종성과물을제작하게된다. 따라서정사영상, 3D Model과같은성과물의품질이최종측량결과물의품질에직접적인영향을미치게된다. 하지만기상조건, 촬영고도, 비측량용카메라와저가항법장치 (GPS, IMU) 의사용, 급격한자세각의변화, 흐림현상 (Blurring) 등에따른균질한품질 ( 해상도및정확도 ) 확보가어려운문제점이있다. 또한, 무인항공사진과성과물에대한품질검증과인증을위한자세한절차와규정이미흡하여품질의신뢰성확보가어려운실정이다. 한편, 항공영상의품질평가와관련된연구동향을살펴보면 2009년 Wang 등은유인항공영상이나인공위성영상에서 Hough 변환을이용한직선의검출에기초하여높은성공률과허용가능한정확도로 MTF를자동으로측정하는방법을제시하였다 [1]. 2003년 Baer는기존의 Edge target과 Slanted edge target을이용한공간해상도분석방법의단점을보완할수있는 Circular target을이용한공간해상도분석방법을제시하였다 [2]. 2015년 Dabrowski는무인항공영상의품질을검증하기위해 PIQuAT라는휴대용영상품질평가테스트시트를제작하였다. PIQuAT는나무판재질로 70 70 cm의크기이며, 무인항공기체와함께운반하여어떠한현장조건에서설치가가능하고, 분광해상도및방사해상도를동시에평가하여다양한무인항공기체에탑재된센서의검증을용이하게하였다 [3]. 이에본연구에서는무인항공사진측량용해상도타겟인 Circular target을제작하여연구대상지에설치후, 영상의해상도와명암정보를동시에분석할수있는 MTF(Modulation Transfer Function) 분석을실시하여무인항공영상의신뢰성을확보하고자하였으며, MATLAB GUI 기반해상도분석 Tool을제작하여작업자가간편하게무인항공영상의품질을검증하여사용목적에맞는적절한촬영고도와중복도, 비행경로등촬영요소 (flight parameters) 의최적화에대한판단을가능하게하여작업의효율성을높이고자하였다. 또한, 무인항공영상의품질저하요소중가장큰변수인촬영고도와탑재된카메라의성능을달리하여품질평가를실시한후, 유인항공영상과품질을비교하여고해상도의무인항공영상을얻기위한최소조건을제시하였다. 2.1 MTF 분석방법 2. MTF 분석 MTF 그래프에서횡축은흑백라인이한쌍 (lp: line pair) 을이루었을때, 1 pixel안에몇쌍의 lp가들어가느냐를나타내는단위인공간주파수 (spatial frequency), 종축은 MTF 수치로표현한다. 종축인 MTF 수치는피사체에대하여주어진해상도에서흑백의대비를얼마나잘구분할수있는지를나타낸다. 즉, 밝은부분과어두운부분의강도차이가클수록 MTF 수치가좋은것이다. 만약 MTF 수치가 0이라면영상에서흑백의대조차이가없어피사체의구분이어려운상태이며수치가 1에가깝다면흑백의구분이뚜렷함을나타낸다 [4]. Fig. 1. DN of image with black and white linepairs Fig. 1은영상에나타난흑백선쌍에서추출된 DN(Digital number) 를나타내고있다. 이그래프에서 Modulation 값은식 (1) 로나타난다 [5]. max min max min MTF 수치는식 (2) 로나타낼수있다 [5]. Where, denotes Modulation values shown in the image, denotes Modulation value extracted from the actual (1) (2) 475
한국산학기술학회논문지제 20 권제 9 호, 2019 filmed shape and 흑백선쌍의공간주파수는위의식 (3) 에의해계산되어진다 [5]. 즉, 흑백선쌍의폭이 40 cm이고 GSD가 10 cm라면공간주파수는 0.25 lp/pixel이다. (3) 방향에대해서만분석이가능한문제점이있다. 따라서영상의취득시미리비행방향을고려하여해상도타겟을설치하여야한다. 하지만본래 CT(Computed Tomography) 영상과같은의료용영상의해상도분석에이용되는해상도타겟인 Circular target을무인항공영상용으로제작한본연구의 Circular target 영상은 360 회전이가능하여촬영방향과경계의각도에관계없이모든방향에서 MTF 분석이가능한장점이있다 [2]. Fig. 2. MTF graph MTF 수치의표준편차인 를계산하여각각의경우를비교분석하였다. 가작을수록영상의품질이좋은영상이다. 또한, Fig. 2에나타난 MTF 그래프의 MTF 수치 50% 에해당하는공간주파수수치인, MTF 수치 20% 에해당하는공간주파수수치인 을계산하여비교분석하였다. 이란많은연구를통한경험적인기준으로작업자의육안으로경계의선명함이흐려지기시작할때의공간주파수수치를의미한다. 은작업자의육안으로경계를구별할수있는최소한의공간주파수수치를말한다 [6]. 2.1.1 Circular target을이용한 MTF 분석방법 (a) (b) Fig. 3. (a) Edge target & (b) Slanted edge target 위의 Fig. 3과같은기존의 Edge target과 Slanted edge target을이용한 MTF 분석방법은일정한경계의 Fig. 4. MTF analysis using circular target Fig. 4의 (a) 와같이 Circular target을이용한 MTF 분석의첫번째단계는 Circular target에위치한원의중심점을찾는것이다 [6]. 원의중심점은영상에서 Circular target이정사각형의형상이라면영상에서각각행과열을이용하여합계의중간값을계산하여결정된다. 하지만무인항공영상에서는흐림현상의발생과명암대비의저하등으로완벽한정사각형형태의 Circular target 영상을생성하기가어렵다. 따라서 GNSS(Global Navigation Satellite System) 네트워크 RTK-VRS(Real Time Kinematic Virtual Reference System) 방법으로미리 Circular target의중심을측량하여영상에서원의중심점을찾아분석하였다. GNSS 네트워크 RTK(VRS) 방법에의한원의중심점결정은측량오차와영상의특성으로인하여찾고자하는해당픽셀의중심에정확히위치하지않는다 [2]. 두번째단계 (b) 는원의중심점에서방사형주사선 (scan line: 래스터방식을사용하여정보를표현하는영상면출력장치에서, 수평방향으로하나의줄에존재하는픽셀들의집합 ) 을사용하여 DN 수치를추출한다. 주사선의각도는임의로선택할수있어모든방향의 DN 수치를획득할수있다. 앞에서설명한바와같이원의중심이해당픽셀의중심에위치하지않아주사선또한픽셀의중심과교차하지않는다. 이와같은이유로균일한간격을갖는주사선을얻기위하여쌍1차보 476
간법 (bilinear interpolation) 을사용하여픽셀수치에서가장가까운 4 점으로부터 DN 수치를결정한다. 세번째단계 (c) 는 (b) 와같이각라인에서추출한 DN 수치를평균값으로계산하여 ESF를생성한다. 네번째단계 (d) 는 ESF 그래프를생성후미분하여 PSF 그래프를생성한다. PSF 그래프생성단계에서가우시안함수로그래프를평활화한다면노이즈가 MTF 수치에미치는영향을줄일수있다. 최종적으로 PSF 그래프에서후리에변환공식을사용하여 (e) 와같이 MTF 그래프를생성하게된다 [6]. 아래의 Table 1은 Circular target을이용한 MTF 분석 Tool의번호별기능을나타내고있다. Table 1. Configuration of MTF analysis tool using circular target 3. 해상도분석 Tool 제작 3.1 Circular target을이용한 MTF 분석 Tool 작업자가무인항공영상의품질을보다간편하고객관적으로분석할수있도록 MATLAB GUI 기반해상도분석 Tool을제작하였다. 분석 Tool 의흐름도는아래의 Fig. 5와같다. 첫째, 무인항공사진으로제작한정사영상에서 Circular target 이촬영된영상을불러와 target의중심좌표를입력하거나영상에서중심좌표를추출한다. 둘째, 입력한중심좌표를기준으로반경별픽셀수치를추출하여평균값을계산한다. 셋째, 반경별로추출한픽셀수치의평균값을이용하여 ESF 그래프를생성한다. 넷째, ESF 그래프의 1차도함수인 PSF 그래프를생성한다. 여기서가우시안함수로그래프를평활화하여영상의노이즈가그래프에미치는영향을줄였다. 마지막으로 PSF 그래프를후리에변환공식을사용하여 MTF 그래프를생성하고 를계산한다. 1 Circular Target Representing Window 2 Circular Target Load Button 3 Center Coordinate Extraction Button 4 ESF Graph Generation Button 5 PSF Graph Generation Button 6 ESF Graph 7 PSF Graph 8 radial input window 9 DN Extract Button 10 MTF Graph 11 MTF Graph Generation Button 12 Generation Button 13 Generation Button 4. 실험및자료처리 4.1 해상도타겟설치 Circular target 의형태는아래의 Fig. 6과같이 1 1 m 크기의흑색배경에백색의원으로이루어져있다. 타겟의흑백대비규정은 4:1의명암대비로규정하고있으며, 만약대비가너무높으면렌즈에서빛이산란되거나반사되어원래상에없는허상이나타나는현상이발생하여가장자리에왜곡이발생할수있다 [7]. Fig. 5. Flow chart of MTF analysis tool using circular target Fig. 6. Circular target 477
한국산학기술학회논문지제 20 권제 9 호, 2019 4.2 영상취득및처리 Table 3. MTF analysis using circular target Table 2. Specifications of cameras and Flight height Camera model Flight height Circular target 80 m 0.431 0.434 0.663 Appearance Camera model ixm-100 FC 6310 UltraCAM Eagle Mark 2 FC 6310 100 m 0.524 0.355 0.541 Focal length 35 mm 8.8 mm 100 mm 150 m 0.699 0.267 0.407 Pixel size 3.76 3.76 μm 2.41 2.41 μm 6 6 μm CCD Sensor size 11,664 8,750 (100 MP) 5,472 3,648 (20 MP) 17,310 11,310 (193 MP) 150 m 0.332 0.563 0.857 Flight height 150 m 80 m 200 m 100 m 400 m 150 m 1000 m ixm -100 200 m 0.393 0.470 0.717 사용한무인항공기체는 Phantom 4 Pro(FC 6310) 기체와 Matrice 600(iXM-100) 기체이며모두회전익기체이다. 유인항공기체에는 UltraCAM Eagle Mark 2 센서를탑재하였다. 항공영상의품질은기체에탑재된카메라의성능과촬영고도에큰영향을받기에위의 Table 2에탑재한카메라센서의성능과촬영고도를나타내었다. 촬영고도의경우 Matrice 600(iXM-100) 기체는 150, 200, 400m의고도로촬영하였으며, Phantom 4 Pro(FC 6310) 기체는 80, 100, 150m의고도로촬영하였다. 5. 결과분석 Circular target을이용하여무인항공영상과유인항공영상의 MTF를분석하였다. 아래의 Table 3에는각각의센서와고도별로촬영된 Circular target과,, 를계산하여나타내었다. MTF 수치의표준편차인 는수치가낮을수록좋은품질의영상을의미한다. 를살펴보면촬영고도가높아질수록 FC 6310 센서 (0.431, 0.524, 0.699), ixm-100 센서 (0.332, 0.393, 0.631) 로 수치가높아져영상의품질이나빠지는결과를나타내었다. 또한, 동일한 150m 고도일때, 햇빛의방사량과탑 Ultra CAM Eagle Mark 2 400 m 0.631 0.294 0.448 1000 m 0.711 0.262 0.399 재된카메라의성능에의하여백색피사체의빛번짐현상이발생한 FC 6310 센서의 수치는 ixm-100 센서의 수치보다매우나쁜결과를나타내고있다. 이는영상의해상도뿐만아니라명암의대비정도도측정하여분석하는 MTF 분석의특성상빛번짐현상이 수치에큰영향을미친것으로판단되어탑재된카메라의성능이영상의품질에큰영향을미침을확인할수있다. 유인항공영상과의비교에서는무인항공영상의 수치가모든기체와고도에서 UltraCAM Eagle Mark 2 센서의유인항공영상 수치 (0.711) 보다나은결과를나타내었으나, FC 6310 센서의 150m 고도에서는 0.699의수치로거의차이가없는결과를나타내었다. 이와같은결과는무인항공영상촬영시에작업자가촬영고도는최대 150m, 탑재된카메라의성능은최소 2000만화소의성능을가진카메라를사용하여중복도, 기체의종류등을적절하게판단하여촬영을실시하여야만유인항공영상보다나은고품질의무인항공영상을획득할수있음을나타낸다. 478
Fig. 7. Comparison of MTF curves by cameras using circular target 위의 Fig. 7은각각의 Circular target을이용하여분석한 MTF 그래프이다. MTF 그래프에서는 x축의공간주파수가커질수록 y축의 MTF 수치가 1에가깝게유지된다면피사체를자세히구분하는해상도가뛰어난성능이우수한카메라센서라고판단할수있다. 그래프의범례순서대로나쁜품질의영상을나타내고있다. ixm-100 센서의 150 m고도에서작업자의육안으로경계의선명함이흐려지기시작할때의공간주파수수치인 0.563 lp/pixel, 작업자의육안으로경계를구별할수있는최소한의공간주파수수치인 은 0.857 lp/pixel의결과를나타내었다. 즉, ixm-100 센서로 150 m 고도에서촬영한항공영상에폭이 10 cm인한쌍의흑백선이존재할때, 앞에서설명한공간주파수공식인식 (3) 을이용하면약 5.63 cm의 GSD일때부터흑백선의경계가흐려지기시작하며 GSD가 8.57 cm 이상이되면흑백선의경계를인식할수없게된다. 마찬가지로 150 m 고도의 FC 6310 센서의경우 GSD 2.67 cm부터흑백선의경계가흐려지기시작하며 GSD 4.07 cm일때, 흑백선의경계를인식할수없다고판단할수있다. UltraCAM Eagle Mark 2 센서의경우 GSD 2.62 cm부터흑백선의경계가흐려지기시작하며 GSD 3.99 cm일때, 흑백선의경계를인식할수없다고판단할수있다. 6. 결론 무인항공사진측량용해상도타겟인 Circular target 을이용한 MTF 분석을실시하여무인항공영상의신뢰성을확보하고자하였으며, MATLAB GUI 기반해상도분석 Tool을제작하여작업의효율성을높이고자하였다. 또한, 무인항공영상의품질저하요소중가장큰변수인 촬영고도와탑재된카메라의성능을달리하여품질평가를실시한후, 유인항공영상과품질을비교하여고해상도의무인항공영상을얻기위한최소조건을제시하였다. 이와같은연구를통해아래와같은결론을도출하였다. 첫째, 기존의해상도타겟을이용한 MTF 분석방법이가지고있는일정한경계의방향에대해서만분석이가능한문제점을해결한 Circular target을무인항공영상용으로제작하여 MTF 분석이가능함을확인하였다. 또한 MATLAB GUI 기반해상도분석 Tool을개발하여작업자가간편하게무인항공영상의품질을검증하여사용목적에맞는적절한촬영고도와중복도, 비행경로등촬영요소의최적화에대한판단을가능하게하여작업의효율성을높였다. 둘째, FC 6310 센서의경우촬영고도가높아질수록 수치가 0.431, 0.524, 0.699, ixm-100 센서의경우촬영고도가높아질수록 수치가 0.332, 0.393, 0.631로높아져촬영고도가높아질수록영상의품질이나빠짐을확인하였으며, 150m의동일고도로촬영한무인항공영상을비교한경우, 수치가 FC 6310 센서는 0.699, ixm-100 센서는 0.332로탑재된센서의성능이좋은 ixm-100 센서가매우좋은결과를나타내었다. 이와같은결과로촬영고도와탑재된카메라의성능이무인항공영상의품질에큰영향을미치고있음을확인할수있었다. 셋째, MTF 그래프에서 MTF 수치 50% 에해당하는공간주파수수치인 과 MTF 수치 20% 에해당하는공간주파수수치인 을계산하여비교분석하였다. ixm-100 센서의경우 150 m 고도에서촬영한항공영상에폭이 10 cm인한쌍의흑백선이존재할때, 약 5.63 cm의 GSD일때부터흑백선의경계가흐려지기시작하며 GSD가 8.57 cm 이상이되면흑백선의경계를인식할수없게된다. 150 m 고도의 FC 6310 센서의경우 GSD 2.67 cm부터흑백선의경계가흐려지기시작하며 GSD 4.07 cm일때, 흑백선의경계를인식할수없다고판단할수있다. UltraCAM Eagle Mark 2 센서의경우 GSD 2.62 cm부터흑백선의경계가흐려지기시작하며 GSD 3.99 cm일때, 흑백선의경계를인식할수없다고판단할수있다. 넷째, 무인항공영상의품질을유인항공영상의품질과비교한경우, 무인항공영상의품질이모든기체와촬영고도에서유인항공영상의품질보다나은결과를나타내었다. 하지만 FC 6310 센서의 150m의경우 수치 479
한국산학기술학회논문지제 20 권제 9 호, 2019 가 0.699로 1000m 고도에서촬영한 UltraCAM Eagle Mark 2 센서의 수치 0.711과크게차이가없는결과를나타내었다. 이와같은결과는무인항공영상촬영시에작업자가촬영고도는최대 150m 이하, 탑재된카메라의성능은최소 2000만화소의성능을가진카메라를사용하여중복도, 기체의종류등을적절하게판단하여촬영을실시하여야만유인항공영상보다나은고품질의무인항공영상을획득할수있음을나타낸다. 하지만본연구에서는무인항공영상의품질을촬영고도, 탑재된카메라의성능만달리하여비교한결과이다. 비행체의자세각, 기상조건등보다다양한조건에서촬영된영상의품질을분석한다면무인항공영상의품질의신뢰도향상에큰기여를할것으로판단된다. 이재원 (Jae-One Lee) [ 정회원 ] 1984년 2월 : 동아대학교대학원토목공학과 ( 공학석사 ) 1996년 2월 : 독일 Hannover 대학교 ( 공학박사 ) 2000년 4월 ~ 2006년 2월 : 대한측량협회 ( 現 : 공간정보산업협회 ) 연구개발실장 2006년 3월 ~ 현재 : 동아대학교공과대학토목공학과교수 < 관심분야 > 측량학, 사진측량 References [1] T. Wang, S. Li, X. Li, An automatic MTF measurement method for remote sensing cameras, 2nd IEEE International Conference on Computer Science and Information Technology, IEEE, Beijing, China, pp. 245-248, 2009. DOI: https://doi.org/10.1109/iccsit.2009.5234572 [2] L. R. Baer, The Circular-edge spatial frequency response test, The International Society for Optical Engineering, SPIE, San Jose, California, United States, 2003. DOI: https://doi.org/10.1117/12.524829 [3] R. Dabrowski, A. Jenerowicz, Preliminary results form the portable image quality assessment test field(piquat) of UAV imagery for imagery reconnaissance purposes, ISPRS Workshop, August September, Toronto, Canada, pp.111-115, 2015. DOI: https://doi.org/10.5194/isprsarchives-xl-1-w4-111-2015 성상민 (Sang-Min Sung) [ 정회원 ] 2016년 2월 : 동아대학교대학원토목공학과 ( 공학석사 ) 2019년 8월 : 동아대학교대학원토목공학과 ( 공학박사 ) < 관심분야 > 측량학, 사진측량 [4] T. Y. Lee, Spatial Resolution Analysis of Aerial Digital Cameras, Ph.D dissertation, Dong-A University, Busan, Korea, pp.21-24. 2012. [5] A. Neumann, Verfahren zur Auflösungsmessung Digitaler Kameras, Diplomarbeit, University of Applied Sciences Cologne, Cologne, Germany, pp.4-5, 2003. [6] PetaPixel[cited 2014 May 05], Available From:https://petapixel.com/2014/05/05/mtf-charts-e nglish-translation(accessed July., 11, 2019) [7] Y. Okano, MTF analysis and its measurements for digital still camera, IS&T 50th Annual Conference, IS&T, Cambridge, Massachusetts, USA, pp.383-387, May 1997. 480