한국농림기상학회지, 제 19 권제 3 호 (2017) (pissn 1229-5671, eissn 2288-1859) Korean Journal of Agricultural and Forest Meteorology, Vol. 19, No. 3, (2017), pp. 86~92 DOI: 10.5532/KJAFM.2017.19.3.86 c Author(s) 2017. CC Attribution 3.0 License. 기계학습법을이용한서리발생구분추정연구 김용석 심교문 * 정명표 최인태 1) 국립농업과학원농업환경부기후변화생태과 (2017 년 8 월 21 일접수 ; 2017 년 9 월 23 일수정 ; 2017 년 9 월 23 일수락 ) Study on the Estimation of Frost Occurrence Classification Using Machine Learning Methods Yongseok Kim, Kyo-Moon Shim *, Myung-Pyo Jung and In-tae Choi National Institute of Agricultural Sciences, RDA, Wanju, Korea (Received August 21, 2017; Revised September 23, 2017; Accepted September 23, 2017) ABSTRACT In this study, a model to classify frost occurrence and frost free day was developed using the digital weather forecast data provided by Korea Meteorological Administration (KMA). The minimum temperature, average wind speed, relative humidity, and dew point temperature were identified as the meteorological variables useful for classification frost occurrence and frost-free days. It was found that frost-occurrence date tended to have relatively low values of the minimum temperature, dew point temperature, and average wind speed. On the other hand, relatively humidity on frost-free days was higher than on frost-occurrence dates. Models based on machine learning methods including Artificial Neural Network (ANN), Random Forest(RF), Support Vector Machine(SVM) with those meteorological factors had >70% of accuracy. This results suggested that these models would be useful to predict the occurrence of frost using a digital weather forecast data. Key words: Frost, Artificial neural network, Random forest, Support vector machine I. 서론서리는가을부터봄까지발생하는데가을철서리는밭작물의생육에피해를발생시키는일이많고봄철에내린서리는과수작물의생육에피해를발생시키는일이많아농민들이작물을재배하는데큰어려움을겪게한다. 일반적으로서리는날씨가맑으면서춥고바람이잘불지않을때많이발생한다고알려져있다. 좀더구체적으로 Temeyer et al.(2003) 은서리가발생되는상황을다음두가지로설명하였다. 첫째는복사냉각에의해역전층이형성되었을때지표층이 15 20m의상층부보다차가워진상태에서수증기가유입 되면서발생한다고하였고, 둘째는이류현상에의해습윤한기단에차가운공기가유입되면서서리가발생한다고하였다. 이러한서리가발생할조건에서기상인자의특성을분석하여서리발생에따른피해를줄이기위한연구가수행되어왔다. 이와관련해서 Kwon et al.(2008) 은서리가발생한날의기상요소별특성을분석하는연구를수행하였으며, Han et al.(2009) 은서리발생전날의기상특성을분석하여서리발생전날의 24시기온, 구름량, 5일간의강수량등을이용한판별분석 (DA, discriminant analysis) 을통해서리발생을예측한연구를수행하였다. 그리고, Chung et al.(2004) 은최저기온의공간단위의상세화 * Corresponding Author : Kyo-Moon Shim (kmshim@korea.kr)
Yongseok Kim et al.: Study on the Estimation of Frost Occurrence Classification Using Machine Learning Methods 87 를통해 -3 기준으로지역별서리피해경보의가능성에대해연구하였다. 또한, Temeyer et al.(2003) 은서리가발생하는데중요한기상인자인기온, 이슬점온도, 풍속, 지표면온도를기계학습법중하나인인공신경망으로예측하는연구를수행하기도하였는데, 최근기상자료의규모가커지고다양한형태의자료가생산되면서효과적으로기상현상을예측하고분석하기위해서기계학습법이많이사용되고있다. 그예로서, Shank et al.(2008) 는상대습도, 일사량, 기온, 풍속과수증기압을입력인자로하여인공신경망 (ANN, artificial neural network) 을통한이슬점온도예측연구를수행하였으며, Smith et al.(2007) 은상해와관련하여인공신경망으로기온을예측하는연구를수행하였다. Abhishek et al.(2012) 도인공신경망의여러설정값을변경하여최고기온의예측력을비교분석하였다. Naing and Htike(2015) 은월최고기온과최저기온을예측하기위해 K-최근접이웃 (K-nearest neighbors) 알고리즘과인공신경망, 랜덤포레스트 (RF, random forest) 등의정확도를비교하는연구를수행하였다. 본연구에서는기존 Han et al.(2009) 에서제시한서리발생전날의기상특성을반영하는기상인자로다음날의서리발생을예측하는모형과다르게 2일 (48시간 ) 후의기상예측값을제공하는기상청의동네예보자료를이용한다는전제로서리발생당일의기상특성을분석하여최근분류분석에많이사용되는기계학습법인인공신경망, 랜덤포레스트, 서포트벡터머신 (SVM, support vector machine) 을이용한서리발생을예측하는모형에대해서활용가능성을검토해보았다. II. 재료및방법 2.1. 기상자료수집및기상인자선택기상청종관기상관측지점 30곳 (Table 1) 의 2004년부터 2013년까지의초상일의자료를이용하여해당되는날의서리발생과관련된기상인자들의자료를정리하였고, 서리가발생하지않은날은초상일의전날로설정하고기상인자들의자료를정리하였다. 기상인자는기존문헌들에서나온최저기온, 평균풍속, 구름량, 5일간강수량, 3일간강수량, 상대습도, 이슬점온도로정하였으며 (Han et al., 2009; Robinson and Mort, 1996; Temeyer et al., 2003), 기상청동네예보자료로대체가가능한인자로선택하였다. 일반적으로서리와관련성이많을것으로예상되지만기상청동네예보가제공되지않는초상온도나지면온도는사용하지않았다. 수집한데이터는서리가발생한날의데이터 248세트와서리가발생하지않은날의 248세트로총 496세트였으며, 이중서리가발생한날의데이터와서리가발생하지않은날의데이터비율을같게하여초모형구축에 326세트, 정확도검증에 170세트를사용하였다. 기상인자의선택은통계프로그램 R(3.3.1) 을사용하여단계적방법 (stepwise method) 으로판별분석과로지스틱회귀분석을실시하였다. 판별분석에서는전체변동에대한집단내변동의비율인 wilk s lambda 값으로변수를선택하였으며, 로지스틱회귀분석을이용하여아카이케의정보기준 (AIC, akaike informaiton criterion) 를이용하여변수를선정하였다 (Kim et al., 2014; Koo et al., 2013). Table 1. Synoptic weather stations collected the frost data Region Gangwondo Gyeonggido Chungcheongdo Gyeongsangdo Jeollado Metropolitan city Island Station Daegwallyeong, Chuncheon, Wonju, Sokcho, Gangneung, Cheorwon, Bukgangneung, Donghae, Yeongwol Suwon, Dongducheon Chungju, Chupungryong, Cheongju, Seosan Uljin, Ulsan, Pohang, Andong, Sangju, Changwon Jeonju, Gunsan, Daejeon, Daegu, Incheon, Seoul, Gwangju Baengnyeongdo, Ulleungdo
88 Korean Journal of Agricultural and Forest Meteorology, Vol. 19, No. 3 2.2. 기계학습법서리가발생한날과발생하지않는날의구분하는모형을구동하기위하여통계프로그램 R(3.3.1) 을사용하였다. 인공신경망은 nnet 패키지의 nnet 함수를사용하였고, 은닉층의노드수는 3개, 활성화함수는로지스틱함수, 훈련시최적화를위한반복횟수는 200회로설정하여수행하였다. 랜덤포레스트는 randomforest 패키지의 randomforest 함수를사용하였고, 트리갯수를 500으로설정하여수행하였다. 서포트벡터머신의경우는 kernlab 패키지의 ksvm 함수를사용하였으며, 커널함수는선형함수 (vanilladot) 를사용하였다. 2.2.1. 인공신경망인공신경망은인간의두뇌가학습하는과정을모방해서만들어진모형이다. 일반적인구조는입력층, 은닉층, 출력층의 3가지층으로구성되어있다. 입력층은단순히변수값을입력받으며, 은닉층은입력층으로전달된값들을결합해서다른은닉층이나출력층에전달한다. 그리고출력층은최종적으로우리가알고자하는결과값을출력해준다. 인공신경망의입력층과은닉층에들어온값 (x i ) 들은가중치 (w i ) 와결합되어합성함수 ( 식 1) 를통해계산되고, 그결과값은활성함수 ( 식 2) 를통해변환된다 (Smith et al., 2007; Yong et al., 2007; Koo et al., 2013; Oh, 2013). (1) (2) 하여최적의모형을형성하는앙상블기법이다. 의사결정트리모형은각노드에속하는자료가분할하면서자라나게되는데, 상위노드에서하위노드로가지분할을수행할때오류율을나타내는불순도함수를이용하여분류변수와분류기준값을선택한다. 불순도함수는식 (4) 의지니지수 (gini index) 와식 (5) 의엔트로피지수 (entropy index) 등이주로사용되며, 선택된기준에의해분할이일어날때순수도가높아지는쪽으로재귀적 (recursively) 으로분할이이루어진다. 일반적인의사결정트리모형은각노드마다모든예측변수안에서최적의분할을선택하는방법을사용하지만, 랜덤포레스트는예측변수들을임의로추출하고추출된변수내에서최적의분할을수행하는방법으로다수의의사결정트리모형을생성해나간다 (Yoo, 2015; Yong et al., 2007). (4) (5) 2.2.3. 서포트벡터머신다른모형들은주로분류범주들을분리할때오류값을최소화하도록계산되지만, 서포트벡터머신은분리간격이최대화하도록다차원공간을구분하는초평면 (hyperplane) 이형성되기때문에다른모형들에비해일반화능력이우수하다고알려져있다. 서포트벡터머신의초평면은식 (6) 과같이나타낸다 (Chen et al., 2010; Yong et al., 2007; Oh, 2013; Lee, 2016). 활성함수는로지스틱 (logistic) 함수와하이퍼볼릭탄젠트 (hyperbolic tangent) 함수, 가우스 (gauss) 함수, 선형 (linear) 함수, 문턱값 (threshod) 등이사용된다. 가중치 (w i ) 는목적함수 ( 식 3) 의실측값과신경망의출력값사이의차이가최소가되도록갱신되며, 최소화를수행하기위해서경사하강법의일종인역전파 (back propagation) 알고리즘이주로사용되고있다. (6) 여기서, b는바이어스이며, w는개체 x i 에대한가중치다. 만약두부류로나뉘는데이터들을식 (7) 과같이분류가된다면 2.2.2. 랜덤포레스트 (3) 랜덤포레스트는다수의의사결정트리모형을결합 (7) 위조건을만족하는초평면은식 (8) 로나타낼수
Yongseok Kim et al.: Study on the Estimation of Frost Occurrence Classification Using Machine Learning Methods 89 있다. (8) 이때식 (8) 의중심이되는초평면이식 (6) 이되며, 식 (8) 의두초평면으로부터식 (6) 의초평면까지의 유클리드거리는각각 w 이며, 이거리가분리간격의넓이가된다. 분리간격이최대화되고분류오차최소화되는것을표현한조건식이식 (9) 이며, 식 (9) 가최소화되도록초평면식 (6) 이구해지게된다. (9) 식 (9) 의마진오차 i 는오분류한점들에대해서는양의수가되고올바르게분류된자료들에대해서는 0을갖게된다. III. 결과 서리가발생한날과서리가발생하지않은날의기상특징을비교한결과 Table 2와같았다. 기상요소별로평균을분석한결과최저기온은서리가발생한날이 1.0 로서리가발생하지않은날의 3.2 보다 2.2 가낮았으며, 서리가발생한날에 0 이하인날은 30% 정도로나타났다. 평균풍속은서리가발생한날은 1.7m/s로서리가발생하지않은날의 2.6m/s보다 0.9m/s 약했으며, 서리가발생한날에는 2.0m/s이하의풍속이 71% 로나타났다. 구름량은서리가발생한날이 20.1% 로서리가발생하지않은날의 23.1% 보다 3.0% 낮았으며, 서리가발생한날에는 20% 이하인날이 58% 를나타냈다. 서리가발생한날을기준으로 5일간강수량은 7.5mm로서리가발생하지않은날을기준일때의 8.5mm보다 1mm 적었다. 3일간강수량은서리가발생한날기준으로 3.3mm로서리가발생하지않은날의 5.0mm보다 1.7mm 적었다. 상대습도는서리가발생한날은 59.3% 로서리가발생하지않은날의 56.1% 보다 3.3% 높았다. 이슬점온도는서리가발생한날이 -1.1 로서리가발생하지않은날의 -1.3 보다 0.2 높았다. 서리가발생한날의기상인자와서리가발생하지않은날의기상인자간에 T-test를실시한결과유의수준 0.05에서최저기온과평균풍속, 상대습도는유의한결과가나타났지만, 구름량, 5일간강수량과 3일간강수량, 이슬점온도는유의하지않은것으로나타났다. 이것은최저기온과평균풍속, 상대습도는서리가발생한날과서리가발생하지않은날의기상값이통계적으로차이가있다는것을나타낸다. 로지스틱회귀분석과판별분석을통해변수를선정한결과는두방법모두최저기온, 평균풍속, 상대습도, 이슬점온도를선정되었다 (Table 3). 비록 T-test에서이슬점온도가서리가발생한날과서리가발생하지않은날에차이가나타나지않았지만, 다른기상인자함께고려한다면의미가있을것으로판단되어서리발생을구분하는모형구동할때최저기온, 평균풍속, 상대습도, 이슬점온도를사용하였다. 4가지기상인자를이용하여인공신경망, 랜덤포레 Table 2. Characteristic of climate factors of frost occurrence days and frost free days Average (SD) Average (SD) Tmin ( ) 1.0 (2.3) 3.2 (2.8) WS (m/s) 1.7 (0.9) 2.6 (1.2) Cloud (%) 20.1 (20.9) 23.1 (22.7) Pre5 (mm) 7.5 (13.2) 8.5 (13.6) Pre3 (mm) 3.3 (9.2) 5.0 (9.9) RH (%) 59.3 (11.1) 56.1 (12.9) Tmin: Minimum temperature, WS: Average wind speed, Cloud: Amount of cloud, Pre5: Amount of precipitation within 5 days, Pre3: Amount of precipitation within 3 days, RH: Average relative humidity, DP: Average Dew point temperature, SD: Standard deviation, : Frost occurrence day, : Frost free day DP ( ) -1.1 (4.2) -1.3 (5.1)
90 Korean Journal of Agricultural and Forest Meteorology, Vol. 19, No. 3 Table 3. Selected Independent variables by statistical methods for modeling Method Independent variable Minimum temperature, Average wind speed, T-test Relative humidity, Minimum temperature, Average wind speed, LR Relative humidity, Dew point temperature Minimum temperature, Average wind speed, DA Relative humidity Dew point temperature LR: Logistic Regression, DA: Discriminant Analysis 스트, 서포트벡터머신에대한서리예측모형을구축 하였고, Han et al.(2009) 에서제시한전날의 24 시 기온, 구름량, 5일간강수량을이용한판별분석모형 (Table 4) 과함께정확도 (accuracy) 와민감도 (sensitivity) 를비교하였다. 정확도는전반적으로모든경우중에서서리가발생하는것과서리가발생하지않는것을올바르게추정했는지를비교할수있으며, 민감도에서는서리의발생모형의서리의발생을알리 는것이더중요하기때문에실제서리가발생한경우 에서올바르게서리가발생하는것을추정했는지를비 교하는것이다. 정확도에서는인공신경망은검증데이터 170일중 127일을올바르게분류하여 74.7% 로가장높았으며, 랜덤포레스트는 74.1%, 서포트벡터머신 은 72.9%, 판별분석모형은 59.4% 로나타냈다. 반면, 민감도에서는판별분석모형이 85 일중 70 일을올바 르게분류하여 82.4% 로가장높았으며, 랜덤포레스트 가 74.1%, 인공신경망이 71.8%, 서포트벡터머신이 68.2% 를나타냈다 (Table 5). Table 4. Coefficients of linear discriminant function for frost prediction (Han et al., 2009) Parameters Coefficients of functions Amount of cloud(0.1%) 0.08217 0.25916 Temperature at 24:00( ) 0.80399 1.88597 Amount of rainfall within 5 days(mm) -0.05519-0.06492 Constant -3.01817-10.77937 : Frost Occurrence Day, : Frost Free Day 이러한결과에서기존판별분석모형과본연구에 서사용된모형을정확도면에서비교했을때는전반적 으로서리발생유무를구분하는능력은기계학습법에 의한모형이높게나타나그활용가능성이있는것으 로판단되지만, 민감도면에서판별분석모형이더높 게나타나기때문에기계학습법을이용한모형과판별 분석모형결과를함께고려할수있는방법의모색이 필요할것으로판단된다. IV. 결론 서리발생예측을위해도출된기상인자는최저기온, 평균풍속, 상대습도, 이슬점온도로나타났다. 이러한기상인자들의특징은서리가발생한날이서리가발생하지않은날에비해최저기온, 이슬점온도, 평균풍속은낮게나타났고상대습도는높게나타났다. 이러한결과는서리가발생하기위해서는공기중에어느정도수증기가포함되어있는상태에서기온이낮아지면서서리가발생하는상황을반영한것으로판단 Table 5. The accuracy/sensitivity comparison of frost occurrence classification estimation of models ANN RF SVM DA Prediction Observation Total Accuracy Sensitivity 61 24 63 22 58 27 70 15 19 66 22 63 19 66 54 31 127/170 (74.7%) 126./170 (74.1%) 124/170 (72.9%) 101/170 (59.4%) 61/85 (71.8%) 63/85 (74.1%) 58/85 (68.2%) 70/85 (82.4%) ANN: Artificial Neural Network, RF: Random Forest, SVM: Support Vector Machine, DA: Discriminant Analysis, : Frost Occurrence Day, : Frost Free Day
Yongseok Kim et al.: Study on the Estimation of Frost Occurrence Classification Using Machine Learning Methods 91 된다. 그렇지만, 일부자료에서서리가발생한날에최저기온이 0 이상에서도서리가발생하는것으로나타났는데, 이것은온도계가설치되어있는위치의온도보다지면부근의온도가더낮았기때문에지면부근에서리가발생할것으로예상되며, 추후연구에서는지면온도나초상온도에대한분석이함께이루어진다면서리발생예측모형의정확도가향상될것으로예상된다. 서리발생예측모형을비교한결과에서기존판별분석모형의정확도가낮게나타난이유는나주지역을대상으로연구가진행되어전국적인서리발생과관련된기상환경을반영하기에제한적이기때문일것으로예상된다. 그예로서, 기존판별분석모형에서는 5일간강수량이서리발생에많은영향을미치는것으로판단되었지만이번연구에서는강수량의영향이크지않게나타났기때문에전국의강수량데이터를적용할경우기존판별분석모형의정확도가낮아질수있을것으로예상된다. 또한, 기존판별모형에서는전날의 24시이후에서리발생에대한예측이이루어진다는면에서농민이서리발생에미리대처하기힘든부분이있다고판단된다. 이런점에서기상청의동네예보를통해예측한기상을적용할수있다는점에서본연구의모형이활용가능성이있다고판단된다. 그렇지만, 본연구에사용된모형은기상청의동네예보를사용한다는전제로만들어졌기때문에기상청동네예보의오차가발생한다면모형의정확도또한그오차만큼낮아질것으로예상되고, 민감도에서기존판별분석모형이더높게나타났기때문에기계학습법에의한모형과기존판별분석모형을함께사용한다면더활용성이높아질것으로예상된다. 적요본연구에서는기상청예보자료를이용할것을전제로서리가발생하는날과서리가발생하지않는날을구분하는모형을구축하였다. 서리가발생한날과서리가발생하지않은날을구분할수있는기상인자로서최저기온, 평균풍속, 평균상대습도, 평균이슬점온도로나타났다. 기상인자별로두날을비교한결과서리가발생한날이서리가발생하지않은날에비해최저기온, 이슬점온도, 평균풍속은낮게나타났고상대습도는높게나타났다. 이러한기상인자로인공신경망, 랜덤포레스트, 서포트벡터머신의기계학습법을 이용한모형을연구한결과 70% 이상의정확도를나타 내어활용가능성이있을것으로판단된다. 감사의글 본논문은농촌진흥청국립농업과학원농업과학기술연구개발사업 ( 과제번호 : PJ01000702) 의지원에의해이루어진것임. REFERENCES Abhishek, K., M. P. Singh, S. Ghosh, and A. Anand, 2012: Weather forecasting model using artificial neural network. Procedia Technology 4, 311-318. Chen, J. L., H. B. Liu, W. Wu, and D. T. Xie, 2010: Estimation of monthly solar radiation from measured temperatures using support vector machines A case study. Renewable Energy 36(2), 413-420. Han, J. H., J. J. Choi., U. Chung., K. S. Cho, and J. P. Chun, 2009: Frostfall forecasting in the Naju pear production area based on discriminant analysis of climatic data. Korean Journal of Agricultural and Forest Meteorology 11(4), 135-142. Chung, U., H. C. Seo, and J. I. Yun, 2004: Site- specific frost warning based on topoclimatic estimation of daily minimum temperature. Korean Journal of Agricultural and Forest Meteorology 6(3), 164-169. Kim, S. S., H. J. Kim, S. S. Chung, and Y. K. Lee, 2014; Multivariate Data Analysis with R. Korea National Open University Press, 191-210. Koo, J. Y., H. J. Park, D. W. Choi, and S. S. Kim, 2013: Data mining. Korea National Open University Press, 211-248 and 261-279. Kwon, Y. A., H. S. Lee., W. T. Kwon., and K. O. Boo, 2008: The weather characteristics of frost occurrence days for protecting crops against frost damage. Journal of the Korean Geographical Society 43(6), 824-842. Lee, J. G., 2016: R Program Recipes for Multi-Variate Analysis & Data Mining. Bullsbook, Seoul, 358pp. Naing, W. Y. N. and Z. Z. Htike, 2015: Forecasting of monthly temperature variations using random forests. ARPN journal of Engineering and Applied Sciences 10(21). Oh, I. S., 2013: Pattern Recognition, Kyobo Book Centre, Seoul, 95-132, and 137-170. Robinson, C. and N. Mort, 1996: A neural network solution to the problem of frost Prediction. UKACC International Conference on Control. Control 96,
92 Korean Journal of Agricultural and Forest Meteorology, Vol. 19, No. 3 136-139. Shank, D. B., G. Hoogenboom, and R. W. McClendon, 2008: Dewpoint Temperature Prediction Using Artificial Neural Networks. Journal of Applied Meteorology and Climatology 47(6), 1757-1769. Smith, B. A., R. W. McClendon, and G. Hoogenboom, 2007: Improving Air Temperature Prediction with Artificial Neural Networks. International Journal of Computational Intelligence 3, 180-186. Temeyer, B. R., W. A. Gallus Jr, K. A. Jungbluth, D. Burkheimer, and D. McCauley, 2003: Using an artificial neural network to predict parameters for frost deposition on Iowa bridgeways. Proceedings of the 2003 Mid-Continent Transportation Researchh Symposium, Iowa State University, Ames, IA, 2003. Yoo, J. E., 2015: Random forests, an alternative data mining technique to decision tree. Journal of Educational Evaluation 28(2), 427-448. Yong, H. S., Y. Nah, J. S. Park, H. W. Seung, M. Lee, S. Lee, and L. Choi, 2007: Data Mining, NFINITYBOOKS, 241-270 and 283-286.