Journal of Convergence for Information Technology Vol. 11. No. 3, pp. 7-13, 2021 e-issn DOI :

Size: px

Start display at page:

Download "Journal of Convergence for Information Technology Vol. 11. No. 3, pp. 7-13, 2021 e-issn DOI :"

호경 성
2 years ago
Views:

1 Journal of Convergence for Information Technology Vol. 11. No. 3, pp. 7-13, 2021 e-issn DOI : 딥러닝알고리즘기반의초미세먼지 (PM2.5) 예측성능비교분석 김영희 1*, 장관종 2 1 호서대학교벤처대학원융합공학과교수, 2 호서대학교벤처대학원융합공학과학생 Comparison and analysis of prediction performance of fine particulate matter(pm2.5) based on deep learning algorithm Younghee Kim 1, Kwanjong Chang 2 1 Professor, Department of Convergence Engineering, Graduate School of Venture, Hoseo University 2 Student, Department of Convergence Engineering, Graduate School of Venture, Hoseo University 요약본연구는딥러닝 (Deep Learning) 알고리즘 GAN 모델을기반으로초미세먼지 (PM2.5) 인공지능예측시스템을개발한다. 실험데이터는시계열축으로생성된온도, 습도, 풍속, 기압의기상변화와 SO2, CO, O3, NO2, PM10 와같은대기오염물질농도와밀접한관련이있다. 데이터특성상, 현재시간농도가이전시간농도에영향을받기때문에반복지도학습 (Recursive Supervised Learning) 예측모델을적용하였다. 기존모델인 CNN, LSTM 의정확도 (Accuracy) 를비교분석을위해관측값 (Observation Value) 과예측값 (Prediction Value) 간의차이를분석하고시각화했다. 성능분석결과제안하는 GAN 이 LSTM 대비평가항목 RMSE, MAPE, IOA 에서각각 15.8%, 10.9%, 5.5% 로향상된것을확인하였다. 주제어 : 딥런닝, 초미세먼지 (PM2.5), CNN, LSTM, GAN, 시계열데이터 Abstract This study develops an artificial intelligence prediction system for Fine particulate Matter(PM2.5) based on the deep learning algorithm GAN model. The experimental data are closely related to the changes in temperature, humidity, wind speed, and atmospheric pressure generated by the time series axis and the concentration of air pollutants such as SO2, CO, O3, NO2, and PM10. Due to the characteristics of the data, since the concentration at the current time is affected by the concentration at the previous time, a predictive model for recursive supervised learning was applied. For comparative analysis of the accuracy of the existing models, CNN and LSTM, the difference between observation value and prediction value was analyzed and visualized. As a result of performance analysis, it was confirmed that the proposed GAN improved to 15.8%, 10.9%, and 5.5% in the evaluation items RMSE, MAPE, and IOA compared to LSTM, respectively. Key Words : Deep Learning, Fine particulate Matter(PM2.5), Convolutional Neural Network, Long Short-Term Memory, Generative Adversarial Networks, Time Series Data 1. 서론초미세먼지 (PM2.5) 는국민건강과생활에미치는영향이심각해지자초미세먼지에대한발생원인과대책등다양한측면에서연구가활발하게수행되고있다. 초미세먼지는대기중직경 2.5μg / m3미만의먼지로온도 (Temperature), 풍속 (wind speed), 기압 (Pressur e), 습도 (humidity) 등기상변화에밀접한관계가있고 [1], 자동차배기가스, 화석연료연소, 공장제조공정에 * Corresponding Author : Younghee, Kim(yhkim514@hoseo.edu) Received February 6, 2021 Accepted March 20, 2021 Revised February 28, 2021 Published March 28, 2021

2 8 융합정보논문지제 11 권제 3 호 서배출되는대기오염물질인황산화물, 질소산화물, 암모니아등에화학반응을일으켜 2차발생물질로초미세먼지 (PM2.5) 을생성하는것으로알려져있다 [2]. 대기중직경이 10 μg / m3이하인미세먼지 (PM10) 에대한수치예측은기계학습을사용하여그동안활발하게진행되어왔으며최근에는인공신경망을사용해미세먼지수치를예측하는연구가진행되고있다 [3-8]. 그러나, 미세먼지관측을위해서는미세먼지관측소설치와미세먼지관측데이터를제공하여야하지만, 현실적으로는가격, 환경및지리적요건등에의해충족할만한관측소설치가어렵다 [9]. 본논문은이러한문제들을인공신경망으로해결하기위하여시간대별로변화하는기상조건과대기오염물질, 미세먼지 (PM10) 농도를기반으로초미세먼지 (PM2.5) 농도변화을예측하기위하여 CNN(Convolution Neural Networks), LSTM(Long Short-Term Memory), GAN(Generative Adversarial Networks) 등의모델에대한학습정확도와성능등을비교분석하였다. 정확도분석은관측값와예측값간의차이를시각화하였으며, 성능평가는 RMSE(Root Mean Square Error), MAPE(Mean Absolute Percentage Error), IOA(Index of Agreement) 등의지표를사용하였다. 있어서 GAN의활용도우수한것으로기술하였다. 3. Deep Learning 모델 3.1 CNN 구조다음 Fig. 1과같이 CNN 신경망구조는 Input Layer, Convolution Layer, Max Pooling Layer, Fully Connected Layer, Output Layer로구성되어있다. (ⅰ) Input Layer는 N k의 2차원행렬로구성되고, N은입력데이터의행길이, k는열길이를나타낸다. (ⅱ) Convolution Layer 는입력데이터에 filter 를가지고 convolution 연산을수행한다. convolution 연산은두함수 f, g 가운데하나의함수를 shit 시킨다음다른하나의함수와행렬곱한결과를의미한다. (ⅲ) Max Pooling Layer는 Convolution Layer의출력데이터를입력으로받아서출력데이터의크기를줄이거나특정데이터를강조한 Feature를생성한다. (ⅳ) Fully Connected Layer는모든 Feature들이평평하게모든뉴런에연결된다. (ⅴ) Output Layer는 output을내보낸다. 2. 관련연구 인공신경망을사용한미세먼지예측에관한연구는주로다층신경망 [4,5] 혹은 RNN(Recurrent Neural Network) 계열의 LSTM 모델에기상데이터혹은대기오염물질데이터를학습시켜미세먼지수치를예측했다 [6,7]. RNN/LSTM은데이터를순차적으로받아학습하기때문에시계열데이터를처리하는데는효과적이지만, 다양한데이터를종합적으로처리하지못하고장기간의시계열예측에는어려움이있다는약점이있다 [10]. 이러한시계열예측에서한계를극복하기위하여 CNN, GCN(Graph Convolutional Network) 등다양한모델들이제시되었다 [11]. Chiou-Jye Huang[12] 에의하면 CNN을사용하여시계열데이터들의 Pre-Processing 과정을거치는 Feature Extraction을수행하고 LSTM을통해 Forecasting 을수행하는 CNN+LSTM의모델은기존의 MLP, CNN, LSTM 보다우수한성능향상이되었다고하였다. Kang Zhang[13] 에의하면시계열데이터의예측에 Fig. 1. CNN architecture for time series prediction 3.2 LSTM 구조예측모델에사용된 LSTM은 RNN의한종류로서순환신경망이긴시퀀스를학습하는데있어 step이진행됨에따라이전의 time step 정보를학습하지못하는기울기소실문제 (vanishing gradient problem) 를극복한모델이다. 기존 RNN과달리순환신경망내에있는메모리들을 input, forget, output gate를포함하고있는 cell로대체하여주어진데이터의흐름조절을통해장기간의연관성을학습할수있는장점이있다 [14]. Fig. 2은 LSTM의 cell 구조를나타낸그림이다.

3 딥러닝알고리즘기반의초미세먼지 (PM2.5) 예측성능비교분석 9 다. 그리고 는실제자료와아주유사한자료를생성하여 이되도록노력한다. 주어진생성망에서판별망이최적의값을가질때식 (1) 의 GAN 가치함수를아래와같이재표현할수있다. tanh tanh Fig. 2. LSTM Cell 여기서 는 sigmoid 함수, 는요소별곱셈을뜻 하는 hadamard(element wise) product 연산자이다. forget gate 는 과거정보를잊기 를위한게이트이 다. 과 를받아 sigmoid 를취해준값이바로 forget gate 가내보내는값이된다. sigmoid 함수의 출력범위는 0 에서 1 사이이기때문에그리턴값이 0 이라면이전상태의정보는잊고, 1 이라면이전상태의 정보를온전히기억하게된다. input gate 는 현재 정보를기억하기 위한게이트이다. 과 를받아 sigmoid 를취하고, 또같은입력으로 hyperbilic tangent 를취해준다음 hadamard product 연산을 한값이바로 input gate 가내보내는값이된다 [7]. 3.3 GAN 구조 GAN 은실제자료 와동일한분포를가지는자료 를생성하는생성망 과실제자료와생성자료 를구별하는판별망 이서로대립하며 최적화를수행해나가는모형이다. 이는판별망과생성망 이최소최대게임을하는것으로표현가능하며다음과 같은가치함수 (Value Function) 로정의할수있다 [15]. minmax log log (1) 여기에서 와 는 와 의분포다. 식 (1) 에서판 별망 () 는실제자료 에대해서, 생성자료 에대해서는 가되도록노력한다. 즉 는생성자료와실제자료를잘구분하려고노력한 max log log log log (2) 여기에서 는 의분포이고 KL (Kullback- Leibler divergence) 과 JSD(Jenson-Shannon divergence) 는두분포간의거리를나타내는측도인데 JSD 는 0 이상 의값을가지며두분포가같으면 0 이다. 는전역 최소값으로 log(4) 를가지는것을확인할수있다 [16]. 4. 자료수집 4.1 자료수집및손실데이타처리방법 본논문에서는대기오염물질데이터는 airkorea.or.kr 에서인천검단지역을대상으로 2019 년 01 월 1 일부터 2019 년 12 월 31 일까지 1 일 (24 시 ) 의시간단위로총 8,760 건과기상데이터는 data.kma.go.kr 에서인천종 관기상관측 (ASOS) 자료를 2019 년 01 월부터 2019 년 12 월 31 일까지 1 일 (24 시 ) 의시간단위로총 8,760 건을 대상으로시계열데이터를수집하였다. 해당데이터들 은수집과정에서수집센서의고장과수리등으로인해 손실된데이터들이존재하였다. 이를임의적인방법으 로데이터를복구하였을시추후결과도출에미치는영 향을클수있다. 본논문에서는해당지역을 1 일 (24 시 ) 평균값으로하는선형보간법 (liner interpolation) 으로 데이터를보정하였다. Table 1. 에서와같이입력변수 (x) 들은기상데이타의온도, 풍속, 습도, 기압과대기오 염물질의아황산가스 (SO2), 이산화탄소 (CO), 오존 (O3), 이산화질소 (NO2), PM10( 직경 10 μg / m3미만미 세먼지 ), 출력변수 (y) 는 PM2.5( 직경 2.5 μg / m3미만미 세먼지 ) 를사용하였다.

10 융합정보논문지제 11 권제 3 호 Table 1. Sample Data date PM2.5 temp wind humi press SO2 CO O3 NO2 PM10 2019-01-01 0:00 9-4.8 2.7 39 1.7 0.003 0.4 0.026 0.012 36 2019-01-01 1:00 13-4.9 1.5 46 2 0.003 0.4 0.025 0.

4 10 융합정보논문지제 11 권제 3 호 Table 1. Sample Data date PM2.5 temp wind humi press SO2 CO O3 NO2 PM : : : : : 시계열데이터검증시계열데이터는 stationarity가보장되어야예측결과가통계적으로유의하다. 모든시계열데이터들은평균 (mean), 분산 (variance), 자기상관 (autocorrelation) 이시간에따라일정해야하는것이다. 시계열데이터의 stationarity를확인하는방법은여러가지있지만, 본논문에서는공개 SW Eviews으로 ADF(Augmented Dickey-Fuller) 방법을사용했다. Table 2에서대부분변수들은통계적으로 stationar ity가확보되었지만, 온도의 raw data는 p-value( ) 가 0보다훨씬크고, t-staticstic value( ) 가 5%, critical value( ) 보다크므로귀무가설 ( ) 를기각할수없어 stationarity가존재한다. 또한 Fig. 3는계절별로서로다른추세가있는지시각적으로나타내고있는데온도변수에는추세가존재하고다른변수들은추세가없는계절성이존재한다. 이문제를해결하기위해온도변수에는 1차분 (lst lag) 이동시켜사용하였다 Table 2의 temp(1st). 5. 학습방법 5.1 supervised learning 일반적인 supervised learning은학습하고자하는데이터들에대하여입력변수 () 와출력변수 () 간의다음과같은수식으로표현한다. (3) 여기서함수 는 deterministic function, 는 noise or random error이며, 입력변수 () 와는서로독립적이고기댓값확률 ( 평균 ) 은 를가정한다. 데이터를학습한다는것은 training set 에서 (3) 의모델함수 을적용하여 를만들어내는과정이다. 본논문에서는초미세먼지 (PM2.5) 를예측하기위하여입력변수 와출력변수 집합을다음과같이정의하였다. Table 2. ADF Results temp temp(1st) wind humidity pressure SO2 CO O3 NO2 PM10 PM25 t-staticstic P-value % level % level % level Fig. 3 Time series data seasonality plot

5 딥러닝알고리즘기반의초미세먼지 (PM2.5) 예측성능비교분석 11 온도 풍속 습도 기압 (4) 5.2 반복학습 시계열데이타들의학습방법은 Fig. 4 와같이반복 학습을진행하였다. 반복학습을통해모델함수 는 의근사값 을리턴하는데는이는 단계에서 의값을 ( ) 반복적으로적용한값 이다. Table 3 과 Table 4 에는각각의 Model 들에대한 Layout 과 user define parameter 을기술하였다. 6.1 모델정확도비교 6. 시험결과 Fig. 5. CNN accuracy plot Fig. 6. LSTM accuracy plot Fig. 4. Iterated prediction procedure Table 3. Deep Learning Model Layout input vector(col,row) optimizer Fuction CNN LSTM GAN (10, 1) (10, 1) (10, 1) adam adam RMSprop loss Function mae mae binary_corss entropy epochs ,000 batch_size Table 4. Deep Learning Model Parameters Fig. 5와 Fig. 6와같이 CNN과 LSTM의 accuracy plot를보면초기에는관측값와예측값의차이가있지만반복학습 (epoch) 이증가하면서점차차이가줄어든다. Fig. 7는 GAN의특정구간에서관측값과예측값간의큰차이가있는것도있지만반복학습이증가하면서차이는점점줄어들면서일치하게된다. 모델들의정확도는높은순으로 GAN, LSTM, CNN 순으로나타났다. 6.2 모델성능비교 Table 5에서처럼모델성능의우선순위는 CNN, LSTM과 GAN 순이며, GAN은 LSTM 보다 RMSE( , 15.8%) MAPE( , 10.9%), IOA( , 5.4%) 등으로각각향상되었다. Layer conv1d maxpoolin g flatten CNN LSTM TimeGAN Output Shape 9, 64) 4, 64) 256) Layer lstm_1 lstm_2 Output Shape 1, 75) 9, 25) Layer input lstm_1 dense_1 1) dropout_1 Output Shape 9, 10) 9, 75) 9, 75) dense_1 50) lstm_2 25) dense_2 1) dense_1 1) leaky_relu 1) Fig. 7. GAN accuracy plot

6 12 융합정보논문지제 11 권제 3 호 Table 5. Deep Learning Model Performance Count CNN LSTM GAN RMSE Avg MAPE Avg IOA Avg 실험환경손실데이타처리 SW는 Tableau Preb(2019) 이며, 모델의성능비교에사용한 HW은 CPU(Intel i7,1.80gz, 1개 ), MM(16GB), SW은 windows 10 이며, 개발언어는 Python 3.7.6, Keras 이다. 7. 결론본논문은인공지능을활용한예측분야의선행연구로서, 다양한 Deep Learning 을비교분석하였다. 연구결과기존 CNN, LSTM 모델보다 PM2.5에가장적합한 GAN의모델이성능평가지표상가장우수한것으로나타났다. 다만, GAN의관측값와예측값의특정구간에서차이 (difference) 가높게나타나는것은향후개선해야할문제이다. 또한, Table 5. 에서 GAN은시험할때마다측정값들이일정하게유지하지않고차이를 보인다. 이는본연구적용된 Vanilla GAN 은 JSD (Jenson Shannon Divergence) 를최소화하는학습을 한다 [ 식 (2)]. 그러나 JSD 는두개의분포가완전하게일 치하지않으면항상 log2 를출력하므로모델함수 gradient 가항상 0 이되어미분을할수없게된 다. 이런 gradient vanishing 또는 clipping 문제를해 결하기위해서는 Gulrajani 가제안한 improved Training of Wasserstein GANs[17] 의검토가필요하다. REFERENCES [1] H. G. Yoo et al. (2020). Impact of Meteorological Conditions on the PM2.5 and PM10 concentrations in Seoul. Journal of Climate Change Research, 11(5-2), DOI : /KSCCR [2] S. H. Lee et al. (2019, 4). Characteristics of PM2.5 in Gwangju Evaluated by Factor Analysis. Journal of Environmental Science International, 28(4), DOI : /JESI [3] S. J. Oh, J. W. Koo & U. M. Kim. (2017). Concentration Prediction Technique Based on Locality of Fine Dust Generation. The Institute of Electronics and Information Engineers, [4] A. Chaloulakou, G. Grivas & N. Spyrellis. (2003). Neural Network and multiple regression model for PM10 prediction in Athens: A comparative assessment. Journal of the Air & Waste Management Association, 53(10), [5] M. M. Dedovic, S. Avadakovic, I. Turkovic, N. Dautbasic & T. Konjic. (2016). Forecasting PM10 concentrations using neural networks and system for improving air quality. Proceeding of 2016 XI International Symposium on Telecommunications, 1-6. [6] D. J. Lim, T. H. Kim, R. Lee & H. M. Jung. (2017). LSTM-based Particulate Matter prediction for efficient road scattering dust removal path proposal. Korea Information Processing Society, 24(2), [7] K. P. Ra, M. C. Kim, M. J. Kim, S. T. Lim & Y. G. Sim. (2019). A Study on The Prediction of The Fine-Dust Concentration Using RNN/LSTM. The Institute of Electronics and Information Engineers,

딥러닝알고리즘기반의초미세먼지 (PM2.5) 예측성능비교분석 13 [8] K. W. Cho, Y. J. Jung, C. G. Kang & C. H. Oh. (2019). Conformity Assessment of Machine Learning Algorithm for Particulate Matter Prediction.

Journal of Computing Science and Engineering, 397-399 [10] Y. Bengio, P. Simard & P. Frasconi. (1994). Learning long-term dependencies with gradient descent is difficult.

Journal of Computing Science and Engineering. 859-861. [12] C. J. Huang, P. H. Kuo. (2018). A Deep CNN-LSTM Model for Particulate Matter (PM2.5) Forecasting in Smart Cities. Sensors, 18(7):2220 [13 K.

7 딥러닝알고리즘기반의초미세먼지 (PM2.5) 예측성능비교분석 13 [8] K. W. Cho, Y. J. Jung, C. G. Kang & C. H. Oh. (2019). Conformity Assessment of Machine Learning Algorithm for Particulate Matter Prediction. The Korea Institute of Information and Communication Engineering, 23(1), [9] I. H. Shin, Y. H. Moon & Y. J. Lee. (2019). Deep Learning Models for Fine Dust Prediction in Smart Cities. Journal of Computing Science and Engineering, [10] Y. Bengio, P. Simard & P. Frasconi. (1994). Learning long-term dependencies with gradient descent is difficult. Neural Networks, IEEE Transactions on, 5(2), [11] J. Y. Choi, D. H. Lee, J. Y. Kim & K. M. Jung. (2019), Air pollution prediction using deep learning based model. Journal of Computing Science and Engineering [12] C. J. Huang, P. H. Kuo. (2018). A Deep CNN-LSTM Model for Particulate Matter (PM2.5) Forecasting in Smart Cities. Sensors, 18(7):2220 [13 K. Zhang, G. Zhong, J. Dong, S. Wang & Y. Wang. (2019). Stock Market Prediction Based on Generative Adversarial Network. Procedia Computer Science, DOI: /j.procs 장관종 (Kwanjong, Chang) [ 정회원 ] 1989 년 2 월 : 인하대학교전자계산학과 ( 이학사 ) 1992 년 8 월 : 인하대학교전자계산학과 ( 공학석사 ) 2019 년 3 월 현재 : 호서대학교벤처대학원융합공학과박사과정 관심분야 : Deep Learning( 예측 ), Blockchain( 보안 ) jangck11@naver.com 김영희 (Younghee Kim) [ 정회원 ] 1990 년 2 월서울시립대학교환경공학 ( 공학사 ) 2004 년 8 월서울대학교환경보건학과 ( 보건학석사 ) 2008 년 8 월서울대학교환경보건학과 ( 보건학박사 ) 2013 년 3 월 ~ 현재호서대학교벤처대학원융합공학과 교수 관심분야 : 미세먼지, 미세플라스틱 yhkim514@hoseo.edu [14] K. W. Cho, Y. J. Jung, J. S. Lee & C. H. Oh. (2019). PM10 Particulate Matters Concentration Prediction using LSTM. The Korea Institute of Information and Communication Engineering, 23(2), [15] I. Goodfellow et al. (2014). Generative adversarial nets. Advances in Neural Information Processing Systems 27, Montreal, Quebec, Canada, [16] Y. J. Lee, K. H. Seok. (2018). A study on the performance of generative adversarial networks. The Korean Data and Information Science Society, 29(5), [17] I. Gulrajani, F. Ahmed, M. Arjovsky, V. Dumoulin & A. Courville, (2017). Imporved Training of Wasserstein GANs. arxiv preprint arxiv:

<4D6963726F736F667420576F7264202D20B1E2C8B9BDC3B8AEC1EE2DC0E5C7F5>

<4D6963726F736F667420576F7264202D20B1E2C8B9BDC3B8AEC1EE2DC0E5C7F5> 주간기술동향 2016. 5.18. 컴퓨터 비전과 인공지능 장혁 한국전자통신연구원 선임연구원 최근 많은 관심을 받고 있는 인공지능(Artificial Intelligence: AI)의 성과는 뇌의 작동 방식과 유사한 딥 러닝의 등장에 기인한 바가 크다. 이미 미국과 유럽 등 AI 선도국에서는 인공지능 연구에서 인간 뇌 이해의 중요성을 인식하고 관련 대형 프로젝트들을