DBPIA-NURIMEDIA - PDF Free Download

Atmosphere. Korean Meteorological Society Vol. 5, No. 1 (015) pp. 67-83 http://dx.doi.org/10.14191/atmos.015.5.1.067 pissn 1598-3560 eissn 88-366 연구논문 (Article) 기상청고해상도국지앙상블예측시스템구축및성능검증 김세현 1) 김현미 1), * 계준경 1) 이승우 ) 1) 연세대학교대기과학과, 대기예측성및자료동화연구실, ) 기상청수치모델개발과 ( 접수일 : 014 년 11 월 14 일, 수정일 : 014 년 1 월 30, 게재확정일 : 015 년 1 월 일 ) Development and Evaluation of the High Resolution Limited Area Ensemble Prediction System in the Korea Meteorological Administration SeHyun Kim 1), Hyun Mee Kim 1), *, Jun Kyung Kay 1), and Seung-Woo Lee ) 1) Atmospheric Predictability and Data Assimilation Laboratory, Department of Atmospheric Sciences, Yonsei University, Seoul, Korea ) Korea Meteorological Administration, Seoul, Korea (Manuscript received 14 November 014; revised 30 December 014; accepted January 015) Abstract Predicting the location and intensity of precipitation still remains a main issue in numerical weather prediction (NWP). Resolution is a very important component of precipitation forecasts in NWP. Compared with a lower resolution model, a higher resolution model can predict small scale (i.e., storm scale) precipitation and depict convection structures more precisely. In addition, an ensemble technique can be used to improve the precipitation forecast because it can estimate uncertainties associated with forecasts. Therefore, NWP using both a higher resolution model and ensemble technique is expected to represent inherent uncertainties of convective scale motion better and lead to improved forecasts. In this study, the limited area ensemble prediction system for the convective-scale (i.e., high resolution) operational Unified Model (UM) in Korea Meteorological Administration (KMA) was developed and evaluated for the ensemble forecasts during August 01. The model domain covers the limited area over the Korean Peninsula. The high resolution limited area ensemble prediction system developed showed good skill in predicting precipitation, wind, and temperature at the surface as well as meteorological variables at 500 and 850 hpa. To investigate which combination of horizontal resolution and ensemble member is most skillful, the system was run with three different horizontal resolutions (1.5,, and 3 km) and ensemble members (8, 1, and 16), and the forecasts from the experiments were evaluated. To assess the quantitative precipitation forecast (QPF) skill of the system, the precipitation forecasts for two heavy rainfall cases during the study period were analyzed using the Fractions Skill Score (FSS) and Probability Matching (PM) method. The PM method was effective in representing the intensity of precipitation and the FSS was effective in verifying the precipitation forecast for the high resolution limited area ensemble prediction system in KMA. Key words: The high resolution limited area ensemble prediction system of the Korea Meteorological Administration, ensemble forecast, precipitation forecast, Fractions Skill Score, Probability Matching *Corresponding Author: Hyun Mee Kim, Department of Atmospheric Sciences, Yonsei University, 50 Yonsei-ro, Seodaemungu, Seoul 10-749, Korea. Phone : +8--13-5683, Fax : +8--365-5163 E-mail : khm@yonsei.ac.kr 67

68 기상청고해상도국지앙상블예측시스템구축및성능검증 1. 서론 수치예보모델의해상도는컴퓨터계산능력이향상되면서점차증가하고있다. Convection allowing 또는 storm permitting 이라고불리는고해상도모델의경우적운모수화를사용하지않고도대류를명시적으로표현할수있어, 저해상도의모델보다좀더상세하게강수현상과연관된대류를모사할수있다 (Kain et al., 008; Weisman et al., 008; Schwartz et al., 009). 이러한고해상도모델의도입에도불구하고아직까지강수의강도와위치등을정확하게예보하기에는많은어려움이있다. Saito et al. (011) 에서는부정확한강수예보의원인은대류불안정으로발생하는국지적인집중호우에대한예측성이낮은것때문이라고분석하였다. 예측의불확실성에대한해결방안중하나로앙상블기법이있다 (Gebhardt et al., 011; Migliorini et al., 011; Done et al., 01; Baker et al., 014; Kühnlein et al., 014). 앙상블기법은수치예보초기조건의불확실성을나타내기위해서로다른초기조건들을이용하여수치모델적분을수행하는것으로, 다양한현상의가능성을파악하여단일예보를수행할때보다예측성을향상시킬수있는통계적예보방법이다. 여러현업기관에서 10 km 이상의모델해상도에대해서는이미앙상블기법을현업예보에적용하여사용하고있다 (Marsigli et al., 005; Bowler et al., 008; Kay et al., 013; Kay and Kim, 014). 수 km 의해상도에대해앙상블기법을적용한연구로는 Kong et al. (007) 이 Weather Research and Forecasting (WRF) 모델을이용하여 3 km 해상도의앙상블시스템을구축하고구축한앙상블예측시스템이동일한해상도의단일예보보다예측성능이더좋은것을보였고, Hanley et al. (011) 은대류규모 (convective-scale) 의앙상블시스템을구축하여독일의산악지형에서발생한고립된뇌우에대하여예측성을살펴본결과지형의영향으로인해발생하는대류는초기조건의불확실성에매우민감함을보인바있다. 하지만우리나라지역의강수현상의예측에고해상도국지모델에대한앙상블예측시스템을이용한연구는아직까지보고된바없다. 현재기상청 (Korea Meteorological Administration, KMA) 에서는영국기상청 (United Kingdom Meteorological Office, UKMO) 으로부터도입한통합모델 (Unified Model, UM) 을현업운영하고있다. KMA UM 을이용하여전구, 동아시아, 한반도지역을모델영역으로하는단일예보를수행하고있으며, 앙상블예보는전구에대해서만수행하고있다. 따라서한반도영역에영향을미치는강수현상을보다잘예측하기위해서는한반 도영역에대한고해상도국지앙상블예측시스템이필요하다. 고해상도모델은작은규모의대기현상, 특히강수현상을잘모의하는것을목표로하기때문에강수예보에대한검증이고해상도모델의성능을판단하는중요한요소가된다. 강수예보를다른변수의예보와같이어느한지점에대하여검증할때에는고해상도예보값의예측성능 (e.g., skill score) 이저해상도예보값의예측성능보다더낮을수있다 (Roberts, 008). Mass et al. (00) 과 Done et al. (004) 은고해상도모델이좀더현실적으로대기현상을모의할수있으나어느한지점에서의예측성능은좋지않을수있고, 대신일정한넓이의지역에서는평균적인강수값을개선시킬수있음을보였다. 즉한지점에서강수를검증하는전통적인검증방법으로는고해상도모델의장점을표현하기에제약이따르기때문에, 고해상도모델결과의검증방법에대해서많은연구가진행되어왔다 (Ebert and McBride, 000; Davis et al., 006; Ebert, 008; Roberts and Lean, 008). 고해상도모델의강수예보를검증하는방법중하나로는한지점의주변지역에서강수현상이발생하는확률을고려하여검증하는방법인 Fractions Skill Score (FSS, Roberts and Lean, 008) 가있다. FSS 는넓이의개념인이웃규모 (neighborhood scale) 를적용시켜예보를수평규모에따라검증하는방법으로강수예보결과의검증에매우유용하다. FSS 를이용하여 Mittermaier et al. (013) 은강수사례에대하여 1 km 와 4km 해상도의예보를비교하여 4km 예보가더좋음을보였으며, Zacharov and Rezacova (009) 는앙상블스프레드와강수예측성능간의관계를설명하였다. Duc et al. (013) 은 10 km 와 km 강수예보에대해 FSS 를이용하여 km 는강한강수를, 10 km 는상대적으로약한강수를잘예보함을보였다. 본연구에서는한반도영역에기상청현업을위한고해상도국지앙상블예측시스템을구축한과정과 FSS 를포함한여러검증방법으로예측을검증한결과를제시하고자한다. 강수예측에가장적합한고해상도국지앙상블예측시스템을구축하기위해서는모델해상도와앙상블멤버수가강수를예측하는데적합해야한다. 따라서세가지모델해상도 (1.5 km, km, 3 km) 와세가지앙상블멤버수 (8 개, 1 개, 16 개 ) 의조합에대해각각시스템을구축하고, 구축된시스템들을이용하여강수사례를예측함으로써각시스템의강수예측성능을살펴보았다. 장에는구축한시스템에대한구성및검증방법에대하여설명하였고, 3 장에서는검증결과를보였다. 마지막으로요약및결론은 4 장에제시하였다. 한국기상학회대기제 5 권 1 호 (015)

. 시스템구축과검증방법 김세현 김현미 계준경 이승우 69.1 고해상도국지앙상블예측시스템본연구에서구축된고해상도국지앙상블예측시스템은세가지해상도 (1.5 km, km, 3 km) 와세가지앙상블멤버수 (8 개, 1 개, 16 개 ) 의조합인총 9 가지경우에대해각기따로구축되었다. 각해상도및앙상블개수는기상청현업시스템에적용할수있는조합으로구성된것이며, 이는다른현업기관들에서현재사용하고있는국지앙상블예측시스템의해상도및앙상블개수와크게다르지않은시스템구성이다. 영국기상청에서는. km 해상도, 1 개의앙상블멤버를사용하고있으며 (Mylne, 013), 유럽의 Consortium for Small-scale MOdelling (COSMO) 모델기반의앙상블예측시스템도.8 km 의 10 개앙상블멤버를사용하고있다 (Marsigli et al., 013). 또한영국기상청에서국지앙상블예측시스템의구성을위하여해상도및앙상블개수에대해 FSS 를계산한자료를보면,. km 해상도의경우일정앙상블멤버수를넘어서게되면 FSS 가더이상증가하지않는다 (Roberts et al., 011). 이러한현상은같은예보모델을사용하는기상청시스템에서도발생할수있는현상으로생각되어, FSS 의변화가크게나타나지않는범위내에서적절한앙상블개수들을설정하여실험을수행하였다. 총아홉가지시스템에공통적으로초기조건과경계조건은모두 N400 해상도 ( 중위도에서약 33 km 해상도 ) 의전구앙상블멤버로부터재구성 (reconfiguration) 과정을통하여제공받는데, 재구성과정이란목표해상도로변수및영역을바꿔주는과정이다 (Met. Office, 1998). Marsigli et al. (014) 에서는 COSMO 모델을이용하여 3 km 에서.8 km 해상도로직접재구성하는것과 3 km 에서 7km 를거쳐.8 km 해상도로재구성하는방법을비교하고, 500 hpa 지위고도장과강수예보에있어서큰차이를보이지않았음을보인바있다. 따라서이연구에서는전구앙상블로부터국지앙상블로초기조건과경계조건을직접재구성하는방법을이용하였다. 전구앙상블멤버는기상청전구앙상블예측시스템으로부터생산되며, Ensemble Transform Kalman Filter (ETKF) 에의해초기섭동을생성한다 (Kay et al., 013; Kay and Kim, 014). 고해상도국지앙상블예측시스템의구축순서는다음과같다 (Fig. 1). 1) 기상청 Four-dimensional variational data assimilation (KMA 4DVAR) 로부터생성된 N51 해상도 ( 중위도에서약 5 km 해상도 ) 의전구분석장을 N400 해상도로재구성하여전구앙상블의규준멤버를생성한다. Fig. 1. Schematic of the limited area ensemble prediction system in KMA. ) ETKF 를이용하여전구앙상블의초기섭동장 (pert01~pert15) 을생성하고, 15 개초기섭동장들을 1) 에서생성된규준멤버에더해 15 개의섭동멤버들을생성한다. 이때 1 개의규준멤버와 15 개의섭동멤버들을포함하여총 16 개의전구초기앙상블멤버들을구성한다. 3) 생성된전구앙상블초기멤버들을 4 시간적분하여국지앙상블예보에필요한경계장을생성한다. 4) 전구앙상블의총 16 개초기멤버들을재구성과정을거쳐국지앙상블의초기앙상블멤버들 (initial condition 00~initial condition 15) 을생성한다. 5) 생성된고해상도국지앙상블초기멤버들을이용하여 4 시간예보를수행하며, 이때국지앙상블멤버들의경계장은각각에대응되는전구앙상블멤버들로부터제공받는다. 위와같이구축한고해상도국지앙상블예측시스템에서사용하는모델은 KMA UM Vn8. 이다. 고해상도국지앙상블예측시스템은세가지모델해상도에대해모두연직으로 71 개의 eta-height hybrid 층을가지며, 수평적으로는한반도를포함한지역을모델영역으로한다 (Fig. ). 1.5 km 해상도 ( 격자수 : 900 1080) 와 3km 해상도 ( 격자수 : 450 540) 의영역은정확하게일치하지만, km 해상도 ( 격자수 : 678 810) 의경우모델영역의시작점 ( 모델영역의좌측하단 ) 이다른해상도에비해경도방향으로약 6 km, 위도방향으로약 1km 도왼쪽에서시작하는차이가존재한다. 하지만검증영역의경우는모든해상도실험에대해같은영역으로통일하였다. 모델은비정수계 (non-hydrostatic) 로수평격자는 Arakawa-C 격자체계와회전된적도의위도 - 경도 (rotated equatorial latitude-longitude) 격자투영법을사용하였다. 연직적 Atmosphere, Vol. 5, No. 1. (015)

70 기상청고해상도국지앙상블예측시스템구축및성능검증 검증요소는앙상블평균과앙상블스프레드이다. 예보된앙상블멤버들을평균한값에대해살펴봄으로써비선형모델인수치예보모델을통해예측된미래의대기가갖는확률적인분포의평균값에대해추정할수있다. 앙상블스프레드의경우예보된앙상블멤버들의평균에대한편차를의미하며, 다음의 (.1) 식으로구할수있다. SPREAD = N 1 --- ( f f() i) N, i=1 (.1) 여기서 N은앙상블멤버의개수이며, f 는 f = 1 N --- 로멤버별예보값의평균을의미한다. f(i) 는 N fi () i=1 i 번째앙상블멤버의예보값을의미한다. 앙상블예보의가장큰특징은예보의불확실성을정량화할수있다는것이다. 통계적으로완벽한신뢰성을갖는앙상블예보의경우, 대기의실제확률분포와앙상블멤버들로부터추출된확률분포는같아야한다. 즉, 앙상블사이즈 (i.e., 앙상블멤버수 ) 가무한하다고가정할때, 앙상블멤버들의스프레드와앙상블평균과실제대기의차이인 root mean square error (RMSE) 는같아야한다. RMSE는다음과같이계산된다. Fig.. Model domain and verification region of the limited area ensemble prediction system in KMA. 으로는 Charney-Philips 체계를 terrain-following hybridheight 좌표계를따라사용하였다 (Davies et al., 005). 모델에사용되는물리모수화과정들로는미세물리과정은 large-scale precipitation (Wilson and Ballard, 1999), 경계층물리과정은 boundary-layer mixing (Lock et al., 000), 지표및복사과정은각각 Essery et al. (001) 과 Edward and Slingo (1996) 을사용하였다. 적운모수화는모든해상도에서적용하지않았는데그이유는고해상도모델의경우미세물리과정으로강수현상을모사할수있기때문이다. UKMO 에서는. km 해상도에서적운모수화를적용하고있지않으므로 1.5 km 와 km 해상도에서는적운모수화를적용하지않았다. 3 km 해상도의경우는 gray zone (Shin and Hong, 013) 의관점에서적운모수화의필요성이명확하지않지만 1.5 km 와 km 실험과의일관성을위해서마찬가지로적용하지않았다.. 검증방법..1 Root Mean Square Error (RMSE) 와스프레드 (spread) 앙상블예측시스템검증에있어서가장기본적인 RMSE = M 1 ---- f M ( i o i ), i=1 (.) 여기서 M 은모델의격자수이며 o 는검증값을의미한다. 예보의정확성은앙상블평균과앙상블스프레드를통해어느정도추정할수있다. 일반적으로앙상블스프레드가작으면앙상블평균이실제대기에더가깝다고생각할수있고, 앙상블스프레드가크면상대적으로불확실성이커앙상블평균의오차가크다고추측할수있다. 하지만 Barker (1991) 에서언급하였듯이, 때로위와같은완벽한상관성을갖는것은불가능하기도하다. 즉, 앙상블스프레드가커도앙상블평균의오차 (i.e., 앙상블 RMSE) 가작을수있다. 따라서앙상블 RMSE 와스프레드가서로크기가비슷하여앙상블스프레드가앙상블예보오차를적절히표현하고, 앙상블 RMSE 가작으면예보의성능이좋다고평가할수있다... Fractions Skill Score (FSS) 본연구에서사용한강수검증방법은 FSS 이다. FSS 는전통적인강수예보검증방법에서사용하는한지점에서의검증이아닌, 해당지점을중심으로이웃한지점들까지포함하는지역에대해강수예보를검증하는방법이다. FSS 를계산하는방법은다음과 한국기상학회대기제 5 권 1 호 (015)

김세현 김현미 계준경 이승우 71 Fig. 3. Schematic example of FSS verification: (a) verification data and (b) forecast binary fields on the same grids, n denotes the neighborhood size, and the shaded grid has a value of 1. 같이세단계로구성되며, 수식은 Roberts and Lean (008) 를참고하였다. 1) 검증하고싶은강수임계값에대해서관측장및모델예보장의각격자점이 0 또는 1 의값을갖는이진필드 (binary field) 로변환해준다. 이때격자점의강수량이검증하고자하는임계값을넘는격자점은 1 의값을, 그렇지않은격자점은 0 의값을부여한다. ) 변환된모델예보장및관측장에대하여각격자점에서이웃한지역에대한확률값을계산해준다. 예를들어 Fig. 3a 의검증자료에서빨간색격자점위치에서이웃값 n 에따른확률은 n 이 3 일때는 /9, 5 일때는 6/5, 7 일때는 9/49 이다. 이때모델예보장은 n 이 3 일때는 /9, 5 일때는 5/5, 7 일때는 9/49 의확률을가지며 (Fig. 3b), 이와같은경우에서는모델예보가 n 이 3 일때와 7 일때예보에성공한것으로판단한다. 확률값은다음과같은수식을통해각격자점에대하여 n 값에따라계산할수있다. On ( )( ij, ) = ---- 1 n I O i + k 1 ----------------, ( n 1) 여기서 n n k=1l=1 j + l 1 ( ----------------, n 1) n n Mn ( )( ij, ) = ---- 1 n I M i + k 1 ( ----------------, n 1) k=1l=1 j + l 1 ( ----------------, n 1) I O i + k 1 ( ---------------- n 1), j + l 1 ---------------- ( n 1) (.3) (.4) 와 I M i + k 1 ( ---------------- n 1), 은각각검 j + l 1 ( ---------------- n 1) 증자료와모델예보값에대하여격자점 i, j에대한상대적인위치에서의이진필드값을의미한다. O(n)(i, j) 와 M(n)(i, j) 은각각검증자료와모델예보값의 (i, j) 격자점에서 n에대한확률값을의미한다. n의크기는검증영역의가로와세로격자수중더큰쪽을 N이라고했을때, N 1까지계산하여모든검증영역에대하여계산할수있으며, 홀수값만을갖는다. 하지만본연구에서는계산시간등을고려하여 n이 131일때까지만 FSS를계산하였다. 3) 각격자점에서 n 값에따라확률을계산한것에대하여다음의수식들을이용하여 Mean Square Error (MSE) 를계산하고, 이의 skill score를이용하여 FSS를계산한다. MSE ( n) = FSS ( n) = N x N y 1 ----------- N x N [ O ( n)ij, M ( n)ij, ], y i=1j=1 MSE ( n) MSE ----------------------------------------------------------- ( n)ref MSE ( n)perfect MSE ( n)ref MSE = 1 ----------------------, ( n) MSE ( n)ref (.5) (.6) 여기서 MSE (n)perfect 는 0 이므로 FSS (n) 는식 (.6) 의맨오른쪽항과같이계산할수있다. MSE (n)ref 는검증자료와모델예보값에대하여가질수있는가장큰값을의미하며, 다음과같은수식으로계산된다. N x N y 1 MSE ( n)ref = ----------- O N x N ( n)ij, + M ( n)ij,, y i=1j=1 i=1j=1 N x N y (.7) Atmosphere, Vol. 5, No. 1. (015)

7 기상청고해상도국지앙상블예측시스템구축및성능검증 이와같이계산된 FSS 는강수에대한모델의기본성능뿐만아니라강수현상의규모에따른예보성능의평가가가능하다...3 Probability Matching (PM) 앙상블평균장의경우앙상블멤버들로표현된대기의평균적인특성을나타내는데많이사용된다. 강수예보에있어서앙상블평균장은앙상블멤버들이표현한강수의영역은비교적잘표현하지만, 평균을함으로써앙상블멤버들의강수강도가완화되어앙상블멤버들이보이는강수강도의특성은잘나타내지못하게된다. 이러한문제를해결하기위해본연구에서는산술평균이아닌 Ebert (001) 에서제시한 Probability Matching (PM) 기법을사용하여강수예보의평균장을나타내었다. PM 의기본적인원리는다음과같다. 강수예보에있어강수영역과강수강도라는두가지데이터집단이있다고한다면, 강수의공간적인분포는앙상블의평균장이잘나타내었다고가정하고, 강수의강도는앙상블멤버들각각이예보한값이참값에가깝다고가정하는것이다. 따라서앙상블평균장과앙상블멤버들이예보한모든강수량을두개의다른집단으로설정하고두집단에대해서강수의강도를내림차순으로정리한다. 그다음강수의영역은앙상블의평균장으로설정하고, 앙상블평균이강수강도의최대값을나타내는지점에모든앙상블멤버들의집단에서의강수강도최대값을넣어준다. 이러한방식으로그다음으로큰강수강도를나타내는앙상블평균장의지점에모든앙상블멤버들의집단에서그다음으로큰강수강도값을넣어주는것을반복하여새로운강수예보장을생성한다. 이러한방법으로하면앙상블평균장을구할때발생하는앙상블멤버들의강수강도완화를방지하고각앙상블멤버들에서나타나는강수강도의특성이유지되도록앙상블평균장을나타내는것이가능하다. 3. 결과 3.1 사례기간의기상특성구축한고해상도국지앙상블예측시스템을 01 년 8 월한달동안의기간에대해실행하여여름철에대한시스템의예보성능을통계적으로살펴보았다. 01 년 8 월의전국평균기온은 6.4 o C, 최고기온의평균은 30.7 o C, 최저기온의평균은 3.1 o C 로평년보다각각 1.3 o C, 0.9 o C, 1.6 o C 가높았다. 평균강수량은 408.5 mm 로평년의 149% 를기록하였으며, 강수일수는 16.4 일로평년보다 3. 일많았다. 상순은북태평양고기압의영향을주로받아무더운날이많았고, 폭염과열 대야현상이지속되었다. 중순에는북태평양고기압가장자리에서대기불안정으로인해전국에비가오는날이많았으며, 평년대비 185% 의강수량을기록하였다. 하순에도마찬가지로북태평양고기압가장자리에서대기불안정으로인해중부지방에많은비가내렸으며, 특히 8 일제 15 호태풍볼라벤 (BOLAVEN), 30 일제 14 호태풍덴빈 (TENBIN) 이우리나라에상륙하여전국에강한바람과함께많은비가내렸다 (Korea Meteorological Administration, 01). 01 년 8 월에발생한강수사례에대한강수예보의성능을살펴보기위하여두강수사례 (01 년 8 월 일사례와 8 월 13 일사례 ) 를선택하여개별강수예보의성능을살펴보았다. 3. 01 년 8 월에대한 RMSE 와스프레드고해상도국지앙상블예측시스템의예측결과를검증하는데사용한자료는기상청에서현업운영중인 Local Data Assimilation and Prediction System (LDAPS) 의 Three-dimensional variational data assimilation (3DVAR) 분석장이다. LDAPS 는한반도지역을모델영역으로 1.5 km 해상도의단일예보를수행하는시스템인데, LDAPS 분석장은사례기간동안이용가능한관측자료를동화하여생성된것으로실제대기의상태를잘나타낸다고가정하였다. Figures 4~7 은 01 년 8 월한달간구축한국지앙상블예측시스템의예측변수별 RMSE 와스프레드를나타내는데, 각해상도별로 RMSE 와스프레드가유사한것을확인할수있다. 변수별로자세히살펴보면, 1 시간누적강수량의경우그변동폭과패턴이다른변수들에비해크게나타나는데 (Fig. 4), 이는강수현상의유무에의해나타나는현상으로분석된다. 전반적으로 RMSE 는멤버수및해상도에따라그다지많은차이를보이지않지만 (Table 1), 스프레드는멤버수가적을수록감소하고 (Figs. 5, 6) 이는주로 1.5 m 온도에서나타났다 (Fig. 6). 등압면변수인 500 hpa 수평바람과 850 hpa 온도및지위고도장의분포를살펴보면, 앙상블멤버가 16 개인경우대체로모든해상도에서 RMSE 와스프레드가유사하다 (Fig. 7, Table ). 하지만 8 월말에는 500 hpa 수평바람의스프레드가증가하는데 (Fig. 7), 이는 01 년 14 호태풍덴빈 (TENBIN) 과 15 호태풍볼라벤 (BOLAVEN) 의영향이며, 이러한특징은 km 해상도에서다른해상도에비해두드러지게나타났다. km 해상도실험은 1 시간누적강수량에대한값을제외하고나머지변수에서모두다른해상도들에비해더큰 RMSE 와스프레드를보였다. 전반적으로각해상도와멤버수별로각변수에대해 RMSE 와스프레드가비슷한크기를보이고, 그 한국기상학회대기제 5 권 1 호 (015)

김세현 김현미 계준경 이승우 73 Fig. 4. RMSE (left column, unit: mm) and spread (right column, unit: mm) of 4 hr forecast on 1 hr accumulated precipitation at surface during Aug. 01 (top row: 1.5 km resolution, middle row: km resolution, bottom row: 3 km resolution, red solid line: 8 member, green solid line: 1 member, blue solid line: 16 member). Table 1. Mean of RMSE of 1 hr accumulated precipitation at surface, zonal wind at 10 m, and temperature at 1.5 m during the experimental period. Resolution 1.5 km km 3km Ensemble member 1 hr accumulated precipitation at surface Variable Zonal wind at 10 m Temperature at 1.5 m 08 0.659 1.545 0.888 1 0.650 1.513 0.868 16 0.644 1.499 0.849 08 0.66 1.553 0.887 1 0.657 1.530 0.871 16 0.654 1.54 0.857 08 0.670 1.564 0.895 1 0.660 1.531 0.874 16 0.653 1.517 0.855 다지크지않은 RMSE 값을나타냄으로써구축한고해상도국지앙상블예측시스템의기본적인성능은좋은것으로판단된다. 3.3 강수사례에대한 FSS 검증 3.3.1 01 년 8 월 일 0000 UTC 사례구축한고해상도국지앙상블예측시스템을 01 년 8 월 일 0000 UTC 의강수현상에대해해상도 와앙상블멤버별로 FSS 검증을하였다. FSS 검증을위해본연구에서는관측자료대신 3 km 로내삽된 LDAPS 자료를검증자료로사용하였고, 각각의해상도의예보결과도 3 km 해상도로내삽하여검증에사용하였다. 그이유는일반적으로고해상도의모델검증을할경우상대적으로낮은해상도의관측에대해검증하기때문이다. 본연구에서는 1.5 km LDAPS 의분석장을관측대신사용하였고, 이는모델의해 Atmosphere, Vol. 5, No. 1. (015)

74 기상청고해상도국지앙상블예측시스템구축및성능검증 Fig. 5. RMSE (left column, unit: m s 1 ) and spread (right column, unit: m s 1 ) of 4 hr forecast on zonal wind at 10 m during Aug. 01 (top row: 1.5 km resolution, middle row: km resolution, bottom row: 3 km resolution, red solid line: 8 member, green solid line: 1 member, blue solid line: 16 member). Fig. 6. RMSE (left column, unit: K) and spread (right column, unit: K) of 4 hr forecast on temperature at 1.5 m during Aug. 01 (top row: 1.5 km resolution, middle row: km resolution, bottom row: 3 km resolution, red solid line: 8 member, green solid line: 1 member, blue solid line: 16 member). 한국기상학회대기제 5 권 1 호 (015)

김세현 김현미 계준경 이승우 75 Fig. 7. RMSE (black solid line) and spread (red dashed line) of 4 hr forecast for 16 ensemble members with each resolution (top row: zonal wind at 500 hpa, middle row: temperature at 850 hpa, bottom row: geopotential height at 850 hpa, left column: 1.5 km resolution, middle column: km resolution, right column: 3 km resolution). Table. Mean of RMSE of 500 hpa zonal wind, 850 hpa temperature, and 850 hpa geopotential height for 16 ensemble members during the experimental period. Variable Resolution 1.5 km km 3 km 500 hpa zonal wind.134.161.137 850 hpa temperature 0.659 0.67 0.658 850 hpa geopotential height 5.358 5.80 5.389 상도와같거나높은해상도이다. 따라서 LDAPS 자체의해상도를 3 km 로변환하여관측자료처럼사용하고, 이것에모델의해상도를맞춰검증하였다. Figures 8a, b 에사례시점의레이다관측및 AWS 관측을나타내었다. 레이다관측영상의좌측하단에나타난태풍은 01 년 10 호태풍인담레이 (DAMREY) 로한반도남서쪽에서강수가관측되었다 (Fig. 8a). AWS 관측영상에서도마찬가지로주로제주도지역에서만태풍으로인한강수가관측되었으며, 한반도내륙에는강수가발생하지않았다 (Fig. 8b). Figure 8c 는검증자료로사용된사례시점에서의기상청 LDAPS 의 3DVAR 분석장으로 LDAPS 3DVAR 분석장이레이다관측장을비교적잘나타내는것을확인할수있다. Figure 9 는각각의해상도및앙상블멤버에대한강수예보결과이다. 실험별로많은차이는보이지않지만, 동일한해상도에서앙상블멤버수가많아질수록더넓은영역에강수가나타나는것을볼수있다. 반대로강수의강도는멤버수가적을수록 Fig. 8. 1 hr accumulated precipitation of (a) radar observation, (b) AWS observation, and (c) LDAPS analysis at 0000 UTC Aug. 01. Atmosphere, Vol. 5, No. 1. (015)

76 기상청 고해상도 국지 앙상블 예측 시스템 구축 및 성능 검증 Fig. 9. Ensemble mean of 1 hr accumulated precipitation forecasts for each member and resolution at 0000 UTC Aug. 01 (top row: 1.5 km resolution, middle row: km resolution, bottom row: 3 km resolution, left column: 8 members, middle column: 1 members, and right column: 16 members). 한국기상학회 대기 제5권 1호 (015)

김세현 김현미 계준경 이승우 77 Fig. 10. FSS of ensemble mean with respect to neighborhood size for (a) 1 mm and (b) 4 mm threshold for a rainfall event at 0000 UTC Aug. 01. 강한영역이더넓게나타나는것을확인할수있다 (e.g., Fig. 9a 와 Fig. 9c 비교 ). Figure 10 은앙상블평균장에대한 FSS 검증결과이다. Figure 10a 는 1.0 mm 의강수임계값에대한 FSS 검증이고, Fig. 10b 는 4.0 mm 의강수임계값에대한 FSS 검증이다. 1.0 mm 의강수임계값은강수 영역을나타내는데유효하며, 4.0 mm 의강수임계값은상대적으로강한강수를나타내는데유효하다고볼수있다. 1.0 mm 의강수에대해서는모든해상도및앙상블멤버수사이에 FSS 의차이가크지않은반면에, 4.0 mm 강수에대해서는실험별 FSS 의차이가매우크다. 일반적으로 0.5 이상의 FSS 값을갖 Fig. 11. 1 hr accumulated precipitation of (a) radar observation, (b) AWS observation, and (c) LDAPS analysis at 0000 UTC 13 Aug. 01. Atmosphere, Vol. 5, No. 1. (015)

78 기상청 고해상도 국지 앙상블 예측 시스템 구축 및 성능 검증 Fig. 1. Ensemble mean of 1 hr accumulated precipitation forecasts for each member and resolution at 0000 UTC 13 Aug. 01 (top row: 1.5 km resolution, middle row: km resolution, bottom row: 3 km resolution, left column: 8 members, middle column: 1 members, and right column: 16 members). 한국기상학회 대기 제5권 1호 (015)

김세현 김현미 계준경 이승우 79 Fig. 13. FSS of ensemble mean with respect to neighborhood size for (a) 1 mm and (b) 4 mm threshold for a rainfall event at 0000 UTC 13 Aug. 01. 는이웃지역의크기 (neighborhood size) 부터예측이유효하다고분석한다. 따라서 1.0 mm 의강수에서는모든조합의고해상도국지앙상블예측시스템이잘예측하는것으로볼수있다. 한편 4.0 mm 강수에대해서는 1.5 km 해상도와 8 개의앙상블멤버의조합이가장높은 FSS 값을보이나그경우도 FSS 값이 0.5 보다작아모든조합이예측을잘하지못한것으로볼수있다. 즉 01 년 8 월 일 0000 UTC 사례는강수의영역은모든조합에서잘예측하는편이나, 상대적으로강한강수는잘예측하지못했고조합간결과의차이도큰사례로해석할수있다. 3.3. 01 년 8 월 13 일 0000 UTC 사례 01 년 8 월 13 일 0000 UTC 사례에도해상도와앙상블멤버별로 FSS 검증을수행하였다. 사례시점에대한레이다관측을보면한반도남쪽으로길게밴드형태의강수대가발달하였으며 (Fig. 11a), 이는 일 0000 UTC 와기상장이전혀다른사례임을나타낸다. 같은시점의 AWS 관측을보면, 레이다관측과마찬가지로한반도에강수대가발생하였고강한강수가발생한지역및셀의위치도레이다관측과유사한것을확인할수있다 (Fig. 11b). 같은시점에서검증 자료로사용되는 LDAPS 분석장을 Figure 11c 에나타내었다. 관측에비해서는강한강수강도를나타내고강수영역도넓게나타났지만밴드형태는잘모사하였다. Figure 1 의앙상블평균장의강수를살펴보면, 8 월 일 0000 UTC 사례와마찬가지로같은해상도에서앙상블멤버수가증가할수록강수의강도는점차약하게나타나는것을볼수있다. 이는구축한시스템의앙상블스프레드가커서앙상블멤버수가증가할수록강수영역이넓어지고강수강도의평균값이약하게나타나기때문이다. 또한모든조합에서밴드의형태는대체로잘모의하는모습을볼수있다. 1.0 mm 의강수임계값에대한 FSS 를살펴보면 1.5 km 해상도와 8 개앙상블멤버의조합이가장좋은값을보이며, 다른조합의결과들은서로간의차이가크지않음을볼수있다 (Fig. 13a). 반면 4.0 mm 강수임계값에대한 FSS 를살펴보면 1.5 km 해상도와 1 개앙상블멤버의조합이 1 이웃지역크기 (neighborhood size) 까지는가장좋지만그이후에는 km 해상도와 1 개앙상블멤버의조합과매우유사한값을보인다 (Fig. 13b). 예보의유효성을나타내는 0.5 이상의값은약 37 이웃지역크기에서부터넘기시작하는데, 이는약 111 km 크기의강수영역예보에효과적인 Atmosphere, Vol. 5, No. 1. (015)

80 기상청고해상도국지앙상블예측시스템구축및성능검증 Fig. 14. PM mean of 1 hr accumulated precipitation forecast at (a) 0000 UTC and (b) 0000 UTC 13 Aug. 01. Fig. 15. FSS of PM mean with respect to neighborhood size for 4 mm precipitation threshold for a rainfall event at 0000 UTC Aug. 01. 것으로해석된다 (Fig. 13b). 따라서 01 년 8 월 13 일 0000 UTC 사례는강수의영역은모든조합에서잘예측하는편이고, 강한강수도조합간차이는약간있지만 111 km~189 km 이상의넓은영역에대해서는비교적잘예측한사례로해석할수있다. 3.4 Probability matching 평균 FSS 검증을수행한두가지사례에대하여가장좋은결과를나타냈던조합에대하여각각 PM 기법을적용해보았다. 01 년 8 월 일사례에대해서는 1.5 km 해상도와 8 개의앙상블멤버에, 01 년 8 월 13 일 사례에대해서는 1.5 km 해상도와 1 개의앙상블멤버에 PM 을적용하여나타내었다 (Fig. 14). 기존의일반적인앙상블평균장과비교하였을때 (Fig. 9a 와 Fig. 14a 비교, Fig. 1b 와 Fig. 14b 비교 ), PM 기법을적용한앙상블평균장은확실히강수강도가더강하게나타나며강수셀이더세밀하게나타난다. 4.0 mm 강수에대하여 FSS 값이낮게나타났던 일사례 (Fig. 10b) 에대하여 PM 평균으로 FSS 를다시계산해본결과, 기존앙상블평균장을이용하여검증하였을때보다전반적으로높은 FSS 값을보이는것을확인할수있다 (Fig. 15). 한국기상학회대기제 5 권 1 호 (015)

김세현 김현미 계준경 이승우 81 4. 결론 본연구에서는기상청고해상도국지규모앙상블예측시스템을세가지해상도및세가지앙상블멤버수의조합에대하여구축하고그성능을평가해보았다. 구축한시스템의성능을평가하기위하여 01 년 8 월한달동안 4 시간예보를수행하였으며, RMSE 와스프레드를통하여기본적인성능을검증해보았다. 검증을수행한변수는 1 시간누적강수량, 10 m 수평바람, 1.5 m 온도, 500 hpa 수평바람, 850 hpa 온도, 그리고 850 hpa 지위고도장이며기상청에서현업운영중인 LDAPS 의분석장을관측대신사용하여검증하였다. RMSE 와스프레드에대한결과는모든해상도및앙상블멤버의조합에대해서비슷한값과패턴을보였으며, 동일한해상도에서멤버수가적을수록스프레드가줄어드는모습을보였다. 또한 8 월말기간에모든해상도및앙상블멤버수조합에대해 01 년 14 호태풍덴빈과 15 호태풍볼라벤의영향으로분석되는 RMSE 와스프레드의증가가나타났는데, 이는 km 해상도에서가장크게나타났다. 구축한고해상도앙상블예측시스템의스프레드가 RMSE 와비슷한값을보이며, 비교적크지않은 RMSE 를보이는것으로보아, 구축한시스템의기본적인성능은좋은것으로평가된다. 또한고해상도모델예보에있어서중요한강수량검증을서로다른종관기상상황에서발생한두가지강수사례에대해수행해보았다. 수행한검증방법으로는전통적인검증방법인지점별검증이아닌지점주변을포함한지역에대해검증하는 FSS 방법을사용하였다. 01 년 8 월 일 0000 UTC 사례와 13 일 0000 UTC 사례에서 1.0 mm 강수에대해서는해상도와앙상블멤버의모든조합이큰차이를보이지않았으나, 4.0 mm 강수에대해서는해상도별로큰차이가나는것을확인할수있었다. 두사례에대한 FSS 검증결과에서 1.5 km 의해상도가가장좋은검증값을보였으며, 특히 1 개와 8 개앙상블멤버가 16 개멤버보다좋은결과를보였다. 16 개의멤버보다적은앙상블멤버수를이용했을때검증값이더좋은이유는앙상블평균값으로 FSS 를검증한것이하나의원인이될수있다. 이경우많은수의앙상블멤버를평균할수록 smoothing 효과가커져강수강도가약화되는것으로분석된다. Clark et al. (011) 에서는총 17 개의앙상블멤버에대하여앙상블멤버수에따른확률정량강수예보 (probabilistic quantitative precipitation forecasts) 의특성을살펴보았고, 앙상블멤버수가일정개수 (3 개 ~9 개 ) 이상증가하면그이후로는더이상예보향상이이루어지지않음을보인바있으며, Du et al. (1997) 는 10 개정도의앙상블멤 버수로확률정량강수예보향상의 90% 이상을나타낼수있음을보인바있다. 하지만이결과는확률정량강수예보결과이기때문에사례마다다를수있고, 예측성이낮은사례인경우에는더많은앙상블멤버수가필요할것이라고언급하였다. 따라서위의 1 개와 8 개앙상블멤버가 16 개멤버보다좋은결과를보인것이 Clark et al. (011) 과 Du et al. (1997) 에서제시된바와같이앙상블멤버수가일정개수이상많아지면더이상강수정량예보결과가좋아지지않는것과관련이있는지에대해서는더많은사례에대한추후검증이필요할것이다. Kim and Kim (014) 에서는경계장섭동을고려하지않은기상청고해상도국지앙상블예측시스템을이용하여본연구와같은실험들을수행하였고, 약한강수에대해서는 1.5 km 해상도실험이, 강한강수에대해서는 3 km 해상도의실험의결과가좋다는것을보인바있다. 따라서본실험의결과와 Kim and Kim (014) 결과의차이는기상청고해상도국지앙상블예측시스템의결과가경계장섭동에민감하게반응하는것에기인한다고할수있다. 또한사례및검증하는강수의임계값별로검증결과가매우다르기때문에, 한반도에서의전반적강수예보에대해어떤해상도및앙상블멤버의조합이가장좋은지는더많은강수사례에대해검증이필요할것으로보인다. 앞서말한일반적인앙상블평균장에서발생하는강수강도완화현상을방지하고자 Probability Matching 기법을이용하여새로운앙상블평균장을나타내었다. 두가지강수사례에대하여가장높은 FSS 를보였던조합에적용한결과, 일반적인앙상블평균장보다강수강도를좀더잘나타내었다. 따라서 Fractions Skill Score 와 Probability Matching 기법이강수예보의검증에매우유용하게활용할수있음을확인하였다. 이연구의결과와관련후속연구는고해상도모델과앙상블기법의결합에의한고해상도확률및통계예보를한반도에발생하는강수시스템의예측에활용할수있는기반을마련하는데도움이될것이다. 감사의글 심사를맡아주신두분심사위원의세심한심사에감사드립니다. 본연구는기상청기상기술개발사업 (CATER 013-030) 의지원으로수행되었습니다. REFERENCES Barker, T. W., 1991: The relationship between spread and forecast error in extended-range forecasts. J. Climate, 4, 733-74. Atmosphere, Vol. 5, No. 1. (015)

8 기상청고해상도국지앙상블예측시스템구축및성능검증 Baker, L., A. Rudd, S. Migliorini, and R. Bannister, 014: Representation of model error in a convective-scale ensemble prediction system. Nonlin. Proc. Geophys., 1, 19-39, doi:10.5194/npg-1-19-014. Bowler, N. E., A. Arribas, K. R. Mylne, K. B. Robertson, and S. E. Beare, 008: The MOGREPS short-range ensemble prediction system. Quart. J. Roy. Meteor. Soc., 134, 703-7. Clark, A. J., and Coauthors, 011: Probabilistic precipitation forecast skill as a function of ensemble size and spatial scale in a convection-allowing ensemble. Mon. Wea. Rev., 139, 1410-1418. Davies, T., M. J. P. Cullen, A. J. Malcolm, M. H. Mawson, A. Staniforth, A. A. White, and N. Wood, 005: A new dynamical core for the Met Office s global and regional modeling of the atmosphere. Quart. J. Roy. Meteor. Soc., 131, 1759-178. Davis, C., B. Brown, and R. Bullock, 006: Object-based verification of precipitation forecasts. Part I: methodology and application to mesoscale rain areas. Mon. Wea. Rev., 134, 177-1784. Done, J., C. A. Davis, and M. L. Weisman, 004: The next generation of NWP: Explicit forecasts of convection using the Weather Research and Forecasting (WRF) model. Atmos. Sci. Lett., 5, 110-117, doi:10.100/ asl.7. Done, J. M., G. C. Craig, S. L. Gray, and P. A. Clark, 01: Case-to-case variability of predictability of deep convection in a mesoscale model. Quart. J. Roy. Meteor. Soc., 138, 638-648, doi:10.100/qj.943 Du, J., S. L. Mullen, and F. Sanders, 1997: Short-range ensemble forecasting of quantitative precipitation. Mon. Wea. Rev., 15, 47-459. Duc, L., K. Saito, and H. Seko, 013: Spatial-temporal fractions verification for high-resolution ensemble forecasts. Tellus, 65A, 18171, doi:10.340/tellusa.v65i0. 18171. Ebert, E. E., 001: Ability of a Poor Man s ensemble to predict the probability and distribution of precipitation. Mon. Wea. Rev., 19, 461-480., 008: Fuzzy verification of high resolution gridded forecasts: a review and proposed framework. Meteor. Appl., 15, 51-64., and J. L. McBride, 000: Verification of precipitation in weather systems: determination of systematic errors. J. Hydrol., 39, 179-0. Edward, J. M., and A. Slingo, 1996: Studies with a flexible new radiation code. I: Choosing a configuration for a large-scale model. Quart. J. Roy. Meteor. Soc., 1, 689-719. Essery, R., M. Best, and P. Cox, 001: MOSES. Technical Documentation. Technical Report 30, Hadley Centre. [Available online at http://www.metoffice.gov.uk/ research/hadleycentre/pubs/hctn/index.html.]. Gebhardt, C., S. E. Theis, M. Paulat, and Z. Ben Bouallègue, 011: Uncertainties in COSMO-DE precipitation forecasts introduced by model perturbations and variations of lateral boundaries. Atmos. Res., 100, 168-177. Hanley, K. E., D. J. Kirshbaum, S. E. Belcher, N. M. Roberts, and G. Leoncini, 011: Ensemble predictability of an isolated mountain thunderstorm in a high-resolution model. Quart. J. Roy. Meteor. Soc., 137, 14-137, doi:10.100/qj.877. Kain, J. S., and Coauthors, 008: Some practical considerations regarding horizontal resolution in the first generation of operational convection-allowing NWP. Wea. Forecasting, 3, 931-95. Kay, J. K., and H. M. Kim, 014: Characteristics of initial perturbations in the ensemble prediction system of the Korea Meteorological Administration. Wea. Forecasting, 9, 563-581, doi:10.1175/waf-d-13-00097.1., and H. M. Kim, Y.-Y. Park, and J. Son, 013: Effect of doubling ensemble size on the performance of ensemble prediction in warm season using MOGREPS implemented in KMA. Adv. Atmos. Sci., 30, 187-130, doi:10.1007/s00376-01-083-y. Kim, S., and H. M. Kim, 014: Neighborhood-based verification of high resolution ensemble forecast system in KMA. 94th American Meteorological Society Annual Meeting, -6 Feb, 014, Atlanta, Georgia. [Available online at https://ams.confex.com/ams/94annual/webprogram/paper34899.html.]. Kong, F., K. K. Droegmeier, and N. L. Hickmon, 007: Multi-resolution ensemble forecasts of an observed tornadic thunderstorm system. Part II: Storm-scale experiments. Mon. Wea. Rev., 135, 759-78. Korea Meteorological Administration, 01: Annual Climate Report, 31 pp. [Available online at http:// www.kma.go.kr/repositary/sfc/pdf/sfc_ann_01.pdf.]. Kühnlein, C., C. Keil, G. C. Craig, and C. Gebhardt, 014: The impact of downscaled initial condition perturbations on convective-scale ensemble forecasts of precipitation. Quart. J. Roy. Meteor. Soc., 140, 155-156, doi:10.100/qj.38. Lock, A. P., A. R. Brown, M. R. Bush, G. M. Martin, and R. N. B. Smith, 000: A new boundary layer mixing scheme. Part I: Scheme description and single-col- 한국기상학회대기제 5 권 1 호 (015)

김세현 김현미 계준경 이승우 83 umn model tests. Mon. Wea. Rev., 18, 3187-3199. Lorenz, E. N., 1969: The predictability of a flow which possesses many scales of motion. Tellus, 1, 89-307. Marsigli, C., A. Montani, and T. Paccagnella, 013: Test of a COSMO-based convection-permitting ensemble in the Hymex framework. COSMO Newsletter No. 13, 5 pp. [Available online at http://www.cosmo-model.org/ content/model/documentation/newsletters/default.htm.].,, and, 014: Provision of boundary conditions for a convection-permitting ensemble: comparison of two different approaches. Nonlinear Proc. Geoph., 1, 393-403, doi:10.5194/npg-1-393- 014., F. Boccanera, A. Montani, and T. Paccagnella, 005: The COSMO-LEPS mesoscale ensemble system: validation of the methodology and verification. Nonlinear Proc. Geoph., 1, 57-536. Mass, C. F., D. Ovens, K. Westrick, and B. A. Colle, 00: Does increasing horizontal resolution produce more skillful forecasts?. Bull. Amer. Meteor. Soc., 83, 407-430. Met. Office, 1998: Unified Model User Guide, 00 pp. [Available online at http://www.ukscience.org/_media/um_user_guide.pdf.]. Migliorini, S., M. Dixon, R. Bannister, and S. Ballard, 011: Ensemble prediction for nowcasting with a convection permitting model-i: Description of the system and the impact of radar-derived surface precipitation rates. Tellus, 63A, 468-496, doi:10.1111/ j.1600-0870.010.00503.x. Mittermaier, M., N. Roberts, and S. A. Thompson, 01: A long-term assessment of precipitation forecast skill using the fractions skill score. Meteor. Appl., 0, 176-186, doi:10.100/met.96. Mylne, K., 013: Scientific framework for the ensemble prediction system for the UKV. MOSAC Paper 18.6, Met Office, 1 pp. [Available online at http://www. metoffice.gov.uk/media/pdf/q/0/mosac_18.6_mylne. pdf.] Roberts, N. M., 008: Assessing the spatial and temporal variation in skill of precipitation forecasts from an NWP model. Meteor. Appl., 15, 163-169., and H. W. Lean, 008: Scale-selective verification of rainfall accumulations from high-resolution forecasts of convective events. Mon. Wea. Rev., 136, 78-97., G. Leoncini, and C. Wang, 011: Storm-permitting Ensemble. Presentation at 9th International SRNWP-Workshop on Non-Hydrostatic Modelling, 16-18 May, 011, Bad orb, Germany. [Available online at http://srnwp.met.hu/workshops/badorb_011/presentations/05_predictability/01_roberts/robertsn_ SRNWP_MAY18_011.pdf.]. Saito, K., H. Seko, T. Kawabata, Y. Shoji, T. Kuroda, T. Fujita, and O. Suzuki, 011: Studies at MRI toward cloud resolving ensemble NWP. Presentation at 11 th EMS Annual Meeting, 1-16 Sep, 011, Berlin, Germany. [Available online at http://presentations.copernicus.org/ems011-57_presentation.pdf.]. Schwarts, C. S., and Coauthors, 009: Next-day convection-allowing WRF model guidance: A second look at -km versus 4-km grid spacing. Mon. Wea. Rev., 137, 3351-337. Shin, H. H., and S.-Y. Hong, 013: Analysis of resolved and parameterized vertical transports in convective boundary layers at gray-zone resolutions. J. Atmos. Sci., 70, 348-361. Weisman, M. L., C. Davis, W. Wang, K. W. Manning, and J. B. Klemp, 008: Experiences with 0-36-h explicit convective forecasts with the WRF-ARW model. Wea. Forecasting, 3, 407-437. Wilson, D. R., and S. P. Ballard, 1999: A microphysically based precipitation scheme for the UK Meteorological Office Unified Model. Quart. J. Roy. Meteor. Soc., 15, 1607-1636. Zacharov, P., and D. Rezacova, 009: Using the fractions skill score to assess the relationship between an ensemble QPF spread and skill. Atmos. Res., 94, 684-693, doi:10.1016/j.atmosres.009.03.004. Atmosphere, Vol. 5, No. 1. (015)