The Korean Journal of Applied Statistics () (), DOI: http://dx.doi.org/./kjas... Adaptive lasso in sparse vector autoregressive models Sl Gi Lee and Changryong Baek (Received, ; Revised, ; Accepted, ) Abstract This paper considers variable selection in the sparse vector autoregressive (svar) model where the sparsity comes from setting small coefficients to exact zeros. In the estimation perspective, Davis et al. () shows that the lasso type of regularization method performs successfully because it provides variable selection and parameter estimation at the same time even for time series data. However, in their simulations study, it is reported that the regular lasso overestimates the number of non-zero coefficients, hence its finite sample performance need improvements. In this article, we show that the adaptive lasso significantly improves the performance. That is, the adaptive lasso finds the sparsity patterns much better than the regular lasso. Some tuning parameter selections in the adaptive lasso are also discussed from the simulations study. Keywords: sparse vector autoregressive model, adaptive lasso, high dimensional time series.. 서론 현대의급격한과학기술의발전은기존에는상상할수조차없는다양하고도대용량의데이터를생산 해내었다. 본연구에서는시간에따라관측된고차원의대용량시계열자료를매우효과적으로분 석할수있는벡터자기상관회귀모형 (vector autoregressive model; VAR) 의추정을다룬다. VAR 모 형은변수들사이의종속관계 (interdependence) 를고려하여시간에따른종속관계 (temporal dependence) 를선형종속관계로나타내는모형이다. 보다구체적으로먼저차원이 K 인다변량시계열자료 Y,..., Y T 에대해차수 p 를갖는 VAR(p) 모형은 Y t = A Y t + A Y t +... + A py t p + Z t, t =,..., T (.) 으로주어진다. 여기에서이노베이션 (innovations) {Z t, t =,..., T } 는평균이 이고분산 - 공분산행 렬 Σ Z 를갖는 K 차원의 i.i.d. 확률변수이다. 행렬 A,..., A p 는크기가 K K 인실수행렬들로 AR 계 수를나타낸다. VAR 모형은 Sims (98) 를비롯한계량경제분야를필두로기상학, 환경, 금융등등에서매우높은예 측력을가지는모델임이밝혀졌다. 하지만, 차원에따라모수의숫자는제곱함수로증가하는차원의저 주를가지고있어서고차원자료의경우추정의어려움뿐만아니라예측력의저하와해석의어려움을 This research was supported by the Basic Science Research Program from the National Research Foundation of Korea (NRF), funded by the Ministry of Science, ICT & Future Planning (NRF-RAA). Department of Statistics, Sungkyunkwan University, Sungkyunkwan-ro, Jongno-gu, Seoul, Korea -7. E-mail: ireneslgilee@naver.com Corresponding author: Department of Statistics, Sungkyunkwan University, Sungkyunkwan-ro, Jongno-gu, Seoul, Korea -7. E-mail: crbaek@skku.edu
Sl Gi Lee and Changryong Baek 동반하는등많은문제를가지고있다. 이에대한한가지해결책으로 VAR 모형의계수들이 에가까운값을정확하게 으로둠으로써추정하여야하는계수의숫자를줄이는소위희박벡터자기상관회귀모형 (sparse VAR models; svar) 이높은차원에서의 VAR 모형의결점을보완할수있는모형으로제안되었다. 이와더불어기계학습분야에서제안된회귀모형에서축소방법 (shrinkage method) 으로소개된 lasso는추정계수의크기에제곱벌점을부과함으로써변수선택및모수추정을동시에하는방법으로 Tibshirani (99) 에의해제안되었으며추후후속연구를통해서고차원데이터에서도모형선택을잘함이보고되었다. 예를들어 Hsu 등 (8), Huang 등 (8), Hastie 등 () 이있다. 따라서이러한흐름속에서 Davis 등 () 은시계열모형인 svar에 lasso를적용하여모형을추정하는것에대해서연구하였다. 하지만 Davis 등 () 의모의시험에따르면 lasso 방법이대체적으로 svar 모형의계수추정에는적합하나 이아닌계수의숫자가참값보다훨씬크게되는단점이있음을보고하였다. 이에따라본논문에서는 adaptive lasso를사용할경우모형의추정에있어서매우드라마틱한성능향상을기대할수있음을보인다. 즉매우큰노이즈가있는 svar 모형이나차수가높은모형에서도영이아닌계수를매우정확하게선택함을보인다. 또한 adaptive lasso에필요한튜닝모수의선택에대해서도심도있는논의를한다. 이논문은다음과같이구성되어있다. 장에서는벡터자기상관회귀모형과희박벡터자기상관회귀모형에대해살펴본후벌점에기반을둔변수선택방법인 lasso와이를계승하여발전시킨 adaptive lasso에대해서살펴본다. 장에서는모의실험을통해 adaptive lasso가 lasso보다영이아닌계수들을매우정확하게찾음을보이고 장에서는튜닝모수의선택에대해서논의하며마지막으로 장에서는결론을다루었다.. 벡터자기회귀모형의계수추정방법.. 최소자승법 (OLS), 최대우도추정량 (MLE) 및릿지추정량 (Ridge estimator) 본장에서는차원이 K이고차수가 p인 VAR(p) 모형 (.) 의 AR계수 A,..., A p 의추정에대해서간략하게소개한다. 우선다변량시계열자료 Y,..., Y T 에대해서 {Y t} 는인과과정 (causal process) 임을가정하며 {Z t} 는 {Y s, s < t} 와독립임을가정한다. VAR(p) 모형의추정을위하여 Lütkepohl () 에따라다음과같이모형을다시쓸수있다. Y = AL + Z. (.) 여기에서 Y := (Y, Y,..., Y T ), A := (A, A,..., A p), L t := vec(y t, Y t,..., Y t p+), L := (L, L,..., L T ), Z := (Z, Z,..., Z T ) 이며 Y p+,..., Y 는 이다. 수식 (.) 을다시벡터형식으로적으면다음과같다. y := vec(y ) = (L I K) + vec(z), := vec(a) = vec(a, A,..., A p). (.) 따라서최소자승법에기반을둔추정량은 (OLS) ˆ OLS = argmin y (L I K) = ((LL ) L I K)y
Adaptive Lasso for sparse VAR 이고 x := x +... + x n 으로정의된노음이다. 이노베이션 {Z t} 에대한분산 - 공분산행렬의추정 량은다음과같다. ˆΣ OLS Z = T p T t=p+ (Y t Ŷt)(Yt Ŷt), Ŷ t = ÂOLS Y t +... + ÂOLS p Y t p. (.) 이노베이션 {Z t} 에대해서다변량정규분포를가정하면최대우도추정량 (MLE) 를찾을수있다. 가능 도함수는 이며최대우도추정량은 log π(ik ΣZ) ˆ MLE = (LL Σ Z ( y (L I K)) (I T Σ Z )(y (L I K)) ) ) (L Σ )y = ((LL ) L I K)y 으로 OLS 추정량과같아지지만분산 - 공분산추정량은다음과같다. Z ˆΣ MLE Z = T T t=p+ (Y t Ŷt)(Yt Ŷt), Ŷ t = ÂMLE Y t +... + ÂMLE p Y t p. (.) 회귀분석에서쓰이는대표적인축소방법 (shrinkage method) 인릿지추정량 (Ridge estimator) 이용한 벡터자기회귀모형의계수추정은 ˆ ridge { = argmin y (L I K) + λ } = (LL I K + λi K p) (L I K)y 으로튜닝모수 λ 가증가함에따라서축소의정도가심해진다. 이노베이션에대한분산 - 공분산추정량은 이다. ˆΣ rigde Z = T p T (Y t Ŷt)(Yt Ŷt), Ŷ t = Âridge Y t +... + Âridge p Y t p (.) t=p+.. 벌점화방식의 lasso 및 adaptive lasso 벌점화방식인 lasso 는 Tibshirani(99) 에의해제안된방법으로릿지추정량이계수의축소만을고려 한것에비해서추정모수에 l 벌점함수, 즉 x = x +... + x n, 를고려하여변수의선택과축소를동시에수행하는고차원자료를다루는데있어서매우획기적이고도중요한방법이다. Davis 등 () 는노이즈에대한의존성을고려한벡터자기회귀모형에서의 lasso 추정량을다음과같이정의하 였다. = argmin lasso := argmin Q λ (, Σ Z) { } T log Σ Z + (I T Σ Z )y (L Σ Z ) + λ 모수의추정은극좌표하강알고리즘 (coordinate descent algorithm) 에기반하여 -fold CV(crossvalidation) 로튜닝모수 λ 를추정하고분산공분산행렬 Σ Z 과모수 를반복적으로업데이트하는다 음의알고리즘을사용한다. (.)
Sl Gi Lee and Changryong Baek Lasso 를이용한반복적 VAR 모형추정법. 분산공분산행렬의초기값 Σ () Z 을설정.. 모수 와분산공분산행렬 Σ Z 을수렴할때까지아래와같은방법으로반복. 극좌표하강알고리즘및 -fold CV 를통한튜닝모수 λ 선택을통해추정량계산 (k+) = argminq λ (, Σ (k) Z ). Σ (k+) Z = T (Y A(k+) L)(Y A (k+) L), (k+) = vec(a (k+) ) VAR 모형에서의 lasso 방법론에대한연구로는대표적으로 Hsu 등 (8), Song 과 Bickel (7) 이있 으며최근활발한연구가진행되고있다. 하지만, 모의실험을통해 Davis 등 () 은 lasso 를이용한 희박벡터자기상관회귀계수추정이참값보다훨씬더많은영이아닌계수를추정하는단점을지적하였 다. 이는과거 Arnorld 등 (9), Lozano 등 (8) 이 lasso 를이용한 AR 모형추정이실제보다과도 한차수를추정하는경향이있다고밝힌것과그맥락을같이한다. 보다근본적으로 i.i.d. 회귀모형가 정하에서 Zou () 는 lasso 추정법이변수선택일치성과점근적정규성을보장할수없음을밝혔고 이러한단점을보완하기위해서 adaptive lasso 추정량을소개하였다. 그아이디어는작은추정값을가 지는계수에대해서더많은가중벌점을주어서변수가선택되지못하게하는것이다. 따라서본논문은 adaptive lasso 를이용하여희박벡터모형을추정하였을경우에어떠한성능향상을기대할수있는지모 의실험을통해서밝히고자한다. 구체적으로 adaptive lasso 는다음과같이정의된다. = argmin al := argmin Q al λ (, Σ Z) { T log Σ Z + (I T Σ Z )y (L Σ Z ) + λ w }. (.7) 여기에서 w 는초기추정량의역수로이루어진가중치벡터로 j 번째가중치는 w j = j γ, γ > (.8) 으로주어진다. 따라서작은계수값에많은벌점을부과하여 lasso 모형보다더희박한모형을선택하게 된다. 다음은 adaptive lasso 추정량을계산하는반복알고리즘을정리한것이다. adaptive lasso 를이용한반복적 VAR 모형추정법. 주어진 γ 에대해서분산공분산행렬의초기값 Σ () Z 및가중치 w() 을설정.. 모수 와분산공분산행렬 Σ Z 을수렴할때까지아래와같은방법으로반복. 극좌표하강알고리즘및 -fold CV 를통한튜닝모수 λ 선택을통해추정량계산 (k+) = argmin Q al λ (, Σ Z). Σ (k+) Z = T (Y A(k+) L)(Y A (k+) L), (k+) = vec(a (k+) ). w (k+) = / (k+) γ
Adaptive Lasso for sparse VAR. 모의실험본장에서는 adaptive lasso 방법을이용하여희박벡터상관회귀모형을추정하였을때어떠한성능을보이는지에대한모의실험결과를보고한다. 본모의실험에는다음의두가지자료생성과정 (Data generating process) 을사용하였다. 첫번째 DGP (DGP) 는 VAR() 모형에여섯개의영이아닌계수를가지는 svar(; ) 모형으로모형식은 X t, X t, X t, X t, X t, X t,.8. =....8 X t, X t, X t, X t, X t, + Z t, Z t, Z t, Z t, Z t, X t, Z t,, (.) 이며, 두번째 DGP (DGP) 는 VAR() 모형에영이아닌계수가 개인 svar(; ) 모형으로 X t, X t, X t, X t, X t, X t,.8. =... X t, X t, X t, X t, X t,.. +... X t, X t, X t, X t, X t, +.8 X t,. X t, Z t, (.) 이다. 여기에서이노베이션벡터인 (Z t,,..., Z t,) 는평균이 (,,,,, ) 이고분산공분산행렬 Σ Z 은 δ δ/ δ/ δ/8 δ/ δ/ δ/ Σ Z = δ/ δ/8 (.) δ/ δ/ 으로주어진다변량정규분포를따른다고가정하였다. 모의실험결과각측도의변수선택성능을요약하기위한통계량으로는 RMSE, 영이아닌계수의수, MSP를고려하였다. 우선, RMSE (Root Mean Square Error) 는추정량의불일치도를나타내기위한통계량으로다음과같이정의된다. RMSE = n tr((a n Â(i) ) (A Â(i) )) i= 여기에서 n은반복수이고 Â(i) 은 i번째반복에대한 svar 모형추정계수이다. 다음으로영이아닌계수의수는전체모의실험중추정된계수행렬에영이아닌계수의수를평균값으로나타낸값이다. 마지막으로, MSP (mean squared proportion) 정의에앞서영이아닌계수에대한지시함수 M k (i, j) 을 Z t, Z t, Z t, Z t, Z t,,
Sl Gi Lee and Changryong Baek 정의하면다음과같다. M k (i, j) := {, if A k (i, j) is non-zero,, otherwise 축도성능요약통계량인 MSP 은다음과같이정의된다. MSP = I i,j,k I ( M k (i, j) M k (i, j)). 여기에서 M k (i, j) 는 k 번째 AR 계수의 i, j 번째원소인 A k (i, j) 를영이아닌것으로추정하는상대도 수를의미하며인덱스집합 I = {(k, i, j) k =,..., p, i, j {,..., K}} 이다. MSP 값이 에가까울 수록좋은성능을나타내며값이클수록추정성능이좋지않음을나타낸다. 이번모의실험에서는다음의 7 가지방법에대해서비교를하였다. 먼저 i.i.d. 가정에서출발한 lasso 및 adaptive lasso (al) 방법으로각각수식 (.) 과 (.7) 에서 Σ Z 를 I K 로대체한방법이다. 하지만시계 열모형에서는 i.i.d. 가정을하지않으므로 Davis 등 () 에서제안한분산공분산행렬업데이트방 법을적용한 lasso 방법을토대로한 (.) 방법을적용하였다. 이는 adaptive lasso 에의한추정성능의 향상인지혹은노이즈벡터의분산 - 공분산을고려하였기때문에얻어지는성능향상인지를구별하기위 해고안한실험이다. 앞서. 장에서설명하였듯이 adaptive lasso 를반복적알고리즘을통해추정하기위해서는분산 - 공분 산행렬의초기값과가중치가벡터 (.8) 이필요하다. 본실험에서는최소자승추정값 (al-osl), 최대우 도추정량 (al-mle), i.i.d. 가정하의 lasso 추정량 (al-lasso), 릿지추정량 (al-ridge) 네가지방법을통 해얻어진초기추정값에대해서얻어진분산 - 공분산행렬추정량 (.)-(.) 을사용하였다. 릿지추정 량에서의튜닝모수 λ 의추정은 Cule 과 De Iorio () 의방법을따랐다. 제 장의구성은 adaptive lasso 방법에대한추정성능은. 절에서살펴보며표본크기에대한효과는. 절에서다루며 adaptive lasso 에필요한튜닝모수 γ 에대한효과는. 절에서살펴본다. 모든모의 실험결과는총 번의반복을통해산출하였다... adaptive lasso의성능본절에서는 adaptive lasso의추정성능을알아보기위해서튜닝모수 γ = 및표본크기는 T = 에대해서위에서제시한 7가지방법을두가지 DGP모형에적용한결과를보고한다. 또한이노베이션의분산-공분산의노이즈정도에따른성능차이를보기위해서수식 (.) 에서모수 δ =,, 세가지경우에대해서결과를산출하였다. 표.은첫번째 DGP모형인 svar(; ) 에대한결과이다. 첫네열은분산-공분산행렬을업데이트하는알고리듬을사용한 adaptive lasso 방법에서초기값 (OLS, MLE, Lasso, Ridge) 에따라그결과를정리한것이고, 다섯번째열의 Lasso는 Davis 등 () 에서사용한분산-공분산행렬을업데이트하는 lasso방법을나타낸다. 마지막두개열은이노베이션공분산에대해서 i.i.d. 가정, 즉 Σ Z = I K 로가정한 Zou () 의 adaptive lasso (al) 및 lasso 방법론 (Lasso) 을의미한다. 먼저 adaptive lasso 방법이 lasso 방법에비해서작은 RMSE, 영이아닌계수의참값인 에훨씬더가까운값을주며 MSP가급격하게작아짐을볼수있다. 분산-공분산행렬을고려하지않다할지라도 adaptive lasso 방법은 lasso 방법보다훨씬더좋은성능을보임을알수있어, 본실험을통해서 adaptive lasso가희박벡터상관회귀모형의추정에있어서매우좋은성능을보임을알수있다. 하지만노이즈정도인 δ가커지면분산-공분산행렬을고려한방법이그렇지않은 adaptive lasso보다더좋은성능을보임을알수있다.
Adaptive Lasso for sparse VAR 7 δ sigma update Σ Z = I K al(ols) al(mle) al(lasso) al(ridge) Lasso al Lasso RMSE.7.7.9.7..9. non-zero coef.......78 MSP*.8...8 8.. 8.898 RMSE....78.89..7 non-zero coef.... 7..78.7 MSP*......7. RMSE...7..7..9 non-zero coef...97.9 8.9..9 MSP*.....87.9.8 Table.. Performance of adaptive lasso with initial estimator from regular lasso for DGP. True AL(lasso) with sigma update AL(lasso) proportion of non zero coef..8.79...9.....9......9..8.79 Davis' lasso coefficients Davis' lasso proportion of non zero coef..78....8..7....7..7......8....8..7..9....78.9..9..8 Figure.. for DGP. The comparison betwen adaptive lasso with initial estimator from regular lasso and Davis method 초기값에대한효과는릿지추정량을제외하고는대부분비슷한성능을보이고있다. 릿지추정량이다중공선성을가지는공변량에대한좋은추정량이기에 VAR모형에서좀더자연스러운추정량이라고생각하였고또한 Zhang (8) 등에서는릿지추정량이다차원시계열의추정에있어서는좋은이론적인성질을가지고있음을보였지만, 이번모의실험에서는릿지추정량이예상만큼좋은성능을보이지는못해추가연구가필요할것으로본다. 이러한 adaptive lasso의좋은성능은그림.에서더쉽게볼수있다. 표본크기 T = 그리고 δ = 에대해서 i.i.d. 가정하의 lasso 추정량을초기값으로사용한 adaptive lasso 추정방법과 Davis () 등에서사용한분산-공분산행렬을고려한 lasso 추정량에대해서추정값에대한결과를요약
8 Sl Gi Lee and Changryong Baek δ sigma update Σ Z = I K al(ols) al(mle) al(lasso) al(ridge) Lasso al Lasso RMSE.9.9.7..8.78. non-zero coef.99.99.7.9 9.99..9 MSP*...7...7.9 RMSE..7.7.7..7.8 non-zero coef 8. 8. 8...9 8.97.8 MSP*.89.9.8.9..78.9 RMSE...7.9...7 non-zero coef 8. 8.7 8...88 8.8.88 MSP*.7. 7.79..78.8 7.7 Table.. Performance of adaptive lasso with initial estimator from regular lasso for DGP. 하였다. 상단왼쪽은참값으로 AR계수의값과영이아닌계수의위치를나타낸다. 그리고상단중간은 adaptive lasso에의해서얻어진추정값들의평균을나타내며, 상단오른쪽패널은영이아닌계수들의빈도수를나타낸다. 아래위치한그림들은 Davis () 등에서사용한분산-공분산행렬을고려한 lasso 추정량에대해서추정값들의평균과영이아닌계수들의빈도수를나타낸다. 하단의그림에서볼수있듯이 lasso 방법의경우 으로추정해야할위치에도영이아닌값으로추정하여과대추정하는경향이있음을확인할수있다. 하지만 adaptive lasso를사용할경우추정량및영이아닌계수의위치모두참값과매우가깝게추정함을알수있다. 두번째 DGP에대한결과는표.와그림.에서찾아볼수있다. 첫번째실험결과와비슷하게 svar(; ) 으로 AR의차수가높은복잡한모형에서도 adaptive lasso가 lasso 방법과비교하여훨씬더좋은성능을보임을확인할수있다. 다만복잡한모형의경우또한노이즈정도인 δ의값이높아질수록 adaptive lasso 뿐만아니라 lasso 방법이좀더희박한모형을찾는것은흥미로운사실로이부분에대한추후연구가필요하다고판단된다... 표본크기에따른성능비교본논문에서고려한 adaptive lasso의성능이표본크기에따라어떻게변화하는지에대해서알아보기위해서본절에서는 adaptive lasso의튜닝모수 γ = 에대해서이노베이션의분산-공분산모수 δ값을 로고정하고, 표본수가,, 으로증가함에따라 adaptive lasso 추정의성능을비교하였다. 표.는 DGP에대한결과이다. 먼저작은표본수인 T = 을비롯한본실험에서고려한모든경우에대해서 adaptive lasso가 lasso 방법을개선시키며그성능또한만족스러움을볼수있다. 또한, 표본의크기가증가함에따라 RMSE를비롯한성능측도가감소하는추세를볼수있다. 또한초기값의추정의경우릿지추정량을제외하고서는그우열을가리기힘드나 i.i.d. 을가정한 lasso 추정량이모든경우에서근소하나마가장좋은성능을보였다. DGP에대한결과는표.에요약되어있다. DGP과같이 adaptive lasso가 lasso 방법보다더좋은결과를주었으며 OLS를이용한초기추정값이가장좋은결과를주었다. DGP과비교하여모형이복잡해짐에따라 RMSE를비롯한성능측도들이감소하는추세를보여주지는못하였지만표본이증가할수록더희박한모형을찾는경향이있었다. 이는 lasso 및 adaptive lasso 모두가지고있는성질로추가연구가필요한흥미로운점으로보인다.
Adaptive Lasso for sparse VAR 9 7 8 9.8.....8..... True 7 8 9.9...9.7..8..8... AL(lasso) with sigma update 7 8 9..9.8.98.9 AL(lasso) proportion of non zero coef. 7 8 9.8.....8.....78..........8. Davis' lasso coefficients 7 8 9..7.9.8.7..7.7.....8...7.77.87.7...8..9...7.9...8....9...9.7......7...7.8.79.7..7.7.8.9..... Davis' lasso proportion of non zero coef. Figure.. The comparison betwen adaptive lasso with initial estimator from regular lasso and Davis method for DGP. T sigma update Σ Z = I K al(ols) al(mle) al(lasso) al(ridge) Lasso al Lasso RMSE...88...8.9 non-zero coef 9.8 9.. 8.78.97.8. MSP*.97..9.787..9.97 RMSE.8.8.77.97... non-zero coef.... 7..9.88 MSP*.7....9.78. RMSE....78.89..7 non-zero coef.... 7..78.7 MSP*......7. Table.. The effect of sample size for DGP with δ =.
Sl Gi Lee and Changryong Baek T sigma update Σ Z = I K al(ols) al(mle) al(lasso) al(ridge) Lasso al Lasso RMSE..9.99.79.97.8.7 non-zero coef.8.8. 7.898 8.7.98. MSP*..9..7.89.8 9.8 RMSE.97...79.8.9. non-zero coef 9.88 9.8 9..88.8.7. MSP*.79.7..9.9.8.9 RMSE..7.7.7..7.8 non-zero coef 8. 8. 8...9 8.97.8 MSP*.89.9.8.9..78.9 Table.. The effect of sample size for DGP with δ =. γ.. sigma update Σ Z = I K al(ols) al(mle) al(lasso) al(ridge) al RMSE.....8 non-zero coef.. 7.98.7 7.8 MSP*.889.9.8.. RMSE...99.9.98 non-zero coef 8. 7.98. 7.. MSP*..8.8..9 RMSE.97.97.97.7.97 non-zero coef..... MSP*....7. RMSE....8. non-zero coef....97. MSP*..... Table.. The effect of tuning parameter γ in adaptive lasso for DGP with δ= and T =. γ.. sigma update Σ Z = I K al(ols) al(mle) al(lasso) al(ridge) al RMSE.7...8. non-zero coef 8.98 8.7..9. MSP*....7. RMSE..7.7.7. non-zero coef 8. 8. 8...9 MSP*.89.9.8.9. RMSE.9.9..9. non-zero coef 7.7 7.7 7.88..8 MSP*.7.787.8..87 RMSE.89.9..97. non-zero coef 7.8 7. 7.8..7 MSP*.8.88.78 7..7 Table.. The effect of tuning parameter γ in adaptive lasso for DGP with δ= and T =.
Adaptive Lasso for sparse VAR.. 튜닝모수 γ에대한성능비교앞의두모의실험결과를통해 adaptive lasso가 lasso 보다더나은성능을보임을알수있었다. 하지만 adaptive lasso 역시튜닝모수인 γ 값에의존하므로적절한튜닝모수를선택하는게중요하다. 따라서분산공분산행렬의의존구도를결정하는모수인 δ 값을 로, 표본크기 T 을 으로고정한뒤, adaptive lasso 가중치항에적용되는튜닝모수인 γ의선택에대한성능차이를비교해보았다. 사용되는튜닝모수는 γ =.,,., 이다. 표.는 DGP에대한결과이다. 먼저분산-공분산행렬을업데이트하지않은 i.i.d. 를가정한 adaptive lasso의경우 γ 값에크게상관없이 RMSE나영이아닌계수의개수를추정함을알수있다. 하지만 adaptive lasso의경우 RMSE에대해서는로버스트한값을주었으나영이아닌모수의개수는 γ의값이증가할수록영이아닌계수의수가감소하여더희박한모형을추정함을알수있다. 특히, γ 값이 이상값을가질때영이아닌계수의평균도실제값인 과가깝고 RMSE와 MSP값도낮아높은성능을보임을알수있으며튜닝모수 γ =, γ =., γ = 로증가하더라도그성능의차이가크지않았다. DGP에대한결과는표.에보고되었다. 여기에서는튜닝모수 γ에대한효과가좀더극명하게나타난다. 먼저 γ값이증가할수록가중치가더커지므로좀더희박한모형을선택하지만반면 RMSE는증가하는경향을보인다. 하지만, 영이아닌계수의개수에비해서 RMSE의변화는그리크지않아희박벡터자기상관모형의추정에서 adaptive lasso의튜닝모수 γ의영향은우려만큼크지않으며대략 γ값이.에서. 사이의값이라면실증자료분석에서충분히좋은결과를제공할것으로보인다.. 결론희박벡터자기회귀모형은매우큰다차원의시계열벡터들간의선형종속관계를연구할때효율적인변수선택방법으로잘알려진모형이다. 본논문에서는희박자기회귀모형의계수추정방법으로서의 adaptive lasso 벌점화에대해알아보고, 기존에계수추정방법으로알려진 lasso와의비교를통해 adaptive lasso를이용한희박자기회귀벡터모형추정성능을알아보았다. 그결과 lasso를이용한희박자기회귀벡터모형추정에서의단점인영이아닌계수를과대추정한다는점이 adaptive lasso를이용하면크게보완됨을모의실험을통해확인했다. 특히, 분산공분산행렬을업데이트하며 adaptive lasso를사용하였을때가장높은성능을보임을모의실험을통해밝혔으며이를위한초기추정값으로는릿지추정량의경우가장낮은성능을보였으며최소자승추정값 (al-ols) 혹은 i.i.d. 가정하의 lasso 추정량 (al-lasso) 가표본크기, 튜닝모수등에대한효과를종합적으로판단했을때가장좋은성능을보였다. 또한, adaptive lasso의튜닝모수인 γ값이증가할수록영에가까운작은계수들에대해가중치가증가하므로더희박한모형을추정하나 γ값에따라매우민감하게변하지는않아대략.에서.사이의범위에서의값의경우충분히좋은성능을제공할것이라본다. References Arnold, A., Liu, Y., and Abe, N. (8). Temporal causal modeling with graphical Granger methods, Proceedings of the th ACM SIGKDD International Coference of Knowledge Discovery and Data Mining. Bernanke, B. S., Boivin, J., and Eliasz, P. (). Measuring the effects of monetary policy: a factoraugmented vector autoregressive (FAVAR) approach. Technical report, National Bureau of Economic Research. Brillinger, D. R. (98). Time Series: Data Analysis and Theory, Volume. SIAM.
Cule E., De Iorio, M. (), Ridge Regression in Prediction problems: automatic choice of the ridge Parameter, Genetic Epidemiology, 7(7), 7 7. Dahlhaus, R. (). Graphical interaction models for multivariate time series. Metrika, (), 7 7. Dahlhaus, R., Eichler, M., and Sandkühler, J. (997). Identification of synaptic connections in neural ensembles by graphical models. Journal of Neuroscience Methods, 77(), 9 7. Davis, R. A., Zang, P., and Zheng, T. (). Sparse vector autoregressive modeling. arxiv:7.. Granger, C. W. (99). Investigating causal relations by econometric models and cross-spectral methods. Econometrica, 7(), 8. Hastie T., Tibshirani, R., Wainwright M. (), Statistical learning with sparsity: the lasso and generalizations, CRC press. Haufe, s., Müller, K. R., Nolte, G., and Krämer, N. (). Sparse causal discovery in multivariate time series. Journal of Machine Learning Research : Workshop and Conference Proceedings,, 97-. Hsu, N.-J., Hung, H.-L., and Chang, Y.-M. (8). Subset selection for vector autoregressive processes using lasso. Computational Statistics & Data Analysis, (7), 7. Huang, J., Ma, S., and Zhang, C.-H.(8). Adaptive lasso for sparse high-dimensional regression models. Statistica Sincia 8(8), 8-8. Lozano, A. C., Abe, N., Liu, Y., and Rosset, S. (9). Grouped graphical Granger modeling for gene expression regulatory networks discovery, Bioinformatics,, -8. Lütkepohl, H. (). New introduction to multiple time series analysis, Springer-Verlag, Berlin. Song, S. and Bickel, P. J. (). Large vector auto regressions, arxiv:.9. Reinsel, G. C. (). Elements of multivariate time series analysis. Springer Science & Business Media. Sims, C. A. (98). Macroeconomics and reality. Econometrica: Journal of the Econometric Society, -8. Valdés-Sosa, P. A., Sánchez-Bornot, J. M., Lage-Castellanos, A., Vega-Hernández, M., Bosch-Bayard, J., Melie-García, L., and Canales-Rodríguez, E. (). Estimating brain functional connectivity with sparse multivariate autoregression. Philosophical Transactions of the Royal Society B,, 99-98. Zou, H. (). Adaptive lasso and Its Oracle Properties. Journal of American Statistical Association,, 8 9.
Adaptive Lasso for sparse VAR Adaptive lasso 를이용한 희박벡터자기회귀모형에서의변수선택 이슬기 a, 백창룡 a a 성균관대학교통계학과 ( 년 월 일접수, 년 월 일수정, 년 월 일채택 ) 요약본논문은다차원의시계열자료분석에서효율적인희박벡터자기회귀모형에서의모수추정에대해서연구한다. 희박벡터자기회귀모형은영에가까운계수를정확이영으로둠으로써희박성을확보한다. 따라서변수선택과모수추정을한꺼번에할수있는 lasso 를이용한방법론을희박벡터자기회귀모형의추정에쓸수있다. 하지만 Davis el al. () 에서는모의실험을통해일반적인 lasso 의경우영이아닌계수를참값보다훨씬더많이찾아희박성에약점이있음을보고하였다. 이에따라본연구는희박벡터자기회귀모형에 adaptive lasso 를이용하면일반 lasso 보다희박성을비롯한전반적인모수의추정이매우유의하게개선됨을보인다. 또한 adaptive lasso 에서쓰이는튜닝모수들에대한선택도아울러논의한다. 주요용어 : 희박벡터자기회귀모형, adaptive lasso, 고차원시계열 이논문은 년도정부 ( 미래창조과학부 ) 의재원으로한국연구재단의지원을받아수행된기초연구사업임 (NRF- RAA). 교신저자 : (-7) 서울특별시종로구성균관로 -, 성균관대학교통계학과, 부교수. E-mail: crbaek@skku.edu