Par II. 다중회귀모형및기본가정의완화 I. 다중회귀모형 A. 다중회귀모형에대한가정 = β+β x + +β x +ε, =,..., ( x ) 관측치의수, 설명변수의수 K-, 추정모수의수 K 개별모수들의의미 : E( ) 예컨대, β = : 다른설명변수들이일정할때, x 의한 x 단위변화에대한종속변수의평균값의변화 즉다른변수들의영향력이통제 (conrol) 된상황에서첫번째설명변수의종속변수에대한영향력을나타내는값임 i. K K E ( ε ) = 0 ( ) i V ( ε ) = V ( ) = E =β +β x + +β x iv. Cov( εi, ε j) = 0 ( i j) K K Cov, = 0, i j v. x 는확률변수가아니며, 다른설명변수 ( 들 ) 의정확한선형함수가아님 ( 즉완전한공선성 (colineari) 가존재하지않음 ) 만일 x 와 x 3 간에정확한선형관계, 즉 x = a+ bx3가성립한다면이들설명변수의종속변수에대한개별적인영향력을추정하는것은불가능함 ( 예 : 고정투입생산함수 ) vi. ε N ( 0, ) ( 경우에따라필요한가정임 ) B. 다중회귀모형 ( 설명변수가두개인경우 ) 에대한최소제곱추정 i. min ( εˆ ) ( b b x b x ) S( b, b, b ) b, b, b3 3 3 3. b = bx b3x3. b = * * * * * * * ( x )( x3 ) ( x 3)( xx3) * * * * ( x)( x3 ) ( xx3), 단 =, x = x x, x = x x * * * 3 3 3 3. b = * * * * * * * ( x 3)( x ) ( x )( x3x) * * * * ( x )( x3 ) ( xx3) 3 9
최소제곱추정량의성질. 불편추정량. 일치추정량 3. 선형추정량 4. BLUE (Gauss-Marov heorem) 5. 기타성질 a. 최소제곱추정에의한회귀직선은 (,, ) b. ε ˆ = 0, ε ˆ x = 0, ε ˆ ˆ = 0 x x 을통과함 3 i 최소제곱추정량의분산. var( b ) = ( ) x x r3 ( ), var( b ) = ( ) x 3 x3 r3 ( ), 단 r 3 = ( x x )( x x ) 3 3 ( x x ) ( x x ) 3 3 x 와 x 3 간의표본상관계수 :. 최소제곱추정량의분산은다음과같을때작아짐 a. 오차항의분산이작을수록 b. 표본의크기가클수록 c. 해당설명변수의값이퍼져있을수록 d. 설명변수간의상관관계가 0에가까울수록 C. 다중회귀모형 ( 설명변수가두개인경우 ) 에대한구간추정및가설검정 i. 가정 vi) N x x e N ~ ( β +β + +βk K), ~ (0, ). b β z = ~ N( 0, ), for =,,, K var ( b ) 오차항의분산을모를경우이를이용할수없음. 오차항의분산에대한불편추정량 a. b. Σεˆ ˆ = K ( K) ˆ χ K 0
3. 이를이용하여최소제곱추정량 b 의표준오차 Var ( b ) 을구함 a. = b var ˆ β ( b ) ~ ( K) 4. 이를이용하여, 단순회귀모형에서와마찬가지로개별모수에대한구간추정량과개별모수에대한가설검정 ( 양측가설, 단측가설 ) 을수행함이러한 검정은개별모수뿐아니라개별모수들의선형결합에대한가설검정에도이용될수있음, 0 3. H0 : ciβ i = c0 H :3β 7β =, ec. cb c i i 0 = ~ ( K) SE ( cibi) i 두개이상의가설을동시에검정하고자하는경우 F 검정을사용, ec. H0 : β =β 3 = 0, H0 : c iβ i = c, ciβ i = c, c3iβ i = c3. F-검정의원리 a. F-검정은귀무가설에의해부과되는모수들에대한제약하에서의회귀모형으로부터의잔차의제곱의합과아무런제약이없을때의잔차의제곱의합을비교하는것에기반함 b. 귀무가설이옳다면두회귀모형으로부터의잔차의차이는없어야할것이며, 두잔차의차이가클수록귀무가설이옳지않은것으로판단할수있음 3. F-검정통계량의구축 a. 귀무가설이참이라는가정하의 ( 제약을부과한 ) 모형에서의잔차의제곱의합을 SSE R (Resriced sum of squared errors) b. 아무런제약이부과되지않은원래의모형에서의잔차의제곱의합을 SSE U (Unresriced sum of squared errors) SSE R - SSE U 0 (Wh?) c. J 를귀무가설에서의가설의수, 즉부과되는제약의수라고하면 SSER SSEU V = ~ χ i. 귀무가설하에서 ( J ) V SSE = χ U ~ ( K) i V 와 V 는확률적으로독립임
d. 따라서귀무가설하에서 F = = ( ) ( R U) ( ) V J SSE SSE J V K SSE K U F J, K 4. F-검정 a. 대립가설하에서이렇게계산되는 F값은커질것임 (F 검정은항상기각역이우측꼬리에놓이는검정임 ) < 그림 > F 검정 b. 귀무가설의가설이하나일경우 ( 즉제약이하나일경우 ) 검정과 F 검정의결과는같음 = F c. 모형의유의성검정 i. H0 : β = 0, β 3 = 0,, β K = 0 H : a leas one of he β is nonzero F = ( SSER SSEU) ( K ) SSE ( K ) U F J, K D. 제한최소제곱추정 (Resriced LS) i. 어떤생산과정이 CRS 인 Cobb-Douglas 형태라고알려져있음 log =β +β log x +β log x +ε 에서 β +β 3 =. 3 3 정보를이용하여추정 a. log x x = β+β 3 x +ε 3. 제한최소제곱추정량의성질 = β+β x +ε 이라는비표본
a. 부과한제약이옳지않다면추정량은 bias 됨 (cos) b. 그분산은원래의모형에대한추정량의분산에비해작아짐 (benefi) E. 모형의설정 (Model Specificaion) i. 변수의누락. rue model: W = β+β E +β 3M +ε ( 임금, 경험, 동기부여 ). Esimae W =β +β E +ε a. 적절한변수의누락은모형에대한잘못된제약부과와같음 i i. β 3 = 0 이라는제약이옳지않음에도불구하고이를부과함 추정량의편향및분산의축소를낳게됨 관련없는변수의포함. rue model: W = β+β E +β 3M +ε. Esimae W =β +β E +β 3M +β 4C +ε ( 자녀의수 ) a. 사실 β 4 = 0 i. 관련없는변수의포함은추정량의불편성에영향을주지는 않음 원래모형에대한추정량에비해분산의크기가커짐 공선성 (Colineari) 의문제. 설명변수혹인독립변수들상호간에상관관계가존재할수있음 a. 특히통제되지않는자료의경우이러한상관관계를통제할수없 으며, 각변수의영향력을분리해내는데문제가발생할수있음. 공선성의효과 a. 완전한공선성의경우최소제곱추정결과를얻을수없음 b. 높은공선성은표준오차를크게하고따라서신뢰구간을넓힘 c. 이는높은결정계수값과유의성있는 F 값에도불구하고개별 값은유의성이없는것으로나타내게함 d. 몇몇관측치또는유의성없는변수의삭제또는포함에결과가 매우민감하게변함 3. 공선성의판단 a. 두설명변수간의높은상관관계 (0.8 또는 0.9 이상 ) b. 한설명변수를나머지설명변수들에대해회귀분석시높은결정계 수의값 (0.8 이상 ) c. 개별 값들의통계적유의성이없음에도유의성있는 F값 4. 공선성의완화 a. 자료의추가적확보 b. 적절한경제적또는통계적제약의부과 3
II. 기본적가정들의완화 A. 이분산성 (Heerosedasici) i. 동분산성과이분산성 < 그림 > 동분산성과이분산성 Var ε. ( ) =. 이분산성하의최소제곱추정량 a. 선형추정량, 불편추정량 b. 더이상 BLUE 가아님 ( 유효성이떨어짐 ) c. 통상적표준오차에대한공식은잘못된것임 ( 그에기반한신뢰구 간이나가설검정역시오류 ) i. 단순선형회귀모형에서. V ( b ). V ( b ) = ( x x ) Whie 의표준오차 ( x x ) = ( x x) εˆ ( x ). ( ) x V b = ( x x) : 잘못된공식 : 정확한공식. 대표본하에서적절일반화된최소제곱추정 (Generalized LS Esimaion). 두가지유형의이분산성 V ( b ) Var ε = = x a. 비례적이분산성 : ( ) 4
b. 분할된이분산성 : ( ) Var ε = =.,, = ( ). 이분산성하의유효추정 (Efficien Esimaion) a. 비례적이분산성 x ε =β +β + x x x x i.. 즉, x. Var ε = =, oherwise 을가중치로변수들을변환 = β x +β x +ε 동분산성 가중최소제곱추정 (Weighed LS). 이분산성에비례적인변수를결정. 원래모형을그변수의제곱근의값으로나누어줌 3. 변형된모형에최소제곱추정을적용 ( 상수항없음 ) b. 분할된이분산성 x ε =β +β + =,, i. ε var = x ε =β +β + = +,, ε var = i 와 를모름 ˆ 와 ˆ 를각각,, = 및 = +,, 의표본으로부터추정하여사용 3. 이분산성의탐지- Goldfeld-Quand es i. 비례적이분산성의경우비례하는변수를판별하여그변수의크기대로자료를 soring 함 자료를, 의표본크기를갖는두개의그룹 ( 비례적이분 산성의경우중간부분은버림 ) 으로나누어양그룹의분산의크기가같은가에대한가설을검정. H : =, 0 H : >. ˆ GQ = F ˆ K, K 3. 높은 GQ 값에대해귀무가설을기각함 5
B. 자기상관 (Auocorrelaion) i. 자기상관의본질. 자기상관이란오차항에존재하는체계적인패턴의한형태 a. 양의자기상관 : 현재의오차항이이전의오차항과같은부호를갖는경향이있는경우 b. 음의자기상관 : 현재의오차항이이전의오차항과다른부호를갖는경향이있는경우 ( 경제자료에서는매우드묾 ) < 그림 > 자기상관 차자기상관모형 (AR()) =β +β x +ε, ε =ρε + v,. a. Ev ( ) = 0, var( v ) =, cov( v, v ) = 0, s, <ρ< v s. ε = v +ρ v +ρ v +ρ v +, 3 3 i iv. 3. E( ε ) = 0, var( ) e v cov ε, ε = ρ, > 0 ε = = ρ, ( ) e 자기상관존재시최소제곱추정량. 불편추정량, 선형추정량그러나유효추정량은아님. 통상적표준오차에대한공식은잘못된것임 ( 그에기반한신뢰구간이나가설검정역시오류 ) 일반화된최소제곱추정 (GLS). 변형 =β +β x +ε, ε =ρε + v =β +β x +ρε +ν a. b. 6
c. x ( x ) = β + β + ρ β β +ν d. ( ) ( x x ) ρ = β ρ + β ρ +ν =β x +β x +ν, =,3, e.. 두가지문제점 a. 변형과정에서관측치하나가줄어듦 =β + xβ +ε 를그대로추가하는것은이분산성의문제 i. 가발생 ( var( e ) = e =v ( ρ ) ρ = ρ β + ρ xβ + ρ ε 를추가 = x β+ x β+ε. b. 자기상관계수 (ρ) 의값을모름 i. ε =ρε + v : ε 를안다면회귀분석에의해 ρ를추정 ε ˆ = b bx ε ˆ ˆ =ρε + v i ρ= ˆ = = v. 자기상관의탐지. Durbin-Wason es εˆˆ ε εˆ a. H : ρ= 0 0, H : ρ > 0 b. d = = ( ε ε ˆ ˆ ) = εˆ c. ( ˆ ) d ρ ρ ˆ = 0 일때 d, ρ ˆ = 일때 d 0 d. DW 검정통계량의분포는설명변수의값에의존 i. 표에서 d L,. Lagrange Muliplier es (LM es) =β +β x +ρε +ν =β +β x +ρε ˆ +ν a. b. du 를구할수있으며이를이용 7
vi. c. 검정또는 F검정을통해 εˆ 에대한유의성을검정 d. LM es 는대표본에서유효, 차자기상관뿐아니라고차자기 상관에대한탐지에도사용가능 자기상관존재시예측. 자기상관이존재하는경우이전의오차가다음기의오차를예측하는데도움이되며, 이정보를이용하는것이최선의예측방법임 =β ˆ +β ˆ x +ρ ˆe, βˆ ˆ, β 는일반화된최소제곱추정량,. ˆ + + e = βˆ βˆ x 3. h 기후의예측 : ˆ ˆ h ˆ ˆ + = β+β x + +ρ e h h 8
C. 확률변수인설명변수 i. 새로운단순선형모형에대한기본가정. 기본가정 =β +β x +ε, =,..., a. x,,..., b. (, ) = 는확률표본 ( 각쌍은동일하고독립적인분포 ) c. E( ε x) = 0 V ε x = d. ( ) e. x 는적어도두개의다른값을가져야한다. f. ε x N( 0, ). 이러한완화된가정하의최소제곱추정량 a. a-e 까지의가정하에서최소제곱추정량은 BLUE ( 소표본성질 ) b. a-f 까지의가정하에서최소제곱추정량은 x 에조건부정규분포를 하며그분산역시통상적인방법으로계산되며그에근거한구간 추정이나가설검정역시유효함 ( 소표본성질 ) c. a-e 까지의가정하에서최소제곱추정량은일치추정량 ( 대표본성질 ) 3. 가정 c을좀더약한다음의가정으로대체 a. 가정 c : E ( ε ) = 0, ( ) i. E( x) 0 Cov x, ε = 0 ε = 이면 E ( ε ) = 0, ( ) Cov x, ε = 0 이나그역은성 립하지않음 이경우최소제곱추정량의소표본성질은더이상성립하지않음 i 최소제곱추정량은대표본에서정규분포로근사할수있음 iv. 대표본하에서통상적인구간추정이나가설검정은유효함 4. 가정 c 가위배될경우, 특히설명변수와오차항간에상관되어있을경우 a. 최소제곱추정량은일치추정량이되지못함 b. 통상적구간추정이나가설검정은유효하지못함 c. 즉, 설명변수가확률변수로간주되는경우, 설명변수와오차항간의상관관계가최소제곱추정법적용의적절함을판단함에있어서결정적임 9
설명변수가오차항과상관되어있을경우. 변수오차 (Errors in Variables) 의경우 : 설명변수가오차를가지고측정될경우 a. =β +β x +ε ( 임금, 능력-측정이어려움 ) * b. x = x + u ( 표준화된시험점수 : 대용변수 (prox variable)) * * E( u ) = 0, ( ) u c. ( ) Cov u, u = 0, u ε V u =, ( i j) =β +β x u +ε =β +β x +ε β u =β +β x +η d. x 는확률변수이며이회귀식에대한최소제곱추정은비일치추정을낳게됨 * * ( x η ) = E( xη ) = E ( x + u )( ε β u ) cov, = E β = β 0 ( u ) u. 연립방정식의경우 : 설명변수가동시성 (Simulanei) 을가짐 C =β +β Y +ε ( 케인지안소비함수 ) a. b. Y C I = + ( 소득항등식 ) c. C, Y 는모두내생변수로서시스템에서동시에결정됨 d. 소비함수에대한최소제곱추정은비일치추정을낳게됨 * ( Y ε ) = E ( C + I) ε E ( Y ) cov, = β+β +ε ε 0 i 적률방법에의한추정 (Mehod of Momen Esimaion) : 일치추정량을제공. 수학적적률과표본적률을등치시킴으로써모수의추정량을얻는방법 a. E( Y ) =µ : 확률변수 Y 의 번째 ( 수학적 ) 적률 b. ˆ ( ) E Y =µ ˆ = : 확률변수 Y의 번째표본적률 = 3. 단순회귀모형에서의적률방법추정 a. E( ) E( x ) ε = 0 β β = 0 : 적률조건 b. E( x ) E x ( x ) ε = 0 β β = 0 : 적률조건 (x 가 0
c. 확률변수가아니거나, 확률변수라해도가정 c 를만족 ) ( b b x ) = 0 ( ) x b b x = 0 4. x 가확률변수이고오차항과상관되어있을경우 a. ( ) 최소제곱추정량과동일한결과 Cov z, ε = 0을만족하는다른변수 (insrumenal variable, 도구변 수또는수단변수라부름 ) z 를찾음 ( 도구변수추정법 ) b. E( ) E( x ) ε = 0 β β = 0 : 적률조건 c. E( z ) E z ( x ) d. e. ε = 0 β β = 0 : 적률조건 ( b b x ) = 0 ( ) z b b x = 0 ( )( ) ( )( ) ˆ z z z z β = = z x z x z z x x β ˆ = βˆ x 5. 적률방법추정량의성질 a. 일치추정량, b. 대표본하에서정규분포를함 βˆ ~ N β, ( ) x x rzx * r zx : z 와 x간의표본상관의제곱 * x 와높은상관을가지는도구변수가바람직함을나타냄 c. 오차항의분산은다음과같이추정함 * ˆ = IV ( ˆ ˆ ) β βx 6. 단계최소제곱추정량 : 도구변수가필요한것보다많을경우 a. z 외에 w도도구변수로역할을함 b. 다음의 단계를통해적절한적률방법추정량을얻을수있음
i. x 를상수항, z, w 에회귀하여예측치 ˆx 를얻음 이예측치 ˆx 를 x 에대한도구변수로사용하여추정량을얻 음 i ( )( ) ( xˆ ˆ x)( x x) ( )( ) ( xˆ x)( x x) xˆ ˆ x ˆ ˆ x x β = = β ˆ = βˆ x iv. iv. 여기서예측치 ˆx 를설명변수로사용하여추정량을얻을수도있음 ( 단계최소제곱추정법 ) c. 대표본하에서 var ( ˆ ) β = ( x x ) ˆ, ˆ = 설명변수와오차항간의상관의탐지 : Hausman es IV ( ˆ ˆ ) β βx. H : Cov 0 ( x, ε ) = 0, ( ) H : Cov x, ε 0. 귀무가설하에서최소제곱추정량과도구변수추정량모두일치추정량 = β ˆ 0 a. 귀무가설하에서 q ( b ols IV ) q= b β ˆ c 0 b. 대립가설하에서 ( ols IV ) c. Davidson and Macinnon i. 오차항과의상관이의심되는 x 를도구변수 z 와 z 에대해 회귀하여얻은잔차를 νˆ 라할때, 이를원래의회귀식에설 명변수로포함시킴 ˆ i = β+β x +δ v +ε : 이회귀결과로부터잔차 ˆ 대한유의성검정으로부터가설검정을수행 ν 에 x 와오차항간에상관이있다면오차항과상관없는도구변 수들에의해설명되고남는부분 ( ν ˆ ) 이오차항과상관될것이 고 δ 0일것임