설명변수가 개이상인경우이를다중회귀라한다. 물론종속변수는하나이다. 종속변수가하나이상인회귀모형을 Simulteous Equtio( 연립방정식모형 ) 이라한다. 설명변수가 개존재하는경우선형다중회귀모형을다음과같다. Y i α + βx i + βxi +... + β Xi + ei i,,..., ( 모형 ), --- () α, β, β,..., β X 는회귀계수이고 i, Xi,..., Xi 는 determiistic( 알려져있다 ). e i iid Norml(, σ ) ( 가정 ) ~ [ 단순회귀가정과동일하다 ] 다중회귀모형을간편하게분석하기위해서는행렬의개념이필요하다. 식 () 을행렬로표현 Y X Y X Y X X X X X α e β X e β + X e β X β Y X ( + ) β + e ( + ) --- () 회귀분석에서 ( +) 데이터행렬, ( + ) 계수벡터라한다. 행렬에대한개념을이해하기위하여단순회귀모형을행렬로표현하여보자. Y α + βx + e i,,..., 단순회귀모형 i i i, 을식 () 와같이행렬로표현하자. X.........ij...... 간편식 {X ij } 차수 인행렬, 차수 ( ) 인행렬 열의차수가 인행렬을열벡터 (colum vector) 행의차수가 인행렬을행벡터 (row vector) 일반적으로벡터라함은열벡터를의미한다. - 첨자 i 는행, j 는열을나타냄. 행의차수, 열의
행과열의차수모두가 인경우행렬은 sclr ( 스칼라 ) 이다. 즉 -, 등의실수는행렬에서는스칼라라한다. 열벡터 :... 행벡터 : ' [... ] 행렬을열벡터로표현 X [... ] 행과열의차수가같은행렬 ( 즉 ) 을정방행렬 (squre mtri)...... X... ij...... X -> 다음은차수 인정방행렬의예 () 정방행렬에서대각선에위치한행렬을대각원소 (digol elemet) 대각행렬의대각원소의합을 trce( 대각합 ) 라하고 trce(a), tr(a) 라표시 행렬 () 의대각원소는 (,, ) 이고대각합은 tr(a) 5 Squre Mtri 에서대각원소 (digol elemet) 를제외한다른원소는모두 인행렬을대각행렬 (Digol Mtri) 라하고다음과같이표시...... D... kk...... -> 차수 인대각행렬 D trce( D) + +
Squre Mtri 에서대각원소 (digol elemet) 가모두 이고다른원소는모두 인행렬을 항등행렬 (Idetity Mtri) 라하고라표시한다. 항등행렬은 lgebr( 대수 ) 의곱에서 의역할과동일하다. mtri lgebr의역수의개념은역행렬 (iverse mtri) 이며정방행렬 A 에대해 AA A A I 가성립하는 A 을역행렬이라한다. 차수 인항등행렬이다. I I 차수 () 인행렬...... X...ij...... X 간편기호 { ij } i,,..., j,,..., for, k... 차수 k인 ( 열 ) 벡터 k -> 일반적으로벡터라함은열벡터를의미한다. 행의원소를열로보내고열의원소를행으로보내어만들어진행렬을전치행렬 (trsose mtri) 라하고이과정을전치 (trsose) 라하다. X 행렬 X 의전치행렬은 이고차수는 (X) 이다. X { 간편기호 : ji } A { } { ji}, ij...... X '... ji... X - 회귀분석데이터행렬 X 의전치행렬 을구하면... 5 X - 5 의전치행렬 X X ' 을구하면
- 열벡터 의전치는행벡터 [ ] 이다. ( 대칭행렬 ) 행렬과전치행렬이동일한행렬을대칭행렬 (symmetric mtri) 이라한다. 대칭행렬이되려면반드시 squre mtri 이어야한다. X 은대칭행렬이다. idetity( 항등 ) mtri 와 digol( 대각 ) mtri 도대칭행렬이다. ( 대각합 ) Trce - 정방행렬의대각원소의합을행렬의 TRACE라한다. 기호는 tr(x ) 로나타낸다. X 의 tr( A) + + 5 행렬의합을구하는경우두행렬의차수는동일해야하며 (coformble for dditio: 합연산적합 ) 각행렬에서대응하는원소들의합을그위치에적으면된다. 행렬 A, B 에대해 A+B 를구하시오. 5 A B A + B, - > 8 벡터 A, B 에대해 A+B 를구하시오. ( 합의성질 )... b b... b + + b b...... b... b + b + b... A + + + B { ij} { bij }...ij......bij...... + b + b...... b b... b b + b, > 8 ( A + B) A + B 단, 행렬A, B는합의연산이적합 (coformble), 즉차수는동일 tr ( A + B) tr( A) + tr( B) 단, 행렬 A와 B은차수가같은정방행렬이다.
( 동일행렬 ) Equlity 행렬 A, B 의차수가같고대응원소들이모두같을때행렬 A, B 는같다고한다. for ll i, j ( 영행렬 ) Null mtri ( 정의 ) 원소가모두 인행렬을 Null mtri( 영행렬 ) 라한다. ( 예제 ) 두벡터를곱하기위하여 ( 열벡터 )( 행벡터 ), ( 행벡터 )( 열벡터 ) 만가능하다. 이는곱의 coformble( 적합 ) 조건때문이다. 행렬에서곱의 coformble( 적합 ) 조건은앞행렬 ( 벡터 ) 의열의차수와뒤행렬행의차수가동일해야한다. 곱의결과는 ( 앞행렬의행차수 )( 뒤행렬의열의차수 ) 인행렬 ( 벡터, 스칼라 ) 이다. [i 번째행 ][j 번째열 ][(i, j) 원소 ] ( 행벡터 )( 열벡터 ) 벡터의곱은앞벡터의열의원소와대응하는뒤벡터의행의원소의곱을더한값을적으면된다. 곱이가능하기위해서는앞행의차수와열의차수는같아야하며행벡터 ( 행렬 ) 와열벡터 ( 행렬 ) 곱은 sclr( 행렬 ) 이다. > 결과값은스칼라 (sclr) ( 열벡터 )( 행벡터 ) 열벡터열원소와행벡터의행원소의곱을 ( 앞의열벡터원소위치 ) 행, ( 뒤의행벡터원수위치 ) 열로하여행렬을만든다. 앞의열벡터와차수와뒤열벡터차수는같을필요가없다. 결과는 () 행렬이다. > 결과값은행렬 - 다음벡터들에대해곱을계산하시오 } { } { ij ij b B A [ ] + + + ' ( i i i [ ] ' ' (
,, > 와를구하시오, - 벡터앞에스칼라를곱하면 ( 벡터 ) 와 ( 행렬 ) 의곱벡터가행렬을곱하기위해서는앞의벡터나행렬의열의수와뒤벡터혹은행렬의행의수와일치 (coformble for roduct) 해야하며다음과같다. 벡터와행렬 > 이면혹은의곱은존재하지않는다. (No-coformble) -, > -, > - ( 행렬의곱 ) 행렬, 가정해보자. 이를간편기호로표현하면 b b [ ] + + ' ( [ ] ( 8 b 6 ij............... X [ ] i ij i ij............... X ' ( ) } { X X - X [ ] [ ] - ' X - X [ ] 7 - X 9 6 X ij............ A... q ij q q q... b b b......b... b b b... b b b B k kj ik ij b P AB } {
AB 결과는 (q) 행렬이다. BA는 q일때만곱연산이가능하고결과는 (m) 이다. 일반적으로 AB BA 이다. (BA의연산이성립하더라도 ) ( AB ) B A 이성립한다. ( 단곱의연산이적합한경우가능하다 ) tr ( AB) tr( BA) 두행렬의곱을구하시오. A B A' B B' A, È i 회귀모형에서 e 을 HOMEWORK5-의벡터 e 로표현하시오. Associte lw ( 결합법칙 ) ( A + B) + C A + ( B + C), ( AB ) C A( BC) ABC Distributio lw ( 배분법칙 ) Commuictio lw ( 교환법칙 ) A ( B + C) AB + AC ( A + B) B + A M MM M 이면행렬 M 은 Idemotet 행렬이다. ' o A A' ( ij ji ) 이면행렬 A는대칭 (symmetric) 행렬이다. oa, B가대칭행렬이면 ( AB ) B A BA o X X, X X 은항상대칭행렬이다. ( 행렬 X는회귀모형의데이터행렬 ) kj tr( X X ) o j k 회귀모형자료행렬 X 에대해 X X, X X 이대칭행렬임을보이시오.
e i I e... i ei 항등행렬을 i 표현할경우 (i번째원소만 ) 를 elemetry( 기초 ) 벡터 '...... J......... Y Y i 평균 을 이용하여표현하시오. A A A A I 이면행렬 A 는직교 (orthogol) 행렬이다. 행렬의나누기연산이바로역행렬이고정방행렬일경우만역행렬을구할수있다. 7 A 차수가 일경우 : 행렬 6 의행렬식은 A 7 6 (sclr이다.) 차수가 일경우 : A 8 5 7 9 의행렬식은 A *( ) + 5 7 9 + *( )+ 7 8 + *( )+ 5 8 9 7 ( 번째행이용 )
A *( ) + 9 + 5 *( )+ 8 + 7 *( )+ 8 9 7 ( 번째행이용 ) 번째행도동일하게계산가능, 모두 7 의결과이다. 열도동일하게하면된다. i j 이를확장하면차수 의행렬의행렬식은이다. M ij i+ j ( ) Mij 를 mior 행렬 ( 소행렬 ) 이라하고를 cofctor( 여인수 ) 라한다. ( 간편계산식 ) i+ j A ij ( ) Mij i+ j ij ( ) Mij A 초록색을곱행렬식값 7이다 5 7 8 9 5 8 9 하여합, 검은실선은곱하여음으로하여합하면 ( 행렬식성질 ) o A A, AB A B, AB BA o 행렬 A 의두행이같으면행렬식은 이다. o 한행 ( 열 ) 의상수를곱하여다른행에더해도행렬식값은변하지않는다. o 한행 ( 열 ) 을다른행들의선형결합으로표현할수있으면행렬식의값은 이다. ( 회귀분석에서는완벽한다중공선성 ) 다음을증명하시오. ( 위의행렬식성질첫번째를이용 ) ) 만약행렬 A가 ORTHOGONAL이면 A ± ) 만약행렬 A가 IDEMPOTENT이면 A 는 혹은 이다. 정방행렬 A에서 AB BA I 를만족하는행렬 B를 A의역행렬이라하고 A 로표 Adjcet 수반행렬 : dj(a) (i, j) 셀의경우 i행, j열을삭제한행렬에 ( ) i+ j 을곱한것 A dja A A [dj(a) 는 A 원소를 cofctor 로대치 ] 간단한예를들어설명
( 5 A A 8 5 ' 9 > (행, 열 ) 에는 행과 열을제외하고남은 9에 ( ) + 을곱하여적으면된다. (행,열) 에는 행과 열을제외한 5에 ( ) + 곱하여 9-5 - 5/ A 그러므로, 역행렬은 - - /. ( 활용 : 연립방정식 ) u v w 5 u + v w u w > 행렬로표시하면 연립방정식의해는이다. 행렬 A 의역행렬만구하면해를구할수있다. - u 5 A b - v - w A A A b I A b A b 역행렬이존재하려면 ) 정방행렬이고 ) 행렬식이 이아니어야한다. ( 역행렬성질 ) o 역행렬은 uique 하다. A / A ( A ) A ( A ) ( A ) o,,, ( AB ) B A 행렬의계수 (rk) 는행렬에서선형독립인행 ( 그리고열 ) 의수, rk(a) 정의 (LIN: lierly ideedet vector) i 일때만만족한다면열벡터 i + +... + 가성립하려면모든,..., 는선형독립 (lierly ideedet) 벡터라 하고, 이아닌에대해서만족한다면선형종속 (lierly deedet) 인벡터라한다. 상호종속인벡터는하나의벡터를다른벡터들의선형결합으로표시할수있다는것을의미한다. 정의 (full rk) () 정방행렬에서선형독립인행 ( 열 ) 의개수 ( rk ( A ) rk( A) ) 가행렬의차수 와같다면이행렬은 full-rk 행렬이라한다. 즉 이면 full-rk이다. A 행렬 대해다음과같다.
역행렬이존재한다. FULL-RANK 이다. RANK(A)N A 는 NON-SINGULAR 이다. A AXB 의해가존재한다. 역행렬이존재하지않는다 FULL-RANK 아니다. RANK(A)<N A 는 SINGULAR 이다. A AXB 의해가존재하지않는다. 상수벡터, 확률변수벡터라하면 ( ) ( ) () () ( A) A + A () (A 는정방행렬 ) > 만약 A 가대칭행렬이면 ( A) A 확률변수벡터, 개별확률변수 i ~ (µ i,σ ii ) 이고 Cov( i, j ) σ ij 이라하자. σ µ σ σ σ () E() µ... () V() Σ σ σ ( 만약확률변수가서로독 µ σ σ σ 립이면 σ ij 이므로대각원소를제외하고다른셀은 인대각행렬 ) 행렬 A에대하여 () E(A) Aµ () V(A) AΣ A
데이터확률표본 i ~ iid(µ,σ ) 의표본평균 을행렬로표현하고평균과분산을구하시오. i (/ )' (/ )( ) E() E((/ ) ) (/ ) E() (/ )()E V() V( ) V() σ... σ... σ σ (/ )() µ µ µ µ whe ~ (µ,σ), 를상수열벡터라하면 ' ~ ('µ,'σ) Y X β + e e ~ Norml(, σ I ) 모형, 가정 E(y) E(Xβ + e) Xβ + E(e) Xβ,V(y) V(Xβ + e) V(e) σ I > y ~ N(Xβ,σ I ) mi e i β mi β e e miq mi(y Xβ ) (y Xβ) mi(y y y Xβ β X y + β X Xβ) β β β Q β X y X y + ( X X) ˆβ > 만약 (X X) 의역행렬이존재하면 ˆβ (X ' X) X 'y
적합치 fitted vlue : ŷ X ˆβ X(X ' X) X 'y Ht 행렬 H X(X ' X) X ' ( 멱등행렬임, HH H ) > ŷ H y 잔차 residul : r ê y ŷ y H y (I H )y 잔차의분포 : E(ê) E((I H )y) (I H )Xβ 그리고정규분포의선형결 V(ê) V((I H )y) (I H )σ (I H )' σ (I H ) 합이므로잔차는 ê ~ (,σ I ) y Xβ + e H y + (I H )y H y + M y ( 모형설명부분 )+( 설명못하는부분 ) 높이를최소화하는 X-le 찾는방법이 OLS 추정치 ˆβ H y, ( 가정으로부터 y ~ N(Xβ,σ I ) ) -> 정규분포 y 의선형결합이므로정규분포 E( ˆβ) E(H y) HE(y) HXβ β V( ˆβ) V(H y) HV(y)H ' σ (X ' X) > ˆβ SSE ~ N(β,σ (X ' X) ), s (β) (X ' X) ( ) ˆβ k β k s( ˆβ) ~ t( )
SST ( Y Y Y Y i) ( i ) i SST Y Y Y Y Y Y Y JY, y'(i J)y y'(n)y 오차변동 : SSE ê'e [(I H )y]'[(i H )y] y'(i H )y 회귀변동 : SSR y'(h J)y SSE 그리고 E(SSE) σ ( ) 이므로오차항의분산 σ 추정치는 σˆ SSE 는정규분포 동일하게 SSR 도정규분포 y 의이차형식이므로 y 의이차형식이므로 SSE σ ~ χ ( ) SSR σ ~ χ () u v w 5 u + v w u w PRINT X A; 사용하면행렬 X 와 A 가화면출력된다. PROC IML; 다음문장으로 RESET PRINT; 사용하면모든결과들이출력된다.
설명변수가 개인회귀모형 ( y i α + βi + ei IML 을이용하여다음을계산하시오. 프로그램첨부. Y X β + e () 형태의행렬로나타내시오. () 다음을구하시오. ) 에서아래와같이 5 개의관측치를얻었다. SAS/ βˆ Y (A)OLS 추정치를를계산하시오. (B) 추정치 ˆ X βˆ 를계산하시오. r eˆ Y Yˆ (C) 잔차를구하시오. (D) SST SSE, SSR 을계산하고 R 을계산하시오., (E) X.5 Ŷ 일때예측치 ( h ) 를구하시오. y 5 9 6 5 다음을 SAS/IML 을이용하여계산하시오. 6 A B, - -, -, y - ) AB ) A B ) ( A + A ) B ) B B 5) B B 6) tr ( BB ) A 7) tr ( B B) 8) B B 9) B B ) 9 (SAS 함수 ) 행렬 A의 TRACE는 TRACE(A), 행렬식은 DET(A) 이다.
u v w 5 u + v w u w I 행렬은 dig() 함수에의해자동행렬형식 그러나 re(,5) 은값의오브젝트이므로행렬로만들어주는 s.mtri() 함수를사용해야한다.