제 강통계학 Revew Part I. 확률론 (Probablty Theory) I. 확률변수 (Radom Varable) 와확률분포 A. 확률변수 는표본공간 Ω 상에서정의되는 real valued fucto 임. 어떤확률적실험의결과로나올수있는모든가능한결과에대해어떤. 실수값이대응되어야함 하나의실험에대해여러가지의확률변수가정의될수있음. 주사위던지는실험 : 던진결과나오는값을대응시켜주는확률변수 짝수는 홀수는 을대응시켜주는확률변수 Y 등등 B. 확률 ( 밀도 ) 함수 (Probablty (desty) Fucto). 확률함수 : 확률변수 가취하는값이이산적 (dscrete) 인경우 가취하는. 각값에대해취하는확률을대응시켜주는함수 확률밀도함수 : 확률변수 가취하는값이연속적 (cotuous) 한경우 가 P I f x dx 로주어질 취하는값이 I 라는구간에속할확률이 때 f( x) 를확률밀도함수라함 C. ( 누적 ) 분포함수 ((Cumulatve) Dstrbuto Fucto): 확률변수 의분포함수 : F( x) P( x) D. 결합확률 ( 밀도 ) 함수 (Jot Probablty (desty) Fucto):. 두개의확률변수 Y 가이산적이경우결합확률함수는 ( ) ( ) f x y P x Y y 와같이주어지며 xy j j. 두개의확률변수 Y 가연속적이경우결합확률밀도함수 f ( ) (( ) ) xy ( ) P Y D f x y dxdy 와같이주어진다. D E. 한계확률 ( 밀도 ) 함수 (Margal Probablty (desty) Fucto) f x f x y... : 의한계확률함수. x xy j. ( ) j f x f x y dy : 의한계확률밀도함수 x xy I xy xy 는
F. 조건부확률 ( 밀도 ) 함수 (Codtoal Probablty (desty) Fucto). 이산적인경우 : Y yj 로주어졌을때 의조건부확률함수는 ( ) ( ) P x Y yj fxy x yj fxy x yj fxy ( x yj) P( x Y yj) PY y f y f x y 와같이주어짐 j y j xy j. 연속적인경우 : Y y 로주어졌을때 의조건부확률밀도함수 f xy ( x y) ( ) fxy xy fxy xy 와같이주어짐 fy y f x y dx G. 수학적기대값 (Mathematcal Expectato). g 가확률변수 의함수라고할때 적인경우 ) E ( g ). g xy g( x) f ( x) dx ( 연속적인경우 ) E g gx ( ) f( x) ( 이산 일때 E 를확률변수 의평균 ( 보통 표기 ) 이라하고. g ( E ) 일때 V E E 수 의분산 ( 보통 σ 또는 σ 로표기 ) 이라고함 µ 또는 µ 로 을확률변 a. σ V : 의표준편차 (tadard Devato). g( Y ) 가확률변수 Y 의함수라고할때 E g( Y) g( x y ) f( x y ) ( 이산적인경우 ) j j j E g( Y ) g( x y) f ( x y) dxdy ( 연속적인경우 ). g( Y) ( µ )( Y µ ) 일때 ( µ )( Y µ ) Y E Y Y 의공분산 (Covarace) 이라고함 ( Cov( Y ) 로표기 ) 를 와
. 수학적기대값와관련된사항몇가지. V E [ E ] Cov( Y ) E( Y ) E ( ) E ( Y ). E( c) c V ( c ) c 가상수일때 3. E ( a + by + c) ae ( ) + be ( Y ) + c V a + by + c a V + b V Y + abcov( Y ) (a b c 는상 수 ) V a a a Cov j Cov( ) V ( ) 4. E a ae( ) 5. ρ Y j ( j) coeffcet) Cov( Y ) V VY a 는상수 단 : 확률변수 Y 간의상관계수 (correlato H. 확률적독립 (tochastc Idepedece). 일반적으로 개의확률변수... 가서로확률적으로독립 (mutually tochastcally Idepedet) 이라는것은각확률변수의한계확률 ( 밀 도 ) 함수를 f( x) f( x)... f( x) 이라고할때... 의결합확 률밀도함수가 f ( x x... x ) f ( x ) f ( x )... f ( x ) f ( x ) Π 와. 같이한계확률밀도함수의곱으로나타나는경우로정의된다. 확률적독립과관련된몇가지사항. 확률변수... 가서로확률적으로독립일경우 Π Π ( ) ex.) E E E( ) a. E u ( ) E u ( ) Cov ρ ( 그러나이경우逆은일반적으로 b. j j 성립하지않는다 ) ex) V ( ± ) V ( ) ( + V ) c. Var a a V ( ) 3
II. 이산적확률분포들 (Dscrete Probablty Dstrbutos) A. 베르누이실험 (Beroull Expermet) : 가능한결과가오직두가지로만나타나는실험 ( 편의상그두가지결과중하나를성공 () 로나머지하나를실패 (F) 로명명.. 확률변수 를한번의베르누이실험에서나오는성공의횟수라고하고 성공의확률을 p 라고하면 의확률분포는다음과같다.. P( ) p P p q 또는 f pq. E ( ) p V ( ) pq 확률분포명및표기 Bomal 분포 ( 이항분포 ) 확률변수확률함수평균 분산기타 N 번의독립적베르누이실험시 성공의횟수 N N f pq... N E( ) Np V ( ) Npq B(p) Posso 분포 P(λ) λt ψ Multom al 분포 시간당 ψ 의비율로물고기가잡힐때 T 시간동안잡힐물고기의수 이충분히크고 p 가충분히작은값일때 B (p) 는 P (p) 로근사 각실험이 3 개 ( 혹은그이상 ) 의결과 (A B C) 가가능한실험을독립적으로행할때 A 의횟수 () 와 B 의횟수 (Y) λ e λ... f E λ! V λ j k f ( j) p py pz jk... j... 단 k j p p p Z Y Cov( Y ) p py λ λ 의모수를갖는두개의독립적인 Posso 분포의합은 λ+λ 의모수를갖는포아송분포를함 와 Y 의한계확률분포는각각이항분포 B(P) B(PY) 임 4
III. 연속적확률분포들 (Cotuous Probablty Dstrbutos) 확률분포명및표기 Uform 분포 U(ab) Expoet al 분포 E(β) 단 β는물고기한마리낚는데걸리는시간 Normal 분포 ( 정규분포 ) N(µσ ) 확률밀도함수 분포함수평균 분산기타 f ( x ) a x b b a < < F x x x a a < x < b b a x b x zero elsewhere. β f ( x) e x> zero elsewhere β x F x x β e x> x µ σ a+ b E ( b a) V E V β β f ( x) e < x< E µ πσ V σ 물고기한마리낚는데걸리는시간이 β ( 또는시간당 ψ /β 의비율로물고기가낚임 ) 일때첫물고기를낚을때까지걸리는시간이 Expoetal 분포 a N ( µ σ ) ( µ σ ) N + b ( µ + µ σ + σ + σ ) N a b a b ab A. 변환을통해도출되는분포들 확률분포명및표기 ( 표준 ) Cauchy 분포 C() Chsquare( 카이제곱 ) 분포 χ : 자유 도가 인카이제곱분포 변환확률밀도함수평균 분산기타 Z Z... Z 은서 로독립인표준정규분포 f ( x) - x π + x < < x xe f ( x) x> α Γ elsewhere ( 굳이외울필요는없음 ) zero 을중심으로대칭인분포이나 꼬리부분이표준정규분포에비해두꺼우며 적률이존재하지않는다. E V 5
(tudet) t 분포 t : 자유 도가 인 t 분포 F- 분포 Fm: 분자 의자유도가 이고분모의자유도가 m 인 F 분포 Z V Z N() V χ Z V 는 확률적독립 V V V V m χ χ m V 서로 V 는서로 확률적독립 ( x) + Γ( ) + π x f Γ + < x < ( 굳이외울필요는없음 ) f ( x) + m Γ x m m ( x ) + Γ Γ + x > zero elsewhere ( 굳이외울필요는없음 ) m m E ( 재 ) V ( 3 존재 ) m E m ( 3 만존재 ) V 인경우에만존 m ( + m ) ( ) ( 4) m m 인경우에만 인경우에 ( 5 인경우에만존재 ) ( 굳이외울필요는없음 ) 자유도가 인 t 분포는표준 Cauchy 분포가됨 가 Fm 인경우 / 는 Fm 임 t F B. 기타확률분포들 확률분포명및표기 Logormal 분포 Logstc 분 변환확률밀도함수평균 분산기타 Y exp ( ) N µσ 포 l y µ σ f ( y) e y > πσ y x e f x < x< F x - x + e + e x 을중심으로대칭인분포이나 꼬리부분이표준정규분포에비해두꺼움 6
Part II. 통계적추론 (tatstcal Iferece) IV. 확률표본 (Radom ample) A. 어떤특정한분포로부터의 크기가 인확률표본 은 개의동일한특정분포 를갖는서로확률적으로독립인확률변수... 들의모음. 통계량 (a statstc): ( 미지의모수에의존하지않는 ) 확률표본의변환 (trasformato) 원칙적으로확률표본의값들이관찰될경우그값들에대 응하는통계량의값을계산할수있으며 이를통계치 (a statstc) 라고함. 표본평균 (ample mea): µ Var ( ) σ E 에의존함을강조시 로표기 σ E ( ) µ Var ( ). 표본분산 (ample varace): B. N ( µσ ) * ( ) σ σ E( ) E * 로부터의확률표본. 표본평균 (ample mea) : ( ) 또는 σ ~ N µ.. 표본분산 (ample varace) :. ( ) ~ χ σ σ σ * : 자유도가 - 인카이제곱분포 : 즉표본평균과표본분산은확률적으로독립이다. 7
V. 극한분포이론 (Lmtg Dstrbuto Theory) A. 대수의 ( 약 ) 법칙 ((Weak) Law of Large Number) 확률적수렴 (Covergece Prob.).... ~..d. wth E µ < V σ < 임의의양의실수 ε에대해 P( µ ε) 가 µ 로확률적으로수렴함. 또는 > as. p µ 또는 plm µ.... ~ 서로독립적이지도않고 동일한분포를하지도않음. 다만 m E < m plm lm B. 중심극한정리 (Cetral Lmt Theorem) V V < V as.. 분포수렴 : 확률변수 의분포함수의값이연속적인모든점에서 에따라확률변수 Y 의분포함수의값으로수렴할때확률변수 가확 률변수 Y 로분포수렴한다고함.... D Y ~..d. N E µ < V σ < D µ as. : 중심극한정리 σ.... ~ 서로독립적이지도않고 동일한분포를하지도않음. 다만 lm V ( ) σ E ( ) V < D N as. : ( 좀더일반화된 ) 중심극한정리 8
VI. 점추정 (Pot Estmato) A. 추정량 (Estmator) ˆ.... 모수 θ 의추정을위해적절히고안된통계량 ( ) θ 을추정량 관측된표본값에대응되는해당통계량의값을추정치 (Estmate) 라함 ˆ.... θ ( ) B. 추정량에요구되는성질 를줄여서 ˆ θ 또는 ˆ θ 으로표기. 불편성 (Ubasedess) 또는점근적불편성 (Asymptotc Ubasedess) E ( ˆ θ) θ ( 불편추정량 ) 또는 lm E ( ˆ θ ) θ ( 점근적불편추정량 ).. 일치성 (Cosstecy) ˆ θ p θ ( 일치추정량 ) ( 점근적 ) 불편추정량이고 V ( ˆ θ ) lm 유효성 (Effcecy) 또는점근적유효성. 모수 θ 를불편추정량 ˆ θ 로추정할경우추정량 ˆ θ 의분산의이론적 인하한을크래머 - 라오하한 (CR Lower Boud: CRLB) 이라하며 불편추정 량 ˆ θ 의유효성은 CRLB % 로나타냄 V ( ˆ θ ) a. % 유효성을갖는불편추정량을유효추정량이라고함 b. 점근적불편추정량의분산이점근적으로 CRLB 에도달할경우점 근적유효추정량이라고함. 불편추정량과점근적불편추정량의성능 (Performace) 는보통 평균제곱오차 (Mea quared Error: ME) 로비교함 ( ˆ) ( ˆ) ( ˆ) ME θ V θ + E θ θ c. 유효추정량은최소분산불편추정량 (Mmum Varace Ubased Estmator: MVUE) 임 C. 적률방법 (Method of Momets). 수학적적률 ( 보통추정하고자하는모수의함수 ) 과표본적률을등치시키는 식으로부터추정량을구하는방법 k. k 번째 ( 수학적 ) 적률 : E( ). ( ) 적률방법추정량은점근적불편성과일치성을가짐 k : k 번째표본적률 9
D. 최우추정법 (Maxmum Lkelhood Method). 우도함수 (Lkelhood fucto) : 표본의결합확률분포를추정하고자하는. 모수의함수로볼때 이를우도함수라함 ( θ θ.. θk) Π ( θ θ.. θk) L f x 최우추정법은우도함수를극대화시키는모수의값을해당모수의추정치 로삼는방법이며이를확률표본... 의함수로볼때 이를최우 추정량 (Maxmul Lkelhood Estmator : MLE) 이라고함. 경우에따라서는우도함수의극대화해 (soluto) 를찾는것보다우도 함수에자연대수를취한 l L 를극대화하는해를찾는것이용이. ˆ θ ˆ θ(... ) 을 θ 의최우추정량이라고할때 이는다음과같은 성질을갖는다.. 즉 MLE 는점근적불편성 일치성 그리고점근적유효성을갖는다.. 충분히큰 에대해 a. ˆ θ θ ( ˆ ) σ θ ˆ σ θ ~ N θ ~ N 또는 ( θ) 로근사할수있다. ( θ ) σ ˆ θ ~ N θ ˆ 으로근사
VII. 신뢰구간 (Cofdece Iterval: CI) 또는구간추정 (Iterval Estmato) A. 모집단이 N ( µσ ) 일때 µ 에대한 CI. σ 가알려진경우 (-α)% CI: Z ~ N ± z σ α. 단 P( Z > z ) α α. σ 를모르는경우 (-α) %CI: PT > t α α 의제곱근. ( ) ± t. 단 는표본분산 α T 은자유도 - 인 t 분포확률변수.. σ 를모르고 이충분히클경우 (-α) % CI: ± z α N µσ 일때 B. 모집단이 ( ) σ 에대한 (-α) % CI: ( ) ( ) χ χ α α 분포확률변수.. 표준편차 (σ) 에대한 CI :. 단 P ( α ) χ > χ α ( ) ( ) χ χ α α χ 은자유도 - 인 χ
VIII. 가설검정 (Hypothess Testg) A. 가설검정의구성요소. 귀무가설 (ull hypothess) 과대립가설 (alteratve hypothess). 귀무가설 ( H ) 는검정결과그것을기각해야하는증거가나타나기전 까지는사실로받아들여야하는가설. 대립가설 ( H ) 은검정결과귀무가설을기각하는경우사실로받아들여 야하는가설이며 따라서증거로부터우리가보이고자하는새로운 사실이나관계를설명하는내용을통상적으로대립가설로둠. 검정통계량 (Test tatstc). 검정통계량은귀무가설하에서 ( 적어도근사적으로라도 ) 그확률분포 가알려진통계량 T T( ).... 검정통계량의대립가설하의분포는알려져있을필요는없으나귀무가설하의분포와구별되는분포를해야함. 기각역 (Rejecto Rego). 검정통계량의값이이구간에포함되면귀무가설을기각함 (R) B. 제 형오류와제 형오류. 제 형오류 : 모집단에서귀무가설이옮음에도불구하고표본으로부터귀무가설을기각하는경우. 제 형오류를범할확률을검정의크기 (sze) 또는유의수준 (sgfcace level) 이라고함 (α) ( (... ) s true) α P T RH. 보통유의수준은 % 5% % 등으로주어짐. 제 형오류 : 모집단에서귀무가설이옳지않음에도불구하고귀무가설을기각하지못하는경우. 귀무가설이옳지않을때귀무가설을기각할확률을검정력 (Power of test) 이라고하며 제 형오류의확률을 β라하면 검정력은 -β ( ( ) ) β P T... RH s ot true : 검정력함수. 주어진유의수준에서가능하면검정력이큰검정이좋은검정임 a. 유의수준이클수록검정력은커진다 b. 두가설간의차이가뚜렷할수록검정력은커진다. C. CI 에근거한검정. 각경우에있어서의 CI 를도출하였던과정을응용하여적절한검정통계량 을고안해낼수있음
. 실례 : N ( µσ ) 일때 µ 에대한 (-α) % CI 는 ± t α p µ > tα α µ 가자유도 - 인 t 분포를하는것을 이용하여 µ 와관련된가설검정의검정통계량으로이용 H : µ µ H : µ µ ( 양측검정의경우 ) :. µ > tα 이거 나 µ < tα 이면유의수준 α에서귀무가설을기각함 H : µ µ H : µ > µ ( 또는 H : µ µ H : µ > µ ( 단측검정. 의경우 ) : µ > tα 이면유의수준 α에서귀무가설을기각함 H : µ µ H : µ < µ ( 또는 H : µ µ H : µ < µ ( 단측검정 3. 의경우 ) : µ < tα 이면유의수준 α에서귀무가설을기각함 3