제 12 강분산분석 분산분석 (ANOVA) (1) 1. 개요 비교하는집단의수가 3개이상일경우에사용되는통계기법이분산분석이다. 두표본 t검증에서는문제의단순성때문에야기되지않는문제들이다수의표본으로확대됨에따라문제들이야기되기도한다. 다음과같은 r개의모집단이있다고가정하자..... ~ N( μ σ ) ~ N( μ σ ).... ~ N ( μ σ )...... 위의그림과같이여러번에걸쳐두표본의 t검정을하게되면결론의유의수준이증가하게될뿐만아니라절차또한번잡하다. 이러한문제를해결하는통계기법이분산분석이다. 분산분석의검정은 r개모집단평균이모두같은지의여부를검정하는하는것
이다. 즉 μ μ μ : 가아니다. 이러한검정을하기위하여분산분석은다음과같은가정을두고있다. 분산분석의가정 (1) r개모집단분포는모두정규분포를이루고있다. (2) r개모집단의평균은다를수있으나분산은모두같다. (3) r개모집단에서추출한표본은서로독립적이다. 분산분석은집단을구분하는독립변수는명목척도이고, 비교하고자평균의확률변수는종속변수로써간격척도이상인자료의분석에사용할수있다. 집단을구분하는독립변수를요인 (factor) 이라고하며, 각집단을요인의수준 (level) 이라고한다. 또한분산분석에서사용하는처리 (treatment) 는일원배치분산분석에서는요인의수준과같은의미이며, 2원배치또는다원배치분산분석에서는각요인의수준의조합들을의미한다. 2. 일원배치분산분석 (One-way ANOVA) 1) 이론적배경 일원배치분산분석은 r개의집단으로분류하는독립변수가하나이며, r개의수준에따라종속변수의평균에차이가있는지를검정하는기법이다. i 번째집단 ( 수준 ) 의 j 번째사례의확률변수값을 라하면이는다음과같은수식으로나타낼수있다. μ ε (2-1-1) 여기서 μ = i번째집단의평균 ε = ~N(0, σ ) 인확률변수 i번째집단의평균 μ 와전체평균 μ의거리 τ 라고하면이는집단 ( 수준 ) 의효과라고할수있으며, 는다시다음과같은수식으로나타낼수있다.
μ τ ε (2-1-2) τ 는 i 집단의평균과전체평균의차이이므로다음과같은관계가성립된다. τ 만약에집단별로차이가없다면즉 τ 의값이 0 이라면식 (2-1-1) 과식 (2-1-2) 는 같아진다. 따라서분산분석의귀무가설은다음과같이표현할수도있다. τ τ τ 위와같이표현된귀무가설은각집단의처리효과의존재여부를판정하는것이 다. 처리효과가있다면평균의차이가있어식 (2-1-1) 과식 (2-1-2) 는다를것이고 차이가없다면같게될것이다. 2) 총변동의분할 변동 (variation) 이란분산을구하는공식의분자부분을말한다. 표본의총변동은표본자료가전체평균으로부터떨어져있는거리자승의합이므로그수식은다음과같다. 총변동 SST(Totoal Sum of Square) = (2-1-3) 여기서 는표본자료의평균 r = 집단의수 = i번째집단의표본의수 (2-1-4) 이므로식 (2-3) 은다음과같이나타낼수있다. = = (2-1-5) 식 (2-5) 에서앞의항은각집단의평균이전체평균에서떨어져있는거리의자 승에각집단의표본의수로가중치를준합으로써집단간변동 (between groups
sum of square) 이며, 뒷항은각자료가각집단의평균으로부터떨어져있는거 리의자승의합으로써집단내변동 (within groups sum of square) 이다. 즉집단간 변동과집단내변동은다음과같다. 집단간변동 SSB = 집단내변동 SSW = 3) 자유도의분할 총변동 을계산하는데전체표본의수를사용하였고, =0 이되어야하므로자유도는 n-1 이된다. 집단간변동 을 계산하는 데 r개 집단의 평균을 사용하였고, 이되어야하므로자유도는 (r-1) 개가된다. 집단내변동 을계산하는데전체표본의수 n 개를사용하였고, r 개의 의식을만족하여야하므로자유도는 n-r개가된다. 위의내용을 다시정리하면아래와같은관계가성립된다. 총변동의자유도 n-1 = 집단간자유도 r-1 + 집단내자유도 n-r 4) 평균변동 변동을계산하는데사용된자유도를변동에서나눈값을평균변동이라고한다. 따라서집단간평균변동과집단내평균변동은다음과같다. 집단간평균변동 (between groups mean square: MSB) = SSB/(r-1)
집단내평균변동 (within groups mean square: MSW) = SSW/(n-r) 평균변동의기대값은아래와같다. 집단간평균변동의기대치 E(MSB) = σ τ 집단내평균변동의기대치 E(MSE) = σ 집단간평균변동의기대치 σ τ 에서 τ 의값은분산분석의영가 설 τ τ τ 의가정하에서는 0이된다. 따라서영가설이옳다면 MSB/MSE의값은 1에가깝고, 옳지않다면 1보다크게된다. MSB/MSE는영가설하에서는 F(r-1, n-r) 의 F분포를따르게되므로 MSB/MSE을 F 값으로하여 F 검정을하게된다. 분산분석에서실시하는 F검정은분산분석기법이두고있는가정에저촉되어도민감하게반응하지않는강건한 (robust) 절차로알려져있어수집한자료가가정에저촉되어도그결과는심각한문제를야기하지는않는다. 분산분석 (ANOVA) (2) < 다중비교 > (1) 필요성 분산분석의 F 검증에서영가설을수용하게되면더이상논리를전개할필요는 없다. 그러나 F 검증에서영가설을기각하게되면 r 개의모집단의평균이모두같지 는않다는것을의미하므로어느집단간의평균이달라서영가설을기각한것인지 를규명할필요가있다. 그러나 t 검정을이용한두모집단평균차이에관한검증으 로규명을하려면 번의검증을하여야할뿐만아니라유의수준 α=0.05 을 - 5 -
유지할수없게된다. 이러한이유로한꺼번에여러개의모집단평균을비교하여 차이를규명할수있는다중비교 (Multiple Comparison) 가필요하게된다. (2) 사전비교와사후비교 다중비교 (Multiple Comparisons) 는자료수집이전에계획된사전비교 (priori comparison) 또는계획비교 (Planned Comparison) 와분산분석의전체적인가설검증에서귀무가설이기각된후새로운사실을찾아내기위하여실시하는사후비교 (Post Hoc Comparison) 로구분할수있다. 사전비교는모든집단의평균이같으냐의여부보다는특정집단간의평균의차이를규명하는것이주목적이다. 따라서사전에염두에둔특정집단간의평균의차이가유의적인가에대한가설검증이주목적이므로분산분석에서의가설검증에는관심의대상이아니라고할수있다. 그러나사후분석은모든집단의평균이같은가에대한관심이우선하므로영가설을기각한후어떤집단간의평균이다른가에규명하여영가설을기각한이유를규명하는것이주목적이라고할수있다. 다중비교는단순한두집단의평균을비교할수도있으며다수의집단을묶어서그평균들을비교하는복합적인비교도가능하다. 복합적인비교도결국은두개의묶은집단간의평균의비교가되므로자유도가하나인경우가된다. 이러한집단간의평균비교를비교 (comparison), 대비 (contrast), 또는단일자유도비교 (single-degree of freedom comparison) 이라불리어진다. b) 사후비교 (a) 이론적배경 사후비교는앞에서설명하였듯이자료를수집하기전에집단간비교에대해가설을두고있는것이아니고분산분석의결과모든집단의평균이같지는않다는결론이나온경우즉영가설을기각한경우그원인을규명하는절차라고할수있다. 사후비교에서가장널리사용되는방식이 Scheffe, Tukey의 HSD, LSD, S-N-K, Duncan, Bonferroni, Dunnett 방식이므로이에대해서만설명하기로한다. - 6 -
(b) 절차및해석 One-Way ANOVA 대화상자에서 Post Hoc..." 을클릭하여대화상자가나타나면적합한다중비교방식을선택하고 Continue" 를눌러 ANOVA 대화상자로복귀하여 OK" 를누르면그결과를얻을수있다. 다중비교에가장많이사용되는기법이 Scheffe, Tukey, LSD, S-N-K, Duncan, Bonferroni 방식으로이방식의이론적배경을다음에서설명하기로한다. Scheffe 의방식 Scheffe의방식은임의의두모집단평균의차이 μ μ 는사전비교에서설명한선형대비의특수한형태로취급하고있다. 이에대하여 Scheffe는모든가능한집합에대하여동시에적용할수있는신뢰구간을다음과같이제시하였다. ˆ ˆ ˆ ˆ ˆ α (root 속의 F 값은분산분석에서의임계값 ) Scheffe가제시한신뢰구간의특징은분산분석의가설검증에서사용하는임계값 F를수정없이그대로수용하고있는이점을가지고있다. 그러나두모집단의평균의차이의비교는모든가능한선형대비의일부분인데도불구하고전체의선형대비에동시에적용할수있는신뢰구간을제시하고있어필요이상으로넓은신뢰구간을제시하고있는한계를가지고있다. Tukey 의방식 Scheffe 의방식은모든가능한선형대비에동시에적용할수있는신뢰구간을 구하기위하여분산분석에서사용하는임계값 F 를이용하였다. 그러나 Tukey 의방 식은 Scheffe 의방식과는달리모든가능한두모집단평균의차이에대하여동시 - 7 -
에성립될수있는신뢰구간을구하고자 SSW의자유도, 유의수준 α, 비교대상이될평균의수에의해그값이결정되는 Studentized Range q를별도의표로개발하여제시하였다. 이표를근거로두모집단의평균이다르다고주장할수있으려면아래에제시한값보다는커야한다고주장하였으며이차이는정직한유의적차이 (Honestly Significant Difference; HSD) 라불려지기도한다. 그러나이방식은각집단의표본의수가같을경우에만의미가있는결과를제공한다. = α 최소유의적차이방식 최소유의적차이검증 (Least Significant Difference) 은 Fisher에의해개발된기법으로다중비교기법중에서가장먼저소개된기법이다. 전체적인 ANOVA F검정에서귀무가설을기각하게되면가능한모든모집단평균의차이에대한가설검증, μ μ, μ μ 을실시한다. 이때관측치값은아래와같으며귀무가설이옳을경우자유도가 n-r의자유도를가진 t분포를이룬다. 따라서두개의표본평균이유의적인차이가있다고주장하기위해서는두집단 평균의차이가최소한 α 이되어야한다. 이방법이 독립된두모집단평균의차이에관한검정과차이가있는점은독립된두모집단 평균차이에가설검정에서는분산 σ 의추정량으로 를, 자유도가 를 가진 t 분포를이룬다는점이다. 분산분석 (ANOVA) (3) - 8 -
Bonferroni 방식 Bonferroni 방식은개별적인집단간의평균비교의유의수준 ( α ) 과평균비교의전 체의유의수준 ( α ) 즉다수의집단간평균비교중하나이상이 1 종과오를범할확 률이다음과같은관계가있다는사실에기초하여개발되었다. α α 여기서 c= 집단간평균비교의수 전체적인비교결과의유의수준을대략적으로추정하면 ˆ α =c α 가되며, 이값은 항상 α 보다크게되므로이추정한값을전체적인유의수준으로해석하여도문제 는없다고하겠다. 그러나집단간평균을비교하는수가집단간변동 (SSB) 의자유 도보다많을경우에는다음과개별적인유의수준을정하는것이바람직하다고 Bonferroni 는제시하였다. α α 아래의 Bonferroni 의다중비교결과는 α 에서비교한결과이고, 두모집단의 평균비교횟수는 6 이고, 집단간변동의자유도가 3 이므로전체적인유의수준은대 략 α =0.1 이된다고할수있다. Student-Newman-Keuls 의방식과 Duncan 의방식 이방식은 Tukey의방식과같이 Studentized Range를사용하고있다. 그러나 Tukey의방식은기본적으로집단간평균의차이를규명하기위하여하나의범위로써동시적신뢰구간을구하고결과적으로두모집단평균의차이를검증하고있는반면에, SNK의방식과 Duncan의방식은표본의평균을크기순서에따라다수의범위를이용하여신뢰구간을구하여모집단평균간의차이에대한검증만을할수있는절차이기때문에다중범위검증 (Multiple Range Tests) 이라고불리어진다. 다중범위검증에서는먼저표본평균을크기순서로놓고 r 개의평균중에서 p 개 - 9 -
의평균을선택하여크기순서로배열한다. p 개의평균중에서최대값과최소값의 차이가아래의임계값보다크면유의수준 α 에서차이가있다고할수있고, 작으면 차이가없다고할수있다. = α 따라서이검증은선택한 p개의부분집합이같은부류의집단인지아닌지를판명하는데사용하고있다. 위의임계값이앞에서설명한 Tukey의임계값과다른점은 q값을구할때의집단의수다. Tukey의방식은전체집단의수를사용하고있는반면에 SNK와 Duncan의방식에서는비교하려고선택한부분집합의집단의수를사용하고있는점이다. 또한 SNK와 Duncan의방식의차이는 α값을정하는방식이다. SNK방식에서는본래의 α값을사용하고있는반면에 Duncan의방식에서는 α를수정하여 α α 를사용하여임계값을정하고있다. 따라서세방식에서구한 다중범위의임계값의크기는다음과같은관계를갖는다. Duncan SNK Tukey Dunnett 방식 Dunnett 방식은실험계획에통제집단이포함되어있고통제집단의평균과실험집단간의대비가필요한경우만사용할수있는방식이다. 이방식또한제 1종과오의증가를방지하기위하여유의수준을수정한다는점에서 Tukey등의방식과다를바가없으나비교의대상이통제집단과실험집단간의대비에국한되어있다는점이다르다고하겠다. 이를위하여 Dunnett는통제집단을포함한집단의수 (r), 집단간평균자승의합과관련한자유도 ( ), 유의수준 ( α) 에의해결정되는자신만의 q값을개발하여제시하고통제집단과실험집단간의평균이유의적인차이가있다고판단하기위해서는최소한아래와값보다는커야한다고주장하였다. ˆ - 10 -
다중비교방식의비교및제언 위에서설명한다중비교의여러방식은각각의특성을가지고있으므로결과가상이하게나타날수도있으므로적합하게사용되어야한다. 사전비교의경우비교의수가적을집단간평균자승의합과관련한자유도의수보다작을경우수정없이사용하는것이바람직하며, 자유도보다많을경우 Bonferroni의방식에서유의수준을수정하여사용하는것이바람직하다. 사후비교에있어서실험계획에통제집단이있는경우 Dunnett방식을사용하는것이바람직하다고할수있다. 최소유의적차이검증은 F 통계량과 t통계량만계산하게되면쉽게적용할수있는장점이있고각집단의표본의크기가다를경우 에도적용이가능하므로 표본의크기가다를경우 LSD 방식을사용하는것을권 하고싶다. 그러나이방식의결과로동시검정에적용하는것은무리가있다는점을유의하여야할것이다. Scheffe의방식과 Tukey의방식은동시적검정을할수있다는장점을갖고있으나 Scheffe의방식은필요이상으로넓은신뢰구간을제공해주고있다. 그러나선형대비에서는오히려 Tukey의방식에비해좁은신뢰구간을제공하므로선형대비가필요한경우에는 Scheffe의방식을, 각집단의표본의크기가같고비교결과로동시적검증을할필요가있는경우에는 Tukey의방식을사용하는것이바람직하다고할수없다. 비교결과로써동시적검증이필요하지않고동질성집단의유무를가리는것에목적이있다면 S-N-K방식과 Duncan의방식을사용하는것이좋다고하겠다. Duncan의방식은모집단평균간의차이를예리하게구분하여주고 있으나논리적인근거가충분치못하므로 Duncan 의방법으로만 입증되는검증의 결과는사용하지않는것이바람직하다. - 11 -