데이터정규성 이문서에서는이러한조건이실제로일원분산분석과어떤관계가있는지조사하고보조 도구에서해당조건을확인하기위한가이드라인을정한방법에대해설명합니다. 일원분산분석 2

MINITAB 보조도구백서 이문서는 Minitab 통계소프트웨어의보조도구에서사용되는방법과데이터검사를 개발하기위해 Minitab 통계학자들이실시한연구에대해설명하는전체백서중하나입니다. 일원분산분석 개요 일원분산분석은그룹 3개이상의평균을비교하여서로유의하게다른지판단하기위해사용합니다. 또하나의중요한기능은특정그룹간의차이를추정하는것입니다. 일원분산분석에서그룹간의차이를탐지하는가장흔한방법은모든표본의모집단이같지만알수없는표준편차를공유한다는가정에기초한 F-검정입니다. 실제로는표본의표준편차가서로다른경우가많은것으로나타났습니다. 따라서 F-검정대신다른표준편차를처리할수있는 Welch 방법을조사하고자했습니다. 표준편차가같지않은표본에대해설명하는여러비교를계산하는방법도개발하고자했습니다. 이방법을사용하여서로다른그룹을쉽게구분하는방법을제공하는개별구간을그래프로표시할수있습니다. 이문서에서는다음에대한 Minitab 보조도구일원분산분석절차에사용된방법을개발한방법에대해설명합니다. Welch 검정 다중비교구간 또한비정상데이터유무, 검정의표본크기와검정력, 그리고데이터의정규성을포함하여일원분산분석결과의유효성에영향을미칠수있는다양한조건에대해서도조사했습니다. 보조도구에서는이러한조건에따라데이터에대해다음과같은검사를자동으로수행하고검사결과를보고서카드에표시합니다. 비정상데이터 표본크기 WWW.MINITAB.COM

데이터정규성 이문서에서는이러한조건이실제로일원분산분석과어떤관계가있는지조사하고보조 도구에서해당조건을확인하기위한가이드라인을정한방법에대해설명합니다. 일원분산분석 2

일원분산분석방법 F- 검정과 Welch 검정의비교 일원분산분석에널리사용되는 F-검정은같지만알수없는표준편차 (σ) 를모든그룹이공유한다는가정에기초합니다. 실제로이가정은참인경우가드물며, 이로인해제1종오류율을관리하는데문제가발생합니다. 제1종오류는귀무가설을잘못기각할 ( 표본이다르지않은데유의하게다르다고결론지을 ) 확률입니다. 표본의표준편차가서로다르면검정이잘못된결론에도달할가능성이더많습니다. 이문제를해결하기위해 F-검정에대한대안으로 Welch 검정이개발되었습니다 (Welch, 1951). 목적당사는보조도구의일원분산분석절차에 F-검정과 Welch 검정중무엇을사용할것인지결정하고자했습니다. 이를위해 F-검정과 Welch 검정의실제검정결과가검정에대한목표유의수준 ( 알파또는제1종오류율 ) 과얼마나일치하는지, 즉검정이주어진표본크기와표본표준편차에서귀무가설을잘못기각하는횟수가목표값보다많은지적은지평가해야했습니다. 방법 F-검정과 Welch 검정을비교하기위해표본수, 표본크기및표본표준편차를바꿔가면서여러시뮬레이션을수행했습니다. 각조건에대해 F-검정과 Welch 방법을모두사용하여분산분석검정을 10,000회수행했습니다. 표본의평균이같아서각검정에대해귀무가설이참이되도록랜덤데이터를생성했습니다. 그런다음, 목표유의수준 와 을사용하여검정을수행했습니다. 10,000회의검정중에서 F-검정과 Welch 검정에의해귀무가설이실제로기각된횟수를집계하고이비율을목표유의수준과비교했습니다. 검정이효과적이면추정제1종오류가목표유의수준과매우유사합니다. 결과모든검정조건에서 Welch 방법이 F-검정이상으로효과적인것으로나타났습니다. 예를들어 Welch 검정을사용하여표본 5개를비교할때제1종오류율은 0.0460과 40 사이로, 목표유의수준 와매우가까웠습니다. 이결과는 Welch 방법의제1종오류율이표본의표본크기와표준편차가다를때도목표값과일치함을나타냅니다. 일원분산분석 3

반면에 F- 검정의제 1 종오류율은 0.0273 과 0.2277 사이입니다. 다음과같은조건에서는 F- 검정이특히효과적이지못했습니다. 가장큰표본의표준편차가가장클경우에도제1종오류율은 미만으로하락했습니다. 이조건으로인해검정이더보수적이되며, 단순히표본크기를늘리는것은표본의표준편차가같지않을때효과적인해결책이되지않음을보여줍니다. 표본크기가같지만표준편차가다르면제1종오류율이 보다높았습니다. 표준편차가더큰표본이나머지표본보다크기가작을경우에도오류율이 보다높았습니다. 특히더작은표본의표준편차가더크면 F-검정에의해귀무가설이잘못기각될위험이크게증가합니다. 시뮬레이션방법및결과에대한자세한내용은부록 A를참조하십시오. Welch 방법은표본의표준편차및크기가같지않을때효과적이었기때문에당사는 Welch 방법을보조도구의일원분산분석절차로사용합니다. 비교구간 분산분석검정이통계적으로유의하여표본중하나이상의평균이나머지표본과다른것으로나타나면다음분석단계에서는어떤표본이통계적으로다른지확인합니다. 이를비교하는직관적인방법으로, 각표본과연관된신뢰구간을그래프로표시하고구간이겹치지않는표본을식별합니다. 그러나개별신뢰구간은비교에사용되지않기때문에그래프를근거로내린결론은검정결과와일치하지않을수있습니다. 표준편차가같은표본의다중비교방법에대해서는출판물에서다뤄진적이있지만, 이방법을확대하여표준편차가다른표본에대해설명하는데도사용할수있어야했습니다. 목적당사는여러표본을비교하는데사용할수있고검정결과와도최대한일치하는개별비교구간을계산하는방법을개발하고자했습니다. 또한나머지표본과통계적으로다른표본이무엇인지확인하는시각적인방법도제공하고자했습니다. 방법기본적인여러다중비교방법 (Hsu 1996) 은각평균쌍간의차이에대한구간을제공하면서다중비교시증가하는오류를관리합니다. 표본크기가같고표준편차가같다고가정되는특별한경우에는각평균에대한개별구간을모든쌍의차이에대한구간과정확히일치하도록표시할수있습니다. 표본크기가다르고표준편차가같다고가정되는경우에대해 Hochberg, Weiss & Hart(1982) 는 Tukey-Kramer의다중비교방법에기초한쌍간 일원분산분석 4

차이에대한구간과대략적으로같은개별구간을개발했습니다. 보조도구에서는이와동일한방식을표준편차가같다고가정하지않는 Games-Howell 다중비교방법에적용합니다. Minitab 16 릴리스의보조도구에서사용된방식은 Games-Howell 방식과개념이유사했지만, Games-Howell 방식을직접응용한것은아니었습니다. 자세한내용은부록 B를참조하십시오. 결과보조도구는일원분산분석요약보고서의평균비교차트에비교구간을표시합니다. 분산분석검정이통계적으로유의하면, 하나이상의다른구간과겹치지않는비교구간이모두빨간색으로표시됩니다. 검정과비교구간이불일치할수있지만, 두가지방법모두귀무가설이참일때기각할확률이같기때문에이런결과가나오는경우는드뭅니다. 분산분석검정이유의하지만모든구간이겹치면겹치는부분이가장작은쌍이빨간색으로표시됩니다. 분산분석검정이통계적으로유의하지않으면일부구간이겹치지않는경우에도빨간색으로표시되는구간이없습니다. 일원분산분석 5

데이터검사 비정상데이터 비정상데이터는특이치라고도하는극도로크거나작은데이터값입니다. 비정상데이터는분석결과에중대한영향을미칠수있으며, 특히표본이작을때통계적으로유의한결과를찾을확률에영향을미칠수있습니다. 비정상데이터는데이터수집에문제가있음을나타내거나, 연구하는프로세스의비정상적인동작에기인할수있습니다. 따라서이런데이터점은조사할만한가치가많으며, 가능하면수정해야합니다. 목적 Minitab에서는전체표본에비해매우크거나매우작고분석결과에영향을미칠수있는데이터값이있는지확인하는방법을개발하고자했습니다. 방법 Minitab에서는 Hoaglin, Iglewicz & Tukey(1986) 가설명한상자그림에서특이치를식별하는방법을토대로비정상데이터를검사하는방법을개발했습니다. 결과보조도구는분포의하위또는상위사분위수를벗어난사분위간범위의 1.5배이상인데이터점을비정상데이터로구분합니다. 하위및상위사분위수는데이터의 25번째및 75번째백분위수에해당됩니다. 사분위간범위는두사분위수의차이입니다. 이방법을사용하면특정특이치를각각탐지할수있기때문에특이치가여러개일때도효과적입니다. 비정상데이터가있는지확인할때보조도구보고서카드에는다음과같은상태가표시됩니다. 상태 조건 비정상적인데이터점없음. 하나이상의데이터점이비정상이고결과에중대한영향을미칠수있음. 일원분산분석 6

표본크기 검정력은실제로존재하는유의한효과또는차이를찾을수있는확률을나타내므로, 모든가설검정에서중요한속성입니다. 검정력은귀무가설을기각하고대립가설을인정할확률입니다. 검정의검정력을높일수있는가장쉬운방법중하나는표본크기를늘리는것입니다. 보조도구에서는검정력이낮은검정에대해지정된차이를찾기위해필요한표본크기를표시합니다. 차이가지정되지않으면적절한검정력으로탐지할수있는차이를보고합니다. 보조도구에서는정확한검정력공식이없는 Welch 방법을사용하기때문에이정보를제공하기위해검정력을계산할방법을개발해야했습니다. 목적검정력계산방법을개발하기위해서는두가지문제를해결해야했습니다. 첫째, 보조도구에서는사용자에게전체평균집합을입력할것을요구하지않고실질적인영향이있는평균의차이만입력할것을요구합니다. 모든주어진차이에대해해당차이를생성할수있는가능한평균구성의수는무한합니다. 따라서가능한모든평균구성에대해검정력을계산할수없기때문에검정력을계산할때사용할평균을결정할합리적인방법을개발해야했습니다. 둘째, 보조도구에서는같은표본크기나표준편차가필요하지않은 Welch 방법을사용하기때문에검정력을계산할방법을개발해야했습니다. 방법가능한평균구성의수가무한하다는문제를해결하기위해 Minitab의표준일원분산분석절차에사용되는방식에기초한방법을개발했습니다 ( 통계분석 > 분산분석 > 일원분산분석 ). 두평균만지정된양만큼차이가나고나머지평균이같은 ( 평균의가중평균으로설정된 ) 경우에초점을맞췄습니다. 이방식에서는 (3개이상이아닌 ) 2개의평균만전체평균과다르다고가정하기때문에보수적인추정검정력이얻어집니다. 그러나표본의크기또는표준편차가다를수있기때문에검정력계산은다르다고가정되는 2개의평균에따라달라집니다. 이문제를해결하기위해최선및최악의경우를나타내는평균두쌍을식별합니다. 최악의경우는표본분산에비해표본크기가비교적작고검정력이최소화될때발생하며, 최선의경우는표본분산에비해표본크기가비교적크고검정력이극대화할때발생합니다. 모든검정력계산에서는정확히 2개의평균이평균의전체가중평균과다르다는가정에서검정력을최소화하고극대화하는두가지의극단적인경우를고려합니다. 검정력계산을개발하기위해 Kulinskaya 외 (2003) 에제시된방법이사용되었습니다. 시뮬레이션에서얻은검정력계산과평균구성의문제를해결하기위해개발한방법과 일원분산분석 7

Kulinskaya 외 (2003) 에제시된방법을비교했습니다. 검정력이평균구성에따라어떻게달라지는지더분명하게보여주는다른검정력근사도조사했습니다. 검정력계산에대한자세한내용은부록 C를참조하십시오. 결과세가지방법을비교한결과 Kulinskaya 방법이우수한검정력근사를제공하고당사의구성평균처리방법이적절한것으로나타났습니다. 데이터로부터귀무가설을반박하는충분한증거를얻을수없으면보조도구는주어진표본크기에대해 80% 및 90% 확률로탐지할수있는실제차이를계산합니다. 또한실제차이를지정하면보조도구가해당차이에대해최소및최대검정력값을계산합니다. 검정력값이 90% 미만이면보조도구는지정된차이와관측된표본표준편차를토대로표본크기를계산합니다. 표본크기를통해최소및최대검정력값이모두 90% 이상이되는결과를생성하기위해지정된차이가변동성이가장큰두평균사이에있다고가정합니다. 사용자가차이를지정하지않으면보조도구는검정력값범위의최대값이 60% 인최대차이를찾습니다. 이값은검정력보고서에서 60% 검정력에해당되는빨간색막대와노란색막대사이의경계에표시됩니다. 검정력값범위의최소값이 90% 인가장작은차이도찾습니다. 이값은검정력보고서에서 90% 검정력에해당되는노란색막대와녹색막대사이의경계에표시됩니다. 검정력과표본크기를확인할때보조도구의보고서카드에는다음과같은상태가표시됩니다. 상태 조건 데이터에서평균간에차이가있다는결론을내릴만한충분한증거를얻을수없음. 차이가지정되지 않음. 검정에서평균의차이가탐지되므로검정력은문제가되지않음. 또는검정력이충분함. 검정에서평균의차이를찾지못했지만표본크기는주어진차이를 90% 이상의확률로탐지하기에충분함. 검정력이충분할수있음. 검정에서평균의차이를찾지못했지만표본크기는주어진차이를 80% - 90% 의확률로탐지하기에충분함. 90% 검정력을달성하기위해필요한표본크기가보고됨. 검정력이충분하지않을수있음. 검정에서평균의차이를찾지못했지만표본크기는주어진차이를 60% - 80% 의확률로탐지하기에충분함. 80% 검정력과 90% 검정력을달성하는데필요한표본 크기가보고됨. 일원분산분석 8

상태 조건 검정력이충분하지않음. 검정에서평균의차이를찾지못했으며표본크기는주어진차이를 60% 이상의확률로탐지하기에충분하지않음. 80% 검정력과 90% 검정력을달성하는데필요한표본 크기가보고됨. 정규성 많은통계분석방법에서는흔히데이터가정규분포를따른다고가정합니다. 데이터가정규분포를따르지않더라도정규성가정에기초한방법이매우효과적일수있습니다. 이내용은표본평균의분포가근사정규분포를따르고표본크기가커질수록근사정규분포가거의정규분포가된다는중심극한정리에의해부분적으로설명됩니다. 목적당사의목표는합당한수준으로양호한정규분포의근사를제공하려면표본이얼마나커야하는지확인하는것이었습니다. 당사는 Welch 검정과비교구간을다양한비정규분포를따르고크기가중간이하인표본을사용하여조사하고자했습니다. 그리고 Welch 방법과비교구간의실제검정결과가검정에대해선택된유의수준 ( 알파또는제1종오류율 ) 과얼마나일치하는지, 즉검정이서로다른표본크기및수준수와비정규분포가제공될경우귀무가설을예상보다더많이잘못기각하는지확인하고자했습니다. 방법제1종오류를평가하기위해표본수, 표본크기및데이터분포를바꿔가면서여러시뮬레이션을수행했습니다. 시뮬레이션에는정규분포에서크게이탈한치우친분포와꼬리가두꺼운분포가포함되었습니다. 크기와표준편차는각검정의표본간에일정했습니다. 각조건에대해 Welch 방법과비교구간을사용하여분산분석검정을 10,000번수행했습니다. 표본의평균이같아서각검정에대해귀무가설이참이되도록랜덤데이터를생성했습니다. 그런다음, 목표유의수준 를사용하여검정을수행했습니다. 10,000회의검정중에서검정에의해귀무가설이실제로기각된횟수를집계하고이비율을목표유의수준에비교했습니다. 비교구간에대해서는 10,000회검정중에서구간이차이를하나이상나타낸횟수를집계했습니다. 검정이효과적이면제1종오류율이목표유의수준과매우유사할것입니다. 일원분산분석 9

결과각검정과비교구간은전반적으로표본크기가최소 10개또는 15개인모든조건에서매우효과적입니다. 수준이 9개이하인검정에서대부분의경우결과는모두표본크기가 10개일때목표유의수준의 3% 이내였고표본크기가 15개일때 2% 이내였습니다. 수준이 10개이하인검정에서대부분의경우결과는표본크기가 15개일때 3% 이내였고표본크기가 20개일때 2% 이내였습니다. 자세한내용은부록 D를참조하십시오. 검정은표본이상대적으로작을때효과적이기때문에보조도구는데이터의정규성을검사하지않습니다. 대신, 보조도구는표본크기를확인하고수준이 2-9개일경우표본이 15개미만이고수준이 10-12개일경우표본이 20개미만임을나타냅니다. 이런결과를토대로보조도구의보고서카드에는다음과같은상태가표시됩니다. 상태 조건 표본크기가 15 개또는 20 개이상이므로정규성은문제가되지않음. 일부표본크기가 15 개또는 20 개미만이므로정규성이문제가될수있음. 일원분산분석 10

참고문헌 Dunnet, C. W. (1980). Pairwise Multiple Comparisons in the Unequal Variance Case. Journal of the American Statistical Association, 75, 796-800. Hoaglin, D. C., Iglewicz, B. & Tukey, J. W. (1986). Performance of some resistant rules for outlier labeling. Journal of the American Statistical Association, 81, 991-999. Hochberg, Y., Weiss G. & Hart, S. (1982). On graphical procedures for multiple comparisons. Journal of the American Statistical Association, 77, 767-772. Hsu, J. (1996). Multiple comparisons: Theory and methods. Boca Raton, FL: Chapman & Hall. Kulinskaya, E., Staudte, R. G. & Gao, H. (2003). Power approximations in testing for unequal means in a One-Way ANOVA weighted for unequal variances, Communication in Statistics, 32 (12), 2353-2371. Welch, B.L. (1947). The generalization of Student s problem when several different population variances are involved. Biometrika, 34, 28-35 Welch, B.L. (1951). On the comparison of several mean values: An alternative approach. Biometrika 38, 330-336. 일원분산분석 11

부록 A: F- 검정과 Welch 검정의비교 F-검정은표준편차가같다는가정을위반할때제1종오류율이높아지는결과를초래할수있습니다. Welch 검정은이런문제를방지하기위해만들어졌습니다. Welch 검정 k 모집단에서크기가 n 1,, n k 인랜덤표본을관측합니다. μ 1,,μ k 는모집단평균을나타내고 σ 2 1,, σ 2 k 은모집단분산을나타냅니다. x 1,, x k는표본평균을나타내고 s 2 1,, s 2 k 은표본분산을나타냅니다. 이때다음가설을검정하고자합니다. H 0: μ 1 = μ 2 = = μ k 일부 i, j에대해 H 1: μ i μ j. k 평균의동일성을검정하는 Welch 검정에서는다음통계를 W = k w j (x j μ ) 2 j=1 (k 1) 1+[2(k 2) (k 2 1) ] k j=1 h j F(k 1, f) 분포에비교합니다. 여기서, w j = n j s j 2, W = μ = k j=1 w j, k j=1 w j x j W h j = (1 w j W) 2 및 n j 1, f = k 2 1 3 k j =1 h j 입니다. Welch 검정은 W F k 1,f,1 α ( 확률 α. 로초과되는 F 분포의백분위수 ) 일경우귀무가설을기각합니다. 동일하지않은표준편차 다음항목에서는표준편차가같다는가정위반시 F-검정의민감도에대해설명하고이검정을 Welch 검정과비교합니다. 아래결과는 N(0, σ 2 ) 를따르는 5개의표본을사용한일원분산분석의결과입니다. 각행은 F- 검정과 Welch 검정을사용한 10,000번에걸친시뮬레이션에기초하고있습니다. 5번째 일원분산분석 12

표본의표준편차를다른표본보다 2배및 4배로높임으로써표준편차에대한두가지조건을검정했습니다. 표본크기에대한세가지조건, 즉표본크기가같고, 5번째표본이나머지보다크고, 5번째표본이나머지보다작은경우를검정했습니다. 표 1 목표유의수준 a = 일때모의 F-검정및 Welch 검정의제1종오류율 표준편차 (σ1, σ2, σ3, σ4, σ5) 표본크기 (n1, n2, n3, n4, n5) F- 검정 Welch 검정 1, 1, 1, 1, 2 10, 10, 10, 10, 20.0273.0524 1, 1, 1, 1, 2 20, 20, 20, 20, 20.0678.0462 1, 1, 1, 1, 2 20, 20, 20, 20, 10.1258.0540 1, 1, 1, 1, 4 10, 10, 10, 10, 20.0312.0460 1, 1, 1, 1, 4 20, 20, 20, 20, 20.1065.0533 1, 1, 1, 1, 4 20, 20, 20, 20, 10.2277.0503 표본크기가같을때 (2번및 5번행 ) F-검정이귀무가설을잘못기각할확률은목표값인 보다크고표본편차가더많이다를수록확률이증가합니다. 표준편차가가장큰표본의크기가감소하면문제가더욱악화됩니다. 반면에표준편차가가장큰표본의크기를늘리면기각확률이감소합니다. 그러나표본크기를너무많이늘리면기각확률이너무작아져서귀무가설하에서검정이필요이상으로보수적이될뿐만아니라대립가설하에서도검정의검정력에부정적인영향을미칩니다. 이런결과를모든경우목표유의수준 와가깝게일치하는 Welch 검정과비교하십시오. 다음, k = 7 표본의경우에대해시뮬레이션을실시했습니다. 표의각행에는 10,000번시뮬레이션한 F-검정이요약되어있습니다. 표준편차와표본크기를다양하게변경했습니다. 목표유의수준은 α = 와 α = 입니다. 위와마찬가지로목표값과매우큰차이가있을수있습니다. 변동성이더클때더작은표본크기를사용하면제1종오류발생확률이매우높아지는한편, 더큰표본을사용하면검정이극도로보수적이될수있습니다. 결과는아래표 2에나와있습니다. 일원분산분석 13

표 2 표본이 7 개인 F- 검정의제 1 종오류율 표준편차 표본크기 목표값 α = 목표값 α = (σ1, σ2, σ3, σ4, σ5, σ6, σ7) (n1, n2, n3, n4, n5, n6, n7) 1.85, 1.85, 1.85, 1.85, 1.85, 1.85, 2.9 21, 21, 21, 21, 22, 22, 12 0.0795 0.0233 1.85, 1.85, 1.85, 1.85, 1.85, 1.85, 2.9 20, 21, 21, 21, 21, 24, 12 0.0785 0.0226 1.85, 1.85, 1.85, 1.85, 1.85, 1.85, 2.9 20, 21, 21, 21, 21, 21, 15 0.0712 99 1.85, 1.85, 1.85, 1.85, 1.85, 1.85, 2.9 20, 20, 20, 21, 21, 23, 15 0.0719 72 1.85, 1.85, 1.85, 1.85, 1.85, 1.85, 2.9 20, 20, 20, 20, 21, 21, 18 0.0632 66 1.85, 1.85, 1.85, 1.85, 1.85, 1.85, 2.9 20, 20, 20, 20, 20, 20, 20 76 38 1.85, 1.85, 1.85, 1.85, 1.85, 1.85, 2.9 18, 19, 19, 20, 20, 20, 24 0.0474 33 1.85, 1.85, 1.85, 1.85, 1.85, 1.85, 2.9 18, 18, 18, 18, 18, 18, 32 0.0314 0.0057 1.85, 1.85, 1.85, 1.85, 1.85, 1.85, 2.9 15, 18, 18, 19, 20, 20, 30 0.0400 0.0085 1.85, 1.85, 1.85, 1.85, 1.85, 1.85, 2.9 12, 18, 18, 18, 19, 19, 36 0.0288 0.0064 1.85, 1.85, 1.85, 1.85, 1.85, 1.85, 2.9 15, 15, 15, 15, 15, 15, 50 63 0.0025 1.85, 1.85, 1.85, 1.85, 1.85, 1.85, 2.9 12, 12, 12, 12, 12, 12, 68 0.0052 0.0002 1.75, 1.75, 1.75, 1.75, 1.75, 1.75, 3.5 21, 21, 21, 21, 22, 22, 12 97 0.0436 1.75, 1.75, 1.75, 1.75, 1.75, 1.75, 3.5 20, 21, 21, 21, 21, 24, 12 0.1119 0.0452 1.75, 1.75, 1.75, 1.75, 1.75, 1.75, 3.5 20, 21, 21, 21, 21, 21, 15 0.0996 0.0376 1.75, 1.75, 1.75, 1.75, 1.75, 1.75, 3.5 20, 20, 20, 21, 21, 23, 15 0.0657 0.0345 1.75, 1.75, 1.75, 1.75, 1.75, 1.75, 3.5 20, 20, 20, 20, 21, 21, 18 0.0779 0.0283 1.75, 1.75, 1.75, 1.75, 1.75, 1.75, 3.5 20, 20, 20, 20, 20, 20, 20 0.0737 0.0264 1.75, 1.75, 1.75, 1.75, 1.75, 1.75, 3.5 18, 19, 19, 20, 20, 20, 24 0.0604 0.0204 1.75, 1.75, 1.75, 1.75, 1.75, 1.75, 3.5 18, 18, 18, 18, 18, 18, 32 0.0368 22 1.75, 1.75, 1.75, 1.75, 1.75, 1.75, 3.5 15, 18, 18, 19, 20, 20, 30 0.0390 17 일원분산분석 14

표준편차 표본크기 목표값 α = 목표값 α = (σ1, σ2, σ3, σ4, σ5, σ6, σ7) (n1, n2, n3, n4, n5, n6, n7) 1.75, 1.75, 1.75, 1.75, 1.75, 1.75, 3.5 12, 18, 18, 18, 19, 19, 36 0.0232 0.0046 1.75, 1.75, 1.75, 1.75, 1.75, 1.75, 3.5 15, 15, 15, 15, 15, 15, 50 24 0.0026 1.75, 1.75, 1.75, 1.75, 1.75, 1.75, 3.5 12, 12, 12, 12, 12, 12, 68 0.0027 0.0004 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 3.9 21, 21, 21, 21, 22, 22, 12 0.134 0.0630 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 3.9 20, 21, 21, 21, 21, 24, 12 0.1329 0.0654 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 3.9 20, 21, 21, 21, 21, 21, 15 0.1101 0.0484 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 3.9 20, 20, 20, 21, 21, 23, 15 0.1121 0.0495 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 3.9 20, 20, 20, 20, 21, 21, 18 0.0876 0.0374 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 3.9 20, 20, 20, 20, 20, 20, 20 0.0808 0.0317 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 3.9 18, 19, 19, 20, 20, 20, 24 0.0606 0.0243 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 3.9 18, 18, 18, 18, 18, 18, 32 0.0356 19 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 3.9 15, 18, 18, 19, 20, 20, 30 0.0412 34 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 3.9 12, 18, 18, 18, 19, 19, 36 0.0261 0.0068 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 3.9 15, 15, 15, 15, 15, 15, 50 00 0.0023 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 1.68333, 3.9 12, 12, 12, 12, 12, 12, 68 0.0017 0.0003 1.55, 1.55, 1.55, 1.55, 1.55, 1.55, 4.7 21, 21, 21, 21, 22, 22, 12 0.1773 06 일원분산분석 15

표준편차 표본크기 목표값 α = 목표값 α = (σ1, σ2, σ3, σ4, σ5, σ6, σ7) (n1, n2, n3, n4, n5, n6, n7) 1.55, 1.55, 1.55, 1.55, 1.55, 1.55, 4.7 20, 21, 21, 21, 21, 24, 12 0.1811 40 1.55, 1.55, 1.55, 1.55, 1.55, 1.55, 4.7 20, 21, 21, 21, 21, 21, 15 0.1445 0.0760 1.55, 1.55, 1.55, 1.55, 1.55, 1.55, 4.7 20, 20, 20, 21, 21, 23, 15 0.1448 0.0786 1.55, 1.55, 1.55, 1.55, 1.55, 1.55, 4.7 20, 20, 20, 20, 21, 21, 18 0.1164 72 1.55, 1.55, 1.55, 1.55, 1.55, 1.55, 4.7 20, 20, 20, 20, 20, 20, 20 20 03 1.55, 1.55, 1.55, 1.55, 1.55, 1.55, 4.7 18, 19, 19, 20, 20, 20, 24 0.0834 0.0369 1.55, 1.55, 1.55, 1.55, 1.55, 1.55, 4.7 18, 18, 18, 18, 18, 18, 32 0.0425 59 1.55, 1.55, 1.55, 1.55, 1.55, 1.55, 4.7 15, 18, 18, 19, 20, 20, 30 0.0463 68 1.55, 1.55, 1.55, 1.55, 1.55, 1.55, 4.7 12, 18, 18, 18, 19, 19, 36 0.0305 03 1.55, 1.55, 1.55, 1.55, 1.55, 1.55, 4.7 15, 15, 15, 15, 15, 15, 50 0.0082 0.0021 1.55, 1.55, 1.55, 1.55, 1.55, 1.55, 4.7 12, 12, 12, 12, 12, 12, 68 0.0013 0.0001 일원분산분석 16

부록 B: 비교구간 평균비교차트를사용하여모집단평균간차이의통계적인유의성을평가할수있습니다. 그림 1 보조도구일원분산분석요약보고서의평균비교차트 일원분산분석 17

Minitab 의표준일원분산분석절차의결과에서도일련의유사한구간이 나타납니다 ( 통계분석 > 분산분석 > 일원분산분석 ). 그러나위구간은단순히평균의개별적인신뢰구간일뿐입니다. 분산분석검정 (F 또는 Welch) 에서일부평균이다르다는결론이나오면자연스럽게겹치지않는구간을찾고어떤평균이다른지에대한결론을내리고자하는경향이있습니다. 이러한비공식적인개별신뢰구간분석은종종합리적인결론으로이어지지만, 분산분석검정과같은방법으로오류확률을관리하지않습니다. 모집단수에따라구간은차이가있다는결론에도달할확률이검정보다훨씬더크거나작을수있습니다. 그결과두가지방법은서로일치하지않는결론에쉽게도달할수있습니다. 비교차트는다중비교시 Welch 검정결과와더일관되게일치하도록만들어졌지만항상완전한일관성을얻을수있는것은아닙니다. Minitab( 통계분석 > 분산분석 > 일원분산분석 ) 의 Tukey-Kramer 및 Games-Howell 비교와같은다중비교방법을사용하면개별평균간의차이에대한통계적으로타당한결론을도출할수있습니다. 이두가지방법은각평균쌍의차이에대한구간을제공하는쌍비교방법입니다. 모든구간에추정하는차이가동시에포함될확률은이상입니다. Tukey-Kramer 방법은등분산가정에의존하는한편, Games-Howell 방법은등분산을요구하지않습니다. 동일평균귀무가설이참이면모든차이가 0이고 Games-Howell 구간에 0이하나도포함되지않을확률은최대 α입니다. 따라서구간을사용하여유의수준이인가설검정을수행할수있습니다. 당사는 Games-Howell 구간을보조도구에서비교차트구간을도출하는시작점으로사용합니다. 일원분산분석 18

모든차이 μ i μ j(1 i < j k) 에대한구간집합 [L ij, U ij] 에대해같은정보를제공하는개별 평균 μ i(1 i k) 에대한구간집합 [L i, U i] 을찾고자합니다. 이를위해차이 d 가 μ i [L i, U i ] 및 μ j [L j, U j ] 가존재하고 μ i μ j = d. 일경우에만구간 [L ij, U ij] 안에있어야합니다. 구간의 끝점은등식에의해연관되어야합니다. U i L j = U ij 과 L i U j = L ij. k = 2 일경우에는차이가하나뿐이지만개별구간이 2 개이므로정확한비교구간을얻을수 있습니다. 실제로이조건을충족하는구간너비는상당히유연합니다. k = 3 일경우차이와 개별구간이각각 3 개이므로조건을충족하는것도가능하지만, 이제는구간너비를유연하게 설정할수없습니다. k = 4 일경우차이가 6 개지만개별구간은 4 개뿐입니다. 비교구간은 같은정보를더적은구간을사용하여전달해야합니다. 일반적으로 k 4 일경우차이가개별 평균보다많으므로차이가있는구간에같은너비등의추가적인조건을지정하지않는한 정확한해결방법이없습니다. Tukey-Kramer 구간은표본크기가같을경우에만너비가같습니다. 같은너비는등분산 가정의결과이기도합니다. Games-Howell 구간은등분산을가정하지않으므로너비가같지 않습니다. 보조도구에서는근사방법에의존하여비교구간을정의해야합니다. μ i μ j 에대한 Games-Howell 구간은다음과같습니다. x i x j ± q (k, ν ij) s 2 i n i + s 2 j n j 여기서 q (k, ν ij) 는비교하는평균의수인 k 와쌍 (i, j) 과연관된자유도인 ν ij 에좌우되는표준화범위분포의해당백분위수입니다. ν ij = ( s i 2 2 n ) i ( s i 2 + s 2 j n i n ) j 2 2 1 n i 1 + (s j n ) j 2. 1 n j 1 Hochberg, Weiss & Hart(1982) 는다음을사용하여이런쌍비교와대략적으로동일한개별 구간을얻었습니다. x i ± q (k, ν) s p X i. X i 값은다음을최소화하도록선택됩니다. 설명 : (X i + X j a ij ) 2 i j, a ij = 1 n i + 1 n j. 일원분산분석 19

다음형식의 Games-Howell 비교에서구간을도출하여이방식을이분산에맞게수정합니다. x i ± d i. d i 값은다음을최소화하도록선택됩니다. 설명 : (d i + d j b ij ) 2 i j, b ij = q (k, ν ij) s 2 i n i + s 2 j n j. 해는다음과같습니다. d i = 1 b k 1 j i ij 1 b (k 1)(k 2) j i,l i,j<l jl. 아래그래프에서는두가지방법, 즉현재사용하는 Games-Howell에기반을둔방법과 Minitab 16 릴리스에서사용하던자유도평균계산에기초한방법을사용하여 Welch 검정시뮬레이션결과를비교구간결과와비교합니다. 수직축은 10,000번의시뮬레이션중에서 Welch 검정에의해귀무가설이잘못기각되거나일부비교구간이겹치지않은횟수의비율입니다. 각예에서목표알파는 α = 입니다. 각시뮬레이션은표준편차와표본크기가같지않은다양한경우를포함합니다. 수평축의각위치는서로다른경우를나타냅니다. 그림 2 3 개표본에대해비교구간을계산하는두가지방법과비교한 Welch 검정 일원분산분석 20

그림 3 5 개표본에대해비교구간을계산하는두가지방법과비교한 Welch 검정 그림 4 7 개표본에대해비교구간을계산하는두가지방법과비교한 Welch 검정 일원분산분석 21

이러한결과는목표값 주위의좁은범위에시뮬레이트된알파값을표시합니다. 또한 Minitab 릴리스 17에서구현된 Games-Howell에기반을둔방법을사용한결과는 Minitab 16 릴리스에사용된방법보다 Welch 검정의결과와더가깝게일치한다고할수있습니다. 구간의포함확률이다른표준편차에민감할수있다는증거가있습니다. 그러나민감도는 F- 검정보다훨씬덜극단적입니다. 아래그래프에서는 k = 5인경우의해당의존성을나타냅니다. 그림 5 다른표준편차를사용한시뮬레이션결과 가설검정과비교구간함께사용 드물지만가설검정과비교에서귀무가설기각에대해일치하지않는결과가나타나는경우가있습니다. 검정에서귀무가설이기각되더라도비교구간이모두겹칠수있습니다. 반대로, 검정에서귀무가설을기각하지못해도겹치지않는구간이있을수있습니다. 그러나두가지방법모두참인귀무가설을기각할확률이같기때문에이렇게불일치하는결과가나오는경우는드뭅니다. 이런경우에는먼저검정결과를고려하고검정이유의할경우비교를사용하여추가로조사합니다. 검정에서귀무가설이유의수준 α로기각되면, 하나이상의다른구간과겹치지않는비교구간이빨간색으로표시됩니다. 이는해당그룹평균이적어도다른하나와 일원분산분석 22

다르다는시각적단서로사용됩니다. 모든구간이겹치는경우에도검정이유의하면겹치는부분이가장작은쌍이빨간색으로표시되어 " 가장확률이높은 " 차이를나타냅니다 ( 아래그림 6 참조 ). 이는특히겹치는부분이매우적은다른쌍이있을경우다소임의적인선택입니다. 그러나차이의한계가 0보다더가까운다른쌍은없습니다. 그림 6 구간이표본간에겹치는경우에도빨간색으로표시된유의한검정 검정에서귀무가설을기각하지못할경우, 겹치지않는구간이있어도빨간색으로표시되는구간이없습니다 ( 아래그림 7 참조 ). 이런구간은평균간에차이가있음을암시하지만, 귀무가설을기각하지못하는것은귀무가설이참이라는결론을내리는것과는다릅니다. 단지관측된차이가확률을원인으로배제할만큼크지않음을나타낼뿐입니다. 또한이런상황에서는겹치지않는구간사이의간격이일반적으로매우작으므로, 매우작은차이가여전히구간과일치하고실질적인영향이있는차이가있음을나타내는것이아닐수있음을언급해야합니다. 일원분산분석 23

그림 7 검정실패, 표본간에겹치는부분이없을때도빨간색으로표시되는구간없음 일원분산분석 24

부록 C: 표본크기 일원분산분석에서검정하려는모수는서로다른그룹또는모집단의모집단평균 μ 1, μ 2, μ k 입니다. 모수가같으면귀무가설이충족됩니다. 평균간에차이가있으면대립가설이 충족됩니다. 귀무가설을기각할확률은평균이귀무가설을충족할경우 α 보다크지않아야 합니다. 실제확률은분포의표준편차와표본크기에따라결정됩니다. 귀무가설이탈을 탐지하는검정력은표준편차가작거나표본이클수록증가합니다. 비중심 F 분포를사용하여표준편차가같은정규분포가정하에서 F- 검정의검정력을 계산할수있습니다. 비중심모수는다음과같습니다. k i=1 θ F = n i (μ i μ) 2 σ 2 여기서 μ 는평균의가중평균이고, k k i=1, μ = i=1 n i μ i / n i σ 는상수라고가정되는표준편차입니다. 다른모든조건이같으면검정력은 θ F 와함께 증가합니다. 이는평균이귀무가설에서더멀리이탈할수록검정력이증가하는경우정확히 해당됩니다. F- 검정과달리 Welch 검정은검정력을간단히계산하는정확한공식이없습니다. 그러나 여기서는합당한수준으로우수한근사공식 2 개를살펴볼것입니다. 첫근사공식은 F- 검정의검정력과유사한방법으로비중심 F- 분포를사용합니다. 비중심모수는여전히다음 형식을사용합니다. 여기서 μ 는가중평균입니다. k μ = i=1 w i μ i j=1 w j k k θ W = w i (μ i μ) 2 i=1 그러나가중치는알려진표준편차 σ i 2 에대한결과를시뮬레이션하거나표본표준편차 s i 2 을 2 2 추정하는경우에따라표준편차와표본크기, 즉 w i = n i σ i 또는 w i = n i s i 에따라 결정됩니다. 따라서근사검정력은다음과같이계산됩니다. 여기서분모자유도는다음과같습니다. P(F k 1,f,θw F k 1,f,1 α ) f = k 2 1 3 k (1 w i k i=1 j=1 w j ) (n i 1). 일원분산분석 25

아래에나와있는것처럼이식은시뮬레이션에서관측된검정력에대한합당한수준으로우수한근사를제공합니다. 보조도구메뉴에서검정력을계산하는데는다른근사가사용되지만, 위의근사식은좋은통찰력을부여하고보조도구메뉴에서검정력을계산하는데사용하는평균구성을선택하는기초가됩니다. 평균구성 Minitab( 통계분석 > 분산분석 > 일원분산분석 ) 에서검정력과표본크기에대해사용되는방식에따라보조도구는사용자에게검정력을평가할평균의전체집합을요청하지않습니다. 대신, 실질적인영향이있는평균간차이를사용자에게요청합니다. 제공된차이에대해최대및최소평균이해당양만큼차이가나는가능한평균구성의수는무한합니다. 예를들어다음은모두 5개평균집합에서최대차이가 10입니다. μ 1 = 0, μ 2 = 5, μ 3 = 5, μ 4 = 5, μ 5 = 10; μ 1 = 5, μ 2 = 0, μ 3 = 10, μ 4 = 10, μ 5 = 0; μ 1 = 0, μ 2 = 10, μ 3 = 0, μ 4 = 0, μ 5 = 0; 그리고무한히더많이있습니다. 여기서는 Minitab( 통계분석 > 검정력과표본크기 > 일원분산분석 ) 에서검정력과표본크기에사용되는 2개평균을제외한모든평균이평균의 ( 가중 ) 평균과일치하고나머지 2개평균이지정된양만큼차이가나는경우를선택하는방식을따릅니다. 그러나분산과표본크기가같지않을가능성으로인해비중심모수 ( 따라서검정력 ) 는여전히차이가나는것으로가정되는평균 2개에따라결정됩니다. 2개를제외한모든평균이전체가중평균 μ와같고두평균 ( 예 : μ i > μ j,) 이서로다르고전체평균과다른평균구성 μ 1,, μ k 가있다고생각해보십시오. Δ = μ i μ j 는두평균의차이를나타냅니다. Δ i = μ i μ 및 Δ j = μ μ j 입니다. 따라서 Δ = Δ i + Δ j 입니다. 또한 μ는모든 k개평균의가중평균을나타내고 (k 2) 개의평균은 μ와같다고가정되므로다음이성립합니다. μ = [ w l μ l + w i (μ + i ) l i,j k k + w j (μ j )] w l = μ + (w i i w j j ) w l. l=1 l=1 따라서 w i i = w j j = w j ( i ) 고, 그러므로 i = w j w i + w j 일원분산분석 26

j = w i w i + w j 이특정한평균구성에대해 Welch 검정과관련된비중심모수를다음과같이계산할수 있습니다. θ W = w i (μ i μ) 2 + w j (μ j μ) 2 = w iw j 2 2 + w j w i 2 2 (w i + w j ) 2 = w iw j 2 w i + w j 이수량은 w j 가고정일경우 w i 에서증가하고, 반대의경우도성립합니다. 그러므로가중치가 가장큰쌍 (i, j) 에서극대화되고가중치가가장작은쌍에서최소화됩니다. 모든검정력 계산에는정확히 2 개의평균이평균의전체가중평균과다르다는가정하에서검정력을 최소화하고극대화하는두가지의극단적인경우가고려됩니다. 검정에대해차이를지정하면최대및최소검정력값이해당차이에대해평가됩니다. 해당 검정력의범위는보고서에 60% 이하의검정력은빨간색이고 90% 이상의검정력은 녹색이고, 60% 에서 90% 사이의검정력은노란색인색상별막대로표시됩니다. 보고서카드 결과는이색상별척도에서검정력범위가어디에속하는지에따라결정됩니다. 전체범위가 빨간색에속하면모든그룹쌍의검정력이 60% 이하이고빨간색아이콘이보고서카드에 표시되어검정력이불충분한문제가있음을나타냅니다. 전체범위가녹색에속하면모든 그룹의검정력이 90% 이상이고보고서카드에녹색아이콘이표시되어검정력이충분한 조건임을나타냅니다. 기타모든조건은보고서카드에노란색아이콘으로표시되는중간 상황으로간주됩니다. 녹색조건이충족되지않는경우보조도구는사용자가지정한차이와관측된표본표준 편차에따라녹색조건을가져올표본크기를계산합니다. 추정검정력은가중치 w i = 2 n i s i. 을통해표본크기에따라결정됩니다. 모든표본의표본크기가같다고가정하면최소 가중치 2 개는표본표준편차가가장큰그룹 2 개에해당됩니다. 보조도구는지정된차이가 변동성이가장큰두그룹사이에있을경우최소 90% 이상의검정력을부여하는표본크기를 찾습니다. 따라서모든그룹에대해이크기이상의표본을추출하면전체검정력값의범위가 녹색조건을충족하는 90% 이상이되는결과로이어집니다. 사용자가검정력계산에사용할차이를지정하지않으면보조도구는계산된검정력범위의 최대값이 60% 가되는최대차이를찾습니다. 이값은 60% 검정력에해당되는막대의 빨간색과노란색부분사이의경계에표시됩니다. 계산된검정력범위의최소값이 90% 가 되는최소차이도찾습니다. 이값은 90% 검정력에해당되는막대의노란색과녹색부분 사이의경계에표시됩니다. 일원분산분석 27

검정력계산 검정력은 Kulinskaya 외 (2003) 로인해근사를사용하여계산됩니다. 정의 : λ = k i=1 w i (μ i μ) 2, A = k i=1 h i, k B = i=1 w i (μ i μ) 2 (1 w i /W)/(n i 1), k D = i=1 w 2 i (μ i μ) 4 /(n i 1), E = k i=1 w 3 i (μ i μ) 6 /(n i 1) 2. Welch 통계의계산자 k i=1 w i (x i μ ) 2 의첫누적률 3개는다음과같이추정할수있습니다. κ 1 = k 1 + λ + 2A + 2B, κ 2 = 2(k 1 + 2λ + 7A + 14B + D), κ 3 = 8(k 1 + 3λ + 15A + 45B + 6D + 2E). F k 1, f, 1 α 는 F(k 1, f) 분포의 (1 α) 분위수를나타냅니다. W* F k 1, f, 1 α 는크기가 α 인 Welch 검정에서귀무가설을기각하는기준입니다. 다음과같을경우 q = (k 1) [1 + 2(k 2)A k 2 1 ] F k 1,f,1 α, b = κ 1 2κ 2 2 /κ 3, c = κ 3 (4κ 2 ) [ 참고 : c의식은 Kulinskaya 외 (2003) 에괄호없이나와있습니다.] ν = 8κ 2 3 /κ 3 2. Welch 검정의추정근사검정력은다음과같습니다. P(χ v 2 q b ) c 여기서 χ v 2 은자유도가 v 인카이제곱무작위변수입니다. 일원분산분석 28

다음결과는 10,000 번에걸친시뮬레이션에기초하여근사방법 2 개의검정력과광범위한 예의모의검정력을비교합니다. 표 3 모의검정력과비교한두근사방법의검정력계산 예알파모의검정력비중심 F Kulinskaya 외 μ s: 0, 0, 0, -0.1724, 0.8276 0.1372 0.135702 0.135795 σ s: 2, 2, 2, 2, 4 0.0739 0.072563 0.069512 n s: 12, 12, 12, 12, 10 95 6587 2538 μ s: 0, 0, 0, -0.3448, 1.6552 0.2498 0.251064 0.257455 σ s: 2, 2, 2, 2, 4 0.1574 0.153128 0.156215 n s: 12, 12, 12, 12, 10 41 0.045211 0.042195 μ s: 0, 0, 0, -0.5172, 2.4828 0.4534 0.44557 0.453506 σ s: 2, 2, 2, 2, 4 0.3211 0.311994 0.321575 n s: 12, 12, 12, 12, 10 0.1273 0.121225 0.125065 μ s: 0, 0, 0, -0.6896, 3.3104 0.662 0.671317 0.670296 σ s: 2, 2, 2, 2, 4 0.5219 0.533819 0.538617 n s: 12, 12, 12, 12, 10 0.2842 0.271316 0.282759 μ s: 0, 0, 0, -0.8620, 4.1380 0.8417 0.852589 0.846697 σ s: 2, 2, 2, 2, 4 0.7382 0.752173 0.746121 n s: 12, 12, 12, 12, 10 0.4883 0.487601 0.49323 μ s: 0, 0, 0, -1.0344, 4.9656 0.9429 0.952077 0.954929 σ s: 2, 2, 2, 2, 4 0.8866 0.901485 0.897937 n s: 12, 12, 12, 12, 10 0.691 0.711055 0.703379 μ s: 0, 0, 0, 0, 0, -0.148148, 1.85185 0.2011 0.189392 0.200114 σ s: 2, 2, 2, 2, 2, 2, 5 0.1201 8986 0.11742 n s: 20, 20, 20, 20, 20, 20, 10 0.0385 0.028986 0.031456 μ s: 0, 0, 0, 0, 0, -0.296296, 3.70370 0.4942 0.485917 0.500143 σ s: 2, 2, 2, 2, 2, 2, 5 0.3677 0.351593 0.375296 n s: 20, 20, 20, 20, 20, 20, 10 0.177 0.149041 0.177189 일원분산분석 29

예알파모의검정력비중심 F Kulinskaya 외 μ s: 0, 0, 0, 0, 0, -0.444444, 5.55556 0.8125 0.829702 0.819542 σ s: 2, 2, 2, 2, 2, 2, 5 0.7131 0.727384 0.720807 n s: 20, 20, 20, 20, 20, 20, 10 0.4876 0.474291 0.49469 μ s: 0, 0, 0, 0, 0, -0.592593, 7.40741 0.9645 0.977211 0.984213 σ s: 2, 2, 2, 2, 2, 2, 5 0.9286 0.949997 0.949239 n s: 20, 20, 20, 20, 20, 20, 10 0.7938 0.831174 0.814067 μ s: 0, 0, 0, 0, 0, -0.740741, 9.25926 0.9961 0.998947 σ s: 2, 2, 2, 2, 2, 2, 5 0.9895 0.996653 n s: 20, 20, 20, 20, 20, 20, 10 0.9528 0.977536 0.98705 μ s: 0, 0, 0, 0, 0, -0.888889, 11.1111 0.9999 0.999985 σ s: 2, 2, 2, 2, 2, 2, 5 0.9995 0.999926 n s: 20, 20, 20, 20, 20, 20, 10 0.9943 0.99891 μ s: 0, 0, 0, 0, 0, -0.518519, 6.48148 0.9059 0.929392 0.924696 σ s: 2, 2, 2, 2, 2, 2, 5 0.8403 0.868721 0.85672 n s: 20, 20, 20, 20, 20, 20, 10 0.6511 0.67121 0.66652 μ s: 0, 0, 0, 0, 0, -.5,.5 0.187 0.186658 0.18329 σ s: 2, 2, 2, 2, 2, 2, 2 98 6600 0189 n s: 12, 12, 12, 12, 12, 12, 12 0.0315 0.027773 0.021332 μ s: 0, 0, 0, 0, 0, -1, 1 0.4734 0.474736 0.472469 σ s: 2, 2, 2, 2, 2, 2, 2 0.3394 0.338655 0.33443 n s: 12, 12, 12, 12, 12, 12, 12 0.1378 0.137788 0.128693 μ s: 0, 0, 0, 0, 0, -1.5, 1.5 0.8228 0.817355 0.810181 σ s: 2, 2, 2, 2, 2, 2, 2 0.7112 0.707319 0.698461 n s: 12, 12, 12, 12, 12, 12, 12 0.4391 0.441154 0.431868 μ s: 0, 0, 0, 0, 0, -2, 2 0.9691 0.973246 0.973319 σ s: 2, 2, 2, 2, 2, 2, 2 0.9312 0.940585 0.936546 n s: 12, 12, 12, 12, 12, 12, 12 0.7817 0.799339 0.785099 일원분산분석 30

예알파모의검정력비중심 F Kulinskaya 외 μ s: 0, 0, 0, 0, 0, -2.5, 2.5 0.9984 0.998579 0.999763 σ s: 2, 2, 2, 2, 2, 2, 2 0.9936 0.99533 0.997481 n s: 12, 12, 12, 12, 12, 12, 12 0.9587 0.967674 0.966249 μ s: 0, 0, 0, 0, 0, -3, 3 0.999975 σ s: 2, 2, 2, 2, 2, 2, 2 0.9997 0.99987 n s: 12, 12, 12, 12, 12, 12, 12 0.9959 0.997927 0.99961 μ s: 0, 0, 0, 0, 0, -3.5, 3.5 σ s: 2, 2, 2, 2, 2, 2, 2 n s: 12, 12, 12, 12, 12, 12, 12 0.99998 0.99995 μ s: 0, 0, 0, 0, 0, -1.75, 1.75 0.914 0.921225 0.916652 σ s: 2, 2, 2, 2, 2, 2, 2 0.8418 0.852755 0.843856 n s: 12, 12, 12, 12, 12, 12, 12 0.619 0.633815 0.620704 μ s: 0, -0.5, 0.5 0.2548 0.259249 0.257149 σ s: 2, 2, 2 0.1549 0.160861 0.156251 n s: 12, 12, 12 0.0470 0.049045 0.042292 μ s: 0, -1, 1 0.654 0.659073 0.654105 σ s: 2, 2, 2 0.5205 0.522885 0.515816 n s: 12, 12, 12 0.2612 0.26355 0.252469 μ s: 0, -1.5, 1.5 0.9364 0.935939 0.937768 σ s: 2, 2, 2 0.8747 0.87562 0.872608 n s: 12, 12, 12 0.6614 0.664478 0.652563 μ s: 0, -1.75, 1.75 0.981 0.981434 0.986815 σ s: 2, 2, 2 0.9522 0.9561 0.959796 n s: 12, 12, 12 0.8251 0.830726 0.823624 μ s: 0, -2, 2 0.9953 0.995969 0.999332 σ s: 2, 2, 2 0.9878 0.988175 0.993705 n s: 12, 12, 12 0.9308 0.931922 0.933446 일원분산분석 31

예알파모의검정력비중심 F Kulinskaya 외 μ s: 0, -2.5, 2.5 0.9999 0.999923 σ s: 2, 2, 2 0.9997 0.999634 n s: 12, 12, 12 0.9949 0.994725 0.99909 μ s: 0, -3, 3 σ s: 2, 2, 2 n s: 12, 12, 12 0.9999 0.99985 μ s: 0, -3.5, 3.5 σ s: 2, 2, 2 n s: 12, 12, 12 0.9999 μ s: 0, -0.142857, 0.857143 0.1452 0.143156 0.146824 σ s: 2, 2, 4 0.0790 0.077699 0.077538 n s: 14, 12, 8 0.0223 8200 4338 μ s: 0, -0.285714, 1.71429 0.2765 0.27424 0.286222 σ s: 2, 2, 4 0.1787 0.170628 0.179469 n s: 14, 12, 8 0.0624 1588 0335 μ s: 0, -0.428571, 2.57143 0.4861 0.476925 0.490018 σ s: 2, 2, 4 0.3487 0.338626 0.355743 n s: 14, 12, 8 0.1467 0.132405 0.141352 μ s: 0, -0.50000, 3 0.5846 0.588533 0.596795 σ s: 2, 2, 4 0.4425 0.444491 0.460707 n s: 14, 12, 8 0.2107 0.19729 0.212798 μ s: 0, -0.571429, 3.42857 0.6933 0.694684 0.696773 σ s: 2, 2, 4 0.5631 0.555731 0.567129 n s: 14, 12, 8 0.3052 0.279131 0.299302 μ s: 0, -0.714286, 4.28571 0.848 0.861469 0.859329 σ s: 2, 2, 4 0.7402 0.759703 0.759762 n s: 14, 12, 8 0.4871 0.480052 0.497421 일원분산분석 32

예알파모의검정력비중심 F Kulinskaya 외 μ s: 0, -0.857143, 5.14286 0.9434 0.952562 0.961913 σ s: 2, 2, 4 0.8869 0.898817 0.902716 n s: 14, 12, 8 0.6649 0.687058 0.692591 μ s: 0, -1, 6 0.9849 0.987981 0.999989 σ s: 2, 2, 4 0.9609 0.967589 0.985049 n s: 14, 12, 8 0.8294 0.847436 0.853787 μ s: 0, -1.14286, 6.85714 0.9976 0.997776 σ s: 2, 2, 4 0.989 0.99222 n s: 14, 12, 8 0.9222 0.940972 0.96383 μ s: 1, 2, 3 0.8838 0.882194 0.884649 σ s: 0.3, 2.4, 3.6 0.7995 0.797869 0.802137 n s: 13, 19, 25 0.5632 0.556486 0.563208 μ s: 1, 2, 3 0.5649 0.566831 0.565141 σ s: 2.77489, 2.77489, 2.77489 0.4305 0.431302 0.428126 n s: 13, 19, 25 0.1994 0.201329 0.195734 위결과는각근사와시뮬레이션에의해추정된검정력값의불일치가표시된아래그래프에 요약되어있습니다. 일원분산분석 33

그림 8 두검정력근사와시뮬레이션에의해추정된검정력의비교 일원분산분석 34

부록 D: 정규성 다음항목에는여러비정규분포에서추출한중간이하크기의표본을사용하여 Welch 검정과비교구간의성능을조사한시뮬레이션이나와있습니다. 아래표에는동일평균귀무가설하에서다양한분포유형에대해실시한시뮬레이션결과가요약되어있습니다. 각예의표준편차도모두같고모든표본의크기가같습니다. 표본개수 k = 3, 5 또는 7입니다. 각셀에는 10,000번에걸친시뮬레이션에기초한제1종오류율의추정치가나와있습니다. 목표유의수준 ( 목표 α) 은 입니다. 표 4 서로다른분포에대해같은평균을사용한 Welch 검정의시뮬레이션결과 표본크기 n = 10 표본크기 n = 15 분포 k = 3 k = 5 k = 7 k = 3 k = 5 k = 7 N(0,1) 0.0490 0.0486 12 34 22 50 T(3) 0.0371 0.0361 0.0348 0.0353 0.0385 0.0365 T(5) 0.0440 0.0425 0.0439 0.0435 0.0428 0.0428 Laplace(0,1) 0.0433 0.0354 0.0345 0.0445 0.0397 0.0407 균등 (-1, 1) 44 0.0640 0.0718 17 73 85 베타 (3, 3) 04 77 0.0622 01 38 64 지수 08 0.0621 0.0748 0.0483 0.0633 0.0779 카이 - 제곱 (3) 0.0473 79 0.0753 0.0499 88 0.0703 카이 - 제곱 (5) 0.0458 94 0.0643 04 0.0606 0.0679 카이 - 제곱 (10) 0.0463 10 85 0.0463 52 67 베타 (8, 1) 00 0.0622 0.0775 49 0.0653 0.0760 제 1 종오류율은모두표본크기가 10 일때도목표 α 의 3% 이내였습니다. 그룹이더많고 분포가정규분포와거리가멀수록차이가더많이나는경향이있습니다. 표본크기가 10 일 때합격확률이 2% 보다높은경우는 k = 7 일때뿐이었습니다. 이런경우는정규분포보다 일원분산분석 35

꼬리가훨씬더짧은균등분포와매우치우친지수, 카이-제곱 (3) 및베타 (8, 1) 분포에서만발생합니다. 표본크기를 15로늘리면균등분포에대한결과가현저히개선되지만매우치우친분포 2개는그렇지않습니다. 비교구간에대해유사한시뮬레이션을수행했습니다. 이경우시뮬레이트된 α는 10,000번중에일부구간이겹치지않는시뮬레이션의수입니다. 목표 α = 입니다. 표 5 서로다른분포에대해같은평균을사용한비교구간시뮬레이션결과 표본크기 n = 10 표본크기 n = 15 분포 k = 3 k = 5 k = 7 k = 3 k = 5 k = 7 N(0,1) 0.0493 0.0494 0.0469 38 18 61 t(3) 0.0378 0.0321 0.0254 0.0347 0.0343 0.0289 t(5) 0.0449 0.0399 0.0361 0.0447 0.0444 0.0412 Laplace(0,1) 0.0438 0.0305 0.0246 0.0456 0.0366 0.0348 균등 (-1, 1) 59 0.0605 0.0699 34 0.0607 90 베타 (3, 3) 15 69 0.0615 10 53 68 지수 0.0353 0.0254 0.0207 0.0346 0.0310 0.0275 카이 - 제곱 (3) 0.0375 0.0305 0.0296 0.0384 0.0359 0.0339 카이 - 제곱 (5) 0.0405 0.0390 0.0353 0.0417 0.0433 0.0416 카이 - 제곱 (10) 0.0425 0.0428 0.0447 0.0435 0.0476 0.0464 베타 (8, 1) 0.0381 0.0352 0.0287 0.0459 0.0428 0.0403 Welch 검정과마찬가지로, 제1종오류율은모두표본크기가 10일때도목표 α의 3% 이내였습니다. 표본이더많고분포가정규분포와거리가멀수록차이가더많이나는경향이있습니다. 표본크기가 10일때오류율은때때로 k = 7일경우 ( 그리고 k = 5일경우한번 ) 2% 넘게차이가났습니다. 이런경우는자유도가 3인꼬리가매우두꺼운 t 분포, Laplace 분포, 그리고매우치우친지수및카이-제곱 (3) 분포에서발생합니다. 표본크기를 15로늘리면결과가개선되어 t(3) 및지수분포만모의 α 값이목표값을 2% 이상벗어납니다. Welch 검정의결과와달리비교구간의경우더큰차이는보수적인편입니다. 일원분산분석 36

보조도구의일원분산분석에서는최대 k = 12 표본까지허용되므로다음에는표본이 7개보다많은경우의결과를고려합니다. 아래표에는 k = 9 그룹에서비정규데이터에 Welch 검정을사용한제1종오류율이나와있습니다. 이번에도목표 α = 입니다. 표 6 표본이 9개인서로다른분포에대한 Welch 검정시뮬레이션결과 분포 k = 9 t(3) 0.0362 t(5) 0.0426 Laplace(0,1) 0.0402 균등 (-1, 1) 0.0625 베타 (3, 3) 84 지수 0.0885 카이 - 제곱 (3) 0.0774 카이 - 제곱 (5) 0.0686 카이 - 제곱 (10) 81 베타 (8, 1) 0.0863 매우치우친분포는목표 α에서가장크게벗어납니다. 목표값에서 4% 이상벗어나는오류율은없지만지수분포는 4% 가까이벗어납니다. 보고서카드에서는표본크기가 15면모든결과가적어도합당한수준에서목표 α에가깝기때문에비정규데이터문제플래그를표시하지않는데충분하다고간주됩니다. 크기 n = 15인표본에서는 k = 12 표본에도달하자검정력이좋지못했습니다. 아래에서는광범위한표본크기에대해극단적인비정규분포를사용하여실시한 Welch 검정의시뮬레이션결과를고려합니다. 이는표본크기에대한합당한기준을도출하는데도움이될것입니다. 표 7 표본이 12개인서로다른분포에대한 Welch 검정시뮬레이션결과 n T(3) 균등분포카이 - 제곱 (5) 10 0.0397 0.0918 0.0792 일원분산분석 37

n T(3) 균등분포카이 - 제곱 (5) 15 0.0351 0.0695 0.0717 20 0.0362 0.0622 0.0671 30 0.0408 73 0.0657 이런분포에대해목표 α에서 2% 약간넘게벗어나는것을받아들일수있는경우 n = 15로충분합니다. 차이를 2% 미만으로유지하려면표본크기가 20이되어야합니다. 이제보다치우친카이-제곱 (3) 및지수분포에서얻은결과를고려합니다. 표 8 표본이 12개인카이-제곱및지수분포에대한 Welch 검정시뮬레이션결과 n 카이 - 제곱 (3) 지수 10 13 64 15 0.0854 79 20 0.0850 0.0951 30 0.0746 0.0829 40 0.0727 0.0735 50 0.0675 0.0694 이처럼매우치우친분포는더큰문제를제기합니다. 목표 α = 에서 3% 를훨씬넘는차이를받아들일수있을경우카이-제곱 (3) 분포에대해서도 n = 15가충분하다고간주할수있지만, 지수분포의경우에는 n = 30에가까운표본개수가필요할것입니다. 특정표본크기의기준은약간임의적이고 n = 20이면광범위한분포에매우효과적이고극도로치우친분포에도어느정도효과적이지만, 10-12개표본의경우 n = 20을최소권장표본크기로사용합니다. 극도로치우친분포에대해서도차이를매우작게유지해야할경우에는더큰표본이권장됩니다. 2015, 2017 Minitab Inc. All rights reserved. Minitab, Quality. Analysis. Results. and the Minitab logo are all registered trademarks of Minitab, Inc., in the United States and other countries. See minitab.com/legal/trademarks for more information. 일원분산분석 38