REVIEW ARTICLE 대한간호학회지제 45 권제 5 호, 2015 년 10 월 ISSN (Print) 2005-3673 ISSN (Online) 2093-758X J Korean Acad Nurs Vol.45 No.5, 641-649 http://dx.doi.org/10.4040/jan.2015.45.5.641 간호학연구에서효과크기의사용에대한고찰 호서대학교응용통계학과 A Review on the Use of Effect Size in Nursing Research Kang, Hyuncheol Yeon, Kyupil Han, Sang-Tae Department of Applied Statistics, Hoseo University, Asan, Korea Purpose: The purpose of this study was to introduce the main concepts of statistical testing and effect size and to provide researchers in nursing science with guidance on how to calculate the effect size for the statistical analysis methods mainly used in nursing. Methods: For t-test, analysis of variance, correlation analysis, regression analysis which are used frequently in nursing research, the generally accepted definitions of the effect size were explained. Results: Some formulae for calculating the effect size are described with several examples in nursing research. Furthermore, the authors present the required minimum sample size for each example utilizing G*Power 3 software that is the most widely used program for calculating sample size. Conclusion: It is noted that statistical significance testing and effect size measurement serve different purposes, and the reliance on only one side may be misleading. Some practical guidelines are recommended for combining statistical significance testing and effect size measure in order to mae more balanced decisions in quantitative analyses. Key words: Effect size, Significance probability, Power of test, Statistical significance, Practical significance 서론 간호학분야에서특히경험적연구를수행하여자료를해석할때, 대부분통계적유의성을평가하는방법이널리사용되어왔다. 전통적으로통계적가설검정은 p - 값 ( 유의확률 ) 을산출하고이에근거하여결론을내리는방식으로이루어져왔다. 즉, 검정하려는가설을받아들일수있는가능성의확률이규범적으로정한범위내에있는지를확인하는것이다. 이러한과정을통상 가설검정 또는 연구결과에대한통계적유의성의검정 이라고하며, 연구자는이러한분석과정에의해서단순히연구가설이통계적으로유의한지의여부를 제시한다. 그러나이러한형식의가설검정방법에대하여그에따른연구결과의가치가매우한정적이라는비판이높게일고있다 [1-3]. 즉, 단순히가설검정만을사용하면다른유용한정보가손실되는경우가많으며, 특히검정된통계적유의성에대한효과의크기나양의정도를고려하지못하게되기때문이다 [4]. Sawyer 와 Peter [5] 가 우리의연구가어떤사실의기술이든혹은설명이나예측이든간에, 연구의주요발견결과는검증되어서확증된연구효과의범위와효과를설명하는크기나양으로표시되어야한다 라고지적한바와같이단순가설검정의방법에문제가있음을공감할수있다 [2]. 주요어 : 효과크기, 유의확률, 검정력, 통계적유의성, 실제적유의성 Address reprint requests to : Han, Sang-Tae Department of Applied Statistics, Hoseo University, 20 Hoseo-ro 79 beon-gil, Asan 31499, Korea Tel: +82-41-540-5901 Fax: +82-41-540-5908 E-mail: sthan@hoseo.edu Received: September 2, 2015 Revised: September 3, 2015 Accepted: October 7, 2015 This is an Open Access article distributed under the terms of the Creative Commons Attribution NoDerivs License. (http://creativecommons.org/licenses/by-nd/4.0) If the original wor is properly cited and retained without any modification or reproduction, it can be used and re-distributed in any format and medium. 2015 Korean Society of Nursing Science www.an.or.r
642 또한통계적유의성은실제적유의성과더불어검토되어야할문제이므로통계적유의성만의지나친집착과확대해석은바람직하지않으며, 통계적유의성이검출되지않은연구결과도때로는그자체로휼륭한의미를지닐수있다는점과추후연구에기여할수있다는점에서발표될수있어야할것이다 [6]. 여기에서실제적유의성이란실제적인의미를부여할수있을만큼의연구결과가도출되었는가하는것이다. 통계적유의성의기준으로 p - 값 ( 유의확률 ) 이널리사용되는것과같이실제적유의성의기준으로는효과크기 (effect size) 가널리사용된다. Cohen [7] 은효과크기를 연구된결과가모집단에실제적으로존재할가능성의정도혹은귀무가설의오류가일어날가능성의정도 라고표현하였다. 효과크기는연구결과의해석을용이하게하고, 연구의타당성을보다높일수있으며, 실제적적용성에대한가치도높일수있다 [8]. 효과크기를연구결과에함께보고하는것이바람직한이유는유의성을검정하는것이연구의효과성을측정하는유일한지표는아니기때문이다. 왜냐하면통계적유의성을검정하는과정에관련된지표들은표본크기에의해많은영향을받기때문이다 [2]. 본논문에서는간호학연구에서주로사용되어지는 t-검정, 분산분석, 상관분석, 회귀분석등주요통계기법들에대하여통상적으로사용되는효과크기의정의를설명하였다. 또한간호학의여러사례들을통해효과크기를계산하고이용하는방법을설명하였다. 그리고표본크기를계산하는데가장널리사용되는소프트웨어인 G*Power 3 (http://gpower.hhu.de)[9,10] 를이용하여각사례에대한표본크기를제시하였다. 통계적가설검정과효과크기 이절에서는앞으로의논의를위하여통계적가설검정, 유의수준, 검정력과효과크기등의기본적인개념에대하여간단히기술한다. 귀무가설의기각 ( 대립가설이채택 ) 여부를결정하는데통상적으로사용되는검정통계량은다음과같은 t- 통계량이다. x 1- x 2 t= (1) s/ n 여기에서 x 1 와 x 2 는표본평균이고 s 는표본표준편차이다. 그리고 관측된 t 의절대값이기준이되는임계치보다큰경우, 즉 t >c α (2) 인경우귀무가설을기각 ( 대립가설을채택 ) 하게된다. 식 (2) 와같은영역을기각역 (rejection region) 이라고한다. 실제모집단의모평균차이가없는데도불구하고실험이나관측을통해서표본으로부터얻어진평균차이가크게나타날수가있다. 만약, 표본으로부터얻은평균차이가우연히크게나타났다면연구자는사실과다르게귀무가설을기각 ( 대립가설을채택 ) 하는잘못을범하게된다. 이러한종류의오류를제1종오류 (Type I error) 라고한다. 그리고이러한오류가일어날확률의최대허용치를유의수준 (significance level) 이라고하며통상 α로표기한다. 식 (2) 에서임계치 c α 는주어진유의수준에의존한다. 통상유의수준 α는매우낮은수준으로정해지도록요구되며, 많은경우 0.01, 0.05, 0.10 정도가적용된다. 예를들어, α를 0.05 로정하고 t >c α 인것으로나타났을때 유의수준 5% 하에서귀무가설이기각 ( 대립가설이채택 ) 된다 또는 유의수준 5% 하에서평균차이가통계적으로유의하다 고표현한다. 반면에대립가설이옳은데도불구하고표본으로부터관측된평균차이가우연히매우작을수도있다. 이때연구자는이러한결과에근거하여귀무가설을기각하지않는잘못을범하게되는데, 이러한오류를제2종오류 (Type II error) 라고하며이러한오류가일어날확률을 β로표기한다. 대립가설이사실일때대립가설을채택 ( 귀무가설을기각 ) 하게될확률은 1-β가되는데이를검정력 (power of test) 이라고한다. 검정력 1-β는 0.80에서 0.95 사이에서정하는것이보통이다. 1. 가설검정과통계적유의성 2. 효과크기와실제적유의성 두모집단의평균을비교하는경우를고려하자. 먼저, 두집단의모평균을 μ 1 과 μ 2 라고하자. 이때일반적으로관심이되는귀무가설 (null hypothesis) 은 H 0 : μ 1 =μ 2 이며, 대립가설 (alternative hypothesis) 은양측검정 (two-tailed test) 의경우 H 1 : μ 1 μ 2 이고단측검정 (one-tailed test) 의경우 H 1 : μ 1>μ 2 혹은 H 1 : μ 1<μ 2 이다. 연구자의목적은귀무가설이기각 ( 대립가설이채택 ) 되는지의여부를결정하는데있으며, 귀무가설은반증이되기전까지는사실인것으로가정된다. 대응표본 (paired sample) 에대한평균차이의검정에서 앞에서의귀무가설과대립가설을보다일반화하여 H 0 : μ 1 - μ 2 = δ와 H 1 : μ 1 - μ 2 δ를고려하자. 단측검정의경우에는대립가설이 H 1 : μ 1 - μ 2>δ 또는 H 1 : μ 1 - μ 2<δ이다. 여기에서 δ는연구분야에서실제적으로의미있다고간주할수있는평균차이를의미한다. 예를들어, 새로운간호중재방법이기존의방법에비하여소요되는비용과노력을고려할때어떤신체특성치에있어서 δ=10 이상의차이를나타내어야새로운간호중재방법을도입하는의미가있다면, H 1 : μ 1 - μ 2>10이라는대립가설이채택될수있어야한다. 이때 www.an.or.r http://dx.doi.org/10.4040/jan.2015.45.5.641
간호학연구에서효과크기의사용에대한고찰 643 δ 를효과크기 (effect size) 라고한다. 두모집단평균을비교하는경우보다일반적으로는효과크기를 다음과같이정의한다. μ 1- μ d= 2 (3) σ 식 (3) 의효과크기 d 는다음과같은특징이있다. 첫째, 측정단위 에의존하지않는다. 따라서, d 를 δ (=μ 1 - μ 2) 와대비하여표준화 된효과크기라고한다. 예를들어, 어떤간호중재방법에따른신체특성치의변화에있어서측정단위를센티미터 (cm) 로하였느냐미터 (m) 로하였느냐에따라서 δ는 100배만큼다르게되지만 d는측정단위에무관하게동일한값으로계산된다. 둘째, 표본크기에의존하지않는다. 통계적유의성을나타내는식 (1) 의검정통계량의경우에는표본크기가커짐에따라서이값도커지게된다. 반면에실제적유의성을나타내는효과크기 d는표본크기에의존하지않는다. 실제연구에서효과크기가가지는주요의미는다음과같다. 첫째, 어떤연구의결과로서보고되는효과크기는실제적유의성을나타낸다. 즉, 효과크기 d( 또는 δ) 를보고함으로써그연구에서어느정도의 ( 큰또는작은 ) 평균차이가나타났는지를제시할수있다. 둘째, 실험또는관측연구를계획하는단계에서효과크기는표본크기를정하는것과밀접한관련이있다. 앞에서설명하였듯이표본크기는유의수준 α, 검정력 1-β, 효과크기 δ와관련이있다. 통상유의수준 α는 0.05 정도의값으로고정된다는점을고려할때, 효과크기가큰경우에는작은표본크기로도높은검정력을기대할수있지만, 효과크기가작은경우에는높은검정력을달성하기위해서많은표본크기가필요하다. 검정력이낮다는것은, 연구자의주장인대립가설이실제사실임에도불구하고, 애써수행한실험에서대립가설이사실이라는충분한 ( 통계적으로유의한 ) 근거를보일수없게된다는것을의미한다. 표본크기결정의문제에있어서 Polity 와 Sherman [11] 은효과크기를정하기위해다음과같은네가지방법을설명하였다 [12]. 1) 과거의비슷한연구로부터효과크기를추정하는것이다. 관련된연구가많이있을때는메타분석 (meta analysis) 을사용해서추정하는것이가장바람직하다고하겠다. 2) 관련된연구가거의없다면작은규모의시험연구 (pilot study) 를실시하여추정하는것이좋다. 3) 시험연구를실시할상황이아니면가상표 (dummy table) 를작성하여임상적으로나이론적으로가치가있기에충분히크다고간주할수있는가장작은효과크기를계산한다. 예를들어, 어떤금연요법이적어도 10% 의금연효과를가져올때효과적이고가치있는것이라고간주할수있다면, 효과크기를이값에근거하여추정할수있다. 4) 이방법은앞의세가지방법을적용할수없을때사용하는방법인데, 과거의경험적결과로부터단지효과크기가작은지 (small), 적당한지 (medium), 큰지 (large) 만을선택하여그에따라정해진추정치를사용하는것이다 [7]. 이방법을사용하는데있어서강조할점은새로운연구주제에서는보통효과크기가기대보다작을수있다는것이다. Cohen [7] 은행동과학연구에서주로사용되는여러가지통계분석방법들에대하여효과크기를계산하는공식을제안하였고, 작고큰정도를나름대로정의하였다. 평균차이의비교에대한효과크기 d의경우에서효과크기의의미를예를들어설명한다. 예컨대, 실험군 ( 새로운간호중재를받은환자그룹 ) 이대조군 ( 기존의간호중재를받은환자그룹 ) 에비하여어떤신체특성치의증가에있어 d만큼의효과를가진다고하자. 만약, d=1이면실험군의평균 μ 1 은귀무가설분포의상위 16% 에해당한다. 즉, 실험군의중간에해당하는환자가대조군의 84% 보다낫다는것을의미한다. 이런식으로 Cohen [7] 이정의한효과크기의의미를설명하면다음과같다. 1) d= 0.2 (small, 작은효과크기 ): 실험군의평균수준이대조군분포의상위 42% 정도에해당함. 2) d= 0.5 (medium, 중간의효과크기 ): 실험군의평균수준이대조군분포의상위 31% 정도에해당함. 3) d= 0.8 (large, 큰효과크기 ): 실험군의평균수준이대조군분포의상위 21% 정도에해당함. 평균차이검정 1. 독립표본 t- 검정 (Independent Sample t-test) 독립표본 t -검정은두개의서로다른집단으로부터독립적으로추출된자료의분석에사용되며, 두모집단의평균차이를검정한다. 이때관심이되는귀무가설은 H 0 : μ 1 =μ 2 이며, 일반적으로효과크기는식 (3) 의 d= μ 1 - μ 2 /σ 가사용된다. 이때 σ는공통표준편차 (common standard deviation) 를의미한다. σ 2 =(n 1σ 2 1+ n 2σ 2 2)/n =(σ 2 1+σ 2 (4) 2)/2, n 1 =n 2 일경우여기에서 n 1 과 n 2 는각각두집단의표본크기이다 (n=n 1+ n 2). ( 예 3-1A) 양측검정 (two-tailed test), 유의수준 α= 0.05, 검정력 1-β = 0.08, n 1 =n 2 의조건하에서, Cohen [7] 의기준에따라 G*Power 3를이용하여효과크기별로최소표본크기를구하면다음과같다. d= 0.2 (small): n =788 (n 1 =n 2 =394) d= 0.5 (medium): n =128 (n 1 =n 2 =64) d= 0.8 (large): n=52 (n 1 =n 2 =26) http://dx.doi.org/10.4040/jan.2015.45.5.641 www.an.or.r
644 ( 예 3-1B) Ko와 Lee [13] 의연구에서종속변수우울 (depression) 에대하여실험군과대조군의표본크기, 평균, 표준편차는각각다음과같이나타났다. dˆ= 39.70-48.83 /5.74=9.13/5.74=1.59 한편, 이연구에서는 t=8.72 로보고되어있는데, 이를이용하여다음과같이효과크기를계산할수도있다. dˆ=8.72/ 30 =1.59 표본크기 : n 1 =34, n 2 =34 평균 : y 1 = -3.77, y 2 =1.23 표준편차 : s 1 =6.50, s 2 =6.76 이예에서공통표준편차를구하면다음과같다. 공통분산 : s 2 =(6.50 2 + 6.76 2 )/2=43.97, 공통표준편차 : s= 43.97=6.63이다. dˆ= -3.77-1.23 /6.63 =5.00/6.63 = 0.75 2. 대응표본 t- 검정 (Paired Sample t- test) 3. 일원분류분산분석 (One-Way ANOVA) 분산분석 (analysis of variance) 은두개이상의범주를갖는독립 변수에대한종속변수의범주별평균차이를검정하는방법이다. 이경우관심이되는귀무가설은 H 0 : μ 1 =μ 2 =...=μ 이고, 일반적으로사용되는효과크기는다음과같다. 여기에서 σ m 은집단평균들의표준편차이다. f= σm σ (6) 대응표본 t-검정은서로짝지어진자료의분석에사용되며, 두모평균의차이를검정한다. 이때관심이되는귀무가설은 H 0 : μ 1 =μ 2 이며, 일반적으로효과크기는식 (3) 의 d= μ 1 - μ 2 /σ 가사용된다. 대응표본 t-검정의경우 σ는짝지어진두변수의차이에의해정의되는변수 D y(=y 1 -Y 2) 의표준편차를의미한다. σ 2 =σ 2 1+σ 2 2-2ρσ 1σ 2 (5) 여기에서 σ 1 과 σ 2 는각각 Y 1 과 Y 2 의표준편차이며, ρ는 Y 1 과 Y 2 의상관계수이다. 대응표본 t-검정에서식 (1) 의 t- 통계량과효과크기사이에는 dˆ=t/ n의관계가있다. σ 2 m = = [n i(μ i - μ) 2 ]/n, n= 또한 σ 는공통표준편차이다. σ 2 = = n i, μ= (n iμ i)/n (μ i - μ) 2 /, n 1 =n 2 =...=n 일경우 ni j=1 (Y ij - μ i) 2 /n= 전체분산 (total variance) (n iσ 2 i )/n σ 2 i /, n 1 =n 2 =...=n 일경우 (7) (8) ( 예 3-2A) 유의수준 α= 0.05, 검정력 1-β= 0.80 의조건하에서, Cohen [7] σ 2 t= ni j=1 (Y ij - μ) 2 /n (9) 의기준에따라 G*Power 3 를이용하여효과크기별로최소표본크 을알고있는경우 (σ 2 t=σ 2 m+σ 2 ), 또다른효과크기의측도인 η 2 =σ 2 m/ 기를구하면다음과같다. σ 2 t 를이용할수도있는데식 (6) 의 f 와 f= η 2 /(1- η 2 ) 의관계가있 d= 0.2 (small): n =199 d= 0.5 (medium): n =34 다. Cohen [7] 은범위측도 (range measure) d=(μ max - μ min)/σ 를이 용하여효과크기 f 를계산하는방법도다루고있다. d= 0.8 (large): n=15 ( 예 3-3A) ( 예 3-2B) Wang 과 Kim [14] 의연구에서종속변수자기효능감 (self-efficacy) 의경우실험군의표본크기, 사전평균및사후평균, D y (=Y 1 -Y 2) 의표준편차는다음과같이나타났다. n=30 사전평균 : y 1 =39.70, 사후평균 : y 2 =48.83 D y 의표준편차 : s=5.74 일반적으로최소표본크기를구하기위해서는효과크기 f와집단의수가요구된다. 예를들어집단의수가 3일때, 유의수준 α = 0.05, 검정력 1-β= 0.80의조건하에서, Cohen [7] 의기준에따라 G*Power 3를이용하여효과크기별로최소표본크기를구하면다음과같다. f= 0.10 (small): n=969 (n 1 =n 2 =n 3 =323) f= 0.25 (medium): n =159 (n 1 =n 2 =n 3 =53) f= 0.40 (large): n=66 (n 1 =n 2 =n 3 =22) www.an.or.r http://dx.doi.org/10.4040/jan.2015.45.5.641
간호학연구에서효과크기의사용에대한고찰 645 ( 예 3-3B) 효과크기계산에필요한 σ 2 m, σ 2, σ 2 t 의분자에대응하는추정치는 SPSS 소프트웨어의경우각각집단-간제곱합 (between sum of squares), 집단-내제곱합 (within sum of squares), 합계제곱합 (total sum of squares) 이라는이름으로출력된다. 예를들어, Han 등 [15] 의 p. 35에서이들은각각다음과같이나타났다. 제곱합 : j=1 n i(y i - y) 2 =1636.5, ni (y ij - y) 2 =3654.5 ni j=1 (y ij - y i) 2 =2018, 따라서, 효과크기 f 와 η 2 은각각다음과같이추정된다. fˆ= 1635.5/n / 2018/n=0.90, η 2 = 1636.5/n / 3654.5/n =0.45 ( 예 3-3C) Lee 와 Kweon [16] 의연구에서종속변수사회적지지 (social support) 의경우세집단의표본크기, 평균, 표준편차는각각다음과같이나타났다. 표본크기 : n 1 =294, n 2 =173, n 3 =91 평균 : y 1 =95.37, y 2 =92.02, y 3 =89.56 표준편차 : s 1 =15.37, s 2 =15.72, s 3 =15.71 이예에서전체평균, 집단평균들의표준편차, 공통표준편차를구하면다음과같다. 전체평균 : 294 95.37+...+91 89.56 52,108 y= = =93.38 집단평균들의분산 : s 2 m = 294 (95.37-93.38)2 +...+91 (89.56-93.38) 2 2,812 = =5.04 집단평균들의표준편차 : s m = 5.04 =2.24 공통분산 : s 2 = 294 15.372 +...+91 15.71 2 공통표준편차 : s= 241.33=15.53 따라서, 효과크기 f 는다음과같이추정된다. fˆ=2.24/15.53 =9.13 = 0.14 4. 공분산분석 (ANCOVA) 134,664 = =241.33 공분산분석 (analysis of covariance) 은공변량 (covariate) 이라고 불리는연속형독립변수 X를추가로고려하여종속변수 Y의집단별평균차이에대한추론을수행하고자하는기법이다. 이경우관심이되는귀무가설은 H 0 : μ 1 =μ 2 =...=μ 이고, 일반적으로사용되는 효과크기는앞의식 (6) 과동일하다. 다만공분산분석에서는 μ i 에대한추정치로집단평균 y i 가사용되는것이아니라고려되는공분산분석모형에의하여추정된다는점이다르다. 공변량의효과를통제하고추정된평균 μˆ i 는 SPSS 및 SAS와같은소프트웨어에서추정된주변평균 (estimated marginal mean) 또는최소제곱평균 (least squares mean) 이라는이름으로출력된다. ( 예 3-4A) 일반적으로최소표본크기를구하기위해서는효과크기 f, 집단의수, 고려하는효과의자유도, 공변량의수가요구된다. 예를들어집단의수가 2, 자유도 1(=2-1), 공변량의수가 1일때, 유의수준 α =0.05, 검정력 1-β=0.80의조건하에서, Cohen [7] 의기준에따라 G*Power 3를이용하여효과크기별로최소표본크기를구하면다음과같다. f= 0.10 (small): n=787 (n 1 =n 2 394) f= 0.25 (medium): n =128 (n 1 =n 2 =64) f= 0.40 (large): n=52 (n 1 =n 2 =26) ( 예 3-4B) 효과크기계산에필요한 σ 2 m과 σ 2 의분자에대응하는추정치는 SPSS 소프트웨어의경우각각집단-간제곱합 (between sum of squares) 과오차제곱합 (error sum of squares) 이라는이름으로출력된다. 예를들어, Han 등 [15] 의 p. 138에서이들은각각다음과같이나타났다. 제곱합 : 집단-간제곱합 =1352.7, 오차제곱합 =8502.5 따라서, 효과크기 f는다음과같이추정된다. fˆ= 1352.7/n / 8502.5/n= 0.40 5. 이원분류분산분석 (Two-Way ANOVA) 이원분류분산분석은 2개의독립변수에대한종속변수의범주별평균차이를검정하는방법이다. 주효과 (main effect) 에대한검정및효과크기의계산은앞에서설명한바와유사하므로, 여기에서는상호작용효과 (interaction effect) 에대한내용을설명하도록한다. 2- 요인상호작용효과에대한귀무가설은 H 0 : δ ij =δ l( 모든 i, j와, l 쌍에대하여 ) 이고, 여기에서 δ ij =μ ij -μ i.-μ.j 이다. 효과크기에대한정의는식 (6) 과동일하며, 이때 σ m 은상호작용효과의표준편차이다. σ 2 m = = l j=1 l j=1 n ij(δ ij - δ) 2 /n, n= l j=1 n ij, δ= l j=1 (δ ij - δ) 2 /(l), n 11 =n 12 =...=n l 일경우 (n ijδ ij)/n (10) http://dx.doi.org/10.4040/jan.2015.45.5.641 www.an.or.r
646 ( 예 3-5A) 일반적으로최소표본크기를구하기위해서는효과크기 f와관심이되는주효과또는상호작용효과의자유도가요구된다. 예를들어, A 요인의수준이 2이고 B 요인의수가 3일때상호작용효과를검정하는경우를고려하자. 이경우상호작용효과에대한자유도는 (2-1) (3-1) =2이며, 집단의수는 2 3 =6이다. 유의수준 α = 0.05, 검정력 1-β= 0.80의조건하에서, Cohen [7] 의기준에따라 G*Power 3를이용하여효과크기별로최소표본크기를구하면다음과같다. f= 0.10 (small): n=967 (n 11 =n 12 =...=n 23 162) f= 0.25 (medium): n =158 (n 11 =n 12 =...=n 23 27) f= 0.40 (large): n=64 (n 11 =n 12 =...=n 23 11) ( 예 3-5B) Par 등 [17] 의연구에서는실험군과대조군각각 3번의반복측정을취하고있다. 이연구에서종속변수임파워먼트 (health empowerment) 의경우집단 시간별평균과표준편차는다음과같이나타났다 ( 이예에서는편의상 n 11 =n 12 =...=n l 으로가정하자 ). 평균 : y 11 =3.56, y 12 =3.67, y 13 =4.00, y 21 =3.80, y 22 =3.61, y 13 =3.52 표준편차 : s 11 =0.62, s 12 =0.93, s 13 =0.57, s 21 =0.98, s 22 =0.65, s 23 =0.71 먼저 2요인의수준별평균을구하면다음과같다. 요인 A ( 실험군, 대조군 ): y 1. =(3.56 +3.67+4.00)/3 =3.74, y 2. =(3.80 +3.61+3.52)/3 =3.64 요인 B (Baseline, 8 th wee, 24 th wee) y.1 =(3.56 +3.80)/2 =3.68, y.2 =(3.67+3.61)/2 =3.64, y.3 =(4.00 +3.52)/2 =3.76 상호작용효과들의계수를구하면다음과같다. δ 11 =3.56-3.74-3.68 = -3.86,..., δ 23 =3.52-3.64-3.76 = -3.89 즉, δ ij =(-3.86, -3.71, -3.50, -3.52, -3.67, -3.88), δ = -3.69 상호작용효과들의표준편차는다음과같이계산된다. 0.1318 s 2 m = (-3.86 +3.69)2 +...+(-3.88+3.69) 2 = = 0.0218 2 3 6 s m = 0.0218 =0.148 공통표준편차는다음과같이계산된다. 4.460 s 2 = 0.622 + 0.93 2 +...+ 0.71 2 = = 0.743, s= 0.743 =0.862 2 3 6 fˆ= 0.148/0.862= 0.172 비율차이검정 1. 독립표본비율차이검정 두개의서로다른집단으로부터독립적으로추출된자료를통해두모집단의비율차이를검정하는경우를고려하자. 이때관심이되는귀무가설은 H 0 : p 1 =p 2 이며, 일반적으로사용되는효과크기는다음과같다. h= φ 1 -φ 2, φ i =2arcsin p i,, 2 (11) Cohen [7] 은이와같은효과크기에대하여 h= 0.2: small, 0.5: medium, 0.8: large 와같은기준을제시하였다. ( 예 4-1A) 예를들어, p 1 = 0.5이고 p 2 = 0.8 인경우를고려하자. 이때 φ 1 = 1.571 이고 φ 2 =2.214 가된다 (Cohen [7] 은 p i 에따른 φ i 의변환표를제시하고있다. 또는 EXCEL 의 ASIN 과 SQRT 함수를이용하여쉽게구할수있다 ). 따라서, 효과크기는 h= 1.571-2.214 = 0.643 이된다. 그리고이와같은경우에대하여, 양측검정 (two-tailed test), 유의수준 α= 0.05, 검정력 1-β=0.80, n 1 =n 2 의조건하에서, G*Power 3를이용하여최소표본크기를구하면 n=88(n 1 =n 2 =44) 이얻어진다 (G*Power 3에서는 p 1 과 p 2 의입력을요구한다 ). ( 예 4-1B) Yoo [18] 의연구에서시뮬레이션교육에대하여실험군과대조군의표본크기및 매우만족 의빈도가각각다음과같이나타났다. 표본크기 : n 1 =25, n 2 =24 매우만족 의빈도 : y 1 =18, y 2 =10 매우만족 의비율 : pˆ1=18/25 =72.0%, pˆ2 =10/24 =41.7% φˆ1=2arcsin 0.720 =2.026, φˆ2 =2arcsin 0.417=1.404 ĥ= 2.026-1.404 = 0.622 2. 대응표본비율차이검정두변수 Y 1 과 Y 2 가모두 0, 1의값을가지는이항변수일때 (Y 1 =1, Y 2 =1), (Y 1 =1, Y 2 = 0), (Y 1 = 0, Y 2 =1), (Y 1 = 0, Y 2 = 0) 에해당하는쌍들의비율을각각 π 11, π 10, π 01, π 00 라고하자 (π 11+ π 10 + π 01+ π 00 =1). 이때관심이되는귀무가설은 H 0 : π 10 =π 01( 또는 H 0 : www.an.or.r http://dx.doi.org/10.4040/jan.2015.45.5.641
간호학연구에서효과크기의사용에대한고찰 647 π 11+ π 10 =π 11+ π 01) 이며, 이러한검정을통상맥니머 (McNemar) 검정이라고한다. 이경우일반적으로사용되는효과크기는다음과같은오즈비 (Odds ratio) 이다. OR=π 10/π 01 (12) 이러한오즈비는 0~ 사이의값을가지며 OR=1이면비율차이가없음을의미한다. P(H 1): p 11 = 0.017, p 12 = 0.117, p 13 = 0.450, p 21 = 0.016, p 22 = 0.082, p 13 = 0.318 w= 0.02 상관분석및회귀분석 ( 예 4-2A) 예를들어, π 11 = 0.54, π 10 = 0.08, π 01 = 0.32, π 00 = 0.06 인경우를가정하자. 이경우 Y 1 =1의비율은 π 1. = 0.54+ 0.08 =62% 이고 Y 2 =1 의비율은 π.1 = 0.54 + 0.32 =86% 이다. 따라서, 효과크기는 OR= 0.08/0.32= 0.25 이다. 그리고이와같은경우에대하여, 양측검정 (two-tailed test), 유의수준 α= 0.05, 검정력 1-β= 0.80의조건하에서, G*Power 3를이용하여최소표본크기를구하면 n=50 이얻어진다 (G*Power 3에서는불일치쌍의비율 (proportion of discordant pairs) π D =π 10 + π 01 의입력이요구된다 ). 3. 교차분석교차분석은두범주형변수에의해서생성되는 r c 교차표 (contingency table) 에대하여두범주형변수의연관성을분석하는방법이다. 두변수의범주별조합에의한셀의수가 m (=r c) 개이고, 대립가설과귀무가설하에서각셀의비율을 P 1i 와 P 0i 라고하자 (,...,m). 이경우일반적으로사용되는효과크기는다음과같다. w= ( 예 4-3A) m (P 1i - P 0i) 2 P 0i (12) 행의수가 2이고열의수가 3인교차표를고려하자. 이때자유도는 (2-1) (3-1)=2이다. 유의수준 α= 0.05, 검정력 1-β= 0.80의조건하에서, Cohen [7] 의기준에따라 G*Power 3를이용하여효과크기별로최소표본크기를구하면다음과같다. w= 0.1 (small): n=964 w= 0.3 (medium): n=108 w= 0.5 (large): n =39 1. 상관분석 상관분석 (correlation analysis) 은두양적변수의선형적연관성을 분석하는방법이다. 이때관심이되는귀무가설은 H 0 : ρ= 0 이며, 일반적으로효과크기는피어슨의적률상관계수 (Pearson s moment correlation coefficient) ρ가사용된다. ( 예 5-1A) 양측검정 (two-tailed test), 유의수준 α= 0.05, 검정력 1- β= 0.80 의조건하에서, Cohen [7] 의기준에따라 G*Power 3를이용하여효과크기별로최소표본크기를구하면다음과같다. ρ= 0.1 (small): n=782 ρ= 0.3 (medium): n=84 ρ= 0.5 (large): n =29 2. 회귀분석 회귀분석 (regression analysis) 은하나이상의설명변수 X 1, X 2,..., X p 가양적반응변수 Y에어떠한영향을미치는지를분석하는방법이다. 이때설명변수들에의해반응변수가설명되는정도를평가하는측도중하나는결정계수 (coefficient of determination) 이며, 이는통상 R 2 (R-square) 로표기된다. 이때관심이되는귀무가설중하나는 H 0 : R 2 = 0이며, 일반적으로사용되는효과크기는다음과같다. R f 2 2 = (13) 1-R 2 여기서 R 2 =σ 2 R/σ 2 T 으로서전체분산 (σ 2 T) 중에서회귀식으로설명되 는분산 (σ 2 R) 의비율을의미한다. 또한 R 2 =f 2 /(1+f 2 ) 이성립한다. ( 예 4-3B) Kang 등 [19] 의 p. 295에서귀무가설과대립가설하에서의비율들은다음과같이나타났다. P(H 0): p 11 = 0.019, p 12 = 0.116, p 13 = 0.449, p 21 = 0.014, p 22 = 0.083, p 13 = 0.319 ( 예 5-2A) 일반적으로최소표본크기를구하기위해서는효과크기 f 2 과설명변수의수가요구된다. 예를들어고려대상인설명변수의수가 5일때, 유의수준 α= 0.05, 검정력 1-β= 0.80의조건하에서, Cohen [7] 의기준에따라 G*Power 3를이용하여효과크기별로최소표본 http://dx.doi.org/10.4040/jan.2015.45.5.641 www.an.or.r
648 크기를구하면다음과같다. f 2 = 0.02, R 2 = 0.02 (small): n=647 f 2 = 0.15, R 2 = 0.13 (medium): n=92 f 2 = 0.35, R 2 = 0.26 (large): n =43 ( 예 5-2B) Lee 등 [20] 의연구에서 6 개의설명변수에의한회귀식의결정계 수가 R 2 = 0.23 으로나타났다. 따라서, 효과크기는다음과같이추 정된다. fˆ2 = 0.23/(1-0.23) = 0.23/0.77= 0.30 3. 로지스틱회귀분석 로지스틱회귀분석 (logistic regression analysis) 은하나이상의설 명변수 X1, X2,..., Xp가이항반응변수 Y에어떠한영향을미치는지를분석하는방법이다. 설명변수가하나인경우로지스틱회귀모형은다음과같다. P(Y=1 X)= exp(β0 +β1x) 1+ exp(β 0 +β 1X) (14) 이때관심이되는귀무가설은 H 0 :β 1 = 0 이며, 일반적으로사용되는 효과크기는다음과같은오즈비 (Odds ratio) 이다. OR=exp(β 1) (13) 이러한오즈비는 0~ 사이의값을가지며 OR=1 이면반응변수 Y 에대하여설명변수 X 의영향력이없음을의미한다. 들에대하여통상적으로사용되는효과크기의정의를설명하였다. 또한간호학의여러사례들을통해효과크기를계산하고이용하는방법을설명하였다. 이러한내용은특히표본크기결정의문제에있어서적절한효과크기를산출해야하는간호학연구자들에게큰도움이될것으로기대된다. 참고로 G*Power 3에서는필요한몇가지수치들을입력함으로써다양한분석상황에서효과크기를계산할수있는데이에대하여는 G*Power 3 manual (http://gpower.hhu. de) 을참조하기바란다. 최근많은분야의학계에서는연구자들이연구결과를보고할때, 효과크기를함께보고할필요가있음을주장하고있다 [21-23]. 예를들어, 미국심리학및교육학저널에서가장널리이용되는출판매뉴얼중의하나인 APA [24] Publication Manual 은양적방법론을사용했음에도효과크기를보고하지않은연구는결점이있는것으로간주한다. APA 방식을따르는 24개의저널들은명시적으로효과크기를보고하도록요구하고있다 [25]. 이러한저널들은효과크기가보고되지않은연구는출판을불허할정도로효과크기에대한관심은강화되고있다 [26]. 국내간호학연구에서는연구설계단계에서표본크기를결정하거나메타분석등의연구를위해기존연구의효과크기를산출하는경우는있으나, 연구결과에효과크기를보고하고이에근거한논의를하는경우는거의없는것으로나타났다 [27-30]. 앞으로간호학연구에서도효과크기를적극활용함으로써연구결과에대한보고의질이더욱높아지기를기대하여본다. REFERENCES ( 예 5-3) 일반적으로최소표본크기를구하기위해서는효과크기 OR과귀무가설하에서의사건의비율 p 1 =P(Y=1 H 0) 이요구된다. 이것은통상사전확률 (prior probability) 이라고불린다. 예를들어, 관심군의비율 p 1 및설명변수 X 1 의분포등이각각다음과같이나타났다고하자. 관심군의비율 : pˆ1= 0.5 설명변수 X 1 의분포 : 정규분포 (Normal distribution), μˆ= 0, σˆ=1 오즈비 : OR=1.5 ˆ 이와같은경우에대하여, 양측검정 (two-tailed test), 유의수준 α = 0.05, 검정력 1-β= 0.80의조건하에서, G*Power 3를이용하여최소표본크기를구하면 n=208이얻어진다. 결론및논의 본논문에서는간호학연구에서주로사용되어지는주요통계기법 1. Im SH. A review on the statistical significance and statistical power analysis. The Journal of Education Studies. 2011;48(1):267-281. 2. Na WB, Par CW. A meta analysis on the effect sizes of mareting experiments in Korea. Korean Mareting Review. 2006;21(4): 189-207. 3. Kwon SD. A review of the significance testing and effect size in empirical research. Journal of Educational Evaluation. 2005;18(2): 1-16. 4. Peterson RA, Albaum G, Beltramini RF. A meta-analysis of effect sizes in consumer behavior experiments. Journal of Consumer Research. 1985;12(1):97-103. http://dx.doi.org/10.1086/209039 5. Sawyer AG, Peter JP. The significance of statistical significance tests in mareting research. Journal of Mareting Research. 1983;20(2):122-133. http://dx.doi.org/10.2307/3151679 6. Kang H. Analysis of statistical method applied in the Journal of Korean Academy of Nursing for recent 3 years (1999-2001). Journal of Korean Academy of Nursing. 2002;32(6):929-935. 7. Cohen J. Statistical power analysis for the behavioral sciences. 2nd www.an.or.r http://dx.doi.org/10.4040/jan.2015.45.5.641
간호학연구에서효과크기의사용에대한고찰 649 ed. Hillsdale, NJ: Lawrence Erlbaum Associates; 1988. 8. Cooper HM. On the significance of effects and the effects of significance. Journal of Personality and Social Psychology. 1981;41 (5):1013-1018. http://dx.doi.org/10.1037//0022-3514.41.5.1013 9. Faul F, Erdfelder E, Lang AG, Buchner A. G * Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 2007;39(2): 175-191. http://dx.doi.org/10.3758/bf03193146 10. Faul F, Erdfelder E, Buchner A, Lang AG. Statistical power analyses using G * Power 3.1: Tests for correlation and regression analyses. Behavior Research Methods. 2009;41(4):1149-1160. http://dx.doi.org/10.3758/brm.41.4.1149 11. Polit DF, Sherman RE. Statistical power in nursing research. Nursing Research. 1990;39(6):365-369. 12. Lee JW, Par MR, Lee JB, Lee SJ, Par ES, Par YJ. A review on the methods of sample size determination in nursing research. Journal of Korean Academy of Women s Health Nursing. 1998;4 (3):375-387. 13. Ko JM, Lee JK. Effects of a coaching program on comprehensive lifestyle modification for women with gestational diabetes mellitus. Journal of Korean Academy of Nursing. 2014;44(6):672-681. http://dx.doi.org/10.4040/jan.2014.44.6.672 14. Wang HJ, Kim IO. Effects of a mobile web-based pregnancy health care educational program for mothers at an advanced maternal age. Journal of Korean Academy of Nursing. 2015;45(3):337-346. http://dx.doi.org/10.4040/jan.2015.45.3.337 15. Han ST, Kang H, Huh MH. PASW statistics: SPSS analysis of variance. Seoul: Hannare Publishing Co.; 2009. 16. Lee JA, Kweon YR. Factors affecting social competence in schoolaged children according to alcohol consumption by parents. Journal of Korean Academy of Nursing. 2014;44(5):495-503. http://dx.doi.org/10.4040/jan.2014.44.5.495 17. Par C, Song M, Cho B, Lim J, Song W, Chang H, et al. Effects of a multi-disciplinary approached, empowerment theory based self-management intervention in older adults with chronic illness. Journal of Korean Academy of Nursing. 2015;45(2):192-201. http://dx.doi.org/10.4040/jan.2015.45.2.192 18. Yoo SY. Development and effects of a simulation-based education program for newborn emergency care. Journal of Korean Academy of Nursing. 2013;43(4):468-477. http://dx.doi.org/10.4040/jan.2013.43.4.468 19. Kang H, Han ST, Choi H. SPSS (PASW Statistics) introduction to data analysis. Paju: Freeacademy; 2010. 20. Lee H, Cho SH, Kim JH, Kim YK, Choo HI. Influence of self efficacy, social support and sense of community on health-related quality of life for middle-aged and elderly residents living in a rural community. Journal of Korean Academy of Nursing. 2014;44(6):608-616. http://dx.doi.org/10.4040/jan.2014.44.6.608 21. Anderson DR, Burnham KP, Thompson WL. Null hypothesis testing: Problems, prevalence, and an alternative. The Journal of Wildlife Management. 2000;64(4):912-923. http://dx.doi.org/10.2307/3803199 22. Breaugh JA. Effect size estimation: Factors to consider and mistaes to avoid. Journal of Management. 2003;29(1):79 7. http://dx.doi.org/10.1016/s0149-2063(02)00221-0 23. Cohen J. The earth is round (p<.05). American Psychologist. 1994;49(12):997-1003. 24. American Psychological Association. Publication manual of the American Psychological Association. 5th ed. Washington, DC: Author; 2001. 25. Thompson B. Foundations of behavioral statistics: An insightbased approach. New Yor, NY: The Guilford Press; 2006. 26. Kim M. Quantitative methods in geography education research: Concept and application of effect size. The Journal of the Korean Association of Geographic and Environmental Education. 2011; 19(2):205-220. 27. Kim CG, Cho MK. Effects on depression intervention programs of hemodialysis patients in Korea: Meta-analysis. Journal of the Korean Data Analysis Society. 2012;14(5):2513-2528. 28. Jeon HR, Par JS. A meta-analysis about effects of transcutaneous electrical nerve stimulation on postoperative pain. Journal of the Korean Data Analysis Society. 2012;14(2):851-865. 29. Jun JY. A meta-analysis of effects on the warming methods for postoperative patients. Journal of the Korean Data Analysis Society. 2009;11(4):1819-1829. 30. Lee EH. On the introduction and application of effect size for data analysis methods [master thesis]. Asan: Hoseo University; 2014. http://dx.doi.org/10.4040/jan.2015.45.5.641 www.an.or.r