통계적가설검증의절차와문제점그리고대안
서울대학교심리학과, 인지과학협동과정교수조사연구편집위원장조사연구학회이사서울대사회과학대학교무부학장역임 주요연구 : Self-efficacy in information security : Its influence on end users information security practice behavior When fit indices and residuals are incompatible. LSA모형에서다의어의미의표상 통계적가설검증의절차와문제점그리고대안 초판 1 쇄발행 2011 년월일 지은이김청택 편집인쇄민속원주소서울마포구대흥동 337-25 전화 02) 804-3320, 805-3320, 806-3320( 代 ) 팩스 02) 802-3346 이메일 minsok1@chollian.net 홈페이지 www.minsokwon.com
통계적가설검증의절차와문제점그리고대안 김청택
머리말 실증적사회과학연구방법론에서통계적분석은매우중요한역할을한다. 사회과학적사건들은확률적으로발생하기때문에사회현상을설명할때단정적인서술보다는확률적인서술에의존할수밖에없다. 사회과학도라면내년에경기가좋아질것이라든지 30년이내에통일이될것이라는말을단정적인서술로이해해서는안된다. 확률적으로그러한일이발생할가능성이높다고해석해야되는것이다. 현실에서는통계적결과를단정적으로해석되고이에근거하여논리적인전개를하고있는것을쉽게발견할수있다. 이러한이유로통계적기법이자주비판의대상이되고통계적방법의무용론이언급되기도한다. 그러나이는통계적기법의오류가아니고이를정확하게이해하지못하는사람들의잘못된해석때문에발생하는오류이다. 이책에서는확률적판단을도와주는통계적기법의하나인가설검증에대하여소개하고자한다. 사회과학을포함한경영학자연과학의영역에서가장많이사용되는통계적기법이지만이역시자주오용되고있다. 사회과학학도들이원리를설명하기보다는기계적인절차를제시하는통계책을흔히접하게된다. 이는가설검증에대한정확한이해를오히려방해하여잘못된사용을유도하기까지한다. 이책의목적은기계적인절차에대한설명보다는독자들이가설검증의원리를정확하게이해하여적용하는데도움을주는데있다. 최근에가설검증자체에대한비판이제기되고있지만, 학계에서는여전히가설검증이많이사용되고있으며, 가설검증에대한정확한이해없이는실증적사회과학논문을읽기가가능하지않다. 이책을통하여가설검증의기초적인원리를이해하고사회과학적자료를해석하는데조금이라도도움이되기를바란다. 5
목차 머리말 4 일러두기 8 1. 가설검증의시나리오 8 2. 가설검증의통계적절차 9 1) 영가설 ( 귀무가설 ) 의설정 _ 9 2) 유의수준 ( 수준의결정 )_ 10 3) 통계치의계산과 p-값의계산 _ 11 4) 의사결정 _ 12 3. 가설검증의예 13 4. 가설검증과관련하여고려해야할점들 14 1) 일방검증과양방검증 _ 14 2) 일종오류 (Type I Error) 와이종오류 (Type II Error)_ 15 6
5. 가설검증을통한평균차이분석법 17 1) 관찰된한점수와특정평균과의비교 17 2) 집단평균과특정평균의비교 18 3) 두집단평균의비교 22 4) 동일한집단의두평균비교 27 6. 가설검증의문제점 31 1) 가설검증논리의문제점 _ 31 2) 가설검증의적용하는현실에서관찰되는문제점들 _ 32 7. 가설검증문제의보완 35 1) 신뢰구간의계산 _ 35 2) 효과의크기, 검정력, 메타분석 _ 37 8. 맺는말 38 찾아보기 7
일러두기이책에서는독자들이확률과통계의기본적인지식을가지고있다는가정하에서여러가지통계학적사실들을설명하고있다. 기초적인지식이없다면, 기초통계학책을통하여획득해야할것이다. 또한가설검증에대한이해를돕기위하여평균에대하여판단하는가설검증의절차에대하여설명하였다. 실제로실습이가능하기위하여 SPSS 통계패키지를사용하는가설검증하는방법을예시하고있지만, SAS, R, STATA 등의통계패키지를사용하여도동일한분석을할수있다.
가설검증이란 통계학은자료를요약하여기술하는기술통계와자료에서모집단의특성을추론하는추론통계로나눌수있는데, 추론통계에서가장많이사용되는기법중의하나가가설검증 (Hypothesis Testing) 이다. 가설검증은사회과학에서가장많이사용되는통계분석기법이며, 자연과학이나의학, 경영학, 공학등에서도광범위하게사용되고있다. 그러나많은연구자들은가설검증의정확한논리를이해하지못한상태에서이를사용하는경우가많아여러가지잘못된해석을도출하기도한다. 여기에서는가설검증의논리를자세히소개하고그해석의한계와대안에대하여논의할것이다. 1. 가설검증의시나리오 가설검증의논리적절차를일반적인논리적사고의관점에서보면지극히부자연스럽다. 그렇기때문에더욱이해하기힘들다. 이해를돕기위하여가설검증의논리를가상의사회과학연구의예를통하여설명하기로하겠다. 한연구자가남녀간의성차에대한관심을바탕으로, 여자가남자보다사회성이더뛰어나다는것을주장하고자한다. 무선표집을하여남녀각각 1,000명에게사회성검사를실시하여사회성점수를얻었다. 남녀각집단의사회성점수평균을구해보니남자가 50점과여자가 60점이었다. 일단이를이용하여여자의사회성점수가남자의그것보다높다고주장할수있다. 그러나평균만을이용하여이와같은결 통계적가설검증의절차와문제점그리고대안 9
론을내릴수는없다. 만약사회성점수가 0에서 10,000점사이에서변하는점수라면, 이차이는미미할수밖에없다. 한편, 남자의사회성점수는평균이 50점이고그범위가 0~100점이고, 여자의점수평균이 60점이고그범위가 0~110점 110점이라면, 남녀간에차이가있다고결론을내리기는어려울것이다. 반면남자의점수가 45~55점사이에서점수가분포되고있고, 여자의점수가 55~65점에분포된다면남녀집단간점수의차이가난다고쉽게결론을내릴수있다. 가설검증의절차는연구자가보다객관적인결론을내리는데도움을주게된다. 위의예를들어설명하면, 가설검증의절차는다음과같이이루어진다. 먼저남자와여자의사회성점수평균에차이가나지않는다고가정한다. 그런다음이가정하에서남녀집단간의평균차이가 10점이날확률을구한다. 만약이확률이아주낮으면, 남녀의평균이동일하다는가정하에서는평균차이가 10이나는경우가거의발생하지않는다는의미이므로남녀간에차이가나지않는다는가정을기각한다. 따라서두집단의평균차이가존재한다고결론내리게된다. 2. 가설검증의통계적절차 1) 영가설 ( 귀무가설 ) 의설정 가설검증에서가장첫번째절차는영가설을정하는것이다. 위의시나리오에서남녀집단간에점수차이가나지않는다는것이영가설에해당하게된다. 통계적으로표현하면다음과같다. 남 여 여기서 H 0는영가설을의미하고 남와 여는남자와여자의모집단평균을의미한다. 영가설의반대가되는가설이대립가설이다. 이는영가설이참이아니다라 10
고쉽게표현할수있고그것을통계적으로표현하면다음과같다. 남 여 여기서 H 1은대립가설을의미한다. 영가설과관련하여몇가지유의할사항이있다. 첫째, 영가설은반드시모집단의분포, 혹은모수 ( 파라미터 ) 로표현되어야한다는것이다. 영가설을표본의통계치로표현하는것 ( 즉 남 여 ) 은의미가없다. 우리는이미두집단의표본평균 (50과 60) 이동일하지않다는것을알고있다. 가설검증을하는목적은주어진표본의통계치를이용하여모집단의특성을추론하는것이므로영가설은모수 ( 파라미터 ) 로표현되어야한다. 둘째, 영가설은연구자가의도하는것과반대로설정되어야한다. 이후에다루겠지만, 연구자가원하는것은영가설을기각하여대립가설을받아들이는것이기때문에영가설을이렇게설정하는것은당연하다. 다소통계적인설명을두가지덧붙이겠다. 첫째, 영가설은연구가설에포함된오직하나의통계량을찾는형식으로구성되어야한다. 위의예에서 남 여에해당하는하나의통계량을찾는것은불가능하다. 엄격한의미에서영가설은 남 여 으로기술되어야한다. 이표현도역시두모집단평균이동일하다는것을나타내지만, 이에해당하는통계량인 남 여는하나의수치로표현될수있기때문이다. 둘째, 대부분의사회과학의통계교과서는모평균의차이로영가설을기술하지만, 좀더엄격하게는 남 여의분포를영가설이기술해야한다. 예컨대 남 여는정규분포를따르고평균은 0이며, 표준편차는 20이다 라는형식의기술이영가설을정확하게나타내는것이다. 2) 유의수준 ( 수준의결정 ) 위의시나리오에서영가설이참이라는가정하에서, 두집단의평균차이가 10 으로관찰될확률이아주낮다. 그러므로영가설을받아들이지않는다라고 통계적가설검증의절차와문제점그리고대안 11
기술하였다. 여기서확률이아주낮다라는기술은주관적이다. 아주낮다는기준을연구자가정해야한다. 이를알파값 (α) 이라고한다. 통계학적으로이기준 ( 알파값 ) 을어떻게정하는지에대한이론은없다. 다만, 각학문분야에서동의할수있는약속을정하기만하게된다. 일종의관습법칙이다. 사회과학에서는.05를낮은확률로받아들이는것이관례이다. 경우에따라서는.01를채택하기도한다. 다음장에서이에대한자세한설명이이루어질것이다. 3) 통계치의계산과 p- 값의계산 세번째단계는영가설이참이라는가정하에서, 통계치가관찰될확률을계산하는것이다. 시나리오에서두집단의평균차는 10이였다. 영가설이참이라면, 즉남녀집단간차이가없다면, 두집단의평균차를나타내는통계치 10은평균이 0 ( 남 여 ) 인분포에서관찰된값이다. 즉 남 여의평균은 0이다. 평균이 0 인경우에도 10은관찰될수있다. 이때, 10이관찰될확률을구해야한다. 이를계산하기위해서는추가적인정보가필요하다. 우선 남 여가어떤분포인지를알아야한다. 영가설에서두집단간평균차는없다고가정했으므로평균이 0이고, 표준편차가 5인정규분포를따른다고하자 ( 표준편차를구하는절차는이후에자세히설명될것이다 ). 그러면, 다음의확률을구할수있다. 남 여 앞에서는두집단의평균차가 10일확률을계산하면된다고하였는데, 실제로는 10보다클확률을구한다. 그이유는실제로연속분포에서두집단의평균차가정확하게 10일확률은 0이기때문이다. 다소부자연스러운논리지만, 실제로관찰된자료는 10임에도불구하고, 10이상의자료가관찰될확률을구하게된다. 이렇게하면확률을구하는것이가능하다. 만약, 두집단간평균차 10이영가설을기각하기충분하다면, 10이상에서도영가설을기각하는것이당연하므로평균차가 10이상일확률을구하는것이타당하다고볼수있다. 이러한점을수용하 12
고염두에두어야한다. 위의확률을표준정규분포의형태로바꾸어계산하면, 남 여 남 여 남 여 남 여 가된다. 실제로는이러한확률을계산할필요가없다. 다양한통계소프트웨어가이를대신계산해주게된다. 위에서영가설이참일때자료가관찰될확률 1 인.023을통계학적용어로 p- 값 (p-value) 이라한다. 4) 의사결정 가설검증의마지막절차는 p-값과알파값을비교하여영가설의기각여부를결정하는것이다. 즉영가설이참이라는가정하에서자료가관찰될확률이당초정한기준을뜻하는알파값보다작으면영가설을기각할수있다. 위의예에서 p-값은.023으로알파값인 0.05보다작다. 그래서영가설을기각할수있다. 영가설을기각하면대립가설을받아들이게된다. 영가설은두집단이동일한평균을가지고있다였으므로대립가설은두집단의평균은동일하지않다가된다. 따라서두집단의평균차이가통계적으로유의 (significant) 하다라고결론을내리게된다. 만약 p-값이알파값보다작지않아서영가설을기각할수없으면결론내리기를유보한다. 영가설이기각되지않았다고해서그것을받아들이는것이아니다. 예컨대 p-값이 0.08인경우영가설이참이라는가정하에서자료가관찰될확 1 영가설이참일때관찰된자료보다더극단적인값이관찰될확률이정확한표현이나여기에서는논의의편의를위하여영가설이참일때자료가관찰될확률로표현하기로한다. 통계적가설검증의절차와문제점그리고대안 13
률이.08밖에되지않는데영가설을받아들일수는없는것이다. 하지만이것은영가설을기각하기에충분히작은확률도아니다. 이경우에는어떠한결론도내릴수없다. 3. 가설검증의예 가설검증에서가설을설정하고알파값을정하는것은연구자의결정사항이므로별도의계산이필요없다. 그러나그다음단계에서는계산이필요하다. 계산은컴퓨터가대신하게되는경우가대부분이므로, 여기서는컴퓨터계산결과를해석하는방법을간단히기술하기로하겠다. 아래는가상적인자료에대한 SPSS의계산결과이다. 먼저남자집단과여자집단의평균과표준편차, 표준오차가제시되어있다. Group Statistics gender N Mean Std. Deviation Std. Error Mean social male 53 45.9913 9.33227 1.28189 female 47 54.5203 8.91903 1.30097 그다음으로가설검증에대한결과가제시되어있다. 이표에대한자세한설명은뒤로미루기로하고, Sig(2-tailed) 라고표시된부분이 p값이된다. 이값이.000으로.05보다작으므로영가설을기각할수있다. 14
Independent Samples Test Levene's Test for Equality of Variances t-test for Equality of Means F Sig. t df Sig. (2-tailed) Mean Std. Error Difference Difference 95% Confidence Interval of the Difference Lower Upper social Equal variances assumed Equal variances not assumed 0.122 0.727-4.657 98.000-8.529 1.831-12.163-4.895-4.67 97.435.000-8.529 1.826-12.154-4.904 4. 가설검증과관련하여고려해야할점들 1) 일방검증과양방검증 영가설은반드시등호 (=) 의형태로나타나야한다. 따라서영가설을기각하는경우에는동일하지않다라고결론을내리게된다. 위의예에서만약에연구자가남녀간에사회성점수에서차이가있다라고주장을하고자한다면, 남자의평균이큰경우에도기각할수있고반대로여자의평균이큰경우에도기각할수있다. 어느쪽이큰가에관련없이차이만보이면되는것이다. 따라서알파값이.05인경우에남자의평균이큰경우에.025, 여자의평균이큰경우에 0.25를할당하여야전체적으로알파값이.05가된다. 따라서위와같은방식으로계산하면 p-값이.025보다작아야영가설을기각할수있게된다. 이러한검증방법을양방검증이라한다. 연구자들은또한특정집단의평균이다른집단보다큰지, 혹은작은지에만관심을가질수있다. 위의예에서연구자는여자사회성평균이남자사회성평균보다높은지에대하여만관심이있다. 따라서영가설을기각할때, 실제로여자의평균 통계적가설검증의절차와문제점그리고대안 15
이큰경우에만기각하고작은경우에는기각하지않을것이다. 이러한경우에는알파값을.05를나누지않고그대로적용한다. 이러한검증방법을일방검증이라한다. 요약하면, 연구자가두집단의차이에관심이있다면양방검증을해야하고이때에는알파값을반으로나누어서적용해야한다. 반면한집단의점수가다른집단의점수보다큰지혹은작은지에만관심이있으면일방검증을해야하고알파값을그대로적용할수있다. 위의컴퓨터결과표에서 Sig(2-tailed) 라고기술되어있는부분은양방검증을했을때의 p-value 라는것이다. 양방검증을할때는이 p-값이알파값보다작은지를살펴보면된다. 만약에일방검증을원하는경우는이값을반으로나누서비교해야한다. 예컨대 Sig(2-tailed) 값이 0.07인경우에는양방검증의경우에는영가설을기각할수없지만, 단방검증인경우에는 0.035로읽고영가설을기각할수있다. 다소혼란스러울수있지만, 알파를반으로줄이는것은 p를두배로증가하는효과가있고 p를반으로줄이는것은알파를두배로증가하는효과가있다는것을염두에두면잘정리될수있을것이다. 2) 일종오류 (Type I Error) 와이종오류 (Type II Error) 가설검증은확률적인판단이다. 따라서어떤결정을내렸을때, 오류가발생할수있다. 가설검정에서발생할수있는오류로는일종오류와이종오류가있다. 일종오류는영가설이참일때, 영가설을기각하는오류를말하며, 이종오류는영가설이참이아닐때 ( 대립가설이참일때 ), 영가설을기각하지못하는오류를말한다. 일종오류는가설검증에서통제될수있는오류이다. 영가설이참일때영가설을기각할확률은알파값이다. 따라서일종오류를저지를확률은알파값으로고정되어있다. 16
일종오류 를기각 가참 이종오류의크기는베타 (β) 로표기된다. 즉 이종오류 를기각하지않음 가거짓 이종오류는가설검증에서전혀통제할수없다. 가설검증은영가설이참이라는가정하에서진행되는절차이므로영가설이거짓인경우에서는전혀말할수없다. 이러한특징은가설검증의가장큰단점이기도하다. 가설검증에서일종오류를저지를확률은알수있지만, 이종오류를저지를확률을알수있는방법은없다. 오류를저지르지않고가설검증에성공하는경우는영가설이참일때영가설을기각하지않는경우와영가설이거짓일때영가설을기각하는경우이다. 전자의경우는관심을가질필요가없다. 왜냐하면, 우리가내릴수있는결론은없기때문이다. 후자는연구자가가장원하는결과이다. 즉연구자의연구가설이참일때 ( 영가설은연구의연구가설과반대로설정된다 ), 연구가설을받아들이는것이다. 이확률을검정력 (power) 이라하는데다음과같이표시될수있다. 를기각함 가거짓 통계적검정력이높으면, 연구자가원하는결과를얻을수있는것이다. 이통계적검정력도베타를알수있어야계산이가능함으로가설검증에서는계산될수없다. 이관계를도식적으로정리하면다음과같다. 영가설을기각하지못함 영가설을기각함 영가설이참일때올바른결정 (1-α) 일종오류 (α) 영가설이거짓 ( 대립가설이참 ) 일때이종오류 (β) 올바른결정 ( 검정력 =1-β) 통계적가설검증의절차와문제점그리고대안 17
5. 가설검증을통한평균차이분석법 지금까지가설검증의개념을이해하였다. 이제는실제평균의차이를비교하는사례들을통하여가설검증을적용시키는방법들에대하여살펴보고자한다. 여기에서는평균을비교하는네가지절차에대하여설명할것이다. 자료는모두정규분포에서나왔다고가정한다. 1) 관찰된한점수와특정평균과의비교 다음과같은상황을생각하여보자. 연구자가한한학생의지능지수 (IQ) 가 110 이라는정보만을가지고있다. 이지능지수만을사용하여이학생이 S 대학학생인지아닌지를판단하고자한다. S대학학생의지능지수는평균이 120이고표준편차가 15인정규분포를따르고있다는것이알려져있다. (1) 영가설과알파의설정여기에서는영가설을 로정한다. 즉 110이라는지능지수는평균이 120인분포에서나왔다는것이다. 이학생이 S대학생인지아닌지를판단하는것은방향성이없으므로양방검증이된다. 알파를 0.05로정하기로한다. (2) 통계치와 p-값의계산실제관찰한자료가 110이므로여기에서는영가설의분포에서 110보다극단치, 즉 110 이하가관찰될확률을구하면된다. 18
p- 값은.251 이된다. (3) 의사결정알파를.05로정하였으므로 p-값.251이알파값보다작지않으므로영가설을기각할수없다. 다시한번강조하지만이경우영가설을채택할수있는것은아니다. 자료가영가설을기각하는데충분하지않다는것이다. 이경우에는이학생이 S대학학생이아니라는특별한증거를발견하지못하였다고결론을내리면된다. 2) 집단평균과특정평균의비교 사회과학연구에서많은경우하나의자료를관찰하는것이아니라, 많은표본을구하여그것을분석한다. 다음과같은경우를생각하여보자. 한연구자가 S 대학의 A과의학생들이 S대학의학생들보다지능지수가높다는것을밝히고자한다. 100명의 A과학생들에의 IQ의평균은 130.2였고, 표준편차는 9.2였다. S 대학학생의지능지수는평균이 120이고표준편차가 15인정규분포를따르고있다는것이알려져있다. 즉다음과같이정리될수있다. 여기에서 와 s는표본의평균과표준편차를, 와 는모집단의평균과표준편차를나타낸다. (1) 영가설과알파의설정영가설은 A과학생들의 IQ가평균이 120이고표준편차가 15인분포에서나왔다라고설정하면된다. 여기서유의할점은여기서사용할통계치가표본평균이라는것이다. 따라서영가설의분포는단일관찰치인 X의분포가아니라표본평 통계적가설검증의절차와문제점그리고대안 19
균 ( ) 에대한분포로나타나져야한다. 의평균과표준편차는다음과같이알려져있다. 여기서 N은표본의크기즉 100이된다. 따라서영가설의분포와같이표본평균의평균은 120이고, 표준편차는계산하면아래와같이 1.5이다. 영가설은다음과같이표현될수있다. 여기에서도알파를 0.05 로정하자. (2) 정규분포 : 통계치와 p-값의계산과의사결정영가설분포에서 100명의자료를평균한 의값이 130.2보다더큰표준편차가관찰될확률이 p-값이다. 20
p-값은아주작은값이다. 편의상.000은유효자리세자리까지표시한수치이고.001보다는작은값이라고해석하면된다. p-값이알파값보다작으므로영가설을기각할수있다. 따라서 A과의학생들은 S 대학학생들보다높은평균지능지수를가지고있다고해석할수있다. (3) t-분포 : 통계치와 p-값의계산과의사결정위에서는분포가알려진집단과표본집단을비교하는것이었다. 즉 S 대학학생들의평균과표준편차를알고있는경우였다. 그러나우리는많은경우에모집단의분포를알지못한다. 특히표준편차의경우는알려져있지않은경우가대부분이다. 이경우에는모집단의표준편차 ( ) 를표본의표준편차 (s) 를이용하여추정할수밖에없다. 이경우에표본의표준편차는 9.2였다. 의표준편차인 의추정치로 를사용할수있다. 그렇게하여다음을계산하면된다. 그런데여기서유의할점은모집단의표준편차를표본의표준편차로추정하면더이상정규분포를따르지않는다는것이다. 대신이것은 t분포를따르게된다. t분포는정규분포와유사한모양을띠고있으며파리미터로자유도 (df, degree of freedom) 를가진다. 자유도는 N-1이다. 위의경우 t분포표에서확률을계산하면.000이된다. 따라서위의경우와마찬가지로영가설을기각하여 A과의학생들의평균이 S 대학의평균보다높다고 통계적가설검증의절차와문제점그리고대안 21
결론을내릴수있다. (4) 통계패키지를이용한분석법위에서제시된 p-값은실재로는통계패키지에서계산되어나온결과들이다. SAS, SPSS, STATA, R 등의여러가지통계패키지가널리사용되고있으나여기에서는 SPSS를이용한분석법을간단히소개하고자한다. 아래와같이자료를입력할수있다. 두번째변수인 IQ에 100개의자료가입력되어있다. 자료를입력한후 Analysis 메뉴아래에 Compare Means라는하위메뉴로들어가서다시 One-sample T Test 메뉴로들어가면다음과같은창이나타난다. 22
이창에서먼저분석하고자하는변수선택하여 ( 이경우에는 IQ) 오른쪽창으로옮긴후, 이자료를어떤평균과비교할지를정하여 ( 이경우에는 120) Test Value 창에입력한다음 OK 단추를누르면결과가다음과같이나온다. One-Sample Statistics N Mean Std. Deviation Std. Error Mean IQ 100 130.1993 9.21729.92173 One-Sample Test Test Value = 120 t df Sig. (2-tailed) Mean Difference 95% Confidence Interval of the Difference Lower Upper IQ 11.065 99.000 10.19926 8.3703 12.0282 위에서제시된것과동일한결과를보여준다. t값은 11.065이고자유도는 99 이며, p-값은.000이다. 신뢰구간에대해서는뒷부분에서다루기로하겠다. 3) 두집단평균의비교 여기에서는앞에서예로든남녀집단의보수성평균비교분석을구체적인절 통계적가설검증의절차와문제점그리고대안 23
차에따라자세히설명하기로하겠다. 연구자는남자대학생이여자대학생보다더보수적이라는것을주장하고자한다. 연구자는전국에서남녀대학생각각 100명을표집하여보수성을측정하는설문지를이용하여보수성점수를구하였다. 여자대학생의보수성점수평균점수는 9.47이었고표준편차는 2.10이었으며, 남자대학생의보수성점수평균점수는 10.20이었고표준편차는 1.98이었다. (1) 영가설과알파의설정영가설은두집단의평균이동일하다는것이다. 남 여혹은 남 여 그러나이분석에서통계치로두표본집단의평균차를이용할것이므로영가설을다음과같이기술하면이후의논리전개에도움이된다. 남 여 남 여 알파는.05 로삼으며, 일방검증을할것이다. (2) 통계치와 p-값의계산두집단의평균을비교하는대부분의경우에두모집단의분포가알려져있지않다. 만약두모집단의분포가알려져있다면굳이가설검증을할필요가없을것이다. 따라서두집단의표준편차는표본표준편차를사용하여추정할수밖에없다. 위에서설명한바와같이이경우에는정규분포대신에 t 분포를따르게된다. 여기에서사용하는통계량은두집단평균의차이 남 여이다. 먼저영가설이참이라고하면 남 여의평균은 0이다. 그다음으로 남 여의표준편차를구해야되는데다음과같이구할수있다. 두평균의상관은 0 이 24
라고가정한다. 남 남 여 남 여 여 여기에서 남, 여는각각남자집단과여자집단의표본크기 ( 각집단에몇명 으로구성되었는지 ) 이다. 만약두집단의표준편차 ( 분산 ) 가동일한경우에는다음과같이계산될수있다. 남 여 남여 위두공식중에서두집단의표준편차가동일하다고가정하는경우가그렇지않은경우보다표준편차가더작게된다. 따라서두번째공식이선호된다. 그러나이표준편차가같다는가정이어긋나지않는지를먼저확인해야한다. 이부분은이책의범위를넘어서는것이므로더이상설명하지않기로하겠다. 그렇지만, SPSS의결과표에서이가정을확인하는방법은뒤에설명할것이다. 두집단의분산이동일하다는가정하에서두집단평균의분산을계산하면 0.289 가된다. p- 값은두표본집단의평균차가 0.95(=10.42 9.47) 보다큰확률을계산하면된다. 남 남 여 남 여 여 남 여 여기서모집단의평균차이를영가설에서 0이라고가정한것을잊지말아야한통계적가설검증의절차와문제점그리고대안 25
다. 이미언급한바와같이이것은 t분포를따르며, 자유도는두집단의표본크기에서 2를뺀수이다. 즉 남 여 이다. 이분석에서는자유도가 198이다. (3) 의사결정 p-값이알파값인.05보다작으므로영가설을기각할수있다. 따라서남자가여자보다더보수적이라는결론을내릴수있다. (4) SPSS를이용한분석 SPSS에서자료는두개의행, 즉두개의변수를가져야한다. 첫번째는집단을나타내는변수 (group) 이고두번째는보수성점수를나타내는변수 (consv) 이다. 집단변수에서 1은남자, 2는여자로코딩되어있다. 분석을위해서는 Analysis Compare Means Independent Samples T Test의메뉴로차례로들어가면, 다음과같은창이뜬다. 왼쪽에변수중에 group의 Grouping Variable 창으로화살표를이용하여옮기고, consv는 Test Variable(s) 창으로옮긴다. 그런다음, Define Group 단추를눌러서두집단을나타내는값, 여기서는 1과 2을입력한다음 OK를누르면아래와같은결과를얻을수있다. 먼저두집단에대한기술통계가제시된다. 26
Group Statistics group N Mean Std. Deviation Std. Error Mean consv 1 100 10.2000 1.98479.19848 2 100 9.4700 2.10077.21008 그다음으로두집단평균차이에대한분석결과가다음과같이제시된다. 첫번째부분은두집단의분산 ( 표준편차 ) 이동일한지를가설검증하는것이다. 이결과표에서 Sig. (p-값) 을읽어서이값이.05보다작으면, 두집단의분산이동일하다는영가설을기각할수있다. 따라서두집단의분산은동일하지않다고결론을내리게된다. 그렇지않으면동일하다고가정한다. 여기에서는 p-값이.05보다작지않으므로동분산을가정한다. Independent Samples Test Levene's Test for Equality of Variances t-test for Equality of Means F Sig. t df Sig. (2-tailed) Mean Difference Std. Error Difference 95% Confidence Interval of the Difference Lower Upper social Equal variances assumed 0.42 0.518 2.526 198 0.012 0.73 0.28901 0.16007 1.29993 Equal variances not assumed 2.516 197.365 0.012 0.73 0.28901 0.16007 1.29994 두집단의분산이동일하다고가정하는경우에는다음의결과에서 Equal variances assumed 라고명명된결과를읽으면되고, 분산이동일하지않다고가정하는경우에는 Equal variances not assumed 라는행을읽으면된다. 이자료의경우에는동분산을가정하고있으므로첫번째행을읽으면된다. 통계적가설검증의절차와문제점그리고대안 27
Independent Samples Test t-test for Equality of Means t df Sig. (2-tailed) consv Equal variances assumed 2.526 198 0.012 Equal variances not assumed 2.526 197.365 0.012 그다음결과부분으로평균차이에관한통계치와 95% 신뢰구간이제시되어있다. 이에대한설명에뒤로미루기로한다. Independent Samples Test Mean Difference Std. Error Difference 95% Confidence Interval of the Difference Lower Upper consv Equal variances assumed 0.73000 0.28901 0.16007 1.29993 Equal variances not assumed 0.73000 0.28901 0.16006 1.29994 4) 동일한집단의두평균비교 사회조사등에서는많이볼수없지만, 심리학등의실험연구에서는동일한개인에게두번측정하여차이가있는지를검증하고자하는경우가있다. 예컨대한심리학자가우울증치료방법을개발해내었다. 이치료방법의효과를검증하기위하여 100명의우울증환자에게이치료방법을사용하기전과후에우울점수를측정하였다. 치료전에는우울점수의평균이 5.47이였고치료후에는 4.72이었다. 이차이가통계적으로유의한지를검증하고자한다. 두개의평균과두개의표준편차를계산할수있으므로위에서제시된두집단평균의비교방법으로계산할수있다. 그러나이방법은두자료가동일한사람에게서나왔다는정보를전혀사용하지않는다. 또한두평균차이에대한표준편차를유도하는과정에서두평균의상관이 0이라는가정이사용되고있으므로 28
두집단평균을비교할때사용한공식을여기에서이용할수는없다. 동일한개인의특성반복측정하는경우에는새로운자료를생성하고이자료를이용하여분석한다. 각개인마다치료후점수에서치료전점수를빼서새로운점수를만들어내는것이다. 이점수는각개인의우울점수변화를나타낸다. 이변수를편의상 D라부르자. 100 명의환자에대한 D 점수가계산되어있으면, 이 D의평균과표준편차를구할수있다. 이예에서는 D의평균은 -0.75였고 D 의표준편차는 3.08이었다고하자. (1) 영가설과알파의설정이분석에서영가설은다음과같다. 부연해서설명하면 (post : 후 ; pre : 전 ) 의표본평균은다음과같이표현될수있다. 따라서 이라는표현과 혹은 은동일한표현이된다. 즉영가설은두평균이동일하고, 치료전후의차이가없다는것이다. 여기서알파는.05로설정하며, 일방검증을택한다. (2) 통계치와 p-값의계산통계치와 p-값을계산하는방식은 5.2와동일하다. 의표준편차는 통계적가설검증의절차와문제점그리고대안 29
자유도는자료수 -1이다. 여기에서사용하는통계치가 D이므로자료수가 200 이아니고 100임을유념하여야한다. (3) 의사결정 p-값이.05보다작으므로영가설을기각할수있다. 따라서치료후의우울점수평균이치료전의우울점수평균보다낮다고할수있다. 이는치료가우울정도를떨어뜨린다는결과이고우울증치료법의치료효과가존재하는것으로해석할수있다. (4) SPSS를이용한분석 SPSS에서는한사람의자료가한줄 (record) 에입력되므로이경우에자료는두변수로구성되어야한다. 여기에서는 pre라는변수에치료이전우울점수를 post 에치료이후우울점수가입력되어있다. 이는두집단평균비교에서에서집단을나타내는변수와분석할변수 ( 종속변수 ) 의두변수로구성되어있는것과는대조된다. 분석을위해서는 Analysis Compare Means Paired Samples T Test의메뉴로차례로들어가면, 다음과같은창이뜬다. 30
왼쪽창에서두변수를선택하여오른쪽창으로옮긴후 OK를누리면결과가출력된다. 첫번째결과는기술통계부분이다. Paired Samples Statistics Mean N Std. Deviation Std. Error Mean Pair 1 post 4.7200 100 2.08932.20893 pre 5.4700 100 2.32011.23201 그다음으로가설검증결과가다음과같이제시된다. 첫번째부분은분석을위해계산된 D(post-pre) 변수에대한통계치가제시되어있다. Paired Samples Test Paired Differences Mean Std. Deviation Std. Error Mean 95% Confidence Interval of the Difference 95% Confidence Interval of the Difference Lower Upper Pair 1 post-pre -0.75000 3.07606 0.30761-1.36036-0.13964 통계적가설검증의절차와문제점그리고대안 31
다음으로가설검증결과에따르면 t 값은 -2.438이고자유도는 99 그리고 p- 값은.017이다. 이는위에서계산한수치와일치한다. Paired Samples Test Paired Differences t df Sig. (2-tailed) Pair 1 post - pre -0.438 99 0.017 6. 가설검증의문제점 1) 가설검증논리의문제점 가설검증의가장큰단점은연구자가원하는정보를얻을수없다는것이다. 연구자들은조사나실험을통하여수집된자료가연구가설을얼마나지지하여주는지를알고싶어한다. 그러나가설검증은연구가설의반대인영가설이거짓일가능성에대한정보를줄수있을뿐이다. 자료가영가설을지지할확률이나대립가설을지지할확률은가설검증에서알수있는방법이없다. 즉가설검증이보여주는영가설을기각하는확률과, 대립가설을옳을확률사이에일정한관계가존재하지않는다. 가설검증의맥락속에서생각할수있는몇가지확률을살펴보자. 영가설이참일확률 : 대립가설이참일확률 : 영가설이참일때, 현재의자료가관찰될확률 : 대립가설이참일때, 현재의자료가관찰될확률 : 현재의자료가관찰되었을때, 영가설이참일확률 : 현재의자료가관찰되었을때, 대립가설이참일확률 : 32
위이네가지확률중에서가설검증에서알수있는확률은 p-값밖에없다. 영가설이참일확률과대립가설이참일확률은당연히알지못하므로나머지확률들을계산할길이없다. 베이지안통계학에서는 와 을현재까지의지식이나상식혹은추측에의하여사전에정할수있으면, 새로운자료가관찰되면, 이두확률을새로운값을도출해낼수있다. 즉 이러한방법이가설검증의문제를해결할수있을것으로생각되나, 와 을정하는과정에서주관성이개입되는등여러가지문제점이발생하게된다. 2) 가설검증의적용하는현실에서관찰되는문제점들 가설검증을잘못적용하여잘못된해석을하는것은전문학술지등에서도쉽게찾아볼수있다. 아마도정확한가설검증에대한논리를이해하지못하고, 요리책과같이기계적인절차만을기술한통계교과서에의존하여가설검증을사용하기때문에생긴일일것이다. 가설검증을잘못이해하고해석하는몇가지사례를들도록하겠다. (1) p값을효과 (effect) 의크기나검정력으로잘못이해하는경우 p-값.001일결과를 p-값이.03인결과보다더큰평균차이 ( 효과 ) 로해석하거나 더안정된결과로해석하는경우가많다. 논문등에서도 p.0001 이며매우유 통계적가설검증의절차와문제점그리고대안 33
의한결과이다혹은 the difference is very significant 라고기술하는것을흔히볼수있다. 물론이것은잘못된해석이다. p-값은영가설이참이라는가정하에서자료가관찰될확률이고연구가설 ( 대립가설 ) 이참일확률과는관련이없다. 이러한표현을하는것을보면 1-p를효과의크기나검정력처럼잘못해석하기때문이다. 조금더자세히설명하면, p-값은여러가지요소들에의하여결정된다. 평균에대한 t-검증의공식에서 t-값이커지면, p-값이작아지게된다. 공식에서알수있는바와같이실제로관찰한표본평균 ( ) 과영가설에서가정하는모집단평균 ( ) 가아무리작더라고표본의크기가커지면 t는증가하게된다. 바꾸어말하면, t는표본의크기에도큰영향을받는다. 사실영가설이참일경우는논리적으로존재하지않는다. 위에서든예에서영가설은평균이 120이다 ( ) 인데, 이는정확히 120이라는것이다. 만약에 120.000000000001 이라도영가설은맞지않게된다. 이러한경우에표본의크기가증가하면, 영가설은반드시기각되게된다. Cohen(1994) 의논문의제목 The Earth Is Round(p<.05) 2이시사하는바가크다. 효과의크기는다른방식으로계산될수있다. 위이경우에효과의크기는다음과같은 d로계산될수있다. 2 Cohen, J., The earth is round(p<.05), American Psychologist 49, 1994, pp.997~1003. 34
공식에서보는바와같이표본의크기 (N) 가증가하더라도효과의크기는증가하지않게된다. 검정력을계산하는여러가지방법들이존재하나검정력의계산은이책이다루는범위를넘어선다. Cohen(1988) 의 Statistical Power Analysis for the Behavioral Sciences 3 에서검정력에대하여자세히다루어지고있다. 그리고인터넷을통하여쉽게계산할수있는프로그램을제공받을수있다. 4 (2) 가설검증에서잘못된결론을내릴확률을과소평가하는경우일종오류의크기가전체가설검증에서발생할수있는오류의크기로잘못해석하는경우가많다. 그리고가설검증의정확성을높이기위하여일종오류의크기를작게설정하기도한다. 사실이방법이오직가능한방법이기때문이다. 그러나일종오류를감소시키는것은이종오류를범할확률을크게만든다. 일종오류를 0.05로통제한다하더라도이종오류를포함한가설검증으로인한전체오류는대립가설이사실일때, 최대 95% 까지될수있다. 실제로 Cohen(1962) 5 과 Sedlmeier 와 Gigerenzer(1989) 6 의연구에따르면실제사회과학의여러분야에서가설검증으로발생하는오류의크기는평균 60% 에이르고있다. 이에대한고려가필요하다. (3) 가설검증의결과만제공하고이외의필수적인정보를제공하지않는경우사회과학에서는다수의변수들을사용하는경우가많기때문에한연구에서많은가설을검증하게된다. 이때가설검증결과만을논문에보고하는경우가흔하다. 그러나각가설에대한결과는평균, 표준편차등을이용하여자세히기술되어야한다. 단순히 p값만으로보고한다든지, 심지어는어떤집단의평균이더큰지에대하여보고하지않는경우가있는데, 이는자료를해석하는데필요한정 3 Cohen, J., Statistical Power Analysis for the Behavioral Sciences (2nd Edition), Hillsdale, New Jersey : Lawrence Erlbaum, 1994. 4 http://www.psycho.uni-duesseldorf.de/aap/projects/gpower/ 5 Cohen, J., The statistical power of abnormal-social psychological research: A review Journal of Abnormal and Social Psychology, 65, 1962, pp.145~153. 6 Sedlmeier, P., & Gigerenzer, G., Do studies of statistical power have an effect on the power of studies? Psychological Bulletin 105, 1989, pp.309~316. 통계적가설검증의절차와문제점그리고대안 35
보를제공하지않는것이다. 사회과학의연구들은집단간차이가존재하는지의여부보다는그차이가얼마나되는지에더많은관심을가지고있다. 통계적으로집단간차이가나타난다하더라도실질적으로는의미가없을수있기때문이다. 앞에서도언급하였지만표본의크기를증가시키면작은차이도통계적으로의미있게된다. 이에대한자세한해석이필요하다. 논문이나보고서에평균과표준편차도보고하지않으면, 이를해석할수있는방법이전혀없다. 7. 가설검증문제의보완 1) 신뢰구간의계산 가설검증을보완할수있는방법으로베이지안통계방법의도입, 검정력계산, 메타분석 (meta analysis) 등이제안되고있지만, 이와같은별도의노력없이간단히계산하여가설검증의문제를보완할수있는방법이신뢰구간이다. 앞에서제시된 SPSS의결과에서신뢰구간이항상제시되어있어서신뢰구간은쉽게얻어질수있는통계치이다. 평균에대한신뢰구간공식은다음과같다. 신뢰구간은 95% 신뢰구간, 99% 신뢰구간등이있는데, 이는신뢰의정도를나타내는것이다. 신뢰의정도가높은신뢰구간을구할수록그범위는더넓어지는특징이있다. 따라서신뢰의정도를높이면추론의정확성은높아지지만정보량은작아지게된다. 이신뢰의정도를표시해주는것이 이다. 여기서 는 (1-신뢰정도) 로생각하면된다. 95% 신뢰구간의경우 α는.05가된다. 위에서든 IQ 평균을비교하는예를살펴보면집단 (A과학생 ) 의평균이 130.2 36
였고표준오차 ( ) 는.92 였다, 자유도는 99 가된다. 95% 신뢰구간을위한 값은 1.984 가된다. 이러한수치가주어지면, 신뢰구간은 SPSS 결과표에는 120과의차이에대한신뢰구간이구해져있는데위의계산에서구간에서 120을빼면, [8.4, 12.03] 이된다. 이는 SPSS의결과와일치한다. 이신뢰구간을해석하는것은 A과학생의평균이 128.4에서 132.03에위치할가능성이높다는것이다. 이신뢰구간이영가설의평균을포함하고있지않으면, 가설검증에서영가설을기각하게된다. 이결과는신뢰구간이영가설인 120일포함하고있지않으므로영가설을기각할수있게된다. 신뢰구간을구하면별도의계산을하지않더라도가설검증을할수있다. 신뢰구간은가설검증의결과에대한정보를모두지니고있으면서부가적인정보를지니고있다. 먼저모집단의파라미터에대한추정치를알수있다. 위의경우에 A과학생의추정치로 130.2가사용되고있는것으로알수있다. 그리고이추정치의오차가어느정도인지도추론할수있다. 이경우에 5% 정도의오차를감수하고추정할수있는구간에대한정보가주어져있다. 오차의범위에서많은정보들이추론될수있다. 아래에여러가지신뢰구간이제시되어있는데, 이신뢰구간에서추론할수있는정보는모두다르다. 우선수직선이 120인선이라고가정하자. 그러면, 두번째와다섯번째, 여섯번째의신뢰구간은 120을포함하고있지않으므로평균이 120이라는영가설을기각할수있다. 마지막신뢰구간은그범위가넓어서 121 과 150사이의값이될수있는데반해서다섯번째신뢰구간은 144에서 149사이의값이다. 특히다섯번째자료에대하여우리는안전하게이집단이 120보다크며, 집단평균이 144 이상이라고말할수있을것이다. 그러나마지막신뢰구간을보면 120과거의차이가나지않는 121에서부터 150까지의범위에서집단평균이위치할수있으므로이자료로결론을내리는데유보적이어야할것이다. 세번째와네번째신뢰구간은모두 120을포함하고있으므로영가설을기각 통계적가설검증의절차와문제점그리고대안 37
할수없다. 그러나네번째신뢰구간을보면이집단은 120과다르지않다고결론을내릴수있지만, 세번째신뢰구간을보면이를바탕으로내릴수있는결론이거의없다. 120 [ ] [117,127] [ ] [125,135] reject [ ] [119,150] [ ] [119,121] [ ] [144,149] reject [ ] [121,150] reject 이처럼신뢰구간을사용하면가설검정에서흔히저지르기쉬운많은오류를방지할수있다. 신뢰구간은수치의형태로제시할수도있지만, 오차막대 (error bar) 의형태로도제시할수있다. 많은경우에연구자들이오차막대를제시하는것을꺼리는데, 이는사회과학연구에서오차막대의크기가매우큰경우가많기때문이다. 논문과보고서의목적이정확한정보를제공한다는것임을상기하면오차막대를제시하는것은사회과학논문에서매우중요하다. 위에서제시된평균에대한차이검증에서차이에대한신뢰구간이보고되고있는데, 차이가 0인경우에영가설이참이되므로, 차이의신뢰구간이 0을포함하면평균의차이가없다는영가설을기각할수없다. 이러한방식으로위에서제시된신뢰구간을해석할수있다. 2) 효과의크기, 검정력, 메타분석 가설검증의대안으로많이추천되는것이효과의크기와검정력을계산하는것 38
이다. 효과의크기는영가설의모집단분포와관찰된자료를산출하는모집단분포가얼마나많이다른지를나타내는것이다. 이는영가설의평균과관찰된자료의평균의차이를비교해서추정할수있다. 효과의크기가커지면연구가설에서주장하는바가강하게지지된다. 효과의크기와표본의크기, 그리고일종오류의크기가정해지면검정력이계산될수있다. 검정력은연구가설 ( 대립가설 ) 이참일때, 연구가설을받아들이는확률이므로, 연구자가정확한가설을가지고있을때, 이를지지해주는증거를찾을확률이다. 어쩌면이것이가설검증에서가장중요한확률이다. 이확률을계산하여연구계획을구성한다든지, 자료를해석하는데사용할수있다. 예컨대, 검정력이매우높은데, 통계적으로유의미한결과가나오지않았다면, 이는영가설이참이라고말할수있는것이다. 왜냐하면, 영가설이틀릴경우이를기각할확률 ( 검정력 ) 이매우높다는것인데기각하지못하였다면영가설이정말로틀린경우이기때문이다. 가설검증을가장잘보완할수있는방법은메타분석이다. 가설검증은영가설이틀렸는지여부만을확인한다. 예컨대, 한연구자가 10년동안두집단의차이를관찰하였더니, 계속적으로하여통계적으로의미가있었다. 만약 11년차에도새로운자료를수집하여가설검증을한다면, 다시집단간에차이가없다는가정하에서분석을할것이다. 이는매우비효율적인방법이다. 메타분석에서는여러연구결과들을모두이용하여보다종합적이고안정된결론을내리는분석법이다. 메타분석의필요성에대하여의문을가지는연구자는없지만, 연구자들간에자료를교환하는문제, 많은시간이걸린다는문제점등의이유로사회과학연구에그리활발하게적용되지는않는것으로보인다. 8. 맺는말 이소책자는가설검정에대한논리와실제적용을설명하기위하여쓰여졌다. 사회과학에서가장많이사용되면서도가장많이오용되는가설검증을정확하게 통계적가설검증의절차와문제점그리고대안 39
이해하는데가장중점을두었다. 가설검증은가까운미래에새로운방법으로대체될가능성이높은분석방법이지만, 현재가장많이사용되는방법이며, 가설검증을사용한논문이대부분을차지하고있다. 현실이이러하다면, 가설검증의논리를정확하게이해하여정확하게사용하는방법이최선이다. 컴퓨터프로그램의발달로연구자들이논리를이해하지못하고단순하게기계적으로분석하는경우가많은데, 이러한분석은잘못된가설검증의논리를적용시킬확률이매우높다. 기계적인분석이아니라논리적으로이해하고사고하는분석이필요하다. 40
찾아보기 가가설검증 5, 8~11, 13~18, 24, 27, 31 ~33, 35~40 파평균비교 28 기타 p-값 12, 13, 15, 16, 18~27, 29, 30, 32~34 통계적가설검증의절차와문제점그리고대안 41