아시아교육연구 12 권 4 호 Asian Journal of Education 2011, Vol. 12, No. 4, pp. 193-216. 진단, 선발, 분류에대한의사결정에있어서 Bayes' Theorem 의적용가능성및교육적함의 박태학 ( 朴泰學 ) * 논문요약 본연구는임상적진단이나선발과분류와같은의사결정에있어서 베이즈정리 의적용방안을모색하고구체적인적용사례를통해그교육적함의를논의하였다. 임상적진단에있어서 잘못된양성반응의패러독스 는매우중요한시사점을제시한다. 모집단의유병율이낮은조건에서상당한정확성을가진진단도구라고할지라도대부분의양성결과는잘못판정된것일수있다는점이다. 대부분의임상적장애가낮은유병율을보이기때문에임상적평가에서총평관적접근의중요성을강조한다. 본연구는선발혹은분류에있어서분할점수추정과그에따른준거타당도평가에대해베이즈정리를어떻게적용할수있는지를구체적인적용사례와함께제시하였다. 기존방식과달리베이즈정리에의한방식은분할점수추정에있어서통계적오차를반영한의사결정을가능하게해준다. 또한연속변수의경우기존방식은무수히많은분할표를필요로하지만, 베이즈정리에의해이러한문제를쉽게해결할수있다. 특히베이즈방식은 ROC 곡선의분석을병행함으로써최적분할모델을손쉽게식별할수있다. 결과적으로임상적진단, 선발과분류에관련한준거설정과준거타당도는주기적 (periodically) 으로평가되고수정 보완되어야한다. 베이즈정리는이러한준거설정과준거타당도연구에있어서논리적으로적합한모델을제시한다. 주요어 : 베이즈정리, 임상적진단, 선발, 분류, 분할표, 준거설정, 준거타당도 Ⅰ. 서론 우리는일상의교육현장에서학생들에대한임상적진단이나, 검사결과에의거하여특정한집단을선발하거나, 학생들을여러범주나수준으로분류혹은배치하는상황을흔히접하게된 * 신라대학교교육학과부교수
194 아시아교육연구 12 권 4 호 다. 여기서여러가지검사자료나준거에입각하여학생들을진단, 선발, 분류하는모든의사결정의경우공통적으로발생하는문제점은두가지의오류, 즉긍정적오류와부정적오류가발생할수있다는사실이다. 따라서이러한의사결정의정확성을높이기위해서는그오류의원인을잘파악하고, 그것을최소화할수있는방법을모색해야한다. 본연구의목적은이러한진단, 선발및분류에관련한준거설정과그준거에따른의사결정의타당성평가에있어서 베이즈정리 (Bayes' Theorem) 의적용가능성을모색하는것이다. 기존방식은이러한의사결정에있어서여러가지본질적인문제점과한계를지니고있다. 첫째, 준거점수에대한정보만제공하지근처점수들에대한오차에대한정보를제공하지못하며, 따라서오차를반영한의사결정이나오차를고려한분할점수조정이불가능하다. 둘째, 진단, 선발혹은분류에대한준거설정에필요한정보만제공하지, 이러한단순한차원을넘어개별적학생상담에필요한부과적인정보를제공하지못한다. 또한기존방식은검사점수가연속변수인경우분할점수추정을위해무한히많은분할표의분석을필요로하며, 그준거에따른의사결정의정확성을평가하는데한계가있다. 베이즈정리에의한방식은기존방식의이러한문제점과한계를극복할수있는부과적인정보와해결방법을제공한다. 본연구는학생들에대한진단, 선발, 분류상황에서기존방식에의해발생할수있는이러한문제점과한계를극복할수있는방안으로베이즈정리의적용을통해그구체적적용사례와해결방법등을종합적으로제시하였다. Ⅱ. Bayes Theorem 의이해 베이즈정리는영국의수학자이자목사인 Thomas Bayes(1701-1761) 가 우연이라는원칙으로문제를해결하는방법에관한수필 (Essay towards solving a problem in the doctrine of chances) 이라는제목으로발표한이론이다. 베이즈정리는두확률사건 (random events) 에있어조건확률 (conditional probability) 과주변확률 (marginal probability) 사이의관계성을기술한것이다. 일반적으로기초통계학에서는베이즈정리를확률사건에한정하여설명하지만확률변수의경우에도쉽게적용이가능하다. 1. 확률사건 (Random Events) 두임의의확률사건 와 가있다고가정하자. 또한 A는 개의서로배반인범주 으로분할되고, 그중하나의범주는반드시일어난다고가정하자. 사건 와관련하여 의조건부확률에대한베이즈정리는다음과같이정의한다.
진단, 선발, 분류에대한의사결정에있어서 Bayes' Theorem 의적용가능성및교육적함의 195 (1) 는관측된 에대한 A의조건부확률이며, 이것은 B의관찰결과에의해결정되기때문에사후확률 (posterior probability) 이라고불린다. 는 의주변확률로서사전확률 (prior probability) 이라불리며, 사전 이라는것은아직사건 에관한어떤정보도고려하지않음을의미한다. 는사전정보 가주어졌을때 가일어날조건부확률이며, 우도 (likelihood) 혹은우도함수 (likelihood function) 로불린다. 는정규화상수 (normalizing constant) 의역할을하는것으로아래와같이구할수있다. (2) 사건 A 가단순히두범주 와그여집합 로양분되는경우에기초통계학에서흔히제시되 는베이즈정리의가장단순하고도기본적인공식이정리된다. (3) 이와같이두배반범주의경우베이즈정리를승산비와우도비 (odds-likelihood ratio) 의형태 로정의하기도한다. (4) 사후승산비 ( 혹은승산비 ) 은 와 에대한사후확률의비율로서, 가 에비해선호되는비율이며, 베이즈인자 (Bayes factor) 인우도의비율에사전승산비 (prior odds) 를곱한것과같다. 이러한형태의베이즈정리는두배반가설이나이론중에서하나의가설이나이론을선택하는의사결정에유용하며, 특히이것은베이지안가설검정의근간을이루는개념이다. 베이즈정리의요점은새로운정보 에의해이를근거로어떤사건 가발생할조건부확률을개선하는방법을제공한것이다. 이는특히사전확률 가밝혀지지않았을때이를확인할수있다는점에서중요성이있으나, 사전확률이밝혀져있다고하더라도이를새로운정보
196 아시아교육연구 12 권 4 호 에의해조정할수있다는의미가더크다. 다시말해베이즈정리는 에대한사전지식이나 개인적인확률적신념이 에대한새로운정보에근거하여개선되어지는과정을묘사한것이다. 2. 확률변수 (Random Variables) 베이즈정리는확률사건을대신하여확률변수를사용하더라도거의변화가없다. 확률변수에는두가지의종류가있다. 하나는모든값을셀수있는이산확률변수 (discrete random variable) 이고, 다른하나는어떤구간내에서모든값을취할수있는연속확률변수 (continuous random variable) 이다. 임의의두변수 와 가연속변수인경우, 베이즈정리는확률밀도함수 (probability density function: pdf) 의조건부확률에의해아래와같이정의될수있다. (5) 여기서 와 는각각 와 의확률밀도함수이며, 음이아닌함수이다. 값의특 정한구간 에대한확률을확률밀도함수로표현하면아래와같고, (6) 값의범위가 에서 이면, 이다. 값의범위가 에서 이 면, 이다. 는정규화상수의역할을하는것으로 X의특정한값 에 대한 Y의조건부확률밀도함수로나타낼수있으며, 만약 값의범위가 에서 이면아래와같다. (7) 베이즈정리를적용함에있어서때때로한변수가연속적변수이고다른변수가이산형변수 인경우를흔히접하게된다. 만약에 가이산형변수이고, 개의서로배반인범주
진단, 선발, 분류에대한의사결정에있어서 Bayes' Theorem 의적용가능성및교육적함의 197 으로분할되며, 의사전확률을갖는다고가정하자. 또한임의의 변수 가 의확률밀도함수를갖는다면, 두변수에대한베이즈정리는아래와같이정의할수 있다 (Johnsonbaugh & Jost, 1996). (8) 여기서모든 에대해 이고, 이다. 분자에있는 는 가 인경우 Y의조건부확률밀도이며, 분모 는정규화상수로서아래와같다. (9) Ⅲ. 임상적진단과거짓양성반응패러독스 1. 임상적진단과그타당성초 중등학교현장에서는아동과청소년의발달과관련하여정신장애, 학습장애등임상적진단을필요로하는문제가많이발생한다. 하지만어떤임상적진단이든완벽한판정을기대할수없다. 모든임상적진단이공통적으로지니는문제는두가지의오류가항상수반된다는것이다. 임상적진단법에있어서정확도를높이기위해서는판단의오류가어떻게일어나는지와그것을최소화할수있는방법에대한이해가필요하다. 예를들어어떤정신질환여부에대한적격성판정을진단검사의결과에의존하여결정할경우, 두가지의올바른판정과두가지의판정오류가동시에발생할수있다 ( 참조 : < 표 1>). 첫째, 정신질환자를올바르게양성으로판정하는경우 ( 진양성 ) 이며 ; 둘째, 비정신질환자를음성으로올바르게판정하는경우 ( 진음성 ) 이고 ; 셋째, 비정신질환자를양성으로잘못판정하는경우 ( 위양성 ) 로서제1종오류의개념이고 ; 마지막으로정신질환자를음성으로잘못판정하는경우 ( 위음성 ) 로서제2종오류의개념이그것이다.
198 아시아교육연구 12 권 4 호 < 표 1> 진단법에서의올바른판정과판정오류의유형 검사결과 양성 음성 실제정신질환자비질환자계 진양성 a 위음성 c 위양성 b 진음성 d a+b c+d 계 a+c b+d a+b+c+d 베이즈정리를적용하여진단법의타당성여부를평가하기위해필요한정보를아래와같이 요약할수있다. a 민감도 (sensitivity) a c d 특이도 (specificity) b d a 양성예측도 (PPV) a b 민감도양성승산비 (R+) 특이도 c 위음성율 (FNR) a c b 위양성율 (FPR) b d d 음성예측도 (NPV) c d 민감도음성승산비 (R-) 특이도 [ 그림 1] 베이즈정리에의한진단법의타당성평가에관련된정보 이러한정보를근거로하여진단법의타당성을평가하는데있어서최소한세가지측면을고려해야만한다. 첫째, 바람직한진단법이라면, 민감도와특이도가높아야할것이다. 민감도 (sensitivity) 는실제정신질환이있는학생들이검사를통해양성이라고판단될확률로서, 그검사가정신질환자를얼마나잘선별해내는가를알려주는지표이다. 또한민감도는정신질환이있는데도검사를통해음성이라고판단될확률인위음성율 (Flase Negative Rate: FNR) 이얼마나적은지를보여준다 ( 참조 : 위음성율 = 1-민감도 ). 특이도는실제정신질환이없는학생들이검사를통해음성이라고판단될확률로서이검사가비정신질환자를얼마나잘배제시키는가를나타내는지표이다. 동시에특이도는정신질환이없는데도검사를통해양성이라고판단될확률인위양성율 (False Negative Rate: FNR) 이얼마나적은지를보여준다 ( 참조 : 위양성율 = 1 - 특이도 ). 민감도가매우높은경우, 검사결과가음성이라면정신질환판정으로부터배제 (rule-out) 를고려해볼수있다. 반면특이도가매우높은경우, 검사결과가양성이라면정신질환확정
진단, 선발, 분류에대한의사결정에있어서 Bayes' Theorem 의적용가능성및교육적함의 199 (rule-in) 을고려볼수있다. 그러나진단법의타당성에있어서민감도와특이도의정확성은필요조건이지충분조건은되지못한다. 둘째, 진단법의타당성평가에있어서가장중요한판단준거는양성예측도이다. 양성예측도 (Positive predictive value: PPV) 는양성반응이나온학생이실제정신질환이있을확률을나타내는지표이기때문이다. 사전확률이유병율 (prevalence) 이라면, 양성예측도는베이즈정리의사후확률과같다. 진단법이최소한의유용성을갖기위해서는양성예측도가무작위판정의수준인 0.5 보다높아야한다. 같은맥락에서양성승산비 ( ) 는최소한 1.0 보다커야한다. 양성승산비는비정신질환자가검사결과양성이나올가능성에비해정신질환자가검사결과양성으로나올가능성이얼마나더큰지를나타내는승산지표이다. 무작위판정의경우양성예측도의기대치는.5이고, 양성우도비의기대치는 1.0일것이다. 부과적인정보로음성예측도 (Negative Predictive Rate: NPR) 는정신질환자대신비정신질환자를선별하는경우의사후확률로서높을수록좋을것이다. 또한음성승산비 ( ) 는양성승산비의역비율이며, 비정신질환자가검사결과음성으로나올가능성에비해정신질환자가검사결과음성으로나올가능성이얼마나더큰지알려주는승산지표이다. 따라서음성승산비는적을수록좋을것이다. 마지막으로판정오류를일으키는주요한원인의하나인기초비율 (base rate), 즉유병율을고려해야한다. 일반적으로양성예측도는모집단의유병율에의해크게달라지며, 특히유병율이낮은경우민감도와특이도가높아도양성예측도는현저히낮아지게된다. 따라서모집단의유병율이아주낮은조건 (rare conditions) 에서는정확도가상당히높은검사도구라할지라도바람직한양성예측도를기대할수없다. 2. 가상적자료에의한적용사례 초등학교학생들을대상으로정신질환여부에대한적격성판정을내리기위해간편한진단검사를개발한다고가정하자. 진단검사의타당성여부를평가하기위해다음과같은소정의절차가필요하다. 먼저과거의통계치를통해전체초등학교학생들중에정신질환자로적격성판정된학생들의비율 ( 사전확률 ) 이얼마인지를조사해볼필요가있고, 적절한정신질환자표본과비정신질환자표본을대상으로사전검사 (pilot testing) 시행을통해최소한두가지정보에대한조사가필요하다. 하나는이검사가정신질환자표본으로부터올바르게양성반응을판정해내는비율 ( 민감도 ) 과비정신질환자표본으로부터잘못된양성판정을하는비율 ( 위양성율 ) 에대한정보가그것이다. 이들정보를근거로베이즈정리는어떤학생이이진단검사를통해양성으로판정되었을때그학생이실제정신질환자일확률은얼마인지에대한양성예측도를제공해준다. 정신질환자와비정신질환자를각각 와 로표기하고, 양성반응과음성반응을각각,
200 아시아교육연구 12 권 4 호 로표기하여아래와같은결과를얻었다고가정하자. 유병율 ( 기초비율 ) 민감도 ( 정신질환자에대한양성반응의확률 ) 위양성율 ( 비정신질환자에대한양성반응의확률 ) 이들자료를베이즈정리의공식 (3) 에대입하면아래와같은사후확률을얻게된다. 양성예측도가.05 보다적기때문에이검사에의한진단법은적합하지않다. 위의자료를공식 (4) 에대입하면양성승산비는.09 가되며, 이것은 1.0 보다적으므로같은결론을얻게된다. 이러한통계적결과는일반인의직관에매우반하는것이기때문에많은사람에게의외의사실로인식될것이다. 이검사는정신질환자를대상으로민감도 99% 수준의정확한양성반응을보였고, 비질환자를대상으로특이도 99% 수준의올바른음성을보였다. 즉, 정신질환자표본을대상으로단지 1% 수준의위양성율을보였다. 이런수준의민감도와특이도를갖는검사는일반인에게직관적으로매우정확한진단도구로인지될것이다. 그러나이검사에의해양성반응을나타낸학생이실제정신질환자일가능성은 10% 미만이며, 양성으로판정된사람의 90% 이상은실제비정신질환자일것이다. 이렇게직관에반대되는모순된결과를두고 거짓양성반응패러독스 (false positive paradox) 라한다. 이패러독스는양성반응결과가정확히정신질환자일확률은진단도구의정확성뿐만아니라표집하는모집단의특성에의존한다는것을보여준다. 3. 거짓양성반응패러독스 (False Positive Paradox) 거짓양성반응 (false positive) 은불행히도모든진단법이안고있는문제점이다. 우리는때때로 잘못된양성반응에의한심각한피해를겪었던사례를언론을통해접하게된다. 예를들어다소 희귀한질병에대해양성으로판정된환자가오랜세월동안엄청난정신적피해와육체적고통을
진단, 선발, 분류에대한의사결정에있어서 Bayes' Theorem 의적용가능성및교육적함의 201 겪고난이후그판정이잘못된것으로밝혀지는사례이다. 베이즈정리가우리에게주는중요한시사점은유병율이매우낮은조건에서는검사도구의정확성, 즉민감도와특이도가상당히높은경우라도대부분의양성결과가잘못된양성이라는것이다. 이러한문제점의심각성은임상적진단을필요로하는경우의대부분이유병율이낮은조건에서이루어진다는것이다. 다양한모집단의기초비율에따라양성예측도와양성승산비가얼마나심각하게달라지는지보여주기위해아래 < 표 2> 의자료를살펴보자. < 표 2> 진단검사의유병율에따른가상적양성예측도와양성승산비 유병율 민감도 위양성율 양성예측도 양성승산비.001.99.01.090.10.002.99.01.166.20.003.99.01.230.30.004.99.01.284.40.005.99.01.332.50.006.99.01.374.60.007.99.01.411.70.008.99.01.444.80.009.99.01.473.90.010.99.01.500 1.00 위의자료는민감도.99와위양성율.01( 즉, 특이도.99) 의정확성을가진검사도구의양성예측도와양성승산비가유병율이증가함에따라얼마나민감하게변화하는지보여준다. 유병율이.001일때양성예측도는.09이고양성승산비는.10에불과하다. 유병율이.001에서.002으로증가함으로써양성승산비가 2배로증가함을볼수있다. 유병율이위양성율의수준인.01에이르러서야양성예측도와양성승산비가무작위판정의수준인.5과 1.0이된다. 위양성율이모집단의유병율보다높음에도불구하고, 이러한정보를무시한채, 단순히양성반응결과에따라정신질환자로판정하는것을 기초비율오류 (base rate fallacy) 라고도한다. 이러한결과는모집단의기초비율이낮은조건에서는인간의특성을하나의검사나절차로평가할것이아니라여러가지다양한검사와가능한모든준거들을동원하여종합적으로평가해야한다는사실보여주는것이다. 다시말해, 거짓양성반응패러독스는임상적진단에있어서총평관적접근의중요성을시사한다.
202 아시아교육연구 12 권 4 호 Ⅳ. 분할점수설정과준거타당도 1. 분할점수설정 교육현장에서검사결과에의거하여특정한집단을선발하거나, 학업성취의목표도달-목표미달여부를결정하거나, 학생들을여러범주혹은수준으로분류혹은배치하는문제를흔히접하게된다. 이러한선발, 분류, 배치의목적으로개발한검사를준거참조검사라하며, 준거참조검사를개발하는과정에는분할점수 (cut-off score) 를설정하는절차와그준거의타당성에대한연구가필요하다. 어떤검사결과를근거로하여학생들을긍정적범주와부정적범주 ( 즉, 성공-실패, 합격-불합격, 추천-비추천등 ) 로분류하는경우를고려해보자. 이러한절차는특정한분할점수를기준으로하여그점수이상을긍정적집단으로, 그점수미만을부정적집단으로분류하는과정을포함한다. 이러한분할점수에근거한의사결정은임상적진단에서의경우와마찬가지로항상두가지의올바른판정과두가지의판정오류를수반하게된다 ( 참조 : < 표 3>). 의사결정의정확성 (decision-making accuracy) 은이러한판정오류를최소한으로줄이고올바른판정의비율을최대로늘이는분할점수선정에달려있다 ( 백순근, 2007; Cizek & Bunch, 2007). < 표 3> 진단법에서의올바른판정과판정오류의유형 검사에의한예측결과 성공 실패 실제결과성공실패계 긍정적적중 (+ 적중 ) a 부정적오류 ( 爲부정 ) c 긍정적오류 ( 爲긍정 ) b 부정적적중 (- 적중 ) d ( 선발 ) a+b ( 배제 ) c+d 계 a+c b+d a+b+c+d 베이즈정리를적용하여적합한분할점수를추정하거나, 이미설정된분할점수에의한의사결정의정확도를평가하는데도움이되는정보를아래와같이요약할수있다. 아래 [ 그림 2] 에제시된정보는임상적진단의경우와동일한것으로추정하는방법도같다. 단지분할점수에의한의사결정상황에적합한용어로재정의했을뿐이다.
진단, 선발, 분류에대한의사결정에있어서 Bayes' Theorem 의적용가능성및교육적함의 203 a + 적중률 a c d -적중률 b d a 성공예측도 a b 진선발율성공승산비 (R+) 진배제율 c 爲부정율 a c b 爲긍정율 b d d 실패예측도 c d 진선발율실패승산비 (R-) 진배제율 [ 그림 2] 베이즈정리에의한분할점수추정에관련된정보 기존의측정이론이나교육평가이론에서주로논의해온방식은적중률 (hit rate), 긍정적 (+) 적중률, 선발비율 (selection rate) 에의한분할점수선정방법이다. 적중률은의사결정전체에대한정확한결정의비율 (a+d/a+b+c+d) 로서전체학생들중에서성공할것으로올바르게예측된학생과올바르게실패할것으로예측된학생의비율이다. 적중률은선발에있어서긍정적오류 ( 爲긍정율 ) 과부정적 (-) 오류 ( 爲부정율 ) 의상대적심각성을고려할필요가없는경우일반적으로사용되는지수이다. 그러나만약어떤이유로특정한오류가상대적으로더심각하다면두유형의오류혹은두유형의예측적중에대해서로다른가중치를부과해야한다. + 적중율은성공할것으로예측하여선발한학생중에서실제로성공한학생의비율이고, Brown(1970) 에의해처음으로제시된지수이다. 만약배제된학생에대해전혀관심이없고, 선발된학생중얼마나많은사람이성공적인가에만관심이있다면, + 적중률에기초한분할점수선정이더적합할것이다. 이렇게기존방식에입각한분할점수선정방법의문제점은특정한분할점수에따른효과에만관심을갖는다는것이다. 다시말해검사점수의연속선전반에관련된정보가아니라실패-성공등몇개로나누어진유목으로요약된정보만을사용한다는것이다 ( 백순근, 2007). 또한분할점수는모집단을대표하는표본을대상으로추정한값이기때문에분할점수근처에있는점수에대한오차를의사결정에고려해야한다. 오차에대한정보가없는의사결정은부정확하기쉬우며, 통계적으로유의할수없다. 분할점수설정은정책적 정치적 경제적배경에의해조정이필요한경우가많으며, 오차는흔히분할점수조정의기본자료로사용된다 (Angoff, 1971; Ebel, 1972; Cizek & Bunch, 2007) 기존방식에입각한분할점수선정은오차를반영한분할점수의조정이불가능하다. 베이즈정리는이러한문제점에대해보다적절하게대처할수있는방법을제시해주고있다.
204 아시아교육연구 12 권 4 호 2. 가상적자료에의한적용사례 어떤프로그램에성공한집단과실패한집단에새로개발한준거참조검사를시행하여 < 표 4> 과같은결과를얻었다고가정하자. < 표 4> 성공한집단과실패한집단의가상적검사점수빈도분포 점수 성공집단 실패집단 20 3 0 19 5 0 18 12 2 17 8 1 16 10 2 15 3 5 14 2 8 13 1 10 12 2 7 11 2 5 10 2 5 9 0 3 8 0 2 합계 50 50 위자료를근거로베이즈정리를적용하여적절한분할점수를선정하는데필요한정보를 < 표 5> 과같이요약 정리할수있다. 적중률을최대한높이는것이목적이라면, + 적중률과 -적중률을가중치없이동시에높이는, 즉爲부정률과爲긍정률을동시에낮추는방법으로사후확률인성공예측도와실패예측도가같거나가능한일치되는점수를분할점수로선정하면된다. < 표 5> 에서보면 15점을분할점수로할때두사후확률 ( 성공예측도 80.4%, 실패예측도는 81.6%) 이거의같아지며, 적중률은 81% 이다. 기존의방식에의하면적중률 (83%) 이가장높은 16점을분할점수로선정할것이나, 이경우성공예측도 (88.4%) 와실패예측도 (78.9%) 가다소불균형적이다. 또한판정오류에있어서도기존방식에의한결과 ( 위부정률 24%, 위긍정률 10%) 가베이즈정리에의한결과 ( 위부정률 18%, 위긍정률 20%) 보다더불균형적이다. 또한두방식간의적중률에있어 2% 의미세한차이는사례수가다소적고, 단지한표본을대상으로한추정치로서통계적으로유의미한차이라고볼수없으며, 따라서베이즈정리에의한방식이기존방식보다더안정적인추정치를제시한다고단정할수있다.
진단, 선발, 분류에대한의사결정에있어서 Bayes' Theorem 의적용가능성및교육적함의 205 < 표 5> 베이즈정리에의한분할점수추정에필요한정보 사후확률 점수 적중률 + 적중률 위부정률 -적중률 위긍정률 성공예측도 실패예측도 20.53.06.94 1.0.00 1.000.515 19.58.16.84 1.0.00 1.000.517 18.68.40.60.96.04.909.615 17.75.56.44.94.06.903.681 16.83.76.24.90.10.884.789 15.81.82.18.80.20.804.816 14.75.86.14.64.36.705.821 13.66.88.12.44.56.611.786 12.61.92.08.30.70.568.789 11.58.96.04.20.80.545.833 10.55 1.0 0.0.10.90.526 1.000 9.52 1.0 0.0.04.96.510 1.000 8.50 1.0 0.0.00 1.0.500 --- 의사결정의정확성에대한평가에있어서적중률 81% 는적합한것인가? 이에대한판단은단순히적중률에만기초하여결정할수없으며, 기초비율과비교하여상대적으로판단할문제이다. 이검사의대안으로사용할수있는다른기존의검사도구나절차가있다면, 그중에서제시한최고의적중률을기초비율로사용해야할것이다. 만약에대안으로사용할검사나절차가없을경우, 실제성공한학생혹은실제실패한학생의비율중높은것을기초비율로사용하면된다. 이경우 < 표 4> 에서보듯이기초비율은 50% 이며, 적중률이이보다높기때문에이검사가이러한분류의목적으로사용하기에유용한것으로판단할수있다. 베이즈정리에의한방식은기존방식이제시하지못하는부과적인정보를제시해준다. 성공예측도는성공할것으로예측한학생이실제로성공할확률에대한지표이다. 어떤프로그램에참여할학생들을선발하는과정에서위와같은결과에따라 15점을분할점수로선정할경우, 선발된학생중에서 80% 는그프로그램에성공할것으로예측된다. 만약그프로그램의예산관계로선발된학생중 90% 이상의성공률을요구한다면, 분할점수로 17점혹은그이상점수를고려해볼수있다. 실패할수있는학생을선발하는爲긍정률을최소화하기위해서 19점을분할점수로선정하면성공예측도는 100% 가된다. 반면그프로그램의혜택을더많은학생들에게부여하기위하여 60% 의성공률에만족한다면 13점을분할점수로선정할수있다. 성공할수있는학생을잘못하여배제하는위부정률을최소화하려면 10점을분할점수로선정할수있으며, 이경우성공예측도는 52.6% 이고실패예측도는 100% 가된다. 또한이러한의사결정과정에서추정치의오차를분할점수조정의기본자료로사용함으로써보다유연한의사결정을내릴수있다. 분할점수설정을반복적으로시행한다고가정할때, 성공예측도는상호배반인 Bernoulli 시행
206 아시아교육연구 12 권 4 호 (trial) 이라볼수있고, 이항분포 (Binominal distribution) 의확률분포를갖는다 ( 김달호, 2005). 따 라서성공예측도에대한측정의표준오차 (standard error of measurement: SE) 는아래와같이 구할수있다. 성공예측도 SE 성공예측도 성공예측도 a b 분할점수가 15점일때성공예측도의 SE는.0556이며, 95% 수준의신뢰구간은 69.5% 와 91.3% 사이이다. 이신뢰구간은 14점에서 19점까지의성공예측도를포함하며, 사례수가적은관계로 SE가상당히크다고볼수있다. 따라서지속적인분할점수의타당성에대한검정이요구된다. 이상의논의와달리특정한학생의프로그램참여여부에대한상담의경우를생각해보자. 이검사에서 14점을획득한학생이이프로그램에참여하기를적극적으로희망한다고가정하자. 이학생의성공예측도는 70.5% 이고, 95% 수준의신뢰구간은 58% 와 83% 사이다. 또한이학생의성공승산비는 1.0보다크다. 따라서이프로그램이허락할수있다면, 학생에게참여할것을권유할수있다. 참고로승산 비의신뢰구간은분할표에대한로그승산비의점근적표준오차 (asymptotic standard error: ASE) 를구하는방식을적용하여구할수있다 ( 박광배, 2006). Ⅴ. 결정지역설정과준거타당도 1. 결정지역 (Decision Regions) 과결정경계설정검사점수에근거하여두개이상의집단으로분류하는의사결정의경우, 우리는그점수가연속적확률변수인경우를실제로더많이접하게된다. 이런경우분할표에근거하여적중률이높은분할점수를선정하는기존방식을사용하기엔한계가있다. 베이즈정리를적용하면이러한문제를쉽게해결할수있다. 어떤연속변수의점수를준거로하여대학응시자를합격과불합격으로분류하는경우를가정해보자. 두가지경우는상호배반 (mutually exclusive) 이며, 편리상각각의범주를 G와 로표기하고연속변수인 의점수를 로표기하면, 베이즈정리에의해사후확률은아래와같이
진단, 선발, 분류에대한의사결정에있어서 Bayes' Theorem 의적용가능성및교육적함의 207 정의할수있다 ( 참조 : 공식 8, 공식 9). (10) 그리고 (11) 검사점수에근거해두집단으로분류하는방법은사후확률을비교하여각집단에대해최적의 결정지역 (decision region) 을정하는것이다. 각결정지역사이를구분하는경계선을결정경계 (decision boundary) 라한다. 베이지안통계에서는연속변수의경우분할점수를대신하여결정경계라는용어를사용한다 (Johnsonbaugh & Jost, 1996). 두집단 와 사이의적절한결정경계는두사후확률이같아지는것을만족시키는 선상의경계를찾는것이다. 즉, (12) 여기서두집단의사후확률은공식 (10) 과공식 (11) 에서볼수있듯이같은분모를공유하기 때문에위등식은아래와같음을알수있다. (13) 따라서학생들을 값에근거해 와 집단으로분류하는데따른최적의결정경계는위의등식을만족시키는것이다. 만약에두범주 와 의점수분포는각각정규분포를이루다고가정할수있다면, 위방정식 (13) 을아래와같은정규분포밀도함수로표현할수있다. (14)
208 아시아교육연구 12 권 4 호 위방정식에서양변의 를제거하고, 양변에 natural log 를취하고 -2 를곱하면 ln ln (15) 이다. 최적의결정경계는이방정식을만족하는 값에위치한다. 참고로위의방정식은다음과 같은판별함수 (discriminant function) 로변환할수있기때문에 ln ln (16) D 가 0 인지점이결정지역이다. 가음수이면 지역에속할확률이높고, 가양수면 지역 에속할확률이높다. 2. 가상적자료에의한적용사례 모대학의기록에의하면신입생이 4년이내에성공적으로졸업할확률이 0.8이고, 이범주 () 에속하는학생의점수는평균 26이고, 표준편차 2를가지며, 정규분포를이룬다고가정하자. 반면 4년내에졸업하지못하는범주 ( ) 에속하는학생들의점수는평균 22이고, 표준편차 3을가지며, 정규분포를이룬다. 위방정식 (15) 에각각의사전확률, 와각각의모수치, 그리고, 을대입하면다음의값이구해진다. ln ln 혹은 이러한두개의결정경계는 [ 그림 3] 에서볼수있듯이 값선상에 3 개의결정지역으로나누 어진다. 즉 인 지역, 인 지역그리고 인 지역이다. 그
진단, 선발, 분류에대한의사결정에있어서 Bayes' Theorem 의적용가능성및교육적함의 209 러나마지막 지역 에속하는학생은실제로졸업가능한 로분류되어야한다. 따라서한개의결정경계 에의한두개의결정지역만이의미가있을것이다. 즉, 인 지역과 > 인 지역이다. [ 그림 3] 구체적사례에대한가상적결정지역과결정경계 이상의논의와달리특정한학생이위대학에진학을앞두고자기가진학하기에적합한대학인지에대해상담을필요로하는경우를가정해보자. 만일이학생의점수가 22이라면, 진학상담자는이학생이 4년뒤에졸업할확률에관심을갖게될것이다. 이경우아래의조건부확률밀도함수에필요한값을대입하여, 두사후확률의값들을구한후, 이들값을공식 (10) 에대입하면다음과같은값을얻는다. 따라서해당학생의졸업예측도는 0.5 보다낮은것을알수있다. 이검사에의표준오차에 대한정보가있다면해당학생점수의 95% 수준신뢰구간은 22-1.96SE 와 22+1.96SE 사이이다.
210 아시아교육연구 12 권 4 호 이신뢰구간의가장낮은점수와가장높은점수에대한사후확률을위와같은절차로구함으로써이학생의졸업예측도에대한 95% 수준의신뢰구간을제시할수있다. 또한졸업할것인지못할것인지에대한졸업승산비에관심이있다면, 아래의사후승산비의공식에대입하여다음의값을갖게된다. 이기때문에졸업을못할확률이높다는것을알수있다. 3. ROC 곡선에의한최적분할모델의선정 ROC(Receiver Operating Characteristic) 곡선은진단, 선발, 분류상황에서사용되는검사의분할점수설정이나그에따른의사결정의정확도에대해시각적으로쉽게평가할수있는방법을제공한다. 특히 ROC 분석은연속확률분포의 `최적분할모델 (optimal classification model) 을선정하는데유용한도구로사용할수있다 ( 박광배, 2006; Fawcett, 2006; Zou, O'Malley, & Mauri, 2007). ROC 도표는각분할점수에따른긍정적적중률 ( 혹은민감도 ) 과위긍정률 ( 혹은위양성율 ) 을각각 y축과 x축으로하여연결한도표로서각점에서의기울기는사후승산비 (R+) 이다. < 표 5> 에제시된자료에대한 ROC 도표는 [ 그림 4] 와같다. 그래프의왼쪽하부로부터오른쪽상부로 45도의점선으로표시된대각선은 R+ 가 1인지점들로서무작위선정결과에해당한다고볼수있다. 대각선의위쪽은 R+ 가 1 이상인지점들이고, 그아래쪽은 R+ 가 1 이하인지점들이다. 따라서해당분할점이유용하기위해서는 ROC 도표의 45도대각선위쪽에존재해야한다. 예를들어, [ 그림 4] 도면의왼쪽하단모서리에맞닿아있는 19점의경우위긍정율이 0.0( 따라서부정적적중률은 1.0) 이고긍정적적중률이.16이다. 반면오른쪽상단의모서리에맞닿아있는 10점의경우긍정적적중률이 1.0( 따라서위부정률은 0.0) 이고위긍정률이.90이다. 이그림에서볼수있듯이적중률 ( 즉, 긍정적적중률 + 부정적적중률 ) 을최대로높이는분할점수는 16점임을쉽게알수있다. 즉, 각점수로부터수직으로대각선을향해선을끄으면 16점의경우에그선이가장길다는것을쉽게분간할수있다. 결과적으로 16점이분할점수로서가장높은분할력
진단, 선발, 분류에대한의사결정에있어서 Bayes' Theorem 의적용가능성및교육적함의 211 (seperation power) 혹은준거타당성을갖는다는사실을알수있다. [ 그림 5] 는연속확률분포를이루는세유형의대안적검사결과에대한가상적 ROC 곡선을도표를제시한것이다. 곡선아랫부분의면적 (Area Under Curve: AUC) 라고하며, 곡선아랫부분의면적 (AUC) 이넓을수록검사의변별력혹은준거타당도가우수하다는것을의미한다. 즉대각선으로부터더상부로볼록할수록더우수한분할모델 (classification model) 을제공하는검사이다. 진단, 선발혹은분류의목적으로사용가능한여러대안검사가있는경우, ROC 분석은최적분할모델을제공하는검사를손쉽게식별할수있게해준다. 예를들어, [ 그림 5] 의경우 A, B, C 검사중에서 A검사가가장넓은곡선아랫부분의면적 (AUC) 을갖고있기때문에 A검사가적합한분할모델임을알수있다. 실제 ROC 곡선을적용함에있어, [ 그림 5] 경우와달리쉽게분할모델을식별하기다소어려운경우가있을수있다. ROC 곡선들이서로중첩되거나특정지역에서더뽈록하다가도다른지역에서는더홀쭉해질수도있다. 이런경우관심의분할점수지역근처에서더뽈록한 ROC 곡선을제공하는검사가최적분할모델이된다. [ 그림 4] < 표 5> 의점수들에대한 ROC 도면
212 아시아교육연구 12 권 4 호 [ 그림 5] 세유형검사의가상적 ROC 곡선 Ⅵ. 요약및논의 본연구의목적은교육현장에서흔히필요로하는학생들에대한임상적진단이나선발과분류와같은의사결정에있어서베이즈정리의적용가능성을모색하고, 구체적인적용사례와함께그교육적함의를논의하는데있다. 이러한진단, 선발, 분류와관련한모든의사결정에있어서공통적으로지니는문제점은항상두가지의오류, 즉긍정적오류와부정적오류가항상수반될수있다는사실이다. 따라서의사결정의정확성을높이기위해서는그오류의원인을잘파악하고, 그것을최소화할수있는방법을모색해야한다. 임상적진단에서있어서베이즈정리는매우중요한시사점을제시한다. 어떤검사결과에의한임상적장애에대한의사결정의타당성은그진단도구의정확성뿐만아니라모집단의특성에의존한다는것이다. 이에따라본연구는모집단의다양한기초비율에따라양성예측도와양성승산비가얼마나심각하게달라지는지를구체적인가상자료를통해살펴보았다. 즉, 진단도구의정확성을나타내는민감도와특이도가각각 99% 수준의정확성을가졌더라도유병율이낮은조건에서는대부분의양성반응결과가잘못된양성이라는것이다. 이러한모순을두고 거짓양성반응의패러독스 (false positive paradox) 라고한다. 이러한문제점의심각성은초 중등학교에서아동과청소년의발달과관련하여정신장애, 학습장애등의임상적진단을필요로하는경우대부분은낮은모집단의유병율을보인다는점이다. 이러한패러독스가임상적진단에서
진단, 선발, 분류에대한의사결정에있어서 Bayes' Theorem 의적용가능성및교육적함의 213 시사하는바는모집단의기초비율이낮은조건에서인간의특성을하나의검사나절차에의해평가할것이아니라, 여러가지다양한검사와진단에도움이될수있는가능한모든준거들을동원하여종합적으로평가해야한다는것이다. 다시말해임상적진단에있어서총평관적접근의중요성을시사한다. 이와더불어본연구는교육현장에서학생들을선발하거나여러범주혹은수준으로분류 배치하기위하여분할점수를추정하거나, 이미설정된분할점수에의한의사결정의정확도를평가하는데있어서베이즈정리의적용가능성을구체적사례와함께제시하였다. 기존의측정이론이나교육평가이론에서주로논의해온방식은적중률, 긍정적적중률과선발비율에의한분할점수선정방법이다. 이러한기존방식의본질적문제점은특정한기준점수에따른효과에만의존하여의사결정을할수밖에없다는것이다. 다시말해검사점수의연속선전반에관련된정보가아니라성공-실패등몇개로나누어진유목으로요약된정보만을사용한다는것이다. 분할점수는모집단을대표하는표본을대상으로추정하기때문에, 그기준점수근처에있는점수에대한통계적오차를고려하여의사결정을내려야한다. 불행히도기존방식으로는이러한오차를의사결정에반영할방법이없으며, 오차를고려한분할점수의조정이불가능하다. 그러나현실적으로는정책적 정치적 경제적배경에의해분할점수의조정이필요한경우가많으며, 오차를분할점수조정의기본자료로사용함이바람직하다. 본연구는베이즈정리를적용함으로써이러한문제점에적절하게대처할수있는방법을표준오차추정방법과함께제시하였다. 기존방식에의한의사결정에있어서또다른문제점은기존방식은학생들을단지서로다른범주로분류하는데필요한정보만제공할뿐이며, 학생개개인의입장에서상담에필요한정보를제시해주지못한다는점이다. 그러나베이즈정리에의한방식은학생개개인의능력에따른특정프로그램의참여여부에대한적합성을결정하는데필요한정보를제공해줄수있다. 이에따라, 본연구는구체적인적용사례를통해단순한분류의차원을넘어개별학생에대한상담에필요한정보와그정보의오차를반영하여의사결정을할수있는방법을제시하였다. 한편선발, 분류, 배치와관련된의사결정에있어서우리는검사점수가이산변수보다연속적변수인경우를실제로더많이접하게된다. 이런경우기존방식에따라무수히많은분할표에근거해분할점수를추정하거나의사결정의정확도를평가하는데한계가있다. 이에따라본연구는베이즈정리를적용함으로써이러한문제를쉽게해결할수있음을구체적사례와함께제시하였다. 지면상의문제로구체적사례를검사점수가정규분포를이루는경우에한해설명하였지만, 베이즈정리에의한방식은포아송 (Poisson distribution) 이나균일분포 (Uniform distribution) 등어떤확률분포가정하에서도적용가능하다는데그장점이있다. 더군다나베이즈정리에의한방식은분할점수가세개이상인경우나, 구인이두개이상인경우에도적용가능하다. 또한연속적변수에대한베이즈정리의또다른장점은 ROC 곡선의분석을병행함
214 아시아교육연구 12 권 4 호 으로써진단혹은분류목적으로사용가능한여러가지대안검사가있는경우최적분할모델을제시하는검사를손쉽게식별할수있다는것이다. 임상적진단, 선발과분류에관련한준거설정과그에따른의사결정의타당성은단순한일회성의연구가아니라주기적 (periodically) 으로평가하고수정, 보완및개선작업을필요로한다. 베이즈정리는사전지식이새로운정보나관찰에의해개선되어지는과정의수학적체계화 (mathematical formulation) 라고볼수있다. 베이즈정리의관점에서보면, 준거타당도에대한사전지식 (prior) 이새로운타당도연구를통해개선된새로운사후지식 (posterior) 이되며, 추후에또다른타당도검증에서이전의사후지식은사전지식이되고새로운사후지식을얻게되면서준거타당도는개선될수있다. 그리고이러한과정을반복함으로써준거타당도에대한지식이계속개선되어나가는것이 계층적베이지안모델 (Hierarchical Bayesian model) 이지향하는바이다. 결론적으로베이지안적접근은준거설정과준거타당도연구에있어서논리적으로적합한모델을제시한다.
진단, 선발, 분류에대한의사결정에있어서 Bayes' Theorem 의적용가능성및교육적함의 215 참고문헌 김달호 (2005). R과 WinBUGS 를이용한베이지안통계학. 경기도파주시 : 자유아카데미. 박광배 (2006). 범주변인분석. 서울 : 학지사. 백순근외 (2011). 교육측정의이론과실제. 서울 : 교육과학사. Angoff, W. H. (1971). Scales, norms, and equivalent scores. In R. I. Thorndike (Ed.), Educational measurement (pp.508-600). Washington, DC: American Council on Education. Cizek, J., & Bunch, M. B. (2011). Standard Setting. Bevery Hills, CA: Sage. Ebel, R. L. (1972). Essentials of educational measurement. Englewood Cliffs, NJ: Prentice Hall. Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27, 861-874. Johnsonbaugh, R., & Jost, S. (1996). Pattern recognition and image analysis. Englewood Cliffs, NJ: Prentice Hall. Zou, K. H., O'Malley, A. J., Mauri, L. (2007). Receiver-operating characteristic analysis for evaluating diagnostic tests and predictive models. Circulation, 6, 115(5), 654-657. * 논문접수 2011 년 10 월 31 일 / 1 차심사 2011 년 11 월 30 일 / 게재승인 12 월 16 일 * 박태학 ( 朴泰學, Park, Tae Hak): 고려대학교교육학과를졸업하고, Michigan State Univ. 교육심리학과에서석사학위를취득하였으며, Univ. of Wisconsin-Madison 교육심리학과에서통계및연구방법을전공으로하여박사학위를취득하였다. 현재신라대학교교육학과부교수로재직중이다. * e-mail : thpark@silla.ac.kr
216 아시아교육연구 12 권 4 호 Abstract The Application of Bayes Theorem in Decision Making such as Diagnosis, Selection, Classification and Its Implications Park, Tae Hak * This study seeks to recognize the applicable methods of the Bayes' Theorem on decision making such as clinical diagnosis, selection, and classification. Also this study discusses, through specific cases, the educational implications of such applicable methods. The 'False Positive Paradox' brings up an extremely important point when it comes to clinical diagnosis. Although it has accuracy when applied on a population with such rare conditions of low prevalence, a majority of the positive results could be judged as false. Because most clinical disorders are characterized by a low prevalence rate, the clinical evaluations stress the need for a comprehensive approach during clinical evaluations. This study demonstrates, through specific cases, how the Bayes' Theorem could be applied to cut-off score estimations and their validity evaluations regarding selection and classification. Opposed to previously existing methods, through Bayes' Theorem, one can make decisions regarding cut-off score setting with statistical errors. In the case of continuous variables, though classic methods require a myriad of contingency tables, Bayes' Theorem can resolve such problems. Bayes' Theorem, accompanied by the analysis of ROC curves, provides a way to easily discriminate the optimal classification model from other alternatives. Consequently, criterion settings and their validity for clinical diagnosis, selection, and classification need to be evaluated and remedied periodically. Bayes' Theorem provides an logically adequate model in respect to such criterion settings and criterion-related validity studies. Key words : Bayes' theorem, clinical diagnostic, classification, contingency table, criterion setting, criterion validity * Associate professor, Department of Education, Silla University