한국의학교육 : 제 17 권제 1 호 2005 원저 의과대학한과목시험에서문항반응이론에따른검사동등화예 한림대학교기생충학교실및의학교육연구소 허 선 = Abstract = Test Equating of a Medical School Lecture Examination Based on Item Response Theory: A Case Study Sun Huh Department of Parasitology, College of Medicine and Institute of Medical Education, Hallym University, Chuncheon Korea Purpose: To determine possible differences in the ability of students from two consecutive medical school class years, test equating based on item response theory was performed on the results of a lecture examination. Methods: The dataset for this study of the results of a medical school lecture exam was composed of the number of items and examinees: 75 students tested on 60 items in 2002, and 82 students tested on 50 items in 2003. We used common item non-equivalent group design and tested the assumption of unidimensionality and data-fitness. Item parameter estimates were based on the Rasch model, and the scale transformation was performed using mean/sigma moment methods. Equating was applied to both true and observed scores, and the results were analyzed. Results: The slope and intercept for the scale transformation of the 2003 exam to the 2002 exam were 1.2796 and 0.9630, respectively. The mean and standard deviation of the ability parameter of the students taking the 2003 exam were 1.69 and 0.66, respectively. After scale transformation, the mean increased to 3.13 and the standard deviation increased to 0.85. For the 2002 exam, the mean was 0.70 and the standard deviation was 0.66. The correlation coefficient between the true and observed scores was 0.9994 (P = 0.00). Conclusion: The difference in the ability parameter of students between the two years increased after scale transformation. Both the true and observed scores could be used interchangeably after equating. Thus, test equating based on item response theory may be applicable to medical school lecture examinations. Key Words: Medical education, Evaluation, Test equating, Item response theory, Rasch model 교신저자 : 허선, 한림대학교의학교육연구소강원도춘천시옥천동 1 Tel: 033)248-2652, Fax: 033)251-8354, E-mail: shuh@hallym.ac.kr * 이연구는보건복지부보건의료기술진흥사업의지원에의하여이루어진것임 (03-PJ1-PG3-50300-0001). - 15 -
의과대학한과목시험에서문항반응이론에따른검사동등화예 서 론 동등화설계 왜시험을치른뒤검사동등화 (test equating) 가필요할까? 문항반응이론에따르면어느문항이나고유의특성이있어수험생 (examinee) 집단이다르더라도특성이바뀌지않고, 마찬가지로수험생도고유의능력이있어문항특성에따라서능력이바뀌지않는다. 그렇지만, 현실은문항모수 (item parameter) 추정시각각다른집단에서시행한것이라서그집단에서능력모수 (ability parameter) 또는난이도모수 (difficulty parameter) 를임의로평균 0, 표준편차 1을지정하고추정하기때문에만약어느시험을치른두집단을일정한모집단에서추출한집단일경우라도두집단의능력이차이가나면문항특성이각각다를수있으므로동등화가필요하다 ( 남현우, 2001). 문항모수는문항특성곡선 (item characteristic curve) 에서찾을수있는난이도모수 (difficulty parameter), 분별도모수 (discriminating parameter), 추측도모수 (guessing paramete) 와같이문항의특성을나타내는모수이다. 난이도모수는문항의어려운정도를나타내는지수로문항반응이론의 1모수및 2 모수모형에서난이도모수는어떤문항을맞출확률이 0.5에해당하는수험생의능력수준의점을의미한다. 값이클수록어려운문항이라고해석한다. 분별도모수는어느문항이능력이높은사람과낮은사람을잘구별하여낼수있는지를파악하는모수로문항특성곡선에서문항난이도에해당하는점에서의기울기로나타난다. 값이클수록분별력이높다고해석한다. 삼모수모형에서쓰이는추측도모수는선택형문항에서수험생이추측에의하여문항의답을맞출확률을뜻하는모수이다. 오지선다형문항에서추측도모수는 0.2 전후로추정하나문항마다답가지의내용에따라다르다. 능력모수는문항반응이론에의하여검사에서측정한수험생의잠재능력에대한모수를추정한값으로 theta(θ) 로표기한다. 이값은대개 -3에서 +3까지또는 -6에서 +6까지로표기할수있고, 높은값일수록수험생의능력이높음을뜻한다. 일모수모형이나라쉬모형 (Rasch) 모형에서는문항모수가운데분별도는각문 자료의일차원성가정, 문학독립성및적합도검정 시험문항의문항모수및능력모수추정 공통문항선정 척도변환 능력모수재추정 진점수및관찰점수동등화 결과분석 Fig. 1. Flow chart for the test equating process 항이같으며, 추측도모수는없다고보고난이도모수만추정을한다. 의과대학에서시행하는각시험결과의해석에는몇가지고려하여야할필요가있다. 우선매년평균이다른데일정한수준이아니고편차가심할경우가있다. 그러면, 그원인은수험생의능력이갑자기좋아지거나나빠졌는지아니면문항의난이도조절에실패하였는지점검하여보아야한다. 왜냐하면의과대학의시험은단순히학점을매기기위한목적이외에최소기준에미달한수험생은낙제를시키는준거참조평가 (criterion-based test) 의역할이있기때문이다. 수험생의학습능력의차이가아니라문항의난이도차이로매년낙제시키는수험생의수가차이가난다면공평하지못하다는불만 - 16 -
한국의학교육 : 제 17 권제 1 호 2005 Table Ⅰ. General Characters of two Examinations in 2002 and 2003 Year 2002 2003 Number of items 60 50 Number of examinees 75 82 Mean 37.95 (63.3%)* 38.65 (77.3%) Standard deviation 5.49 3.30 * % value is the ratio of score to score 100. 을들을수있다. 그러므로, 한의과대학의한교실에서시행한 2002, 2003년도필기시험결과의차이가과연각연도별수험생의능력의차이인지아니면단순히난이도조절의문제였는지알아보기위하여문항반응이론에따라 2003년도문항을 2002년도문항에동등화작업을시도하였다. 고전검사이론에따른동등화방법도있는데문항반응이론을도입하는이유는우선일차원성가정및자료적합성을성립하면여러모수측정을정밀하게할수있다는점뿐아니라, 이런작업결과를셈틀이용적응검사 (computerized adaptive test) 에사용하는문항데이터베이스에입력을전제로하기위한때문이다. 문항데이터베이스를구축할때문항특성을입력한다면각연도별로추정한문항모수치를입력하는것은매년문항의난이도차이로인하여각특성값에표준화가어렵다. 그럴경우에도역시동등화작업을시행하여연도별차이를보정하여주어야한다. 이렇게의과대학개설교과목단위과목의시험에대하여문항반응이론에따른동등화작업을시도한예는코리아메드 (http://koreamed.org), 퍼브메드 (http://pubmed.org) 및 Web of Science (http://isi02. isiknowledge.com/) 를검색하여본결과국내외어디서도찾을수없다. 그이유는문항반응이론을도입하기위한가정 (assumption) 인일차원성가정 (assumption of unidimensionality) 및자료적합성 (datafit) 에대한검정을하기어려워서일것으로추측한다. 또한그쓰임새를의학교육평가에서구체로지적하기어려워서일것이다. 문항반응이론에따른검사동등화과정은크게세가지절차를거치는데첫째는문항모수의각각 추정, 둘째, 두시험문항모수의척도변환 (scale transformation) 이며, 셋째는진점수 (true score) 또는관찰점수 (observed score) 동등화과정이다 (Kolen and Brennan, 1995). 문항반응이론에따른동등화방법중문항반응이론에따른방법을사용할때라쉬모형 (Rasch model) 을따르거나삼모수로짓모형 (three parametric logistic model) 을따르는방법이있다. 이번증례에서는문항수가 50, 60개이며수험생수가 100 명이넘지않으므로라쉬모형을적용하였다 ( 지은림및채선희, 2000). 만약셈틀이용적응검사에서필요한문항모수의동등화를원한다면두번째인척도변환과정으로충분하다. 척도변환은검사동등화와혼용하여쓰이기도하므로, 이과정만으로도문항모수의동등화라고할수있다. 또한성적을능력모수만으로나타낸다면더이상의동등화과정은필요없다. 척도변환후에시행하는점수동등화과정은능력모수만으로원점수와비교가금방되지않으므로능력모수를원점수 (raw data) 와비교가능한자료로만들어준다. 점수동등화에서는진점수및관찰점수동등화가있다. 진점수동등화과정은검사특성곡선을이용하여두시험의맞은점수와관계를보여주며, 어떤주어진능력모수값이두시험의진점수와동등하게된다. 관찰점수동등화는관찰한맞은점수의분포를추정하고그것을동백분위방법으로동등화하는것이다 ( 남현우, 2001). 이런동등화과정을 Fig. 1과같이모식도로그릴수있다. 그러므로, 우선일개시험과목에서도문항반응이론을도입할수있는일차원성가정및자료적합성을검정할수있는지알아보고, 그후동등화작업 - 17 -
의과대학한과목시험에서문항반응이론에따른검사동등화예 을알려진방법의절차를따라시행하여단위과목에서동등화작업의효용성을검토하였다. 이런결과는앞으로일개과목시험에서뿐아니라, 국가시험과같은대규모시험 (high stake examination) 의동등화작업에적용하는데참고자료로삼을수있을것이다. 이런작업결과를가지고수험생의연도별능력의차이가성적의차이를가져온것인지점검할수있을뿐아니라, 셈틀이용적응검사에서문항데이터베이스에문항모수입력에도활용할수있다. 또한이러한작업은문항반응이론을의학교육평가분야에도입하는한예가될것이다. 대상및방법 1. 대상한의과대학의기초의학과목중하나로 2002년도및 2003년도시험결과를대상으로하였다. 대상시험문항수는 2002년도 60, 2003년도 50문항이었다. 수험생수는 2002년도 75명 2003년도 82명이었다. 시험은매년누리집보기풀그림 (web browser) 를통하여시험문항에접근하여수험생이응답하고마지막에결과를서버 (server) 로보내는셈틀기반시험 (computer based test) 으로치르었다. 시험도중수험생은자신의응답결과를자유롭게수정할수있도록하였다. 결과는맞으면 1, 틀리면 0으로표시하는이분문항으로변환하여각응답자및문항별행렬자료로확보하여다음작업에사용하였다 ( 부록 1). 2003년도시험을 2002년도에동등화하려고하였다. 2002년도필기시험은문항이총 100문항이었지만 40 문항은단순히학명을물어보는문항으로대부분의수험생이다맞추고, 또한 2003년도에는빠진내용이므로분석에서제외하였다. 2002년도및 2003년도의문항수, 수험생수, 평균및표준편차는 Table 1과같다. 앞으로 2002년도시험을 X, 2003년도시험을 Y로놓는다. 2. 동등화설계동등화의여러설계중공통문항비동등집단설 계 (common item non-equivalent group design) 를사용하고, 2002년도및 2003년도의수험생의집단을같은모집단에서선택한표본이아닌독립된표본으로보고, 공통문항을이용하여동등화를시도하였다. 3. 일차원성, 문항독립성및적합도검정문항반응이론에따라문항모수및능력모수 (ability parameter) 를추정하기위하여는검사의일차원성 (unidimensionality) 및국소독립성 (local independence) 가정을검정하여야한다. 또한문항모수및능력모수의적합도 (goodnes of fitness) 를살펴보아심하게어긋나는문항이나수험생이있는지를살펴보아야한다. 일차원성검정은어느시험이단일한차원을물어보는지예를들면해부학시험이면해부학에대한능력을측정하는것이지, 해부학시험을치르기위하여영어실력이나한자실력이있어야지문을해독할수있다면, 그것은다른차원의능력을측정한다는것이다. 또한국소독립성은한문항이다른문항에답하는데영향을미치지않고각문항이모두독립적이어야한다는것이다. 이일차원성가정이나국소독립성가정을만족시키기위하여는우선문항을살펴서모든문항이측정목적에맞는지를점검하고또한어느문항이다른문항의해결에영향을주는암시나자료제시가있는지를점검하여야한다. 그외에요인분석 (factor analysis) 등을통하여한시험이몇개의요인으로구성되어있는지점검하는통계분석을시도한다. 그러므로이번분석에서는면밀히문항내용을살펴목적에맞는지와다른문항에영향을줄문항이있는지를관찰하고 Holland Rosenbaum's Method (=HR- MH) (Nandakumar, 1993) 를이용하여일차원성가정을검정하였다. 문항독립성가정은각문항이다른문항의해결에영향을미치지않은내용이독립된질문이므로성립한다고간주하였다. 적합도검정은라쉬모형에따른문항모수추정풀그림 (program) 인 BIGSTEPS를사용하여적합하지않은문항이나수험생이얼마나있는지찾아보았다. - 18 -
한국의학교육 : 제 17 권제 1 호 2005 4. 연도별시험의문항모수및능력모수추정라쉬모형을기반으로각문항의난이도모수에따라능력모수를추정하는 BIGSTEPS를사용하였다 ( 부록 2). 5. 공통문항선정 2002년도시험및 2003년도시험문항을비교하여그유형 (type) 및수준 (level) 이같고, 내용이같은문항을선정하여라쉬모형에따른난이도의상관관계를분석하였다. 분석후멀리떨어진자료 (outlier) 를제외하고다시상관관계를구하였다. 그렇게구한각연도의문항을공통문항으로선정하여척도변환에사용하였다. 6. 척도변환두시험 X (2002), Y (2003) 의내용을점검하여그유형 (type) 및수준 (level) 이같고, 같은주제를물어본문항을공통문항으로선정하였다. 그러므로, 이경우공통문항이라기보다는가상공통문항 (virtual common item) 이라는표현이더적당하다. 공통문항으로우선선정한 22 문항의라쉬모형에따라구한문항난이도를짝비교하여중심에해당하는직선그림을그려본후, 직선에서매우멀리떨어진문항을제외하고 14 문항의짝을가지고다시그림을그려기울기와 χ절편을구하였다. 이경우각짝사이의값차이가적어야하는데, 그수준을라쉬모형에따른문항분석결과임의로 1이하인문항만선정하였다. 그리고, Y의문항모수를 X의문항모수를참조하여 ST를이용하여척도변환하고 ST에서나오는 4가지해구하는방법중중에서평균 / 표준편차에의한방법의결과를사용하였다. ST를이용하는것은 3모수로짓모형에서가능하나, 모든문항의분별도모수를 1, 추측도모수를 0으로놓고계산하면라쉬모형의척도변환에사용할수있다. 이렇게하면 Y시험은 X시험의참조틀내에있다. ST 통제파일은부록 3에기술하였다. 7. 척도변환뒤에 2003년도수험생의능력모수재추정척도변환을하여구한기울기및절편을이용하여 2003년도문항모수의척도를주고능력모수를 BIGSTEPS를이용하여재추정하였다. Y를 X에문항척도변환한결과를가지고재분석시, BIGST- EPS 풀그림에서 USCALE= ST에서구한값의 slope UMEAN= ST에서구한값의 intercept 이렇게설정하고재분석을한다. USCALE ( 로짓의척도값 ) 및 UMEAN ( 문항척도의중심값 ) 을추가하고다시분석한 Y시험에서수험생의능력모수및문항모수를구한다. 재추정결과를추정전의능력모수및 2002년도수험생의능력모수와비교하였다. 8. 진점수및관찰점수동등화진점수및관찰점수동등화는능력모수를수험생의성취도로표시할때는구할필요가없다. 척도변환하여다시능력모수를추정하는것으로동동화과정은마친다. 그러나이렇게진점수및관찰점수동등화를시도하는이유는일반인이이해하기에점수로표시하여야이해하기편하고, 또한수험생도마찬가지이기때문이다. 이동등화는 PIE를사용하여구하였다. PIE 의통제파일은부록 4와같다. 9. 결과분석결과를각방법에따라 DBSTAT ( 김수녕및허선, 2002) 를이용하여분석하였다. 결과 1. 일차원성가정및문항독립성가정시험의내용을파악하여해당과목과무관한내용은없는것을확인하였다. 또한다른문항의정답선택에영향을줄수있는문항도없는것을확인하였다. 공통문항의선정에서문항이완벽하게같은것은출제하지않고, 같은내용을다른지문으로물 - 19 -
의과대학한과목시험에서문항반응이론에따른검사동등화예 1-6 -5-4 -3-2 -1 1 2-1 Year 2003-2 -3-4 Year 2002-5 Fig. 2. Correlation between the difficulty index of common items from two examinations in 2002 and 2003 Correlation 60 50 TRUEQUI 40 30 20 10-6 -4-2 0 2 4 6 8 THETA Fig. 3. Correlation between theta(ability parameter) of 2003 exam and true score equvalent to 2002 exam 어보거나답가지를달리하거나답가지번호순서를달리한것이라도문항의형태및수준이같고측정하려는내용이같으면공통문항으로하여우선선정하여서상관관계분석하였다. 일차원성가정을검정하기위한 HRMH의수행결과 2002년도및 2003년도시험은다음과같았다. - 20 -
한국의학교육 : 제 17 권제 1 호 2005 60 TURE EQUIVALENT 10 2002 EXAM 50 40 30 20 10 0 0 10 20 30 40 50 RAW SCORE Fig. 4. Correlation between true score equivalent to 2002 exam and raw score of 2003 exam 80 60 OBSERVED SCORE 40 20 0 0 10 20 30 40 50 60 TURE SCORE EQUIVALENT Fig. 5. Correlation between true score and observed score of the examination in 2003 2002년도 PROPORTION OF SIGNIFICANT ZS AT LEVEL.01 = 1.0/ 1770 PROPORTION OF SIGNIFICANT ZS AT LEVEL.05 = 16.0/ 1770 PROPORTION OF SIGNIFICANT ZS AT LEVEL.10 = 46.0/ 1770 2003년도 PROPORTION OF SIGNIFICANT ZS AT LEVEL.01 =.0/ 1225 PROPORTION OF SIGNIFICANT ZS AT LEVEL.05 = 12.0/ 1225 PROPORTION OF SIGNIFICANT ZS AT LEVEL.10 = 22.0/ 1225-21 -
의과대학한과목시험에서문항반응이론에따른검사동등화예 0.18 0.16 Old Form New Form RELATIVE FREQUENCY 0.14 0.12 0.10 0.08 0.06 0.04 0.02 0.00 0 5 10 15 20 25 30 35 40 45 50 55 60 RAW SCORE Fig. 6. Relative frequency distribution of the observed score of the examinations in 2002 (old form) and 2003 (new form) to raw score 2. 자료의적합성 BIGSTEPS를이용하여라쉬모형에따른문항모수및능력모수를각각구한다 ( 지은림과채선희, 2000). 라쉬모형에대한적합성을검정하기위하여 BIGSTEPS로분석한결과비적합문항수가 2002년도에는 60문항중 3문항이 ZSTD (mean square fit statistics를평균 0, 변량 1 로표준화한값 ) 값이 2.0 을넘었다. 2003년도시험결과를 BIGSTEPS로분석하여본결과적합도통계치 (ZSTD) 50문항중 4 문항이 -2.0이하이거나 +2.0이상이었다. 3. 공통문항선정완벽하게같은문항은없으므로비록지문은틀리지만물어보는내용이같은것을공통문항으로선별하였다. 이공통문항은양시험문제에서공통으로출제된문항이라는개념이다. 선별결과 22문항을골라낼수있었다. 두시험의공통문항의난이도지수를그림으로그려보아서중심선을그린뒤, 중심선에서멀리떨어진것을제외하고다시 14 문항으로그림을그렸다. 기준은두난이도지수의 차이가 1.0미만인것만선정하였다. 14문항으로그린그림은 Fig. 2와같다. 상관관계를구한결과상관계수는 0.9678 (P = 0.0000) 으로양의상관관계가있었다. 2002년도의공통문항의난이도평균 -0.2571, 표준편차 1.6739이며, 2003년도공통문항의난이도평균 -0.9536, 표준편차 1.308이었다. 4. 공통문항을이용한척도변환및 2003년도수험생의능력모수재추정 ST를이용한척도변환의결과중에서평균 / 표준편차법에따르면기울기 1.2796, 절편 0.963으로 2003년도문항이 2002년도문항과공통척도로놓인다. 여기서척도변환후 2003년도시험문항모수및능력모수의재추정을위한 control 파일에서 USCALE = 1.2796 ; 문항난이도로짓의척도값설정. 기본값은 1 UMEAN = 0.9630 ; 문항난이도척도의중앙값을설정. 기본값은 0 이와같이명령어를추가하고추정하였다. - 22 -
한국의학교육 : 제 17 권제 1 호 2005 5. 척도변환전후능력모수비교척도변환전의 2003년도수험생의능력모수의평균은 1.69 표준편차 0.66이었는데, 척도변환이후의 2003년도수험생의능력모수평균은 3.13, 표준편차 0.85로증가하였다. 2002년도수험생의능력모수의평균은 0.70 표준편차 0.66 임에비추어척도변환전이나후모든값에서 2003년도수험생의능력이 2002 년도수험생의능력보다높음을알수있다. 척도변환후의 2003년도수험생의능력모수표준오차는 0.095, 변환전은표준오차 0.073, 2002년도수험생의표준오차는 0.076 이었다. 6. 진점수및관찰점수동등화 PIE를이용한동등화한결과 2003년도진점수와능력모수사이의상관관계는 r = 0.9668 (p = 0.0000, Fig. 3), 2003년도진점수와원점수사이의상관관계는 r = 0.9959 (p = 0.0000, Fig. 4), 2003년도진점수와관찰점수사이의상관관계는 r = 0.9994 (p = 0.0000, Fig. 5), 2003년도능력모수와원점수사이의상관관계는 r 0.9810 (p = 0.0000) 이었다. 2003 년도및 2002년도의각관찰점수의원점수에대한상대빈도는 Fig. 6 과같다. 고찰의과대학의일개시험과목에서도문항반응이론을도입하기위한전제인일차원성가정및자료적합성을점검하여본결과, 충분히라쉬모형에서일차원성가정및자료적합성을충족시킴을알수있었다. 일차원성가정에서는 HRMH를이용하였을경우각문항사이의상관관계가유의수준을벗어나는조합이충분히적었다. HRMHH에따르면모든유의수준에서일차원성가정을만족한다. 어느유의수준에서유의한 Z 값의비율 (PROPORTION OF SIGNIFICANT ZS AT LEVEL) 의값이그유의수준보다적은값이면일차원성일차원성가정을만족한다고본다. 예로유의수준 0.01일때값이 0.01 이하일때, 유의수준이 0.05 이면이값이 0.05 이하 일때유의수준이 0.1 이면이결과값이 0.05 이하일때일차원성가정을만족시키는것으로해석한다. 또한이러한검정결과는문항내용이주어진과목에해당하는문항으로구성되어있지, 다른과목의내용으로유추할수있는것은없었다는점도일차원성가정을뒷받침하는내용이다. 각문항내용의독립성은전문가판단에따라서어떤문항이다른문항의답을암시하거나영향을미치지않음을판단하는것으로검정하였다. 자료적합성중우선문항적합성은부적합문항이얼마나되는지파악하여야하는데 2002년도에는 60문항중 3문항이 ZSTD (mean square fit statistics를평균 0, 변량 1로표준화한값 ) 값이 2.0을넘어소수이므로대부분적합한문항으로볼수있다. 2003년도시험결과를 BIGSTEPS로분석하여본결과적합도통계치 (ZSTD) 50 문항중 4문항이 -2.0 이하이거나 +2.0 이상이었다. 이수치로전반적으로문항이라쉬모형에적합한것으로본다. 어느정도부적합문항이있어야전체문항이적합한것으로보는지는특별한기준이없다. 문항의적합도정도가꼭문항반응이론에필요한전제라기보다는적합하여야문항반응이론의도입이나해석에적절하기에점검이필요하다. 라쉬모형에서는적합도는주로분별도의적절성을판단하는자료로삼는다. 이렇게문항반응이론을도입하여분석할수있는자료이므로, 그후동등화작업을알려진방법의절차를따라시행할수있었다. 고전검사이론에따른평균및표준편차결과를보면 2002년도및 2003년도수험생의능력이동등하다고가정할때, 2002년도의문항이더어려운문항이많았다고할수있다. 그러나고려하여야할점으로시험치른후반드시문제를공개하는것이의과대학시험의원칙이고다음해의문제에서는과거문항중지문이나답가지를바꾸어같은내용을물어보는것이있으므로일부문항의노출효과가있다고보아야한다. 이런동등화시도는한과목에서의연도별시험결과를가지고시행한것인데, 몇가지기술적인문제가있다. 우선, 사전설계된동등화작업이아니므로공통문항의선별의한계가있다. 같은내용을가지 - 23 -
의과대학한과목시험에서문항반응이론에따른검사동등화예 고질문하는데지문을바꾼다거나답가지를바꾼다면일정능력의수험생에서난이도는일정하다고보기가어렵기에이공통문항을선정하는일이가장어려운일이다. 만약완전히똑같은문제가있고그것이전혀노출되지않은상태에서두연도에걸쳐시험을치른다면문제가없으나, 그런상황은거의발생하지않기에완전히똑같은문제는의과대학시험에서는대개없다. 그러므로이런경우의공통문항은완벽한공통문항이라고하기보다가상공통문항이다. 이가상의공통문항일경우에도같은내용을물어보는문항을고르고, 또한그런문항중에서난이도가유사한것을공통문항으로설정하는도리밖에없다. 난이도가유사한것을고를때가능하다면거의같은난이도를가진문항이어야하나, 그런문항의수가지나치게적어내용이공통인문항중난이도차이가적은것을고를때임의로난이도모수가 1 이하로선정한것은특별한기준으로설정한것은아니고차이가적은순으로선정한것이다. 이공통문항을선정할때완벽하게같은문항이고, 시험번호위치도같고난이도차이도매우적어야한다는등엄격한원칙에따라야한다고하나교육현장의현실에서는사전설계를정밀하게하고및문항노출을막기전에는어려운일이다. 이번에시행한검사동등화는처음부터설계하여시도한것이아닌, 두해에걸친시험성적에서변이를설명하기위한노력으로시도한것이기에가상공통문항이라는한계가있다. 이연구에서척도변환후분석결과를보면문항난이도로짓의척도값이 1 보다크므로난이도값의폭이커지고, 문항의난이도의중앙값이 0.9630 이므로이만큼시험이더어려워졌음을뜻한다. 즉처음문항분석에나온값을보면 2003년도문항이 2002년도문항보다어려운것으로나오는데, 공통문항을보면 2003년도에서더난이도모수가낮은 ( 쉬운 ) 문항으로나오므로그것을보정하여난이도지수를더올려서 2002년도문항과동등화시킨다고할수있다. 동등화이후 2003년도수험생의능력모수가더커진것으로밝혀졌다. 그러나, 고전검사이론에서 2003년도수험생이더시험점수가높은것 은상당부분문항의노출에기인한다고볼수있으므로, 문항반응이론을이용한지금과같은분석법으로도이런문항노출에대한보정은어렵다. 동등화전에도 2003년도수험생의능력모수가높았음에비추어이런능력모수의차이가문항노출에의한것인지아니면참된능력의상승을반영한것인지구별은매우어렵다. 단, 2003년도수험생이그동안어느학년보다수업태도및실습태도, 수업참여도가뛰어났던점은있어, 그런전반적인학습분위기의호전이능력이뛰어난집단에서유래한것이라추측할수있으나그근거는교원의판단에의존하는것이라객관자료로삼기는어려운문제이다. 과연분석결과처럼 2003년도수험생이 2002년도에수업을들은수험생보다능력이뛰어나다고할수있는지이런요인을고려하여언급하여야한다. 이번자료에서는진점수동등화나관찰점수동등화결과에서두점수중어느것을사용하여도별차이가없었다 (Figs. 3, 4, 5). 그리고, 진점수와능력모수값은선형상관을보이고상관계수도높았으나능력모수의상하극단값에서는기울기가급하였다 (Fig. 3). 극단값에서는능력모수의차이가진점수에영향을덜미침을알수있다. 진점수및관찰점수의상대빈도는 2002년도및 2003년도의문항수가차이가나서그림에서빈도분포가다른것으로보이나, 문항수차이를감안하면빈도가거의일치함을알수있었다 (Fig. 6). 이결과를보면진점수나관찰점수모두추후문항반응이론을도입한뒤, 성적을보고할경우충분히사용할수있음을알수있다. 이번등동화작업에서는우선문항반응이론중라쉬모형을도입하여살펴보았으나이렇게수험생수가적을때는고전검사이론에따른동백분위동등화 (equipercentile equating) 로분석하여보고비교하여보는것이다음의과제이다. 이번분석에서는두시험의공통문항의난이도상관관계에서기울기가 1 에가깝지못하여문항반응이론에따른동시분석 (concurrent analysis) 은하지못하였다. 만약 1 에가까울경우이두시험결과를하나로보고분석하여결과를비교하여볼필요가있다. 앞으로다양한방 - 24 -
한국의학교육 : 제 17 권제 1 호 2005 법으로계속분석하여보고어느방법이가장실용적인지그리고어떤차이를보이는지알아볼필요가있다. 의과대학시험의동등화에대한과제로우선이동등화를어디에사용할것인지가그용도를명확히하여야한다. 수험생의능력의변화를볼것인지아니면낙제여부의판단에사용할것인지, 학점을줄때도입할것인지등을고려할수있다. 진점수를구하여합격선설정에응용할수있고, 셈틀이용적응검사의문제은행에문항모수를입력할때활용할수있다. 이연구는동등화기법을여러풀그림을가지고시도하여검사동등화를과목단위에서시행한점에의의가있다. 참고문헌김수녕, 허선 (2002). 국산통계풀그림으로우리나라의학학술지에서사용하는통계를해결할수있을까? 한국의학교육, 14, 111-117. 지은림, 채선희 (2000). 라쉬모형의이론과실제. 서울, 교육과학사. 남현우 (2001). 검사동등화방법. 서울, 교육과학사. BIGSTEPS [computer program] http://www.winsteps. com에서받을수있음. HRMH [computer program] Nandakumar 선생에게서직접받음. Kolen MJ, Brennan RL(1995). Test equating: Methods and Practices. Springer, New York, U.S.A. Nandakumar R(1993). A FORTRAN program for assessing essential unidimensionality data using Holland and Rosenbaum's methodology. Multivariate Behavioral Research, 28, 63-66. PIE [computer program] version 1.0. Hanson B and Zeng L. American College Testing PO Box 168, Iowa City, Iowa 52243 ST [computer program] version 1.0. Hanson B and Zeng L. American College Testing PO Box 168, Iowa City, Iowa 52243-25 -
의과대학한과목시험에서문항반응이론에따른검사동등화예 부록 1. 자료처리하기위한시험결과원자료 2002 년도자료는아래와같다. 첫열및둘째열은수험생의번호를표시하며, 셋째열부터맞으면 1, 틀리면 0 으로변환한자료로각문항은열로나타난다. 첫줄은 1 번, 둘째줄은 2 번수험생의반응을뜻한다. 01100111111000110010101100110001000000100010001101001011100011 02100011110100000011101101111001000010111110100111001011111111...... 74000110100100000011111111111010111010101110001111100111110011 75100111110100000011111010111101110011101111111111101111101011 부록 2. BIGSTEPS 를이용한추정에사용한통제파일 (control file) 명령어 (command) 예 쌍반점이후는명령어에대한설명이다. &INST TITLE = Rasch for 2002 exam PERSON = STDNT ITEM = item NI = 60 ; number of items ITEM1 = 3 ; column of response to first item in data record NAME1 = 1 ; 수험생이름이시작하는열번호 INUMB=Y ; 문항의번호표시 XWIDE = 1 ; number of columns per item response CODES = 10 ; valid codes in data file MISSING = 0 ; 반응하지않은문항은틀린것으로친다. DATA = para2002.dat ; 분석하는원자료 IFILE = para2002.if ; 문항모수결과파일이름 PFILE = para2002.pf ; 능력모수결과파일이름 CSV = Y ; 결과파일을 csv 형태로저장 TABLES = 1111111111111111111111 ; output 파일에나타나는표로 1 이면보이고 0 이면보이지않음 curves = 333 ; 결과그림을보임 &END - 26 -
한국의학교육 : 제 17 권제 1 호 2005 부록 3. ST 의통제파일 Form X(2003, New Form), Form Y(2002,Old form) $ Item_Parameters; 2003년도시험 (Form X) 의공통문항 (common items) 의문항모수 를뜻한다. 첫열은문항순서이고, 다음의열인분별도모수는라쉬모형에서모두 1로 설정하고, 다음열인난이도모수만차이가나며마지막열인추측도모수는모두 0이다. 1 1-0.7 0 2 1-1.03 0 3 1-1.03 0 4 1-1.23 0 5 1-2.92 0 6 1-4.13 0 7 1-1.23 0 8 1-1.03 0 9 1-0.85 0 10 1-0.85 0 11 1 0.07 0 12 1 0.07 0 13 1 0.53 0 14 1 0.98 0 $ Link_Item_Parameters ; 2004년 (Form Y) 시험의공통문항의문항모수로앞의 FormX 설명과같다. 1 1-0.06 0 2 1-0.48 0 3 1-0.56 0 4 1-0.72 0 5 1-2.12 0 6 1-5.02 0 7 1 0.01 0 8 1 0.07 0 9 1 0.13 0 10 1 0.32 0 11 1 0.72 0 12 1 0.91 0 13 1 1.6 0 14 1 1.6 0 $ Theta_Distribution ; 2003년도시험 (Form X) 에서모든수험생의능력모수나열 2.15.63.. Theta value of exam 2003 2.67 $ Link_Theta_Distribution ;2002년도시험 (Form Y) 에서모든수험생의능력모수나 열 -.58 1.04... theta value of exam 2002.35 1.16-27 -
의과대학한과목시험에서문항반응이론에따른검사동등화예 부록 4. PIE 의통제파일 $ Item_Parameters 1 1-0.61 0 2 1-0.92 0..Item parameters of exam 2003 (New Form) 50 1-0.13 0 $ Link_Item_Parameters 1 1-0.72 0 2 1 3.77 0.. Item parameters of exam 2002 (Old Form) 60 1-3.1 0 $ Theta_Distribution 2.88 2.41.. Theta distribution of exam 2003 (New Form) 4.03 $ Link_Conversion ; 첫열은 2002년도시험 (Form Y) 에서원점수 0에서 60까지이므로 61개의경우의수가있고, 다음열에서최저점수는 0에서시작하고, 세번째열에서 최대점수는 60임을뜻하며네번째열은점수가 1 점단위척도로매겨짐을뜻하며 다섯번째열은척도변환이선형이면 1, 비선형이면 0인데이경우선형이므로 1로 표기하였다. Form Y 61 0 60 1 1 0 0 0 0 1 1 1 1 2 2 2 2... 60 60 60 60-28 -