Microsoft Word - 11주미진

Transcription

1 247 영어교육 69 권 2 호 2014 년여름 영어말하기평가의채점자신뢰성과편향성조사 : 구술인터뷰, 컴퓨터구술시험, 버슨트의비교를통하여 주미진 ( 강원대학교 ) Joo, Mi-jin. (2014). Examining rater reliability and bias in measuring English speaking performance: Through a comparison of scores on an oral interview, a computerized oral test and a Versant. English Teaching, 69(2), The purpose of this study was to investigate inter- and intra- rater reliability in an interview and a computerized oral test. It was also examined whether rater characteristics influenced on their reliability and biases, and finally the scores of both tests were compared with those of the Versant test using an automated computer rating system. For the study, the data from 21 Korean university students and 18 Korean or native speakers of English raters with various characteristics were collected. Some of the main findings from the study were as follows. First, rater severity was significantly different in each test, but each rater consistently graded on both tests suggesting lower inter-rater reliability and higher intra-rater reliability. Secondly, rater severity was impacted by the rater characteristics such as mother tongue, gender, age, and major. Lastly, there existed a positive correlation among the scores of the three tests, indicating that the scores of human beings and computers are strongly related. Key words: 채점자신뢰성 (rater reliability), 편향성 (bias), 구술인터뷰 (oral interview), 컴퓨터구술시험 (computerized oral test), 버슨트 (Versant) 1. 서론 의사소통능력향상을중점으로한영어교육이중요시되면서전통적인지필시험의한계를인식하고수험자들의의사소통능력을직접적으로평가해야한다는목소리가높아지면서수행평가의중요성이강조되어왔다 (Canale & Swain, 1980; Weir, 1990). 특히, 말하기능력에대한평가의필요성과중요성에대해서는많은공감대가형성되어가고있다. IELTS(International English Language 이논문은 2012년도정부 ( 교육부 ) 의재원으로한국연구재단의지원을받아연구되었음 (NRF-2012S1A5A )

2 248 주미진 Testing System), TOEFL(Test of English as a Foreign Language), TOEIC(Test of English for International Communication), TEPS(Test of English Proficiency) 등의영어공인인증시험에말하기평가를포함시키고있고각종채용기관과기업그리고대학진학시에말하기능력을평가하고자하는노력은그중요성을반영한것이라고볼수있다. 여러다양한말하기능력시험은평가및채점방식도다양한데 IELTS Speaking 은시험관과 1 대 1 직접인터뷰형식으로이루어지며시험관이평가기준표에의거하여채점하며재채점이필요한경우를대비하여인터뷰는녹음된다. 국내많은채용기관도유사한방식으로일대일인터뷰를통하여시험관은수험자가영어로효과적으로대화할수있는가를평가하고자한다. 그에반해, TOEFL, TOEIC, TEPS 는인터넷기반시험으로컴퓨터를통해말하기시험이진행된다. 이들시험모두화면의문제를보고헤드셋을사용하여직접음성답안을녹음하고녹음된파일은훈련된채점자에게전달되어평가된다. 계획이무산되긴하였지만 2016 년에수능영어를대체할예정이었던국가영어능력평가시험 NEAT(National English Ability Test) 도위의세시험과유사한방식으로채점이이루어질예정이었으며차이점은평가결과의신뢰및편차에대한우려로원어민은채점자에포함시키지않고자하였다. 또한 NEAT 는수능영어로대체될경우대규모수험자들로인하여채점자확보의어려움및비용을고려하여사람과함께컴퓨터채점을병행하는것에대해논의중이었다 (2011 PKETA International Conference). 마지막으로, 사람이관여하지않고음성인식기술을적용하여전적으로컴퓨터자동채점만을행하는버슨트 (Versant)( 구 PhonePass) 가있는데이시험은시험당일에결과를알려주는등의탁월한실용성으로인해빠른시간에다수의수험자를평가하기에용이하여많은기관에서활용되고있다 (2.1 참조 ). 요약하면, 현재사용되는말하기시험의채점방식은직접인터뷰를통한채점, 컴퓨터를통하여녹음된파일을채점, 그리고컴퓨터자동채점방식으로크게 3 가지로나뉠수있다. 직접말하기평가는시험의타당성을높이는역할을하지만채점자의주관성이개입되기때문에채점이일관되지못하게변화하거나편향되는경향이있을수있어서언어능력을공정하게측정하지못할가능성이항상존재한다 ( 신동일, 2001; 최인철, 2000). 그러므로다른채점방식및환경이채점자의채점에어떠한영향을주는지알아보는것은수험자의언어능력에대한지표로서채점자에의해부여된점수가정당히해석될수있는가를조사하는것으로서곧그시험의타당성검사와연결된다. 그리고인간에의한채점과컴퓨터자동채점과의비교는각시험을통해부여된점수의바른의미해석을도울것이므로반드시필요한연구라본다. 또한, 채점자특성에따라평가적용기준, 즉구인에대한정의가다르게되고 (Weigle, 1994), 자신의주관적인판단으로만들어진내적평가영역에의해채점이되어서 ( 이영식, 2000; Charney, 1984) 채점성향 ( 채점자의엄격성과일관성 ) 에차이가있을수있으며

3 영어말하기평가의채점자신뢰성과편향성조사 수험자의점수에결정적인영향을끼치게될수있다. 채점자특성이수험자의능력과는무관하게점수에영향을주게되면결국에는그시험의구인타당도 (construct validity) 에도영향을주게되므로말하기시험의타당성을높이기위해서는채점자의점수가얼마나공정하고신뢰할만한가에달려있다고본다. 채점자특성의영향을줄이기위해서는모든학생이동일한채점자에게평가를받는것인데대규모수험자집단일경우에는현실적으로불가능하므로여러다른채점자가수험자들을평가하게될수밖에없다. ( 면대면구술 ) 인터뷰와컴퓨터 ( 구술 ) 시험상에서의채점자신뢰성은어떠하며차이점은있는지그리고채점자들은모국어 ( 비 / 원어민 ), 성별 ( 남 / 여 ), 연령 (20-50 대 ), 학력 ( 학사 - 박사 ), 전공 ( 비 / 영어전공 ) 등에서다양한특성을가지고있는데이러한특성들이각시험에서의채점자의신뢰성과편향성에있어어떠한영향을주는지비교하여조사하고자한다. 또한인터뷰, 컴퓨터시험의인간채점결과와컴퓨터자동채점결과를비교조사해봄으로서향후말하기시험의점수해석에있어서시사점을제공하고자한다. 연구를위하여다음의연구문제를설정하였다. 1) 인터뷰와컴퓨터시험상에서의채점자간 / 내신뢰성은어떠한가? 2) 채점자특성이인터뷰와컴퓨터시험상에서의채점자신뢰성과편향성에영향을미치는가? 3) 인터뷰와컴퓨터시험상에서의인간채점과버슨트의컴퓨터자동채점간의관련성은어떠한가? 2. 이론적배경 2.1. 말하기평가유형 인터뷰시험형태가일반적으로의사소통평가 (Communicative Language Testing) 의가장이상적 (ideal) 이고도실제적 (authentic) 인형태로여겨지고있다. 이형태의시험은실시간상황에서일어나는의사소통적상호작용이가능하게하며, 빠른언어처리및출력이요구된다. 이시험형태에서는실제의사소통이가능하게하는역동적이면서도예측불가의실시간처리환경을만든다. 하지만시간과경비면에서의비실용성으로인하여교육현장에서의실행을어렵게한다. 특히, 다양한채점자특성으로인하여채점에있어신뢰성을확보하기가힘들수있으며, 더욱이면대면으로이루어지는상황하에서는채점자와수험자간의상호관계변수로인하여채점신뢰성확보를어렵게할수있다 (Fulcher, 2003). 인터뷰방식시험의시간과경비를줄이고자테이프 (tape) 를이용한준직접말하기시험 (semi-direct speaking test) 의개발이있어왔는데그대표적인것이

4 250 주미진 SOPI(Simulated Oral Proficiency Interview) 라볼수있다. 일반적으로응시자는녹음기에서주어진문제와자신이가지고있는문제지의각종자료 ( 사진, 삽화, 표등 ) 를바탕으로녹음기에문제에대한답을하며, 응시자의모든응답이녹음된후, 최종적으로평가자에게녹음된카세트테이프가전달되는방식이다. 이러한 SOPI 형식의준직접시험을보완, 발전시키고자등장한것이컴퓨터를기반으로하는컴퓨터구술시험 (Computerized Oral Test) 형태들인데다양한이름으로불리고있다 : the Computer-assisted Basic English Skills Test (Center for Applied Linguistics, 2007), the Test of English as a Foreign Language Academic Speaking Test(Educational Testing Service, 2005), the English Speaking Proficiency Test(English Speaking Proficiency Test, ), Computerized Oral Proficiency Interview(Center for Applied Linguistics, 2002). 이러한유형의시험들은일반적으로컴퓨터상에서 sound, text, graphic, animation 그리고 video 를이용한다양한문제유형이가능하다. 그리고 COPI 와같이문항반응이론 (Item Response Theory) 을활용하여문항의난이도를조정하도록시스템화하는것도가능하며, 응시자의대답이자동적으로컴퓨터파일로저장되어평가자에게제공된다. 이시험방식에서는교사가자신이가르치고평가하고자하는분야를쉽게문제화하여평가할수있다. 이는최근평가에있어그중요성이증진되고있는맥락화 (contexualized) 된영어말하기평가환경을제공한다는점에서많은관심을끌었고 SOPI 형식의시험과비교했을경우수험자의정의적측면에서더욱우수하였고인터뷰간의동시타당성 (concurrent validity) 도높게나왔다 (Kenyon & Malabonga, 2001). 버슨트는채점자가필요없는좀더실용적인말하기평가도구를만들고자미국 Stanford 대학의 ESL 연구진과 Ordinate 사의기술진이공동개발한국제공인말하기시험으로현재한국뿐아니라미국, 일본, 중국, 호주, 인도, 네덜란드를비롯한 31 개국가에서시행되고있다. 이시험은음성인식기술을사용하여녹음된수험자의응답을컴퓨터가자동적으로빠르게평가하여수험자가신속하고편리하게시험을마친후 1 시간내에성적을바로확인할수있다는것이큰장점이다. 대규모의수험자가있을경우특별한시설이나장비가필요치않고 5-10 분만에시험을끝낼수있으므로인터뷰방식의평가보다시간, 인력, 그리고비용면에서매우능률적인시험이라볼수있다. 이시험의타당성연구는인터뷰와 COPI 형식의컴퓨터시험과의높은동시타당성을상관관계를통하여보고된바있지만 ( 류경리, 2005), 수험자의말하기능력을심도있게평가하는데있어서는제한점이있고상대방과의상호작용 (interaction) 이전혀없는점등으로인해인터뷰방식보다는내용타당성 (content validity), 구성타당성 (construct validity), 그리고표면타당성 (face validity) 이부족하다고여겨지며, 실제적 (authentic) 상황재현에는다른준직접시험들과마찬가지로한계점이있다고보여진다. 인터뷰시험과비교하여 SOPI 와 COPI 형식의시험에대한타당성과신뢰성을밝히는연구는다수있었고 ( 예. 정행, 2000; 주미진, 김양희, 2011; Brown, 1993;

5 영어말하기평가의채점자신뢰성과편향성조사 Clark, 1988; Joo, 2007; O Loughlin, 2001; Shohamy, 1994; Stansfield, 1991; Stansfield et al., 1990), PonePass( 신버슨트 ) 에관한타당성연구도소수있었지만 ( 예. 류경리, 2005), 대부분이점수결과의상관관계를조사하여동시타당성을밝히는데국한되었으며, 이들시험상에서의채점자특성을고려하여채점성향을면밀히조사한연구는찾기힘들었다. 더욱이, 이들시험유형의인간채점의결과와음성인식컴퓨터의자동채점결과의비교는찾을수없었으므로본연구는향후말하기시험의발전에많은시사점을제공할것으로본다 채점자신뢰성과편향성 각채점자마다평가표를기준으로엄격함과관대함의정도가다르다. 이러한채점자간엄격성이일치하는정도를채점자간신뢰성 (inter-rater reliability) 이라고한다. 개인마다성향이다르듯이채점자들은같은평가표로동일한수험자를채점하더라도각각다른엄격성을적용하게된다. 채점자들간에이러한엄격성정도가비슷할수록신뢰성이높다고볼수있다. 채점자들간의엄격성은채점자훈련을통해서도완전히일치할수가없으므로최근에더욱중요시되는것은채점자내신뢰성 (intra-rater reliability) 또는일관성 (consistency) 확보이다. 즉, 채점자의엄격성이모든수험자, 과제, 그리고평가영역에일관되게적용되어야하는데엄격성의정도가수험자에따라달라지거나또는과제, 평가영역에따라다른엄격성또는관대성을적용한다면그채점자는신뢰성또는일관성이부족하게되므로채점결과의해석이무의미하게되고결과적으로시험의타당성에심각한문제가발생할수밖에없게된다. 시험의결과에심각한영향을줄수있는채점자신뢰성은동일한평가기준표 (rating scale) 에대한각채점자의다른해석으로인해영향을받기도한다 (McNamara, 1996). 즉, 각채점자는각평가등급과평가영역에대해다르게해석하여신뢰성을낮추게되는경우이다. 예를들면, 동일한수험자의수행에대하여 A 채점자는수험자가 2 등급보다는높으므로 3 등급으로판단하는반면 B 채점자는 2 등급보다는높지만 3 등급보다는부족하므로여전히 2 등급으로판단하여채점할수있는것이다. 또한두채점자의이러한판단이모든평가영역에서일관되게적용되는것이아니라각평가영역에서의등급간의간격을달리해석하여적용하는경우가많다. 즉, A 채점자는문법영역에서의수험자의능력에따른한등급의간격은좁게보았지만그수험자의발음에있어서는한등급간의간격을크게보고 2 등급보다는약간높지만 3 등급이되기에는부족하다판단하여 2 등급으로평가하게될수있는것이다. 또한 B 채점자의경우는이와는반대의경우가발생할수있다. 이러한등급간의간격도채점자가각평가영역에대해일관되게적용하지못하는경우가많아채점자간신뢰성뿐만아니라채점자내신뢰성의확보도어려운경우가많다. 평가기준표해석에따른또다른문제는채점자의평가성향이라볼수있

6 252 주미진 는데어떤채점자는중간점수들만일관되게예를들면 6 점척도에서 3, 4 등급만을일관되게채점하는채점자들이있을수있고반면어떤채점자들은중간등급을피하고하위등급인 1, 2 등급만을일관되게채점하기도하는것이다. 이럴경우표면적으로는채점자내신뢰성은확보한것처럼보일수있지만채점자간신뢰성과그시험의타당성에는심각한문제가발생할수있다. 채점의결과에영향을줄수있는또다른중요한요인은채점자편향성인데각채점자마다채점성향에따라또는채점환경에따라특정시험유형, 수험자, 과제, 평가영역에따라엄격성과관대성이다르게적용될수가있다. 예를들면, A 채점자는수험자의수행을직접보고평가할수있는인터뷰형식의시험에서는일관되게관대한점수를주는반면에동일한수험자의컴퓨터시험의녹음된목소리만듣고채점할경우에는일관되게엄격한점수를주게될수도있는것이다. 이경우동일한수험자의수행능력도시험유형에따라다른평가를받을수있는것이다. 채점자특성에따라서채점편향성이달라질수있음을의미하고 ( 박종임과박영민, 2011), 이러한채점자편향성도채점자신뢰성그리고결국에는그시험의타당성과연결되게된다. 말하기평가에있어채점자간 / 내신뢰성과편향성은그시험도구자체의신뢰성과타당성을말해주는결정적인요소들이므로반드시실험을통하여검증된후에시험실행이이루어져야되는부분인것이다. 3. 연구방법 3.1. 연구참여자및실험절차 본연구에는강원도 K 대학영어과 2 학년생 25 명이참여하였지만, 세가지유형의시험중한가지시험이라도미응시된학생은자료분석에서제외시켜총 21 명 ( 여학생 7 명, 남학생 14 명, 평균토익성적 512 점 ) 의수행능력결과만을분석자료로사용하였다. 각시험상에서의수행능력을다양한특성을가진 18 명의채점자가채점토록하였다. 채점자구성은표 1 과같다.

7 영어말하기평가의채점자신뢰성과편향성조사 표 1 연령 1 채점자구성 배경 항목 N % 모국어 한국어 % 영어 % 성별 남성 % 성별 여성 % 30대 % 40대 % 20대 % 50대 1 5.6% 학사 % 석사과정 % 학력 석사 0 0.0% 박사과정 % 박사 % 전공 영어전공 % 비전공 % 자료수집을위하여연구참여학생들은세그룹으로나뉘었다. 첫번째그룹은인터뷰, 버슨트, 컴퓨터시험순으로시험을치르도록하였으며, 두번째그룹은버슨트, 컴퓨터시험, 인터뷰순으로, 마지막그룹은컴퓨터시험, 인터뷰, 버슨트순으로각 14 일간격으로치르도록하여가능한시험순서로인하여수행에영향을주지않도록노력하였다. 버슨트는자동채점되므로제외하고나머지두시험은실행후녹음된파일을즉시채점자들에게전달하였다. 채점자들은사전에평가방법에대한 1 일집중채점자훈련을거쳤다. 학생들과마찬가지로채점자들도두그룹으로나뉘어첫번째그룹은인터뷰, 컴퓨터시험순으로두번째그룹은컴퓨터시험, 인터뷰순으로채점토록하여채점순서로인하여생길수있는잠재변수를최소화하도록하였다. 각채점자는총 42 개 (21 개의인터뷰비디오녹음과 21 개의컴퓨터시험음성녹음 ) 의녹음파일을통하여학생들의수행능력을평가하였다. 평가방법은 O Loughlin(2001: ) 의평가기준표를일부수정하여분석적 (analytic) 방법과전체적 (holistic) 방법을함께한각 6 척도평가항목 ( 발음, 유창성, 문법, 어휘, 응집력, 전체 2 ) 의평가표를바탕으로채점토록하였다 ( 부록참고 ). 1 본연구에참여한채점자의연령이고르게분포되지못한관계로 대를 젊은층, 대를 나이든층 으로분류하여분석하였다. 2 본논문에서 전체 는전체적 / 총체적 (holistic) 평가를의미한다.

8 254 주미진 3.2. 연구도구 인터뷰 인터뷰는외부방해를받지않는조용한교실을선택하여연구자가 1 대 1 로지정된문제를순서대로시행하였다. 연구자가 21 명의학생모두에게인터뷰를실행하여면접관의특성이학생들의수행과그결과에영향을주지않도록노력하였다. 시험중에는학생과의상호작용을최소화하여다른두시험에는없는상호작용이라는변수로인하여난이도조정에문제가생기는것과학생수행에끼칠수있는영향을최대한줄이기위한것이었다. 각인터뷰시간은 분정도로비디오카메라로녹화되어추후평가에이용되었다 컴퓨터시험 연구에사용된컴퓨터시험은미국의 OWL Testing Software 인터넷사이트를이용하였다 ( 본사이트 3 개월이용료는 1,383,760 원 ($1,200) 이었으며, 시험제작을위하여약한달간의온라인지도를받았다. 다른종류의컴퓨터구술시험과마찬가지로다양한멀티미디어활용이가능하며, 교사가직접문제를만들고녹음하고인터넷상에서채점하고학생들이열람할수있도록할수있다. 본연구에서는각문항에대한충분한준비시간과응답시간을제공함으로서학생들이시간부족으로인해느낄수있는초조감또는불안감을줄일수있도록노력하였다. 각시험은 분으로수험자의발화는컴퓨터에자동저장되어추후평가에이용될수있도록하였다. 개별적인시험문제제작이가능한인터뷰와컴퓨터시험에서는같은문제유형을이용하여최대한난이도가같도록출제하였다. 시험문제는워밍업질문 (warming-up question), 묻고답하기 (question and answer), 요약하기 (summary), 그림묘사하기 (picture description), 일련의그림을통해스토리만들기 (making up a story), 그리고역할극 (role play) 으로구성되었다 버슨트 3 본시험전에이메일로버슨트시험안내지침서와문항유형에대한충분한정보를주고주어진번호로전화를걸어 Demo-test 를치르도록하여시험방법또는문항유형의미숙으로인하여시험이방해받지않도록하였다. 이시험의문제유형 (Spoken English Test-10) 은미리인쇄물로주어진문장소리내어읽기, 3 본연구에서는인간채점과컴퓨터의자동채점을비교하기위하여일반적으로가장널리통용되고알려진버슨트시험을사용하였다. 하지만문제유형과평가항목이인터뷰, 컴퓨터시험과달라서시험간의동등성이확보되지못한제한점이있었다.

9 영어말하기평가의채점자신뢰성과편향성조사 문장듣고반복하기, 단답형질문듣고한단어또는짧은어구로대답하기, 짧은어구들을듣고문장재구성하여만들기, 주어지는짧은이야기를듣고줄거리를요약하기, 특정주제에대한자기의견구술하기등 6 개항목으로총 63 문항으로구성되어있지만, 자기의견구술하기항목은채점되지않는다. 음성인식으로컴퓨터가 5 개의평가항목 ( 발음, 유창성, 문장숙달성, 어휘, 전체 ) 별로자동채점되도록되어있다. 시험시간은약 20 분정도소요되었다 분석방법 분석을위하여 FACETS(Linacre, 1989) 을이용한다국면래쉬모델 (Multifaceted Rasch model) 을사용하였다. 본연구에서설정되는기본적인 3 가지국면 (facets) 은수험자, 채점자, 평가영역이었으며, 채점자국면은다시채점자특성별로나뉘어서조사되었다. 설정된국면들을통하여산출된결과는전체채점자간 / 내의신뢰성 ( 또는엄격성 ) 의정도를말해주며, 각채점자특성에따른채점성향과채점에미치는영향정도를알려주며, 마지막으로각채점자의채점편향의유무를편향분석 (bias analysis) 의결과를통해보여준다. 버슨트채점시는채점자의수, 평가척도가인터뷰와컴퓨터시험과는달라서다국면 Rasch 모델의이용이힘든까닭에다른두시험과의채점비교를위해서는 SPSS version 16.0 을사용하여기술통계, ANOVA 검증, 상관분석을실행하여분석하였다. 4. 연구결과 4.1. 채점자간 / 내신뢰성 인터뷰 다국면 Rasch 모형의 채점자측정보고 를통하여채점자간 / 내신뢰성을살펴보면, 인터뷰에서채점자간엄격성은유의미한차이가있는것으로보여진다 ( 표 2). Rasch 문항반응이론의적용으로변형된수치인측정값 (Measure) 과 Fair-M Average 를살펴보면채점자 12 가가장관대한점수를채점자 16 이가장엄격한점수를주었고채점자간의간격이상당히벌어져있음을볼수있다. 카이제곱검증으로도채점자간의엄격성의차이가큼을뒷받침해준다 (χ 2 = , p =.00). 분리도 (Separation) 와신뢰도 (Reliability) 를통해서도채점자간의엄격성의정도가넓게분포되어있음을볼수있다 (Separation = 9.13, Reliability =.99). 관찰점수 (observed score) 와예측점수 (expected score) 의일치도는각각 32.8%, 33.1% 로높

10 256 주미진 지않은편이다. 하지만채점자간신뢰성보다도그중요성이더욱강조되고있는채점자내신뢰도는안정적임을내적합제곱평균 (Infit MnSq) 을통해볼수있다. 채점자 5 는다른채점자에비해서는통계적으로유의하진않지만다소일관성이부족해보이고 (Infit MS = 1.5), 특히 발음 에서가끔 Rasch 모델수치에서벗어나는채점을하였음을알수있었다. 하지만채점자 5 를포함한모든채점자의내적합도지수가 이내이므로전반적으로채점자들은채점일관성을유지하였다고볼수있다. 표 2 인터뷰채점자간 / 내신뢰성 Rater Rater Characteristics Fair-M Infit Measure S.E. Average MS 12 원어민, 여성, 30살, 학사, 전공 원어민, 남성, 29살, 학사, 비전공 원어민, 남성, 28살, 학사, 비전공 원어민, 여성, 23살, 학사, 비전공 원어민, 남성, 27살, 학사, 비전공 원어민, 남성, 23살, 학사, 비전공 원어민, 여성, 26살, 학사, 비전공 한국인, 여성, 43살, 박사, 전공 원어민, 여성, 24살, 학사, 비전공 한국인, 여성, 41살, 석사과정, 전공 원어민, 남성, 43살, 석사과정, 전공 한국인, 남성, 45살, 석사과정, 전공 한국인, 여성, 39살, 박사과정, 전공 한국인, 여성, 41살, 박사, 전공 한국인, 남성, 45살, 박사과정, 전공 한국인, 여성, 38살, 석사과정, 전공 한국인, 여성, 44살, 박사과정, 전공 원어민, 남성, 54살, 석사과정, 전공 Separation: 9.13 Reliability:.99 Chi-square: (p =.00) Exact agreement: 32.8% Expected: 33.1% 평가항목중에서는 발음 (Fair-M Average = 3.77, Measure = -.86) 을가장관대하게, 다음으로 전체 (Fair-M Average = 3.43, Measure = -.12), 유창성 (Fair-M Average = 3.33, Measure =.09), 응집력 (Fair-M Average = 3.28, Measure =.20), 어휘 (Fair-M Average = 3.22, Measure =.31), 그리고마지막으로 문법 (Fair-M Average = 3.19, Measure =.38) 을가장엄격하게채점하였음을알수있다. 평가항목적합도지수를통해서도과적합또는부적합지수를보이지않았으므로 (0.5 < Infit MS < 1.5), 특별히일관성또는변별력이부족해보이진않는다 컴퓨터구술시험 인터뷰채점시와마찬가지로, 채점자간엄격성의차이는다양하게나타났다

11 영어말하기평가의채점자신뢰성과편향성조사 (Measure = ~ 2.17)( 표 3). 카이제곱검증과분리도를통해서도엄격성의차이가유의미함을알수있다 (χ 2 = , p =.00)(Separation = 8.80, Reliability =.99). 관찰점수와예측점수의일치도도각각 31.3%, 31.7% 로인터뷰채점시와많은차이가나지않았다. 표 3 컴퓨터시험채점자간 / 내신뢰성 Rater Rater Characteristics Fair-M Average Measure S.E. Infit MS 12 원어민, 여성, 30살, 학사, 전공 원어민, 남성, 28살, 학사, 비전공 원어민, 남성, 29살, 학사, 비전공 원어민, 남성, 27살, 학사, 비전공 원어민, 남성, 23살, 학사, 비전공 원어민, 여성, 23살, 학사, 비전공 원어민, 여성, 24살, 학사, 비전공 한국인, 여성, 41살, 석사과정, 전공 원어민, 여성, 26살, 학사, 비전공 한국인, 여성, 43살, 박사, 전공 한국인, 여성, 41살, 박사, 전공 한국인, 여성, 39살, 박사과정, 전공 원어민, 남성, 43살, 석사과정, 전공 한국인, 남성, 45살, 박사과정, 전공 한국인, 여성, 38살, 석사과정, 전공 한국인, 남성, 45살, 석사과정, 전공 한국인, 여성, 44살, 박사과정, 전공 원어민, 남성, 54살, 석사과정, 전공 Separation: 8.80 Reliability:.99 Chi-square: (p =.00) Exact agreement: 31.3% Expected: 31.7% 반면, 채점자내신뢰도에있어서는채점자 5 는컴퓨터시험상에서부적합지수를나타내어일관성이부족하였고 (Infit MS = 1.9), 채점자 8(Infit MS = 1.5) 과 16(Infit MS =.5) 도통계적으로유의한정도는아니지만다소불안정한채점을보였음을알수있다. 그러므로전반적으로채점자간의엄격성의차이는인터뷰채점시와비슷하였지만채점자내일관성은컴퓨터시험채점시가인터뷰채점시보다는다소부족해보였다. 평가항목중에서는인터뷰채점시와마찬가지로 발음 (Fair-M Average = 3.70, Measure = -.64) 을가장관대하게그리고 문법 (Fair-M Average = 3.17, Measure =.42) 을가장엄격하게채점하였음을알수있었고, 과적합또는부적합지수를나타내는항목은없었다 (0.5 < Infit MS < 1.5).

12 258 주미진 4.2. 채점자특성이신뢰성과편향성에미치는영향 인터뷰 각각의특성별 ( 모국어, 성별, 연령, 학력, 전공 ) 채점자국면을설정하여채점자특성이채점에영향을미치는지살펴보았다. 한국인채점자가원어민채점자보다는엄격한점수를주었음을알수있었다 (Measure = ±.38, Separation = 8.27, Reliability =.99, χ 2 = 138.7, p =.00). 채점자특성과평가항목간의편향분석에서한국인, 원어민채점자그룹모두어떤평가항목에서도편향적인채점성향을보이지않았음을볼수있었다 (-2 < Z-score < 2). 남녀채점자그룹간에는엄격성에유의한차이는없었으며 (Measure = ±.02, Separation =.00, Reliability =.00, χ 2 =.3, p =.61), 두그룹모두평가항목에대한어떠한채점편향성도없었다 (-2 < Z- score < 2). 연령별그룹에서는젊은층이나이든층보다관대하게채점하였음을알수있었다 (Measure = ±.39, Separation = 8.40, Reliability =.99, χ 2 = 143.2, p =.00). 편향분석에서는두연령그룹모두특정평가항목에대해편향적으로채점하지않았음을볼수있었다 (-2 < Z-score < 2). 학력별그룹으로는학사그룹이가장관대하게다음으로박사, 석사과정, 박사과정그룹순이었다 (Measure 학사 = -.77; 박사 = -.01; 석사과정 =.32; 박사과정 =.45; Separation = 6.32; Reliability =.98; χ 2 = 277.9, p =.00). 학력에따른채점자그룹편향성조사에서박사그리고박사과정채점자는 발음 에서다른학력채점자그룹보다기대이상으로관대한점수를주었음을볼수있었다 (Z-score 박사과정 = -3.55; 박사 = -2.06) (Infit MS 박사과정 = 1.6; 박사 =.6). 그리고박사과정그룹은이러한편향적채점이일관성없이이루어졌다. 석사과정채점자는 응집력 에서기대이상으로관대한점수 (Z-score = -2.58, Infit MS =.9) 를준반면에 발음 에서는기대이하로낮은점수를주었다 (Z-score = 5.22, Infit MS =.9). 마지막으로, ( 영어 ) 전공자와비전공자그룹간의채점엄격성에는유의한차이를보였는데비전공자가좀더관대한점수를주었음을볼수있었지만 (Measure = ±.48, Separation = 10.15, Reliability =.99, χ 2 = 208.2, p =.00), 평가항목에대한어떠한채점편향성도보이지않았다 (-2 < Z-score < 2). 위의각채점자특성에따른엄격성의차이와몇평가항목에대한 ( 일관된또는일관성부족의 ) 편향적채점에도불구하고, 내적합도지수를통하여살펴보면각특성별채점자그룹은채점에있어서의전반적인일관성을유지하였음을알수있었다 (0.5 < Infit MS < 1.5).

13 영어말하기평가의채점자신뢰성과편향성조사 컴퓨터시험 인터뷰와마찬가지로컴퓨터시험에서도한국인채점자그룹이원어민그룹보다는엄격한점수를부여했음을알수있었다 (Measure = ±.32, Separation = 7.27, Reliability =.98, χ 2 = 107.8, p =.00). 하지만한국인, 원어민채점자그룹모두어떤평가항목에서도지속적으로기대이상으로엄격하거나관대한점수를주지는않았음을편향분석을통하여볼수있었다 (-2 < Z-score < 2). 성별채점자그룹은엄격성에있어여성그룹이좀더관대한점수를줌으로서인터뷰채점시보다는차이를보였지만, 의미있는정도는아니었다 (Measure = ±.06, Separation =.96, Reliability =.48, χ 2 = 3.8, p =.05). 또한, 두그룹모두에서평가항목에대한어떠한편향적채점도보이지않았다 (-2 < Z-score < 2). 연령별채점자그룹은인터뷰채점시와마찬가지로, 젊은층이나이든층보다관대한점수를주었으며 (Measure = ±.35, Separation = 7.76, Reliability =.98, χ 2 = 122.5, p =.00), 두그룹모두평가항목에대한편향적채점은없었다 (-2 < Z-score <2). 학력별로는가장관대한점수를준채점자그룹은학사, 다음으로박사, 석사과정, 박사과정그룹순으로관대한점수를부여했으며인터뷰채점시와같았다 (Measure 학사 = -.64, 박사 = -.10, 석사과정 =.35, 박사과정 =.39; Separation = 5.83; Reliability =.97; χ 2 = 230.4; p =.00). 편향분석에서박사과정그룹은 발음 에서는기대이상으로관대하게 (Zscore = -4.17, Infit MS = 1.2), 그리고 응집력 에서는기대이하로엄격하게 (Zscore = 2.30, Infit MS =.9) 점수를준반면에, 석사과정그룹은박사과정채점자그룹과는반대로 응집력 에서는지속적으로기대이상의관대한점수 (Z-score = -3.37, Infit MS =.8) 를부여했고, 발음 에서는기대이하의엄격한점수를주었다 (Z-score = 3.75, Infit MS =.9). 전공별채점자그룹의엄격성차이에서는비전공자가전공자그룹보다좀더관대한점수를부여했음을알수있었지만 (Measure = ±.38, Separation = 8.36, Reliability =.99, χ 2 =141.9, p =.00), 두그룹모두어떠한편향적채점도없었다 (-2 < Z-score < 2). 인터뷰채점시와마찬가지로각특성별채점자그룹의다양한엄격성차이와몇편향적채점에도불구하고각그룹은채점일관성을유지했음을내적합도지수를통하여알수있었다 (0.5 < Infit MS < 1.5). 시험유형 ( 인터뷰, 컴퓨터시험 ) 이채점자점수에영향을주는지알아보기위하여시험유형과각채점자특성그룹간의편향분석을실행해본결과각모국어, 성별, 연령, 학력, 전공별그룹과인터뷰, 컴퓨터시험유형간에는 Z-score 이모두 ±2.0 범위내에있으므로지속적인어떠한편향적채점도없었음을알수있었다 (Z-score 모국어별그룹 = -.70~.70; 성별그룹 = -1.36~1.37; 연령별그룹 = -.04 ~.06; 학력별그룹 = -.97~.97; 전공별그룹 = -.41~.41).

14 260 주미진 4.3. 버슨트와인터뷰, 컴퓨터시험과의채점비교 버슨트와인터뷰, 컴퓨터시험채점간의관련성을조사하기위하여 ANOVA 사후검정 Bonferroni 와 Spearman 상관분석을실시하였다. ANOVA 검정결과, 평가항목간에유의한어떠한평균의차이도없었음을알수있었다 (p >.05). 또한, 상관분석에서도버슨트와인터뷰의 발음 을제외하고는버슨트와인터뷰, 컴퓨터시험평가항목간에긍정적인상관관계를보임을볼수있었다 ( 표 4). 특히, 인터뷰보다는컴퓨터시험과높은상관관계를나타내고있다. 즉, 세시험의각평가항목간의평균의차는유의하지않았으며, 인간채점과컴퓨터자동채점간에는매우높은상관관계를보였음을알수있었다. 표 4 버슨트와인터뷰, 컴퓨터시험과의상관분석버슨트 rho(p-value) 시험별평가항목발음유창성문장숙달성어휘전체발음.33(.15).39(.08).48(.03)*.45(.04)*.52(.02)* 유창성.48(.03)*.51(.01)*.56(.01)*.50(.02)*.63(.00)** 인문법.53(.01)*.61(.00)**.51(.02)*.45(.04)*.64(.00)** 터어휘.51(.02)*.58(.01)*.60(.00)*.53(.01)*.67(.00)** 뷰응집력.47(.03)*.53(.01)*.55(.01)*.55(.01)*.63(.00)** 전체.49(.03)*.55(.01)*.56(.01)*.54(.01)*.65(.00)** 발음.60(.00)**.61(.00)**.58(.01)*.38(.09).68(.00)** 컴유창성.79(.00)**.84(.00)**.74(.00)**.49(.02)*.87(.00)** 퓨문법.79(.00)**.84(.00)**.59(.01)*.47(.03)*.82(.00)** 터어휘.79(.00)**.85(.00)**.69(.00)**.46(.04)*.85(.00)** 시험응집력.78(.00)**.83(.00)**.64(.00)**.40(.07).81(.00)** 전체.79(.00)**.84(.00)**.70(.00)**.51(.02)*.86(.00)** *p <.05, **p <.01 채점자특성별점수와버슨트점수를비교해본결과는다음과같다 ( 표 5, 표 6). 한국인채점자에의한점수는모든평가항목에서유의한차를보이지않았고, 더욱이 문법 을제외한 (p > 0.1) 모든평가항목에서버슨트점수와의평균차가매우미미하여의미있는차이를보이지않았다 (p = 1.00). 버슨트의평가항목에는 문법 이없고 문장숙달성 이포함되어있는데문장숙달성이란완전한문장으로된구절을이해하고기억하며말할수있는능력을나타내며, 의미있는문장구조에서정확한통사적처리와적절한단어및구절의사용을할수록높은점수를받게되어있다. 문법 과는그능력에대한정의가다르지만다른평가항목보다는요구되는기저의언어지식이가장근접하다고판단하여버슨트의 문장숙달성 과인터뷰와컴퓨터시험의 문법 의상관관계를비교하였지만, 분석결과해석에있어주의를요하는부분이다. 그에비해, 원어민채점자의점수는 발음, 유창성, 전체 에서인터뷰와컴퓨터시험모

15 영어말하기평가의채점자신뢰성과편향성조사 두에서유의한차가나타났다 ( 발음 : 인터뷰 p =.01, 컴퓨터시험 p =.03; 유창성 : 인터뷰 p =.04, 컴퓨터시험 p =.03; 전체 : 인터뷰 p =.02, 컴퓨터시험 p =.04). 상관분석결과 ( 표 7) 에서도, 두시험모두에서원어민채점자그룹보다는한국인그룹과좀더유의한관계가있음을나타냈는데, 그중에서도컴퓨터시험과의상관관계가좀더높았다 ( 버슨트, 인터뷰전체점수 rho =.65, p =.00; 버슨트, 컴퓨터시험전체점수 rho =.86, p =.00). 성별에따른채점은여성채점자그룹의점수에서는두시험모두에서어떠한유의한차도나타나지않았고 (p <.05), 남성그룹에서도 발음 을제외한 (p =.03) 모든항목에서유의한차를보이지않았다. 상관분석결과에서는두시험모두에서여성그룹이남성그룹보다버슨트점수와의상관관계가높았고, 특히, 컴퓨터시험의여성그룹의채점점수와관계가높았다. 연령별채점은젊은그룹에서는버슨트의어떠한평가항목과도유의한차를보이지않았다 (p >.05). 나이든그룹도 문법 을제외하고는평가항목간의유의미한차는보이지않았다 ( 문법 : 인터뷰 p =.01, 컴퓨터시험 p =.00). 상관분석에서는나이든그룹이젊은그룹보다좀더높은상관관계를보이는경향이있긴했지만크지는않았고, 여기에서도두그룹모두컴퓨터시험점수와더높은상관관계를보였다. 학력별채점을살펴보면학사채점자그룹은 발음, 유창성, 어휘, 그리고 전체 에서두시험모두와유의한차를보였다 ( 발음 : 인터뷰 p =.00, 컴퓨터시험 p =.00; 유창성 : 인터뷰 p =.00, 컴퓨터시험 p =.00; 어휘 : 인터뷰 p =.01, 컴퓨터시험 p =.01; 전체 : 인터뷰 p =.00, 컴퓨터시험 p =.02). 석사과정그룹은컴퓨터시험의 문법 (p =.04) 을제외하고는유의한차를보이지않았으며, 발음 (p =.84, p =.69) 외에는평균차가거의없었다 (p = 1.00). 박사과정그룹은두시험모두에서 문법 에서유의한차를보였지만 ( 인터뷰 p =.01, 컴퓨터시험 p =.00), 다른평가항목에서는의미있는점수차를보이지않았다 (p > 0.1). 박사그룹은 발음 을제외하고는유의한차를보이지않았다 ( 인터뷰 p =.02). 상관분석에서도두시험유형모두에서박사그룹의채점이가장높은상관관계를보여주었다. 전공별채점을비교하면, 영어전공채점자그룹은모든항목에서유의한차를보이지않았고 문법 을제외하고는 ( 인터뷰 p =.39, 컴퓨터시험 p =.27), 평균의차가거의없었다 (p = 1.00). 그에반해, 비전공그룹은 발음, 유창성, 어휘, 전체 에서유의한차를보였다 ( 발음 : 인터뷰 p =.00, 컴퓨터시험 p =.00; 유창성 : 인터뷰 p =.01, 컴퓨터시험 p =.00; 어휘 : 인터뷰 p =.02, 컴퓨터시험 p =.02; 전체 : 인터뷰 p =.01, 컴퓨터시험 p =.01). 상관분석에서도두시험모두에서전공자그룹의채점이버슨트의채점결과와더강한관련성을보였다.

16 262 주미진 채점자특성 인터뷰 채점자 모국어 성별 연령 학위 영어전공 한국인 원어민 여성 남성 젊은층 나이든층 학사 석사과정 박사과정 박사 전공 비전공 *p<.05, **p<.01 표 5 버슨트시험과채점자특성별인터뷰점수와의비교 버슨트 발음 유창성 문장숙달성 어휘 전체 평균차 S.E p 평균차 S.E p.01*.04* * 평균차 S.E p 평균차 S.E p.03* 평균차 S.E p 평균차 S.E p ** 평균차 S.E p.00**.00**.14.01*.00** 평균차 S.E p 평균차 S.E p * 평균차 S.E p.02* 평균차 S.E p 평균차 S.E p.00**.01*.22.02*.01*

17 영어말하기평가의채점자신뢰성과편향성조사 표 6 버슨트시험과채점자특성별컴퓨터시험점수와의비교 버슨트 채점자특성 발음 유창성 문장숙달성 어휘 전체 평균차 한국인 S.E 모국어 p 평균차 원어민 S.E p.03*.03* * 평균차 여성 S.E 성별 p 평균차 남성 S.E p.03* 평균차 컴젊은층 S.E 퓨 p 연령터평균차 나이든층 S.E 시험 p ** 채점자 학위 영어전공 학사 석사과정 박사과정 박사 전공 비전공 *p<.05, **p<.01 평균차 S.E p.00**.00**.21.01*.02* 평균차 S.E p * 평균차 S.E p ** 평균차 S.E p 평균차 S.E p 평균차 S.E p.00**.00**.32.02*.01*

18 264 주미진 표 7 버슨트시험과채점자특성별점수와의상관분석 버슨트 rho(p-value) 채점자특성 발음 유창성 문장숙달성 어휘 전체 모국어 한국인.39(.08).63(.00)**.54(.01)*.49(.02)*.68(.00)** 원어민.29(.21).40(.07).43(.06).49(.02)*.62(.00)** 여성.39(.08).58(.01)**.53(.01)*.55(.01)*.67(.00)** 성별인남성.27(.24).42(.06).47(.03)*.43(.05).64(.00)** 터젊은층.32(.15).62(.00)**.53(.01)*.49(.03)*.60(.00)** 뷰연령나이든층.42(.06).64(.00)**.60(.00)**.46(.04)*.64(.00)** 채 학사.24(.30).40(.08).35(.12).54(.01)*.56(.01)** 점석사과정.38(.09).42(.06).49(.03)*.41(.06).65(.00)** 학위자박사과정.40(.08).61(.00)**.59(.01)**.53(.01)*.71(.00)** 박사.49(.03)*.67(.00)**.59(.01)**.44(.05)*.70(.00)** 영어 전공.46(.04)*.57(.01)**.53(.01)*.47(.03)*.71(.00)** 전공 비전공.20(.39).39(.09).39(.08).54(.01)*.57(.01)** 모국어 한국인.60(.00)**.81(.00)**.70(.00)**.45(.04)*.86(.00)** 원어민.56(.01)**.82(.00)**.45(.04)*.47(.03)*.83(.00)** 컴퓨터 시험 채점자 성별 연령 학위 영어전공 *p<.05, **p<.01 여성.67(.00)**.88(.00)**.57(.01)**.47(.03)*.84(.00)** 남성.38(.09).73(.00)**.53(.01).54(.01)*.82(.00)** 젊은층.78(.00)**.82(.00)**.69(.00)**.63(.00)**.91(.00)** 나이든층.76(.00)**.78(.00)**.75(.00)**.71(.00)*.90(.00)** 학사.57(.01)**.72(.00)**.40(.07).48(.03)*.79(.00)** 석사과정.51(.02).82(.00)**.61(.00)**.36(.11).81(.00)** 박사과정.51(.02).71(.00)**.56(.01)**.48(.03)*.75(.00)** 박사.76(.00)**.83(.00)**.68(.00)**.38(.09).85(.00)** 전공.63(.00)**.86(.00)**.67(.00)**.42(.06).90(.00)** 비전공.51(.02).60(.00)**.37(.10).46(.04)*.76(.00)** 전반적으로버슨트점수와가장근접한채점자그룹의점수는한국인, 전공자채점그룹이었다. 이두그룹의인터뷰와컴퓨터시험의점수는버슨트의모든평가항목간의점수와유의미한차가없었고, 더욱이두시험모두 문법 을제외하고는각평가항목의평균의차가거의없음을보여주었다 (p = 1.00). 그러므로버슨트점수와는한국인, 전공자그룹이부여한인터뷰, 컴퓨터시험의채점결과와가장유사하였고, 두시험중에서는컴퓨터시험이인터뷰보다는좀더밀접한관련성을보여준다고할수있겠다.

19 5. 논의및결론 영어말하기평가의채점자신뢰성과편향성조사 본논문은영어말하기평가의채점자신뢰성과채점자특성이신뢰성과편향성에미치는영향을인터뷰, 컴퓨터시험의비교를통하여알아보았고, 마지막으로인간채점으로이루어지는인터뷰와컴퓨터시험의인간채점결과와버슨트의컴퓨터자동채점결과와의관련성을조사하였다. 연구결과는다음과같다. 첫째, 채점자간신뢰성은인터뷰, 컴퓨터시험모두에서유의한차이를보였지만, 채점자내신뢰성은컴퓨터시험채점시가인터뷰채점시보다는일관성이다소부족했다. 채점일관성에영향을미치는주요인중하나는평가기준표이지만, 두시험모두에서동일한채점자가동일한기준표를사용하여채점하였으므로평가기준표가컴퓨터시험상의채점일관성에영향을주었을가능성은희박하다고본다. 채점시두시험의차이점은인터뷰는비디오녹음파일, 컴퓨터시험은목소리녹음파일로채점을하였다는점이다. 추측컨대, 컴퓨터시험채점은채점을위하여각문항의파일을일일이열어서듣고평가해야했으므로피로도증가및집중력저하등이발생했을수도있고또는각문항의파일을열어서듣고평가해야하는번거로움으로인하여몇문항은건너띄고채점하여일관성에영향을미쳤을수도있다. Wolcott 와 Legg(1988) 는채점자의집중력저하는점수를지나치게높게주거나낮게주는경향이있음을지적하였다. 그러므로컴퓨터시험채점시채점자일관성에영향이미치지않도록가능한사용자편리에맞추어피로감이나번거로움이적도록채점할수있는환경을조성할필요가있다. 둘째, 성별그룹을제외하고는인터뷰, 컴퓨터시험채점시원어민, 젊은층, 학사, 비전공자채점자그룹이관대한점수를준반면, 한국인, 나이든층, 박사과정, 전공자그룹이엄격한점수를주었다. 하지만, 학력은그엄격성의정도가순차적이지않았으므로채점자의학력이엄격성에영향을준것으로단정하기는힘들어보인다. 성별그룹간에는인터뷰채점에서는유의한엄격성의차이가없었고, 컴퓨터시험채점에서는여성이좀더엄격한점수를주었으므로컴퓨터시험의어떤특징이성별그룹에게영향을주었을것으로보인다. 비원어민이좀더엄격한점수를주는경향이있다는것은선행연구에서도나타난바가있지만 ( 신동일, 2001; Shohamy, Gordon, & Kramer, 1992), 채점자의연령, 전공, 성별이채점엄격성에영향을미친다는것은새로운결과로보여진다. 그리고성별그룹을제외하고는시험유형이특정채점자그룹의엄격성에영향을주는것으로는보이지않는다. 그러므로채점자선별시모국어, 연령, 전공, 성별등의채점자특성에따라학생들에게상대적으로유리한또는불리한점수가부여될가능성이있으므로주의를요하는부분이다. 셋째, 편향분석에서는박사, 박사과정, 석사과정채점자그룹이 응집력 또는 발음 에서편향적으로관대하거나또는엄격한점수를주었음을발견할수있었다. 컴퓨터채점시에도박사과정, 석사과정채점자그룹은 발음, 응집력

20 266 주미진 에서편향적으로관대또는엄격한점수를부여했음을알수있었다. 이러한결과는채점자의학력에따른채점편향성이라기보다는평가항목 응집력 과 발음 의평가기준표가채점자에따라달리해석되어서때로는너무엄격하게또는관대하게채점되는것으로보인다. 또한이러한편향성도어떤채점자그룹은일관되게또어떤그룹은일관되지않게채점하여채점자내일관성에도영향을끼치는것으로보인다. 그러므로채점자마다해석을달리하지않도록명확하고분명한평가기준제시와함께채점자훈련이필요해보인다. 넷째, 인터뷰, 컴퓨터시험과버슨트채점의비교조사에서세시험의평가항목간에는어떠한유의한평균의차이도찾아볼수없었으며, 버슨트와인터뷰의 발음 을제외하고는버슨트와인터뷰, 컴퓨터시험모두가의미있는상관관계를보였다. 특히, 컴퓨터시험과의상관관계는더욱높았다. 채점자와평가기준표가동일한상황에서버슨트와컴퓨터시험의상관관계가더높았다는것은인터뷰시에는의사소통능력에포함되는학생들의얼굴표정, 제스처, 그리고상호작용시에필요한다양한대처능력등이컴퓨터시험과버슨트에서는평가시모두배제됨으로써차이가발생했을가능성이높다. 버슨트와인터뷰의발음이상관관계를보이지않는것도음성인식을기반으로하는기계적평가가상황별대처시변화하는강세, 억양을고려하지못한점에서초래했을가능성을배제할수없다. 그러므로이러한점을감안하여컴퓨터또는버슨트형태의시험집행시수험자의수행과정을비디오녹음하여평가할수있도록고려할필요가있다고본다. 마지막으로, 버슨트와는여러채점자특성중에서는한국인, 전공자그룹의인터뷰, 컴퓨터시험의결과와가장비슷하였고, 또한두시험중에서는컴퓨터시험이인터뷰보다좀더밀접한관련성을보였다. 본연구를통해서는유독한국인과전공자그룹이왜버슨트와가장유사한점수결과를낳았는지를밝히기는어렵다. 하지만최소한전반적으로버슨트가인간채점만으로이루어지는인터뷰와컴퓨터시험의채점결과와평균의차가거의없으며, 또한매우높은상관관계를보인다는점에서주목할필요가있다고본다. 그러므로버슨트는일방향성의일상대화형식에서벗어난문제유형으로구성된매우제한적평가도구로서비판받기도하지만컴퓨터자동채점기능으로인하여시간, 경비면에서매우경제적인말하기평가도구이므로버슨트와같은음성인식채점기능을컴퓨터시험에부분적으로적용한다면좀더실용적이면서도향상된평가도구개발을꾀할수있을것으로본다. 본연구는연구참여자의수가적은점, 참여한채점자의연령과학력이고루분포되지못한점, 인터뷰와컴퓨터시험의문제유형과평가항목이버슨트와달라동등성이확보되지못한점등의제한점이되기때문에연구결과의해석에있어주의가필요하다. 익숙지못한시험방식에따른채점환경의변화, 채점자특성이신뢰성에미치는영향, 그리고채점자의특정대상, 평가항목, 과제에대한편향성등의유무에관한정보는수험자의언어능력을충분히말해

21 영어말하기평가의채점자신뢰성과편향성조사 주는가에대한시험의타당성을확보하는데중요한정보를제공하게되므로본논문의제한점을보완하여이분야에관한다각적이고도활발한연구가계속되어야할것이다. 참고문헌 류경리. (2005). COPI 와 PhonePass 의구술수행평가타당도비교분석. 석사학위논문. 고려대학교교육대학원, 서울. 박종임, 박영민. (2011). Rasch 모형을활용한국어교사의채점일관성변화양상및원인분석 : 중학생서사문채점을중심으로. 우리어문연구, 39, 신동일. (2001). 채점경향분석을위한 Rasch 측정모형적용연구. 외국어교육, 8(1), 이영식. (2000). 영어작문평가에대한채점자훈련의원리. 영어교육, 55(2), 정행. (2000). SOPI 를활용한영어구술능력평가개발과결과분석. 영어교육, 55(2), 주미진, 김양희. (2011). 컴퓨터매개영어말하기시험이수험자발화에미치는영향조사 : 정확성, 유창성, 복잡성을중심으로. 영어학, 11(3), 최인철. (2000). 영어의사소통능력의모의구술면접시험방식양상타당성검증. 응용언어학, 16(1), Brown, A. (1993). Test development process: Test takers reactions to a tape mediated test of proficiency in spoken Japanese. Language Testing, 10, Canale, M, & Swain, M. (1980). Theoretical basis of communicative approaches to second language teaching and testing. Applied Linguistics, 1, Center for Applied Linguistics. (2002). Computerized oral proficiency interview. 월드와이드웹 : 에서 2012 년 2 월 22 일검색했음. Center for Applied Linguistics. (2007). Testing/assessment, adult ESL assessment, BEST plus. 월드와이드웹 : 에서 2011 년 11 월 2 일검색했음. Charney, D. (1984). The validity of using holistic scoring to evaluate writing: A critical overview. Research on the Teaching of English, 18(1), Clark, J. L. D. (1988). Validation of a tape-mediated ACTFL/ILR scale-based test of Chinese speaking proficiency. Language Testing, 5, Educational Testing Service. (2005). 월드와이드웹 : 에서 2012 년 2 월 22 일검색했음. English Speaking Proficiency Testing Academy. ( ). 월드와이드웹 : 에서 2012 년 3 월 9 일검색했음.

22 268 주미진 Fulcher, G. (2003). Testing second language speaking. Malaysia: Pearson Longman. Joo, M. J. (2007). The attitudes of students and teachers toward a Computerized Oral Test (COT) and a Face-To-Face Interview (FTFI) in a Korean university setting. Journal of Language Sciences, 14(2), Kenyon, D. M, & Malabonga, V. (2001). Comparing examinee attitudes toward computerassisted and other proficiency assessments. Language Learning and Technology, 5, Linacre, J. M. (1989). Many Facet Rasch measurement. Chicago: MESA Press. McNamara, T. F. (1996). Measuring second language performance. London: Longman. O'Loughlin, K. (2001). The equivalence of direct and semi-direct speaking tests (studies in language testing 13). Cambridge: Cambridge University Press. Shohamy, E. (1994). The validity of direct versus semi direct oral tests. Language Testing, 7, Shohamy, E., Gordon, C, & Kraemer, R. (1992). The effect of ratings background and training on the reliability of direct writing tests. Modern Language Journal, 76, Stansfield, C. W. (1991). A comparative analysis of simulated and direct oral proficiency interviews. In S. Anivan (ed.), Current developments in language testing (pp ). Singapore: Regional Language Center. Stansfield, C. W., Kenyon, D. M., Paive, R., Doyle, F., Ulsh, I., & Cowles, M. (1990). The development and validation of the Portuguese speaking test. Hispania, 73, Weigle, S. C. (1994). Using FACETS to model rater training effects. Paper presented at the 16 th Annual Language Testing Research Colloquium, Washington DC, March. Weir, C. J. (1990). Communicative language testing. New York: Prentice Hall. Wolcott, W., & Legg, S. M. (1988). An overview of writing assessment: Theory, research, and practice. Urbana-Champaign, IL: National Council of Teachers of English. 부록 Rating Scale Pronunciation 6. Similar to native pronunciation, with no trace of 'foreign accent'. 5. No conspicuous mispronunciations, but would not be taken for a native speaker. 4. Occasional mispronunciations and marked 'foreign accent' which do not interfere with understanding. 3. Mispronunciation lead to occasional misunderstanding and foreign accent requires concentrated listening.

23 영어말하기평가의채점자신뢰성과편향성조사 Frequent mispronunciation and a very heavy accent make understanding difficult, requires frequent repetition. 1. Most pronunciation is unintelligible. Fluency 6 Speech is marked by a very high degree of fluency. 5 Speech is marked by a high degree of fluency with occasional hesitation. 4 Noticeable hesitation and some groping for words is present, but does not impede communication. 3 A marked degree of hesitation, grasping for words or inability to phrase utterances easily impedes communication. 2 Speech is fragmented because of hesitations, pauses or false starts. 1 Fluency is evident only in the most formulaic phrases. Grammar 6 Range and control of grammatical structures are precise and sophisticated. 5 Candidate uses a broad range of structures with only occasional minor errors. 4 Satisfactory communication is achieved despite a limited range of structures and/or obvious grammatical inaccuracies. 3 Communication is less than satisfactory because of a limited range of structures and/or the presence of frequent errors. 2 Limited communication is possible but errors are likely to be frequent and intrusive. 1 Severe limitations of grammar prevent all but the most basic communication. Vocabulary 6 Candidate uses a wide range of vocabulary precisely, appropriately and effectively. 5 Candidate uses a wide range of vocabulary effectively though occasionally may be imprecise. 4 Vocabulary is broad enough to allow the candidate to express most ideas. Can usually circumlocute to cover gaps in vocabulary, if required. 3 Vocabulary is broad enough to allow the candidate to express simple ideas. Circumlocutions are sometimes ineffective. 2 Limited vocabulary restricts expression to common words and phrases. Circumlocution is laborious and often ineffective. 1 Vocabulary is very limited. Cohesion 6 Cohesive devices are smoothly and effectively managed. 5 A good range of cohesive devices is used but occasionally these may be inappropriate. 4 Cohesive devices are limited in range and may be used inappropriately or inaccurately.

24 270 주미진 3 Very simple cohesive devices are used to link sentences but errors are frequent. 2 There is some evidence of connected discourse but the overall effect is disjointed. 1 Candidate is able to use only isolated words and formulaic phrases. Overall communicative effectiveness Scale of 1 to 6 without descriptors (6 = near native flexibility and range; 1 = limited): very good (6) good (5) - above average (4) average (3) - below average (2) poor (1) 교육단계 (applicable levels): 대학 (college) 주미진강원대학교영어과 강원도삼척시중앙로 346 Phone: (033) Cell: E mail: ing1115@hanmail.net Received in March 2014 Reviewed in April 2014 Revised version received in May 2014