한국어말하기평가에서원어민과비원어민채점자의채점경향비교김지영 이화여자대학교언어교육원 Comparison of Rating Tendencies between Native and Non-native Speakers in Korean Speaking Test Jee Young

Transcription

1 한국어말하기평가에서원어민과비원어민채점자의채점경향비교김지영 이화여자대학교언어교육원 Comparison of Rating Tendencies between Native and Non-native Speakers in Korean Speaking Test Jee Young Kim Ewha Language Center ABSTRACT The purpose of this study was to compare the rating tendencies of Korean and Chinese raters in a Korean Speaking Test. For this purpose, graduate students majoring in Korean education were trained, and an individual rating process was performed. The results of the rating were then analyzed using the multifaceted Rasch model, focusing on rating consistency, severity, and bias. The results of the analysis indicate that rating severity differed among raters even in the same group, and rating consistency was either an overfit or a misfit in the Chinese rating (CR) group. The results also showed that the CR group tended to be more tolerant of assessment evaluation items with less difficulty than the Korean rating (KR) group, and to score assessment evaluation items with higher difficulty more strictly. In the analysis of criteria, the KR group scored more strictly than the CR group on the three criteria except vocabulary and grammar, and organization. In contrast, there was a statistically significant tendency toward the opposite for organization. The two groups differed in judging the proficiency of test takers, with differences between the test takers in cases where proficiency is relatively high and when specific languages are reflected in the test taker's pronunciation or intonation, some of which were analyzed as significant bias. Finally, the use of the evaluation scale showed that the CR group had a wider distribution, but the reliability of using the zero scale was low, and the difference between the mean scores of each scale was not uniform. This group also tended toward the middle point rather than toward the peak. Keywords: Korean speaking test, Korean rater, Chinese rater, rating tendency Corresponding author: gb9802@hanmail.net Copyright c 2019 Language Education Institute, Seoul National University. This is an Open Access article under CC BY-NC License (

2 1. 서론 본연구의목적은한국어말하기평가에서한국인채점자와중국인채점자의채점경향을비교하여원어민채점자와비원어민채점자의채점특성에차이가있는지알아보고자하는데에있다. 이를위해한국어교육을전공하는대학원생을대상으로채점자훈련을실시하고중 고급수준한국어학습자의음성파일에대한개별채점을진행한다. 그리고그결과를채점엄격성과일관성, 그리고평가문항과평가구인, 평가척도에대한엄격성및편향성등을중심으로분석해보고자한다. 수행평가에서채점은평가의신뢰도와직결된다. 신뢰도는일관된평가결과가도출되어야확보될수있으므로채점자가채점기준을얼마나일정하게적용하는가의문제가영향을미칠수있기때문이다. 그리고교육현장에서학습자의수행평가는담당교사에의해이루어지는데최근국내외에서한국어교육을전공하는외국인의수는꾸준히증가하는추세이다. 이는곧자격을갖춘비원어민한국어교원이교육현장에배치되어학습자들의수행평가를담당할수있다는것을의미한다. 여기서비원어민평가자의평가결과를신뢰할수있는가하는문제가발생할수있다. 외국어수행평가에서원어민과비원어민채점자의채점결과를비교 분석한연구들은결과가동일하지는않으나두집단간에는분명한차이가보고되었다. 이는양적인분석을통해서전반적인채점엄격성에서나타나기도하였는데, 주로평가구인에대한채점에서서로다른경향을보였고 (Shi 2001; Kim 2009; Yu 2010; Lee and Chae 2012; Kang and Ahn, 2012) 평가문항에따라다르게나타나기도하였으며 (Kim 2011), 채점자에게익숙한언어를모국어로사용하는수험자에따라차이를보이기도하였다 (Carey et al. 2011; Winke et al. 2012). 아울러질적인분석을통해서는쓰기평가의경우원어민채점자는서양의작문관례에기반을두는반면, 한국인채점자의경우한국의수사학적관례를적용하여채점하고 (Lee and Chae 2012), 말하기평가에서는발화태도나몸짓에대해원어민채점자와중국인채점자가서로다른프레임을적용하는경향 (Gui 2012) 이관찰되기도하였다. 한국어교육에서채점자관련연구는한국어교원과일반인 ( 강석한, 안현기 2014), 세부전공이다른한국인대학원생 ( 이향 2013), 한국인대학원생과비원어민대학원생 (Kim 2016; 원미진, 김지영 2017) 등주로한국인을대상으로연구되어왔다. 비원어민대학원생을대상으로한연구의경우는특정언어권이아닌한국어를모국어로하지않는외국인을대상으로하여채점결과의적합성여부를확인하였다. 최근비원어민한국어교원이증가하고있고, 국외한국어교육의외연도확장되고있으므로보다경험적으로특정언어권의비원어민채점자의채점특성을파악하여신뢰할만한비원어민채점자양성에대비할필요가있다. 이에본연구에서는한국어교육을전공하는중국인대학원생을대상으로이들과한국인채점자들의채점결과에대한양적인분석을통해두집단의채점엄격성과일관성, 평가문항및평가구인에대한엄격성과편향성, 평가 180 Language Research 55-1 (2019) / 김지영

3 척도의사용양상과적합성등을비교하여집단간공통점과차이점을살펴보고자한다. 2. 선행연구 외국어말하기평가에서다국면라쉬모형을적용하여원어민과비원어민의채점경향을분석한연구를살펴보면, 신동일 (2001) 은 MATE 말하기평가에서원어민채점자 3명과한국인채점자 3명의채점적합도를분석하였는데, 두집단모두에서과적합하거나부적합한경향을보이는채점자들이도출되었다. 그리고백현영, 양병곤 (2011) 은중학교한국인영어교사 5명과원어민보조교사 3명의채점경향을비교하였다. 평가문항은서로다른유형의 8개문항으로구성하였고, 평가구인은정확성, 이해, 유창성, 발음등 4개에대하여 1~7점척도를사용하였다. 채점결과, 원어민보조교사들은모두적합한범위내의채점경향을보였으나, 한국인영어교사들중에서는부적합하거나과적합한경향이발견되었다. Kang and Ahn(2012) 에서는원어민채점자와한국인채점자각각 5명의채점경향을분석하였는데채점적합도분석에서집단별로 1명의채점자에게서부적합경향이분석되었다. 전반적인엄격성은원어민채점자들이다소높게나타났으나평가구인에대한엄격성에서는한국인채점자는문법을엄격하게채점하고원어민채점자는담화응집성을엄격하게채점하는등의차이를보였다. 평가과제에대한엄격성에서도의견제시문항에대해서한국인채점자는엄격하게, 원어민채점자는상대적으로관대하게채점한것으로나타났다. Carey et al.(2011) 과 Winke et al.(2012) 은외국어말하기평가에서채점자효과를분석하였다. Carey et al.(2011) 은발음에대한채점은평가자가비원어민영어악센트에얼마나많이노출되었는가에따라영향을받기쉽다는가설을세우고, 말하기평가에서발음요소가채점자간신뢰도에영향을줄수있는가를연구했다. 채점대상은중국어, 한국어, 인도영어를모국어로하는영어학습자의음성자료였고, 채점은 5개지역의 IELTS 채점자 99명이담당했다. 채점자들은수험자의중간언어에장시간노출되었거나, 그렇지않거나, 거의노출되지않은상태였다. 채점결과, 수험자의중간언어에장기간노출된채점자들이발음구인에서높은점수를주고, 그렇지않은다른두부류의채점자들은낮은점수를준것으로나타났다. Winke et al.(2012) 는수험자의발음과억양에대한채점자의친숙함 (accent familiarity) 이채점편향을유발하는가를조사하였다. 이연구에서는 ETS에서스페인어, 한국어, 중국어 ( 보통화 ) 각각을모국어로하는수험자 24명, 총 72명의 ibt TOEFL 음성파일을제공받았고 127명의채점자들이채점에참여했다. 결과는제2언어로스페인어, 한국어, 중국어 ( 보통화 ) 등을학습한 100 명의채점자들을중심으로분석되었는데, t-검정과편향분석결과, 제2언어로스페인어와중국어를학습한채점자들이해당언어를모국어로하는수험자에게보다관대한점수를부여한것으로나타났으며, 이는통계적으로유의했다. Language Research 55-1 (2019) / 김지영 181

4 외국어말하기평가에서다국면라쉬모형이아닌분산분석을통해집단간차이를분석한연구를살펴보면, Gui(2012) 는영어원어민채점자들과중국인채점자들이말하기대회에참여한참가자들을평가할때의차이점을비교하였다. 총점에서두집단사이에유의미한차이는없었으나, 평가구인에대한채점점수는유의미한차이를보였다. 그리고채점일관성분석결과는원어민채점자집단의신뢰도지수가높았고, 채점점수의범위도더넓은것으로나타났다. 또한두전달력에대한채점자들의코멘트와사후인터뷰에서중국인채점자들은참가자들이대체로편안한태도를보였고청중들과적절히눈을맞추며발표했다고긍정적으로응답한반면, 원어민채점자들은대부분의참가자들이긴장하는모습을보였고손이떨렸으며준비한노트를자주참고했고준비한내용을로봇처럼발화했다고부정적으로평가했음을언급하며, 이는구두수행에대한미국과중국의문화적인프레임의차이때문으로볼수있다고주장했다. Yu(2010) 는영어원어민채점자들과한국인채점자들이 ESPT 샘플 120개를정확성, 유창성, 발음, 어휘등 4개의구인과 6단계척도로채점한결과를분석했다. 각집단의크롬바흐알파계수는.94~.97 로채점일관성이높게나타났으며, 집단내채점자간일치도를확인하기위한피어슨적률상관계수평균은원어민채점자집단이비원어민채점자집단보다약간높았다. 평가구인에대한엄격성은비원어민채점자들이더엄격한경향을보였는데두집단의평균차이는숙달도가낮을수록높았으며이는통계적으로도유의했다. 한국어말하기평가에서한국인과외국인채점자의채점경향을분석한연구를살펴보면, Kim(2016) 은한국어교육전공대학원생을대상으로채점자훈련을실시하고, 원어민채점자와비원어민채점자의채점경향을훈련전과후로나누어비교했다. 총괄적채점과분석적채점을병행하였으며총괄적채점은 11점척도를사용하였고, 분석적채점의평가구인은정확성, 범위, 유창성, 내용, 조직등 5개였다. 채점자훈련을실시하기전채점결과는집단간엄격성차이가크고통계적으로도유의미했으며유창성을제외한모든구인에서원어민집단이비원어민집단보다더엄격한경향을보였다. 그러나채점자훈련후에는반대로비원어민집단의엄격성이더높게나타났으나통계적으로유의미하지않았다. 원미진, 김지영 (2017) 에서도한국어교육을전공하는대학원생을대상으로채점자훈련을실시하고수험자 30명에대한채점을진행한뒤대학원생들을한국어교육유경험자집단, 한국어교육무경험자집단, 비원어민집단으로나누어채점엄격성과적합성등을비교하였다. 채점엄격성은한국어교육유경험자집단이상대적으로더엄격한것으로분석되었으며채점일관성은모든집단에서부적합 과적합경향이나타난채점자들이발견되었다. 평가문항에대한엄격성은한국인유경험자집단과외국인집단이난이도가높아질수록엄격해지는경향을보인반면, 한국인무경험자집단은반대의경향을나타냈다. 평가구인에대한엄격성은전반적능력과조직은세집단이비슷한엄격성을보였으나어휘및문법, 발음, 내용구인에대해서는집단간차이가컸다. 그리고평가척도사용에있어서는한국어교육유경험자집단과무경험자집단은척도간의거리는일정하지않지만척도가높아질수록요구되는측정치가증가 182 Language Research 55-1 (2019) / 김지영

5 하는경향을보였으나비원어민집단은척도에따라측정치가일정하게증가하지않았고척도간의차이도다른두집단에비해조금더컸다. 이와같은선행연구를통해채점일관성이나엄격성은연구에따라일관된결과가나타나지않았으나평가문항이나평가구인, 그리고평가척도와관련해서는원어민채점자와비원어민채점자사이에유의미한차이가있다는것을알수있다. 또한수험자의모국어나중간언어에대한채점자의친숙함, 수험자의발화태도등도채점결과에영향을미칠수있다는것을보았다. 이에본연구에서는한국인채점자와중국인채점자의채점경향을비교해보고자한다. 3. 연구대상및연구방법 3.1. 연구도구 본연구는한국어말하기숙달도평가개발연구를진행하는과정에서한국어교육전공대학원생을대상으로실시한채점자훈련내용을대상으로하였다. 1) 말하기평가는준직접방식으로진행되었고평가에사용된평가문항은경험말하기, 그림묘사하기, 대안제시하기, 그래프설명하기, 의견말하기등 7개의문항이며, 문항의난이도에따라 1, 2번은초급수준, 3, 4, 7번은중급수준, 5, 6번은고급수준의문항으로구성되었다. 박동호외 (2012) 에서는한국어능력시험말하기평가문항으로따라말하기, 단순질문에답하기, 경험이나계획말하기, 그림묘사하기, 도표 / 그래프설명하기, 의견말하기, 설득 / 대안제시하기등의문항유형과각각의유형에대한변형문항을초 중 고급등등급에따라제시하였는데본연구에사용된 7개의문항은이와유사하다. 평가구인은박동호외 (2012:79-83) 에서제시한전반적능력, 어휘및문법, 발음, 내용, 조직등 5개를따랐다. 전반적능력은수험자의언어사용능력에대한전체적인인상을의미하는것으로수험자의실제발화행위를통해관찰되는전체적인말하기능력을측정하기위한구인이다. 어휘및문법은수험자가과제수행에서동원할수있는어휘와문법의범위및정확성을측정하기위한구인이며, 발음은과제수행과정에서전하고자하는바를효과적으로전달하는가를측정하기위한것이다. 그리고내용은발화내용의깊이와폭을의미하는것으로과제를올바르게수용하여과제에부합하게적절한담화를구성할수있는가를측정한다. 마지막으로조직은말의시작과전개, 마무리를명확하게할수있고, 담화내용을일관되고적절하게구성하여표현하는가를측정하기위한구인이다. 7개의평가문항에대해 5개의평가구인에따라채점이이루어졌으며이때의평가척도는모든문항에 0점에서 4점까지 5단계척도를사용하였다. 1) 본연구는제 4 차한국어능력시험말하기평가개발연구 (2017) 과정에서채점신뢰도를높이기위해대학원생을대상으로수행한채점자워크숍의결과를연구진의허락을받아사용하였다. Language Research 55-1 (2019) / 김지영 183

6 3.2. 연구대상 한국대학에서수학중인외국인유학생의국적은다양한데그중중국인유학생수는과반수이상을차지할정도로많다. 2) 한국어교육을전공하는학생들의정확한통계치를확인할수는없으나, 현재각대학에는매학기다수의중국인유학생들이한국어교육전공관련학위를취득하기위해꾸준히진학하고있으며, 이러한유학생의증가에따라일부대학에서는국어국문학이나한국어교육을전공한중국인교수를채용하여해당유학생들의한국어교육을담당하도록하고있기도하다. 뿐만아니라 2014 년을기준으로한국어교원자격증을취득한외국인중 81.3% 인 765명이중국국적자이며 ( 김가람 2016:5), 중국내에한국어학과가개설된대학은 4년제대학 123개, 2~3년제대학 144개등모두 267개로 ( 김향란 2019:40) 이미자격을갖춘중국인교원이나추후학위와자격증을취득할유학생들이본국으로돌아가각대학의교원으로채용되면한국어학습자들의성취도및숙달도평가에참여하게될가능성이높다. 이에본연구에서는비원어민채점자로중국인유학생을선정하였다. 본연구의연구대상인채점자는모두한국어교육을전공하는대학원생 10명으로한국인채점자 4명과중국인채점자 6명이다. 채점에참여한한국인채점자 4명은교육경력 2년이상의현직한국어교원으로채점에참여할당시에박사과정중이거나박사과정을수료한상태였다. 그리고중국인채점자중 3명은한국에서석사과정을졸업한후박사과정에진학하였고, 3명은석사과정에서수학중이었으며, 한국어숙달도는박사과정의경우한국어능력시험 6급, 석사과정의경우 4~5급을받은수준이었다. 3) 본연구의목적이두채점집단의채점경향을비교하는데에있으므로분석결과를기술할때한국인채점자는 KR, 중국인채점자는 CR로표기한다. 두집단의채점자정보와개별채점자기호는다음과같다. 표 1. 채점자정보한국인채점자 (KR) 중국인채점자 (CR) 채점자기호학적채점자기호학적 KR1 박사과정 CR1 박사과정 KR2 박사과정 CR2 박사과정 KR3 박사수료 CR3 박사과정 KR4 박사수료 CR4 석사과정 CR5 석사과정 CR6 석사과정 2) 통계청의유학생현황자료 ( 에따르면 2017 년을기준으로전체외국인유학생의수는 135,087 명이며, 그중중국인유학생은 66,674 명으로전체유학생의 68% 이상을차지하고있다. 3) 한국어능력시험 (TOPIK) 의등급은 1 급부터 6 급까지 6 개로나뉘어있으며 1, 2 급은초급, 3, 4 급은중급, 5, 6 급은고급수준에해당된다. 대부분의대학부설한국어교육기관에서도이와동일하게초급인 1 급부터최고급인 6 급까지의한국어교육과정이개설되어있다. 184 Language Research 55-1 (2019) / 김지영

7 10명의채점자들이점수를부여한수험자는총 18명으로남자가 3명, 여자가 15명이고, 국적은중국 9명, 일본 2명, 브라질, 영국, 대만, 홍콩, 캐나다, 말레이시아, 한국 ( 재일교포 ) 각 1명등으로다양했으나, 중국어권학습자가가장많았다. 그리고말하기평가에참여할당시수험자들은대부분대학부설한국어교육기관에서한국어를학습하고있었으며, 중급인 3급과 4급이각각 3명, 6명, 고급인 5급과 6급이각각 3명, 6명등으로초급은없고모두중급이상의학습자였다. 4) 이상의수험자정보는표 2와같다. 표 2. 수험자정보 번호 성별 한국어등급 국적 번호 성별 한국어등급 국적 1 여 5 중국 10 남 3 중국 2 여 4 중국 11 여 5 중국 3 여 6 중국 12 남 4 중국 4 남 6 중국 13 여 4 한국 5 여 6 브라질 14 여 4 일본 6 여 6 영국 15 여 6 중국 7 여 4 말레이시아 16 여 3 홍콩 8 여 4 일본 17 여 6 중국 9 여 5 대만 18 여 3 캐나다 3.3. 연구절차 말하기평가를위한채점자훈련과채점은하루동안서울소재 A 대학컴퓨터실에서진행되었다. 일정은오전과오후로나누어오전에는평가문항과평가구인, 평가척도등채점요소와기준에대해설명하고, 중 고급학습자각 2명의샘플파일을하나씩듣고채점자들이개별적으로점수를매기도록했다. 그리고전체적으로점수를맞추면서그러한점수를부여한근거와세부기준에대해함께논의하는시간을가졌다. 그리고오후에는개별적으로수험자 18명의샘플파일 126개를들으면서채점기준에맞춰채점을하도록하였다. 5) 채점분량은채점자피로도와관련되어채점신뢰도에영향을미칠수있는데 ( 김지영 2018:121), 채점자훈련전연구자가채점을해보았을때수험자 1명이 7개의문항에응답한음성파일을최소 1번이상들어야했으므로한명당최소 10분 4) 제 4 차한국어능력시험말하기평가개발연구 (2017) 에서는 3 급이상의학습자를대상으로말하기모의시험을진행했다. 5) 개별채점자들은인터넷채점사이트에접속하여수험자의음성파일을듣고점수를부여하였다. 채점사이트의음성파일은표 3 에제시된수험자정보의순서와같으나, 그순서는무작위로배열되었다. Language Research 55-1 (2019) / 김지영 185

8 의시간이소요되었다. 이에 1시간동안수험자 6명의음성파일을채점하고, 20분의쉬는시간을갖는방식으로총 4시간여동안채점을할수있도록설계하였다. 채점결과는다국면라쉬모형을적용하여개발된 FACETS 프로그램 (Version ) 을사용하였다 (Linacre 2014). 라쉬모형은문항반응이론의한모형으로평가문항에대한피험자의응답을확률함수로나타냄으로써문항난이도에따라피험자들의점수가달라지거나피험자집단에따라문항난이도가달라지는것을일반화하는방법을제시한것이다 (McNamara 1996: ). 그리고 FACETS 은피험자의언어능력, 평가문항및평가구인의난이도, 채점자의엄격성및일관성등에관한정보를추정하여제공해주는컴퓨터프로그램으로 ( 장소영, 신동일 2009: 12) 측정국면의오차, 적합도등의세부정보도상세히제시한다는장점이있다 ( 신동일, 설현수 2005: 194). 본연구를위한다국면라쉬모형의공식은그림 1과같다 (Linacre 2014:13). 이공식이제공하는값은 n이라는응시자가과제 m의평가요소 i에대해서채점자 j에게하나의등급점수 Pnmij(k-1) 에서보다높은등급점수 Pnmijk 값을얻을확률을 log( 로그 ) 의값으로변환한것이다. 즉, 실제채점과정에서받은점수인원점수가아닌보다객관적인변환점수를구하기위해측정치 (measurement scale) 값을로그지수로표기하고, 수험자 n의능력 (Bn) 에서부터과제 m의난이도 (Am) 와평가요소 i의난이도 (Di), 채점자 j의엄격성 (Cj), 그리고어떤등급점수 (k 1) 에서그다음높은점수 k로향상시키는데에걸리는어려움 (Fk) 을모두고려한값이다 ( 김지영 2018:47). 본연구에서는이프로그램을이용하여채점자집단의엄격성, 일관성, 편향성, 적합도등을분석하여그결과를비교하고자한다. log Pnmijk = Bn Am Di Cj Fk Pnmij(k 1) 그림 1. 본연구의라쉬모형공식 4. 연구결과 다음의그림 2는 FACETS 프로그램으로분석한전체국면을보여주고, 각국면에대한주요정보를요약하여제공하는단면분포도이다. 여기서첫번째칸 (measure) 은 logit 측정치로본연구의결과는 +4~ 2 logit 사이에분포하고있다. 두번째와세번째칸은수험자에대한분석결과로 18명의수험자들은 0~4 logit 사이에위치해있음을볼수있다. 18명의수험자중 11번이숙달도가가장높고, 18번이가장낮은수험자로나타났으며, 1~2 logit 사이에가장많은수험자가분포해있다. 네번째칸은채점자에대한분석결과로채점자들은 0을중심으로 1~1 logit 사이에분포해있으며, [KP4] 186 Language Research 55-1 (2019) / 김지영

9 가가장엄격하고 [KP2] 가가장관대한채점자로분석되었다. 그리고다섯번째칸은평가문항에대한분석결과로문항의난이도는 2~2 logit 사이에분포하고있으며, 1번이가장쉽고, 5번과 6번이가장어려운문항이었음을보여주고있다. 여섯번째칸은평가구인에대한분석결과로채점자와유사하게 0 logit을중심으로분포해있으며, 내용 (C) 이가장어렵고, 발음 (P) 과어휘 (V) 가비교적가장쉬운구인으로나타났다. 마지막의 Scale 칸은본연구에서사용한평가척도 0~4점의사용을보여주고있는데, 주로 2점과 3점이사용되었음을알수있다. 이상의내용들은각평가요소분석결과를보면서구체적으로살펴보도록하겠다. 그림 2. FACETS 단면분포도 4.1. 채점자별채점엄격성과일관성 응시자 18명에대한채점자료를다국면라쉬모형을이용하여분석한결과, 채점자 10명의채점엄격성은.52~.39 logit으로가장관대한채점자인 [KR2] 와가장엄격한채점자인 [KR4] 간에는.91 logit 차이가났다. 그리고채점자들의분리지수 (separation index) 는 4.36으로이는 10명의채점자들이통계적으로다른약 4개의엄격성으로분리될수있음을의미한다 (Winke et al. 2012:241) 이와같은분포는 χ 2 =195.3(p<.01), 분리신뢰도.00으로채점자간엄격성차이는통계적으로유의했다. 채점자간일치도는 [( 실제일치도 기대일치도 )/(100 기대일치도 )] 로계산했을때그값이 0.08로 6) 0에가 Language Research 55-1 (2019) / 김지영 187

10 까워모형이예측한값에부합하는것으로나타났다. 전체채점자들중채점을가장엄격하게한채점자는 [KR4] 였고, 가장관대하게채점한채점자는 [KR2] 로모두한국인채점자들이었다. 그러나채점자집단의평균측정치는 KR 집단의경우.08, CR 집단은.05로차이가크지않으나, 중국인채점자들이조금더엄격하게채점한결과를보였다. 이는 Yu(2010) 와는동일하나 Kang and Ahn(2012), Kim(2016) 과는다른결과이다. 표 3. 채점자별채점엄격성및적합도 채점자 측정치 (logit) 오차 내적합평균제곱 내적합표준화값 KR KR KR KR CR CR CR CR CR CR 채점자내일관성판정은내적합평균제곱값이 0.5~1.5 나 0.75~1.3 이내에있는경우에적합한것으로본다 ( 장소영, 신동일, 2009:81). 그리고여러연구들에서는내적합평균제곱값에내적합표준화값을함께적용하여적합성여부를판정하고있는데 ( 신동일 2001; 박종임 2013; 이영식 2014; 원미진, 김지영 2017 등 ), 본연구에서도내적합평균제곱값 0.5~1.5 와내적합표준화값 2~+2 의범위를함께적용하여적합성여부를검토해보고자한다. 채점자국면에대한분석결과를보여주는표 3을보면채점자들의내적합평균제곱값은.81~1.12 loigt 사이에분포하고있어모든채점자들의채점결과가적합한범위내에있었다. 그러나내적합표준화값을함께살펴보면, KR 집단은.1~1.4 logit 사이로모두적합한범위내에분포하여채점자들이본인의엄격성을그대로유지하여채점하고있었다. 이와달리 CR 집단의경우 [CR1], [CR2] 는내적합표준화값이각각 1.2, 6) 분석결과, 실제일치도는 47.8% 였고, 기대일치도는 43.2% 였으므로이를공식에대입하여계산하면 [( )/ ]]=0.08 이된다. 188 Language Research 55-1 (2019) / 김지영

11 1,2 logit으로적합한범위내에있었으나 [CR3], [CR4], [CR6] 은각각 3.5, 2.3, 2.0 logit으로점수부여에변별력이부족한과적합경향을보였고, [CR5] 은 2.1 logit 으로채점기준이일관되게적용되지않은부적합경향을보여일부중국인채점자의채점일관성에다소문제가있음을알수있었다 KR 집단과 CR 집단의채점경향비교 평가문항의측정치와채점편향성 본연구에사용된일곱개의평가문항은 1, 2번은초급수준, 3, 4, 7번은중급수준, 그리고 5, 6번은고급수준의과제로구성되었고, 4번과 7번은문항유형은동일하나다른주제로제시되었다. 집단별로평가문항의난이도에따른측정치를살펴보면, 1번부터 7번까지의문항에대해 KR 집단은 1.16~1.18 logit, CR 집단은 1.37~1.25 logit으로 CR 집단의측정치범위가.28 logit 더넓게나타났다. 또한평가문항의분리지수 (separation index) 는 KR 집단은 9.46, CR 집단은 13.47이고분리신뢰도는모두.00이었으며이와같은분포는 KR 집단의 χ 2 =640.3, CR 집단의 χ 2 =1251.5(p<.01) 로통계적으로유의미했다. 이를통해 KR 집단은평가문항이통계적으로약 9개의난이도로분리되고 CR 집단은약 13개로분리될수있음을알수있다. 각평가문항에대한집단간측정치를살펴보면, 4번은모두.18 logit으로동일했고, 5번과 6번은각각.95,.93 logit, 1.18, 1.25 logit 으로.02,.07 logit 차이가나유사한경향을보였다. 그러나 1번과 3번은각각 1.16, 1.37 logit,.46,.73 logit으로.21,.27 logit 차이를보였고, 7번은.20,.74 logit으로가장많은.54 logit의차이를보였다. 두집단간측정치에차이가있는문항이비교적난이도가낮은문항인것으로미루어난이도가높은문항보다는비교적쉬운문항에대해집단간차이가있을수있음을알수있다. 그리고문항별난이도에따른측정치순서를살펴보면, KR 집단의경우 1 < 2 < 3 < 4 < 7 < 5 < 6의순으로문항의출제난이도와동일한배열순서를보였다. 이와달리 CR 집단은 3번이 2번보다난이도가낮게책정되어 1 < 3 < 2 < 4 < 7 < 5 < 6의배열순서를보였다. 그리고 4, 5번문항을제외하고난이도가낮은문항은 KR 집단에비해측정치가더낮고난이도가높은문항은측정치가더높은경향을보였다. 그리고문항별적합도를살펴보면, 내적합평균제곱값의경우두집단모두.5~1.5 logit 사이에분포하여해당난이도로일관되게평가된것으로보이나내적합표준화값을기준으로판단하면 KR 집단은 5번문항은과적합, 7번문항은부적합경향이있고, CR 집단은 4, 5번문항은과적합, 7번문항은부적합경향이있는것으로분석되었다. 채점자집단과평가문항간의상호작용분석에서통계적으로유의미한편향성을보인것은 7번이었다. 앞서두문항은측정치에서도다른문항에비해차이가컸는데 KR Language Research 55-1 (2019) / 김지영 189

12 그림 3. 채점자집단간평가문항의측정치 (logit) 비교 표 4. 채점자집단간평가문항의측정치및적합도비교 문항 측정치 (logit) 오차내적합평균제곱내적합표준화값 KR CR KR CR KR CR KR CR 집단은모형이기대한것보다점수가높았고, CR 집단은점수가낮았다. 7) 편향크기는 KR 집단이.29, CR 집단이.19 logit 이었으며모두 p<.01 수준에서유의했다. 4번과 7번문항은문항유형이동일했는데, 4번은집단간측정치에차이가없고 7번은통계적으로유의미한차이가있는것으로미루어문항유형으로인한차이보다는친숙하지않은주제에대한수험자발화를판정하는과정에서집단간차이가발생한것으로보인다. 그림 4는각평가문항에대한두집단의 t 값을그래프로제시한것으로이그림에서볼수있는바와같이 6번과 7번을제외하고 KR 집단은모형이예측한점수보다낮은점수를, CR 집단은높은점수를부여한것으로나타났으나통계적으로유의미하지는않았다. 7) 표 6 에서볼수있듯이편향분석에서는관찰치가기대치보다높으면편향크기와 t 값은양수로표기되고, 그반대의경우는음수로표기된다. 이를바탕으로 t 값이양수가되면모형이예상한것보다높은점수가부여된것으로, 양수가되면반대로평가된것으로해석할수있다. 190 Language Research 55-1 (2019) / 김지영

13 표 5. 채점자집단과평가문항과의상호작용분석결과 채점자 평가문항 관찰치 기대치 편향크기 t p KR 7 1,052 1, CR 7 1,418 1, 그림 4. 채점자집단간평가문항의편향성 (t 값 ) 비교 평가구인의측정치와채점편향성 본연구에사용된평가구인은전반적능력, 어휘및문법, 발음, 내용, 조직등다섯개였으며평가문항과달리구인에따라엄격성을달리하거나가중치를두지않았다. 채점자집단별로평가구인에대한측정치를살펴보면, 5개의구인에대해 KR 집단은.31~.43 logit, CR 집단은.28~.27 logit 의범위에서채점을수행하여평가문항과달리 KR 집단의측정치범위가넓게나타났다. 그리고평가구인의분리지수 (separation index) 는 KR 집단은 3.77( 분리신뢰도.93), CR 집단은 3.82( 분리신뢰도.00) 였으며, 이와같은분포는 KR 집단의 χ 2 =77.7, CR 집단의 χ 2 =77.8(p<.01) 로통계적으로유의미했다. 평가문항과달리평가구인에대한두집단의분리지수는큰차이가없어 5개의평가구인은두집단모두약 4개로분리될수있음을알수있다. 그리고구인별측정치를살펴보면, KR 집단은발음, 어휘및문법, 조직구인은상대적으로높은점수가부여되고, 전반적능력과내용구인에대해서는낮은점수가부여된것으로나타났다. CR 집단은어휘및문법과발음구인에대해서높은점수가, 전반적능력과조직, 내용구인에대해서는비교적낮은점수가부여되어 KR 집단과차이를보였다. 그러나각구인에대한측정치차이는발음.04, 내용.05, 어휘및문법.11, 전반적능력.11 logit 등으로.29 logit 의차이를보인조직을제외하고 4개구인에대한 Language Research 55-1 (2019) / 김지영 191

14 측정치차이는크지않았다. 그리고구인별적합도를살펴보면, 내적합평균제곱값의경우두집단모두.5~1.5 logit 사이에분포하여해당측정치로일관되게평가된것으로보이나내적합표준화값을기준으로판단하면 KR 집단은발음과전반적능력에대해서는과적합, 내용과조직구인에대해서는부적합경향이있고 CR 집단은발음과전반적능력에대해서는과적합, 내용은부적합경향이있는것으로나타났다. 조직구인을제외하면두집단모두발음과전반적능력에대해서는과적합, 내용구인에대해서는부적합한채점경향을보였다. 평가구인과의상호작용분석에서통계적으로유의미한편향을보인것은집단간측정치차이가큰조직이었다. 조직구인에대해서 KR 집단은모형이예측한것보다높은점수가, CR 집단은낮은점수가부여된것으로분석되었다. 편향크기는 KR 집단이.21, CR 집단이.13 logit 이었으며모두 p<.05 수준에서유의했다. 다른 4개의구인은통계적으로유의미하지않았으나어휘및문법을제외하고다른세개의구인에대해서 KR 집단은모형이기대한것보다다소낮은점수가, CR 집단은이와달리높은점수가매겨진것으로나타났다. 평가구인에대한측정치에서 CR 집단은내용과조직구인에 표 6. 채점자집단간평가구인의측정치및적합도비교 평가구인 측정치 (logit) 오차내적합평균제곱내적합표준화값 KR CR KR CR KR CR KR CR 어휘및문법 발음 내용 조직 전반적능력 그림 5. 채점자집단간평가구인의측정치 (logit) 비교 192 Language Research 55-1 (2019) / 김지영

15 낮은점수를주고어휘및문법과발음에는다소높은점수를주고있었다. 이와같은결과로볼때 CR 집단의경우수험자발화의내용적인측면과형식적인측면을나누어내용적인측면에대해서는상대적으로엄격한채점기준을적용하고형식적인측면에대해서는관대한기준으로점수를부여한것으로보인다. 표 7. 채점자집단과평가구인과의상호작용분석결과 채점자 평가구인 관찰값 기대값 편향크기 t p KR 조직 1,538 1, CR 조직 2,149 2, 그림 6. 채점자집단간평가구인의편향성 (t 값 ) 비교 수험자의측정치와채점편향성 본연구에사용된 126개의음성파일은모두한국어학습자 18명이 7개의문항에응답한것으로앞서수험자정보에서제시한바와같이한국어학습자의국적은중국 9명, 일본 2명, 브라질, 영국, 대만, 홍콩, 캐나다, 말레이시아, 한국 ( 재일교포 ) 각 1명등이었고말하기평가에참여할당시의한국어능력은한국어교육기관등급을기준으로 3급 3명, 4급 6명, 5급 3명, 6급 6명등이었다. 채점자집단별로수험자에대한측정치를살펴보면, KR 집단은.67~.4.35 logit, CR 집단은.54~3.76 logit의범위에분포하여 KR 집단의측정치범위가넓게나타났다. 구체적으로는 KR 집단은수험자의숙달도가높은수험자에대한측정치가 CR 집단에비해높은반면 CR 집단은숙달도가낮은수험자에대한측정치가 KR 집단에비해낮았다. 수험자별측정치차이는.01~.90 logit 으로 1, 2, 5, 14, 17번과같이두집단이거의동일한점수를부여한수험자가있는가하면 10~13 번, 그리고 15번과같이두집단에서매우다른점수를준수험자도있었다. Language Research 55-1 (2019) / 김지영 193

16 이와같은수험자에대한분리지수 (separation index) 는 KR 집단이 8.24( 분리신뢰도.99), CR 집단이 8.27( 분리신뢰도.99) 이었으며이와같은분포는 KR 집단의 χ 2 =1039.8, CR 집단의 χ 2 =1171.5(p<.01) 로통계적으로유의미했다. 즉, 두집단의분리지수는큰차이가없으며 18명의수험자는두집단모두에서약 8개의등급으로분리될수있음을알수있다. 그리고수험자별적합도를살펴보면, 내적합평균제곱값의경우 KR 집단은모두.5~1.5 logit 사이에분포하여해당측정치로일관되게채점되었으나 CR 집단은 17번응시자의내적합평균제곱값이 1.77 logit으로채점자들이부여한점수에차이가있는것으로나타났다. 그리고내적합표준화값을기준으로판단하면 KR 집단의경우, 4번, 6번, 17번등한국어능력등급이높은수험자에게는부적합경향이있고 16번, 18번과같은한국어능력등급이낮은수험자에게는과적합경향이나타났다. CR 집단도이와비슷하게 7번, 14번, 16번, 18번수험자와같이한국어능력등급이중급수준인수험자들에게는과적합경향이, 1번, 15번, 17번과같이고급수준의수험자에게는부적합경향이분석되었다. 이는두집단의채점자들이숙달도가낮은수험자에대해서는비슷하게낮은점수를부여한반면숙달도가높은수험자에대해서는채점자에따라상이한점수를주었음을의미한다. 그러나 KR 집단의경우수험자의급수가 3급과 6급으로숙달도수준이상대적으로아주낮거나높은수험자에국한되어있는데반해 CR 집단의경우는 3~6급수준의수험자가모두포함되어있어수험자의한국어능력을판별하는데에차이를보였다. 채점자집단과수험자간의상호작용분석에서통계적으로유의미한편향을보인사례는모두 11건이었는데그중 5건은두집단에서공통적으로나타났으며앞서살펴본수험자측정치분석에서집단간차이가큰수험자들이었다. 수험자의한국어능력등급별로는 3~6급이고루나타났고언어권별로는중국이 4명, 한국 ( 재일교포 ) 가 1명이 그림 7. 채점자집단간평가구인의편향성값측정치 (logit) 비교 194 Language Research 55-1 (2019) / 김지영

17 표 8. 채점자집단간수험자의측정치및적합도비교 수험자 측정치 (logit) 오차 내적합평균제곱 내적합표준화값 번호 ( 급 ) 국적 KR CR KR CR KR CR KR CR 1(5) 중국 (4) 중국 (6) 중국 (6) 중국 (6) 브라질 (6) 영국 (4) 말레이시아 (4) 일본 (5) 대만 (3) 중국 (5) 중국 (4) 중국 (4) 한국 (4) 일본 (6) 중국 (3) 홍콩 (6) 중국 (3) 캐나다 었다. 5건의사례중 CR 집단에서모형이기대한점수보다높은점수를받은수험자는 10번과 12번이었고 11, 13, 15번수험자는모형이예측한점수보다낮은점수를받았다. 이를수험자의한국어교육기관등급을기준으로살펴보면 CR 집단은 13번수험자를제외하고등급이낮은 10번, 12번수험자에게후한점수를준반면급수가높은 11번, 15번수험자에게는박한점수를준것으로해석된다. 그리고수험자의언어적배경을기준으로살펴보면 CR 집단은중국인의발음과억양이강한 10번, 12번수험자에게는높은점수를, 재일교포인 13번, 조선족인 15번수험자에게는낮은점수를부여한것으로보인다. 이와같은경향은 KR 집단에서는상반되게나타났다. 통계적으로유의미한편향으로분석된사례가많지않아이와같은해석을일반화할수는없으나수험자의발음이나억양이채점자에게익숙할때보다높은점수를받을수있다는연구결과를보고한 Carey et al.(2011), Winke et al.(2012) 과같이한국어교육에서도동일한언어권의수험 Language Research 55-1 (2019) / 김지영 195

18 자를평가할때비원어민채점자의모국어배경이나원어민채점자가학습한제 2, 제 3 언 어가채점에어떠한영향을미치는가에대한후속연구가필요할것으로생각된다. 표 9. 채점자집단과응시자와의상호작용분석결과 응시자채점자관찰값기대값편향크기 t p 6 KR KR CR KR CR KR CR KR CR KR CR 평가척도활용양상 본연구에서는 0점부터 4점까지 5단계척도를사용했다. 집단별로평가척도사용횟수를살펴보면, KR 집단은 0점 7회, 1점 149회, 2점 544회, 3점 995회, 4점 825회등으로 3점을가장많이사용했고다음으로 4점, 2점, 1점, 0점의순으로점수를부여했다. CR 집단도 0점 6회, 1점 188회, 2점 906회, 3점 1,616 회, 4점 1,062 회등으로 KR 집단과동일하게 3점, 4점, 2점, 1점, 0점의순으로점수를부여했다. 그러나사용비율을살펴보면, 두집단모두가장많이사용한 3점은각각 39%, 42% 으로유사한반면 2점과 4점에대해서는 KR 집단이각각 22% 와 33% 를사용하고 CR 집단이 25%, 28% 를사용하여 2점은 CR 집단이, 4점은 KR 집단이더많이사용한것으로나타났다. 그리고평가척도의중간점수인 2점과 3점의비율을계산했을때는 KR 집단이 61% 를, CR 집단이 67% 를사용하고있어 CR 집단이극단의점수를피하고중간점수를더많이부여했음을알수있다. 그리고평가척도별평균측정치를살펴보면, KR 집단은척도에대한평균측정치가점수가높아질수록일관되게조금씩증가하는경향을보인다. 즉, 0점에서 1점이되는데에는.68 logit이필요하고 1점에서 2점이되는데에는.73 logit, 2점에서 3점이되는데에는 1.02 logit, 3점에서 4점이되는데에는 1.16 logit 등이필요하여비율이균일하 196 Language Research 55-1 (2019) / 김지영

19 표 10. 채점자집단간평가척도적합도비교 채점자 평가척도 사용횟수 사용비율 (%) 평균측정치 기대측정치 외적합평균제곱 임계값 KR * CR , , 지는않으나척도가높아질수록조금씩더높은측정치를필요로했다. 그러나 CR 집단은척도간차이가들쑥날쑥하여 0점에서 1점이될때에는 1.02 logit만큼떨어지고 1점에서 2점이되는데에는.75 logit, 2점에서 3점이되는데에는 1.24 logit, 3점에서 4점이되는데에는.86 logit 등이필요하여척도가높아질때에필요한측정치가일관된경향을보이지않았다. 특히 0점에대한평균측정치는 1.32 logit으로 2점 (1.05) 보다더높게나타났다. 평가척도사용의적합성을확인할수있는외적합평균제곱값은 1.0을기준으로신뢰성정도를판단한다 ( 장소영, 신동일, 2009:84). KR 집단의경우각척도가.8~1.1 사이에분포하여척도사용이신뢰할만한것으로해석할수있다. CR 집단은 1~4점은.9~1.1에분포하여척도사용이적절하였으나 0점은 1.9로평균측정치가높았던만큼신뢰도는낮은것으로분석되었다. 그리고각평가척도가서로교차하는지점을수치로나타낸임계값은 KR 집단은 2.82~2.79logit, CR 집단은 3.37~3.13 logit으로 CR 집단의범위가더넓었다. 5. 결론 본연구는한국어교육을전공하는대학원생을대상으로채점자훈련을실시하고한 국인채점자들과중국인채점자들의채점결과를분석하여집단간채점경향의차이를 비교하기위해수행되었다. 개별채점자의채점엄격성과일관성분석결과, 가장엄격 Language Research 55-1 (2019) / 김지영 197

20 하거나관대하게채점한채점자는한국인채점자들이었으나집단의채점엄격성평균치는중국인채점자집단이조금더높았다. 채점자내일관성은내적합평균제곱값만을기준으로했을때모든채점자들이일관되게채점기준을적용하는경향을보였으나내적합표준화값을함께적용했을때는 CR 집단중에부적합하거나과적합한경향의채점자들이있었다. 구체적으로는채점에참여한박사과정생중 2명은일관되게채점하는것으로나타났으나 1명은과적합한경향을보였고석사과정생 3명중 2명은과적합, 1명은부적합한경향이있는것으로분석되었다. 여기서과적합한결과는비슷한점수를많이부여했다는것을, 부적합한경향은점수를부여하는기준이일정하지않았음을의미하므로중국인채점자들중일부에서일관된채점기준적용에문제가있었음을알수있다. 두집단의채점경향을분석한결과에서평가문항에대한측정치는 3번과 7번문항을제외하면두집단이유사했으나분리지수는 CR 집단이높았다. 그리고측정치차이가컸던 7번문항은통계적으로유의미한편향이분석되었는데 7번은 4번과동일한유형의문항으로난이도가중급수준으로출제되었으나 CR 집단에서는고급수준의문항인 5번과 4번이비슷한난이도로측정되었다. 그리고평가구인에대한분석결과에서두집단의분리지수는비슷했으나조직과어휘및문법구인은 KR 집단에서 CR 집단보다난이도가높게나타났고, 다른 3개의구인은상대적으로난이도가낮은것으로분석되었으며조직에대해서는통계적으로도유의미한편향이분석되었다. 특히 CR 집단은발화의형식적요소인어휘및문법, 발음구인의난이도는대체로낮게, 발화의내용적요소인내용과조직구인의난이도는높게분석되어채점에이분법적인경향을보였다. 수험자에대한분석결과에서분리지수는집단간차이가적었다. 적합도는 KR 집단의경우일부숙달도가상대적으로낮거나높은경우에과적합, 부적합경향이분석되었으나 CR 집단의경우는 3, 4급에해당되는일부수험자에게서과적합경향이, 5, 6급에해당되는일부수험자에게서는부적합경향이나타나중급과고급수준에대한판별은 KR 집단과유사하나세부등급에대한판별에는차이를보였다. 그리고통계적으로유의미한편향이분석된수험자중일부의경우 CR 집단은중국인의발음과억양이강한수험자에게는높은점수를, 재일교포나조선족인수험자에게는낮은점수를부여하였는데이와같은경향은 KR 집단에서는상반되게나타났다. 마지막으로평가척도활용양상에서 CR 집단은 0점척도사용의신뢰도가낮게나타났고각척도의평균측정치차이가균일하지않았으며 KR 집단에비해최고점보다는중간점수사용을선호하는경향을보였다. 이상의결과를통해 KR 집단과 CR 집단은평가문항과평가구인에대한결과분석에서일부를제외하고유사한측정치를보였다는점에서집단간채점경향의유사성을찾을수있었다. 유의미한편향이분석된일부문항과구인을통해서는선행연구결과와동일하게두집단이서로다른기준을적용하여채점하는부분이있음을알수있었으나연구마다평가에사용하는평가문항이나구인이달라공통된특정문항유형이나구인 198 Language Research 55-1 (2019) / 김지영

21 을도출할수는없었다. 채점경향의차이점과관련하여두집단은수험자의숙달도판정에서차이를보였는데수험자숙달도가상대적으로높은경우와수험자의발음이나억양에특정언어가반영되어있을때집단간차이가컸으며일부는유의미한편향으로분석되었다. 아울러 CR 집단의경우채점일관성이부족한일부채점자들이있었고평가척도활용에있어서도 2점이나 3점과같은중간점수사용에대한비율이높았으며 0점에대한신뢰도수치가낮게나타나채점일관성과평가척도적용에대한훈련이더필요할것으로보인다. 이는 CR 집단의경우모두대학원생으로아직현장에서의교육경험이나평가경험이부족한데에서하나의원인을찾을수있을것이다. 본연구는앞으로한국어교육현장에서활동하게될한국어교육전공대학원생중한국인과특정국적의외국인을대상으로채점자훈련을실시하고그결과를분석하여두집단의채점경향을비교하였다는점에서연구의의의를갖는다. 그러나그결과를일반화하기에는각집단의채점자수가적고양적인방법만을사용하여그러한경향의원인을밝히지못했다는점에서한계가있다. 또한본연구에서는한국인대학원생의경우한국어교육기관에종사하는한국어교원을대상으로하였으나중국인대학원생의경우는정식한국어교육경험이없었으므로향후현직에종사하는비원어민채점자를대상으로연구를수행한다면보다의미있는결과를얻을수있을것으로생각된다. 최근한국어교육을전공하는외국인유학생이점차증가하고있고원어민채점자와비원어민채점자간에채점경향의차이가있다는연구결과가꾸준히보고되고있는만큼여러국적의한국어교육전공자나비원어민한국어교원을대상으로한후속연구가이루어진다면원어민과비원어민채점자의채점특성을파악할수있어신뢰도높은채점자를양성하는데에유익한자료가될것이다. References 강석한, 안현기. (2014). 외국인한국어말하기시험의평가자요소가채점에미치는영향, 이중언어학 55, 김가람. (2016). 중국인한국어교원에대한이론적고찰, 한국어교육 27(1), 김지영. (2018). 한국어말하기평가채점자의채점경향연구, 박사학위논문, 연세대학교, 서울. 김향란. (2019). 중국내대학한국어학전공자를위한기본교재개발연구, 박사학위논문, 상명대학교, 서울. 박동호, 김유미, 김현정, 신동일, 우창현, 이영식, 조수진, 지현숙. (2012). 한국어능력시험의 CBT/IBT 기반말하기평가를위한문항유형개발, 국립국제교육원. 박종임. (2013). 국어교사의쓰기평가특성연구. 박사학위논문, 한국교원대학교, 충북. 백현영, 양병곤. (2011). 중학교영어교사의말하기평가채점경향분석, 언어과학 18(4), 신동일. (2001). 채점경향분석을위한 Rasch 측정모형적용연구, Foreign Language Language Research 55-1 (2019) / 김지영 199

22 Education 8(1), 신동일, 설현수. (2005). NEW FACETS 을활용한채점자료분석방법, Foreign Languages Education 12(2), 원미진, 강현화, 김미옥, 김성숙, 김현정. (2017). 제4차한국어능력시험말하기평가개발연구, 국립국제교육원. 원미진, 김지영. (2017). 한국어말하기평가개발을위한채점경향분석연구, 외국어로서의한국어교육, 47, 이영식. (2014). 다국면 Rasch 측정의 Facets 프로그램을활용한영어작문평가의원어민채점검증, 영어어문교육, 20(1), 이향. (2013). 한국어말하기평가의발음영역채점에서의채점자특성에따른채점경향연구 : 한국어교육경험과전공을중심으로, 외국어로서의한국어교육 39, 장소영, 신동일. (2009). 언어교육평가연구를위한 FACETS 프로그램 : 기초과정편, 서울 : 글로벌콘텐츠. Carey, M. D., Mannell, R. H. and Dunn, P. K. (2011). Does a rater s familiarity with a candidate s pronunciation affect the rating in oral proficiency interview?. Language Testing 28(2), John M. Linacre. (2014). A User s Guide to FACETS Rasch-Model Computer program. Winsteps. Kang, Seokhan and Hyunkee Ahn. (2012). A comparative study on criteria and tasks in Korean English Speaking Assessment by Native and Non-native raters. Language Research 48(2), Kim, Y. -H. (2009). An investigation into native and non-native teachers judgments of oral English performance: A mixed methods approach. Language Testing 26(2), Kim, Hyunah. (2016). Comparing native and non-native rater assessments of Korean Oral Proficiency: A FACETS analysis. Korean Language Education Research 51(5), Kim, Hyun Jung. (2011). Investigating rater behavior across diverse English speaking tasks. Foreign Language Education 18(2), Lee, Seongyong and Chae, Hohsung. (2012). Rating of Korean students L2 writing: similarities and differences between native and non-native raters. The Journal of Curriculum and Instruction Studies 16(3), McNamara, T. F. (1996). Measuring Second Language Performance. Pearson Education Ltd.( 채선희외옮김 (2003), 문항반응이론의이론과실제 : 외국어수행평가를중심으로, 경기 : 서현사.) Gui, Min. (2012). Exploring differences between Chinese and American E.F.L teachers' evaluation of speech performance. Language Assessment Quarterly 9(2), Winke, P., S. Gass and Myford, C. (2013). Raters L2 background as a potential source of bias in rating oral performance. Language Testing 30(2), Yu, Kyung-Ah. (2010). The effect of raters' language background on English-speaking test ratings across test-takers' oral proficiency levels. Applied Linguistics 26(4), Shi, Ling. (2001). Native-and nonnative-speaking EFL teachers evaluation of Chinese students English writing. Language Testing 18(3), Language Research 55-1 (2019) / 김지영

23 김지영이화여대언어교육원한국어교육부한국어강사 서울시서대문구이화여대길 52 전자우편 : gb9802@hanmail.net 접수일자 : 수정본접수 : 게재결정 : Language Research 55-1 (2019) / 김지영 201