한국어학습자의작문에나타난정형화된언어사용이작문평가결과에미치는영향 신경선 ( 서울대학교 ) Shin, Kyungsun (2012). Formulaic language in KFL writing and Rater s perception of writing proficiency. Language Research 48.1, 77-96 It is well known that mastering of formulaic language can help foreign language learners to gain native-like competence. Empirical research, however, remains sparse in teaching Korean as a foreign language. This study aims to underline the need of research on Korean formulaic language and to recognize its crucial role in improving fluency and accuracy in KFL writing. And this study investigates the relationship between the writers use of formulaic language and the raters perception of writing proficiency. 30 compositions by KFL learners were analyzed by 2 judges in terms of their use of formulaic language, and assessed by 2 skilled raters and 2 unskilled raters. The results of the study indicate that the raters assigned higher scores to those compositions that had been written with a higher number of formulaic language. It implicates that appropriate and ample use of formulaic language would lead to improving their KFL writing proficiency. This empirical evidence should be a trigger for the further explorations of Korean formulaic language. Keywords: formulaic language, teaching Korean as a foreign language, KFL writing, rater s perception of writing proficiency 1. 서론 목표언어 (target language) 를모어화자처럼유창하고자연스럽게구사하는것이외국어학습의최종목표라할때, 외국어학습자들이이러한목표에도달할수있도록하기위해일찍이학자들은모어화자의발화에주목하였다. Pawley 와 Syder (1983) 에의하면모어화자들의뇌에는어휘꾸러미 (lexical bundles) 가저장되어있어저장된꾸러미가많을수록더욱자신의의견을유창하게표현할수있다. 모어화자들에의해관습적으로함께쓰이는어휘소와문법형태소의꾸러미를정형화된언어 (formulaic language) 1) 라하는데, 모어화자들의두뇌에 1) 모어화자들에의해관습적으로함께쓰이는어휘소와문법형태소의꾸러미를가리키는용어는
78 신경선 존재하는심성어휘집 (mental lexicon) 에는유창하고정확한언어구사를가능 하게하는정형화된언어가준비되어있고, 정형화된언어를많이보유한사람일수록발화시인지적부담을덜게되어발화처리의과정과시간이단축되므로더욱유창하게발화할수있게된다. 다시말하면, 정형화된언어는화자가단어선택과문법적분석의과정을거치지않고하나의단위 (unit) 로인식하여사용하는표현 2) 이므로외국어학습자들이개별어휘와문법에주의를기울여하나의문장을구성하고생산해내는과정을통해발화하는대신자신의심성어휘집에이미만들어져있는정형화된언어를사용하여발화하게된다면발화반응속도와발화속도가빨라지며따라서모어화자처럼자연스럽고유창한발화가가능하게된다는것이다. 정형화된언어의교수가말하기유창성을향상시킨다는것은이미유아로부터성인에이르기까지국내외에서다양한모어화자를대상으로진행된연구로증명되었다. 또한이러한효과는비단말하기에만국한된것은아니며또다른표현영역인쓰기유창성도향상시킬것으로기대된다. 즉풍부하고적절한정형화된언어의사용은외국어학습자작문의질적인향상을이끌것이며독자혹은평가자는이러한글을높이평가할것이라는기대는매우낙관적이다. 더욱이한국어정형화된언어의사용역 (register) 별분포를조사한결과, 영어와는달리구어보다는문어에서더많이쓰이는것으로나타났다 ( 최준외 2010: 178). 3) 그럼에도불구하고지금까지정형화된언어관련연구는유창성, 발화속도와발음의정확성향상등말하기와의관계에만편중되어온경향이짙다. 따라서본연구는한국어학습자의작문에나타난정형화된언어의사용양상이평가자의평가결과에어떠한영향을미치는가를살펴정형화된언어의사용과쓰기유창성및정확성의관계를밝힘으로써쓰기교육, 나아가한국어교육에있어정형화된언어교육의중 연구자의관점과연구분야에따라매우다양한용어로논의되어왔다. Wray (2002) 는 56 개이상의용어가사용되었다고했는데영어교육학분야에서사용된대표적인용어는 다중어휘단위 (multi-word units), 어휘꾸러미 (lexical bundles), 정형화된언어 / 표현 / 연결어구 (formulaic language/expressions/sequences), 기제조된표현 / 연결어구 (prefabricated expressions/ sequences), 굳은표현 (routines) 등이있다 ( 이은주 2009, 최준, 송현주, 남길임 2010, Schmitt 2010). 2) Jiang 과 Nekrasova (2007) 는정형화된언어가기제조된하나의언어단위로화자의심성어휘집에저장되어있다는것을영어모어화자와비모어화자의정형화된언어의처리과정실험연구를통해증명하였다. 실험참여자에게정형화된언어, 문법적으로는맞지만정형화된언어가아닌표현, 그리고비문법적인유사정형화된언어를온라인어구판단과제 (online phrase judgment task) 로부과하여문법적으로옳고그름의여부를판단하는데걸리는시간을측정하였다. 그결과모어화자와비모어화자모두정형화된언어를처리할때의반응속도가더빨랐고정답률도높은것으로나타났다. 이러한결과는정형화된언어가통사적분석과정이없이처리되므로처리속도가빠르고오류도적게나타나는것이라고했다. 3) 최준외 (2010) 에의하면한국어에서는 5-gram 의정형화된언어가학술문어 > 학술구어 > 자유대화의순서로분포하는것으로밝혀졌다.
한국어학습자의작문에나타난정형화된언어사용이작문평가결과에미치는영향 79 요성을밝히고자한다. 또한한국어교수및평가경험이풍부한숙련된평가자의 평가와일반한국어모어화자를대표하는미숙련된평가자의평가를비교하여정형화된언어에대한인식을재정립하고자한다. 본연구의연구문제는다음과같다. 1) 한국어학습자의작문에나타난정형화된언어의사용양상과평가자의작문평가결과는어떤관계가있는가? 2) 한국어학습자의작문에나타난정형화된언어의사용양상과평가자의작문평가결과는숙련된평가자와미숙련된평가자간에차이가있는가? 2. 이론적배경 2.1. 정형화된언어의정의 정형화된언어는응용언어학분야에서활발하게연구가이루어지고있으나대부분의국내외연구가모두영어에국한되어있을뿐한국어교육분야에서는연구가매우부족하다. 이준규와유현조 (2011) 가지적한대로한국어정형화된언어에관한연구는정형화된언어목록은고사하고가장근본적인질문인어떤언어적대상을정형화된언어로볼수있는가에대한논의도찾아보기힘든실정이다. 또한연구자에따라매우다양한용어를사용하고있고그정의와범위도명확하지않다는문제점이있다. 4) 대표적인연구로손꼽히는 Wray (2002: 9) 는 정형화된연결어구 (formulaic sequence) 라는용어를사용하면서 연속적이든비연속적이든문법에의해생성되기보다는하나의연결어구형태로미리제조되어저장되어있다가사용되는것 으로다음과같이정의내렸다. a sequence, continuous or discontinuous, of words or other elements, which is or appears to be, prefabricated: that is, stored and retrieved whole from memory at the time of use, rather than being subject to generation or analysis by the language grammar. 후에 Wray (2008: 12) 는심성어휘집에단어는물론이고여러개의단어로구성된연결체도저장되는데이연결체는형태소와마찬가지로더이상쪼갤수없는하나의단위로인식된다는점에주목하였다. 그리고 형태소에상응하는단 4) Conklin 과 Schmitt (2008) 도이분야의문제점중하나로용어의통일이필요함을지적하였다.
80 신경선 위 (morpheme equivalent unit: MEU) 라는용어를제안하여정형화된언어의 범위를구체화하려는시도를하였다. 형태소에상응하는단위는 단어나단어의연결체로그구성요소의형태 - 의미연결이일어나지않는형태소와같이사용되는 것 으로정형화된연결어구에비해그범위가제한적이며화자와청자개개인의 표현에한정된다 (Wray 2008: 8). 5) 그러나 Wray (2008: 95-97) 는정형화된연결어구의정의는약정적정의 (stipulative definition) 로기제조된것으로보이 는모든표현을아우르기는하나이론중립적 (theory-neutral) 인용어가아니므 로신중하게사용할것을제안했다. 그리고 모어화자가선호하여고빈도로연관된개별어휘항목들의신속한조합 6) 인 정형화된언어 (formulaic language) 가좀더중립적이고포괄적인용어라고밝혔다. 그러므로본연구에서는가장포 괄적이고중립적인용어라할수있는정형화된언어를사용할것이다. 아울러 Wray (2002, 2008) 를근거로삼아 한국어정형화된언어 는한국어 모어화자의심성어휘집에이미저장되어있는관습적으로함께사용되는어휘소와문법형태소의덩어리이며, 한국어모어화자인평정자가자연스럽게하나의단위로인식하는표현으로규정한다. 즉연어, 관용어, 속담은물론평정자가하나의덩어리로인식한다면두개이상의정형화된언어가결합한표현도하나의정형화된언어로규정한다. 7) 2.2. 정형화된언어와제 2 언어숙달도 정형화된언어의교수가학습자의제2언어로서의영어숙달도향상에미치는긍정적인효과는이미국내 외의여러학자들에의해증명되었다. 특히표현의다양성, 발화속도, 발음의정확성등말하기유창성에관해구체적으로살핀실험연구들이주를이룬다. 벨기에대학생영어학습자의영어정형화된언어사용과말하기숙달도의관계를살핀 Boers, Eyckmans, Kappel, Stengers, Demecheleer (2006) 의연구에의하면인터뷰시험결과, 정형화된언어를강조하는 5) 형태소에상응하는단위 (MEU) 의정의는다음과같다 (Wray 2008: 12). a word or word string, whether incomplete or including gaps for inserted variable items, that is processed like a morpheme, that is, without recourse to any form- meaning matching of any subparts it may have. 6) the result of the preferential, speedy combination of frequently associated individual lexical items. (Wray 2008: 96) 7) Pawley 와 Syder (1983: 210) 은두개이상의정형화된언어가결합된정형화된언어의예로 NP be-tense sorry to keep-tense you waiting 과같은표현을들었다. 한국어의예를들면, 전화대화에서주로사용되어대부분의한국어교재에수록되어있는 전화좀해달라고전해주세요. 와같은표현은 전화좀하다, - 아 / 어달라다, -( 라 ) 고전하다, - 아 / 어주다, 총네개의정형화된언어가결합하여하나의정형화된언어가된경우라볼수있겠다.
한국어학습자의작문에나타난정형화된언어사용이작문평가결과에미치는영향 81 교수법 (instructional method that emphasizes noticing formulaic sequences) 으로교수된학습자집단이전통적인교수법으로교수된학습자집단보다말하기유창성 (fluency) 과표현의다양성 (range of expression) 이우수한것 으로나타났다. 국내의연구로는 5 6 세영어학습자에게정형화된언어를가르친후집단을수준별로구별한뒤유아들의유창성과유창성지속에미치는효과를살펴본진현 정과정동빈 (2007) 의연구를들수있다. 연구결과, 유아의발화속도와발음의 정확도가모두향상되었는데, 특히하위집단학습자의말하기유창성향상정도와유창성지속정도가다른집단에비해두드러지게큰것으로나타났다. 이를 통해영어를가르칠때개별적으로단어와문법을가르치는것보다정형화된언어 를중심으로하나의덩어리로가르치는것이학습자들의장기기억에보다효과적인영향을미치게된다는것이증명되었다 ( 진현정, 정동빈 2007: 556). 쓰기와관련된연구로는 2 개의고빈도단어로구성된연어만으로연구의범위 를제한하기는하였으나한국인대학생영어학습자의작문에나타난연어의사용양상과평가자의작문에대한인식을살핀 Chon과 Shin (2009) 이있다. 연구결과, 다양한연어를정확하고적절하게사용한학습자의작문이고급어휘 (higher lexical sophistication levels) 를사용한학습자의작문보다유창성과정확성이높은작문으로평가받았다. 이러한선행연구들을통해영어를제2언어로학습하는경우정형화된언어를적절하게사용할수있는학습자가유창성과정확성에서높은평가를받는다는것이확인되었다. 따라서본연구에서는한국어학습자의정형화된언어사용이작문평가결과에어떠한영향을미치는가를살펴한국어교육에있어정형화된언어교육의중요성을밝히고보다활발한한국어정형화된언어연구의필요성을인식시키고자한다. 3. 연구방법및절차 3.1. 한국어학습자작문자료 본연구에서분석의대상으로삼은작문은서울소재 A대학교부설한국어교육기관에서 4급을마친학습자 8) 의작문으로학습자의국적, 나이, 한국어학습 8) 본기관은일반적인한국어교육과정과동일한과정으로진행되는기관으로 4 급을마친학습자의한국어학습시간은 800 시간이다.
82 신경선 시간및배경, 학습목적, 한국내거주환경등이모두유사하다. 본작문은 5 컷 으로구성된그림을보고김정호의일생을 10 문장내외의짧은글로쓰는과제이며기말시험의일부로시간적제약과사전이나교과서등의자료를참고할수없 는환경에서이루어졌다. 김정호의일생과대동여지도에관해서는수업시간에학 습한내용이나김정호의일생을쓰는활동은수업내용에포함되어있지않다. 작문자료는평정자간신뢰도검증을위한자료 8 개, 평가자간신뢰도검증 을위한자료 5 개와본실험을위한자료 30 개, 총 43 개의작문으로연구자에의 해고유명사 ( 김정호, 대동여지도 ) 오류와띄어쓰기오류가수정되어입력된 PDF 파일상태로평정자와평가자에게전달되었다. 작문의배열순서는 MS Excel 의 랜덤정렬을이용하여작문수준이나길이등과무관하게무작위로배열된상태로 번호가매겨져평정자와평가자에게전달되었다. 3.2. 정형화된언어분석 3.2.1. 정형화된언어평정자본연구에서는 2명의평정자 (judges) 9) 가한국어학습자의작문에나타난정형화된언어를선별하여작문에나타난정형화된언어사용양상을분석하였다. 10) 본연구에참여한 2명의평정자는한국어어휘론과관련된주제로석사논문을쓴한국어교육전공석사학위소지자이다. 이들은한국어교육기관에서한국어를교수한경험이없어한국어학습자의작문에익숙하지않다. 따라서한국어교육을전공하고한국어어휘론에대한지식을갖추고있는한국어모어화자로, 한국어학습자의작문에서편견없이모어화자의직관으로자연스러운한국어정형화된언어를선별할수있으리라판단되어평정자로선정하게되었다. 3.2.2. 평정자교섭 2명의평정자 ( 이후평정자A와평정자B) 는평정자훈련후학습자작문중무작위로선택한 5개의작문을서로상의없이개별적으로 1차사전분석을실시하였다. 정형화된언어평정시문법적오류가없이올바르게사용된정형화된언어 9) 본고에서 평정자 (judges) 는 평가자 (raters) 와구별되는용어로학습자의작문에나타난정형화된언어를선별한한국어모어화자를가리킨다. 평정자는장르분석연구인김영규와이은하 (2008) 에서이동마디 (move) 나단계같은텍스트분절의경계를판단한한국어모어화자를칭한용어로, 특정언어적대상을구별해내어판단하는역할을한다는점이일맥상통하므로본연구에서도평정자라는용어를사용하였다. 10) 이는 2 명의평정자가실험참여자들의인터뷰시험내용이녹음된자료를들으면서정형화된언어의유형별사용횟수를측정한 Boers 외 (2006) 의연구에근거를둔것이다. 자세한내용은 Boers 외 (2006) 참조.
한국어학습자의작문에나타난정형화된언어사용이작문평가결과에미치는영향 83 만을인정하는것으로하였으며반복적으로사용된정형화된언어는한번만인정 하는유형 (type) 별분석을실시하였다. 맞춤법오류는평정자가이해할수있는범위내에서허용하는것으로기준을정하였다. 1 차사전분석결과를비교해보니 2 명의평정자가수행한정형화된언어분석 결과에차이가있었다. 이는사전분석에앞서평정자훈련과정을거치기는하였으나정형화된언어의범위가명확하지않으며한국어정형화된언어에관한선행연구의부족으로구체적인참고자료가부족한것에서비롯된것으로보인다. 그리하여 1차사전분석후두평정자간의불일치양상을검토하면서차이가나타난이유를찾아내고보완하기위한평정자교섭을실시하였다. 평정자교섭과정에서두평정자는분석결과를하나씩검토하면서일치된견해로합의하기까지충분한토의를거쳤다. 평정자간분석결과에차이가나타난주된원인은어디까지를정형화된언어로볼것인가에대한문제때문이었다. 예를들어 김정호는지도를만드는데에일생을바쳤다 와같은문장의경우 만드는데 와 -에일생을바쳤다 를각각 2개의정형화된언어로볼것인지아니면하나의정형화된언어로볼것인지에대한의견차이가있었다. 평정자들은모어화자의직관에서볼때 만드는데에일생을바쳤다 를하나의덩어리로인식할수있다는점과 Pawley 와 Syder (1983: 210) 11) 에근거를두고 -을/ 를 -는데에일생을바치다 를하나의정형화된언어로볼것에합의했다. 평정자교섭을마친후 1차사전분석시분석했던작문과는다른 3개의작문 ( 이후작문P2-1 3으로칭함 ) 으로 2차사전분석을실시했다. 그결과, < 작문 P2-1> 은평정자A는 13개, 평정자B는 16개, < 작문P2-2> 는평정자A는 14개, 평정자B는 15개, < 작문P2-3> 은평정자A는 11개, 평정자B는 9개의정형화된언어를선별하여 1차사전분석에비해일치에가까운결과에도달했다. 2차사전분석결과를바탕으로 2차평정자교섭과정을진행하면서평정자들은문법적인오류를범했을때의정형화된언어사용인정범위에대해더욱구체적인협의를할수있었다. 각 2회에걸친사전분석과평정자교섭을통해한국어정형화된언어에대한구체적인평정기준을마련한평정자들은각기본실험의대상이된학습자작문 30개에나타난정형화된언어사용양상을분석하였다. 12) 최종결과분석에반영한정형화된언어의개수는평정자A와평정자B의평정결과중정형화된언어의개수가더적게평정한결과를분석의대상으로삼았다. 평정결과는아래표 1과같다. 11) 각주 7 참조. 12) 정형화된언어평정과작문평가과정은동시에진행되었으나서로다른 4 명의평가자와 2 명의평정자에의해별개의과정으로진행되었다.
84 신경선 표 1. 정형화된언어평정결과 작문번호 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 평정자A 5 9 6 5 5 6 3 10 5 7 10 6 5 12 11 평정자B 5 8 5 5 5 7 3 10 6 7 10 6 5 12 10 평정결과 5 8 5 5 5 6 3 10 5 7 10 6 5 12 10 작문번호 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 평정자A 5 12 15 4 12 9 8 6 6 10 13 12 8 2 6 평정자B 5 12 15 4 12 9 8 6 6 10 13 13 8 2 5 평정결과 5 12 15 4 12 9 8 6 6 10 13 12 8 2 5 3.3. 작문평가 3.3.1. 작문평가자 3.3.1.1. 숙련된평가자숙련된평가자 ( 이후숙련평가자A, 숙련평가자B) 는한국어교육경력이매우풍부한한국어강사 2명으로국내외대학부설한국어교육기관에서평균 10.5 년의한국어교수경력이있으며다양한국적과수준의학습자를교수하고평가한경험이있다. 아울러평균 3.5개의국내외대학부설한국어교육기관에서여러종류의한국어교재로교수한경험이있으므로특정한국어교육기관의교육내용에대해편향된인식을갖고있지않다. 3.3.1.2. 미숙련된평가자미숙련된평가자 ( 이후미숙련평가자C, 미숙련평가자D) 는한국어교육전공자 2 명으로석사과정중이거나석사학위를소지하고있으며대학부설한국어교육기관에서의한국어교수경력이없고한국어학습자의작문을평가해본경험이없다. 따라서특정한국어교육기관의교육내용에편향된인식을갖고있지않을뿐만아니라한국어학습자의작문에익숙하지않다. 그러므로미숙련된평가자는한국어교육학지식은있으나작문평가에관한전문적지식과경험은갖추지못했기때문에일반한국어모어화자를대표한다고할수있겠다. 3.3.1.3. 평가자간신뢰도숙련평가자A와 B, 그리고미숙련평가자C와 D는평가자간신뢰도검증을위해학습자작문중무작위로선택한 5개의작문을서로상의없이개별적으로 1
한국어학습자의작문에나타난정형화된언어사용이작문평가결과에미치는영향 85 차사전평가를실시하였다. 1 차사전평가는총체적평가를먼저실시한후하루 이상의시간간격을두고분석적평가를하는방식으로진행되었다. 평가자간신뢰도는 SPSS 17.0 으로급내상관계수 (Intra-Class Correlation) 를측정하여검 증하였다. 총체적평가방식으로평가한결과에대해신뢰도를측정한결과, 숙련 된평가자들은.806 으로기본가정을충족하였다. 분석적평가에대한결과도.846 으로기본가정을충족시켜평가자간신뢰도는확보되었으나 5 개의작문중 유독 1 개의작문에서두평가자간에점수차이를보여해당작문에한하여재평 가를실시한결과.979 로평가자간신뢰도가확보되었다. 미숙련된평가자들의경우평가자간신뢰도를측정한결과, 총체적평가는.588, 분석적평가는.551 로기본가정을충족하지못해평가자간신뢰도가확보되지않았다. 이에 2 차사 전평가를실시한결과, 급내상관계수.821 로기본가정이충족되어평가자간신뢰도를확보할수있었다. 미숙련된평가자들의 1 차사전평가에서평가자간의 평가결과에차이가나타난것은이들은한국어학습자들의작문에낯선일반한 국어모어화자의관점에서작문을평가하였기때문으로여겨진다. 그러므로미숙련된평가자들의평가가일치를보이지않는것은오히려일반한국어모어화자 집단을대표하는성격을띠는것으로생각할수있겠다. 3.3.2. 작문평가기준및절차 학습자의작문에대한평가는글의전체적인인상에근거하여평가하는총체적 평가 (holistic scoring) 방식과범주를구별하고범주별로기술된수행능력평가기준에따라글을평가하는분석적평가 (analytic scoring) 방식으로진행되었다. 총체적평가는 TOEFL 의 TWE 의평가기준 13) 을참고하여본실험에맞도록 1 5 점의 5 간척도로평가기준을수정하여제시하였다. 14) 분석적평가는한국어능력시험 (TOPIK) 중급의평가기준과이완기 (2007) 를참고하여글의내용및과 제수행, 글의조직, 어휘및표현, 글의정확성과맞춤법등에관한글쓰기기술 의네가지범주로나누어각각 1 5 점의 5 간척도로평가하여총 20 점을만점으로평가하도록하였다. 15) 특히어휘및표현범주는 맥락에맞는어휘를다양하 13) Weigle (2002: 113) 에서재인용. 14) 총체적평가를위한평가기준은아래와같다. 매우부족하다 매우우수하다 1 2 3 4 5 15) 정형화된언어사용과각범주별평가결과와의관계를살피는것이본연구의목적이므로분석적평가의범주별배점은점수분포를고르게하였다. 분석적평가를위한평가기준은아래와같다.
86 신경선 게사용하였으며, 모어화자와같은자연스러운표현들을정확하고유창하게사용 하였는가? 를기준으로평가하게하여작문에나타난정형화된언어사용양상에대한평가자들의인식을살펴볼수있도록하였다. 평가자들은먼저작문에대해 총체적평가를한후 4 일이상의시간차를두고동일한작문에대한분석적평가 를실시하였다. 아울러모든평가과정을마친후필요한경우평가자들과개인심층면담을실시하여각평가결과에대한세부적인사항들을연구결과를도출 하는데반영하였다. 4. 연구결과 4.1. 정형화된언어사용양상과평가자의작문에대한인식 한국어학습자의작문에나타난정형화된언어사용양상은 SPSS 17.0을사용하여기술통계분석을실시한결과, 평균 7.3개의정형화된언어가사용된것으로나타났다. 16) 분석결과는아래표 2와같다. 표 2. 정형화된언어사용양상기술통계분석결과 빈도 최대값 최소값 평균 표준편차 정형화된언어 30 15 2 7.30 3.050 전혀그렇지않다 매우그렇다 1 2 3 4 5 범주평가기준 1 2 3 4 5 내용및과제수행 글의조직 어휘및표현글쓰기기술 과제의요구사항을충실히반영하였으며, 통일성있는내용으로주제를잘표현하였는가? 글이유기적으로구조화되었으며, 담화장치및뒷받침문장을효과적으로사용하여완결성을갖추었는가? 맥락에맞는어휘를다양하게사용하였으며, 모어화자와같은자연스러운표현들을정확하고유창하게사용하였는가? 철자, 문장부호, 문장호응의정확도가높고, 문장내형태오류의빈도가낮게나타났는가? 16) 평정자에의해분석된주요정형화된언어는다음과같다. ( 괄호안은대표적인예 ) - 라는 N( 김정호라는사람 ), - 겠다는결심을하다 ( 만들겠다는결심을했다 ), - 을 / 를무릅쓰고 ( 위험을무릅쓰고 ), - 게된동기 ( 만들게된동기 ), - 을 / 를는데에일생을바치다 ( 지도를만드는데에일생을바쳤다 ), - 라고하다 ( 라고한다 ), - 기위해서 ( 만들기위해서 ), 조선팔도등
한국어학습자의작문에나타난정형화된언어사용이작문평가결과에미치는영향 87 작문의전반적인인상을평가하는총체적평가결과를바탕으로 Pearson 의상 관계수를구하여학습자의작문에나타난정형화된언어와평가자의인식간상관관계에대한유의성을검정한결과, 유의수준.01에서유의하였다 (p <.01). 표 3에나타난바와같이숙련된평가자의작문에대한인식과작문에나타난정형화된언어간의상관계수는.85로매우높은상관을나타내고있으며 17) 미숙련된평가자의작문에대한인식과정형화된언어간의상관계수도.69로상관이높은것으로나타났다. 그리고정형화된언어사용양상에따른평가자의작문에대한인식을좀더구체적으로알아보기위해실시한분석적평가결과와정형화된언어간의상관계수도유의성을검정한결과, 유의수준.01에서유의한것으로나타났다 (p <.01). 평가자의분석적평가결과와정형화된언어간의상관계수는숙련된평가자가.80, 미숙련된평가자가.73이었다. 표 3. 평가자의평가결과와정형화된언어사용간의상관계수 (n = 30) 숙련평가자 미숙련평가자 총체적평가 분석적평가 총체적평가 분석적평가 정형화된언어.85 **.80 **.69 **.73 ** ** p <.01 평가결과와정형화된언어사용간의상관계수를살펴본결과, 정형화된언어사용은평가결과에영향을미치는것으로밝혀졌다. 즉평가자들은정형화된언어를풍부하게사용한학습자의작문을높이평가했다. 특히학습자의작문에대한전반적인인상을평가하는총체적평가는실제로글을읽었을때독자의반응과가장유사한것으로알려진평가방식이라는점 (Weigle 2002: 114) 에서볼때, 일반한국어모어화자를대표하는미숙련된평가자들의평가결과가작문에나타난정형화된언어양상과상관이있는것으로나타났다는것은일반적인한국어모어화자가한국어학습자의작문을읽었을때적절하고풍부한정형화된언어를사용한작문을수준높은글로평가한다는근거로볼수있겠다. 17) 상관계수의실제적인의미를판단할때일반적으로다음과같은기준에따른다 ( 성태제 2007: 247). 상관계수의범위상관관계의해석 ±.00.20 ±.20.40 ±.40.60 ±.60.80 ±.80 1.00 상관이매우낮다상관이낮다상관이있다상관이높다상관이매우높다
88 신경선 4.2. 숙련된평가자와미숙련된평가자의작문에대한인식 4.2.1. 숙련된평가자의작문에대한인식한국어학습자의작문에대한숙련된평가자의평가결과의기술통계분석결과는표 4와같다. 숙련된평가자의총체적평가평균은 3.33, 분석적평가총점평균은 13.87이다. 18) 표 4. 숙련평가자의평가결과의기술통계분석결과 평가방법빈도최대값최소값평균표준편차 총체적평가 30 5 2 3.33 0.99 분석적평가 총점내용및과제수행글의조직어휘및표현글쓰기기술 30 30 30 30 30 19.5 5 5 5 5 8.5 2 2 2 2 13.87 3.65 3.63 3.30 3.28 3.12.87.84.92.77 분석적평가범주결과간의상관관계를측정한결과, 유의수준.01에서유의하였는데표 5와같이정형화된언어사용에대한평가인어휘및표현범주와글의형태적정확성과문장의호응에대한평가인글쓰기기술범주간의상관계수가.84로매우상관이높은것으로나타났다 (p <.01). 특히분석적평가범주중어휘및표현범주와글쓰기기술범주간의상관계수가가장높은것을표 5에서확인할수있는데이는정형화된언어를많이사용한학습자의작문이글의정확성또한높다는것을의미한다. 표 5. 숙련평가자의분석적평가범주간의상관계수 (n=30) 내용및과제수행글의조직어휘및표현 ** p <.01 내용및과제수행.78 **.77 ** 글의조직어휘및표현글쓰기기술.78 **.81 **.77 **.71 **.81 **.80 **.84 ** 18) 총체적평가의만점은 5 점, 분석적평가의만점은 20 점이다. 자세한내용은각주 14 과 15 참조.
한국어학습자의작문에나타난정형화된언어사용이작문평가결과에미치는영향 89 이는표 6 에나타난바와같이정형화된언어사용양상과총체적평가결과 간의관계와도일치하는결과이다. 총체적평가결과와분석적평가범주중어휘및표현범주, 글쓰기기술범주간의상관관계는유의수준.01 에서유의하였는데 각각.86 과.79 로상관이높은것으로나타났다 (p <.01). 또한정형화된언어 사용과분석적평가범주중어휘및표현범주, 글쓰기기술범주간의상관계수도각각.74 와.70 으로상관이높은것을볼수있다. 즉숙련된평가자는정형화 된언어를다양하고적절하게사용한학습자의작문에대해표현의유창성과문장의정확성이우수한것으로평가했을뿐만아니라글의전반적인인상에대한평가를할때도높이평가한것을볼수있다. 표 6. 숙련평가자의정형화된언어, 총체적평가와어휘및표현, 글쓰기기술범주간상관계수 (n=30) 어휘및표현 글쓰기기술 정형화된언어총체적평가.74 **.70 **.86 **.79 ** ** p <.01 4.2.2. 미숙련된평가자의작문에대한인식학습자의작문에대한미숙련된평가자의평가결과에대한기술통계분석결과는표 7과같은데총체적평가평균은 3.18, 분석적평가총점평균은 16.52 이다. 표 7. 미숙련평가자의평가결과의기술통계분석결과 평가방법빈도최대값최소값평균표준편차 총체적평가 30 5 1 3.18.94 분석적평가 총점내용및과제수행글의조직어휘및표현글쓰기기술 30 30 30 30 30 20 5 5 5 5 13 3 3 3 2 16.52 4.50 4.17 4.08 3.77 2.01.47.63.68.57 일반적인한국어모어화자를대표하는미숙련된평가자의어휘및표현범주평가결과와정형화된언어사용간의상관계수는유의수준.01에서유의한결과가나타났다 (p <.01). 표 8에나타난바와같이미숙련된평가자의어휘및표
90 신경선 현범주평가결과와작문에나타난정형화된언어간의상관계수는.79 로상관관 계가높은것으로나타났다. 그리고총체적평가결과와어휘및표현범주평가결과간의상관계수는.91 로상관이매우높은것을볼수있다. 이러한결과를 통해미숙련된평가자는정형화된언어를많이사용한학습자의작문을높이평가했다는것을확인할수있었다. 따라서일반적인한국어모어화자들이한국어학습자의작문을읽었을때다양한정형화된언어를적절하게사용한학습자의작문에대해높이평가한다고볼수있겠다. 표 8. 미숙련평가자의정형화된언어, 총체적평가와어휘및표현, 글쓰기기술범주간상관계수 (n=30) 어휘및표현 글쓰기기술 정형화된언어총체적평가.79 **.46 **.91 **.63 ** ** p <.01 그러나정형화된언어와글쓰기기술평가결과간의상관계수는.46으로, 어휘및표현범주와는높은상관관계를보이는데에반해상관이있는정도에그치는것을볼수있다. 이러한결과가나타난것에대한구체적인이유를알아보기위해미숙련된평가자들과심층면접을실시했다. 그결과, 미숙련된평가자들은한국어학습자의작문을평가한경험이없으므로작문에나타난오류를발견하는것자체가미숙함을확인할수있었다. 따라서형태적오류나문장호응의정확성이떨어지는것을발견하지못한채로평가한경우가허다했음을알수있었다. 아울러미숙련된평가자들의분석적평가범주간의상관관계를측정한결과, 유의수준.01에서유의한결과가있었으나숙련된평가자의평가결과에비해상관계수가낮은것을볼수있다 ( 표 9). 이는미숙련된평가자들은평가에대한전문적인지식과경험이없는관계로작문을평가할때각범주별로일관된기준을가지고평가하지못했기때문으로볼수있겠다. 30개의작문을평가하는과정에서작문1에서작문30까지일관된기준으로평가하는것은경험이없는미숙련된평가자들에게는어려운일이아닐수없었으리라생각된다. 19) 19) 미숙련된평가자들의평가결과는총체적평가와분석적평가결과를각작문별로세부적으로비교했을때도일관성이낮았다. 예를들어미숙련평가자 C 의경우총체적평가시 2 점을준작문에분석적평가시 18 점을주기도하였으며, 미숙련평가자 D 의경우총체적평가시 4 점을준두작문이분석적평가결과는각각 15 점과 20 점으로차이가나타나는경우도있었다.
한국어학습자의작문에나타난정형화된언어사용이작문평가결과에미치는영향 91 표 9. 미숙련평가자의분석적평가범주간의상관계수 (n=30) 내용및과제 수행 글의조직어휘및표현글쓰기기술 내용및과제수행 글의조직 어휘및표현글쓰기기술.66 **.59 **.45 **.66 **.72 **.66 **.59 **.72 **.65 **.45 **.66 **.65 ** ** p <.01 4.2.3. 숙련된평가자와미숙련된평가자의작문에대한인식차이숙련된평가자와미숙련된평가자의총체적평가결과의차이를알아보기위하 여두독립표본 t 검정을실시한결과는표 10 에나타난바와같다. 숙련된평가 자의총체적평가결과는평균 3.33, 표준편차는 1.100 이며, 미숙련된평가자의총체적평가결과는평균 3.18 이며표준편차는 1.049 이다. 숙련된평가자와미숙 련된평가자의총체적평가결과에차이가있는지에대한 t 통계값은.764, 유의 확률.446 으로서유의수준.05 에서평가자에따른총체적평가결과의차이에는통계적으로유의한차이가없는것으로분석되었다 (p >.05). 즉평가경험과지 식이풍부한숙련된평가자와일반한국어모어화자를대표하는미숙련된평가자모두글의전반적인인상에대해평가할때는평가결과가일치한다는것이확인됐다. 표 10. 평가자집단에따른총체적평가결과독립표본 t 검정결과 숙련된평가자 미숙련된평가자 평균표준편차사례수 3.33 1.100 60 3.18 1.049 60 t 통계값유의확률.76.446 숙련된평가자와미숙련된평가자의평가결과와정형화된언어사용간의상관관계를측정한결과, 표 11에나타난바와같이유의수준.01에서유의한결과가나타났다 (p <.01). 숙련된평가자와미숙련된평가자모두정형화된언어의사용과총체적평가그리고어휘및표현범주평가결과간의상관계수가높은
92 신경선 것을볼수있다. 이는숙련된평가자와미숙련된평가자모두정형화된언어가 많이나타난작문을전반적으로우수한작문으로평가했을뿐만아니라글의유창성도높게평가했다는것을의미한다. 표 11. 정형화된언어와평가자별총체적평가, 어휘와표현범주간의상관계수 (n=30) 정형화된언어와의상관계수 총체적평가 어휘및표현 숙련된평가자 미숙련된평가자.85 **.74 **.69 **.79 ** 즉다년간의풍부한평가경험과전문적인지식을갖추고있는숙련된평가자와일반한국어모어화자를대표하는미숙련평가자모두다양한정형화된언어를적절하게사용한학습자의작문을그렇지않은작문보다높이평가한다는것이본연구의결과, 확인되었다. 숙련된평가자와미숙련된평가자의총체적평가결과에차이가없었으나분석적평가결과의차이를알아보기위하여두독립표본 t 검정을실시한결과, 표 12에나타난바와같이모두통계적으로유의한차이가있는것으로나타났다. 정형화된언어사용양상에대한평가로볼수있는어휘및표현범주의평가결과는숙련된평가자들의평균은 3.30, 표준편차는 1.078이며미숙련된평가자들의평균은 4.08, 표준편차는.787이다. 숙련된평가자와미숙련된평가자의어휘및표현범주평가결과에차이가있는지에대한 t 통계값은 -4.54, 유의확률.000으로서유의수준.05에서평가자집단에따른어휘및표현범주의평가결과의차이에는통계적으로유의한차이가있는것으로분석되었다 (p<.05). 그리고숙련된평가자들의평가결과에의해정형화된언어사용양상에따라영향을받는것으로밝혀진글쓰기기술범주평가결과는숙련된평가자들의평가는평균 3.28, 표준편차는.922이며, 미숙련된평가자들의글쓰기기술범주평가결과는평균 3.77이며표준편차는.767이다. 숙련된평가자들과미숙련된평가자들의글쓰기기술범주평가결과에차이가있는지에대한 t 통계값은 -3.12, 유의확률.002로서유의수준.05에서평가자집단에따른글쓰기기술범주평가결과의차이에는통계적으로유의한차이가있는것으로분석되었다 (p <.05).
한국어학습자의작문에나타난정형화된언어사용이작문평가결과에미치는영향 93 표 12. 평가자집단에따른분석적평가결과독립표본 t 검정결과 평가범주집단사례수평균표준편차 t 유의확률 내용및과제수행 글의조직 숙련평가자 60 3.65 1.117 미숙련평가자 60 4.50.701 숙련평가자 60 3.63 1.008 미숙련평가자 60 4.17.740-4.99.000-3.30.001 어휘및표현숙련평가자 60 3.30 1.078-4.54.000 미숙련평가자 60 4.08.787 글쓰기기술 숙련평가자 60 3.28.922 미숙련평가자 60 3.77.767-3.12.002 숙련된평가자와미숙련된평가자의분석적평가결과의차이를비교한결과 평가에대한지식과경험이없는미숙련된평가자는숙련된평가자와는달리분석적평가의점수가높은것을볼수있다 ( 표 12). 이러한결과는일반적으로작문의장점에주목하게되는총체적평가결과보다구체적인기준에따라평가하는분석적평가결과가낮은것과는반대가되는결과이다. 20) 앞서언급한바와같이심층면접결과, 미숙련된평가자는평가경험의부재로일관된평가자체가어려웠을뿐만아니라숙련된평가자들과는달리미숙련된평가자들은글의구조, 문장의호응, 응집성, 그리고형태적오류를발견해내는기술이부족하므로미숙련된평가자는눈에띄는오류만으로작문을평가한것을확인할수있었다. 5. 결론및제언 본연구에서는한국어어휘론에대한지식을갖춘한국어모어화자가한국어학습자의작문에나타난정형화된언어를분석하도록하였다. 그리고한국어교수및평가경력이풍부한숙련된평가자와한국어교수및평가경력이없는미숙련된평가자에게한국어학습자의작문을총체적인평가와분석적인평가방식으로평가하도록하였다. 이두결과를비교, 분석한결과, 아래와같은결론에도달할수있었다. 첫째, 작문에나타난정형화된언어사용양상과평가자의작문에대한인식을 20) 평균경력 7 년 4 개월의한국어교수경력이있는평가자들이참여한김정숙 (2010) 의연구결과에서도총체적평가결과보다분석적평가결과가더낮은것으로나타났다. 자세한내용은김정숙 (2010) 참조.
94 신경선 살펴본결과, 평가자는정형화된언어를많이사용한학습자의작문을더높이평가하는것으로나타났다. 글의전반적인인상을평가하는총체적평가결과는물론분석적평가범주중한국어모어화자와같은표현의자연스러움, 즉글의유창성을평가하는범주에서정형화된언어의사용양상과평가결과간에높은상관이있는것으로나타났다. 둘째, 작문에나타난정형화된언어사용양상과숙련된평가자와미숙련된평가자간의작문에대한인식의차이를살펴본결과, 숙련된평가자와미숙련된평가자모두적절하고풍부하게정형화된언어를사용한작문을우수한작문으로인식하는것으로밝혀졌다. 특히평가결과를신뢰할수있는숙련된평가자의평가결과, 정형화된언어를다양하고적절하게사용하는학습자의작문을유창성과정확성이높은글로평가하는것이확인되었다. 본연구결과로증명된바, 한국어학습자가글을쓸때정형화된언어를적절하고다양하게사용하면독자는그글을더욱유창하며수준이높은글로평가한다. 그러므로한국어교육현장에서는한국어학습자들이개별적인단어와문법에주목하기보다는정형화된언어를중심으로하나의덩어리로인식하도록이끌어글의정확성및유창성향상이이루어지도록해야할것이다. 나아가본연구의결과는한국어교재및교수법개발과같은실제교육현장에서이루어지는교육에의적용을가능하게할것으로기대된다. 연구를진행하면서한국어모어화자의직관에의존하는것만으로는정형화된언어를선별하기에는부족하며이론적근거를확고히하기위해한국어정형화된언어에대한정의와한국어정형화된언어목록연구가절실함을느꼈다. 또한이러한연구를기반으로향후한국어학습자의정형화된언어처리과정연구, 정형화된언어의어절수에따른한국어학습자의습득양상및정형화된언어사용의관계연구, 한국어학습자의정형화된언어의발달단계연구등한국어정형화된언어에관한후속연구가활발하게이루어지기를기대해본다. 참고문헌 김영규, 이은하. (2008). 내용분석을중심으로한한국어연구논문서론의장르분석연구. 이중언어학 36, 43-67. 김정숙. (2010). 한국어쓰기능력평가방안 : 종합적채점과분석적채점결과를중심으로. 이중언어학 43, 81-99. 성태제. (2007). 알기쉬운통계분석 : 기술통계에서구조방정식모형까지. 서울 : 학지사. 이완기. (2007). 영어평가방법론. 문진미디어.
한국어학습자의작문에나타난정형화된언어사용이작문평가결과에미치는영향 95 이은주. (2009). 한국인영어학습자코퍼스를활용한정형화된연결어구분석. Foreign Languages Education 16(2): 321-340. 이준규, 유현조. (2011). 한국어교육을위한정형표현찾기 : 잦은명사결합을중심으로. 응용언어학 27(2): 53-71. 진현정, 정동빈. (2007). 어휘덩어리지도가수준별 5~6세유아들의유창성발달에미치는효과. 영어교육 62(4): 541-564. 최준, 송현주, 남길임. (2010). 한국어의정형화된표현연구. 담화와인지 17(2): 163-190. Boers, F., Eyckmans, J., Kappel, J., Stengers, H., and Demecheleer, M. (2006). Formulaic sequences and perceived oral proficiency: Putting a lexical approach to the test. Language Teaching Research 10, 245-261. Chon, Y.V. and Shin, D. (2009). Collocations in L2 writing and rater s perceived writing proficiency. Korean Journal of Applied Linguistics 25(1): 101-129. Conklin, K. and Schmitt, N. (2008). Formulaic Sequences: Are they processed more quickly than nonformulaic language by native and nonnative speakers? Applied Linguistics 29(1): 72-89. Jiang, N. and Nekrasova, T.N. (2007). The processing of formulaic sequences by second language speakers. The Modern Language Journal 91(3): 433-445. Pawley, A. and Syder, F. (1983). Two puzzles for linguistic theory: Nativelike selection and nativelike competence. In J. C. Richards & R. W. Schmidt (Eds.), Language and communication (191-227). London: Longman. Schmitt, N. (2010). Researching vocabulary: A vocabulary research manual. New York: Palgrave Macmillan. Weigle, S.C. (2002). Assessing writing. Cambridge: Cambridge University Press. Wray, A. (2002). Formulaic language and the lexicon. Cambridge: Cambridge University Press. Wray, A. (2008). Formulaic language: Pushing the boundaries. Oxford: Oxford University Press.
96 신경선 신경선 151-742 서울특별시관악구관악로 1 서울대학교언어교육원한국어교육센터 Email: kyungsun@snu.ac.kr 접수일자 : 2012. 3. 30 수정본접수 : 2012. 4. 20 게재결정 : 2012. 4. 24