한국어워드넷에서의개념유사도를활용한선택형문항생성시스템 1 DOI: 10.3745/KIPSTA.2008.15-A.### 한국어워드넷에서의개념유사도를활용한선택형문항생성시스템 김용범 김유섭 요 약 본논문에서는난이도를고려하여선택형문항을자동으로생성하는방법을고안하였으며, 학습자수준에적합하도록동적인형태로다양한문항제시를할수있는시스템을구현하였다. 선택형문제를통한평가에서는적절한규모의문제은행이필요하다. 이와같은요구를만족시키기위해서는보다쉽고빠른방식으로다양하고많은문제및문항을생성할수있는시스템이필요한데, 본논문에서는문제및문항의생성을위하여워드넷이라는언어자원을이용한자동생성방법을고안하였다. 자동생성을위해서는주어진문장에서형태소분석을통해키워드를추출하고, 각키워드마다워드넷의계층적특성에따라유사한의미를가진후보단어를제시한다. 의미유사후보단어를제시할때, 기존의한국어워드넷의스키마를개념간의미유사도행렬을구할수있는형태의스키마로변경한다. 단어의의미유사도는동의어를의미하는수준 0에서거의유사도가없다고볼수있는수준 9까지다양하게제시될수있으며, 생성될문항에어느정도의유사도를가진어휘를포함시키느냐에따라서출제자의의도에따른난이도의조정이가능하다. 후보어휘들의의미유사도측정을위해서, 본논문에서는두가지방법을사용하여구현하였다. 첫째는단순히두어휘의워드넷상에서의거리만을고려한것이고둘째는두어휘가포함되어있는트리구조의크기까지추가적으로고려한것이다. 이러한방법을통하여실제출제자가기존에출제된문제를토대로더다양한내용과난이도를가진문제또는문항을더쉽게출제할수있는시스템을개발할수있었다. 키워드 : 문항생성시스템, 한국어워드넷, 개념유사도, 문제난이도조절 A Question Example Generation System for Multiple Choice Tests by utilizing Concept Similarity in Korean WordNet Kim, Young-Bum Kim, Yu-Seop ABSTRACT We implemented a system being able to suggest example sentences for multiple choice tests, considering the level of students. To build the system, we designed an automatic method for sentence generation, which made it possible to control the difficulty degree of questions. For the proper evaluation in the multiple choice tests, proper size of question pools is required. To satisfy this requirement, a system which can generate various and numerous questions and their example sentences in a fast way should be used. In this paper, we designed an automatic generation method using a linguistic resource called WordNet. For the automatic generation, firstly, we extracted keywords from the existing sentences with the morphological analysis and candidate terms with similar meaning to the keywords in Korean WordNet space are suggested. When suggesting candidate terms, we transformed the existing Korean WordNet scheme into a new scheme to construct the concept similarity matrix. The similarity degree between concepts can be ranged from 0, representing synonyms relationships, to 9, representing non-connected relationships. By using the degree, we can control the difficulty degree of newly generated questions. We used two methods for evaluating semantic similarity between two concepts. The first one is considering only the distance between two concepts and the second one additionally considers positions of two concepts in the Korean Wordnet space. With these methods, we can build a system which can help the instructors generate new questions and their example sentences with various contents and difficulty degree from existing sentences more easily. Keyword : Question Example Generation System, Korean WordNet, Concept Similarity, Difficulty Degree of Questions 1) 1. 서론 이논문은 2006 년도정부재원 ( 교육인적자원부학술연구조성사업비 ) 으로한국학술진흥재단의지원을받아연구되었음 (KRF-2006-331-D00534) 준회원 : 한림대학교정보통신공학부학부과정 종신회원 : 한림대학교컴퓨터공학과부교수 ( 교신저자 ) 논문접수 : 2007 년 7 월 9 일, 심사완료 :2008 년 3 월 20 일 인터넷의발전으로오프라인에서주로시행되던교육및평가시스템이온라인으로확장되어각종교육기관에의해시행되고있다. 과거에는오프라인의지필고사를위주로치
2 정보처리학회논문지 A 제 15-A 권제 2 호 (2008.4) 루어졌던 TOEFL과같은평가가현재는 Internet-Based Test (IBT) 방식으로바뀌고있는것이예다 [1]. 이와같은국제시험뿐만아니라많은평가가오프라인영역에서온라인영역으로이동하고있으며, 이러한시험을대비하는교육방식역시온라인으로급속히이동하고있다. 온라인교육에서는필히온라인평가가요구되는데, 온라인평가에서는주로문제은행이라는방대한자료가구축되어야하지만 [2-4], 이를위해서는문제를출제하는데필요한많은자원이소모된다. 만일이러한자원이뒷받침되지않으면수험자는반복되어출제되는문제의유형또는내용을암기하여문제를풂으로써, 정상적인평가가불가능하게된다. 이와같은문제를최소화하기위해문항생성을자동으로하여더적은비용으로매우다양한문항을반자동으로생성하는연구가제시되고있다 [5]. 그러나이연구는매우많은문항을짧은시간에생성할수는있으나, 이시스템은어휘온톨로지상에서주변에있는어휘들을대체어로제시하는수준이기때문에주어진문장과유사한문항을생성할수는있지만, 유사한정도를조절할수없어새로이생성된문제의난이도를제어할수없다는문제를가지고있다. 따라서본연구에서는자동으로생성되는문항의유사도를조절함으로써문제의난이도를조절할수있도록하였다. 기존의 [5] 연구에서도워드넷 (WordNet)[6] 을한국어로번역한한국어워드넷 [7] 을사용하여유사한문항을동적으로생성할수있었으나, 본연구에서는이러한한국어워드넷의구조를보다적극적으로이용하여유사도를조절함으로써보다다양한난이도의문제를출제할수있도록한다. 선택형문제에서오답은문제의난이도및학습자의대상어휘에대한이해도평가에중요한역할을한다 [8]. 따라서본연구에서는정답문항의어휘와새로이만들어지는오답문항의어휘의유사도를워드넷에서제공하는 Synset, Hypernym, Hyponym 과같은계층적특성을이용하여조절함으로써새로이생성되는문제의난이도를조절할수있도록하였다. 어휘간개념유사도의측정을위해서, 본논문에서는 [9], [10] 에서제시된측정방법을구현하여사용자가이들두가지방법중에서본인의의도에더적합한방법을선택할수있도록하였다. 본연구에서는말뭉치데이터에서추출되는어휘의관련도 (relatedness) 대신워드넷의계층구조에서추출되는어휘의유사도 (similarity) 를활용하였다. 이는새로운문장을생성하는데있어, 그전체적인의미가얼마나변하는가에따른난이도조절을목표로하기때문이다. 만일유사도가아닌관련도를사용한다면, 새로이생성된문장은문맥상기존문장과비교하기어려운전혀별도의문장이된다. 새로운문장을생성하기위해서, 출제자는먼저자신이참고할만한기존의문장을입력하거나저장된파일에서불러오고, 원하는유사도를입력한다. 시스템은한국어형태소분석기 [11] 를사용하여문장에서키워드를추출하고, 동시에각키워드와주어진유사도를가지는후보어휘들을한국어워드넷에서찾고그결과를출제자에게제시한다. 마지막으 로출제자는후보어휘중에서적절한어휘를선택하여새로운문항을생성한다. 본연구에서구현한난이도를고려한문항의자동생성시스템을이용하여출제자는보다빠르고간편하게보다다양한문항을생성할수있었으며, 테스트결과학생들에게보다높은난이도의문제를간편하게제시할수있었다. 2. 워드넷에서의유사도측정워드넷 [6] 은 1985년프린스톤 (Princeton) 대학인지과학연구실에서연구되어발전된것으로써, 최초에는어휘들의연관성을나타내기위하여고안되었으며최근에는언어처리, 정보검색등의분야에서매우활발하게활용, 연구되고있다 [12]. ( 그림 1) 은한국어워드넷 [7] 의기본체계를보여준다. 워드넷의계층적특성을한국어워드넷을통하여살펴보면, Synset이란동의어 (synonym) 관계를의미하며 ( 그림 1) 에서의 { 수단, 방편 } 과같이의미가비슷하여하나의집합을이루는노드를말한다. 이 Synset은워드넷상에서하나의개념을표현한다. Hypernym은 Synset을보다추상적으로표현한상위단어를말하며 ( 그림 1)> 에서는 { 인공물 } 이 { 수단, 방편 } 의 Hypernym이된다. Hyponym이란상위단어에대한좀더구체적인단어를말하는데 ( 그림 1) 에서는 { 수송기, 수송차 } 가 { 수단, 방편 } 의 Hyponym이된다. 본연구에서는워드넷에서 Synset간의 Hyponym과 Hypernym 관계를활용하여어휘간또는개념간유사도를계산하였는데 [13] 에서제시된바와같이성능면에서큰차이가없고대량의데이터를구축할필요가없는 [9] 과 [10] 에서제시한방식을사용하였다. [9] 와 [10] 에서제시한방식으로어휘간또는개념간유사도를계산하였는데, 이알고리즘에대한간략한설명은다음과같다. [9] 에서제시된알고리즘은두개념사이의관계를두개념사이의경로 (path) 의길이에기반을두어다음과같이추정하였다. rel (c 1,c 2) = C - len(c 1, c 2) - k * d (1) ( 그림 1) 한국어워드넷의기본구조
한국어워드넷에서의개념유사도를활용한선택형문항생성시스템 3 여기서 C와 k는상수이고, len(α, β) 는개념 α와개념 β 사이의가장가까운경로를이루고있는간선의개수이다. 그리고 d는경로의방향전환회수를의미한다. 이방법은두개념사이의간선의개수가적고, 경로의방향전환이없는경우에더욱유사한개념으로정의한다. 예를들어 c 1 이 { 트럭 }, c 2 가 { 자동차 } 일때두개념사이의유사도를구하기위해 (1) 식을따르면 len(c 1, c 2 ) 는 5가되고 {wheeled_vehicle} 에서경로의방향이전환되므로 C를 20, k 를 0.5로하였을때두개념간의유사도는 14.5가된다. 반면에 수송기 와 수송차 는동일개념이므로 len(c 1, c 2)' 가 0, 경로방향전환횟수가 0이되므로유사도가 20이되고, { 트럭 } 과 { 실체 } 는 'len(c 1, c 2) 가 8이되므로유사도는 12가된다. 한편, [10] 에서는개념 c 1 과 c 2 간의유사도를다음과같이추정한다. sim (c 1, c 2) = -log 여기서 D는두개념을동시에포함하는계층체계의전체적인깊이 (depth) 를의미한다. 따라서이방법은두개념간의경로를이루는간선의개수가작고두개념을포함하는전체계층구조의깊이가깊을수록유사도가높아지는특징을가진다. 그러나워드넷에서의유사도계산은동일트리에위치하는개념들간에서만이루어지기때문에사실상비교에있어서는의미가없다고볼수있다. 따라서단순히최단거리가짧은두개념간의유사도가더높은결과를보인다. 3. 한국어워드넷재구성 본논문에서사용한한국어워드넷 [7] 은 ( 그림2) 의구조로구성되어있어이해가쉽고다양한정보를얻을수있다는장점이있다. 본논문에서는이스키마를이용하여어휘개념유사도행렬을구성한다. 또한주어진키워드의동의어및하위어는실제문장을생성하는단계에서추출하기도한다. 그러나 ( 그림 2) 의한국어워드넷의기본구조는많은정보를표현하기위하여어휘개념유사도행렬구성에는필요하지않은데이터필드를가지고있으며, 또한데이터가지나치게세분화되어유사도행렬을구성할때오버헤드를유발시켜성능을저하시키는문제를가지고있다. 따라서본논문에서는이러한문제를해결하기위하여주어진한국어워드넷의기본구조를유사도행렬구성에맞추어재구성하였다. 어휘개념간의유사도측정에서는한 / 영키워드변환및관련정보추출에서관계사이의조인연산이빈번히이루어지는데, 질의처리에있어서가장많은시간을사용하는조인연산을줄이기위해서 ( 그림 2) 의속성중에서불필요한속성들을제거하여기본구조를재구성하였다. 또한하나의속성에복수개의값을허용하면속성의크기의최대값 (2) ( 그림 2) 한국어워드넷의기본 Entity Relationship Diagram) 을예상하기어려워구현시비효율적인공간사용이초래되고, 또한질의를통해추출한속성값전체를실제사용을위하여재가공하여야되는추가적인과정이필요하다. 본논문에서는재구성을진행할때, 실제로전체한국어워드넷공간에서유일한값을가지는 synsetoffset 속성을 SynsetIdx라명칭을바꾸어모든관계의주키 (primary key) 로결정하고, Synset, Tran 관계에서중복적으로주키로되어있는 idx 속성을제거하여공간사용을줄이고동시에접근을더욱간단하게하였다. 그리고여러번의조인연산을통하여입력된한국어어휘에대한영어어휘를찾아이를변환하던것을 stddic 및 synset 관계의주키들의비교를통하여보다간소화시켰다. 또한 synset, hypernym, hyponym 관계는모두 idx, offset과같이동일한필드로구성되기때문에, ISA 관계로이들을하나로결합시킴으로써한국어워드넷구조를더욱단순화할수있었다. 재구성결과를함수종속성의폐포와후보키를고려하여 BCNF (Boyce-Codd Normal Form)[14] 정규화의조건을맞추어테이블을재구성하면 ( 그림 3) 과같은새로운구조가된다. ( 그림 3) 재구성한한국어워드넷 ERD
4 정보처리학회논문지 A 제 15-A 권제 2 호 (2008.4) 4. 개념유사도행렬구성 ( 그림 4) 는개념유사도행렬 #1, #2를구성하는전체과정을보여준다. 개념유사도 #1은 [9] 의방법론을그리고개념유사도 #2는 [10] 의방법론을사용하여구성하였다. 먼저각 Synset들의 Hypernym들을더이상 Hypernym이존재하지않는최상위 Synset 까지순차적으로순회하면서상위어리스트를각 Synset마다구성한다. 임의의두 synset에대하여, 위에서구축된최상위 Synset부터내림차순으로정렬이되어있는리스트를순회하면서 LSO(lowest superordianate) 를찾고이를통하여식 (1) 의 d값과식 (2) 의 D 값을계산한다. 그리고두 synset 사이의경로를구성하는간선의개수를세어 len() 을계산한다. 계산결과를토대로 < 표 1> 과같은테이블을구성하고이를최적화한다. 식 (1) 과식 (2) 의결과값은분포를고려한 10개의구간중의하나의구간에할당되고, 유사도가높을수록 0에가까운구간에할당된다. 이값들이개념유사도행렬에입력된다. 한국어워드넷은 79,689개의 synset을포함하고있으므로, 79689 79689 행렬이만들어진다. 0은두어휘가동일 Synset에위치하여의미상으로동일함을보여주는데, 이는두어휘가사실상동일개념이라는의미로써, 유사도가 0에가까울수록두어휘의유사도는증가한다고할수있다. 만일두어휘의 LSO가존재하지않을경우, 즉두어휘가완전히다른개념트리에속해있는경우에는 -1의값을갖는다. 개념유사도행렬은대각요소를기준으로전치행렬들은동일한값을가지는대칭적인특징을갖고있기때문에사실상전체의절반정도의공간은불필요하다. 또한서로다른개념트리간의의미유사도계산은사실상불가능하기때문에이러한값을위한공간역시불필요하다. 이러한불필요한공간을줄여보다최적화된행렬을구현하였다. < 표 1> 개념유사도행렬 Word W 1 W 2 W 3 W n Word W 1 0 1 2-1 W 2 1 0 1-1 W 3 2 1 0 : W n -1-1 -1 0 5. 전체시스템개요본논문에서제안하는시스템은 ( 그림 5) 와같이총 4단계의처리과정과 5가지의자원으로이루어진다. ( 그림 5) 전체시스템구성도 5.1 사용자입력단계이단계에서는새로운문장을생성하기위하여참고할문장을입력하고, 생성될문장과기존의문장의유사정도를선택하여최종적으로문제의난이도를제어할수있도록한다. 새로운문장은입력창을통하여직접입력하거나기존에작성된입력파일을불러들여작성할수있다. 예를들어 " 파일을압축하는목적은저장공간의절약과통신속도의향상이다." 라는문항과관련한새로운문장을생성한다고가정한다면문장의입력후다음중에서하나를선택하고다음의 2 또는 3을선택하였을때유사정도를직접입력한다. 1 하위어 or 동의어를추출 2 type-1((1) 수식으로계산된유사도 ) 3 type-2((2) 수식으로계산된유사도 ) ( 그림 4) 개념유사도행렬구성과정 사용자가입력한문장은사용자가원할경우다시 ( 그림 5) 의 1 입력파일에저장된다. 저장된파일의문장들은사용자의다음사용시에불필요한입력의수고를덜어준다.
한국어워드넷에서의개념유사도를활용한선택형문항생성시스템 5 5.2 Keyword 추출단계이단계에서는 (1) 단계에서입력된문장에서대체될단어를추출하는데, ( 그림 6) 의클래스들의구성과흐름에따라진행된다. 단계 (1) 에서사용된문장이입력되면, 사용자인터페이스를처리하는 CStyleAIDlg 클래스에서이를받아 WordManager 클래스을통하여한국어형태소분석기인 HAM(Hangul Analysis Module)[11] 을사용하여 { 파일, 압축, 목적, 저장, 공간, 절약, 통신, 속도, 향상 } 으로이루어진 Keyword Set을추출하여문장내에서의순서에따라인덱스를부여하여인덱스, Keyword, 조사로이루어진 KeywordSet 클래스를 < 표 2> 와같이구성한다. 여기서조사속성은향후완전한문장을생성할때사용된다. 을위해필요한정보를추출하여재구성한의미유사도행렬을한국어워드넷과함께이용하여사용자가입력한유사도에따른후보단어를추출하는방법이다. 이방법에서유사도를한국어워드넷을통하여실시간으로계산하면엄청난오버헤드가발생하기때문에, 한국어워드넷의단어들의 Index를 PrimaryKey로하여각단어마다상위어, 하위어, 다른단어와의 Edge의개수등을미리계산하여유사도행렬을미리구축하였다. 사용자가유사도를입력하면 KeyWord를한국어워드넷을이용하여영문으로대치한후, 그에해당하는 Index를통해유사도행렬을검색하여후보단어들을추출할수있게하였다. ( 그림 7) 은이러한모든과정을보여준다. 한국어워드넷은영문을기준으로의미의계층이이루어지기때문에키워드의영문변환후에유사도를측정하여야하며유사도에따른후보단어확장이후다시한글변환이필요하다. 한국어워드넷에서동의어를추출하기위해서는키워드의한국어워드넷상에서의 offset을계산하고이와같은 offset을가지는단어들을후보단어로추출하며, 하위어를추출할때에는키워드에연결된하위어들의인덱스를이용하여 hypernym table에서추출하여후보단어를추출한다. < 표 3> 은유사도에따른추출된후보단어의예를보여준다. ( 그림 6) Keyword 추출에따른클래스관계도 < 표 2> KeywordSet 클래스구성 Index Keyword 조사 0 파일 을 1 압축 하는 2 목적 은 3 저장 NULL 4 공간 의 5 절약 과 6 통신 NULL 7 속도 의 8 향상 이다. 5.3 후보단어추출이단계는크게두가지경우로나누어진다. 첫째, 한국어워드넷의 synset과 hyponym 관계만을사용하여후보단어를추출하는방법이있다. 이방법에서는 KeywordSet에있는단어들마다한국어워드넷을이용하여후보단어를추출한다. 한국어워드넷은영문을기준으로계층적으로구성되어있기때문에후보단어추출과정에서한글로구성된 KeywordSet 의단어들마다의미가같은영어단어로대치하고그단어의하위어또는동의어등원하는관계의 Synset 을찾아낸다음다시한글단어로대치하여후보단어를만들어낸다. 둘째는한국어워드넷에서정밀한유사도측정 ( 그림 7) 후보단어추출순서도
6 정보처리학회논문지 A 제 15-A 권제 2 호 (2008.4) < 표 3> 유사도에따른후보단어예시 Level 압축 통신 0 { 압착, 수축,...} { 전달, 커뮤니케이션...} 1 { 푸싱, 집중.. } { 메세지, 의사소통...} 2 { 누르기, 농축..} { 전화메세지, 방송..} 3 { 밀기, 방출...} { 소포우표, 국제전보...} 4 { 분만, 출발..} { 서론, 그림문자...} 5 { 발판, 행동..} { 외형, 모습...} 6 { 진행, 상호작용..} { 주체성, 개성..} 7 { 교차, 접촉...} { 스탠드, 동일시...} 8 { 교류, 융합...} { 인프라, 주름...} 9 { 관계, 전례...} { 활기, 은둔...} 5.4 단어선택 이단계에서는 (3) 의과정을통해서얻은각 Keyword의 후보단어들을동적으로콤보박스에나열하여줌으로써사 용자가원하는단어를선택하여새로운문항을생성할수 있게한다. 예를들어사용자는 목적 에대하여 의도 를, 공 간 에대하여 공란 을 통신 에대하여 전달 을그리고 향상 에대하여 증대 를선택하여향후생성될문장에사용할수 있다. 그리고이단계에서는후보단어를동적으로생성하 면서이에맞는어미조합형코드를이용하여받침의유무 를판단하고 (2) 번과정에서얻은조사를후보단어에어울 리는조사로변형한다. 5.5 문장생성이단계에서는 (4) 번과정에서선택한후보단어와조사를이용하여새로운문항을생성한다. (1) 에서입력된 파일을압축하는목적은저장공간의절약과통신속도의향상이다 라는문항에대하여결과적으로 파일을압축하는의도는저장공란의절약과전달속도의증대이다 라는문항이생성된다. 또한사용자는생성된문항중에서일부를 ( 그림 5) 의출력파일에보관하여재사용할수있다. 6. 구현및실험결과 6.1 사용자인터페이스 ( 그림 8) 은본논문에서제시한시스템의사용자인터페이스를보여주고있으며, 다음과같은세부부분으로구성되어있다. 1 문항입력부분 2 유사도측정방법및 Level을선택하는부분 3 후보단어선택을위한콤보박스생성부분 4 최종문장목록부분 5 입력문장목록부분 1은새로운문장을생성할때참고를할문장을입력하는창으로써, 사용자가직접타이핑하여입력할수도있고 5에서체크박스에표기함으로써목록에서불러올수있도록하였다. 2는생성된문항을통하여문제전체의난이도 1 2 3 4 5 ( 그림 8) 사용자인터페이스
한국어워드넷에서의개념유사도를활용한선택형문항생성시스템 7 를조절하는부분이다. 만일높은유사도를가진단어를선택하면, 매우작은의미의차이가있는문장이생성되므로기존의정답문항과의차이점을찾기어려워진다. 반면에낮은유사도를가진단어를선택하여새로운문항을생성하면정답문항과의의미의차이를찾기에용이하기때문에그만큼문제의난이도역시낮아진다. 여기서는두가지방식으로대체어를찾을수있도록하였는데, 첫째는동의어및하위어만을제시하는방법이고, 둘째는워드넷계층공간에서의어휘의미유사도를이용하여유사수준을사용자가직접결정하는방법이다. 두방법중하나를반드시선택하여야한다. 3은문장에서추출된키워드의대체어를보여주는부분이다. 박스를클릭하면대체후보단어들이나열되고, 이중에서선택을하도록한다. 4에서는선택된대체어들로이루어진새로이생성된문장을보여주고, 이문장을파일에저장할수있도록목록을보여주는부분이다. 마지막으로 5는생성시스템이가동된이후에새로이생성된문장들의리스트를보여주고이중에서원하는문장을저장할수있도록해주는부분이다. 6.2 실험및평가 6.2.1 문항의난이도조절사례문제의난이도는기존문항의어휘를유사도를토대로대체함으로써조절한다. 본논문에서는난이도를상향조절하는것을실험하였다. 난이도를높이기위해서정답을토대로오답을구성하거나, 역시정답을토대로정답을재구성 하는방법을이용하였다. 즉의미상정답이라볼수있는문항에서일부어휘를유사도가높은어휘로대체하고, 그결과의미가동일하다고보이는문항은그대로정답문항으로사용하고, 의미가틀려졌다고보이는문항을오답문항으로사용하였다. 이렇게함으로써, 새로운정답문항은정답으로인정할수있는의미를가지지만, 기존정답문항과는약간다른내용을갖게되고, 새로운오답문항은정답으로인정하기어려우나기존정답문항과매우유사한내용을갖게되어수험자의혼란을가져오게된다. 예를들어 파일압축에대한설명중옳은것은? 이라는문제의정답으로 디스크저장공간을효율적으로활용하기위해서압축을한다. 라는문항이사용되었다고가정하자. 이문항에있는명사어휘들을하나씩만유사도 1의관계에있는어휘들로바꾸었을때, 문맥상별문제가없는문장은다음 < 표 4> 에나열되어있다. < 표 4> 의문항들은생성된모든문항중에서출제자가문맥상큰문제가없다고판단한문항만을선택한것인데, 이경우에는전체 83개의생성된문항중에서 18개의문항이선택되었다. 그러나실제실험에서는 2개이상의어휘를대체하기도한다. 이와같이생성된문항중에는정답문항을그대로대체할수있는문항이있고, 오답문항으로사용되는것이바람직한문항도있다. 예를들어, 디스크저장공간을경제적으로활용하기위해서는압축을한다. 와같은문장은정답문항으로사용하여도의미상문제가되지않지만, 디스크저장간격을효율적으로활용하기위해서는압축을한다. < 표 4> 유사도 1의어휘로기존어휘를대체한결과변경어휘생성문장원문디스크저장공간을효율적으로활용하기위해서는압축을한다. 디스크비축공간을효율적으로활용하기위해서는압축을한다. 저장 디스크적재공간을효율적으로활용하기위해서는압축을한다. 디스크축적공간을효율적으로활용하기위해서는압축을한다. 디스크저장면적을효율적으로활용하기위해서는압축을한다. 디스크저장위치를효율적으로활용하기위해서는압축을한다. 디스크저장장소를효율적으로활용하기위해서는압축을한다. 공간 디스크저장지역을효율적으로활용하기위해서는압축을한다. 디스크저장지대를효율적으로활용하기위해서는압축을한다. 디스크저장층을효율적으로활용하기위해서는압축을한다. 디스크저장간격을효율적으로활용하기위해서는압축을한다. 효율 디스크저장공간을경제적으로활용하기위해서는압축을한다. 활용 디스크저장공간을효율적으로이용하기위해서는압축을한다. 디스크저장공간을효율적으로사용하기위해서는압축을한다. 디스크저장공간을효율적으로활용하기위해서는부호화를한다. 압축 디스크저장공간을효율적으로활용하기위해서는암호화를한다. 디스크저장공간을효율적으로활용하기위해서는축소를한다. 디스크저장공간을효율적으로활용하기위해서는집중을한다.
8 정보처리학회논문지 A 제 15-A 권제 2 호 (2008.4) 와같은문장은거의유사하다고볼수있으나엄밀히본다면정답문항으로인정할수없다. 이같은차이는출제자가생성된문장을보고개별적으로판단하여결정한다. 유사도가 2의어휘로대체된문항들은기존문항과의유사도가상대적으로떨어진다. 물론 디스크저장개체를효율적으로활용하기위해서는압축을한다. 와같이의미가거의유사하여기존문항을대체하여사용할수있는경우도있으나, 주로 디스크저장공간을효율적으로재활용하기위해서는압축을한다. 와같이문맥상문제는없으나기존문항과는전혀의미가다른문항이생성된다. 이처럼보다그차이가확실한문항은오답문항으로사용한다. 그리고유사도가 3이넘어가면대부분문맥상이해하기어려운문항들이생성되었으며, 또한문맥이틀리지않더라도기존문장과는그의미가완전히다른문항들이생성되어향후오답문항으로사용될경우해당문제의난이도는더욱낮아진다. 본연구에서제시된자동생성방법은후보어휘들을생성시스템이자동으로생성하여출제자에게제시하고, 이를출제자가문맥상하자가없는지를검토하고, 이를통과한문항을기존문항을대치할수있는문항, 기존문항으로의선택을방해함으로써문제의난이도를높일수있는문항, 그리고기존문항과그의미의차이가커서쉬운난이도의문제를구성할수있는문항으로구분하여활용한다. 후자의경우에는정답문항으로여러후보문항을생성할때, 유사도 2 이상의어휘로생성하여문맥을검증하게되면기존문항과전혀뜻이다른문항들이생성된다. 따라서정답문항으로의미의차이가큰문항을생성한후, 이오답문항을사용하여문제를구성하게되면학생들은문항의오답여부를보다쉽게판단하게되어문제의난이도를낮출수있게된다. 6.2.2 난이도조절실험결과본실험은자동생성시스템을통하여실제문제의난이도를얼마나높일수있었는가에대한평가실험이다. 먼저본실험을위하여컴퓨터활용능력 2급필기문제 [15] 중에서난이도를고려하여 20 문제를선택하였다. 이문제를임의로 10 문제씩 2개의부분으로구분하였는데, 한부분은원래문제그대로인상태이고다른하나는본시스템을활용하여문항을변경한상태이다. 본시스템을가지고문항을변경할때에는유사도가 2 이하인대체어를선택하도록하였다. 각부분들은모두동일한 10명의학생들로하여금풀게하였다. 실험결과, 10개의기존문제를풀게하였을때에는학생들이평균 7.2점을획득한반면에본시스템을활용하여문항을변경하여풀게하였을경우에는평균 6.4점을획득하였다. 보다자세한실험결과는 < 표 5> 에나타나있다. 이러한결과는출제자가유사어를가지고기존의문항과의미상유사해보이는문항을생성함으로써학생들의판단에혼란을주었기때문으로보인다. 본실험의통계적인검증을위하여 paired t-검정 [16] 을 사용하였다. t-검정은기본적으로 2개의집단의평균값이차 이가있는가를검정하는것인데, 본연구에서얻은표본의 경우한학생이원문및변경문에모두답하였으므로, 이 두유형의값이서로독립적이라고보기가어렵다. 따라서 두유형의결과값의차이가 0인지를검정하는 paired t-검 정을적용하였다. 검정시기본가설은원문유형과변경문 유형간점수차이가없다는것이며, 대립가설은두유형간 점수 차이가 통계적으로 유의하게 차이난다는 것이다. ( vs ) 다음 < 표 6> 에 검정결과가정리되어있다. < 표 6> 을보면 t-값이임계값보다크기때문에, 검정통계 량이기각역에속하게되므로기본가설을기각하게되므로, 본연구의결과로두유형간점수차이가통계적으로차이 난다고볼수있다. 즉, 원문의평균이변경문의평균보다 유의하게크다고판정되어본실험의난이도조절효과가 있었다고판단된다. 또한실험의객관성을확보하기위하여, 위와같은실험 을동일한방식으로다른 2개의부류를대상으로행하였다. < 표 5> 10명의학생들의시험결과 1 2 3 4 5 6 7 8 9 10 평균 원문 9 9 6 7 7 6 8 9 6 5 7.2 변경문 9 8 4 6 5 7 8 7 5 5 6.4 < 표 6> paired t-검정결과요약 평균 표준오차 t-값 임계값 0.8 0.327 2.45 2.26 주 : 유의수준 0.05에서의임계값임. < 표 7> 추가실험결과 부류 문제 1 2 3 4 5 6 7 8 9 10 평균 원문 9 6 7 6 6 8 8 7 9 10 7.60 1 변경문 7 4 7 5 5 6 6 8 8 8 6.40 원문 7 9 10 6 7 5 9 7 6 8 7.40 2 변경문 8 8 10 5 5 4 7 9 9 6 7.10 < 표 8> 추가실험의 t-검정결과 개수평균값표준편차 표준오차 (= 표준편차 / t- 값 p- 값 30 0.67 1.37 0.25 2.66 0.0126
한국어워드넷에서의개념유사도를활용한선택형문항생성시스템 9 각부류는 10명의학생으로이루어져있으며각각 10개의원문및변경문에대하여답하도록하였다. < 표 6> 은두부류학생들의시험결과를보여준다. 그리고 < 표 7> 의실험과 < 표 5> 의실험을모두합하여이를하나의실험으로설정하여다시 paired t-검정을실시함으로써원문및변경문의평균의차이가통계적으로유의함이있는지를검정하였다. < 표 8> 은 t-검정의결과를보여준다. < 표 8> 의결과에서 t-값은 2.66이며, p-값은 0.0126으로유의수준인 0.05보다훨씬작다. 따라서귀무가설은기각되며, 평균값이 0.67으로양수의값을가지므로, 변경문에대한시험결과가원문에대한시험결과보다통계적으로유의하게낮다는것을알수있다. 즉시험의난이도가향상되었다고판단할수있다. 7. 결론본연구에서는한국어워드넷의계층구조를이용하여주어진문항을가지고원하는정도의유사도를가진새로운문항을생성하는시스템을구현하였다. 본시스템은대체어의선택시단순히주어진어휘의동의어또는하위어만을고려하는부분과워드넷의계층구조상에서의유사도를고려하여대체어를선택하는부분으로이루어진다. 이렇게다양한정도의유사성을가진문항을생성함으로써원하는정도의문제난이도를구현할수있었다. 워드넷은자체적으로어의중의성문제를가지고있다. 즉하나의어휘가워드넷계층구조상에서복수의위치에나타남으로써실제문장에나타난어휘의위치를판단해야하는문제가있다. 또한워드넷은분야별로새로이등장하는어휘를즉각적으로반영하지못하는문제도가지고있다. 따라서향후이러한워드넷의한계를극복하기위하여첫째, 문제의영역 (domain) 에따라서말뭉치를구축하고이러한말뭉치에서추출되는정보를통하여어의중의성을해소하여야하며, 둘째, 새로이등장하는전문어휘들을워드넷상에위치시킬수있는방법에대한연구가필요하다. 또한다양한문제난이도를구현하기위해서는, 문항의개별키워드별로별도의유사도를반영하여대체어를찾을수있는방법도구현하여야할것이다. 마지막으로시험의성격을반영한시스템의구축이진행되어야할것이다. 본연구에서활용한시험은그성격상전문지식의인지여부를물어보는시험이다. 이러한시험의경우에는많은문항들이특정용어및수치로이루어진다. 이러한성격의시험에서는본연구에서제안된방법이제한적으로활용될수밖에없다. 따라서본연구에서제안된방법을 [8] 의연구에서활용한성격의시험에적용하고이에맞추어최적화하는연구를진행하여야할것이며, 동시에전문지식을물어보는시험에최적화된방법론을새로이개발하여야할것이다. 참고문헌 [1] Educational Testing Service, http://www.ets.org. [2] 황대준, 사이버스페이스상의상호참여형실시간원격교육시스템에관한연구, 한국정보처리학회제4권 3호, 1997. 5. [3] 조은순, 원격교수-학습을위한사고의전환 : 하드웨어에서소프트웨어로, 한국정보처리학회제4권 3호, 1997. 5 [4] 원대희, 강태호, 김원진, 방훈, 이재영, 임의추출분할방식을이용한동적문제출제시스템, 한국정보과학회추계학술대회, 2001. [5] 오정석, 추승우, 조우진, 김유섭, 이재영, 한글워드넷을이용한동적문제출제시스템설계, 한국정보기술학회논문지 4권 5호 pp.37-44, 2006. [6] G. A. Miller, "WordNet: An On-Line Lexical Database", International Journal of lexicography, 1990. [7] 이은령임성신, WordNet2.0의한국어번역작업과결과물, 부산대학교한국어정보처리연구실. [8] 최수일, 임지희, 최호섭, 옥철영, 사용자어휘지능망과자동문제생성기술을이용한한국어어휘학습시스템, 제 18회한글및한국어정보처리학술대회논문집, pp. 15-21, 2006. [9] Graeme Hirst and David St-Onge, Lexical chains as representations of context for the detection and correction or malapropisms, In Fellbaum, pp.305-332, 1998. [10] Claudia Leacock and Martin Chodorow, Combining local context and WordNet similarity for word sense identification, In Fellbaum, pp. 265-283, 1998. [11] 강승식, 범용형태소분석기 HAM Ver 6.0.0, 국민대학교자연언어정보검색연구실, http://nlp.kookmin.ac.kr [12] Wikipedia, http://en.wikipedia.org/wiki/wordnet. [13] Budanitsky, A., and G. Hirst, Semantic Distance in WordNet: An Experimental Application-oriented Evaluation of Five Measures, Workshop on WordNet and Other Lexical Resources, in the North American Chapter of the Association for Computational Linguistics (NAACL-2001), Pittsburgh, PA, June 2001. [14] Date, C. J., An Introduction to Database Systems: 7th edition, Addison Wesley Longman, 1999. [15] 대한상공회의소감정사업단, http://www.passon.co.kr. [16] Goulden, C. H., Methods of Statistical Analyssi 2nd ed., New York: Wiley, pp.50-55, 1956.
10 정보처리학회논문지 A 제 15-A 권제 2 호 (2008.4) 김용범 e-mail : stylemove1@hallym.ac.kr 2008년한림대학교정보통신공학부컴퓨터공학전공 ( 학사 ) 관심분야 : 자연언어처리, 텍스트마이닝, 가상현실, 컴퓨터게임등 김유섭 e-mail : yskim01@hallym.ac.kr 1992년서강대학교전자계산학과 ( 학사 ) 1994년서울대학교대학원컴퓨터공학과 ( 공학석사 ) 2000년서울대학교대학원컴퓨터공학과 ( 공학박사 ) 현재한림대학교정보통신공학부부교수관심분야 : 전산금융, 자연언어처리, 기계학습, e-learning 등