untitled

利 理 漏 劉 麟 {g924, chaolin}@cs.nccu.edu.tw zmgao@ntu.edu.tw 省 力 路 來 路 利 料來 不 漏 利 selectional preference collocation.6 Key Words 論 理 collocations selectional preferences 論 computer-assisted item generation CAIG item pools 年來 [2][6] 利 力 量 力 來 了 [] 路 料量 路 句 率 量 論 利 理 natural language processing 路 率 漏 cloze item 理 行 漏 句 template-base 立句 [3] 諸 來 立句 [2] 不 料 LDC <http://www.ldc.upenn.edu/> OTA <http://ota.ahds.ac.uk/> 行 立 料 句 了 句 易 句 理 來 [6] 利 路 量 濾 句 漏 便 力 理 來 句 便 multiple-choice 漏 了 見 漏 漏 Johns [7] Steven [7] concordance collocation 念 料 Coniam [] 料 word frequency 類 2003 年 路 來 力 利 路 料 漏 來 [4][8] 數 理 例 keyword matching concordancer 連串 句 量 漏 不 句 了 漏 例 句 stem key distractor

漏 例 句 來 易度 item facility 度 item discrimination [2] 更 略 若 [][4] 不 了 類 了 word sense disambiguation 料 句 利 collocation selectional preference [0] 來 立令 度 2 漏 流 3 料 4 句 5 collocation selectional preference 略 6 2 料 句 句 漏 2 2 漏 漏 兩 兩 句 target sentence retriever 料 tagged corpus 漏 句 item specification 3 量 target-dependent item requirements 例 College Entrance Examinations 漏 數 7 28 [8] 來 立 不 數量 3 句 target sentence distractor generator collocation selectional preference 參 來 3 句 漏

3 料來 料 利 路 web crawler Taiwan Journal <http://taiwanjournal.nat.gov.tw> Taiwan Review <http://publish.gio.gov.tw/fcr/fcr.html> China Post <http://www.chinapost.com.tw> 更 度 率 見 料 63,79 句 了 3,077,474 word token 3,732 word type HTML 了 來 落 句 切 句 來 Reynar MXTERMINATOR 句 MXTERMINATOR Brown Wall Street Journal 料 97.5% 句 率 [5] 句 利 來 料 漏 率 利 Ratnaparkhi MXPOST 料 MXPOST Pen Treebank [3] lemma 例 若 classified VBN classify 若 JJ classified Lin MINIPAR [8] 句 MINIPAR arrive at in order to 不 不 MINIPAR 了 partial parse 漏 句 若 MINIPAR 利 行 便 w 句 w w signal word signal 歷 漏 都 [8] 漏 句 行 例 Jimmy builds a grand building 句 build grand 都 building 若 諸 讀 例句 行 WordNet <http://www.cogsci.princeton.edu/wn/> 類 class selectional preference collocation 度 HowNet <http://www.keenage.com\verb> 4 句 2 句 料 句 句 candidate target sentence 句 利 MXPOST 易 了 句 item generator 行 selectional preference 念 4. Selectional Preference 利 selectional preference 行 句 句 類 Selectional preference 切 例 說 chair 垷 句 Susan interrupted the chair [0][4] 句 polysemous word 來 句 HowNet 漏 selectional preference 度 類 令 w π 類 HowNet f ( w, π ) w π 參 ν

ν 率 π w 類 f v ( w 參 ν 率 不 類 w π selectional preference 度 () A ( w, π ) = f ( w, π ) f ( () ν ν 料 w 參 ν 不論 w f v ( 累 令 s w ν Π( s) = { π, π 2, K, π y} s 類 料 w s 參 ν π Π(s) f ν ( w, π ) 數 / y 3 eat tell find HUMAN FOOD 兩 類 料 eat 類 FOOD tell Selectional preference 料 ν = eat tell find HUMAN 0.047 0.487 0.08 類 FOOD 0.44 0.005 0.057 ν 4.2 4. selectional preference WordNet 句 了 句 行 若 WordNet 若 句 They say film makers don't spend enough time developing a good story 例說 句 spend WordNet spend 兩. (99) spend, pass (pass (time) in a specific way; How are you spending your summer vacation? ) 2. (36) spend, expend, drop (pay out; I spend all my money in two days. ) pass (time) in a specific way pay out WordNet ( ) head words 數 ( ) 例句 論 不 spend pass 2 extend drop 句 spend 行 spend 句 句 理 若 料 句 不 領 數 Ω t 不 例句 句 spend context 度 裡 spend 切 句 They say film makers don't spend enough time developing a good story 例 spend 句 makers time 類 spend 例句 類 若 spend 例句 spend 句 數 領 例句 數 Ω s w WordNet n 令 Θ = { θ, θ 2, K, θ n} w w θ i WordNet m i 不 w θ i Λ i = { λi,, λi,2, K, λi, m } w θ i i MINIPAR 句 T w 句 T µ(t) 令 Ψ, = { ψ, ψ, K, ψ } T ( T, T 2, T µ ( T ), T Γ( T, = { ν, T, ν 2, T, K, ν µ ( T ), T w ν k, T T w ψ k, T } w ψ k, T

w i θ i j λ i, j 數 利 () λ i, j T ψ selectional preference 度 k, T µ ( T ) µ ( T ) k= A ν k, T ( λ ψ i, j, k, T ) θ i 數 θ i 數 mi µ ( T ) Ωt ( θ i w, T ) = Aν ( λ,,, ) k, T i j ψ k T (2) m µ ( T ) i j= (2) 句 T w θ i 數 selectional preference 度 Aν ( λ,,, ) k, T i j ψ k T 數 Ω t 兩 數 落 0 WordNet 例句 例句 句 度 句 利 句 令 T S w 句 w θ i 例句 列 3 θ i 例句 數 Ω 例句 (3) θ s i 例句 數 數 (θ i w,t). w T S Ψ( T, Ψ( S, w Γ( T, Γ( S, Ψ ( T, = { ψ, T, ψ 2, T, K, ψ µ ( T ), T Ψ( S, = { ψ, S, ψ 2, S, K, ψ µ ( S ), S Γ ( T, = { ν, T, ν 2, T, K, ν µ ( T ), T Γ ( S, = { ν, S, ν 2, S, K, ν µ ( S ), S } } } } 2. T w ψ j, T S w ψ k, S ν j, T = ν k, S ψ j, T n, 類 ( ψ ) = { π, π,..., π } k= Π j, T j, T, j, T,2 j, T, n j, T k, S { π k, S,, π k, S,2,..., π k, S, n k ( ψ, j,t π k, s, j, T, l π k, S, m HowNet j T ψ HowNet n k, S 類 Π( ψ k, S ) = } Π S ) 類 π j, T, l Π( ψ k,s ) 類 m π = 類 累 數 M ( θ i, T ) / n j, T M ( θ i, T) = 0; mark allν j, T Γ( T, as unmatched; for ( j = 0; j < µ ( T ); j + + ) for ( k = 0; k < µ ( S); k + + ) if (( ν j, T unmatched)and ( ν j, T = ν k, S )) { mark ν j,t as matched; for ( l = 0; l < n j, T ; l + + ) for ( m = 0; m < n, ; m + + ) } k S j, T, l = π k, S, m ) M ( θ i, T ) = M ( θ i, T ) n j, T if ( π + 3. (3) 度量 句 例句 數 M ( θi, T ) Ω s ( θ i w, T ) = (3) µ ( T )

句 T w θ i 數 (2) Ωt ( θ i w, T ) 數 (3) Ω ( w, T ) 例句 數 若 s θ i 數 (4) threshold 句 T w 數 若 Ω ( w, T ) Ω ( w, T ) 度不 t θ i s θ i 不 率 句 6. 論 不 率 arg max Ω θ i Θ i t ( θ w, T ) + Ω i s ( θ w, T ) i (4) 5 漏 了 若 不 不 諸 漏洞 易參 識 不 句 易 略 culture-dependent 略 力 了 [2][8] ρ ρ n n m n [ m n /0, m + n /0] 度 fitness 度 類 類 collocation 類 HowNet 3 料 句 若 句 句 句 令 T = { t, t2, K, tq} 不 T 列兩 濾 ( ) ( ) 兩 句 clause 令 T ' T 句 T T ' = { t', t2', K, tq' '} κ pointwise mutual information C = S, S, K, S } 料 句 (κ ) Π Π t ') 料 S η w ) S Π(χ) Π t ') 不 例 η ( i Pr( Π( κ)) = { S η contains w and Π( Π( κ) φ} ℵ Sη Pr( Π( t i')) = { Sη contains χ and Π( χ) Π( t i ') φ} ℵ Sη ( i { 2 ℵ κ i' Π(w Π(κ ) 不 例 理 Pr( Π( t ')) t 類 Pr( Π( κ)) i 料

Pr( Π( κ), Π( ti' )) 料 S η w Π( Π(κ ) Π(χ) Π t ') 不 例 ( i Pr( Π( κ), Π( t ')) = { ℵ S contains w, χ where w χ and Π( Π( κ) φ and Π( χ) Π( ') φ} i η t i Sη 度 (5) Pr( Π( κ), Π( ti ')) f ( κ ) = log (5) q' ' Pr( Π( κ))pr( Π( t ')) ti T 若 f (κ ) 0.3 了 collocation 數 0.3 (5) 220 練 料 練 料 992 年 2003 漏 i 6 6. 理 索 論 [0] 不 異 異 率落 40% 90% [4][9] 不 劣 若不 SENSEVAL 論 2 率 = 0.4 = 0.7 38.0%(9/50) 57.%(6/28) 68.4%(3/9) 34.0%(7/50) 63.3%(9/30) 7.4%(5/2) 26.7%(8/30) 55.6%(0/8) 60.0%(6/0) 36.7%(/30) 52.4%(/2) 58.3%(7/2) 料 料 60 句 句 了 50 50 30 30 60 WordNet 數量 2 verification frightened 9 have 4.85 60 行 率 率 2 baseline 欄 率 見 見 WordNet 兩欄 (4) 不 0.4 0.7 率 4.2 留 度不 了 率 不令 率 了 率 rejection rate 料 不 更 句 率 率 WordNet 都 例句 例句 不 例句 數 Ω s 0 WordNet 例句 不 例句 例句 不 若 WordNet 見 例句

6.2 漏 4 3 數 4 3 item generator 200 了 不 數 參 [8] 992 年 2003 年 漏 不 4 例 35% 30% 20% 4% 例 77 62 35 26 句 裡 (4) 0.7 3 2 不 率 3 率 不論 2 [8] 例 200 漏 4 料 來 句 來 率 4 數 量 3 句 率 類 數量 句 率 漏 77 66.2% 62 69.4% 35 60.0% 26 6.5% 65.5% 4 率 類 數量 率 漏 64 90.6% 57 94.7% 46 93.5% 33 84.8% 9.5%

6.3 更 路 [4] 兩 4 路 行 立 錄 student modeling 利 料 易度 度 了 不 漏 了 idiom phrase 5 了 更 力 [5] 見 來 說 讀 力 [9] 5 例 7 論 論 了 理 漏 益 流 漏 不 易 理 了數年 句 不 理 來 落 句 句 不 度 [0] 略來 漏 利 collocation 料 90% 量 漏 數 不 立.6 來 率 不 來更 句 句 易度 度 率

不 不 料 不 來參 論 9-24-H-002-080 92-223-E-004-004 參 [] D. Coniam, A preliminary inquiry into using corpus word frequency data in the automatic generation of English language cloze tests, Computer Assisted Language Instruction Consortium, 6 (2 4), 997, 5 33. [2] P. Deane, K. Sheehan, Automatic item generation via frame semantics, Education Testing Service: http://www.ets.org/research/dload/ncme03-deane.pdf (2003). [3] I. Dennis, S. Handley, P. Bradon, J. Evans, S. Nestead, Approaches to modeling item generative tests, in: Item Generation for Test Development [2] 53 72, 2002, 53 72. [4] Z.-M. Gao, C.-L. Liu, A Web-based assessment and profiling system for college English, Proc. of the th Int l Conf. on Computer Assisted Instruction, 2004, CD ROM. [5] S.-M. Huang, C.-L. Liu, Z.-M. Gao, Toward computer assisted learning for English dictation, Proc. of the 2003 Joint Conf. on Artificial Intelligence, Fuzzy Systems, and Grey Systems, 2003, CD ROM. [6] S. H. Irvine, P. C. Kyllonen (Eds.), Item generation for test development (Lawrence Erlbaum Associates, 2002). [7] T. Johns, http://web.bham.ac.uk/johnstf/timcall.htm. [8] D. Lin, Dependency-based evaluation of MINIPAR, Proc. of the Workshop on the Evaluation of Parsing Systems in the st Int l Conf. on Language Resources and Evaluation, 998,. [9] C.-L. Liu, Using mutual information for adaptive student assessments, Proc. of the 4 th IEEE Int l Conf. on Advanced Learning Technologies, 2004, to appear. [0] C. D. Manning, H. Schütze, Foundations of statistical natural language processing (MIT Press, 999). [] A. Oranje, Automatic item generation applied to the national assessment of educational progress: Exploring a multilevel structural equation model for categorized variables, Education Testing Service: http://www.ets.org/research/dload/ncme03-andreas.pdf (2003). [2] C. J. Poel, S. D. Weatherly, A cloze look at placement testing, Shiken: JALT (Japanese Assoc. for Language Teaching) Testing & Evaluation SIG Newsletter, (), 997, 4 0. [3] A. Ratnaparkhi, A maximum entropy part-ofspeech tagger, Proc. of the Conf. on Empirical Methods in NLP, 996, 33 42. [4] P. Resnik, Selectional preference and sense disambiguation, Proc. of the Applied NLP Workshop on Tagging Text with Lexical Semantics: Why, What and How, 997, 52 57. [5] J. C. Reynar, A. Ratnaparkhi, A maximum entropy approach to identifying sentence boundaries, Proc. of the Conf. on Applied NLP, 997, 6 9. [6] K. M. Sheehan, P. Deane, I. Kostin, A partially automated system for generating passage-based multiple-choice verbal reasoning items, paper presented at the Nat l Council on Measurement in Education Annual Meeting (2003). [7] V. Steven, Classroom concordancing: vocabulary materials derived from relevant authentic text, English for Specific Purposes, 0 (), 99, 35 46. [8] C.-H. Wang, C.-L. Liu, Z.-M. Gao, Toward computer assisted item generation for English vocabulary tests, Proc. of the 2003 Joint Conf. on Artificial Intelligence, Fuzzy Systems, and Grey Systems, 2003, CD ROM. [9] Y. Wilks, M. Stevenson, Combining independent knowledge sources for word sense disambiguation, Proc. of the Conf. on Recent Advances in NLP, 997, 7.