ISSN (Online) Commun Sci Disord 2017;22(3): Original Article Analysis of Korean Viseme System in K

Transcription

1 ISSN (Online) Commun Sci Disord 2017;22(3): Original Article Analysis of Korean Viseme System in Korean Standard Monosyllabic Word Lists Jaehee Choi a, Keonseok Yoon a, Hyesoo Ryu a, Hyunsook Jang b a Department of Speech Pathology and Audiology, Graduate College, Hallym University, Chuncheon, Korea b Division of Speech Pathology and Audiology, Research Institute of Audiology and Speech Pathology, Hallym University, Chuncheon, Korea Correspondence: Hyunsook Jang, PhD Division of Speech Pathology and Audiology, Hallym University, 1 Hallimdaehak-gil, Chuncheon 24252, Korea Tel: Fax: hsjang@hallym.ac.kr Received: April 10, 2017 Revised: June 9, 2017 Accepted: June 25, 2017 Objectives: The purpose of this study was to investigate the speechreading abilities of the Korean population and verify the Korean viseme system by utilizing the Korean Standard Monosyllabic Word List for Adults (KS-MWL-A), a list of words selected in consideration of phonemic balance and frequency of everyday use. Methods: KS-MWL-A words spoken by both male and female speakers were filmed. The speechreading test with no auditory cues was performed on 32 subjects and the percent correct scores of words and phonemes were identified and analyzed using ANOVA. Three positions of phonemes, initial, medial and final, were classified according to a confusion matrix to determine the Korean viseme groups based on a criterion of a 60% correct response. Results: The results showed that the percent correct score of words was 13.00%. The percent correct scores of phonemes of initial, medial, and final positions were 19.04%, 48.26%, and 44.77%, respectively. The Korean visemes were classified as initial phonemes [/k, kh, k, h, [ ]/, /n, d, t, th, (s), [ ]/, /m, p, ph, p /, /s, s, ʨ, ʨh/], medial phonemes [/i, ɯ, ɯi/, /wi/, /o, jo/, /a, ja/, /u, ju/, /ʌ, jʌ/, /wa, Ø, (wε)/, /jε, æ, e/] and final phonemes [/[ ], k, ŋ/, /n, d/, /l/, /m, b/]. Conclusion: It was revealed that vowels affect both the initial and final position of consonants in the Korean viseme system. Furthermore, the sensitivity to the presence of the final consonant seemed to have the capability to affect the final consonant of the viseme system. Keywords: Speechreading, Lipreading, Viseme, Korean, Korean Standard Monosyllabic Word Lists for Adults (KS-MWL-A) 독화 (speechreading) 는시각정보에해당하는화자의얼굴및입모양을관찰함으로써발화내용을이해하는의사소통의과정 (De Filippo & Sims, 1988; Dodd & Campbell, 1987; Jeffers & Barley, 1971; O Neill & Oyer, 1981) 으로청각장애인대다수에게주된의사소통방식으로널리사용되고있으며 (Lamoré, Huiskamp, van Son, Bosman, & Smoorenburg, 1998; Bernstein, Tucker, & Demorest, 2000), 청력손실의정도가심할수록그의존의정도도커진다. 건청인역시일상속의사소통에서독화를활용하는것으로보고되었으며 (Grant, Walden, & Seitz, 1998; Woll, 2012), 청각장애인과건청인모두독화수행도에큰개인차를보이는것으로나타났다 (Bernstein et al., 2000; Mohammed et al., 2005; Watson, Qiu, Chamberlain, & Li, 1996). 독화는또한화자의말을인지하기위해청각단서와시각단서 양쪽을활용하는의사소통방식으로정의됨으로써시각단서에만의존하는독순 (lipreading) 과구별짓기도한다 (Tye-Murray, 2014). 그러나 Burnham, Campbell, Away 와 Dodd (2013) 는시각정보를통해인지되는것이결국은얼굴움직임이아니라발화내용이기때문에독화라는용어가독순을대체하고있다고하였다. 독순이나독화를통한말인지의핵심원리는입모양의기반이발화내용의기저구조에있다는것이다 (Holden & Owens, 2000). Fisher (1968) 는연구대상자에게자음-모음-자음 (consonant-vowel-consonant, CVC) 형태의자극을시각적으로확인하게한결과, 첫자음과마지막자음에대한반응음소군이서로차이를보이는것을보고하였으며, 이연구결과를바탕으로얼굴움직임이유사한말소리집단이시각적음소로기능한다는의미에서 visual 과 phoneme 을결합한독화소 (viseme) 란용어를제안하였다. 독화소 Copyright 2017 Korean Academy of Speech-Language Pathology and Audiology This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial License ( by-nc/4.0) which permits unrestricted noncommercial use, distribution, and reproduction in any medium, provided the original work is properly cited

2 Jaehee Choi, et al. Analysis of Korean Viseme System in Korean Standard Monosyllabic Word Lists 개념은말소리의음소에대응하는입술움직임의시각적표상을의미하는동시에말소리의구분가능한시지각적최소단위를가리킨다 (Chen, 2001; Jackson, 1988; Owens & Blazek, 1985). 독화소는전체음소수에비해수가적으며 (Walden, Prosek, Montgomery, Scherr, & Jones, 1977), 독화과정에서동일독화소군을구성하는음소들간에발생하는혼동이서로다른독화소군에속한음소들간에발생하는혼동에비해난이도가높다는특징이있다 (Chen & Rao, 1998; Summerfield, 1987). 영어권의독화소분류에관한연구들은주로모음-자음-모음 (vowel-consonant-vowel, VCV) 또는 CVC 등의맥락조건으로구성된자극에대한혼동행렬을통해군집내반응률을기준으로독화소를결정하였으며, 그결정기준은임의적인것으로 70% (Binnie, Jackson, & Montgomery, 1976; Montgomery, Walden, & Prosek, 1987), 75% (Benguerel & Pichora-Fuller, 1982; Kricos & Lesner, 1982; Owens & Blazek, 1985; Walden, Erdman, Montgomery, Schwartz, & Prosek, 1981), 80% (Wozniak & Jackson, 1979) 등주로 70% 이상의군집내반응률을사용하였다. 특히맥락조건에있어전후의모음환경이자음의독화소체계에지대한영향을미치는것으로나타났다 (Auer & Bernstein, 1997; Cohen & Massaro, 1993; Owens & Blazek, 1985). 가령 two 의경우 /t/ 는 /u/ 를연상시키는둥근형태를갖지만, tea 에서의 /t/ 는 /i/ 를연상시키는퍼진형태를가지면서다른반응음소를갖게된다 (Cohen & Massaro, 1993; Owens & Blazek, 1985). Owens와 Blazek (1985) 은영어자음 23개와모음 4개를사용한 VCV 자극을비디오로녹화하여 5명의건청인과 5명의청각장애인에게제시하여독화소판정기준 75% 에서모음 /a/ 가자음과결합할때구별가능한독화소가 7개였고 /a/, /ʌ/, /i/ 을사용했을때독화소군 5개가공통되는결과가나타났으나, 모음이 /u/ 였을때구별가능한독화소는입술의움직임이강한양순음 /p, b, m/ 과순치음 /f, v/ 두가지뿐이었음을보고하였다. Auer와 Bernstein (1997) 은시각적혼동이발생하는음소들에대하여일종의독화소체계인음소등가성분류체계 (phonemic equivalence classes, PECs) 를정리하였으며, 이를통해모음환경별자음의독화소체계에미치는영향을정리하였다. 한국어의독화소체계에대한연구는제한적이다 (Kim JH, 1992; Kim YW, 1993, 1997; Lee & Kim, 1991; Lee et al., 2006). Kim (1992) 은 Jeffers와 Barley (1971) 의독화운동자질에따른분류를사용하고말의음운론적기초와시각적요소를바탕으로한국어독화소체계를초성자음독화소군 / ㅂ, ㅃ, ㅍ, ㅁ /, / ㅅ, ㅆ, ㅈ, ㅉ, ㅊ /, / ㄷ, ㄸ, ㅌ, ㄴ, ㄹ /, / ㄱ, ㄲ, ㅋ, ㅎ / 4개, 중성모음독화소군 / ㅏ, ㅓ, ㅑ, ㅕ /, / ㅐ, ㅔ, ㅒ, ㅖ /, / ㅗ, ㅜ, ㅚ, ㅟ, ㅛ, ㅠ /, / ㅘ, ㅙ, ㅝ, ㅞ /, / ㅡ, ㅣ, ㅢ / 5개, 종성자음독화소군 / ㅂ, ㅍ, ㅁ /, / ㄷ, ㅌ, ㄴ, ㅅ, ㅆ, ㅈ, ㅊ, ㅎ /, / ㄱ, ㄲ, ㅋ, ㅇ /, / ㄹ / 4개로분류하였다. Lee 등 (2006) 또한한국어의자음과모음의시각적요소를조음자질에기초하여분류하였는데초성자음을 / ㅂ, ㅃ, ㅍ, ㅁ /, / ㅅ, ㅆ, ㅈ, ㅉ, ㅊ /, / ㄷ, ㄸ, ㅌ, ㄴ, ㄹ /, / ㄱ, ㄲ, ㅋ /, / ㅎ / 5개, 단모음을 / ㅗ, ㅜ, ㅚ, ㅟ /, / ㅣ, ㅡ, ㅓ /, / ㅔ, ㅐ /, / ㅏ / 4개, 종성자음을 / ㅂ, ㅍ, ㅁ /, / ㄷ, ㅌ, ㄴ, ㅅ, ㅆ, ㅈ, ㅊ, ㅎ /, / ㄹ /, / ㄱ, ㄲ, ㅋ, ㅇ / 4개로정리하였다. Kim (1997) 은실제독화결과를확인하기위해초성자음 19개를모음 /a/ 와결합하고, 단모음 10개와이중모음 12개를 /h/-v-/g/ 의형태로결합한자극을 39명의연구대상자에게시각적으로제시하였으며, 독화소기준을군집내정반응률 60% 로설정하고계층적군집분석을통하여독화소체계를분류하였다. 그결과, 초성자음의독화소를 / ㅂ, ㅃ, ㅍ, ㅁ /, / ㄷ, ㄸ, ㅌ, ㄴ /, / ㅇ /, / ㄱ, ㄲ, ㅋ, ㄹ, ㅎ /, / ㅅ, ㅆ /, / ㅈ, ㅉ, ㅊ / 6개로분류하였고, 모음의독화소를 / ㅝ /, / ㅣ, ㅡ, ㅢ /, / ㅟ /, / ㅏ, ㅑ /, / ㅗ, ㅛ /, / ㅓ, ㅕ /, / ㅚ, ㅞ, ㅙ, ㅘ /, / ㅜ, ㅠ /, / ㅔ, ㅐ, ㅖ, ㅒ / 9개로분류하였다. 독화소군을결정하는판정기준인 60% 변별도는연구자가음소의평균독화율을기초로임의로설정하였다. 독화소체계연구는독화수행도평가및훈련을위한바탕이되며, 국내에서도한국어독화소체계를기반으로한독화수행도평가및훈련이이루어지고있다 (Kuk & Kang, 1997; Kuk, 1998; Lee, 2010). Kuk과 Kang (1997) 그리고 Kuk (1998) 의연구에서는 Kim (1992) 의독화소분류체계에따른독화검사를실시하였으며, Lee (2010) 는 Kim (1997) 의독화소체계를통해건청인과청각장애인의독화정확도를비교하였다. Kim (1997) 은한국어독화정확도에대해초성자음은 38.3%, 이중모음을포함한모음은 61.6% 로자음보다모음과이중모음의정확도가높으나모음의입모양이독화에변별적단서로작용하지않으며, 시지각적혼란이조음방법이동일한음소에서보다조음위치가동일하거나인접한음소에서더크게나타났음을보고하였다. Lee (2010) 는전체음소에대한독화정확도 26.17%, 모음 55.88%, 단모음 44.64%, 이중모음 63.75% 로나타났음을보고하였다. Lim과 Sim (2016) 은스마트폰을통한독화훈련의효과를평가하는연구에서 Lee 등 (2006) 의독화소체계를사용하였으며, Kim (1992, 2005, 2016) 은자신의독화소체계에기반한독화기능검사를개발하였다. 이렇듯한국어독화소체계가평가및훈련에적용되고있으므로보다실질적인독화소체계에대한검증이필요하다. 즉실제적독화능력을바탕으로한국어독화소체계를살핀 Kim (1997) 의연구에서는자음과모음을각각 C-/a/ 와 /h/-v-/g/ 조건으로제시하였는데이러한조건들이자음이나모음의조음운동에영향을적게받는잇점 (Montgomery & Jackson, 1983) 이있지만, 일상의의 616

3 한국표준단음절어표를이용한한국어독화소체계분석 최재희외 사소통상황에서의독화능력을평가하기위해서는다양한자모음맥락을활용할필요가있다. 한국어에서도맥락조건에따라다른소리로발음되는자음을변이음또는이음이라하며, 맥락에대한변수로는해당음소가초성또는종성에위치하는지와전후로유성음이오는지의여부, 특정후행모음의유무등이관련되는데이러한맥락조건이자음의청각적특성만아니라시각적특성에도영향을미치는가에관한문제가제기될수있다. Kim (1993) 은자음을모음 /a/ 및 /i/ 와결합하여제시하고독화소기준을 30% 로설정했을때자음의독화소체계에변동이있었음을보고하였으며, Lee (2010) 는독화능력이자모음환경에따라차이를보일수있으므로고정된제시조건에서독화능력을보는것의문제점을지적하고다양한모음환경의필요성을강조하였다. 또한 Hiki와 Fukuda (1997) 는독화능력을평가할때일상속대화에서각음소마다출현빈도수에상당한차이가있음을고려해야한다고하였으며, Auer, Bernstein, Waldstein과 Tucker (1997) 는독화검사를위한자극을제시할때가장빈번하게사용되는자음군을사용하였다고밝혔다. Lidestam과 Beskow (2006) 는연구대상자 24명을대상으로자음독화검사를실시할때단어와문장에서가장많이사용되는자음 18개를사용하였음을보고하였다. 국내일반적어음청각검사에서사용되는단어인지검사의단음절자료에관한연구들에서는검사자료가갖춰야할요소들을일상회화체에서사용되는음소의대표성, 음소의균형, 음소에대한친숙도및시대성등 4개로정리하였으며 (Byun, Chung, Kim, & Go, 2005; Kim et al., 2008), 한국표준일반용단음절어표 (Korean Standard Monosyllabic Word List for Adults, KS-MWL-A; Kim et al., 2008) 는이러한기준들에입각하여총 200개의유의미 1음절단어로개발된목록이다. 본연구의목적은성인을대상으로한국표준단음절어표를활용한독화검사를실시함으로써일상회화에서자주사용하는음소를중심으로다양한자모음환경에서독화정확도를살펴보고그결과에따라한국어독화소체계를초성 중성 종성별로분석하는데있다. 연구방법연구대상본연구에서교정시력이 0.8 이상이고청력이정상인성인 32명 ( 남 19, 여 13) 을대상으로독화검사를실시하였으며, 연구대상자의평균연령은 21.5 세 ( 범위 : 20-28세 ) 였다. 연구대상자는 GSI 61 (Grason- Stadler Inc., Eden Prairie, MN, USA) 을사용한순음청력검사결과, 양측귀모두 500, 1,000, 2,000, 4,000 Hz에서 20 db HL 이하였다. 검사도구본연구에서독화검사를위한자료로한국표준일반용단음절어표 (Kim et al., 2008) 를사용하였다. 단음절어표는한국어회화체의출현음소빈도및친숙도를고려하여각목록당 50개씩총 4개목록의 200개단어로구성되어음절의위치별로한국어초성자음 19개중 / ㄹ /, / ㅉ / 을제외한 17개, / ㅒ /, / ㅙ /, / ㅝ /, / ㅞ / 를제외한중성모음 17개, 종성 7개와종성이없는형태를의미하는열린음절 ( 무종성 ) 형태로구성되어있다. 독화검사를위한영상자료를제작할때방음실내에서표준어를사용하는 20대성인남녀화자 2명이한국표준단음절어표의목록 4개를자연스럽게발화하는모습을삼성갤럭시노트 5 (SM-N920S) 로정면 1.5 m 거리에서녹화하였다 ( 해상도 , 30 fps). 촬영한영상의편집은동영상편집프로그램 Premiere Pro CC (Adobe Systems, San Jose, CA, USA) 를사용하였다 ( 인코딩해상도 ). 영상을편집하는과정에서자극과자극사이에 5초의간격을삽입하고 5초카운트다운영상을제시함으로써새로운자극이제시될때마다연구대상자의주의를환기할수있도록하였다. 목록별영상자료의평균상영시간은 3분이었다. 검사절차모든연구대상자는본실험에앞서연구내용에대해상세한설명을듣고사전동의서를작성하였다. 독화소는말소리의구분가능한시지각적최소단위 (Chen, 2001) 로독화검사는조음운동시나타나는시각적특징을보아자극음소를인지하는과정 (Kim, 1997) 으로독화검사를실시할때조용한공간에서모니터 (Dell 2412M, 1,920 1,200) 를연구대상자의정면 1 m에위치시키고사전에녹화한영상자료를음성없이상영하였다. 연구대상자들에게화자의얼굴또는입모양을통해인지한단어를응답지에받아쓰도록안내하였다. 본실험에앞서한국표준단음절어표에미포함된단음절어 5개를녹화한영상을연습용으로제시하여연구대상자가자극사이에삽입된 5초의간격과카운트다운등독화검사가이루어지는절차에익숙해지도록하였다. 본실험에서는연구대상자에게단음절어 4개목록을무작위순서로제시하였으며연구대상자의절반 (16 명 ) 에게는남성화자영상을, 나머지절반에게는여성화자영상을제시하였다. 2개의목록을제시한후에는 5분의휴식시간을가짐으로써피로효과를방지하고자하였다. 자료분석단음절어 200개에대한독화정확도로서단어정반응률과음소 617

4 Jaehee Choi, et al. Analysis of Korean Viseme System in Korean Standard Monosyllabic Word Lists 정반응률을구하였다. 단음절어는한국어초성자음 16개와초성이없는형태를의미하는무초성 [ ] 1개, 중성모음 17개, 종성자음 7개와무종성 [ ] 1개로나누어분석하였다. 음소의경우에는초성, 중성, 종성별로정반응률과오류반응음소의출현율을구하였고, 이를기반으로혼동행렬을작성하였다. 초성자음의경우후행모음에따라나타나는반응음소들을정반응률이높은순서대로반응음소군에포함하였으며, 누적정반응률 60% 이상을기준 (Kim, 1997) 으로하였다. 60% 에미치지못하는경우에는오류출현율 8% 이상인자음까지포함하였다. 그후군집내정반응률 60% 이상을기준으로초성의독화소군을결정하였다. 중성모음과종성자음의독화소군을결정할때에도동일한기준을적용하였다. 통계분석본연구의통계분석에 IBM SPSS version 23 (IBM, Armonk, NY, USA) 을사용하였다. 목표단어와초성, 중성, 종성음소별로독화정확도의평균과표준편차등의기술통계를구하였고, 초성자음 16개와무초성 [ ] 1개, 중성모음 17개, 종성자음 7개와무종성 [ ] 1개의독화정확도에대해반복측정일원분산분석 (repeated oneway ANOVA) 과사후분석을실시하였다. 초성자음의경우에는조음위치에따라양순음, 치경음, 경구개음, 연구개음, 성문음으로, 조 음방법에따라파열음, 파찰음, 마찰음, 비음으로분류하여각독화정확도의평균과표준편차를구하였으며, 반복측정일원분산분석과사후분석을실시하여조음위치와조음방법에따른초성자음간독화정확도의차이를살펴보았다. 중성모음의경우에는단모음과이중모음, 평순모음과원순모음, 전설모음과후설모음으로분류하여각독화정확도의평균과표준편차를구하고대응표본 t-검정 (paired t-test) 을실시하여각분류별차이를살펴보았다. 종성자음의경우한국어의 7종성법에따른 7개의자음과함께무종성에대한독화정확도의평균과표준편차를구하고반복측정일원분산분석과사후분석을실시하였다. 본연구에서실시한분산분석에서 Mauchly 구형성가정이충족되지않은경우에는 Greenhouse- Gasser 검증값을사용하였으며, 사후분석은다중비교로인해나타나는 1종오류의증가를조정하기위해서 Bonferroni alpha correction을사용하여유의도를검증하였다. 연구결과독화정확도성인 32명을대상으로한국어단음절어 200개를사용하여독화검사를실시하고독화정확도를분석한결과, 단음절어전체의평 Table 1. Confusion matrix of initial phonemes (%) Stimulus ㄱ k ㄲ k ㅋ kh ㅎ h ㅇ [ ] ㄴ n ㄷ d ㄸ t Response k k kh h [ ] n d t th m p p ph s s ʨ ʨh Frequency Initial phoneme /r/, /ʨ / were not used in the Korean Standard Monosyllabic Word List for Adults (KS-MWL-A). [ ] means zero consonant. ㅌ th ㅁ m ㅂ p ㅃ p ㅍ ph ㅅ s ㅆ s ㅈ ʨ ㅉ ʨh ㄹ r 618

5 한국표준단음절어표를이용한한국어독화소체계분석 최재희외 균정반응률은 13.00% 였으며, 음소정반응률의평균과표준편차는초성자음 19.04%±14.80%, 중성모음 48.26%±17.91%, 종성자음 44.77%±15.40% 였다. 일원분산분석결과, 초성, 중성, 종성음소간유의한차이를 (F(2, 34) = , p=.000) 를보였으며, 사후분석결과, 초성은중성과종성간유의한차이 (p=.000) 를보였으나중성과종성에서는유의한차이가없었다 (p =.387). 초성자음의독화정확도초성자음 16개와무초성 [ ] 1개의독화정확도및반응음소의출현율을혼동행렬로나타낸결과는 Table 1과같다. / ㅂ /(60.80%) 을제외하고는모두 40% 이하의낮은독화정확도를나타내었는데 30% 대 /[ ]/(37.68%), / ㅍ /(32.50%), 20% 대 / ㅅ /(29.53%), / ㅈ /(28.47%), / ㅁ /(25.24%), / ㄱ /(23.96%), / ㄷ /(20.22%), 10% 대 / ㅎ /(15.28%), / ㅃ / (12.50%), / ㅊ /(10.16%), 10% 미만은 / ㅌ /(5.21%), / ㄲ /(3.65%), / ㄸ / (2.08%), / ㅆ /(0%) 순이었다. 초성자음간독화정확도에대한일원분산분석결과, 유의미한차이를보였으며 (F(7.891, ) = , p=.000), 사후분석결과, 자음 / ㅂ / 이모든자음에비해유의하게높았고, 다음으로 /[ ], ㅍ, ㅅ, ㅈ, ㅁ, ㄱ, ㄷ / 군이 / ㅌ, ㄲ, ㄸ, ㅆ / 군에비해유의하게높은것으로나타났다 (p=.0029). 초성의조음위치에따른독화정확도의평균과표준편차는양순음 (/ ㅂ, ㅃ, ㅍ, ㅁ /) 31.80%±7.43% 로가장높았고, 경구개음 (/ ㅈ, ㅊ /) 19.14%±11.13%, 연구개음 (/ ㄱ, ㄲ, ㅋ, ㅇ /) 18.20%±6.47%, 성문음 (/ ㅎ /) 18.05%±12.85%, 치경음 (/ ㄷ, ㄸ, ㅌ, ㅅ, ㅆ, ㄴ /) 11.05% ±5.33% 순이였다 (Figure 1). 초성의조음위치에따른독화수행도의차이를확인하기위해일원분산분석을실시한결과, 유의미한차이가있는것으로나타났다 (F(2.589, ) = , p= 0.000). 사후분석결과, 양순음이다른음들에비해유의하게높았고 (p<.01), 치경음이다른음들에비해유의하게낮았으나 (p<.01) 경구개음, 연구개음, 성문음사이에유의미한차이가없었다 (p<.01). 초성의조음방법에따른평균독화정확도및표준편차는비음 (/ ㅁ, ㄴ, ㅇ /) 23.27%±10.84%, 파찰음 (/ ㅈ, ㅊ /) 19.14%±11.13%, 파열음 (/ ㅂ, ㅍ, ㅃ, ㄷ, ㅌ, ㄸ, ㄱ, ㅋ, ㄲ /) 18.53%±6.33%, 마찰음 (/ ㅅ, ㅆ, ㅎ /) 15.91%±9.36% 순으로일원분산분석결과, 조음방법간유의미한차이가나타나지않았다 (F(3, 93) = 3.300, p>.01). 중성모음의독화정확도중성모음별독화정확도및반응음소의출현율을혼동행렬로나타낸결과는 Table 2와같다. 70% 이상의독화정확도를보인것은단모음 / ㅏ /(84.38%), / ㅓ /(74.46%), / ㅣ /(93.64%), / ㅗ /(88.19%), / ㅜ / (77.81%), / ㅟ /(92.71%), 이중모음 / ㅘ /(71.88%) 이었다. 50% 대의정확도를보인것은단모음 / ㅐ /(52.60%), 이중모음 / ㅕ /(58.75%), 30% 대의정확도를보인것은단모음 / ㅚ /(30.00%), 이중모음 / ㅠ /(33.33%), 10% 대의정확도를보인것은단모음 / ㅔ /(10.94%), / ㅡ /(15.14%), 이중모음 / ㅛ /(14.38%), / ㅑ /(10.42%), 10% 미만의정확도를보인것은이중모음 / ㅖ /(7.29%) 이었다. 중성음소 17개의독화정확도에대한일원분산분석결과, 유의미한차이가있었으며 (F(6.459, ) = p=.000), 사후분석결과에서중성 / ㅣ, ㅟ, ㅜ, ㅗ, ㅏ / 군이 / ㅛ, ㅑ, ㅔ, ㅖ, ㅓ, ㅠ, ㅛ, ㅚ, ㅡ / 군에비해유의미하게높은것으로나타났다 (p=.0029). 중성모음을단모음과이중모음, 평순모음과원순모음, 전설모음과후설모음으로각각나누어독화정확도의평균과표준편차를살펴본결과 (Figure 2), 단모음 (/ ㅏ, ㅐ, ㅓ, ㅔ, ㅣ, ㅗ, ㅚ, ㅜ, ㅟ, ㅡ /) 은 61.95%±8.06%, 이중모음 (/ ㅑ, ㅕ, ㅖ, ㅘ, ㅛ, ㅠ, ㅢ /) 은 27.68% ±10.62% 로단모음이이중모음에비해독화정확도가유의하게높았다 (t =13.064, p=.000). 평순모음 (/ ㅏ, ㅐ, ㅓ, ㅔ. ㅣ, ㅡ /) 은 55.34% ±7.96%, 원순모음 (/ ㅜ, ㅗ, ㅟ, ㅚ /) 은 72.70%±12.05% 로원순모음이평순모음에비해독화정확도가유의하게높았으며 (t = , p=.000), 전설모음 (/ ㅣ, ㅟ, ㅔ, ㅚ, ㅐ /) 은 56.36±11.07%, 후설모음 (/ ㅡ, ㅜ, ㅓ, ㅗ, ㅏ /) 은 67.54±7.84% 로후설모음이전설모음에비해독화정확도가유의하게높은것으로나타났다 (t =-6.074, p=.000). Percent correct (%) Bilabial Alveolar Palatal Place of articulation Velar Glottal (A) Percent correct (%) Plosive Affricate Fricative Manner of articulation Nasal (B) Figure 1. Speechreading accuracy of initial consonants according to (A) place of articulation and (B) manner of articulation

6 Jaehee Choi, et al. Analysis of Korean Viseme System in Korean Standard Monosyllabic Word Lists Table 2. Confusion matrix of medial phonemes (%) Stimulus ㅏ a ㅐ æ ㅓ ʌ ㅔ e ㅣ i ㅗ o ㅚ Ø ㅜ u Reponse a æ ʌ e i o Ø u wi ɯ ja jʌ jε wa jo ju ɯi Frequency Medial phoneme /yɛ/, /wε/, /wʌ/, /we/ were not used in the Korean Standard Monosyllabic Word List for Adults (KS-MWL-A). ㅟ wi ㅡ ɯ ㅑ ja ㅕ jʌ ㅖ jε ㅘ wa ㅛ jo ㅠ ju ㅢ ɯi ㅙ wε Percent correct (%) * Percent correct (%) * Percent correct (%) * Monophthong Vowel Diphthong (A) Spread vowel Rounded vowel Lip opening (B) Front vowel Back vowel Place of tongue (C) Figure 2. Speechreading accuracy of medial vowels according to (A) monophthong vs. diphthong, (B) spread vowel vs. rounded vowel, and (C) front vowel vs. back vowel. Monophthong (/a, æ, ʌ, e, i, o, Ø, u, wi, ɯ/); Diphthong (/ja, jʌ, je, wa, jo, ju, ɯi/); Spread vowel (/a, æ, ʌ, e, i, ɯ/); Rounded vowel (/ u, o, Ø, wi/); Front vowel (/i, wi, e, Ø, æ /); Back vowel (/ɯ, u, ʌ, o, a/). *p <.001. 종성자음의독화정확도한국어의 7종성법에따른종성자음별독화정확도및반응음소의출현율을혼동행렬로나타낸결과는 Table 3과같다. / ㄴ /, / ㄹ / 은 70% 대의정확도를, [ ], / ㅁ /, / ㅂ / 은 50% 대의정확도를보였다. 종성자음 / ㅇ / 의독화정확도는 20% 대였으며, / ㄷ / 은 10% 대, / ㄱ / 은 10% 미만으로나타났다. 종성음소 8개의정반응률에대한일원분산분석결과로유의미한차이가있었으며 (F(2.653, ) = , p=.000), 사후분석결과에서종성 / ㄹ, ㄴ, [ ]/ 군이 / ㄷ, ㅇ, ㄱ / 군에비해유의하게높은정확도를보였다 (p=.006). 종성음소를조음위치에따라나누었을때, 평균정반응률이양순음 (/ ㅁ, ㅂ /) 54.17%±7.20%, 치경음 (/ ㄴ, ㄷ, ㄹ /) 54.01%±8.55%, 연구개음 (/ ㄱ, ㅇ /) 13.65%±8.54% 의순으로나타났으며 (Figure 3), 일원분산분석을실시한결과, 유의한차이를보였다 (F(2, 34) = , p=.000). 사후분석결과, 연구개음이다른음들에비해유의하게낮은정확도를보였다 (p<.001). 초성 중성 종성의독화소군분석한국어단음절어 200개에대한독화검사결과에서초성, 중성, 620

7 한국표준단음절어표를이용한한국어독화소체계분석 최재희외 Table 3. Confusion matrix of final phonemes (%) Stimulus [ ] ㄱ k 종성음소별로음소정반응률과오류음소출현율을분석하여반 응음소군을결정하였으며, 반응음소군이중첩되는음소끼리분류 하고누적반응률 60% 이상을기준으로독화소군을결정하였다. 초성자음의독화소군 ㄴ n Response ㄷ d [ ] k n d r m p ŋ Frequency [ ] means zero consonant. Percent correct (%) Figure 3. Speechreading accuracy of final consonants according to place of articulation. *p <.01. 초성자음별로동일반응음소군을보이는초성끼리분류하여누 적반응률 60% 이상을기준으로독화소를결정한결과는 Table 4 와같다. 초성자음 16 개와무초성 [ ] 에대한독화소군은 / ㄱ, ㄲ, ㅋ, ㅎ, ([ ])/, / ㄴ, ㄷ, ㄸ, ㅌ, ( ㅅ, [ ])/, / ㅁ, ㅂ, ㅃ, ㅍ /, / ㅅ, ㅆ, ㅈ, ㅊ / 의 4 개로분류하였다. 초성자음 / ㄱ, ㄲ, ㅋ, ㅎ / 을사용한자극을제시 했을때, 반응음소군 / ㄱ, ㅎ / 의평균출현율은 29.31% 로나타났으 며, 반응음소 /[ ]/ 이포함될때총출현율이 60.78% 로증가하였다. 이에 /[ ]/ 을반응음소로포함하여 / ㄱ, ㄲ, ㅋ, ㅎ, ([ ])/ 을하나의독 화소군으로결정했을때누적정반응률 65.51% 로기준을충족하 였다. 초성자음 / ㄴ, ㄷ, ㄸ, ㅌ / 을사용한자극을제시했을때, / ㄴ, ㄷ / 의평균출현율은 21.52% 였으며반응음소 / ㅅ / 과 /[ ]/ 이포함될 * ㄹ r ㅁ m Bilabial Alveolar Velar Place of articulation ㅂ p ㅇ ŋ Table 4. The response phoneme clusters, frequency and the viseme clusters on the initial phoneme Stimulus 때총 53.09% 로증가하였다. 이에 / ㅅ, [ ]/ 을반응음소로포함하여 / ㄴ, ㄷ, ㄸ, ㅌ, ( ㅅ, [ ])/ 를하나의독화소군으로결정했을때, 누적 정반응률 61.65% 로기준을충족하였다. 초성자음 / ㅁ, ㅂ, ㅃ, ㅍ / 을사용한자극을제시했을때반응음소군 / ㅁ, ㅂ, ㅍ / 의평균빈 도율은 87.41% 였으며, / ㅁ, ㅂ, ㅃ, ㅍ / 를하나의독화소군으로결정 했을때정답율 91.93% 로기준을충족하였다. 초성자음 / ㅅ, ㅆ, ㅈ, ㅊ / 을사용한자극을제시했을때반응자음군 / ㅅ, ㅈ, ㅊ / 의평균 빈도율은 62.98% 이었으며, / ㅅ, ㅆ, ㅈ, ㅊ / 을하나의독화소군으로 결정했을때정답율 63.14% 로기준을충족하였다. 중성모음의독화소군 Response Frequency (%) Viseme cluster (percent correct) /k, k, kh, h/ /k, h, [ ] / /k, k, kh, h, ([ ]) /(65.51) /k/ /k, h, [ ]/ /k / /k, [ ]/ /kh/ /k, [ ]/ /h/ /k, h, [ ]/ /n, d, t, th/ /s, n, d/ /n, d, t, th, (s, [ ])/(61.65) /n/ /s, n, d/ /d/ /s, n, d/ /t / /s, d, [ ]/ /th/ /s, n, d, [ ]/ /m, p, p, ph/ /m, p, ph/ /m, p, p, ph/(91.93) /m/ /m, p/ /p/ /m, p/ /p / /p, ph/ /ph/ /p, ph/ /s, s, ʨ, ʨh/ /s, ʨ, ʨh/ /s, s, ʨ, ʨh/(63.14) /s/ /s, ʨ, [ ]/ /s / /s, ʨ, ʨh, h/ /ʨ/ /s, ʨ, ʨh/ /ʨh/ /s, ʨ, ʨh/ ( ) means Including into the viseme cluster as a response phoneme. [ ] means zero consonant. 중성모음별로반응음소군이중첩되는음소끼리분류하여누적 반응률 60% 이상을기준으로독화소를결정한결과는 Table 5 와 같다. 중성모음은 / ㅣ, ㅡ, ㅢ /, / ㅟ /, / ㅗ, ㅛ /, / ㅏ, ㅑ /, / ㅜ, ㅠ /, / ㅓ, ㅕ /, / ㅘ, ㅚ, ( ㅙ )/, / ㅖ, ㅐ, ㅔ / 8 개군으로분류되었다. 예를들어. 중성모 음 / ㅘ, ㅚ / 를제시한경우, 반응음소 / ㅘ, ㅚ / 의출현율이 52.51%, / ㅙ / 의출현율이 33.60% 로나타남에따라 / ㅙ / 를반응음소로포함 하고 / ㅘ, ㅚ, ( ㅙ )/ 를하나의독화소군으로결정했을때, 정답률이 621

8 Jaehee Choi, et al. Analysis of Korean Viseme System in Korean Standard Monosyllabic Word Lists Table 5. The response phoneme clusters, frequency and the viseme clusters on the medial phoneme Stimulus Response Frequency (%) Viseme cluster (%) /i, ɯ, ɯi/ /i/ /i, ɯ, ɯi/(92.95) /i/ /i/ /ɯ/ /i/ /ɯi/ /i/ /wi/ /wi/ /wi/(92.71) /o, jo/ /o/ /o, jo/(94.89) /o/ /o/ /jo/ /o/ /a, ja/ /a/ /a, ja/(88.33) /a/ /a/ /ja/ /a/ /u, ju/ /u/ /u, ju/(95.47) /u/ /u/ /ju/ /u/ /ʌ, jʌ/ /ʌ/ /ʌ, jʌ/(95.53) /ʌ/ /ʌ/ /jʌ/ /jʌ/ /wa, Ø/ /wa, Ø, wε/ /wa, Ø, (wε) /(86.10) /wa/ /wa, wε/ /Ø/ /Ø, wε/ /jε, æ, e/ /æ, e/ /jε, æ, e/(67.97) /jε/ /æ, e/ /æ/ /æ, e, a/ /e/ /æ, a/ () means Including into the viseme cluster as a response phoneme % 로증가하였다. 종성자음의독화소군 종성위치에올수있는자음 ( ㄱ, ㄴ, ㄷ, ㄹ, ㅁ, ㅂ, ㅇ ) 별로반응 음소군이중첩되는것끼리분류하여반응률 60% 이상을기준으 로독화소를결정한결과는 Table 6 과같다. 종성자음은 [ ], / ㄱ, ㅇ /, / ㄴ, ㄷ /, / ㄹ /, / ㅁ, ㅂ / 5 개군으로분류하였다. 종성자음 / ㄱ, ㅇ / 군에 서무종성 ([ ]) 의평균출현율이 31.93% 로나타남에따라무종성을 일종의반응음소로간주하여독화소군에포함하였다. [ ] 을포함 함에도불구하고반응음소의전체반응률은 52.31% 로 60% 에미 치지못하였다. Table 6. The response phoneme clusters, frequency and the viseme clusters on the final phoneme Stimulus Response Frequency (%) Viseme cluster (%) [ ] [ ] [ ] (59.88) /k, ŋ/ /[ ], k, ŋ/ /k, ŋ, ([ ]) /(52.31) /k/ /[ ], k, ŋ/ 50.4 /ŋ/ /[ ], ŋ/ /n, d/ /n, d/ /n, d/(72.89) /n/ /n/ /d/ /n, d/ /r/ /r/ /r/(71.87) /m, p/ /m, p/ /m, p/(97.17) /m/ /m, p/ /p/ /m, p/ ( ) means Including into the viseme cluster as a response phoneme. [ ] means zero consonant. Table 7. The percent correct scores of viseme cluster on the initial consonants following vowels (%) Vowel Viseme cluster /k, kh, k, h, [ ]/ /n, d, t, th, (s), [ ]/ /m, p, ph, p / /s, s, ʨ, ʨh/ /a/ /æ/ /ʌ/ /e/ /i/ /o/ /Ø/ /u/ /wi/ /ɯ/ /ja/ /jʌ/ /jε/ /wa/ /jo/ /ju/ /ɯi/ ㄷ, ㄸ, ㅌ, ( ㅅ, [ ])/ 군은 75.00% (/ ㅔ, ㅚ /)-49.33% (/ ㅡ /), / ㅅ, ㅆ, ㅈ, ㅊ / 군은 72.41% (/ ㅏ /)-37.50% (/ ㅟ /) 의점수범위를나타내었다. 중성모음별초성독화소군정반응률초성독화소군이각중성모음과결합했을때의정반응률은 Table 7과같다. 초성독화소 / ㅁ, ㅂ, ㅃ, ㅍ / 군은 96.88% (/ ㅜ, ㅖ /)-78.13% (/ ㅛ /) 로가장높은점수를보였으며, / ㄱ, ㄲ, ㅋ, ㅎ, ([ ])/ 군은 93.75% (/ ㅘ /)-28.57% (/ ㅛ /) 로모음에따라가장큰점수범위를보였다. / ㄴ, 논의및결론오늘날보청기나인공와우를착용한청각장애인들의듣기능력이전반적으로향상되었음에도의사소통에서시각적인정보를활용하는능력은여전히중요한부분을차지한다 (Park et al., 2016)

9 한국표준단음절어표를이용한한국어독화소체계분석 최재희외 제한된청각적정보를경험하는청각장애인은화자의얼굴을관찰함으로써발화내용을이해하는과정, 즉독화를통해의사소통의한계를보완할수있다. 그러므로청각장애인이시각적정보를활용하여의사소통을극대화할수있도록독화소체계에바탕을둔효율적인독화방법과전략들을모색할필요가있다. 기존의한국어독화소체계에관한연구들은한국어음운론적체계에가시적요소들을결합하여독화소체계를분류하였다 (Kim, 1992; Lee et al., 2006). 실제로독화능력을측정한연구에서는특정자모음환경에서만측정하였으므로 (Kim, 1993, 1997) 다양한자모음환경에서의의사소통능력을반영할필요성이있다. 그러므로본연구에서는일상회화체에서자주사용되는음소를중심으로다양한자모음환경에서독화정확도를확인하고, 초성, 중성, 종성별혼동행렬을정리하여군집내누적정반응률 60% 를기준으로음소별독화소군을살펴보고자하였다. 본연구에서는일상회화체의빈도, 음소의균형, 친숙성등을고려하여개발된어표로써초성은 / ㄹ, ㅉ / 이제외된초성자음 16개와무초성 [ ] 1개포함총 17개, 중성모음은 / ㅒ /, / ㅙ /, / ㅝ /, / ㅞ / 가제외된 17개, 종성은종성자음 7개와무종성 [ ] 포함총 8개로구성되어있는단음절어표를사용하였다. 본연구에서무초성및무종성형태를독화소군에포함시킨것은일상회화체에서무초성음절이초성의 15% (Byun, 2001) 를차지하고있으며, 무종성음절은 54% (Park et al., 2007), 65% (Byun, 2001), 68.91% (Park, 1999) 등에달하는것으로보고된것에기반을두고있다. 특히한국표준단음절어표에서무종성단어는 75개로 37.5% 의비중을차지하고있으며, 본연구결과에서음소정반응률이 59.88% 인것으로나타난가운데종성이있는자극을제시했을때연구대상자의 86.51% 가종성이있는것으로반응하였다. 이러한결과들은한국어가가지는음절구조로인해연구대상자들이종성의유무에민감하게반응했음을시사한다. 본연구결과에서시각적단서만제공하고독화검사를실시하였을때, 한국표준단음절어표는단어정반응률에서목록간차이가없었으며 (p>.05), 전체 13.00% 로매우저조하였다. 음소정반응률은초성 19.04%, 중성 48.26%, 종성 44.77% 로초성자음의제한된시각적특징이독화능력에유의한영향을미치는것으로나타났다. Kim (1997) 은음소독화검사를실시하여독화에변별적단서로작용할수있는음소의조음운동에의한시각적특징의제한성을언급하며, 독화지도시독화소단위간의변별을고려한후에독화소단위내의변별을위해청각단서와맥락단서등을활용해야함을강조하였다. 본연구의독화수행력은 Lee (2010) 의연구에서의초성 20.83%, 중성 55.88%, 종성 50.00% 로나타난것과대략적으 로일치하였으나 Lee (2010) 의연구에서는이중모음의독화정확도가 63.75% 로나타난반면, 본연구에서는 28.20% 로나타났다. Lee (2010) 의연구에서는모음독화과제시개구도의변화를최소화할수있는 /h/-v-/g/ 의형태로제시하였으나, 본연구에서는다양한초성과종성을결합하여제시한데따른결과로설명할수있을것이다. 초성의경우, 조음위치에서가시성이높은양순음이경구개, 연구개, 성문음및치경음보다유의하게높은점수를보였으나조음방법간에는유의미한차이가없었다. Kim (1993) 은자음의독화에서발생하는혼동이조음방법이동일한음소들보다는조음위치가동일한음소들사이에더많이발생하였음을보고하였으며, 이는조음시나타나는시각적특징이더큰유사성을보이기때문일것으로보았다. 영어권에서독화소를결정하는최소기준을주로 70% 이상으로설정하였는데이는연구자마다임의적으로정한것으로서, Kim (1997) 의연구에서는음소의평균독화정확도를기반으로 60% 로설정하여한국어독화소체계를분류하였다. 본연구에서도음소별평균독화정확도를기반으로살펴본결과, 초성자음의경우대부분의후행모음별반응음소군에서유의미한출현율을보이는음소수가제한되었으므로군집내누적정반응률 60% 를기준으로설정하였다. 초성은이러한설정기준에따른독화소체계의분류가독화소체계 (Kim, 1992) 와초성과종성자음분류에서거의동일하였으므로타당한것으로여겨진다. 또한모음의경우, 대부분의독화소군에서기준인 60% 보다훨씬높은 86%-95.93% 의누적반응률을보이는것으로나타났지만 / ㅖ, ㅐ, ㅔ / 군의 67.97% 를고려해볼때, 60% 기준은적절한최소결정기준이라고판단된다. 단종성자음의 / ㄱ, ㅇ / 의경우반응음소인무종성 /[ ]/ 을포함했을때에도 52.31% 로 60% 에미치지못하였다. 한국표준단음절어표를기반으로다양한자모음환경하에서초성, 중성, 종성음소에대한독화소군을살펴본결과, 초성은 / ㄱ, ㄲ, ㅋ, ㅎ, ([ ])/, / ㄴ, ㄷ, ㄸ, ㅌ, ( ㅅ, [ ])/, / ㅁ, ㅂ, ㅃ, ㅍ /, / ㅅ, ㅆ, ㅈ, ㅊ / 4개, 중성모음은 / ㅣ, ㅡ, ㅢ /, / ㅟ /, / ㅗ, ㅛ /, / ㅏ, ㅑ /, / ㅜ, ㅠ /, / ㅓ, ㅕ /, / ㅘ, ㅚ, ( ㅙ )/, / ㅖ, ㅐ, ㅔ / 8개, 종성자음은 [ ], / ㄱ, ㅇ, ([ ])/, / ㄴ, ㄷ /, / ㄹ /, / ㅁ, ㅂ / 5개로분류하였다. 무초성 [ ] 은반응음소로독화소군 / ㄱ, ㄲ, ㅋ, ㅎ / 군과 / ㄴ, ㄷ, ㄸ, ㅌ / 군에포함하였으며, / ㅅ / 은반응음소로 / ㄴ, ㄷ, ㄸ, ㅌ / 군모두에포함하였다. 반응음소 / ㅅ / 이 / ㄴ, ㄷ / 과함께동일독화소군을구성하는것은영어권에서의독화소체계와일치하며 (Erber, 1974; Leaner, Sandridge, & Kricos, 1987), 동일독화소군에반응음소 /[ ]/ 도포함된것은 Auer와 Bernstein (1997) 의연구에서독화소군수가 10개이하일때의독화소체계와일치한다. 또한 / ㅅ / 음소가두개의독화소군에포함된경 623

10 Jaehee Choi, et al. Analysis of Korean Viseme System in Korean Standard Monosyllabic Word Lists 우는방향성의개념으로설명할수있다. 방향성은 Fisher (1968) 가 /n/ 자극에대한반응음소 /t/ 의출현율이높았으나 /t/ 에대한 /n/ 의출현율은낮았음을보고한것과같은맥락으로, 본연구에서특정독화소군 / ㄴ, ㄷ, ㄸ, ㅌ / 에대한 / ㅅ / 의반응음소출현율이높아그독화소군에 / ㅅ / 이포함되지만 / ㅅ / 의반응음소로 / ㄴ, ㄷ, ㄸ, ㅌ / 의출현율이거의없어어떠한음소도 / ㅅ, ㅆ, ㅈ, ㅊ / 독화소군에속할수없었음을의미한다. 본연구에서제시하는독화소체계를한국어독화소체계에대한선행연구들 (Kim JH, 1992; Kim YW, 1993, 1997; Lee & Kim, 1991; Lee et al., 2006) 과비교했을때, 초성및종성자음의독화소는 Kim (1992) 의체계와, 중성모음의독화소는 Kim (1997) 의체계와유사한것으로나타났다. 초성자음의경우, Kim (1992) 은음운론적기초에시각적요소를바탕으로독화소를 4개로분류하였으며, Kim (1997) 은초성자음을 /a/ 와결합시켜독화능력을실제로측정하여 6개로나누었다. 초성자음에 /a/ 와 /i/ 를결합하여제시하였을때독화소체계의변동을보고한것 (Kim, 1993) 처럼본연구에서는다양한모음환경에서초성자음에대한독화능력을측정한결과로초성자음에 /a/ 를결합시킨결과보다는단음절어표에포함되지않았던 / ㄹ, ㅉ / 과포함된 /[ ]/ 초성을제외하면 Kim (1992) 체계와동일하게 4개로분류되었다. 종성자음의경우도 Kim (1992) 의분류와거의유사한결과를나타내었는데, 본연구의종성자음독화소체계는종성자음 / ㄹ / 이단독으로독화소군을구성한다는점에서 / ㄴ, ㄷ / 과동일군에포함시킨 Kim (1992) 의체계와차이가있었으나, Lee 등 (2006) 의체계와는일치하는것으로나타났다. 그러므로다양한모음환경에서자음의독화소체계는한국어음운론적기초에기반을두며가시적인시각적요소를반영하고있음을시사한다. 초성의경우후행하는모음에따라정반응률과반응음소에서영향을받는것으로나타났으므로이에기반하여검사문항및훈련위계를정립하는것이효율적이라고여겨진다. 본연구에서제시한초성자음의독화소체계가실제로독화능력을측정한 Kim (1997) 의연구와차이를보이는이유로첫째, 일상회화체를반영한한국표준단음절어표를사용함으로써다양한중성모음과종성자음으로구성된자극을제시한점을들수있다. 둘째, 독화소가가지는방향성을반영한것으로서특정음소들을반응음소로서독화소군에포함시킨점을들수있다. 셋째로본연구를위한영상자료를촬영할때두명의화자가평상시와같은속도로발화한결과로독화난이도가상승하면서반응음소군의스펙트럼이넓어졌을수있다. 넷째로본연구에참여한연구대상자들이사전에훈련을받지않았다는점을들수있으며, 자극을다시제시하지않았고, 자극에대한반응시간도 5초이내로제한함으로 써독화난이도가상승하여반응음소군에영향을미쳤을수있다. 중성모음독화소의경우, Kim (1992) 과 Kim (1997) 의연구에서 21개모음을사용하였는데, 본연구의중성모음독화소체계는반응음소군및독화소군을결정하지못한 / ㅝ / 를제외하면 Kim (1997) 의 9개독화소군체계와대부분일치하여나타나므로음운론에기초한 Kim (1992) 의 5개독화소군에비해실질적으로독화를실시하였을경우, 더세분화된변별력을보이는것으로나타났다. 그러므로독화검사나훈련을위한과제를제시하는경우, Kim (1992) 의 / ㅏ, ㅑ, ㅓ, ㅕ / 군이본연구결과에서 / ㅏ, ㅑ / 군과 / ㅓ, ㅕ / 군으로따로구분된것처럼, 세분화된항목으로제시될필요가있음을시사한다. 영어의독화소체계에서후행모음이자음의독화소체계에영향을미친다는것이여러학자들에의해보고되었다 (Auer & Bernstein, 1997; Owens & Blazek, 1985). 한국어독화소체계에서도 Kim (1997) 은한음소를어떤모음의맥락속에제시하느냐에따라시각단서가다르게나타날수있다고하였고, Lee (2010) 는모음환경의변화에따라독화정확도에차이를보이는음소의존재를보고하면서모음을제한한채독화수행도를평가하는것에한계가있을수있음을시사하였다. 초성독화과제에서의평균정확도는모음 1개 (/ ㅏ /) 를사용했을때 38.3% (Kim, 1997), 모음 7개 (/ ㅏ, ㅓ, ㅗ, ㅜ, ㅡ, ㅣ, ㅔ /) 를사용했을때 20.83% (Lee, 2010), 모음 17개를사용한본연구결과에서 19.04% 로, 모음수의증가에따라낮아지는경향을보였다. 이러한경향은모음이독화과제의난이도에영향을미침을보여준다. 특히 / ㅏ / 와같이개구도가높은모음과결합할때초성독화소군의정반응률이높게나타났다 (Table 7). 영어독화소체계에서는자음과결합하는모음이 /u/ 일때독화난이도가상승하는것으로보고되고있다 (Auer & Bernstein, 1997; Owens & Blazek, 1985; Lesner & Kricos, 1981; Wozniak & Jackson, 1979). Owens와 Blazek (1985) 은 /u/ 를사용하여자극을제시했을때가시성이가장큰독화소군인 /p, b, m/ 과 /f, v/ 두가지만구별이가능했음을보고하였다. /f, v/ 는한국어에없는음소이므로본연구결과에서 /p, b, m/ 군에대응하는 / ㅁ, ㅂ, ㅃ, ㅍ / 군이모음 / ㅜ / 와결합했을때정반응률이 96.88% 로나타났으나, 다른독화소군들이모음 / ㅜ / 와결합했을때 42.75% (/ ㄱ, ㄲ, ㅋ, ㅎ, ([ ])/-57.81% (/ ㄴ, ㄷ, ㄸ, ㅌ, ( ㅅ, [ ])/) 로정반응률이크게하락하는것으로나타났다 (Table 7). 이러한결과는영어의독화소체계에대한연구결과들과일치한다. 종성자음의독화정확도역시중성모음에영향을받는것으로나타났다. 독화소 / ㄱ, ㅇ, ([ ])/ 군은선행모음이 / ㅡ / 일경우를제외했을때평균독화정확도가 63.22% 였으나, / ㅡ / 와결합했을때독화정확도가 27.78% 로크게떨어지는결과가나타났다. 가장높은 624

11 한국표준단음절어표를이용한한국어독화소체계분석 최재희외 평균출현율을보인오류반응음소는 / ㄹ /(72.22%) 이었으며, 이때제시된단어는 능 이었다. 종성 / ㅇ / 은가시성이낮음에도불구하고연구대상자는종성의유무에민감하게반응하여 / ㄹ / 로응답했을가능성이있다. 본연구에서는일상회화체의다양한자모음상황에서독화수행력을살펴보았으며, 초성, 중성, 종성의독화소체계를분석하였다. 한국표준단음절어표가친숙성과빈도가낮은음소를포함하지않았으므로본연구에서제시한한국어독화소체계를보완해야할점으로우선 / ㄹ /, / ㅉ /, / ㅝ /, / ㅙ /, / ㅞ /, / ㅒ / 에대한반응음소군을확인해야할필요가있다. 이때음소균형, 일상회화체에서의빈도및친숙도등기존의단음절어표와동일한기준으로자극을선정하고제시해야할것이다. 특히중성모음 / ㅝ / 는다른모음의반응음소군에거의나타나지않았으므로 / ㅢ / 처럼다른반응음소의독화소군에포함되거나또는 / ㅟ / 처럼독자적으로독화소를구성할가능성이있다. / ㅒ / 와 / ㅞ / 에대해서는현대음운체계에 / ㅐ / 와 / ㅔ / 가합류하면서 / ㅒ / 와 / ㅖ /, / ㅙ / 와 / ㅞ / 간의구별이사라지고, 갈수록발음의독자성을잃고있는등 (Lee, 2012) 구별실익이없는것으로볼수있으므로향후이론적인정리가이루어지는것으로충분할것이다. / ㅙ / 의경우에는중성독화소군 / ㅘ, ㅚ / 에대한반응음소로서포함되었는데, / ㅙ / 에대한반응음소군또한확인하여 / ㅘ, ㅚ, ㅙ / 가하나의독화소군을형성하는지확인해야할필요가있다. 본연구결과는모음에따라특정독화소군에대한독화난이도가달라질수있으므로독화교육에있어보다위계적인교육및훈련계획이수립될수있는가능성을시사한다. 또한한국표준단음절어표는청각검사를위한도구로개발되었음에도다양한자모음맥락을반영함에따라독화소체계에따른전반적인독화능력을측정하는도구로도활용할수있는가능성을갖고있다고할수있다. REFERENCES Auer, E. T., & Bernstein, L. E. (1997). Speechreading and the structure of the lexicon: computationally modeling the effects of reduced phonetic distinctiveness on lexical uniqueness. The Journal of the Acoustical Society of America, 102, Auer, E. T., Bernstein, L. E., Waldstein, R. S., & Tucker, P. E. (1997). Effects of phonetic variation and the structure of the lexicon on the uniqueness of words. Proceedings of the ESCA/ESCOP Workshop on Audio-Visual Speech Processing, Rhodes, Greece, Benguerel, A. P., & Pichora-Fuller, M. K. (1982). Coarticulation effects in lipreading. Journal of Speech, Language, and Hearing Research, 25, Bernstein, L. E., Tucker, P. E., & Demorest, M. E. (2000). Speech perception without hearing. Perception & Psychophysics, 62, Binnie, C. A., Jackson, P. L., & Montgomery, A. A. (1976). Visual intelligibility of consonants: a lipreading screening test with implications for aural rehabilitation. Journal of Speech and Hearing Disorders, 41, Burnham, D., Campbell, R., Away, G., & Dodd, B. J. (2013). Hearing eye II: the psychology of speechreading and auditory-visual speech. East Sussex: Psychology Press. Byun, S. W. (2001). Frequencies of Korean phonemes and reliability of Korean phonetically balanced word lists. Korean Journal of Otolaryngology-Head and Neck Surgery, 44, Byun, S. W., Chung, S. M., Kim, H. S., & Go, Y. M. (2005). A survey of phonetically balanced words lists used in training hospitals in Korea. Korean Journal of Otolaryngology-Head and Neck Surgery, 48, Chen, T. (2001). Audiovisual speech processing. IEEE Signal Processing Magazine, 18, Chen, T., & Rao, R. R. (1998). Audio-visual integration in multimodal communication. Proceedings of the IEEE, 86, Cohen, M. M., & Massaro, D. W. (1993). Modeling coarticulation in synthetic visual speech. In N. M. Thalmann & D. Thalmann (Eds.), Models and techniques in computer animation (pp ). Tokyo: Springer Japan. De Filippo, C. L., & Sims, D. G. (1988). New reflections on speechreading. The Volta Review, 90, Dodd, B., & Campbell, R. (1987). Hearing by eye: the psychology of lip-reading. London: Lawrence Erlbaum Associates. Erber, N. P. (1974). Visual perception of speech by deaf children: recent developments and continuing needs. Journal of Speech and Hearing Disorders, 39, Fisher, C. (1968). Confusions among visually perceived consonants. Journal of Speech and Hearing Research, 11, Grant, K. W., Walden, B. E., & Seitz, P. F. (1998). Auditory-visual speech recognition by hearing impaired subjects: consonant recognition, sentence recognition, and auditory-visual integration. Journal of the Acoustical Society of America, 103, Hiki, S., & Fukuda, Y. (1997). Negative effect of homophones on speechreading in Japanese. Proceedings of the ESCA Workshop on Audio-Visual Speech Processing: Computational & Cognitive Science Approaches, Rhodes, Greece, Holden, E. J., & Owens, R. (2000). Visual speech recognition using cepstral images. Proceedings of IASTED International conference on Signal and Im

12 Jaehee Choi, et al. Analysis of Korean Viseme System in Korean Standard Monosyllabic Word Lists age Processing, Las Vegas, NV, Jackson, P. L. (1988). The theoretical minimal unit for visual speech perception: visemes and coarticulation. The Volta Review, 90, Jeffers, J., & Barley, M. (1971). Speechreading (lipreading). Springfield, IL: Charles C. Thomas. Kim, J. H. (1992). An analysis of the factors constituting speechreading skill (Doctoral dissertation). Daegu University, Daegu, Korea. Kim, J. H. (2005). A study on development of Korean standardized speechreading skill test (1). Journal of Speech and Hearing Disorders, 14, Kim, J. H. (2016). A study of the validity of the Korean Speech-Reading Skill test. Journal of Speech-Language & Hearing Disorders, 25, Kim, J. S., Lim, D. H., Hong, H. N., Shin, H. W., Lee, K. D., Hong, B. N., & Lee, J. H. (2008). Development of Korean Standard Monosyllabic Word Lists for Adults (KS-MWL-A). Audiology and Speech Research, 4, Kim, Y. W. (1993). Effectiveness of speechreading cues for hearing impaired children. Korean Journal of Special Education, 57, Kim, Y. W. (1997). A study of the minimal lip-reading units in Korean phonemes. Korean Journal of Special Education, 14, Kricos, P. B., & Lesner, S. A. (1982). Differences in visual intelligibility across talkers. The Volta Review, 84(4), Kuk, M. K. (1998). The effect of lipreading program on a hearing-impaired adult s lipreading. Communication Disorders, 21, Kuk, M. K., & Kang, A. O. (1997). The effect of the lipreading programs on hearing-impaired children s lipreading and voice. Korean Journal of Special Education, 5, Lamoré, P. J., Huiskamp, T. M., van Son, N. J., Bosman, A. J., & Smoorenburg, G. F. (1998). Auditory, visual and audiovisual perception of segmental speech features by severely hearing-impaired children. Audiology, 37, Leaner, S. A., Sandridge, S. A., & Kricos, P. B. (1987). Training influences on visual consonant and sentence recognition. Ear and Hearing, 8, Lee, J. H. (2012). Standard pronunciation and real pronunciation of Korean. Seoul: Acanet. Lee, K. S., Seok, D. I., Kuk, M. K., Kang, C. U., Lee, S. H., Park, S. H., & Park, H. J. (2006). Language instruction and therapy method for deaf childhood. Daegu: Daegu University. Lee, K. S., & Kim, J. H. (1991). A review on primary factors of speechreading skill. Journal of Daehan Special Education Association, 12, Lee, S. C. (2010). Comparison of speechreading abilities of adults with normal hearing and with hearing impairment (Doctoral dissertation). Nazarene University, Cheonan, Korea. Lesner, S. A., & Kricos, P. B. (1981). Visual vowel and diphthong perception across speakers. Journal of the Academy of Rehabilitative Audiology, 14, Lidestam, B., & Beskow, J. (2006). Visual phonemic ambiguity and speechreading. Journal of Speech, Language, and Hearing Research, 49, Lim, Y. R., & Sim, H. S. (2016). The effect of the speechreading telepractice intervention using smartphone on speechreading ability of young deaf adults. Korean Journal of Special Education, 15, Mohammed, T., Campbell, R., MacSweeney, M., Milne, E., Hansen, P., & Coleman, M. (2005). Speechreading skill and visual movement sensitivity are related in deaf speechreaders. Perception, 34, Montgomery, A. A., & Jackson, P. L. (1983). Physical characteristics of the lips underlying vowel lipreading performance. The Journal of the Acoustical Society of America, 73, Montgomery, A. A., Walden, B. E., & Prosek, R. A. (1987). Effects of consonantal context on vowel lipreading. Journal of Speech, Language, and Hearing Research, 30, O Neill, J. J., & Oyer, H. J. (1981). Visual communication for the hard of hearing. Englewood Cliffs, NJ: Prentice-Hall. Owens, E., & Blazek, B. (1985). Visemes observed by hearing-impaired and normal-hearing adult viewers. Journal of Speech, Language, and Hearing Research, 28, Park, H., Han, S., Choi, J., Sim, S., Seo, Y., & Jang, H. (2016). The relationship between vocabulary knowledge and speech perception in school-age children using cochlear implants. Communication Sciences & Disorders, 21, Park, M. K., Lee, J. H., Kwon, H. S., Im, G. J., Woo, J. S., Lee, H. M., & Chae, S. W. (2007). A study for the acoustic characteristics of PB word list according to frequency. Korean Journal of Otolaryngology-Head and Neck Surgery, 50, Park, S. L. (1999). A study on the frequencies of consonants in adult conversational Korean (Master s thesis). Ewha Womans University, Seoul, Korea. Summerfield, Q. (1987). Comprehensive account of audio-visual speech perception. In B. Dodd & R. Campbell (Eds.), Hearing by eye: the psychology of lip-reading (pp. 3-51). London: Lawrence Erlbaum. Tye-Murray, N. (2014). Foundations of aural rehabilitation: children, adults, and their family members. Stamford, CT: Nelson Education. Walden, B. E., Erdman, S. A., Montgomery, A. A., Schwartz, D. M., & Prosek, R. A. (1981). Some effects of training on speech recognition by hearingimpaired adults. Journal of Speech, Language, and Hearing Research, 24, 626

13 한국표준단음절어표를이용한한국어독화소체계분석 최재희외 Walden, B. E., Prosek, R. A., Montgomery, A. A., Scherr, C. K., & Jones, C. J. (1977). Effects of training on the visual recognition of consonants. Journal of Speech, Language, and Hearing Research, 20, Watson, C. S., Qiu, W. W., Chamberlain, M. M., & Li, X. (1996). Auditory and visual speech perception: confirmation of a modality-independent source of individual differences in speech recognition. The Journal of the Acoustical Society of America,, Woll, B. (2012). Speechreading revisited. Deafness & Education International, 14, Wozniak, V. D., & Jackson, P. L. (1979). Visual vowel and diphthong perception from two horizontal viewing angles. Journal of Speech, Language, and Hearing Research, 22,

14 Jaehee Choi, et al. Analysis of Korean Viseme System in Korean Standard Monosyllabic Word Lists 국문초록 한국표준단음절어표를이용한한국어독화소체계분석 최재희 1 윤건석 1 류혜수 1 장현숙 2 1 한림대학교일반대학원언어병리청각학과, 2 한림대학교언어청각학부청각언어연구소 배경및목적 : 한국어독화소체계분석에관한기존의연구들은한정된음소들을조합하여이루어짐으로써일상회화체의다양한특성들을반영하지못한점이있다. 이에본연구는일상회화체내음소출현율을반영한한국표준단음절어표일반용 (Korean Standard Monosyllabic Word List for Adults, KS-MWL-A) 을사용하여독화검사를실시하고, 한국어의독화소체계를초성 중성 종성별로분석하는데목적이있다. 방법 : 남녀화자 2명이단음절어표를자연스럽게발화하는모습을녹화하여성인 32명을대상으로음성없이독화검사를실시하고, 단어정반응률, 음소정반응률, 반응음소출현율을구하였고, 음소정반응률을비교하기위해일원분산분석을실시하였다. 초성 중성 종성혼동행렬을통해반응음소군을확인하고, 누적정반응률 60% 를기준으로독화소군을결정하였다. 결과 : 연구결과, 단어정반응률은 13.00% 였으며, 음소정반응률은초성 19.04%, 중성 48.26%, 종성 44.77% 로초성이중성, 종성보다유의미하게낮았다. 각음소별반응음소군을통해서독화소군을초성 / ㄱ, ㄲ, ㅋ, ㅎ, ([ ])/, / ㄴ, ㄷ, ㄸ, ㅌ, ( ㅅ, [ ])/, / ㅁ, ㅂ, ㅃ, ㅍ /, / ㅅ, ㅆ, ㅈ, ㅊ / 4개, 중성모음 / ㅣ, ㅡ, ㅢ /, / ㅟ /, / ㅗ, ㅛ /, / ㅏ, ㅑ /, / ㅜ, ㅠ /, / ㅓ, ㅕ /, / ㅘ, ㅚ, ( ㅙ )/, / ㅖ, ㅐ, ㅔ / 8개, 종성자음 [ ], / ㄱ, ㅇ /, / ㄴ, ㄷ /, / ㄹ /, / ㅁ, ㅂ / 5개로분류하였다. 논의및결론 : 한국어초성자음과종성자음의독화소체계에미치는중성모음의영향력을확인하였으며, 또한종성의유무에대한민감성이종성독화소체계에영향을미치는것으로나타났다. 핵심어 : 독화, 독순, 독화소, 한국어독화소체계, 한국표준단음절어표 참고문헌 국미경 (1998). 청각장애성인의독화훈련프로그램적용효과. 난청과언어장애, 21, 국미경, 강애옥 (1997). 독화지도프로그램이청각장애아의독화및발성에미치는효과. 특수교육학연구, 5, 김영욱 (1993). 청각장애아의독화단서에관한연구. 한국특수교육학회, 57, 김영욱 (1997). 한국어음소의최소독화단위연구. 특수교육논총, 14, 김종현 (1992). 말읽기기능의구인분석. 대구대학교대학원박사학위논문. 김종현 (2005). 국어표준화독화기능검사개발을위한연구 (1). 언어치료연구, 14, 김종현 (2016). 국어말읽기기능검사의타당성연구. 언어치료연구, 25, 김진숙, 임덕환, 홍하나, 신현욱, 이기도, 홍빛나, 이정학 (2008). 한국표준일반용단음절어표개발. 청능재활, 4, 박무균, 이장혁, 권혁성, 임기정, 우정수, 이흥만, 황순재, 채성원 (2007). 어음청력검사어음표의주파수별음향학적특성에관한연구. 대한이비인후과학회지, 50, 박서린 (1999). 성인의일상적인대화에서나타나는말소리출현빈도연구. 이화여자대학교대학원석사학위논문. 박혜진, 한성아, 최재희, 심상용, 서영란, 장현숙 (2016). 학령기인공와우착용아동의어휘력과말지각상관성. 언어청각장애연구, 21, 변성완 (2001). 한국어의발음음소별빈도로본한국어 PB Word의타당성. 대한청각학회지, 44, 변성완, 정성민, 김한수, 고영민 (2005). 전국의수련병원에서사용하고있는한국어단음절어음표의실태및어음빈도분석. 대한이비인후과학회지, 48, 이규식, 석동일, 국미경, 강창욱, 이상희, 박상희, 윤미선, 신혜정, 박희정 (2006). 청각장애아동언어지도와치료방법. 대구 : 대구대학교출판부. 이규식, 김종현 (1991). 독화기능의일차적요소에대한고찰. 대한특수교육학회지, 12, 이성춘 (2010). 건청성인과청각장애성인의독화능력비교. 나사렛대학교대학원박사학위논문. 이진호 (2012). 한국어의표준발음과현실발음. 서울 : 아카넷. 임예람, 심현섭 (2016). 스마트폰을이용한원격독화중재가청년층청각장애인의독화능력에미치는영향. 특수교육, 15,