ISSN (Online) Commun Sci Disord 2018;23(2): Original Article Effect of Working Memory and Exposure

Transcription

1 ISSN (Online) Commun Sci Disord 2018;23(2): Original Article Effect of Working Memory and Exposure to the Symbols on Sentence Construction using AAC Graphic Symbols Sangeun Shin a, Heeyoung Park b a Department of Speech-Language Pathology, Chungnam National University, Daejeon, Korea b Department of Communication Disorders, Ewha Womans University, Seoul, Korea Correspondence: Sangeun Shin, PhD Department of Speech-Language Pathology, Chungnam National University, 99 Daehak-ro, Yuseong-gu, Daejeon 34134, Korea Tel: Fax: sashin@cnu.ac.kr Received: April 10, 2018 Revised: May 24, 2018 Accepted: May 24, 2018 This study was supported by the research fund of Gyeonggi-do Assistive Technology Research & Assistance Center. Objectives: The purpose of the current study was to explore the effects of verbal/non-verbal working memory skills and the exposure to graphic symbols of the augmentative and alternative communication (AAC) in the context of a sentence construction task with a fixed/ non-fixed array of AAC symbols. Methods: Thirty-two healthy young adults (26.75 ± 7.05 years) participated in the experiment. They were asked to locate the target symbols in a given order (noun-adverb-action verb) for the sentence stimuli which were presented visually with written words on the computer screen. The symbols were presented in two conditions: a fixed array and a non-fixed array. The working memory skills were evaluated by using the verbal (backward digit span) and visuospatial (backward matrix) working memory tasks. The participants performance was analyzed using accuracy and response times. Results: The stepwise regression analyses showed that verbal and non-verbal working memory only affects response time. Moreover, working memory contributed differently to the task depending on the array type: the non-verbal working memory primarily predicted the response times in the fixed array condition, which was not the case in the non-fixed array condition. Conclusion: The exposure to the symbols significantly reduced the response time and the reduction rate was three times higher in the fixed condition compared to the non-fixed condition. Implications for AAC intervention by using a fixed array of symbols are discussed. Keywords: Augmentative and alternative communication (AAC), Working memory, Exposure to the symbols, Fixed display, Sentence construction 보완대체의사소통 (augmentative and alternative communication, AAC) 체계의성공적인사용을위하여대상자와환경, 중재의세가지요인이함께고려되어야하며대상자변인은인지적능력과신체적특성, 상징선호도및의사소통의도등을포함한다 (Kim, Lee, & Park, 2006). 대상자변인의인지적능력에관한연구는대부분지능과언어능력의제한에따른 AAC도구및상징유형의적용효과와어휘선정의개발, 효과적인중재와치료전략등이연구주제로많이다루어졌다. 하지만, 이외대상자들이가지는주의력및기억력, 집행기능과추상적사고력과같은개인고유의인지적특성에관한연구는매우부족한실정이다. 상징체계를매개로하는 AAC 사용에서표현하고자하는메시지를전달하기위해서는일련의정보처리과정들이동시에이루어져야한다. (A) 의도했던전체메시지와메시지를구성하는각단어들을기억하기위한노력과함께, (B) 단어들을대표하는관련상징들을순차적으로찾고, (C) 관련없는상징들을억제또는의도적으로무시하며, (D) 상대방과대화를이어가기위한대화의주제와흐름을파악하고기억하여야하는일련의과정들이동시다발적으로진행되어야한다 (Light & Lindsay, 1991; Thistle & Wilkinson, 2013). 이러한다양한과정들을처리하기위하여, 즉인식하고계획하고판단하는모든의식적활동의중심에는작업기억 (working memory) Copyright 2018 Korean Academy of Speech-Language Pathology and Audiology This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial License ( by-nc/4.0) which permits unrestricted noncommercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

2 작업기억과노출횟수가 AAC 그림상징을이용한문장구성에미치는영향 신상은외 이핵심적인역할을수행하고있다 (Thistle & Wilkinson, 2013). 작업기억은제한된양의언어적또는비언어적정보를일시적으로저장하고유지하며조작하는정보처리기제로 (Baddeley & Hitch, 1974), 추론및문제해결, 언어이해와같은복잡한기능을수행할때중요요인으로작동한다 (Just & Carpenter, 1992). Baddeley와 Hitch (1974) 가제안한작업기억모형은일종의단기기억장치인음운회로 (phonological loop: 언어적정보저장 ) 와시공간메모장 (visuospatial sketch: 비언어적정보저장 ), 그리고이두가지요소를관장하며저장된정보와처리하는정보의흐름을통제하고통합하는총체적역할의중앙처리장치 (central executive) 로 3가지하위체계를구성하였다. 이후 Baddeley (2000) 가작업기억과장기기억간의접점역할을하며음운회로, 시공간메모장, 장기기억에서나온정보들을조합하는일화적완충기 (episodic buffer) 를작업기억에추가하여 4가지하위체계로작업기억모형을완성하였다. 이들의작업기억모형은아동또는성인을대상으로한연구들과신경심리학분야에서발표한사례보고등 (Alloway, Gathercole, Willis, & Adams, 2004; Bayliss, Jarrold, Gunn, & Baddeley, 2003; Jonides, Lacey, & Nee, 2005; Kane et al., 2004; Yim, Kim, & Yang, 2016) 을통해지지를받고있다. 개인의작업기억능력은일상생활은물론모든학습과기술습득의수행에서개인차를설명하는중요요소로 (Gathercole, Lamont, & Alloway, 2006; Lee Swanson, Cochran, & Ewers, 1990), AAC선행연구에서기억 (memory) 은도구적상징이나부호뿐아니라비도구적상징이나부호를통해표상되는메시지를구성하고이를재생, 선택, 순서화, 및범주화하는일련의복잡한기술들과밀접한관련이있음을보고하였다 (Light & Lindsay, 1991; Mirenda, 2003; Oxley & Norris, 2000). Kovach 와 Kenyon (2003) 은특히역동적디스플레이나자동적훑기 (scanning) 를사용하는도구를결정할때고려해야할중요한요인으로제안하였다. Thistle과 Wilkinson (2013) 은발달장애를가진 AAC 사용자들의작업기억요구 (working memory demands) 에관한포괄적인리뷰에서 AAC 사용자들이인지적또는감각적인정보를처리하기위하여주의력에상당한요구가부여된다고주장하였다. 성공적인 AAC 활용에서사용자들은상징배열에서원하는상징을정확히선택하기위하여어떤상징들이위치해있는지를기억할때작용하는단기기억 (short-term memory) 과과거에접근했던상징들을회상하고 AAC 시스템에서그상징들이어디에위치하고있는지를접근할때작용하는장기기억 (long-term memory) 의요구가부과되며, 이러한요구는메시지를작성하는동안페이지와카테고리, 그리고상징의위치에대한계속적인회상을위하여동시적그리고 연속적으로요구된다고하였다. Thistle과 Wilkinson (2013) 은의사소통의성공을위하여단기기억과장기기억의활동을통합하는작업기억이필요하며, 구문론적으로정확한메시지를만들기위하여상징의위치를회상하고, 도구를탐색 (navigation) 하고, 정확한메시지작성을위해자기점검 (self-monitoring) 과자기교정 (selfcorrection) 을수행할때작업기억이특별히요구된다고제안하였다. 또한그들은낮은작업기억능력이멀티디스플레이에서상징선택과상징연속에어려움을가져온다고제안하였다. Thistle과 Wilkinson (2013) 의연구이외에아동및성인 AAC 사용자들의수행에서작업기억의중요성이몇몇 AAC 연구에서보고되고있으나 (Garrett & Kimelman, 2000; Murray & Goldbart, 2009; Petroi, Koul, & Corwin, 2014; Weinrich, Shelton, McCall, & Cox, 1997) 그수가매우제한적이며증거기반을위한실험연구들로이어지지않고있다. 특히, 그림상징을선택할때상징의배열에따라작업기억이미치는영향을체계적으로살펴본연구는거의없는실정이다. 성인 AAC 사용자를위해그림상징의사용을고려해야하는이유는개인차이가있겠으나선천적또는후천적인이유로문해력이함께손상되어글자기반의 AAC 기기를이용하는데에어려움을갖는경우가상당하기때문이다 (Koul, Corwin, & Hayes, 2005; Lasker, Garrett, & Fox, 2007; Moffatt, Pourshahid, & Baecker, 2017; Trudeau, Sutton, Morford, Côté-Giroux, Pauzé, & Vallée, 2010). 따라서본연구는 AAC 그림상징을사용하여문장을구성할때그림상징의배열조건 ( 고정배열과비고정배열 ) 에따라문장구성수행력에차이를보인선행연구 (Shin, 2017) 결과에착안하여이러한과제수행의차이가언어적, 비언어적작업기억과관련이있는지알아보고자하였다. 또한, 문장구성과제에서같은그림상징이동일한위치 ( 고정배열 ) 또는서로다른위치 ( 비고정배열 ) 에서반복하여제시되므로상징의노출횟수가과제수행의반응시간에어떠한영향을주는지추가로조사하였다. 작업기억및노출횟수가 AAC 수행에미치는영향을살펴보기위하여개인간이질적인 (heterogeneous) 특성차이가적은정상성인을대상으로하였으며, 추후성인장애유형별특성과비교할수있는기초자료로활용하고자본연구가실시되었다. 연구질문은다음과같다. 첫째, 작업기억능력과상징에대한노출횟수, 그리고문장구성수행간에유의한상관관계가있는가? 둘째, 언어적, 비언어적작업기억이고정배열과비고정배열에서의문장구성과제수행력을유의하게예측하는가? 셋째, 그림상징및상징의위치에대한노출횟수가고정배열과비고정배열에서의문장구성과제수행력을유의하게예측하는가?

3 Sangeun Shin, et al. Working Memory on AAC Symbol Selection 연구방법연구대상본연구는 Shin (2017) 의연구에참여한대상자들의데이터를사용하여분석한연구로, 피험자의모집조건은다음과같이동일하다. 서울, 경기지역에거주하며선정조건에부합한 32명의성인 ( 만 20-39세 ) 을연구대상자로하였으며선별기준은 (1) 한국어가모국어이며, (2) 고졸이상의학력을가지고, (3) Snellen 시력측정표 (Reduced Snellen Chart; Ross & Wertz, 2003) 의비영어권검사에서모두 20/100 이상의시력척도를나타내고 (Ross & Wertz, 2003), (4) 수용및표현어휘력검사 (Receptive and Expressive Vocabulary Test, REVT; Kim, Hong, Kim, Jang, & Lee, 2009) 에서수용어휘력점수가 -1 SD 이상으로정상범위에속하고, (5) 한국판웨스턴실어증검사 (Korean version of the Western aphasia battery, K-WAB: Kim & Na, 2001) 의 읽기 하위검사중 글명령 의 5문항에서모두정반응을보이고, (5) 정신및신경학적질환에대한병력또는언어및말장애결함에대한이력이없는성인을대상으로하였다. 모든피험자들은연구참여동의서의설명을듣고사전동의에서명한후선별검사와본실험에참여하였다. Table 1에제시된바와같이전체피험자들의평균연령은 26.75세 (SD =7.05) 이고, 평균교육년수는 년 (SD = 1.82), REVT의평균수용어휘점수는 점 (SD =3.27) 이었다. 실험과제및절차언어적 / 비언어적작업기억과제언어적작업기억평가를위하여숫자역순외우기 (Backward Digit Span, BDS) 와비언어적작업기억평가를위하여매트릭스역순외우기 (Backward Matrix, BM) 검사를실시하였다. 두가지작업기억과제는선행연구 (Yoo, 2017) 에서기존의작업기억과제를한국어로번안하여개발한검사로동일한과제시행절차를따랐다. 두과제모두연습문항을실시한후 16개의문항 (8단계의 span 에각각 2문항씩, 총 16문항 ) 으로구성된본실험과제를진행하였다. BDS 과제는피험자에게 2개에서 9개의숫자로이루어진일련의숫자열을듣고거꾸로따라말하도록요구하였고, BM 과제는피험자가컴퓨터스크린에제시된 3 3 배열의 9개의정사각형으로구 Table 1. Participants characteristics M SD Min Max Age (yr) Years of education REVT-Receptive REVT= Receptive & Expressive Vocabulary Test (Kim, Hong, Kim, Jang, & Lee, 2009). 성된매트릭스에서순차적으로제시된빨간색칸들의위치를역순으로기억하여마우스로클릭하도록요구하였다. 두과제모두난이도에따라순차적으로실시하되한 span에서 2번의시도중 2번모두오반응을보일경우검사를중단하였다. 과제의점수는정반응에서 1점, 오반응에서 0점을기록하여원점수로총점을계산하였다. 모든검사는 SuperLab version 4.5 (Cedrus Corp., San Pedro, CA, USA) 프로그램을통해실시하였다. 배열조건에따른문장구성과제본연구에서사용된문장구성과제는 Shin (2017) 의연구에서개발된과제로피험자에게 3어조합의목표문장을제시하고고정배열과비고정배열조건에서각각의목표어에상응하는세개의그림상징을순차적으로선택하도록요구하였다. 목표문장은명사-부사-동사순으로구성된짧은문장으로, 명사는 2음절의각기다른의미적카테고리에속하는 5개의구체명사 ( 그릇, 의자, 사과, 양말, 비누 ) 중한단어를, 부사는 2음절의 5개성상부사 ( 계속, 빨리, 지금, 많이, 다시 ) 중한단어를, 그리고동사는해요체의어미형태를가지는 5개의동작동사 ( 찾아요, 잡아요, 던져요, 놓아요, 버려요 ) 중한단어를선택하여 3어문장을구성하였다. 각품사별단어를 5회씩서로다른문장에반복사용하여 Appendix 1과같이 25개의목표문장을만들고고정및비고정배열과제에서동일한검사문항으로사용하였다. 또한, 두가지배열과제모두검사문항을피험자집단에균형배정 (counter balance) 하여제시하였다. 목표어에대한그림상징은이화-AAC 상징 (Park et al., 2016; Yeon, Kim, & Park, 2016) 을사용하여 15개의그림상징 ( 가로 5개 세로 3개 ) 으로구성된 1, 픽셀크기의그림상징판을제작하였다. 고정배열과제에서는동일한하나의그림상징판을검사문항마다제시하였고, 비고정배열과제에서는같은 15개의그림상징을포함하지만상징의위치를모두다르게하여 25개의서로다른그림상징판을제시하였다. 이때동일목표문장에대한고정과비고정배열에서제시되는그림상징판이일치하지않도록서로다른위치에서그림상징을배치시켰다. 고정과비고정배열의문장구성과제는 E-Prime 2.0 (Schneider, Eschman, & Zuccolotto, 2002) 을통해제작하였다. 실험절차본실험이전에피험자들에게 15개의그림상징과연습문항에서사용되는그림상징들을목표단어와정확히연결시킬수있도록친숙화단계를실시하였고모든그림상징에대해이름대기검사에서 100% 정반응을보일경우에만본실험을시작하였다. 과제절차는처음 500 ms의 fixation 화면이나오고 100 ms 간격의 blank 화면이

4 작업기억과노출횟수가 AAC 그림상징을이용한문장구성에미치는영향 신상은외 나타났다사라지면목표문장이화면중앙에제시되었다 ( 예 : 의자많이놓아요 ). 피험자가목표문장을묵독한후동일한위치에서마우스이동을시작하기위하여화면의특정위치를클릭해야만그림상징판 (Figure 1) 이나타나도록하였다. 마우스를클릭하면 100 ms 간격의 blank 화면이나타난후그림상징판이화면에제시되었고피험자들에게목표문장에상응하는그림상징을어순에맞게마우스로클릭하여선택하도록요구하였다. 과제의정반응수와반응시간 (ms) 은 E-Prime 2.0과 Microsoft Excel 프로그램을사용하여자동산출하였다. 검사의정반응 (accuracy) 은목표문장에해당하는그림상징세가지를순서대로모두정확하게찾을경우에 1점을, 그렇지않을경우에는 0점처리하였고, 반응시간 (response time) 은그림상징판이화면에제시되는순간 (stimulus onset time) 부터피험자가마지막세번째그림상징을선택하는순간까지의시간으로계산하였다. test) 을실시하였다. 두가지작업기억과배열조건별문장구성의정반응수와반응시간과의상관관계를살펴보기위하여연령과교육년수, 어휘력을공변인으로통제한편상관분석 (partial correlation analysis) 을실시하였고, 언어적, 비언어적작업기억이고정과비고정배열에서의문장구성수행력을예측할수있는지살펴보기위하여 3가지공변인을통제한단계적다중회귀분석 (stepwise regression analyses) 을실시하였다. 또한, 두가지배열조건모두 25개의검사문항으로구성되어있으며검사가진행될수록동일한그림상징에대한노출의횟수가증가하므로목표어와그림상징의연계가강화되어기억과밀접한관계를이룰것으로기대된다. 따라서, 노출횟수를예측변인으로추가하여두가지배열조건에따른문장구성반응시간을예측하는지조사하였다. 본연구의모든자료분석은 IBM SPSS statistics version 21.0 프로그램을사용하여분석하였다. 자료분석및통계처리언어적, 비언어적작업기억간의차이와배열조건에따른문장구성의정반응수와반응시간의차이를알아보기위하여각변인의정규성검정결과에따라모수검정의대응표본 t-검정 (paired sample t-test) 또는비모수검정의윌콕슨부호순위검정 (Wilcoxon signed-ranks 연구결과피험자들의작업기억과제및문장구성과제수행분석연구문제를분석하기에앞서피험자들의언어적, 비언어적작업기억능력과고정및비고정배열에서의문장구성수행력을살펴보 Figure 1. Graphic symbols in the non-fixed array condition (target sentence: Put lots of chairs). Table 2. Descriptive statistics on verbal and non-verbal working memory measures M SD Min Max t p-value Effect size (Cohen s d) Backward Digit Span Backward Matrix

5 Sangeun Shin, et al. Working Memory on AAC Symbol Selection 고각변인들간의차이를조사하였다. Table 2 에제시된바와같이 숫자역순외우기 (BDS) 과제를통한언어적작업기억의평균은 9.94 점 (SD = 2.87) 이었고, 매트릭스역순외우기 (BM) 과제를통한 비언어적작업기억의평균은 8.78 점 (SD = 2.62) 으로언어적작업기 억보다다소낮게나타났다. 하지만, 대응표본 t- 검정 (paired sample t-test) 을실시한결과, 두가지작업기억간의차이는통계적으 로유의하지않았다 (t(31) =1.913, p =.065). 고정배열과비고정배열에서정반응수 (accuracy) 와반응시간 (response time) 의 4 가지변인들중고정배열에서의반응시간을제 외하고 (Shapiro-Wilk test, p =.63) 모두정규분포가정을충족시키 지못하므로 (p <.01) 비모수검정방법인윌콕슨부호순위검정 (Wilcoxon signed-ranks test) 을실시하여두가지배열조건에서정반응 수및반응시간간의차이를조사하였다. Table 3 에나타난바와같이 고정배열과비고정배열의평균정반응수는 점 (FA SD =.95, NFA SD =.91) 으로서로동일하여유의한차이가없었다 (Z=.000, p =.100). 반면에, 고정배열에서의평균반응시간은 3, ms (SD = ) 이었고비고정배열에서의평균반응시간은 4, (904.57) ms 로고정배열보다느리게반응하였으며두배열조건간 반응시간의차이는통계적으로유의하였다 (Z= , p<.001). 이 는고정배열에서의문장구성반응시간이비고정배열보다유의하 게짧음을나타낸다. Table 3. Descriptive statistics on accuracy and response time measures in the fixed and non-fixed array conditions M SD Min Max Z p-value Accuracy (%) Fixed array Non-fixed array Response time (ms) *** Fixed array 3, , , Non-fixed array 4, , , ***p <.001. 작업기억, 노출횟수, 그리고문장구성수행간의상관관계언어적, 비언어적작업기억과과제에대한노출횟수가배열조건에따라문장구성수행에미치는영향력을살펴보기에앞서이들변인간의상관관계를분석하였다. 연령과교육년수, 어휘력을공변인으로통제한편상관분석 (partial correlation analysis) 결과, 영역내상관관계 (within-domain correlations) 에서는, Table 4에서보이는바와같이언어적작업기억과비언어적작업기억은통계적으로유의한상관을나타내지않았다 (r =.048, p=.805). 이에반해, 고정과비고정배열의정반응수는정적상관관계를보였고 (r =.420, p<.05), 두가지배열조건의반응시간또한높은정적상관관계를보였다 (r =.784, p<.001). 이는고정배열에서의정반응수가높을수록비고정배열에서도정반응수가높아지고, 고정배열에서반응시간이짧을수록비고정배열에서도반응시간이짧아짐을나타낸다. 영역간상관관계 (between-domain correlations) 에서통계적으로유의한상관을살펴보면, 언어적작업기억은비고정배열의반응시간과부적상관관계를보였고 (r = -.400, p<.05), 비언어적작업기억은고정배열의반응시간과부적상관관계를보여 (r=-.406, p<.05) 서로상의한짝을이루었다. 이는언어적작업기억이높을수록비고정배열에서의문장구성반응시간이유의하게줄고, 비언어적작업기억이높을수록고정배열에서의문장구성반응시간이유의하게줄어듦을나타낸다. 아울러노출횟수와다른변인간의상관관계를살펴보기위하여연령과교육년수, 어휘력을공변인으로통제한편상관분석을실시한결과, 노출횟수는언어적, 비언어적작업기억과유의한상관을이루지못하였고 ( 언어적작업기억 r = -.007, p =.849; 비언어적작업기억 r = -.001, p =.988), 고정및비고정배열의반응시간과는유의하게높은부적상관을이루었다 ( 고정배열 r = -.333, p<.001; 비고정배열 r = -.102, p<.01), 즉, 노출횟수의증가가작업기억능력의증진과는무관하나노출횟수가증가할수록문장구성반응시간이유의하게짧아졌으며이러한감소율이비고정배열보다고정배열에서 3배이상높게나타났다. Table 4. Partial correlation analyses controlling for age, years of education, and vocabulary ability Verbal WM - Verbal WM Non-verbal WM Fixed array ACC Non-fixed array ACC Fixed array RT Non-fixed array RT Non-verbal WM Fixed array ACC Non-fixed array ACC * - Fixed array RT * Non-fixed array RT -.400* * *** - WM= working memory; ACC= accuracy; RT= response time. *p <.05, ***p <

6 작업기억과노출횟수가 AAC 그림상징을이용한문장구성에미치는영향 신상은외 그림상징의배열조건에따른작업기억의예측적기여언어적, 비언어적작업기억이고정과비고정배열에서의문장구성수행력을예측할수있는지를살펴보기위하여단계적다중회귀분석 (stepwise regression analyses) 을실시하였다. 먼저, 과제수행에영향을미칠수있는피험자들의연령과교육년수, 어휘력을공변인으로통제하고언어적, 비언어적작업기억을예측변인으로, 고정과비고정배열에서의정반응수와반응시간을종속변인으로설정하였다. 예측변수 ( 언어적작업기억, 비언어적작업기억 ) 간의다중공선성 (multicollinearity) 검정을실시한결과, 공차한계 (tolerance) 가 이었고분산팽창지수 (variance inflation factor, VIF) 가 로 2가지모두적정기준 (TOL 0.2, Menard, 2002; VIF 10, Myers, 2000) 을충족하여예측변수간의다중공선성에문제가없는것으로나타났다. 정반응수에대한작업기억의예측변인탐색배열조건에따른문장구성정반응수의예측변인을찾기위하여회귀분석을실시한결과, 언어적, 비언어적작업기억모두고정및비고정배열에서의정반응수를유의하게예측하지못하였다. (a) 고정배열조건 : 언어적작업기억 (t=.536, p=.596), 비언어적작업 (t=.617, p=.542), (b) 비고정배열조건 : 언어적작업기억 (t =.915, p=.368), 비언어적작업 (t =.769, p=.449). 반응시간에대한작업기억의예측변인탐색배열조건에따른문장구성반응시간의예측변인을찾기위해회귀분석을실시한결과 Table 5에서보이는바와같이언어적 / 비언어적작업기억모두두가지배열조건에서유의한예측변인으로나타났으나배열조건에따라예측순위가상반되었다. 고정배열에서는비언어적작업기억 (ΔR 2 =.040, ΔF(1,776) = , p<.001, β= -.227) 이언어적작업기억 (ΔR 2 =.008, ΔF(1,775) = 6.430, p.05, β= -.100) 보다상대적으로높은비율 (5배이상 ) 로반응시간을예측하였고, 비고정배열에서는언어적작업기억 (ΔR 2 =.049, ΔF(1,776) = , p<.05, β=-.247) 이비언어적작업기억 (ΔR 2 =.006, ΔF(1,775) = 4.528, p<.05, β= -.086) 보다상대적으로높은비율 (8배이상 ) 로반응시간을예측하였다. 이는언어적, 비언어적작업기억이모두고정및비고정배열에서문장구성의반응시간을유의하게예측하나, 상징배열의고정성여부에따라서로다른작업기억이보다많은영향을주고있음을보여준다. 그림상징의배열조건에따른노출횟수의예측적기여회귀분석에앞서세가지예측변수 ( 노출횟수, 언어적작업기억, 비언어적작업기억 ) 간의다중공선성 (multicollinearity) 검정을실시한결과, 공차한계 (tolerance) 는 이었으며분산팽창지수 (VIF) 는 으로 2가지모두적정기준을충족하여예측변수들간의다중공선성에문제가없는것으로나타났다. 배열조건에따른문장구성반응시간의예측변인을찾기위해회귀분석을실시한결과 Table 6에서보이는바와같이, 3가지예측변인모두고정및비고정배열의반응시간을통계적으로유의하게예측해주었으나예측순위는배열조건에따라다소상이하였다. 고정배열에서가장큰예측변인은노출횟수 (ΔR 2 =.104, ΔF(1,776) = , p<.001, β=-.323) 였으며, 비언어적작업기억 (ΔR 2 =.040, ΔF(1,775) = , p<.001, β=-.227) 과언어적작업기억 (ΔR 2 =.008, ΔF(1,774) = 7.241, p<.01, β= -.100) 순으로반응시간에유의한영향을미쳤다. 반면에, 비고정배열에서가장유의한예측변인은언어적작업기억 (ΔR 2 =.049, ΔF(1,776) = , p<.001, β=-.247) 이었으며, 노출횟수 (ΔR 2 =.010, ΔF(1,775) = 8.204, p<.01, β=-.100) 와비언어적작업기억 (ΔR 2 =.006, ΔF(1,774) = 4.571, p<.05, β=-.086) 순으로 Table 5. Stepwise regression analysis on RT measures with two predictors (verbal WM, non-verbal WM) Variable R 2 Adjusted R 2 ΔR 2 ΔF p-value β Fixed array RT Step 1 Age, Years of education, Vocabulary *** - Step 2 Non-fixed array RT Step 1 Non-verbal WM *** Verbal WM * Age, Years of education, Vocabulary Step 2 Verbal WM *** Non-verbal WM * RT= reaction time; WM= working memory; β= standardized coefficient. *p <.05, ***p <.001 (significance of F change)

7 Sangeun Shin, et al. Working Memory on AAC Symbol Selection Table 6. Stepwise regression analysis on RT measures with three predictors (verbal WM, non-verbal WM, exposure to the symbols) Variable R 2 Adjusted R 2 ΔR 2 ΔF p-value β Fixed array RT Step 1 Age, Years of education, Vocabulary *** - Step 2 Non-fixed array RT Step 1 Exposure to the symbols *** Non-verbal WM *** Verbal WM ** Age, Years of education, Vocabulary Step 2 Exposure to the symbols ** Non-verbal WM * Verbal WM *** RT= reaction time; WM= working memory; β= standardized coefficient. *p <.05, **p <.01, ***p <.001 (significance of F change). 반응시간에유의한영향을미쳤다. 이는두가지예측변인의회귀분석에서배열조건에따른작업기억의예측순위가세가지예측변인의회귀분석에서도동일하게유지되고있음을보여준다 ( 고정배열 : 비언어적작업기억 > 언어적작업기억 ; 비고정배열 : 언어적작업기억 > 비언어적작업기억 ). 그뿐만아니라, 고정배열에서노출횟수의예측설명력이비고정배열보다 10배가량증가하였고, 고정배열에서노출횟수에따른반응속도의감소율또한비고정배열과비교했을때 3배이상높게나타났다. 이는노출횟수가증가할수록비고정배열보다고정배열에서의반응시간이크게줄어듦을나타낸다. 논의및결론본연구는효과적인 AAC 중재의근거마련을위해, 정상성인을대상으로 AAC 그림상징의배열조건에따라작업기억능력이문장구성수행에미치는영향을살펴보고상징에대한노출횟수가영향을주는지를함께살펴보고자하였다. 첫번째로, 작업기억및노출횟수와문장구성수행력과의상관관계를살펴본결과, 종속변수에따라그리고배열조건에따라상이한결과가나타난다는것이확인되었다. 우선, 정확도에관하여언어적, 비언어적작업기억모두유의한상관관계를보이지않았다. 이러한결과는피험자들의평균정확도가고정배열및비고정배열에서모두만점에가까운점수를보였던것을고려하였을때, 정상성인은 3어조합의목표문장을구성할때작업기억의유형및능력과상관없이그림상징을정확하게선택하는데에큰어려움이없다는것을보여준다. 그러나이러한결과는모든목표문장의산출에서도동일하게나타난다고확대해석해서는안될것이다. 본연구 는실험자극어의단어빈도를통제하였고, 명사 + 부사 + 동사의단일문장형태를사용하였기때문에보다복잡하거나단순한형태의다양한단어들로구성된문장에서피험자들이동일한수행을보일지에대해서는정보를주고있지않다. 이에대해서는추후연구가필요할것이다. 반면에반응시간에서는고정과비고정배열모두작업기억능력과유의한상관관계가있었으며, 상관관계를보이는작업기억의유형도배열조건에따라상이한것으로나타났다. 즉, 고정배열에서는비언어적작업기억과반응시간간의부적상관관계가나타나, 상징의위치를파악하는능력과관련되는비언어적작업기억이높을수록문장을구성하는시간이유의하게줄어든다는것을확인할수있었다. 비고정배열에서는언어적작업기억과반응시간간의부적상관관계가보였는데이는배열조건의특성상시도마다그림상징의위치가동일하지않으므로비언어적작업기억을원활히사용할수없는것과관련된것으로보인다. 대신 3어조합의목표문장에대해첫번째명사에해당하는그림상징을화면에서시각적으로찾으면서나머지목표단어들에대해서는계속리허설 (rehearsal) 을해야하는언어적작업기억의작용이상대적으로보다두드러지게나타난결과로보여진다. 아울러노출횟수도그빈도가증가할수록반응시간이유의하게줄어든다는것이확인되었는데, 고정배열에서의감소가비고정배열에서보다더높은것으로나타났다. 이러한결과는그림상징의위치를고정한상황에서는여러번의노출을통해상징뿐아니라그상징의위치에대한학습기회가증가하기때문에목표상징을찾아내는시간의효율성이증가한것으로풀이될수있겠다. 반면에노출횟수가언어적 / 비언어적작업기억과는상관이없는것으로

8 작업기억과노출횟수가 AAC 그림상징을이용한문장구성에미치는영향 신상은외 나타남으로써노출효과는작업기억의처리과정과는다른기제임을추론할수있겠다. 피험자들이여러번의과제수행으로상징의위치를학습하게되고, 이러한경험은작업기억과는달리더긴시간동안정보를기억할수있는기제인장기기억 (long-term memory) 에저장되었을가능성이높다 (Tulving, 2002). 장기기억중에서도어떠한특정한기억이관여하였는지에대해서는이를측정할수있는보다세밀한실험설계가필요할것으로보여지나매과제를수행할때마다피험자의경험이수반된다는점을고려하였을때일화기억 (episodic memory) 의연관성을배제할수없다. 또한동일한상징위치에대해과제가반복되므로상징을선택할때에자발적으로크게노력하지않아도정확한위치를기억해낼수있도록해주는절차기억 (procedural memory) 이관여되었을가능성도있다. 작업기억이실제로문장구성수행을예측하는변인인지를살펴본두번째연구질문과관련해서는종속변수중반응시간에대해서만두유형의작업기억이유의한예측변인으로나타났으며배열조건에따라두유형의작업기억이영향을주는순서가바뀌는것으로확인되었다. 즉, 고정배열에서는비언어적작업기억이언어적작업기억보다많은영향을주는예측변인이었고, 비고정배열에서는그반대의양상이나타났다. 고정과비고정배열모두에서언어적작업기억이유의한예측변인으로확인되었는데, 이를작업기억모형과연관지어살펴보면 (Baddeley & Hitch, 1974; Baddeley, 2000), 언어적정보를저장하는기능을담당하는작업기억의음운회로가수행에영향을주어순차적으로목표그림상징을선택함과동시에이후의목표단어들을머리속에서계속되뇐것으로보인다. 특이한것은고정배열에서비언어적작업기억이언어적작업기억보다상대적으로더많이작용을하였다는점인데, 이는작업기억모형을구성하는음운회로와시공간메모장중에서비언어적정보를저장하는시공간메모장이그림상징의위치를더쉽게파악할수있도록활발히가동되었기때문으로보여진다. 반면에비고정배열에서는상징의위치가매번바뀌기때문에피험자들의시공간메모장이활용되는데에상대적으로제약이있었을것으로보인다. 마지막으로노출횟수가고정배열과비고정배열의과제수행력을유의하게예측하는지를살펴본세번째연구질문과관련해서는노출횟수가배열조건과상관없이반응시간에영향을주는것으로확인되었다. 그러나고정배열에서노출횟수의예측설명력이비고정배열보다 10배가량높았고, 노출횟수에따른반응속도의감소율또한비고정배열보다 3배이상높게나타나, 자극에대한이전경험이시각적탐색능력을증진시킨다는선행연구와일치된결과를보여줬다 (Chun & Jiang, 1998; Stokes, Atherton, Patai, & Nobre, 2012). 본연구는 AAC 수행과관련이있다고주장되어온작업기억에 대하여 (Light & Lindsay, 1991; Mirenda, 2003; Oxley & Norris, 2000) 정상성인에대한선행연구가부족한점을보완하고, 효과적인 AAC 중재를위한경험적자료를마련하였다는점에서의의가있다. 특히언어및인지적능력에있어서중추적인역할을하는것으로알려진작업기억이 (Baddeley & Hitch, 1974; Just & Carpenter, 1992; Martin, Ayala, & Saffran, 2002) AAC 수행에도영향을미치며, 작업기억모델 (Baddeley & Hitch, 1974; Baddeley, 2000) 을구성하는음운회로와시공간메모장이 AAC 그림상징의선택을통한문장구성에도그대로적용될수있다는이론적틀을확인하였다. 또한상징의배열조건에따라언어적작업기억에대한의존도가크게달라질수있음을보여줌으로써, AAC 사용자들이고정배열을통해언어적작업기억뿐아니라비언어적작업기억능력을활용하고노출효과를발생시켜시간적측면에서효율적인의사소통을증진시킬수있다는임상적의의도제공하였다. 언어적작업기억이상대적으로취약한사용자의경우잦은그림상징의위치변화는아동의 AAC 수행을저해할수있으므로 AAC 중재에서적절한상징을선택하는것못지않게상징을어떻게배열할것인가가중요하며, 이들의비언어적작업기억능력을충분히활용하여효과적인 AAC 의사소통자가될수있도록임상가의세심한중재설계가필요하다는것을주지해야할것이다. 인지적요인을포함하여개인별특성의영향력을최소화하기위하여본연구는정상성인을대상으로실험을진행하였다. 인지적으로문제가없는젊은성인을대상으로하였기때문에과제수행에있어서의편차는크지않았으며그로인해예측변인들의설명력이실제 AAC 사용자를대상으로하는연구보다낮을수있다. 그럼에도불구하고과제조건별로서로다른작업기억과노출횟수의영향이나타났다는것은흥미로운결과라하겠다. AAC 사용자의경우정상인과다른작업기억양상을보일수있으므로 (Murray & Goldbart, 2009) 각장애별로이들의언어적, 비언어적작업기억과노출횟수가 AAC 수행에미치는영향을살펴보고본연구에서밝혀진정상인의수행과비교해볼필요가있겠다. 또한기억이외의인지적, 언어적, 운동적결함이동반될경우사용자간의수행편차는더욱벌어질것으로예상되므로이로인해설명력에도변화가나타나는지함께살펴보아야하겠다. 마지막으로본연구는여러페이지로구성된그림상징판을사용하지않고, 하나의페이지내에서목표상징들을찾도록과제를구성하였다. 따라서연구결과가다수의페이지로구성된역동적디스플레이상황에서어떠한차이가나타나는지를추후연구에서살펴보아야하겠다

9 Sangeun Shin, et al. Working Memory on AAC Symbol Selection REFERENCES Alloway, T. P., Gathercole, S. E., Willis, C., & Adams, A. M. (2004). A structural analysis of working memory and related cognitive skills in young children. Journal of Experimental Child Psychology, 87, Baddeley, A. (2000). The episodic buffer: a new component of working memory? Trends in Cognitive Sciences, 4, Baddeley, A. D., & Hitch, G. (1974). Working memory. In G. H. Bower (Ed.), The psychology of learning and motivation: advances in research and theory (pp ). New York, NY: Academic Press. Bayliss, D. M., Jarrold, C., Gunn, D. M., & Baddeley, A. D. (2003). The complexities of complex span: explaining individual differences in working memory in children and adults. Journal of Experimental Psychology: General, 132, Chun, M. M., & Jiang, Y. (1998). Contextual cueing: implicit learning and memory of visual context guides spatial attention. Cognitive Psychology, 36, Garrett, K. L., & Kimelman, M. D. Z. (2000). AAC and aphasia: cognitive-linguistic considerations. In D. R. Beukelman et al. (Eds.), Augmentative and alternative communication for adults with acquired neurologic disorders (pp ). Baltimore, MD: Paul H. Brookes. Gathercole, S. E., Lamont, E., & Alloway, T. P. (2006). Working memory in the classroom. In S. J. Pickering (Ed.), Working memory and education (pp ). Amsterdam: Elsevier. Jonides, J., Lacey, S. C., & Nee, D. E. (2005). Processes of working memory in mind and brain. Current Directions in Psychological Science, 14, 2-5. Just, M. A., & Carpenter, P. A. (1992). A capacity theory of comprehension: individual differences in working memory. Psychological Review, 99, Kane, M. J., Hambrick, D. Z., Tuholski, S. W., Wilhelm, O., Payne, T. W., & Engle, R. W. (2004). The generality of working memory capacity: a latentvariable approach to verbal and visuospatial memory span and reasoning. Journal of Experimental Psychology: General, 133, Kim, H. H., & Na, D. L. (2001). Paradise Korean version-western Aphasia Battery (K-WAB). Seoul: Paradise Welfare Foundation. Kim, Y. T., Hong, G. H., Kim, K. H., Jang, H. S., & Lee, J. Y. (2009). Receptive & expressive vocabulary test (REVT). Seoul: Seoul Community Rehabilitation Center. Kim, Y. T., Lee, H. R., & Park, S. H. (2006). Support needs perceived by the speech therapists and special education teachers on AAC application: a qualitative inquiry. Korean Journal of Communication & Disorders, 11, Koul, R., Corwin, M., & Hayes, S. (2005). Production of graphic symbol sentences by individuals with aphasia: efficacy of a computer-based augmentative and alternative communication intervention. Brain and Language, 92, Kovach, T. M., & Kenyon, P. B. (2003). Visual issues and access to AAC. In J. C. Light et al. (Eds.), Communicative competence for individuals who use AAC: from research to effective practice (pp ). Baltimore, MD: Paul H. Brookes. Lasker, J., Garrett, K. L., & Fox, L. E. (2007). Severe aphasia. In D. Beukelman et al. (Eds.), Augmentative communication strategies for adults with acute or chronic medical conditions (pp ). Baltimore, MD: Paul H. Brookes. Lee Swanson, H., Cochran, K. F., & Ewers, C. A. (1990). Can learning disabilities be determined from working memory performance? Journal of Learning Disabilities, 23, Light, J., & Lindsay, P. (1991). Cognitive science and augmentative and alternative communication. Augmentative and Alternative Communication, 7, Martin, N., Ayala, J., & Saffran, E. M. (2002). Lexical influences on serial position effects in verbal STM span in aphasia. Brain and Language, 83, Menard, S. (2002). Applied logistic regression analysis (2nd ed.). Thousand Oaks, CA: Sage Publication Inc. Mirenda, P. (2003). Toward functional augmentative and alternative communication for students with autism: manual signs, graphic symbols, and voice output communication aids. Language, Speech, and Hearing Services in Schools, 34, Moffatt, K., Pourshahid, G., & Baecker, R. M. (2017). Augmentative and alternative communication devices for aphasia: the emerging role of smart mobile devices. Universal Access in the Information Society, 16, Murray, J., & Goldbart, J. (2009). Cognitive and language acquisition in typical and aided language learning: a review of recent evidence from an aided communication perspective. Child Language Teaching and Therapy, 25, Myers, R. H. (2000). Classical and modern regression with applications (2nd ed.). Pacific Grove, CA: Duxbury/Thomson Learning. Oxley, J., & Norris, J. (2000). Children s use of memory strategies: relevance to voice output communication aid use. Augmentative and Alternative Communication, 16,

10 작업기억과노출횟수가 AAC 그림상징을이용한문장구성에미치는영향 신상은외 Park, E. H., Kim, Y. T., Hong, K. H., Yeon, S. J., Kim, K. Y., & Lim, J. H. (2016). Development of Korean Ewha-AAC symbols: validity of vocabulary and graphic symbols. AAC Research & Practice, 4, Petroi, D., Koul, R. K., & Corwin, M. (2014). Effect of number of graphic symbols, levels, and listening conditions on symbol identification and latency in persons with aphasia. Augmentative and Alternative Communication, 30, Ross, K., & Wertz, R. (2003). Quality of life with and without aphasia. Aphasiology, 17, Schneider, W., Eschman, A., & Zuccolotto, A. (2002). E-Prime user s guide. Pittsburgh, PA: Psychology Software Tools Inc. Shin, S. (2017). Effect of fixed array AAC graphic symbols on sentence construction. Communication Sciences & Disorders, 22, Stokes, M. G., Atherton, K., Patai, E. Z., & Nobre, A. C. (2012). Long-term memory prepares neural activity for perception. Proceedings of the National Academy of Sciences, 109, E360-E367. Thistle, J. J., & Wilkinson, K. M. (2013). Working memory demands of aided augmentative and alternative communication for individuals with developmental disabilities. Augmentative and Alternative Communication, 29, Trudeau, N., Sutton, A., Morford, J. P., Côté-Giroux, P., Pauzé, A. M., & Vallée, V. (2010). Strategies in construction and interpretation of graphic-symbol sequences by individuals who use AAC systems. Augmentative and Alternative Communication, 26, Tulving, E. (2002). Episodic memory: from mind to brain. Annual Review of Psychology, 53, Weinrich, M., Shelton, J. R., McCall, D., & Cox, D. M. (1997). Generalization from single sentence to multisentence production in severely aphasic patients. Brain and Language, 58, Yeon, S. J., Kim, Y. T., & Park, E. (2016). Transparency and name agreement of Korean Ewha-AAC symbols: nouns, verbs, and adjectives. AAC Research & Practice, 4, Yim, D., Kim, Y. T., & Yang, Y. (2016). Exploring the utility of verbal and visuospatial working memory for identifying children with language impairment. Communication Sciences & Disorders, 21, Yoo, J. (2017). Relative clause sentence processing and executive function in children with and without specific language impairment (Master s thesis). Ewha Womans University, Seoul, Korea

11 Sangeun Shin, et al. Working Memory on AAC Symbol Selection Appendix 1. 문장구성과제에사용한 25개의목표문장 No. Text stimuli 1 사과많이잡아요 2 의자빨리버려요 3 비누다시던져요 4 그릇계속찾아요 5 양말지금놓아요 6 사과빨리던져요 7 의자다시찾아요 8 비누계속놓아요 9 그릇지금잡아요 10 양말많이버려요 11 사과지금찾아요 12 의자많이놓아요 13 비누빨리잡아요 14 그룻다시버려요 15 양말계속던져요 16 사과다시놓아요 17 의자계속잡아요 18 비누지금버려요 19 그릇많이던져요 20 양말빨리찾아요 21 사과계속버려요 22 의자지금던져요 23 비누많이찾아요 24 그릇빨리놓아요 25 양말다시잡아요

12 작업기억과노출횟수가 AAC 그림상징을이용한문장구성에미치는영향 신상은외 국문초록 작업기억과노출횟수가 AAC 그림상징을이용한문장구성에미치는영향 신상은 1 박희영 2 1 충남대학교대학원언어병리학과, 2 이화여자대학교대학원언어병리학과 배경및목적 : 본연구는 AAC 그림상징의배열조건에따라언어적 / 비언어적작업기억능력과상징에대한노출횟수가문장구성과제의수행에미치는영향을살펴보고자하였다. 방법 : 총 32명의정상성인을대상으로고정과비고정배열조건에서자극문장 ( 명사-부사- 동사 ) 에대한목표상징들을순차적으로선택하도록하였고, 피험자들의정반응수와반응속도를측정하였다. 작업기억능력은숫자와공간의역순기억과제를통해평가하였다. 결과 : 다중회귀분석을실시한결과언어적 / 비언어적작업기억능력은반응속도에만영향을주는것으로나타났고, 상징배열의고정성여부에따라서로다른작업기억의유형이더크게영향을주는것으로나타났다. 즉, 비고정배열에서는언어적작업기억이, 고정배열에서는비언어적작업기억이더높은예측설명력을보여주었다. 반응속도에대한노출횟수의효과는두배열조건모두에서유의하였으나고정배열이비고정배열보다노출에따른반응속도의감소율이 3배이상높은것으로나타났다. 논의및결론 : 본연구는상징위치를고정시켰을때비언어적작업기억이작용하여효과적인상징선택을가능하도록하며, 상징과그위치에대한학습효과를통해반응시간의단축이도모된다는것을보여주었다. 이러한결과는 AAC 사용자들이상징을선택하는속도의향상을통해원활한쌍방향의의사소통을개진시킬수있다는것을시사한다. 아울러효과적인상징배치에대한경험적근거자료를제공하였다는데에임상적인의의를갖는다. 추후연구에서는상징의배열조건에따라중증장애인들의 AAC 수행이어떻게나타나는지를살펴보고이를정상인의자료와비교해볼필요가있을것이다. 핵심어 : 보완대체의사소통 (AAC), 작업기억, 상징에대한노출, 고정배열, 문장구성본연구는경기도재활공학서비스연구지원센터에서연구비를지원받아수행되었음. 참고문헌 김영태, 이희란, 박소현 (2006). 보완 대체의사소통체계 (AAC) 적용을위한언어치료사와특수교사의지원요구에대한질적연구. 언어청각장애연구, 11, 김영태, 홍경훈, 김경희, 장혜성, 이주연 (2009). 수용 표현어휘력검사 (REVT). 서울 : 서울장애인종합복지관. 김향희, 나덕렬 (2001). 파라다이스 한국판-웨스턴실어증검사. 서울 : 파라다이스복지재단. 박은혜, 김영태, 홍기형, 연석정, 김경양, 임장현 (2016). 이화-AAC 상징체계개발연구 : 어휘및그래픽상징의타당화. 보완대체의사소통연구, 4, 신상은 (2017). 고정배열된 AAC 그림상징이문장구성에미치는효과. 언어청각장애연구, 22, 연석정, 김영태, 박은혜 (2016). 이화-AAC 상징체계의상징투명도와명명일치도특성비교연구. 보완대체의사소통연구, 4, 임동선, 김영태, 양윤희 (2016). 언어장애아동판별을위한구어및시공간적작업기억의효용성탐색. 언어청각장애연구, 21,