ISSN 2288-0917 (Online) Commun Sci Disord 2018;23(2):539-548 Original Article A Study of Validity and Reliability of the CSBS DP Behavior Sample in Korean Toddlers YoonKyoung Lee a, Hyojoo Lee b, Jieun Choi c a Division of Speech Language Pathology and Audiology, Hallym University, Chuncheon, Korea b Social Science Support Korea for Keukdong University, Eumseong, Korea c Department of Speech-Language Pathology and Audiology, Graduate School of Hallym University, Chuncheon, Korea Correspondence: YoonKyoung Lee, PhD Division of Speech Pathology and Audiology, Hallym University, 1 Hallimdaehak-gil, Chuncheon 24252, Korea Tel: +82-33-248-2219 Fax: +82-33-256-3420 E-mail: ylee@hallym.ac.kr Received: April 5, 2018 Revised: June 7, 2018 Accepted: June 7, 2018 This research was supported by Hallym University Research Fund 2016 (No. HRF-201804-009). Objectives: Communication development during the toddler period provides an important opportunity for earlier identification of toddlers with developmental delays. The Communication and Symbolic Behavior Scale Developmental Profile (CSBS DP) has been known as a valid and reliable instrument for assessing communication skills in early period. This study aimed to examine if the CSBS DP behavior sample is valid and reliable tool for Korean toddlers as well. Methods: Two hundred ninety typical developing toddlers 12-24 months of age participated and were assessed on the CSBS DP behavior sample and Sequenced Language Scale for Infants (SELSI). SELSI was conducted to assess the concurrent validity of the CSBS DP. The validity and the reliability of the CSBS DP were assessed. Results: The CSBS DP demonstrated high concurrent validity with SELSI and high construct validity measured by confirmatory factor analysis. The reliabilities measured by internal consistency and inter-rater consistency showed that the CSBS DP was a highly reliable test. Conclusion: The results of this study revealed that the CSBS DP is a valid and reliable tool for assessing the early social communication skills of Korean toddlers. Keywords: CSBS DP behavior sample, Validity, Constructive validity, Concurrent validity, Reliability, Internal consistency, Inter-rater consistency, Test-retest reliability 영아의의사소통능력은언어표현이시작되기전부터발달되기시작된다. 영아들은언어를표현하기이전시기부터몸짓이나발성과같은비언어적수단을통해자신의의도를다른사람에게전달하는방법을배워가며, 이러한초기의사소통행동발달은이후언어를통한의사소통발달의토대가된다 (Calandrella & Wilcox, 2000; Chiat & Roy, 2008; Choi & Lee, 2018; Lee & Lee, 2016; Watt, Wetherby, & Shumway, 2006). 영아기의의사소통행동발달은이후언어발달의기반이될뿐아니라이후의발달을예측할수있게한다 (Choi & Lee, 2018; Lee & Lee, 2016). 아직언어표현을시작하지않은영아의의사소통발달과이후의언어발달간의관계를살펴본연구들은언어이전기의의사소통발달이이후의언어발달을유의미하게예측하였다고보고하였다 (Choi & Lee, 2018; Thal, Tobias, & Morrison, 1991; Wetherby, Watt, Morgan, & Shumway, 2007). 따라서아직언어표현을 시작하지않았거나언어표현을막시작한어린영유아의비언어적의사소통발달을확인하는것은이후의언어발달이지체될수있는영아들을더일찍발견하게하고나아가조기개입을통해이후발생가능할수있는문제를미리예방할수있게한다. 영아기의비언어적의사소통행동중에서언어발달과관련된행동을확인하는것은여러연구자들의주요관심사였다. 관련연구들은영아들이보이는의도적의사소통행동빈도나기능의다양성 (Calandrella & Wilcox, 2000; Hong & Kim, 2005; Lee & Lee, 2016), 의사소통을목적으로한몸짓사용빈도와몸짓의유형 (Choi & Lee, 2018; Iverson & Goldin-Meadow, 2005; Lee & Lee, 2015; Thal et al., 1991), 발성의빈도와발성에포함된말소리의목록및음절구조 (McCathren, Yoder, & Warren, 1999; Paul & Jennings, 1992), 수용언어능력 (Thal, Bates, Goodman, & Jahn-Samilo, 1997), 상징놀이 (Choi & Lee, 2011) 등이언어발달과깊은관계를갖는다고보 Copyright 2018 Korean Academy of Speech-Language Pathology and Audiology This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/ by-nc/4.0) which permits unrestricted noncommercial use, distribution, and reproduction in any medium, provided the original work is properly cited. http://www.e-csd.org 539
YoonKyoung Lee, et al. Validity and Reliability of the CSBS DP Behavior Sample in Korean Toddlers 고하였다. 이처럼이후언어발달의토대로써, 그리고이후언어발달을예측해주는요인으로써영아기의비언어적의사소통행동발달의중요성이여러연구를통해확인되어왔음에도불구하고, 임상이나교육현장에서영아기의비언어적의사소통행동발달을평가하도록고안된검사도구는많지않다. 영유아시기의의사소통평가도구로잘알려져있으며우리나라영유아를대상으로도표준화되어있는맥아더- 베이츠의사소통발달평가 (Fenson et al., 2007; Pae & Kwak, 2011) 는영아용에수용및표현어휘목록과더불어몸짓 ( 제스처 ) 과놀이를포함하여영아기비언어적행동을평가한다. 영아들은아직지시따르기가어렵기때문에구조화된직접검사형식은영아행동을신뢰롭게평가하는데제한점이있으므로 (Rossetti, 2001), 이를대체하기위한방법으로양육자보고를통한평가절차가흔히사용되나, 양육자보고만으로는검사자가영아의행동을직접관찰할수있는기회가제한되기때문에영아행동관찰을병행하는것이필요하다. Communication and Symbolic Behavior Scale-Developmental Profile (CSBS DP) 은언어이전기의사소통평가의중요성을배경으로, Wetherby와 Prizant (2002) 에의해개발되었다. CSBS DP는선별검사인 Infant-Toddler Checklist (ITC) 와진단검사인행동샘플검사 (behavior sample), 양육자보고검사 (parent questionnaire) 의세검사로구성되어있으며, 이중행동샘플검사는검사자가관찰을통해영아의행동을직접평가하도록고안되어있어양육자설문검사를통해서얻어진결과와종합하여영아기의의사소통행동발달을이해할수있도록하였다. 또한영아들이구조화된지시를잘따르지못한다는점을고려하여네가지의반구조화된의사소통행동유도절차와놀이와책보기활동을통하여행동표본을수집하도록하였으며, 평가자가쉽게채점할수있는채점체계를제시하여관찰평가가갖는채점의어려움과채점결과에대한신뢰도문제를해결하여비교적용이하게임상및교육현장에서활용될수있도록하였다. 평가내용으로선행연구를통해영아기의사소통발달을보여주는주요행동인정서및시선사용, 의도적의사소통행동, 몸짓, 말소리, 낱말, 언어이해, 사물사용놀이의 7개하위요인 (cluster) 으로구성되었으며, 이중정서및시선사용, 의도적의사소통행동, 몸짓은사회적영역 (social composite), 말소리, 낱말은발화적영역 (speech composite), 그리고언어이해, 사물사용놀이는상징적영역 (symbolic composite) 의세구성영역 (composite) 으로구분되었다. 검사가개발된미국에서는 ITC는 2,188명, 양육자설문검사는 790명을대상으로표준화되어있으나, 행동샘플검사의경우는평가자가직접실시해야하기때문에상대적으로적은수인 337명을 대상으로표준화되어있다. 검사의신뢰도는 Cronbach α로측정한문항내적일관도와재검사신뢰도로보고되었는데, 문항내적일관도는총점이.92며세영역인사회적, 발화적, 상징적영역모두.86-.87 로높은수치를보였으며, 1년이내의간격으로실시된재검사신뢰도는 1차와 2차검사간에총점은.92, 세구성영역은.76-.89 의상관을보여대체로높은신뢰도를보였다. 검사의타당도는내용타당도, 구성타당도, 준거타당도, 공인타당도를통해보고되었는데, 내용타당도는평가내용에대한이론및문헌근거를통해 CSBS DP가영아의사소통행동평가도구로타당함을보고하였다. 구성타당도는월령별각점수의발달적경향과구성영역 (composite) 간의상관, 그리고요인분석을통해보고되었는데, 월령이증가함에따라각점수가증가하였으며, 세구성요인간의상관계수가.47-.65로유의한상관이있었고, 요인분석결과도사회적, 발화적, 상징적세구성영역과그에해당하는하위요인으로유의하게분류하는것으로보고하였다. 공인타당도는 ITC 및부모보고평가와의상관을통해보고하였는데, ITC와는.38-.74의상관계수를, 부모보고평가와는.44-.71의상관계수를보고하여대체로유의한상관을보고하였다. 준거타당도는 2세에 Mullen 발달검사의수용언어, 표현언어, 학습영역의점수들과비교하였는데전체점수는.74-,71, 구성영역점수들은.50-.75의높은상관을보고하였다. CSBS DP 행동샘플검사는어린영아들을대상으로검사자에의해관찰을통해이루어지는검사임에도불구하고대체로신뢰도와타당도가높은검사로평가받고있다 (Crais, 2011). CSBS DP는영아의의사소통행동을평가하는신뢰도와타당도를갖추고있어영아를대상으로한관련연구들에서연구도구로폭넓게활용되고있으며 (Chambers et al., 2017), 임상및교육의유용성이높은평가되고있어중국과대만 (Lin & Chiu, 2014; Lin, Chang, Cheng, Chao, & Chiu, 2015), 남아프리카공화국 (Chambers, Stronach, & Wetherby, 2016), 오스트레일리아 (Eadie et al., 2010) 등다른언어나문화권영아를대상으로그적용도가검토되고있다. 국내에서도자폐스펙트럼장애 (Jeon, Lee, & Lee, 2013; Kim, 2010, 2011), 미숙아 (Lee & Lee, 2014; Lee & Lee, 2016) 의초기의사소통특성에대한연구들에서연구도구로활용되어왔으나우리나라영아를대상으로표준화되지않아연구가아닌임상이나교육을목적으로사용하는것에는제한이있었다. 검사표준화를위해서는먼저이검사가우리나라영아들에게도타당도와신뢰도를갖춘검사인지를확인하는절차가선행되어야할것이다. 본연구는 CSBS DP의행동샘플검사를우리나라영아들을대상으로표준화하기위한선행절차로이검사가우리나라영아에게도타당도와신뢰도를갖춘검사인지검정하는것을목적 540 http://www.e-csd.org
한국판표준화를위한 CSBS DP 행동샘플평가 신뢰도및타당도연구 이윤경외 으로하였다. 본연구의결과는 CSBS DP의한국판표준화를위한근거가될것이며, 나아가미국과대만, 중국등에서이루어진연구들과의비교를통해영아기의사소통발달의보편성과문화적차이등에대한시사점을제공할것이다. 연구방법연구참가자본연구에는 6개월에서 24개월에해당하는영아 297명이참여하였다. 참가영아는 CSBS DP 한국판표준화연구에참여동의한영아들과, 제1저자의미숙아출생영유아종단적연구에참여한영아중보호자가검사결과를표준화연구를목적으로활용하는것에동의한영아들이었다. 연구에참여한영아들은모두보호자가연구목적과절차, 결과활용에대해설명을듣고자발적으로참가동의를하였다. 총 297명의영아중한국베일리영아발달검사 II (Korean-Bayley Scales of Infant Development II, K-BSID-II; Cho & Park, 2006) 또는영아선별교육진단검사 (DEP; Jang, Seo, & Ha, 2011) 를실시하여결과가정상범위에속하지않은영아 37명은제외하여총 260명영아자료만을포함하였다. 정상범위판별기준은베일리영아발달검사의경우는동작및인지발달지수가정상범위인 85-114 사이에속하는경우로, DEP 결과는전체점수가정상발달 (25 백분위수이상 ) 에해당하는경우로하였다. 연령집단은 CSBS DP (Wetherby & Prizant, 2002) 원검사의규 준과동일하게 12-14 개월 (61 명 ), 15-17 개월 (52 명 ), 18-20 개월 (55 명 ), 21-24 개월 (92 명 ) 네집단으로분류하였다. 각집단의성별은 12-14 개월에는남아 36 명 (59.0%), 여아 25 명 (41.0%), 15-17 개월은남아 18 명 (34.6%), 여아 34 명 (64.7%), 18-20 개월에는남아 29 명 (52.7%), 여아 26 명 (47.3%), 21-24 개월은남아 48 명 (52.2%), 여아 44 명 (47.8%) 의분 포를보였다 (Table 1). 영아의부모모두고졸이상이었으며, 평균월 수입은대부분 300 만원이상인것으로나타났다 (Table 2). 연구도구 CSBS DP 행동샘플검사 CSBS DP 행동샘플검사는 CSBS DP 를구성하는세검사중하 나로 12-24 개월영아의의사소통및상징행동발달의진단 평가를 목적으로 Wetherby 와 Prizant (2002) 에의해개발된검사이다. 행 Table 1. Demographic information of toddlers 12-14 mo (N= 61) 15-17 mo (N= 52) Age group 18-20 mo (N= 55) 21-24 mo (N= 92) Total (N= 260) CA (mo) 12.9 15.9 18.8 22.5 18.1 Boy 36 (59.0) 18 (34.6) 29 (52.7) 48 (52.2) 131 (50.6) Girl 25 (41.0) 34 (64.7) 26 (47.3) 44 (47.8) 129 (49.4) Values are presented as number (%). CA= chronological age. Table 2. Demographic information of participants' parents Age group 12-14 mo 15-17 mo 18-20 mo 21-24 mo Total Father Mother Father Mother Father Mother Father Mother Father Mother Education level of parents High school 4 (6.6) 6 (9.8) 7 (13.5) 6 (11.5) 5 (9.1) 4 (7.3) 7 (7.6) 8 (8.7) 23 (8.8) 24 (9.2) Junior college 3 (4.9) 6 (9.8) 1 (1.9) 2 (3.8) 1 (1.8) 1 (1.8) 3 (3.3) 6 (6.5) 8 (3.1) 15 (5.8) College 37 (60.7) 32 (52.5) 26 (50.0) 29 (55.8) 39 (70.9) 36 (65.5) 50 (54.3) 53 (57.6) 152 (58.5) 150 (57.7) Graduate school 7 (11.5) 7 (11.5) 4 (7.7) 3 (5.8) 4 (7.3) 9 (16.4) 11 (12.0) 8 (8.7) 26 (10.0) 27 (10.4) No answer 10 (16.4) 10 (16.4) 14 (26.9) 12 (23.1) 6 (10.9) 5 (9.1) 21 (22.8) 17 (18.5) 51 (19.6) 44 (16.9) Average monthly income (million KRW) <1 0 (0) 0 (0) 0 (0) 2 (2.2) 2 (.8) 1-2 5 (8.2) 3 (5.8) 0 (0) 3 (3.3) 11 (4.2) 2-3 14 (23.0) 10 (19.2) 10 (18.2) 13 (14.1) 47 (18.1) 3-4 11 (18.0) 10 (19.2) 17 (30.9) 17 (18.5) 55 (21.2) 4-5 12 (19.7) 11 (21.2) 13 (23.6) 13 (14.1) 49 (18.8) >5 9 (14.8) 7 (13.5) 12 (21.8) 25 (27.2) 53 (20.4) No answer 10 (16.4) 11 (21.2) 3 (5.5) 19 (20.7) 43 (16.5) Values are presented as number (%). http://www.e-csd.org 541
YoonKyoung Lee, et al. Validity and Reliability of the CSBS DP Behavior Sample in Korean Toddlers 동샘플검사는먼저 4가지의반구조화된의사소통행동유도절차 ( 태엽인형, 풍선, 비누방울, 병속과자 ), 책보기, 놀이의총 6개활동을통해영아의행동표본을수집한후영아의정해져있는채점체계에근거하여의사소통및상징행동을채점하도록구성되어있다. 6개의활동중간에의사소통행동을관찰하는주머니속사물 4회, 공동관심을유도하는활동 2회가추가되며놀이후언어이해를검사하는활동과블록쌓기를진행하도록되어있다. 연구를위한검사도구는태엽장난감, 풍선, 비누방울, 병속과자, 치발기 2개와동물모형 2개가포함된주머니, 동화책 3권, 소꿉놀이세트, 아기인형, 그리고정육면체의나무블록 5개였다. 처음에는원검사도구를그대로사용하였으나원검사에포함된인형 (big bird와 cookie monster) 을영아들이낯설어하거나무서워하여우리나라에서만들어진콩순이인형으로대체하였다. 동화책 3권도원검사에포함된동화책과비슷한수준으로우리나라에서출판된동화책, 아이예뻐! (Yoon & Yoon, 2011), 사과가쿵 (Hiroshi, 2006), 내물건 (An & Lee, 2010) 으로대체하였다. 자료수집이진행됨에따라 2-3명의검사자가동시에자료수집에참여하는경우를위하여추가로 3세트의검사도구를준비하였다. 추가검사도구는인형과동화책, 태엽장난감을제외하고는최대한원검사도구와동일한제품을구하여구성하였다. 검사자훈련자료는매뉴얼에제시된검사실시절차를번역하여준비하였다. 실시절차도원검사절차를수정없이그대로따랐다. 영유아언어발달검사 (SELSI) SELSI는 Kim 등 (2003) 에의해생후 4-35개월영유아의전반적인언어및의사소통능력을평가하기위하여고안된검사로본연구에서는 CSBS DP의공인타당도평가를위해포함하였다. SELSI 는부모보고형식을통해영유아의수용언어와표현언어를평가하는검사인데, 본연구에서대상으로하고있는 12-24개월영아언어능력을평가할뿐아니라, 신뢰도와타당도가보고되어있어공인타당도평가도구로포함하였다. 자료수집자료수집은이연구의저자중한사람이주검사로진행하였으며, 박사과정생 1명과석사과정생 5명이보조검사자로참여하였다. 주검사자는아동언어장애전공박사학위소지자 ( 자료수집당시에는박사수료 ) 로 CSBS DP 실시절차에대해훈련을받았으며베일리영유아발달검사등과같이어린영아검사경험이많은사람이었다. 보조검사자로참여한박사과정생 1명과석사과정생 5명도모두언어병리학 ( 아동언어장애 ) 전공자로자료수집전에자료수집 절차에대해교육과훈련을받은후에연구에참여하였다. 대부분의경우자료수집시주검사자를도와검사와자료녹화가원활히진행되도록하였으나어느정도검사에숙달된이후에는주검사자의감독하에부분적으로검사를실시하거나일부는전체검사를실시하기도하였다. 그러나이경우에는주검사자가녹화된내용을살펴보고실시과정에문제가없는자료만포함하였다. 자료수집은영아의집으로방문하여진행하였다. 방문시간은영아의건강상태, 어린이집재원시간, 낮잠시간등을고려하여양육자와상의후결정하였다. 먼저양육자를대상으로연구목적과방법을설명한후연구참여동의서에서명을받았다. 그리고양육자가평가하는 SELSI에대해설명하였으며, 몇개의문항을함께평가하여검사방법을숙지하게하였다. 평가중에이해가되지않는문항에대해서는추후검사자에게확인한후체크하도록안내하였다. 검사실시전에먼저영아와친숙해지기위하여가정내익숙한장난감을사용하여 10분정도놀이를진행한후 CSBS DP 행동샘플검사를실시하였다. 집에어린이용책상과의자가있는경우에는의자에앉게하였으며, 어린이용책상이나의자가없는경우에는집에있는낮은테이블을사용하여검사를실시하였다. 어머니 ( 또는기타양육자 ) 는영아옆쪽에자리하도록지시하였으나, 혼자착석이어려운일부영아의경우는양육자의무릎에앉힌자세로실시하였다. 검사자는사전에양육자에게검사의목적과실시방법을알려주었으며, 검사중에영아에게단서를제공하거나수행을돕는말과몸짓을하지않도록지시하였다. 특히양육자가참여하는놀이와책읽기활동중에는놀이나행동을지시하거나질문을제공하지말고영아가시도하는행동에대해반응해주는형태로참여하도록상호작용지침을제공하였다. CSBS DP의모든절차는추후채점과신뢰도평가를위하여보호자의동의를얻어캠코더 (Samsung DCR-SX83) 로녹화하였다채점 CSBS-DP 행동평가수집된자료는 CSBS DP 채점체계에따라채점하였다. CSBS DP 행동샘플검사는총 20개의항목으로구성되며, 각항목별로채점을하도록되어있다. 항목별점수는 7개의하위요인 ( 정서 & 시선, 의사소통, 몸짓, 말소리, 낱말, 언어이해, 사물사용놀이 ) 과 3개의구성영역 ( 사회적, 발화적, 상징적 ), 그리고총점으로합산될수있다. 20개항목의최대점수의합은 170점이다 (Table 3). 본연구에서는채점방식도원검사를그대로따랐으나말소리목록을측정하는 11번항목은우리나라와영어의말소리체계가달라우리나라말소리체계와영아말소리발달연구 (Kim, Pae, & 542 http://www.e-csd.org
한국판표준화를위한 CSBS DP 행동샘플평가 신뢰도및타당도연구 이윤경외 Park, 2007) 를참조하여평가말소리를보완또는대체하였다. 즉, 원검사에포함된말소리 /m/, /n/, /b/ /p/, /d/ /t/, /g//k/, /w/, /l/, /y/, /s/, /sh/ 를 / ㅁ /, / ㄴ /, / ㅂ // ㅍ // ㅃ /, / ㄷ // ㅌ // ㄸ /, / ㄱ // ㅋ // ㄲ /, / ㅇ /, / ㄹ /, / ㅈ /, / ㅅ /, / ㅎ / 로보완또는대체하였다. /m/, /n/, /l/, /s/ 는우리말소리 에있는동일말소리 / ㅁ /, / ㄴ /, / ㄹ /, / ㅅ / 로그대로대체하였으며, /b/ /p/, /d//t/, /g//k/ 는 / ㅂ // ㅍ // ㅃ /, / ㄷ // ㅌ // ㄸ /, / ㄱ // ㅋ // ㄲ / 로긴장음에 해당하는 / ㅃ /, / ㄸ /, / ㄲ / 를추가하여보완하였다. 영어권말소리에 만존재하는 /sh/ 는우리말소리 / ㅈ / / ㅊ / / ㅉ / 로대체하였다. /w/, /y/ 는우리나라말소리에서는반자음의개념이강조되지않으므로종 성 / ㅎ / 과 / ㅇ / 소리로대체하였다. / ㅎ / 의경우는영어권에서는초성 에서빈번하게생략되어말소리목록에서제외된듯하나우리말소 리에서는낱말첫소리에서조음되는경우가많기때문에포함하였 으며, 원검사에서는모두초성위치의소리만을포함하였으나초성 위치에서포함할수있는자음군이이미모두평가항목으로포함 되어서우리말소리에서는종성위치에서만산출되는 / ㅇ / 을포함하 였다. 수정된내용에대해서는언어병리학박사학위소지자 1 인에 게점검받았다. 영유아언어발달검사 (SELSI) SELSI 는수용언어와표현언어정답문항을산출하였으며, 측정 된점수에기초하여수용언어발달연령, 표현언어발달연령, 통합언 어발달연령을측정하였다. 통계분석 통계분석은 SPSS 통계프로그램 (version 22) 을이용하여실시하 였다. 신뢰도는전체자료의 20% 에대한채점자간일치도와전체 260 명자료에대해 Cronbach α 를실시하여문항내적일관도를측 정하였다. 타당도는확인적요인분석을통한구인타당도와 SELSI 와 의상관분석을통한공인타당도, 그리고연령집단간의일원분산 Table 3. Points on CSBS DP behavior sample according to items Composite Cluster Number of items Range of points Social Emotion & eye-gaze 3 0-17 Communication 4 0-24 Gestures 2 0-22 Speech Sounds 2 0-26 Words 4 0-28 Symbolic Comprehension 1 0-24 Object use 4 0-29 Total 20 170 CSBS DP = Communication and Symbolic Behavior Scale-Developmental Profile (Wetherby & Prizant, 2002). 분석과 Tukey 사후검정을통한발달적타당도를측정하였다. 연구결과 CSBS DP 행동샘플검사의신뢰도분석 문항내적일관도 전체점수, 세구성영역별점수, 7 개의하위요인별점수에대해 Cronbach α 로문항내적일관도를측정한결과, 전체점수에대한 문항내적일관도는.90, 사회적영역.86, 발화적영역.81, 상징적영 역은.80 으로높은신뢰도를보였다. 연령집단별결과에서는.50 대 의 α 값이관찰되었으나 260 명전체결과에서는 7 개의하위영역또 한.61-.82 로적절수준의신뢰도를보였다 (Table 4). 채점자간신뢰도 채점자간신뢰도는 Cohen s Kappa 공식을이용하여주채점자 에의해측정된결과와신뢰도평가자간의일치도로측정하였다. 주채점자는주검사자로참여한연구자였으며, 신뢰도평가를위해 참여한제 2 채점자는보조연구자들이었다. 채점자들은신뢰도측 정전에채점기준및절차에대해교육을받았으며, 실제행동표본 을통하여연습을실시하였다. 연습과정을통해채점자간일치도 가.90 (90%) 이상이된이후, 전체자료의 20% 에해당하는 40 명의 자료를무작위로추출하여독립적으로채점하였다. 주채점자와제 2 채점자가관찰기회 ( 예 : 정서및시선에서는총 14 회의관찰기회가 제공됨 ) 에서일치한수를일치와불일치를합한수로나누어일치 도를구한결과전체일치도는.99, 세구성영역일치도는.98-.99 의 매우높은일치도를보였으며, 7 개의하위요인도.98-.99 사이의매 Table 4. Cronbach α of the CSBS DP behavior sample Variable Age group 12-14 mo 15-17 mo 18-20 mo 21-24 mo Total Social.86.82.76.82.86 Emotion & eye-gaze.64.50.62.52.61 Communication.81.75.68.80.82 Gestures.60.62.55.57.61 Speech.81.78.76.76.81 Sounds.69.67.56.44.62 Words.69.56.61.67.70 Symbolic.61.61.54.66.80 Comprehension.52.57.56.50.74 Object use.63.68.50.70.76 Total.86.86.72.81.90 CSBS DP = Communication and Symbolic Behavior Scale-Developmental Profile (Wetherby & Prizant, 2002). http://www.e-csd.org 543
YoonKyoung Lee, et al. Validity and Reliability of the CSBS DP Behavior Sample in Korean Toddlers 우높은일치도를보였다 (Table 5). CSBS DP 행동샘플검사의타당도분석 공인타당도 공인타당도는 CSBS DP 행동샘플검사전체점수, 세구성영역별 점수, 7 개의하위요인별점수와영유아언어발달검사 (SELSI; Kim et al., 2003) 의수용언어, 표현언어, 통합언어점수간의 Pearson 상 관계수로측정하였다. 분석에는 260 명의영아중 SELSI 검사가불 완전하였던일부영아자료가제외되어총 208 명자료가포함되었 다. 분석결과, CSBS DP 행동샘플검사점수는 SELSI 점수와전체 점수.76-.81, 사회적영역.46-.58, 발화적영역.66-.75, 상징적영역.63-.70 의정적상관을보였다. 7 개의하위요인들도.30-.90 사이의 유의한상관을보였다 (Table 6). Table 5. Inter-rater consistency of the CSBS DP behavior sample Variable Consistency value Social.98 Emotion & eye-gaze.99 Communication.98 Gestures.98 Speech.98 Sounds.98 Words.99 Symbolic.99 Comprehension.99 Object use.99 Total.99 CSBS DP = Communication and Symbolic Behavior Scale-Developmental Profile (Wetherby & Prizant, 2002). 구인타당도 구인타당도는확인적요인분석을통해검정하였다. 확인적요인 분석을실시한이유는 CSBS DP 가이미검사의구성을갖추고출 판된검사이며, 탐색적요인분석을통해구인타당도가보고된검 사이기때문이었다. 분석결과, 3 요인구조가유의한것으로확인되 었으며 (χ 2 = 370.066, p<.001), 모델의적합도를알아보는 χ 2 /df 값은 2.29, RMSEA 는.071, CFI 는.92, TLI 는.91 로나타나검사에서평가 Table 6. Concurrent correlation between behavior sample of CSBS DP and SELSI Variable Expressive language SELSI Receptive language Combined language Social.543**.579**.461** Emotion & eye-gaze.411**.436**.346** Communication.553**.568**.484** Gestures.349**.397**.284** Speech.743**.665**.746** Sounds.705**.640**.701** Words.734**.648**.742** Symbolic.703**.699**.631** Comprehension.701**.693**.623** Object use.522**.525**.475** Total.809**.779**.757** CSBS DP = Communication and Symbolic Behavior Scale-Developmental Profile (Wetherby & Prizant, 2002); SELSI = Sequenced Language Scale for Infants (Kim, Kim, Yoon, & Kim, 2003). **p <.01. Table 7. Result of confirmation factor analysis df χ 2 p-value CFI TLI RMSEA Factor model 2.29 370.066.000.92.91.071 Table 8. Result of ANOVA according to age group Variable F 12-14 mo (a) 15-17 mo (b) 18-20 mo (c) 21-24 mo (d) Social 32.891*** a< b,c,d a< b< d a< c a,b< d Emotion & eye gaze 23.443*** a< b,c,d a< b< d a< c a,b< d Communication 25.682*** a< b,c,d a< b< c,d a,b< c a,b< d Gestures 15.172*** a< b,c,d a< b a< c a< d Speech 98.180*** a< c,d b< c,d a,b< c< d a,b,c< d Sounds 78.843*** a< c,d b< c,d a,b< c< d a,b,c< d Words 88.514*** a< c,d b< c,d a,b< c< d a,b,c< d Symbolic 101.897*** a< b,c,d a< b< c,d a,b< c a,b< d Comprehension 78.825*** a< b,c,d a< b< c,d a,b< c a,b< d Object use 46.833*** a< b,c,d a< b< c,d a,b< c a,b< d Total 160.605*** a< b,c,d a< b< c,d a,b< c< d a,b,c< d ***p <.001. 544 http://www.e-csd.org
한국판표준화를위한 CSBS DP 행동샘플평가 신뢰도및타당도연구 이윤경외 하는 3요인구조가수집된자료에잘부합된모형이라고할수있다 (Table 7). 발달적타당도검사가연령에따른발달적변화를잘반영하는가를확인하기위하여연령집단간일원분산분석과 Tukey 사후분석을실시하였다. 분석결과, 전체점수를비롯하여 3구성영역과 7세부요인모두연령에따른유의한차이가있는것으로나타나전반적으로발달적차이를잘반영하는검사임을확인하였다. 전체점수는네연령집단간에모두유의한차이를보였으며, 세구성영역중사회적영역과상징적영역은 18-20개월과 21-24개월사이를제외한집단간에서, 발화적영역은 12-14개월과 15-17개월을제외한집단간에서유의한차이가있는것으로나타났다 (Table 8). 논의및결론본연구는 CSBS DP의행동샘플검사를우리나라영아들을대상으로표준화하기위한선행절차로이검사가우리나라영아의의사소통능력평가에도신뢰도와타당도를갖춘검사인지갖춘검사인지검정하는것을목적으로하였다. 첫째, 검사의신뢰도는 CSBS DP 행동샘플검사가얼마나정확하게우리나라영아를평가해주는가를확인하기위한목적으로실시하였으며, Cronbach α로측정한문항내적일관도와검사자간일치도로측정하였다. 먼저 Cronbach α로측정한문항내적일관도는전체점수의경우.90, 사회적영역.86, 발화적영역.81, 상징적영역은.80으로매우높게측정되었다. 전체영아집단을대상으로하였을때 7개의하위영역또한.61 이상의 α값을보여신뢰도가적절한수준으로측정되었다. 문항내적일관도는문항하나하나를하나의검사로간주하여문항들간의유사성혹은측정의일관성을검정하는방법으로대체로점수가 1에가까울수록높은신뢰도를갖는다고평가된다. 보통.60 이상인경우신뢰도가있다고판단하며,.80이넘으면신뢰도가높다고해석한다 (Sung, 2015). 미국영아를대상으로표준화된 CSBS DP의행동평가원검사 (Wetherby & Prizant, 2002) 는 Cronbach α값이전체점수는.92, 세구성영역인사회적, 발화적, 상징적영역모두.86-.87로우리나라영아를대상으로한결과보다높은수치를보고한반면, 남아프리카영아를대상으로연구에서는 (Chambers et al., 2016) 은전체점수는.90, 세구성영역은.77-.86, 7개의하위요인은정서및응시요인에서.22로매우낮은수치를보고한것외에는.69-.86로본연구에서측정된값과비슷한수치를보였다. 대체로검사가개발된미국영아자료에비 해서는약간낮은수치이나남아프리카공화국영아들의자료와는유사하다할수있다. 미국영아를대상으로개발된검사이므로상대적으로미국영아에게서높은신뢰도가측정된것으로추정해볼수있다. 앞에서도서술하였듯이보통.60 이상인경우신뢰도가있다고판단하며,.80이넘으면높은신뢰도를갖는다고해석하므로 CSBS DP의행동샘플검사는미국영아에게서보고된수준으로매우높은수치는아니지만, 우리나라영아의의사소통능력도신뢰롭게평가해주는검사도구라결론지을수있다. CSBS DP의행동샘플검사는영아행동관찰을기반으로하는검사이므로채점자가행동표본을얼마나신뢰롭게측정하는가도검사의신뢰도에매우중요한영향을미친다. 때문에본연구에서는 Cohen s Kappa 공식을사용하여검사자간일치도를측정하였다. 검사자간일치도는전체자료의 20% 에해당하는 40명의자료를무작위로추출하여측정하였는데, 전체점수는.99, 세구성영역및 7하위요인의검사자간일치도는모두.98-.99로매우높은일치도를보였다. 이는전체.97, 세구성영역.90-.94, 7개의하위요인은.73-.95의일치도를보고한미국판원검사 (Wetherby & Prizant, 2002) 나전체.84, 세구성영역.78-.84, 7개의하위요인은.78-.84의일치도를보고한중국판 (Lin et al., 2015) 보다도매우높은수치라할수있다. 본연구는두검사자간의일치도를측정한반면, 미국판원검사와중국판검사는 g 계수로측정하여수치가의미하는바가완전히일치하지않을수있지만개념적으로는 g 계수와일치도는크게다르지않다. 보통일치도는.8이넘는경우매우높은신뢰도를갖는다고해석된다 (Landis & Koch, 1977). 따라서검사자간일치도결과도 CSBS DP 행동샘플검사가매우높은신뢰도를가진검사임을입증해준다. 둘째, 검사의타당도는 CSBS DP가영아의사회적의사소통을평가하는데적절한내용들로구성되어있는가를살펴보기위한목적으로실시하였으며, SELSI와의공인타당도와확인적요인분석을통한구인타당도를통해검정하였다. 먼저 SELSI와의공인타당도결과는.76-.81, 사회적영역.46-.58, 발화적영역.66-.75, 상징적영역.63-.70, 그리고 7개의하위요인점수들도.30-.90 사이로유의한상관이있는것으로나타났다. 미국판원검사는공인타당도를 CSBS DP의다른검사인 ITC 및양육자설문검사와의상관을통해보고하였는데, ITC와는.38-.74의상관계수를, 양육자설문검사와는.44-.71의상관계수를보고하여 SELSI와측정된결과와유사한결과를보였다. ITC와 CSBS DP 양육자설문검사는행동샘플검사와검사형식만다를뿐같은내용을측정하는반면, SELSI는언어를중심으로의사소통능력을평가한다는점에서차이가있음에도불구하고미국판원검사와유사한수준의공인타당도가나타난것 http://www.e-csd.org 545
YoonKyoung Lee, et al. Validity and Reliability of the CSBS DP Behavior Sample in Korean Toddlers 은 CSBS DP가영아의사소통평가로서타당할뿐만아니라초기의사소통발달이언어발달과밀접하게관련된다는선행연구들 (Calandrella & Wilcox, 2000; Chiat & Roy, 2008; Choi & Lee, 2018; Lee & Lee, 2016; Watt et al., 2006) 을지지해주는결과라할수있다. 공인타당도와더불어확인적요인분석을통한구인타당도를검정하였다. 확인적요인분석은가정된요인구조를자료에적용시켜서그구조의타당성을확인하는방법으로 (Sung, 2015), 앞에서설명한것처럼 CSBS DP 행동샘플검사가이미탐색적요인분석을통하여구성타당도가검정된검사이므로본연구에서는확인적요인분석방법을통해구인타당도를검정하였다. 분석결과, 원검사 (Wetherby & Prizant, 2002) 에서탐색적요인분석을통해보고된 3요인구조가유의한것으로확인되었으며, 모델의적합도를알아보는 RMSEA, CFI, TLI 값이모두의미있는것으로측정되어원검사의 3요인구조가수집된자료에잘부합된검사임을입증하였다. Haynes와 Pindzola (2008) 는검사가측정하고자하는개념을평가할수있는요인들로잘구성되어있는가를보여주는구인타당도가가장중요하게반영되어야한다고강조하였다. 확인적요인분석을통해검증된구인타당도결과는 CSBS DP 행동샘플검사가타당한검사임을확인해주는것이라할수있다. 마지막으로검사가연령에따른발달적변화를잘반영하는가를확인하기위하여연령집단간일원분산분석과 Tukey 사후분석을실시하였다. 분석결과, 전체점수를비롯하여 3 구성영역과 7 하위요인모두연령에따른유의한차이가있는것으로나타나 CSBS DP 행동샘플검사가전반적으로발달적차이를잘반영하는검사임을확인하였다. 특히전체점수는모든연령집단간에서유의한차이를보여연령에따른발달경향을민감하게보여주는것으로나타났다. 또한세구성영역중사회적영역과상징적영역점수와해당영역의세부요인들은 18-20개월과 21-24개월사이를제외한집단간에서유의한차이를보여상대적으로어린시기의발달을더민감하게반영하는것으로나타났으며, 발화적영역과세부요인들은 12-14개월과 15-17개월을제외한집단간에서유의한차이가있는것으로나타나서상대적으로연령이더높은영아들의발달을잘보여주는것으로나타났다. 이러한결과는 3 구성영역이나 7 하위요인에서의수행프로파일역시발달적경향을반영할수있음을시사한다. 본연구는 Cronbach α로측정한문항내적일관도와검사자간일치도를통해 CSBS DP의신뢰도를증명하였으며, SELSI와의공인타당도와확인적요인분석을통한구인타당도, 그리고연령집단간의일원분산분석을통한발달적타당도를통하여타당도를증명하였다. 이러한결과는 CSBS DP의행동샘플검사가우리나라영아들의 의사소통능력평가에도신뢰롭고타당한검사도구임을확인해주며발달적경향도잘반영해주는검사임을보여주는것이라할수있다. 서론에서도서술하였듯이 CSBS DP의신뢰도와타당도는이미여러연구들을통해반복적으로보고되었으며, 연구는물론임상및교육적목적으로광범위하게사용될수있는것으로평가받고있다 (Crais, 2001). 본연구는 CSBS DP 행동샘플검사가우리나라영아에게도신뢰롭고타당한도구임을입증하였을뿐아니라앞으로의표준화연구를위한기반을마련하였다는점에서의의가있다. 본연구는 CSBS DP 행동샘플검사의신뢰도와타당도만을검정하였다. CSBS DP를구성하는다른두검사, 즉 ITC와양육자설문검사에대한신뢰도및타당도검정은추후검토되어야할것이다. REFERENCES An, E. J., & Lee, Y. S. (2010). My stuff. Seoul: Kitanpress. Calandrella, A. M., & Wilcox, M. J. (2000). Predicting language outcomes for young prelinguistic children with developmental delay. Journal of Speech, Language, and Hearing Research, 43, 1061-1071. Chambers, N. J., Wetherby, A. M., Stronach, S. T., Njongwe, N., Kauchali, S., & Grinker, R. R. (2017). Early detection of autism spectrum disorder in young isizulu-speaking children in South Africa. Autism, 21, 518-526. Chambers, N., Stronach, S. T., & Wetherby, A. M. (2016). Performance of South African children on the Communication and Symbolic Behavior Scales-Developmental Profile (CSBS DP). International Journal of Language & Communication Disorders, 51, 265-275. Chiat, S., & Roy, P. (2008). Early phonological and sociocognitive skills as predictors of later language and social communication outcomes. Journal of Child Psychology and Psychiatry, 49, 635-645. Cho, B. H., & Park, H. W. (2006). Korean-Bayley Scales of Infant Development II (K-BSID-II). Seoul: Mindpress. Choi, J. J., & Lee, Y. (2018). Communicative gestures in prelinguistic periods as predictors of later language development in Korean toddlers. Communication Sciences & Disorders, 23, 11-19. Choi, Y. J., & Lee, Y. (2011). The relationship between symbolic play development and early vocabulary acquisition in toddlers. Korean Journal of Communication & Disorders, 16, 248-260. Crais, E. R. (2011). Testing and beyond: strategies and tools for evaluating and assessing infants and toddlers. Language, Speech, and Hearing Services in Schools, 42, 341-364. Eadie, P. A., Ukoumunne, O., Skeat, J., Prior, M. R., Bavin, E., Bretherton, L., 546 http://www.e-csd.org
한국판표준화를위한 CSBS DP 행동샘플평가 신뢰도및타당도연구 이윤경외 & Reilly, S. (2010). Assessing early communication behaviours: structure and validity of the Communication and Symbolic Behaviour Scales-Developmental Profile (CSBS-DP) in 12-month-old infants. International Journal of Language & Communication Disorders, 45, 572-585. Fenson, L., Bates, E., Dale, P. S., Marchman, V. A., Reznick, J. S., & Thal, D. J. (2007). MacArthur-Bates Communicative Development Inventories: user s guide and technical manual (2nd ed.). Baltimore, MD: Paul H. Brookes Publishing. Haynes, W. O., & Pinzola, R. H. (2008). Assessment of school-age and adolescent language disorders. In W. O. Haynes & R. H. Pinzola (Eds.), Diagnosis and evaluation in speech pathology (7th ed., pp. 247-272). Boston, MA: Pearson Education. Hiroshi, D. (2006). An apple with a bang! (G. Jung, Trans.). Seoul: Borimpress. Hong, G. H., & Kim, Y. T. (2005). A longitudinal study of predictors for expressive vocabulary development of late-talkers. Korean Journal of Communication & Disorders, 10, 1-24. Iverson, J. M., & Goldin-Meadow, S. (2005). Gesture paves the way for language development. Psychological Science, 16, 367-371. Jang, H. S., Seo, S. J., & Ha, J. Y. (2011). Developmental assessment for the early intervention program planning. Seoul: Hakjisa. Jeon, J., Lee, H., & Lee, Y. (2013). Comparison of language and social communication abilities of toddlers who are at risk of autism spectrum disorders and developmental language delay. Communication Sciences & Disorders, 18, 349-359. Kim, E. K. (2010). Early social communication features of children with autism spectrum disorder. Journal of the Korean Association for Persons with Autism, 10, 25-49. Kim, E. K. (2011). Early social communication development of toddlers who are at risk of autism spectrum disorder before 30 months. Korean Association for Persons with Autism, 11, 25-47. Kim, M. J., Pae, S., & Park, C. I. (2007). Assessment of phonology and articulation for children (APAC). Incheon: Human Brain Research & Consulting Co. Kim, Y. T., Kim, K. H., Yoon, H. R., & Kim, H. S. (2003). Sequenced Language Scale for Infants (SELSI). Seoul: Special Education Publishing. Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33, 159-174. Lee, H. J., & Lee, Y. (2014). Characteristics of social communication behavior in preterm toddlers. The Korean Journal of Early Childhood Special Education, 14, 105-120. Lee, Y., & Lee, H. (2015). Communicative gestures in toddlers with developmental language delay and their relations to language development. Communication Sciences & Disorders, 20, 255-265. Lee, Y., & Lee, H. (2016). Development of intentional communicative behavior in Korean toddlers 12 to 30 months. Communication Sciences & Disorders, 21, 553-566. Lin, C. S., & Chiu, C. H. (2014). Adaptation of the Chinese edition of the CSBS DP: a cross-cultural comparison of prelinguistic development between Taiwanese and American toddlers. Research in Developmental Disabilities, 35, 1042-1050. Lin, C. S., Chang, S. H., Cheng, S. F., Chao, P. C., & Chiu, C. H. (2015). The preliminary analysis of the reliability and validity of the Chinese Edition of the CSBS DP. Research in Developmental Disabilities, 38, 309-318. McCathren, R. B., Yoder, P. J., & Warren, S. F. (1999). The relationship between prelinguistic vocalization and later expressive vocabulary in young children with developmental delay. Journal of Speech, Language, and Hearing Research, 42, 915-924. Pae, S., & Kwak, K. C. (2011). Korean MacArthur-Bates Communicative Development Inventories (K M-B CDI). Seoul: Mindpress. Paul, R., & Jennings, P. (1992). Phonological behavior in toddlers with slow expressive language development. Journal of Speech, Language, and Hearing Research, 35, 99-107. Rossetti, L. M. (2001). Communication intervention: birth to three. Clifton Park, NY: Delmar/Cengage Learning. Sung, T. J. (2015). Research methods of education. Seoul: Hakjisa. Thal, D. J., Bates, E., Goodman, J., & Jahn Samilo, J. (1997). Continuity of language abilities: an exploratory study of late and early talking toddlers. Developmental Neuropsychology, 13, 239-273. Thal, D., Tobias, S., & Morrison, D. (1991). Language and gesture in late talkers: a 1-year follow-up. Journal of Speech, Language, and Hearing Research, 34, 604-612. Watt, N., Wetherby, A., & Shumway, S. (2006). Prelinguistic predictors of language outcome at 3 years of age. Journal of Speech, Language, and Hearing Research, 49, 1224-1237. Wetherby, A. M., & Prizant, B. M. (2002). Communication and symbolic behavior scales developmental profile (CSBS DP). Baltimore, MD: Paul H. Brookes Publishing. Wetherby, A. M., Watt, N., Morgan, L., & Shumway, S. (2007). Social communication profiles of children with autism spectrum disorders late in the second year of life. Journal of Autism and Developmental Disorders, 37, 960-975. Yoon, J. Y., & Yoon, B. S. (2011). So Cute!. Seoul: Kitanpress. http://www.e-csd.org 547
YoonKyoung Lee, et al. Validity and Reliability of the CSBS DP Behavior Sample in Korean Toddlers 국문초록 한국판표준화를위한 CSBS DP 행동샘플평가 신뢰도및타당도연구 이윤경 1 이효주 2 최지은 3 1 한림대학교언어청각학부, 2 극동대학교언어청각학부, 3 한림대학교언어병리청각학과 배경및목적 : 영아기의사회적의사소통발달은발달지체아동을더이른시기에확인하도록하는데중요한역할을하므로영아기의의사소통발달을확인하는것은중요하다. 의사소통및상징행동발달척도 (CSBS DP) 는영아기의사회적의사소통발달을평가하는타당하고신뢰로운도구로알려져있다. 본연구는 CSBS DP 행동샘플평가가우리나라영아들의사회적의사소통평가에도신뢰도와타당도가높은도구일지를확인하는것을목적으로하였다. 방법 : 전형적발달을보이는 12-24 개월사이영아 260명이본연구에참여하였다. 연구참가영아에게 CSBS DP 행동샘플평가와공인타당도분석을위해영유아언어발달검사 (SELSI) 를실시하였으며, 문항내적일관도와검사-재검사신뢰도방법으로신뢰도를, 공인타당도와확인적요인분석, 연령에따른발달적타당도를통해타당도를검정하였다. 결과 : CSBS DP 행동샘플평가는 SELSI 점수와유의한상관을보여높은공인타당도가측정되었으며, 확인적요인분석결과도높은모형적합도를보여높은구인타당도를보였다. 또한연령집단에따른일원분산분석결과도유의한발달적타당도를나타내전반적으로타당도가높은것으로확인되었다. Cronbach α로측정한문항내적일관도도높거나적합한수준으로측정되었으며, 검사-재검사신뢰도와관찰자간일치도도높아서대체로신뢰도가높은것으로확인되었다. 논의및결론 : CSBS DP 행동샘플평가는우리나라영아의사회적의사소통을평가하는데에타당도와신뢰도가높은검사도구로확인되었다. 핵심어 : CSBS DP, 행동샘플평가, 타당도, 구성타당도, 공인타당도, 내적일관도, 검사-재검사신뢰도본논문은 2018년도한림대학교교비연구비 (HRF-201804-009) 에의하여연구되었음. 참고문헌 김민정, 배소영, 박창일 (2007). 아동용발음평가 (APAC). 인천 : 휴브알앤씨. 김영태, 김경희, 윤혜련, 김화수 (2003). 영유아언어발달검사 (SELSI). 서울 : 도서출판특수교육. 김은경 (2010). 자폐스펙트럼장애영아의초기사회적의사소통특성에관한종단연구. 자폐성장애연구, 10, 25-49. 김은경 (2011). 자폐스펙트럼장애의심영아의 18, 24, 30개월초기사회적의사소통특성. 자폐성장애연구, 11, 25-47. 다다히로시 (2006). 사과가쿵! ( 정근역 ). 서울 : 보림출판사. 배소영, 곽금주 (2011). 한국판맥아더- 베이츠의사소통발달평가 (K M-B CDI). 서울 : 마인드프레스. 성태제 (2015). 교육연구방법의이해. 서울 : 학지사. 안은자, 이예슬 (2010). 내물건. 서울 : 기탄출판. 윤지연, 윤봉선 (2011). 아이, 예뻐! 서울 : 기탄출판. 이윤경, 이효주 (2015). 언어발달지체영아의의사소통적제스처특성과언어발달과의관계. 언어청각장애연구, 20, 255-265. 이윤경, 이효주 (2016). 12-30 개월영아의의도적의사소통행동발달. 언어청각장애연구, 21, 553-566. 이효주, 이윤경 (2014). 미숙아출생영아의사회적의사소통행동특성. 유아특수교육연구, 14, 105-120. 장혜성, 서소정, 하지영 (2011). 영아선별교육진단검사 : 전문가지침서. 서울 : 학지사. 전진아, 이효주, 이윤경 (2013). 자폐범주성장애의심영아와언어발달지체영아의언어및사회적의사소통능력비교. 언어청각장애연구, 18, 349-359. 조복희, 박혜원 (2006). 한국-베일리영유아발달검사 (K-BSID-II). 서울 : 마인드프레스. 최윤지, 이윤경 (2011). 영유아의상징놀이발달과초기표현어휘발달과의관계. 언어청각장애연구, 16, 248-260. 최진주, 이윤경 (2018). 언어이전시기의의사소통몸짓사용이 24개월언어발달에미치는영향에관한종단연구. 언어청각장애연구, 23, 11-19. 홍경훈, 김영태 (2005). 종단연구를통한 말늦은아동 (late-talker) 의표현어휘발달예측요인분석. 언어청각장애연구, 10, 1-24. 548 http://www.e-csd.org