Original article J Korean Child Neurol Soc 2014;22(1):1-11 pissn 1226-6884 한국형부모작성형유아모니터링체계 (Korean Ages and Stages Questionnaires: K-ASQ) 의타당도평가 국민건강보험일산병원소아청소년과 1, 고려대학교의과대학소아과학교실 2, 연세대학교심리학과 3, 대구가톨릭대학교의과대학소아과학교실 4, 관동대학교의과대학소아과학교실 5, 성균관대학교의과대학소아과학교실 6, 서울대학교의과대학보라매병원소아과학교실 7, 연세대학교인간행동연구소 8 정희정 1 은백린 2 김현식 3 김진경 4 신손문 5 이지훈 6 최지은 7 김영아 8 오경자 3 The Validity of Korean Ages and Stages Questionnaires (K-ASQ) in Korean Infants and Children Hee Jung Chung, MD 1, Baik-Lin Eun, MD 2, Hyun Sik Kim, MA 3, Jin Kyung Kim, MD 4, Son Moon Shin, MD 5, Ji Hoon Lee, MD 6, Jieun Choi, MD 7, Young Ah Kim, PhD 8, Kyung Ja Oh, PhD 3 Purpose: As a preliminary study on the development of a new developmental screening tool, this study examined the validity of the Korean Ages and Stages Questionnaires (K-ASQ). Methods: The clinical sample included a total of 218 Infants and children at 30, 36, 60 of age, who were diagnosed with developmental disorders. Ageand sex-matched normal controls were selected from a national large-scale K-ASQ database. Sensitivity, specificity, and accuracy were calculated in different age and diagnosis groups, and receiver operating characteristic (ROC) curve analysis was performed as well. In addition, concurrent validity was analyzed for the clinical sample by comparing the K-ASQ with other reference scales. Results: The sensitivity, specificity, and accuracy of the K-ASQ were above fair (0.82 0.96) overall, however they varied depending on age and diagnosis groups. Specifically, the sensitivity at 60 was relatively low (0.65). Especially, the discrimination sensitivity for the language delay group was poor at 60 (0.42). ROC analysis showed that the overall discrimination capacity was above fair in all 5 domains [area under the curve (AUC): 0.74 0.98]. However, there were some domains and age groups with relatively poor discrimination capacity. In terms of concurrent validity, the correlations between the K-ASQ domains and reference scale subscales were statistically significant overall, but weak in some domains. Conclusion: The overall discrimination capacity and concurrent validity of the K-ASQ were above fair, but there were some domains, age, and diagnosis groups in which the K-ASQ was not successful in identifying potentially developmentally challenged children. These findings suggested the need for the development of a new developmental screening test tool, which is suitable for Korean infants & children. Key Words: Developmental screening test, Korean Ages and Stages Questionnaires, Validity 1 Department of Pediatrics, National Health Insurance Service, Ilsan Hospital, Goyang, Kyunggido, 2 Department of Pediatrics, Korea University, College of medicine, 3 Department of Psychology, Yonsei University, 4 Department of Pediatrics, Deagu Catholic University, College of medicine, 5 Department of Pediatrics, Kwandong University, College of medicine, 6 Department of Pediatrics, Sungkyunkwan University, College of medicine, 7 Department of Pediatrics, Seoul National University, College of medicine, Boramae Hospital, 8 Huno Human Behavior Research Institute, Yonsei University, Seoul, Korea This research was supported by a fund (code 2010- E33033-00) by Research of Korea Centers for Disease Control and Prevention. This research was supported by a fund (code 2013-74) by National Health Insurance Service, Ilsan Hospital Submitted: 5 March, 2014 Revised: 29 March, 2014 Accepted: 30 March, 2014 Correspondence to Baik-Lin Eun, MD, PhD Department of Pediatrics, Korea University Guro Hospital, 97, Gurodong-gil, Guro-gu, Seoul 152-703, Korea Tel: +82-2-2626-3153, Fax: +82-2-2626-1249 E-mail: bleun@korea.ac.kr Copyright 2013 by The Korean Child Neurology Society
2 Chung HJ, et al. The Validity of K-ASQ in Korean Infants and Children 서론 발달장애 (developmental disability) 는뇌성마비, 지적장애, 시각장애, 청각장애등주로학령전기에발견되는질환뿐아니라학습장애와주의력결핍과잉행동장애같은학동기이후에발견되는질환을모두포함하는용어로소아에서의발생빈도에대한국내통계는아직없다. 미국의경우를보면전체소아의 10% 정도에서발생하는것으로알려져있으며 1), 0-17 세소아의 17% 에서발달장애로인하여건강상태유지나학업유지에지장이있다는보고가있다 2). 발달장애의유병률은 2006년에보고된조사에의하면, 정신지체의경우 1,000 명당 12.0 명, 뇌성마비 3.1 명, 청력장애 1.2 명, 시각장애 1.2 명이었으며, 자폐장애는 3.4 명이었다 3). 발달장애는조기에발견하여적절한치료적중재를빨리시작하는것이예후를좋게하고장애의정도를낮추는데매우중요하다. 영유아기는뇌가발달과정에있기때문에여러가지자극과치료에대한가소성 (plasticity) 이높은시기이기때문이다. 그러나뇌성마비를포함한영아기에일찍진단되어야하는발달장애질환을조기에발견하는것은쉽지않다. 발달장애의진단은의학적병력및발달력조사, 이학적및신경학적진찰소견등의주관적인검사와발달검사도구에의한객관적발달평가의세과정을거쳐이루어지는데, 영유아기의발달장애를조기발견하기위해서는발달검사도구를통한객관적선별검사가특히중요하다. 우리나라에서 2007 년 11 월부터시행된우리나라의국가영유아건강검진사업에서도발달검사도구를사용하여발달평가를실시하는데, 발달선별검사에서사용되는도구는한국형부모작성형유아모니터링체계 (Korean-Ages and Stages Questionnaires: K-ASQ) 와 Denver-II 중한가지를선택하도록되어있다. 그러나 Denver-II 검사는검사자가직접실시해야하며일정시간이소요되어바쁜외래진료에서모든아동에게적용하기에는어려운점이있고, 점수체계 (scaling system) 가아니어서선별의정확성이떨어지기때문에국가영유아건강검진사업에서는부모작성형인 K-ASQ 사용을권장하고있다. K-ASQ 는미국에서개발된 Ages & Stage Questionnaires- II(ASQ 2판 ) 4,5) 를우리나라에서표준화작업을거쳐수정한국내버전이며 6), 간단한부모작성형설문지양식으로영유아의발달상태를모니터링할수있는신뢰도가높은검사이다. 그러나외국에서개발된검사를번안하여사용하고있기때문에문화적으로다른환경에서자라는유아에게외국에서만든검사를시행하기에부적절한면이있으며, 언어나사회성뿐만아니라운동발달에서도육아환경이다르면발달과정이달라진다는점이지적되고있다. 나아가서발달이늦는지여부를알아보기위해사용되는발달선별검사도구는발달의개인차를평가하고자할때사용되는발달선별검사도구와는달리발달장애의위험성이있는대상과그렇지않은대상을얼마나정확하게판별할수있는가하는도구의타당도를검증하는것이매우중요한요인이다. K-ASQ 검사의타당도를탐구한기존연구에서민감도는 0.67-1.00, 특이도는 0.76-1.00 로비교적양호한편으로보고되고있으나 6), 월령대별로편차가큰것으로보인다. 또한발달지연이있는아동들을대상으로 K-ASQ 검사결과와한국형베일리발달척도결과를비교했을때높은일치율을보인다는결과가제시된바있다 7). 그러나, 기존연구들은 K-ASQ 의타당도를평가하는데있어단순히하나의준거척도와비교하여연구를했거나 7,8), 대상연령대가하나로제한되어있는경우 8), 혹은하나의병리군에탐구의초점이제한되었거나 9), 연구대상에여러병리군을구분하지않은채혼합된상태에서분석이진행되었다는한계점들이있다 7,8,10). 이에저자들은본연구에서발달검사의필요성이요구되는다양한연령대와여러병리군각각을대상으로몇가지준거척도들과의비교분석을통하여서 K-ASQ 검사의임상적변별력과타당도를좀더다각도로탐구해보고자하였다. 대상및방법 1. 대상임상군자료분석을위해서고려대학교구로병원과국민건강보험공단일산병원의발달지연클리닉에내원한환자들중에서발달장애로진단되었던아동들중 30개월, 36개월, 60개월의 K-ASQ 질문지를실시한환자들의자료가선택되었다. 미국소아과학회에서는출생시특별한위험인자가없었고, 정상적으로발달하고있는것으로보이는 0-3 세사이의정상아에서도 9, 18, 30개월에표준화된선별검사도구를사용하여발달평가할것을권고하고있다 11). 9개월은운동발달의문제를잘찾아낼수있는시기이고, 18개월은말과언어발달의문제가있을때확실히드러나는시기이면서동시에 9개월평가에서발견되지않은경미한운동발달의문제도함께찾아낼수있는시기이기때문이다. 또한 18개월은자폐성장애에대한조기치료중재를하면매우효과적인시기이기때문에자폐성장애를찾아낼수있는선별검사도구의사용이필요하다. 30개월은대부분의운동, 언어, 인지발달의지연을선별검사도구를통해확인할수있는시기로발달지연이있는아동에서평가와적극적인치료중재가꼭필요한시기이기때문이다 11). 본연구에서는운동, 언어, 인지발달의지연이모두드러나는시기인 30개월, 36개월과취학전아동의선별검사가필요한 60 개월을대상으로분석하였다. 해당연령대의환자들을대상으로실시된 K-ASQ 검사, 한국형베일리발달척도 (Korean Bayley Scales of Infant Development II: K-BSID II) 12), 한국판사회성숙도검사 (Social Maturity Scales: SMS) 13), 한국판웩슬러유아지능검사 (Korean Preschool & Primary Scales of Intelligence: K-WPPSI) 14) 검사결과등을선별하여분석에사용하였다. 최종임상군분석에는남자 167 명, 여자 51 명등총 218 명이포함되었다. 비임상군자료는고려대학교구로병원과대구가톨릭대학교의과대학병원, 성균관대학교삼성서울병원, 서울대학교의과대학보라매병원, 관동대학교제일병원, 국민건강보험일산병원등의 6개기관에서 2008 년 1월부터 2010 년 7월까지영유아건강검진발달평가를받았던환자들중, 30개월, 36개월, 60개월의 K-ASQ 질문지를실시한환자들을대상으로임상군의해당월령대와성비를맞추어무작위추출된총 242 명 ( 남 : 166, 여 : 76) 의 K-ASQ 검사결과자료가최종비임
J Korean Child Neurol Soc 2014;22(1):1-11 3 상군자료분석에포함되었다. 2. 연구도구 1) 한국형부모작성형유아모니터링체계 (K-ASQ) K-ASQ 는 4개월에서 60개월의영유아의 5가지발달영역 ( 의사소통, 대근육운동, 소근육운동, 문제해결, 개인 -사회성 ) 에 6개씩총 30 개문항을부모가답을하도록되어있다. 사용되는질문지는월령별로세분화되어있는데, 4개월부터 24개월까지는 2개월간격, 이후 36 개월까지는 3개월간격, 이후 60개월까지는 6개월간격으로구성되어있다. 각영역별로 60 점이최고점수이며, 점수가모두절선점수보다높을때를 양호 라고판정한다. 한개이상의발달영역에서절선점수보다낮은점수를얻은아이는 발달지연의심 이라고판정을내린후전문기간으로의뢰하고, 절선점수에일치하거나근접하는경우는추후재검사를하도록되어있다 6). 2) 한국형베일리발달척도 II (K-BSID II) K-BSID II는해외및국내에서널리사용되고있는영유아발달검사로서 1개월에서 42개월의월령대를대상으로실시하도록되어있다. K-BSID II는인지척도 (mental scale), 동작척도 (motor scale), 행동평정척도 (behavioral rating scale) 등의세가지척도로구성되어있다. 본연구에서는 2004 년에국내용으로표준화된 K-BSID II검사를사용하였다 12). 분석에는 K-ASQ 하위영역과준거척도들과의공인타당도확인을위하여인지발달지수 (mental developmental index: MDI), 인지발달연령 (mental developmental age), 운동발달지수 (phychomotor developmental index: PDI), 운동발달연령 (motor developmental age) 등의 4가지검사영역의원점수에따른결과가사용되었다. 3) 한국판사회성숙도검사 (SMS) 한국판사회성숙도검사는 Doll 이제작한 Vineland 사회성숙척도 (Vineland Social Maturity Scale) 5판을바탕으로 1977 년에한국실정에맞도록표준화한검사이다 13). 검사는자조, 이동, 작업, 의사소통, 자기관리, 사회화등의 6가지영역을평가한다. 본연구에서는 SMS 검사결과중사회성연령 (social age: SA) 과사회성지수 (social quotient: SQ) 만이공인타당도분석에사용되었다. 4) 한국판웩슬러유아지능검사 (K-WPPSI) K-WPPSI 는취학전아동및초등학교저학년용으로만3세에서 7 세 3개월된아동의지능을측정한다. K-WPPSI 는다른웩슬러지능검사와마찬가지로연령에관계없이모든아동에게동일한동작성소검사들 ( 모양맞추기, 도형, 토막짜기, 미로, 빠진곳찾기, 동물짝짓기 ) 과언어성소검사들 ( 상식, 이해, 산수, 어휘, 공통성, 문장 ) 을교대로제시하며실시한다 14). 본연구에서는 60개월아동들의언어지능 (verbal IQ: VIQ), 동작지능 (performance IQ: PIQ), 전체지능 (full scale IQ: PIQ) 점수가공인타당도분석에사용되었다. 3. 자료분석본연구에서는 K-ASQ 검사의타당도를살펴보기위해서다음과같은분석들을시행하였다. 첫째, 선별척도로서의임상적변별력을평가하기위해의사진단에의해발달장애로진단받은환자들과비임상군환자들의 K-ASQ 자료를비교하여민감도 (sensitivity), 특이도 (specificity), 및정확도 (accuracy) 분석을수행하였다. 둘째, K-ASQ 하위영역척도에대한발달지체집단과정상집단의변별력을살펴보기위하여수신자동작특성곡선 (receiver operating characteristic curve: ROC curve) 분석을실시하였다. ROC 곡선분석은검사방법의유용성및절선점수 (cut-off value) 판단을위해사용되는데, ROC 곡선은진단테스트의각각다른가능한절단점에대한위양성률 (1- 특이도, X축 ) 과그에대한실제양성률 ( 민감도또는 1- 위음성률, Y축 ) 을그래프로표현한것이다. 진단의정확도는 ROC 곡선아래의면적 (area under the curve, AUC) 에의해측정될수있으며, AUC 0.9-1.0 최우수 (excellent), 0.8-0.9 우수 (good), 0.7-0.8 보통 (fair), 0.6-0.7 부족 (poor), 0.5-0.6 실패 (fail) 로나눌수있다 15,16). 마지막으로, K-ASQ 가발달선별검사로서측정하고자하는구성개념을실제로잘측정하고있는지를분석하기위해서임상군자료만을대상으로준거척도들과의 Pearson 상관관계분석을통해공인타당도 (concurrent validity) 를살펴보았다. 모든분석에는 SPSS 15.0 프로그램이사용되었다. 결과 1. 연구표본에대한인구통계학적인정보들과검사영역별평균점수임상군은 30개월군 57명 ( 남 : 42, 여 : 15), 36개월군 84명 ( 남 : 65, 여 : 19), 60개월군 77명 ( 남 : 60, 여 : 17) 으로총 218 명 ( 남 : 167, 여 : 51) 이포함되었다. 비임상군은 30개월군 72명 ( 남 : 50, 여 : 22), 36개월군 77명 ( 남 : 51, 여 : 26), 60개월군 93명 ( 남 : 65, 여 : 28) 으로총 242 명 ( 남 : 166, 여 : 76) 이포함되었다 (Table 1). 임상군은크게자폐장애군, 전체발달이지연된군, 언어발달만지연된군의세개의진단군으로나누어서분석하였다. 첫번째군에는자폐스펙트럼장애 (Autistic Spectrum Disorder: ASD) 나전반적발달장애 (Pervasive Develop-mental Disorder: PDD) 로진단받은환자 50명, 두번째군에는전체발달지연 Table 1. Gender distribution of study participants (n=460) Sex Clinical group Control group Male (%) 167 (77) 166 (69) Female (%) 51 (23) 76 (31) Total 218 242 Sex/Age 30 36 60 30 36 60 Male (%) 42 (74) 65 (77) 60 (78) 50 (69) 51 (66) 65 (70) Female (%) 15 (26) 19 (23) 17 (22) 22 (31) 26 (34) 28 (30) Total 57 84 77 72 77 93
4 Chung HJ, et al. The Validity of K-ASQ in Korean Infants and Children (Global Developmental Delay: GDD) 이나지적장애 (Mental Table 2. Distribution of the diagnosis of clinical group (n=223) Diagnosis Clinical group 30 36 60 Total ASD/PDD (%) 13 (23) 14 (17) 23 (30) 50 (23) MR/GDD (%) 16 (28) 24 (28) 42 (55) 82 (38) DLD (%) 28 (49) 46 (55) 12 (15) 86 (39) Total 57 84 77 218 ASD, autistic spectrum disorders; PDD, pervasive developmental disorders; MR, mental retardation; GDD, global developmental disorders; DLD, developmental language disorders. Retardation: MR) 로진단된환자 82명, 세번째군에는발달성언어장애 (Developmental Language Disorder: DLD) 로진단받은환자 86 명이포함되었다 (Table 2). 임상군과비임상군의 K-ASQ 검사와준거척도들의평균점수는 Table 3과 Table 4에제시하였다. 2. 타당도검사 1) 임상적변별력 (1) 민감도특이도및정확도어떠한검사가선별검사로서의역할을타당하게수행하는지를평 Table 3. Descriptive statistics for the Korean Ages and Stages Questionnaires domains at age 30, 36, and 60 in normal control group Control group 30 36 60 Mean SD Mean SD Mean SD K-ASQ total 272.36 28.89 272.21 33.28 276.45 29.54 Communication 56.18 7.89 53.25 11.89 53.44 9.27 Gross motor 57.15 4.73 58.51 3.90 56.24 6.11 Fine motor 54.93 6.31 54.22 8.47 54.84 10.17 Problem-solving 52.29 9.82 55.00 8.81 56.83 7.58 Personal/social 51.81 8.24 51.23 9.53 55.11 5.80 SD, standard deviation, K-ASQ, Korean Ages and Stages Questionnaires. Table 4. Descriptive statistics for the Korean Ages and Stages Questionnaires, Korean Ages and Stages Questionnaires domains, the Korean- Bayley Scales of Infant Development II indices, the Korean-Social Maturity Scale, and the Korean-Wechsler Preschool and Primary Scales of Intelligence at age 30, 36, and 60 in clinical group Clinical group 30 36 60 Mean SD Mean SD Mean SD K-ASQ total 152.72 50.80 162.32 66.60 206.58 66.75 Communication 21.67 14.06 18.29 14.87 38.44 17.34 Gross motor 43.07 14.66 47.01 16.48 43.70 15.25 Fine motor 31.49 14.82 37.93 17.86 40.13 16.81 Problem-solving 23.77 11.66 32.20 17.25 42.30 18.48 Personal/social 32.72 12.96 30.85 12.76 41.36 14.32 K-BSID II MDI 55.13 9.71 58.58 13.71 N/A N/A Mental age 18.29 4.80 23.01 5.62 N/A N/A PDI 59.02 14.34 64.33 16.51 N/A N/A Motor age 21.24 4.43 26.06 5.93 N/A N/A SMS Social age 2.12 0.46 2.43 0.47 N/A N/A Social quotient 76.50 11.70 76.61 14.47 N/A N/A K-WPPSI VIQ N/A N/A N/A N/A 73.94 13.12 PIQ N/A N/A N/A N/A 73.60 15.77 FIQ N/A N/A N/A N/A 71.24 13.77 SD, standard deviation; K-ASQ, Korean Ages and Stages Questionnaires; K-BSID II, Korean-Bayley Scales of Infant Development II; MDI, mental developmental index ; PDI, psychomotor developmental index; SMS, Social Maturity Scale; K-WPPSI, Korean-Wechsler Preschool and Primary Scales of Intelligence; VIQ, verbal intelligence quotient; PIQ, performance intelligence quotient; FIQ, full scale intelligence quotient.
J Korean Child Neurol Soc 2014;22(1):1-11 5 가하는기준으로는 민감도 (sensitivity), 특이도 (specificity), 정확도 (accuracy) 등이있다 17). 민감도는실제발달장애로진단받은환자를선별검사결과에따라잠재적위험군으로성공적으로분류할확률을말하며, 특이도는정상환자를검사결과에따라질환이없다고성공적으로선별할확률을의미한다. 정확도는진단에의해발달장애가있는환자를비정상으로선별하고, 정상인환자를문제가없다고판별할확률, 즉검사의전반적인정확도를의미한다. 본연구에서는각각의월령대의 K-ASQ 절선점수에근거하여전체표본집단을정상과잠재적위험군으로나눈후, 이를실제의사진단결과와비교하여민감도, 특이도및정확도를분석하였다. 민감도, 특이도분석은각각의월령대별, 진단군별로나누어분석을수행하 였다. 30개월군, 36개월군, 60개월군에서 K-ASQ 절선점수에따른분류와의사의실제진단과비교하여민감도, 특이도및정확도를분석한결과는 Table 5에정리되어있다. 30개월군과 36개월군에서 K-ASQ 검사의민감도및특이도는 88-96% 였으며, 정확도는각각 92% 와 89% 로전반적으로좋은변별력을보였다. 그러나 60개월군에서는특이도는 95% 로양호하였으나민감도는 65% 로낮았다. 즉의사진단에의해발달장애로선별된 77명중에서 K-ASQ 에의하여성공적으로잠재적발달장애위험군으로분류된경우는 50명뿐이었다. 또한검사의정확도도 82% 로세연령대중에서가장낮았다. 진단군에따라변별력이달라지는가를비교분석하기위해서각 Table 5. Sensitivity, specificity, and accuracy of the Korean Ages and Stages Questionnaires in 30, 36, and 60 30 36 60 Medical diagnosis Medical diagnosis Medical diagnosis Positive Negative Positive Negative Positive Negative K-ASQ results (fail/pass) (55/2) (8/64) (75/9) (9/68) (50/27) (4/89) Sensitivity (%) 96 89 65 Specificity (%) 88 88 95 Overall accuracy (%) 92 89 82 K-ASQ, Korean Ages and Stages Questionnaires Table 6. Sensitivity, specificity, and accuracy value of the Korean Ages and Stages Questionnaires in different diagnosis and age groups (30, 36, and 60 ) 30 ASD/PDD MR/GDD DLD Medical diagnosis Medical diagnosis Medical diagnosis Positive Negative Positive Negative Positive Negative K-ASQ results (fail/pass) (13/0) (8/64) (16/0) (8/64) (26/2) (8/64) Sensitivity (%) 100 100 92 Specificity (%) 88 88 88 Overall accuracy (%) 91 91 90 36 ASD/PDD MR/GDD DLD Medical diagnosis Medical diagnosis Medical diagnosis Positive Negative Positive Negative Positive Negative K-ASQ results (fail/pass) (14/0) (9/68) (22/2) (9/68) (39/7) (9/68) Sensitivity (%) 100 91 85 Specificity (%) 88 88 88 Overall accuracy (%) 90 89 87 60 ASD/PDD MR/GDD DLD Medical diagnosis Medical diagnosis Medical diagnosis Positive Negative Positive Negative Positive Negative K-ASQ results (fail/pass) (16/7) (4/89) (29/13) (4/89) (5/7) (4/89) Sensitivity (%) 70 69 42 Specificity (%) 95 95 95 Overall accuracy (%) 95 87 89 ASD, autism spectrum disorders; PDD, Pervasive Developmental Disorders; MR, mental retardation; GDD, global developmental disorders; DLD, developmental language disorders; K-ASQ, Korean Ages and Stages Questionnaires.
6 Chung HJ, et al. The Validity of K-ASQ in Korean Infants and Children 연령대에서진단군별로나누어서민감도, 특이도및정확도분석을수행하였다 (Table 6). 30개월과 36개월의월령대에서는 ASD/PDD, MR/GDD, DLD 의세진단군모두에서민감도 85-100%, 특이도 88%, 정확도 87-91% 로전반적으로높은변별력을보였다. 그러나 60 개월에서는 ASD/PDD 와 MR/GDD 집단을성공적으로발달장애위험군으로선별해주는민감도가각각 70% 과 69% 로상대적으로낮았으며, 특히 DLD집단에서의민감도는 42% 로매우낮았다. (2) 수신자동작특성곡선 (receiver operating characteristic curve, ROC curve) 분석선별척도로서의 K-ASQ 검사하위영역별임상적변별력을평가하기위해임상군표본과비임상군표본의 K-ASQ 하위영역별점수를 30개월, 36개월, 60개월각각의월령대별로비교하여 ROC 곡선분석을실시하였다 (Table 7). 분석결과 5개영역별로대부분보통수준이상의변별력 [area under the curve (AUC): 0.74-0.98] 을보였다. 구체적으로각각의월령대별분석결과를정리하면, 30개월의월령대에서는 5개영역에서전반적으로 우수 수준이상의변별력을보였다 (AUC: 0.84-0.98). 36개월의월령대에서는 5개영역에서전반적으로 보통 에서 최우수 수준의변별력 AUC: 0.74-0.94 을보이고있으나, 대근육운동 (AUC: 0.74) 과소근육운동 (AUC: 0.79) 영역의변별력이 보통 정도의수준으로상대적으로떨어지는것으로나타났다. 60 개월의월령대에서는 5개영역이 보통 에서 우수 수준이상의변별력 (AUC: 0.76-0.81) 을보였으나, 5개영역중의사소통 (AUC: 0.79), 대 근육운동 (AUC: 0.78), 문제해결능력 (AUC: 76) 의 3개영역에서상대적으로낮은변별력을보였다. 앞서수행한민감도, 특이도및정확도분석중 60개월이특히검사의민감도가낮게나타났으므로 60개월에해당하는월령대에서임상진단군별로나누어 K-ASQ 하위영역의변별력을비교분석하였다 (Table 8). ASD 집단과비임상군을구분하는데있어서의사소통 (AUC: 0.84), 소근육운동 (AUC: 0.85), 개인사회성 (AUC: 0.89) 영역에서는우수한변별력을보였으나, 대근육운동영역 (AUC: 0.77) 과문제해결영역 ((AUC: 0.76) 에서는상대적으로떨어지는 보통 수준의변별력을보였다 (Table 8). MR/GDD 집단과비임상집단에대한 K-ASQ 하위영역별변별력은대근육운동 (AUC: 0.81), 소근육운동 (AUC: 0.84), 개인사회성 (AUC: 0.80) 영역에서는우수하였으나, 의사소통 (AUC: 0.78) 과문제해결 (AUC: 0.78) 영역에서는 보통 정도의변별력을보였다 (Table 8). K-ASQ 하위영역이 DLD집단을비임상군과선별해주는변별력은전반적으로낮았는데, 의사소통 (AUC: 0.70) 과문제해결 (AUC: 0.73) 영역에서는 보통 수준의변별력을, 대근육운동 (AUC: 0.68), 소근육운동 (AUC: 0.63), 개인사회성 (AUC:0.68) 영역에서는매우낮은변별력을보였다 (Table 8). 2) 공인타당도 (concurrent validity) K-ASQ 의공인타당도를살펴보기위해준거척도인 K-BSID II, SMS 검사및 K-WPPSI 검사와피어슨상관관계분석을수행하였다. 구체적으로, 30개월과 36개월연령대에서는 K-ASQ 와 K-BSID II, SMS Table 7. Receiver operating characteristic curve analysis of the Korean Ages and Stages Questionnaires domains in 30, 36, and 60 Clinical sample=57 30 communitiy sample=72 Asymptotic 95% confidence interval AUC SE Asymptotic Sig. Lower Bound Upper Bound Communication.978.011.000.956.999 Gross motor.838.036.000.767.909 Fine motor.913.027.000.860.967 Problem-solving.957.018.000.923.991 Personal/social.899.028.000.844.955 Clinical sample=84 36 communitiy sample=77 Asymptotic 95% confidence interval AUC SE Asymptotic Sig. Lower Bound Upper Bound Communication.939.020.000.900.979 Gross motor.737.039.000.660.814 Fine motor.797.035.000.728.865 Problem-solving.873.029.000.817.930 Personal/social.895.025.000.846.944 Clinical sample=77 60 communitiy sample=93 Asymptotic 95% confidence interval AUC SE Asymptotic Sig. Lower Bound Upper Bound Communication.788.036.000.718.858 Gross motor.776.037.000.704.848 Fine motor.810.034.000.743.877 Problem-solving.763.039.000.688.839 Personal/social.805.035.000.736.874 AUC, area under the curve; SE, standard error; Sig, significance
J Korean Child Neurol Soc 2014;22(1):1-11 7 Table 8. Receiver operating characteristic curve analysis of the Korean Ages and Stages Questionnaires domains for various clinical groups versus control group in 60 Test Result Variable(s) Asymptotic 95% confidence interval AUC SE Sig. Lower Bound Upper Bound Autism spectrum disorders vs. control group Communication.843.057.000.731.956 Gross motor.773.058.000.660.886 Fine motor.849.053.000.745.952 Problem-solving.761.066.000.632.889 Personal/social.885.050.000.788.983 Global developmental delay/mental retardation group vs. control group Communication.782.043.000.698.865 Gross motor.805.045.000.716.894 Fine motor.842.037.000.769.914 Problem-solving.776.049.000.680.872 Personal/social.797.045.000.709.885 Developmental language disorder group vs. control group Communication.704.093.022.552.886 Gross motor.679.091.045.501.856 Fine motor.628.088.151.456.800 Problem-solving.725.090.011.550.901 Personal/social.681.096.042.492.869 AUC, area under the curve; SE, standard error; Sig, significance Table 9. Correlations between the Korean Ages and Stages Questionnaires domains, the Korean Bayley Scales of Infant Development II indices, and the Korean Social Maturity Scale in 30 K-ASQ total Communication Gross motor Fine motor Problem- solving Personal/social K-ASQ Total 1 Communication.715** 1 Gross motor.632**.155 1 Fine motor.714**.264*.334* 1 Problem-solving.835**.683**.320*.561** 1 Personal/social.861**.627**.507**.488**.628** 1 K-BSID II MDI.560**.463**.074.546**.635**.386** Mental age.703**.648**.246.499**.712**.574** PDI.475**.411**.272.294*.380**.413** Motor age.628**.378**.493**.504**.476**.498** SMS Social age.418**.338*.206.364**.480**.195 Social quotient.640**.619**.241.401**.638**.557** *Correlation is significant at the 0.05 level (2-tailed). **Correlation is significant at the 0.01 level (2-tailed). K-ASQ, Korean Ages and Stages Questionnaires; K-BSID II, Korean Bayley Scales of Infant Development II; MDI, mental developmental index; PDI, psychomotor developmental index; SMS, Social Maturity Scale. 검사와의상관관계를살펴보았으며, 60개월의연령대에서는 K-ASQ 와 K-WPPSI, SMS와의상관관계를살펴보았다. 상관관계의크기를재는준거인상관계수 (correlation coefficient: r) 는 0-0.19 매우약함 (very weak), 0.20-0.39 약함 (weak), 0.40-0.59 보통 (moderate), 0.60-0.79 강함 (strong), 0.80-1.0 매우강함 (very strong) 으 로나눌수있다 18). 월령대별로나누어분석을해보았을때, 30개월의월령대 (Table 9) 에서 K-ASQ 의의사소통점수와 K-BSID II의정신척도점수는 보통 수준의유의한정적상관을보였고 (r=0.46, P<0.01), K-ASQ 의문제해결점수는 K-BSID II의정신척도점수와강한정적상관을보였다 (r=
8 Chung HJ, et al. The Validity of K-ASQ in Korean Infants and Children Table 10. Correlations between the Korean Ages and Stages Questionnaires domains, the Korean Bayley Scales of Infant Development II indices, and the Korean Social Maturity Scale in 36 K-ASQ Total Communication Gross motor Fine motor Problem-solving Personal/social K-ASQ total 1 Communication.618** 1 Gross motor.699**.107 1 Fine motor.833**.328**.557** 1 Problem-solving.886**.547**.497**.650** 1 Personal/social.858**.506**.502**.647**.755** 1 K-BSID II MDI.490**.388**.177.331**.503**.482** Mental age.537**.459**.161.462**.517**.454** PDI.567**.199.489**.438**.537**.485** Motor age.662**.241*.595**.540**.523**.450** SMS Social age.614**.372**.384**.587**.472**.539** Social quotient.600**.381**.410**.523**.455**.543** *Correlation is significant at the 0.05 level (2-tailed). **Correlation is significant at the 0.01 level (2-tailed). K-ASQ, Korean Ages and Stages Questionnaires; K-BSID II, Korean Bayley Scales of Infant Development II; MDI, mental developmental index; PDI, psychomotor developmental index; SMS, Social Maturity Scale Table 11. Correlations between the Korean Ages and Stages Questionnaires domains, the Korean Wechsler Preschool and Primary Scales of Intelligence, and the Korean Social Maturity Scale in 60 K-ASQ Total Communication Gross motor Fine motor Problem-solving Personal/social K-ASQ total 1 Communication.839** 1 Gross motor.648**.344** 1 Fine motor.880**.640**.520** 1 Problem-solving.855**.678**.364**.751** 1 Personal/social.844**.736**.486**.643**.618 1 K-WPPSI VIQ.519**.483**.048.368*.586**.411** PIQ.583**.392**.305*.623**.453**.304* FIQ.584**.452**.186.543**.549**.370** SMS Social age.719**.721**.364**.648**.526**.657** Social quotient.692**.660**.332**.674**.536**.593** *Correlation is significant at the 0.05 level (2-tailed). **Correlation is significant at the 0.01 level (2-tailed). K-ASQ, Korean Ages and Stages Questionnaires; K-WPPSI, Korean Wechsler Preschool and Primary Scales of Intelligence; VIQ, verbal intelligence quotient; PIQ, performance intelligence quotient; FIQ, full scale intelligence quotient; SMS, Social Maturity Scale. 0.64, P<0.01). 하지만 K-ASQ 검사의대근육운동영역은 K-BSID II의운동척도점수와유의미한상관관계를보이지않았으며 (r=0.27, ns), 소근육운동영역은단지 약한 수준의정적상관을보였다 (r=0.29, P <0.05). K-ASQ 의개인 -사회성영역과 SMS 사회성지수 (SQ) 와는 보통 수준의정적상관을보였으나 (r=0.56, P<0.01), 사회성연령과는유의미한상관관계가없었다 (r=0.20, ns). 36개월의월령대 (Table 10) 에서 K-ASQ 의의사소통점수와 K- BSID II의정신척도점수는 약한 수준의유의한정적상관을보였으며 (r=0.39, P<0.01), K-ASQ 의문제해결점수는 K-BSID II의정신척도 점수와 보통 수준의정적상관을보였다 (r=0.50, P<0.01). 또한 K- ASQ검사의대근육운동영역과소근육운동영역은 K-BSID II의운동척도점수와 보통 수준의정적상관을보였으며 ( 각각 r=0.49, P<0.01; r=0.44, P<0.01), K-ASQ 의개인 -사회성영역과 SMS 검사의사회성지수 (SQ) 와사회성연령사이에는전반적으로 보통 수준의유의미한정적상관이나타났다 ( 각각 r=0.54, P<0.01; r=0.54, P<0.01). 60개월의월령대 (Table 11) 에서, K-ASQ 의의사소통과문제해결영역은 K-WPPSI 검사의언어성지능과 보통 수준의정적상관을보였으며 ( 각각 r=0.48, P<0.01; r=0.59, P<0.01), K-ASQ 의대근육, 소근
J Korean Child Neurol Soc 2014;22(1):1-11 9 육운동영역점수는 K-WPPSI 검사의동작성지능과 약한 혹은 보통 수준의정적상관관계를보였다 ( 각각 r=0.31, P<0.05; r=0.62, P <0.01). 또한 K-ASQ 의개인- 사회성영역과 SMS검사의사회성지수 (SQ) 와사회성연령사이에는전반적으로 보통 에서 높은 수준의유의미한정적상관이나타났다 ( 각각 r=0.66, P<0.01; r=0.59, P<0.01). 고찰 선진국의경우발달에대한국가적인선별검사를시행하여조기에진단하고치료까지연결되는시스템이확립되어있다. 일본의경우는모자보건법상의무조항으로규정하여총 8회에걸친영유아검진을시행하는데이중 18개월에발달평가를시행하고, 3세에발달평가와언어평가를함께실시해야한다. 독일은총 9회에걸친영유아검진을시행하는데이중 6회 (3-4, 6-7, 10-12, 21-24, 43-48, 60-64 개월 ) 에걸쳐언어와발달평가및정서와행동평가를실시하게되어있다. 미국의경우는 1975 년, 발달장애아동에대한교육과치료프로그램을의무적으로규정한연방법을제정하여모든발달장애아동에게교육과치료를무상으로제공하고있으며, 미국소아과학회에서는치료대상이되는발달장애아동을조기에발견하기위한 Policy Statement 를제공하여영유아시기에의사들을정기방문할때발달장애가의심되는아이들을선별할수있도록교육하고있다 11,19,20). 우리나라에서도 2007 년 11월부터시행된국가영유아건강검진사업에서발달에문제가있는영유아를조기에발견하기위하여월령별로시계열적으로추적가능한발달평가를실시하고있다. 본연구는발달장애위험성을지니는영유아들을조기에선별하는새로운영유아발달선별검사도구개발을위한선행연구로써, 기존의 2007 년부터실시되어온 K-ASQ 발달선별검사의임상적변별력과타당도를평가하는데주된목적이있었다. 이를위해, 병원에서의사진단에의해발달장애로진단받은임상군환자들과비임상군환자들중 30, 36, 60개월월령대를대상으로검사의민감도, 특이도, 정확도분석및수신자동작특성곡선분석을실시하였다. 또한임상군자료를대상으로 K-ASQ 검사와다른준거척도들과의상관관계분석을통해공인타당도분석을실시하였다. 분석들에의해도출된결과들은다음과같다. 첫째, 민감도, 특이도및정확도분석결과를종합해볼때, K-ASQ 검사는의사의진단과비교하여정상과발달장애위험군에있는환자를대체적으로양호하게변별해내지만특정월령대나임상군에서는임상적변별력이떨어지는것으로나타났다. 임상적변별력이상대적으로떨어지는월령대는 60개월이었는데, 특이도는 95% 로우수하였으나, 민감도가 65% 로매우낮았던점에주목할필요성이있다. 구체적으로, 의사의검진에의해발달장애로진단을받았던 60개월환자전체 77명중 K-ASQ 검사에의해양성진단을받은케이스는 50케이스에불과했다. 환자들이병원에서정밀검진을받지않고, K-ASQ 검사결과에만근거하여발달장애여부를판단하였다면, 위음성 (false negative) 으로판별된 27 명의환자들은실제로장애를지니고있음에도문제가없는것으로잘못판명되어서적절한치료시기를놓치게되었을가능성이있다. 이 는 60개월에해당하는연령대에서 K-ASQ 검사는발달장애가있는환자들을정확하게선별해주지못할수있음을의미한다. 따라서 60개월에서는 K-ASQ 검사결과가영역별절선점수를넘었더라도절선점수에인접하여있는경우에는추후에병원을방문하여실제적인의사의검진을받아야할필요성을시사하고있다. 또한 K-ASQ 검사는 ASD/PDD 나 MR/GDD 와같은병리군들은대체적으로양호하게발달장애위험군으로선별해내지만언어발달이지연되는집단 (DLD) 을실제발달장애위험군으로변별하는데는취약하였다. 분석결과, 모든월령대에서 K-ASQ 검사가 DLD 집단을정상집단과변별해내는민감도, 특이도, 및정확도는다른집단에비해상대적으로가장낮았다. 특히 60개월의월령대에서는민감도가 41% 로매우낮았다. 따라서아동의언어발달지연이의심되는상황에서는 K-ASQ 검사결과가정상으로나왔다고할지라도발달지연을의심하여전문기관에의뢰할필요성이있음을보여준다. K-ASQ 검사의하위영역별임상적변별력에있어서는전반적으로 보통 수준이상의변별력을보였으며, 30개월월령대에서는모든영역이우수한수준의변별력을나타내었다. 전반적으로낮은수준의변별력을보인영역은대근육운동영역과소근육운동영역이었는데, 36개월과 60개월의월령대에서다른영역들에비해상대적으로낮은 보통 수준의변별력을보였다. 이는운동능력검사의임상적변별력이다른영역에비해상대적으로제한적임을보여준다. 또한대근육운동과소근육운동영역은 60개월의월령대에서언어발달지연 (DLD) 집단을정상집단과구분해주는데낮은변별력을보였다. 또한개인사회성영역도 DLD집단을발달지체집단으로변별하는데낮은변별력을, 의사소통과문제해결영역은단지보통정도의변별력을보였다. 이렇게 60개월의월령대에서모든영역이보통에서부족한수준의변별력을보였던점은앞서제시한 60개월의월령대에서 K-ASQ 가특히낮은민감도를보인점과맥락을같이한다고볼수있겠다. 임상군자료만을대상으로수행한공인타당도분석결과에의하면세연령그룹모두에서준거척도와의상관이통계적으로유의하긴하나대체적으로높지않았다. 또한다른준거척도와상관이있어야할영역에서유의미한상관이없는경우도있었다. 구체적으로, 30개월의월령대에서 K-ASQ 검사의대근육운동영역은 K-BSID II의운동척도점수와유의미한상관관계가없었으며, 소근육운동영역은통계적으로는유의하나낮은상관을보였다. K-BSID II척도가보다정교한평가라고가정할때 30개월에서특히 K-ASQ 를통한대근육, 소근육운동점수는실질적인운동기능을예측하는데부족할수있다는점을암시해주고있다. 본연구에서도출된결과에의한본연구의의의와시사점들은다음과같다. 첫째, 본연구는다양한연령그룹과병리군을비교하여 K-ASQ 검사의타당도를다각도로고찰함으로써의미있는시사점들을제시하고있다는데에그의의가있다. K-ASQ 검사가 4개월에서 60개월까지비교적넓은범위의연령대를대상으로하는검사라는점을감안할때, 발달검사의필요성이요구되는여러연령대에서검사의타당도가어떠한지비교할필요성이있다. 또한발달장애라는진단범주안에는여러가지질병군이포함되어있기때문에, 각각을나누어서분석함으로써여러발달장애질병군을대상으로 K-ASQ 가발달
10 Chung HJ, et al. The Validity of K-ASQ in Korean Infants and Children 장애선별검사로서역할을잘수행하고있는지에대한연구가필요하다고볼수있겠다. 이에대해본연구의결과는 60개월의월령대와언어발달지연이의심되는집단에서는 K-ASQ 검사의변별력이상대적으로떨어지므로특히주의를요할필요성을제시하고있다. 이러한결과들은또한여러월령대에서여러가지발달장애집단을좀더정확히변별해줄수있는타당도높은검사도구가필요함을시사한다고볼수있겠다. 둘째, 기존의연구들은 K-ASQ 의타당도를평가하는데있어단순히하나의준거척도와의비교에국한되었다는데에 7,8) 그한계점이있었다. 하지만, 본연구에서는 K-ASQ 검사와 K-BSID II검사를포함하여 SMS 와 K-WPPSI 와같은다양한준거척도들과의상관관계를분석함으로써의미있는결과들을제시하였다는점에서의의가있다. 또한 K-ASQ 검사와의사의최종진단결과를비교하여임상적변별력을탐구하였기때문에, 좀더정확한타당도분석이가능하였다고사료된다. 결론적으로, 본연구결과가제시하였듯이 60개월의월령대와언어발달지연이의심되는집단에서는 K-ASQ 검사의변별력이상대적으로떨어지므로검사결과가음성이더라도점수가절선점수에인접하거나낮은경우에는병원에내원하여추가적인검사를통해정밀진단을받을필요성이있겠다. 또한 K-ASQ 검사도구가특정월령대나진단군에따라서검사의타당도가떨어질수있다는본연구의결과는발달지연검사가요구되는여러월령대에서다양한발달장애집단을좀더타당하게변별해줄수있는검사도구제작의필요성을암시해주고있다. 마지막으로본연구의제한점은다음과같다. 첫째, 임상군집단에서성비가매우불균형하였으며, 비임상군집단도이에비례하여자료를추출하였기때문에역시불균형한성차를보였다는한계가있다. 둘째, 자료부족으로인해준거척도들과의상관관계를통한공인타당도분석이임상군집단에서만진행되었기때문에이로부터얻어진결과를해석하는데주의를요한다. 따라서추후연구에서는비임상군집단에서도 K-ASQ 와준거척도들과의공인타당도를살펴볼필요가있다. 끝으로, 본연구에서는 ASD/PDD, GDD/MR, DLD 등의크게세진단군이임상집단에포함되었는데, 추후연구에서는뇌성마비, 발달성협응운동장애 (developmental coordination disorders) 등운동발달에주로문제가있는좀더다양한임상집단을추가하여진단군별로 K-ASQ 의타당도가어떻게다른지추가적으로검토할필요성이있겠다. 해 K-ASQ 도구의임상적변별력과타당도를평가하고자하였다. 방법 : 분석에포함된임상군표본은고려대학교구로병원과국민건강보험일산병원발달지연클리닉에발달지연을주소로내원하여비정상으로판정된영유아중 30개월군 57명 ( 남 : 42, 여 : 15), 36개월군 84명 ( 남 : 65, 여 : 19), 60개월군 77명 ( 남 : 60, 여 : 17) 으로총 218 명 ( 남 : 167, 여 : 51) 을대상으로하였다. 비임상군표본은임상군과성별분포를비슷하게맞추어무작위로추출되었으며, 30개월군 72명 ( 남 : 50, 여 : 22), 36개월군 77명 ( 남 : 51, 여 : 26), 60개월군 93명 ( 남 : 65, 여 : 28) 으로총 242 명 ( 남 : 166, 여 : 76) 이포함되었다. 선별척도로서의임상적변별력을평가하기위해임상군과비임상군환아들의 K-ASQ 자료를비교하여민감도, 특이도, 및정확도분석을수행하였으며, 진단명에따른임상적변별력도살펴보았다. K-ASQ 하위영역척도에대한발달지체집단과정상집단의변별력을살펴보기위해수신자동작특성곡선 (receiver operating characteristic curve: ROC curve) 분석을실시하였다. 또한 K-ASQ 가발달선별검사로서측정하고자하는구성개념을실제로잘측정하고있는지를분석하기위해서준거척도들 ( 한국형베일리발달척도 II, 한국웩슬러유아지능검사, 한국판사회성숙도검사등 ) 과의 Pearson 상관관계분석을통해공인타당도분석을실시하였다. 결과 : 30개월과 36개월군에서 K-ASQ 검사의민감도및특이도는 0.88-0.96 이었으며, 정확도는각각 0.92 와 0.89 로전반적으로좋은변별력을보였으나, 월령대와진단군에따라달랐다. 특히, 60개월군에서는특이도는 0.95 로양호하였으나민감도는 0.65 로상대적으로낮았으며, 정상집단과언어발달지연집단을변별해주는민감도가특히낮았다. ROC 분석결과 K-ASQ 가발달장애집단과정상집단을변별하는변별력은전반적으로 5개영역모두 보통 수준이상의변별력 (AUC: 0.74-0.98) 을보였으나, 상대적으로변별력이부족한영역과월령대가있었다. 공인타당도는세연령군모두에서준거척도와의상관이통계적으로유의하긴하였으나대체적으로높지않았다. 특히 30개월군 K-ASQ 검사의대근육운동영역은한국형베일리발달척도의운동척도점수와유의미한상관관계가없었다 (r=0.27, P>0.05). 결론 : 선별검사로서 K-ASQ 의임상적변별력은전반적으로양호한수준으로관찰되었으나월령별, 영역별로차이가있었으며, 공인타당도검사결과도전반적으로보통이상의수준이긴하였으나, 일부월령군에서는 K-ASQ 가실질적인하부영역의발달을잘반영하고있지못하였다. 따라서우리나라어린이들의발달을잘반영하는새로운선별검사도구의개발이필요할것으로사료된다. 요약 목적 : 우리나라에서 2007 년 11 월부터시작된국가영유아건강검진사업에서발달장애의가능성이있는영유아를조기에선별하기위한선별검사도구로서한국형부모작성형유아모니터링체계 (Korean-Ages and Stages Questionnaires: K-ASQ) 가이용되고있다. 본연구는새로운영유아발달선별검사도구의개발을위한선행연구로써기존에실시된 K-ASQ 발달선별검사자료의통계분석을통 References 1) Drillien CM, Pickering RM, Drummond MB. Predictive value of screening for different areas of development. Dev Med Child Neurol 1988;30:294-305. 2) Boyle CA, Decoufle P, Yeargin-Allsopp M. Prevalence and health impact of developmental disabilities in US children. Pediatrics 1994;93:399 403.
J Korean Child Neurol Soc 2014;22(1):1-11 11 3) Bhasin TK, Brocksen S, Avchen RN, Van Naarden, Braun K. Prevalence of four developmental disabilities among children aged 8 years- Metropolitan Atlanta Developmental Disabilities Surveillance Program, 1996 and 2000. MMWR Surveill Summ 2006;55:1-9 4) Squires J, Bricker D. Potter L. Revision of a parent-completed development screening tool: ages and stages questionnaires. J Pediatr Psychol 1997;22:313 28. 5) Bricker D, Squires J. The ages and stages questionnaires (ASQ): a parent-completed, child monitoring system, second edition. Baltimore, MD: Paul H Brookes Publishing Co; 1999. 6) Heo KH, Squires J, Lee SY, Lee JS. KASQ: Korean Ages and Stages Questionnaires/parent-completed development screening tool. Seoul: Seoul community rehabilitation center, 2006. 7) Kim MS, Kim JK. Assessment of children with developmental delay: Korean-Ages & Stages Questionnaires (K-ASQ) and Bayley Scales of Infant Development test II (BSID-II). J Korean Child Neurol 2010;18:49-57. 8) Gollenberg AL, Lynch CD, Jackson LW, McGuinness BM, Msall ME. Concurrrent validity of the parent-completed Ages and Stages Questionnaires, 2nd Ed. with the Bayley Scales of Infant Development II in a low risk sample. Child Care Health Dev 2010;36:485-90. 9) Yu LM, Hey E, Doyle LW, Farrell B, Spark P, Altman DG. et al. Evaluation of the ages and stages questionnaires in identifying children with neurosensory disability in the magpie trial follow-up study. Acta Paediatr 2007;96:1803 8. 10) Richter J, Janson H. A validation study of the Norwegian version of the Ages and Stages Questionnaires. Acta Paediatr 2007;96:748-52. 11) American Academy of Pediatrics; Council on Children With Disabilities; Section on Developmental Behavioral Pediatrics; Bright Futures Steering Committee; Medical Home Initiatives for Children With Special Needs Project Advisory Committee. Identifying infants and young children with developmental disorders in the medical home: an algorithm for developmental surveillance and screening. Pediatrics 2006;118:405-20. 12) Park HW, Cho BH. Korean Bayley Scales of Infant Development, 2nd Ed, Interpretation Manual. KIDSPOP Publishing Co, 2006. 13) Kim SK, Kim OK. Korean Vineland Social Maturity Scale. 4th ed. Seoul: Chung-Ang Jeokseong Press. 2002. 14) Park HW, Kwak KJ, Park KB. The development of Korean version of WPPSI: The standardization study (1). Korean J Dev Psychol 1996;9:60 70. 15) Holmes WC. A short, psychiatric, case-finding measure for HIV seropositive outpatients: performance characteristics of the 5 item mental health subscale of the SF-20 in a male, seropositive sample. Med Care 1998;36:237 43. 16) Luoto M, Hjort J. Evaluation of current statistical approaches for predictive geomorphological mapping. Geomorphology 2005;67: 299 315. 17) Thurlow ML, Gilman C J. Issues and practices in the screening of preschool children. In: E. V. Nuttall, I. Romero, & J. Kalesnik (Eds.), Assessing and screening preschoolers: Psychological and educational dimensions (2nd ed.) pp.72-93. Needham Heights, MA: Allyn & Bacon 1999. 18) Cohen J. Statistical power analysis for the behavioral sciences (2nd ed.) New Jersey: Lawrence Erlbaum Associates. 1988. 19) American Academy of Pediatrics. Recommendations for preventive pediatric health care. Pediatrics 2000;105:645-46. 20) American Academy of Pediatrics Committee on Children with Disabilities. Developmental surveillance and screening of infants and young children. No authors listed. Pediatrics 2001;108:192-6.