2018 년한국특수교육학회춘계학술대회 단일대상설계그래프추출을위한 온라인프로그램의타당도, 신뢰도, 사용성비교분석 2018 년 5 월 26 일 신미경 전주대학교

2018 년한국특수교육학회춘계학술대회 단일대상설계그래프추출을위한 온라인프로그램의타당도, 신뢰도, 사용성비교분석 2018 년 5 월 26 일 신미경 전주대학교

1. 국내외특수교육연구의동향 장애학생을위한효과적인중재의개발및효과분석에대한관심 최근국내외의특수교육분야에서는증거기반의실제 (Evidence- Based Practice: EBP) 강조 1990 년대의료분야를중심으로증거기반의실제가시작됨 (Sackett et al. 1996) 높은질적수준의연구를강조하며질적지표에대한기준이발표됨 미국 : What Works Clearinghouse (2011) Council for Exceptional Children (2014) 영국 : National Institute for Health and Care Excellence (2012) 연구의질적지표를평가하며중재의효과를종합 분석하기위해체계적인문헌분석및메타분석을실시함 (Maggin & Odom, 2014)

1.1 단일대상연구설계의활용 집단연구는기본적으로집단간의동질성을중요시하며, 충분한표본의크기에의존함 전통적으로장애학생을대상으로중재를실시할때단일대상연구설계를많이적용함 ( 양명희, 2016; 이소현외, 2000) 다양한행동특성을지닌장애학생을위해서는 1:1의개별적인중재가필요함 종속변인과독립변인간의기능적인관계를탐색할수있음 사례별중재의효과를비교할수있음 (Horner et al., 2005; Kratochwill et al., 2010)

1.2 단일대상연구설계를위한질적지표의기준 미국교육부의교육과학연구소 What Works Clearinghouse (https://ies.ed.gov/ncee/wwc) 는단일대상연구설계의과학적증거자료에대한기준 6가지를제시함 (Kratochwill et al., 2013) 구간내분석 자료의수준 : 기초선및중재구간내자료의평균점수 자료의경향 : 기초선및중재구간내에서자료의변화정도를최적선의기울기값 자료의변화율 : 기초선및중재구간내자료의범위와표준편차 구간간비교 즉시성효과 : 중재구간의마지막세자료의평균과기초선의마지막세자료의평균의차이 비중복정도 : 기초선과중재구간간자료가비중복되어있는지의정도 (PND, PAND, Tau-U) 비슷한구간간자료의지속성 : 같은구간 ( 기초선또는중재 ) 의행동이어느정도로예측가능하며, 안정적인경향을보이는지분석

1.3 시각적분석의예시 사례분석기준기초선중재 학생 ( 가 ) 학생 ( 나 ) 회기 3 11 평균 8.33% 77.27% 범위 0~25% 25~1 00% 경향 -4.81 6.36 즉시성효과 33.33% PND 81.82% Tau-U 0.94** 회기 3 11 평균 0% 54.55% 범위 0% 50~75% 경향 0.00 0.23 즉시성효과 50% PND 100% Tau-U 1.00** *p < 0.1, **p < 0.05 ( 신미경, 2018)

1.4 비중복비율에기초한중재효과 (PND, PAND) (Parker & Vannest, 2009) Percentage of Nonoverlapping Data Percentage of All Nonoverlapping Data

1.5 비중복비율에기초한중재효과 (Tau-U) (Parker et al., 2011) Mann-Whitney U 테스트와 Kendall's Rank 상관관계처럼비모수적통계검정을통하여, 유의확률 (p) 과신뢰구간을알려줌 *S = (+) 총수 - (-) 총수 * 신미경외 (2016) 설명참조 웹기반프로그램 : http://www.singlecaseresearch.org/calculators/tau-u (Vannest et al., 2016)

1.6 그래프자료추출의필요성 단일대상연구설계를적용한중재의효과성에대한체계적인문헌분석및메타분석을실시하기위해서정확한자료의값을알아야함 하지만단일대상연구설계를적용한실험연구들은학생들의원점수는보고하지않고시각적인그래프자료만보고하는경우가많음 (Boyle et al. 2013) 메타분석을실시하는연구자들이원저자들에게자료를요청하는경우대부분응답률이낮고 (Manolov & Solanas, 2013), 더이상자료가존재하지않을수있음 (Barlow et al., 2009) 그래서연구자는시각적인그래프의데이터를손또는디지털방식으로추출하여그래프를코딩해야함

1.7 본연구의필요성및목적 최근발표된국내의단일대상연구설계메타분석들 ( 김병건, 박유정, 2018; 신미경외, 2016) 은그래프자료추출을위하여 GetData Graph Digitizer라는온라인프로그램을활용하였지만본프로그램에대한타당도, 신뢰도, 사용성에대한연구가없음 그래서본연구에서는 GetData Graph Digitizer 온라인 프로그램의타당도, 신뢰도, 사용성에대하여비교분석하는것 을목적으로함

1.8 연구문제 GetData Graph Digitizer 온라인프로그램의공인타당도는무엇인가? GetData Graph Digitizer 온라인프로그램을활용하여그래프자료를추출한코딩자간신뢰도는어떠한가? 특수교육분야의전문가및대학생은 GetData Graph Digitizer 온라인프로그램의사용성에대하여어떻게인식하고있는가?

2.1 연구방법 : 가상의그래프그리기 그래프추출프로그램에대한타당도및신뢰도를검증한선행문헌들은가상으로그래프를그려서사용함 (Boyle et al. 2013; Flower et al., 2016) 마이크로소프트엑셀을이용하여 AB 설계와같이시계열 (time-series) 분석형식으로그래프를구성 기초선과중재구간의자료들이일정한기준내에서무작위로결정되어질수있도록수식을만들어서사용함 기초선 : RANDBETWEEN(0,30) 중재구간 : RANDBETWEEN(31, 100)

< 엑셀을활용한가상그래프그리기예시 >

2.2 그래프자료추출 평가자 1은공인타당도를구하기위하여 GetData Graph Digitizer 온라인프로그램으로 2.1의과정을거쳐그려진 50개그래프로부터자료를추출함 ( 자료수 = 750개 ) 평가자 1은 x축과 y축의최소값및최대값을이용하여단위설정 마우스로데이타위에점을찍어서프로그램이시각적인그래프를수치화시키도록함 디지털화된개별구간의점수는마이크로소프트엑셀에자동으로코딩됨 평가자 2는평가자간신뢰도를구하기위하여전체그래프중무작위로선택된 25개그래프 ( 자료수 = 375개 ), 평가자 3은나머지 25개그래프 ( 자료수 = 375개 ) 독립적으로코딩함

<GetData Graph Digitizer 활용예시 >

2.3 프로그램사용성검사지 시스템사용성척도 (System Usability Scale; Digital Equipment Corporation, 1986) 을수정 보완함 배경정보 (3문항), 시각적인자료사용경험 (3문항), GetData Graph Digitizer 2.26에대한평가 (3문항), 시스템사용성척도 (10문항) 구글온라인설문 goo.gl/vyqxex

2.4 자료분석 공인타당도분석 : SPSS Statistics 23을활용하여엑셀기반의원자료와 GetData Graph Digitizer 온라인프로그램을이용하여추출한자료간의 Pearson s r 상관계수를 구함 (Flower et al., 2016) 평가자간신뢰도분석 : SPSS Statistics 23을활용하여평가자 1과평가자 2의코딩자료에대해 Pearson s r 상관계수를 1차로구함. 평가자 1과평가자 3의코딩자료에대해상관계수를 2차로구함 (Flower et al., 2016) 사용성검사 : 빈도분석을통하여응답자의평균과표준편차를구함

3.1 공인타당도분석결과 가상그래프수 = 50 개 추출한자료수 = 750 개 GetData Graph Digitizer 2.26 온라인프로그램을이용하여가상그래프로부터 추출한 750 개의자료는원자료의점수와비교했을때유의미하게높은상관관계를 가지는것으로나타남 (r = 1.00, p <.001)

3.2 평가자간신뢰도 1 가상그래프수 = 25 개 추출한자료수 = 375 개 평가자 1 이 GetData Graph Digitizer 2.26 온라인프로그램을이용하여가상 그래프로부터추출한 375 개의자료는평가자 2 가추출한자료의점수와비교했을때 유의미하게높은상관관계를가지는것으로나타남 (r = 1.00, p <.001)

3.3 평가자간신뢰도 2 가상그래프수 = 25 개 추출한자료수 = 375 개 평가자 1 이 GetData Graph Digitizer 2.26 온라인프로그램을이용하여가상 그래프로부터추출한 375 개의자료는평가자 3 이추출한자료의점수와비교했을때 유의미하게높은상관관계를가지는것으로나타남 (r = 1.00, p <.001)

3.4 사용성검사 ( 인적사항 )

3.5 사용성검사 ( 시각적인자료사용경험 ) <GetData Graph Digitizer 프로그램사용경험 > 6 개월미만사용자 = 3 명, 6 개월 -1 년미만 = 4 명, 1 년이상 = 2 명 모두컴퓨터에서사용함

3.6 사용성검사 ( 시스템사용성척도결과 ) 시스템사용성척도평균 ( 표준편차 ) 1. 나는 GetData Graph Digitizer 프로그램 ( 이하본프로그램 ) 을종종사용하고싶다. 4.44(0.73) 2. 나는본프로그램을사용하는것이복잡하다고생각한다. 2.56(0.73) 3. 나는본프로그램을사용하는방법이쉽다고생각한다. 3.67(1.12) 4. 나는본프로그램의사용법을이해하려면기술자의보조적인설명이필요하다고생각한다. 3.11(1.45) 5. 나는본프로그램의다양한기능이잘융합되어있다고생각한다. 3.67(0.87) 6. 나는본프로그램이일관성없게구성되었다고생각한다. 2.11(0.78) 7. 대부분의사람들은본프로그램의사용법을쉽게익힐수있을것이다. 3.89(0.93) 8. 대부분의사람들은본프로그램을사용하는것이불편하다고느낄것이다. 2.44(1.01) 9. 나는본프로그램을자신있게사용할수있다. 4.11(0.60) 10. 나는본프로그램을활용하려면좀더사용법을배울필요가있다. 3.33(1.22) *1 = 매우아니다, 5 = 매우그렇다

4. 논의 본연구에서 GetData Graph Digitizer 프로그램은타당도와신뢰도가모두매우유의미하게높았음 하지만추후에평가자들이함께단일대상연구설계의그래프를코딩할때컴퓨터화면에서보여지는사진의크기및점을찍는위치에따라서값이달라질수있음을유의해야함 그래프에서자료를추출할때평가자들은일정한기준을정해야함 ( 예 : 자료의중간을찍음 ) 실제현장에서의학생의행동 ( 종속변인 ) 점수는주로자연수로만표기되는경우가많으므로연구자는소수점으로찍힌엑셀자료를보고어떤자연수인지를재확인을해야함

참고문헌 김병건, 박유정 (2018). 장애학생을위한비디오모델링기반중재효과 : 단일대상메타분석에근거하여. 특수교육학연구, 52(4), 69-86. 신미경 (2018). 초등학교수학부진학생을위한 ' 재미난분수 ' 가상조작물웹사이트개발및가상조작물 - 반구체물 - 추상기호의명시적 이고, 순차적인교수효과. 학습장애연구, 15(1), 1-35. 신미경, 박은혜, 김영태, 강진경 (2016). 장애학생들의음운인식및단어재인능력향상을위한읽기중재 : 단일대상메타분석연구. 특수아동교육연구, 18(2), 45-75. 양명희 (2016). 행동수정에기초한행동지원. 서울 : 학지사 이소현, 박은혜, 김영태 (2000). 단일대상연구. 서울 : 학지사. Barlow, D. H., Nock, M. K., & Hersen, M. (2009). Single case experimental designs: Strategies for studying behavior change (3rd ed.). Boston, MA: Allyn & Bacon. Boyle, M. A., Samaha, A. L., Rodewald, A. M., & Hoffmann, A. N. (2013). Evaluation of the reliability and validity of Graph Click as a data extraction program. Computers in Human Behavior, 29, 1023-1027. Council for Exceptional Children. (2014). Council for Exceptional Children standards for evidence-based practices in special education. Retrieved from http://www.cec.sped.org/~/media/files/standards/evidence%20based%20practices%20and%20 Practice/CECs%20Evidence%20Based%20Practice%20Standards.pdf Digital Equipment Corporation. (1986). System Usability Scale. Retrieved from https://www.usability.gov/how-to-and-tools/ methods/system-usability-scale.html Flower, A., McKenna, J. W., & Upreti, G. (2015). Validity and reliability of GraphClick and DataThief III for data extraction. Behavior Modification, 40(3), 396-413. Horner, R. H., Carr, E. G., Halle, J., Mcgee, G., Odom, S., & Wolery, M. (2005). The use of single-subject research to identify evidence-based practice in special education. Exceptional Children, 71, 165-179.

참고문헌 Kratochwill, T. R., Hitchcock, J., Horner, R. H., Levin, J. R., Odom, S. L., Rindskopf, D. M., & Shadish, W. R. (2010). Singlecase designs technical documentation. Retrieved from http://ies.ed.gov/ncee/wwc/pdf/wwc_scd.pdf Kratochwill, T. R., Hitchcock, J., Horner, R. H., Levin, J. R., Odom, S. L., Rindskopf, D. M., & Shadish, W. R. (2013). Singlecase intervention research design standards. Remedial and Special Education, 34, 26-38. Maggin, D. M., & Odom, S. L. (2014). Evaluating single-case research data for systematic review: A commentary for the special issue. Journal of school psychology, 52, 237-241. Manolov, R., & Solanas, A. (2013). A comparison of mean phase difference and generalized least squares for analyzing single -case data. Journal of School Psychology, 51, 201-215. National Institute for Health and Care Excellence. (2012). The guidelines manual. Retrieved from https://www.nice.org.uk/pr ocess/pmg6/chapter/introduction Parker, R. I., & Vannest, K. J. (2009). An improved effect size for single case research: Nonoverlap of all pairs (NAP). Behavior Therapy, 40, 357-367. Parker, R. I., Vannest, K. J., Davis, J. L., & Sauber, S. B. (2011). Combining non-overlap and trend for single case research: Tau-U. Behavior Therapy, 42(2), 284-299. Sackett, D. L., Rosenberg, W. M., Gray, J. A., Haynes, R. B., & Richardson, W. S. (1996). Evidence based medicine: What it is and what it isn't. British Medical Journal, 312, 71-72. Vannest, K.J., Parker, R.I., Gonen, O., & Adiguzel, T. (2016). Single case research: Web based calculators for SCR analysis. (Version 2.0) [Web-based application]. College Station, TX: Texas A&M University. Retrieved from singlecaseresearch.org What Works Clearinghouse. (2011). Procedures and standards handbook (Version 2.1). Retrieved from http://ies.ed.gov/nce e/wwc/pdf/reference_resources/wwc_procedures_v2_1_standards_handbook.pdf