한국교육제 40 권제 3 호 (2013) 49-69 방과후학교프로그램이 기초학력미달 고등학교학생의학업성취도에미치는효과연구 * 정혜경 ( 한국교육과정평가원부연구위원 ) ** 요 약 본연구는일반계고등학교재학생중기초학력미달학생들의교과목별방과후학교참여가학업성취도에미치는영향에대한효과연구이다. 국가수준학업성취도평가결과를활용하였으며, 비실험연구상황에서비교집단과처치집단간동등성을확보하기위해학교내학생간매칭을시도하였다. 매칭된집단만을활용하여 2수준다층모형분석을실시하여기초학력미달학생에대한방과후학교참여효과를추정하였다. 분석결과, 국어, 수학, 영어과목모두에서방과후학교에참여한학생이그렇지않은학생에비해평균적으로높은성취를보이는것으로나타났다. 국어와수학의경우효과추정치가 10점이상이었으며, 영어의경우 7점정도였다. 본연구결과학습기회를높이고, 공교육의정상화를위해국가차원에서적극적으로권장되고있는방과후학교정책은기초학력미달학생집단에서도긍정적인기능을하고있음을확인할수있었다. 기초학력미달학생에대한방과후학교의긍정적효과는교육격차를해소하고교육기회의균등화를위한전략으로방과후학교의적극적인권장및활성화정책을뒷받침하는근거가된다. 끝으로주목할점은방과후학교참여에대한임의효과가세과목모두에서통계적으로유의미하였으며, 이는특정학교에서는방과후학교의운영및결과가좀더성공적이었음을시사한다. 따라서임의효과분석결과를바탕으로방과후학교를성공적으로시행중인우수사례를발굴하기위한후속연구가강조되어진다. 주제어 : 방과후학교프로그램, 효과성연구, 매칭, 기초학력미달학생 * 본연구는한국교육과정평가원연구보고 (RRI 2012-09) 학습부진학생지도프로그램효과성연구 : 전담교사배치와방과후학교를중심으로 를수정, 보완한것임. ** 교신저자. 주소 : (100-784) 서울중구정동길 21-15 정동빌딩 313 호 ; E-mail:hyekyungj@gmail.com 투고일 : 2013. 9. 2, 수정본접수일 : 2013. 10. 10, 게재승인일 : 2013. 10. 11 50
방과후학교프로그램이 기초학력미달 고등학교학생의학업성취도에미치는효과연구 Ⅰ. 서론 우리나라의방과후학교는여러가지목적과기능을담당하고있는데, 학생들의재능과소질을개발하고학생능력을향상시키며, 나아가사교육비를경감하고계층간, 지역간교육격차를해소하는데기여할것을기대하고있다 ( 김홍원, 2012). 교육부가제시한 2012년 4월기준방과후학교운영현황을살펴보면, 방과후학교참여율이매년지속적으로증가하여전국의거의모든학교가방과후학교를운영하고있으며, 전체학생의약 72% 가방과후학교에참여하고있는것으로나타났다 ( 교육과학기술부, 2013). 방과후학교정책이전면적으로시행되고양적증대가이루어진현시점에서, 방과후학교가교육격차를줄이고사회양극화현상을완화시키는역할을제대로수행하고있는지를평가하는것은중요하다. 본연구에서는고등학교저성취학생을대상으로방과후학교의참여가성적향상에도움이되었는지를평가하였다. 교육부보고에따르면 2012년기준고등학교재학생의약 77% 가방과후학교에참여하고있으며, 전체방과후프로그램의약 85% 가교과중심으로구성되어고등학생대부분은학업향상을목적으로방과후학교에참여하는것을알수있다. 따라서고등학교에서방과후학교정책의실효성을평가하는데있어참여학생들의학업성취도향상에긍정적인효과를가져왔는지를평가하는것은의미가있다. 특히본연구는저성취학생집단에대한방과후학교참여의효과성에초점을두고있다. 학습부진또는기초학력미달학생집단의낮은성취와관련된요인연구를살펴보면, 학습부진의환경적요인으로학부모의자녀에대한무관심, 학부모의학습지원이나관리또는통제부족이주요인으로보고되었으며 ( 김경근 성열관 김정숙, 2007; 백병부 김정숙, 2009; 이화진외, 2010; 조난심외, 2009), 학습부진학생의특성으로가정의열악한경제적여건을지적하고있다 ( 이화진외, 2010; 임현정, 2009). 또한기초학력미달학생의비율이높아정부로부터지정된학력향상중점학교의특성연구에서도기초생활수급자비율, 중식지원학생비율이일반학교보다학력향상중점학교에서높게나타났다 ( 이화진외, 2010). 이처럼성취수준이낮은학생집단들은가정과학교에서적절한학습환경을지원받지못하는취약계층일가능성이높다. 따라서본연구에서는기초학력미달학생집단에초점을두고, 상대적으로사회경제적측면에서열악한환경에처해있으며결과적으로학생성취도가낮은학생집단이방과후학교참여로인해학업성취도가향상되었는지를평가함으로써방과후학교정책이학교교육의기능을보완하고, 교육격차해소차원에서실효성을거두었는지에대한증거를제시하고자한다. 방과후학교정책의효과분석을위하여국가수준학업성취도 ( 이하학업성취도 ) 평가결과를활용하였다. 2009년도학업성취도평가결과개별교과목별로기초학력미달의성취수준을보인일반계고등학교학생집단이 2010년도해당과목에대한방과후학교참여로과목별성적에긍정적인영향을미쳤는지에대한인과효과를추정하였다. 비실험연구에서의선택편의 (selection bias) 를최소화하고자학교내학생간매칭을통해학교내방과후학교참여학생과미참여학생간처치전동등성을확보하고자노 51
한국교육제 40 권제 3 호 (2013) 49-69 력하였으며, 매칭후 2수준다층모형분석을통해방과후학교의효과성을추정하였다. 특히전년도과외를받은집단과그렇지않은집단에대한방과후학교참여에대한차별적효과 (differential treatment effect) 와전년도해당교과에대한방과후학교참여경험여부에따라 2010년도방과후학교참여에대한차별적효과측정을위해매칭짝다층모형 (matched pair analysis with multi-level models) 을실시하였다. Ⅱ. 이론적배경 1. 방과후학교에대한효과연구 방과후학교정책효과에대한선행연구결과를살펴보면, 크게학업성취도향상측면과사교육비경감측면에서많은연구가실행되었다 ( 백순근 길혜지 박경인, 2012). 먼저방과후학교정책의학업성취도향상에관한연구로, 김성식 (2012) 과김경희외 (2012) 의연구에서는학업성취도평가자료를활용하여학생들의학업성취에대한방과후학교의효과연구를수행하였다. 김성식 (2012) 의연구에서는학생수준에서의방과후학교참여뿐만아니라학교수준에서의방과후학교활성화정도에따라성취도에미치는영향을 2수준다층모형을통해분석하였다. 분석결과고등학생의경우중3 성적을통제한후에도국어, 수학, 영어과목에서통계적으로유의하게긍정적인효과를발견하였다. 김경희외 (2012) 의연구에서도 2011년도학업성취도평가전수자료를활용하여초 중 고각각에대해국어, 영어, 수학교과목별방과후학교효과성을분석한결과, 방과후학교에참여하는학생집단이그렇지않은학생집단보다평균성취수준이높은것으로나타났다. 특히방과후학교참여율이높은학교일수록, 또는방과후학교참여에대한학생의유용성인식정도가높은학교일수록학교평균성취도가높은것으로나타나학생및학교수준모두에서방과후학교의긍정적기능을확인하였다. 그러나한국교육개발원의종단자료를활용하여방과후학교가중학생의학업성취에미치는영향분석연구 ( 변수용 황여정 김경근, 2011) 에서는선택편의를줄이기위해경향점수매칭후방과후학교에대한효과성분석에서는긍정적인효과를발견하지못하였으며, 오히려부적관계의개연성이있는것으로보고하였다. 단, 읍면지역에서국어, 영어과목의학업성취향상에긍정적인도움이된것을발견하였다. 김혜숙 (2012) 또한서울교육종단자료를활용하여교과보충방과후학교프로그램이초 중 고학생의학업성취도에미치는영향을분석하기위해경향점수를활용하여선택편의문제를축소하고자노력하였다. 교과별로산출된경향점수를가중치로활용하여가중회귀분석을실시한결과, 일반계고의수학, 전문계고의일반교과성취도에서는방과후학교참여집단에서긍정적효과를발견한반면, 초 중등학교와일반계고영어교과에서는오히려부적인관계로나타났다. 또다른최근의연구로박현정 이준호 52
방과후학교프로그램이 기초학력미달 고등학교학생의학업성취도에미치는효과연구 (2012) 에서는학업성취도평가결과를활용하여방과후학교의연속적처지효과분석한결과, 고등학교 1학년과 2학년연속으로방과후학교를참여하였을경우영어와국어과목에서배가효과가관찰되었다. 이처럼방과후학교참여에대한효과성은대상학년이나교과목에따라차이가있는것을알수있다. 한편방과후교육활동활성화정책은사교육비경감을위한핵심정책의하나인점을주목하고 ( 김홍원, 2012), 방과후학교정책이사교육비경감에긍정적인성과를가져왔는지에대한연구또한활발히이루어졌다. 최근의연구로, 김진영 (2012) 은방과후학교의사교육비및사교육시간절감과성적향상도에미치는영향을평가하기위해통계청에서제공한 2010년사교육비조사자료를활용하여패널고정효과분석을실시하였다. 그결과고등학교의경우방과후학교가사교육을대체하거나사교육비또는사교육시간을감소하는효과를발견하지못하였으며, 오히려그회귀계수가일반고등학교의경우통계적으로유의한양의값을보이는것으로나타났다. 이연구는방과후학교가사교육을대체한다기보다는공존하거나서로보완하는기능을담당하는것으로결론지었다. 마찬가지로변수용 김경근 (2010) 이수행한중학생의방과후학교참여가사교육수요에미치는영향에대한연구에서도한국교육개발원의종단자료를활용하여헤크만모형과경향점수매칭을활용하여선택편의를보정하고토빗모형과로짓모형등다양한통계모형을통한분석한결과, 일관되게방과후학교정책이사교육비참여나지출감소에유의미한기여를하지못한것으로나타났다. 서울교육종단자료를활용한김혜숙 (2012) 의연구에서도교과보충형방과후학교프로그램이교과별학교급별에상관없이사교육비감소에긍정적효과를발견하지못한것으로보고하였다. 이와같은선행연구들을검토한결과, 방과후학교학생들의성취도에미치는영향에대해서는학년, 교과목, 분석자료에따라긍정적인효과가발견되기도하고그렇지않은연구결과가도출되었으며, 방과후학교의참여가학생들의사교육비나사교육시간을감소하였는지에대한증거는뚜렷하지않은것으로나타났다. 그러나선행연구검토결과, 방과후학교정책에대한전반적인효과성연구에많은비중을차지하는반면기초학력미달이나사회경제적지위가낮은학생과같은취약집단에중점을두고분석한연구는부족한것으로나타났다. 성취수준별방과후학교효과에대한최근연구로, 김진영 (2012) 은사교육비통계청자료에서교사가평가한학생의고등학교성적등급정보를활용하여최하위권학생집단의방과후학교와사교육이성적향상에긍정적인영향을미치는것으로보고하였으며, 김양분외 (2011) 의연구에서도한국교육종단연구표집자료를활용하여방과후학교와수능성적과의관련성연구에서도중학교 3학년성적에서 하하 집단에속하는학생의경우고등학교재학중지속적으로방과후학교에참여가수능성적에긍정적인관련이있는것으로나타났다. 본연구는학업성취도평가전수자료를활용함으로써고등학교 1학년성적이 기초학력미달 로나타난학생집단을중심으로방과후학교참여가성취도향상을가져왔는지에대해전수자료를활용하여국가단위에서분석함으로써취약계층에대한국가의주요정책사업의실효성을평가하고자하였다. 53
한국교육제 40 권제 3 호 (2013) 49-69 Ⅲ. 연구방법 1. 분석대상및자료 본연구에서는학업성취도평가자료를활용하여교과목별방과후학교참여가학생의학업성취도에미치는효과성을평가하기위하여고등학교대상 2009년, 2010년학업성취도학생성적자료및학생 학교설문조사자료를활용하였다. 2009년과 2010년학업성취도자료가각각고등학교 1학년과 2학년을대상으로평가함으로써 2개년연계자료가구축되어 2009년학업성취도고1 성적자료를처치전사전성취도로, 2010년국어, 수학, 영어성적자료를종속변인으로사용하였다. 2009년학업성취도는평균 360점, 표준편차 8.5점, 최솟값과최댓값이각각 330과 390의척도점수로표준화되었으며 ( 김성숙외, 2010), 2010년학업성취도는평균 200점, 표준편차 30점으로척도화되어, 최솟값 100, 최댓값 300인점수체제로개편되었다 ( 김경희외, 2011). 2. 방과후학교효과연구를위한자료구성 가. 분석자료 < 표 1> 은일반계고등학교의과목별성취수준별비율을제시한다. 2009년도학업성취도결과에따르면, 국어의경우전체학생의 2.3%, 수학과목은약 6.1%, 영어과목은약 3.7% 의학생이기초학력에도달하지못한것으로나타나, 수학과목에서상대적으로기초학력미달학생의비율이높은것을알수있다. 학업성취도평가에서정의하는 기초학력 의일반적인특성을살펴보면, 평가대상학년급학생들이성취하기를기대하는기본내용을부분적으로이해하는수준 으로 ( 김성숙외, 2010: 21), 기초학력미달 은기본내용에대한부분적이해에도못미치는수준임을알수있다. 즉, 국어에서는내용이해, 문장표현, 어법을바르게사용하는능력향상이필요한수준, 수학에서는기본개념이해및계산능력이부족한수준, 영어에서는대화나담화를듣거나글을읽고기본적인내용을파악하는데있어서도능력이부족한수준으로, 기본어휘, 구문, 문장구조에대한이해가필요한수준을의미한다 ( 김성숙외, 2010). 54
방과후학교프로그램이 기초학력미달 고등학교학생의학업성취도에미치는효과연구 < 표 1> 일반계고등학교대상과목별 2009 년학업성취도성취수준별비율 국어 수학 영어 성취수준 빈도 % 우수학력 190,665 39.5 보통학력 225,801 46.8 기초학력 55,217 11.4 기초학력미달 10,978 2.3 우수학력 99,690 20.6 보통학력 209,830 43.5 기초학력 143,976 29.8 기초학력미달 29,184 6.1 우수학력 101,976 21.1 보통학력 215,863 44.7 기초학력 146,958 30.5 기초학력미달 17,803 3.7 < 표 2> 는일반계고등학교학생만을분석대상으로삼아 2010년도고등학교 2학년에재학중인학생들의과목별방과후학교참여비율을제시한다. 전체학생집단에서는국어, 수학, 영어모든과목에서 60% 이상의학생들이방과후학교에참여하고있는것으로나타났다. 2009년성취도기준기초학력미달학생집단의경우, 약 50% 이상의학생들이과목별방과후학교에참여하고있어전체집단과비교할때방과후학교참여비율이상대적으로저조한것을알수있다. 한편국어나영어과목에비해수학과목에대한방과후학교참여율이전체집단과기초학력미달학생집단모두에서조금높게나타났다. < 표 2> 2010 년과목별방과후학교참여비율 : 전체학생및 2009 년성취도기준기초학력미달학생 전체 2009 년학업성취도과목별기초학력미달집단 2010년방과후학교참여 빈도 % 국어 아니오 175,977 37.8 예 289,994 62.2 수학 아니오 165,914 35.6 예 300,057 64.4 영어 아니오 175,534 37.7 예 290,437 62.3 국어 아니오 4,938 46.6 예 5,650 53.4 수학 아니오 11,452 40.5 예 16,856 59.6 영어 아니오 7,433 43.1 예 9,824 56.9 55
한국교육제 40 권제 3 호 (2013) 49-69 나. 매칭방식을활용한유사비교집단구성비실험설계상황에서 2010년도교과목별방과후학교참여가해당교과목성취도에미치는효과성추정치에대한타당성을확보하기위해매칭방식을활용하여, 방과후학교참여집단과비참여집단이방과후학교참여이외의변인에서좀더동질적특성을갖도록구성하였다. 매칭은두표집자료의유사성을나타내는거리 ( ) 에기반하여처치를받은개인과가장짧은거리에있는통제집단중하나로짝을구성하는논리에바탕을둔다. 따라서연구자는먼저두개인 과 의유사성를나타내는거리 를측정하는방식을선정하여야한다. 대표적으로, 경향점수 (propensity score, ) 에기반한차이점수 ( ), 선형경향점수에기반한차이점수 ( log log ) 를활용하며, 그외에도정확매칭 (exact matching) 과마할라노비스거리에기반한매칭 (Mahalanobis distance matching) 이있다 (Stuart, 2010). 정확매칭방식에서의거리 를수리적으로표현하면, 인경우에는, 그외의경우는 를의미한다. 마할라노비스거리는 로정의되며, 는 변인의 공분산행렬로, 개념적으로특정관찰치에대한 값들의거리를공분산으로나누어줌으로써일종의표준화된거리로산출되며, 경향점수와같이여러변인에대한정보가하나의수량 (scalar) 로표현되는집약적정보이다. 공분산행렬 의값은관심모수 (estimand) 에따라전체비교집단 (full control group) 을사용하거나통합공분산 (pooled variance-covariance) 을사용하는데, 예를들어처치집단에초점을맞추어평균처치효과 (Average treatment effect on the treated, ATT) 를추정할경우매칭전비교집단의공분산을사용하고, 전체에대한평균처치효과 (Average treatment effect, ATE) 가관심추정모수일경우에는처치집단과전체비교집단을통합한공분산을사용한다 (Rosenbaum & Rubin, 1985; Stuart, 2010). Rosenbaum & Rubin(1985) 의연구에서, 경향점수매칭만사용한경우보다경향점수와마할라노비스매칭을결합한방식이편의제거 (bias reduction) 에효과적인것으로나타났다. 좀더구체적으로살펴보면, 경향점수에근거한매칭분석과비교하여, 처치를받을확률에대한경향점수를산출한후처치집단개개인에대한경향점수에대해특정범위 (caliper) 이내에있는비교집단군을구성하고, 그군안에서특정관심변인에대한마할라노비스거리를산출하여가장근접한거리에있는자료를매칭하는방식이두집단간균형 (balance) 을확보하고선택편의를최소화하는데좀더효과적이었다. 이러한이론적배경을기반으로본연구에서는다음과같이매칭자료를구성하였다. - 개별학교내매칭하위집단구성 : 학교마다방과후프로그램의종류와특성에차이가있으므로동일학교내에서만매칭짝을찾도록하였다. Rubin의인과모형 (Rubin Casual Model(Holland, 1986)) 에근거하여, 교과관련방과후학교참여학생이방과후학교에참여하지않았을경우의잠재성과점수 (unobserved potential outcome) 인가상적상황 (counterfactuals) 정보를예측하기위해동일학교내에서방과후학교비참여학생의관찰된성과점수를이용한다. Rosenbaum(1986) 의고 56
방과후학교프로그램이 기초학력미달 고등학교학생의학업성취도에미치는효과연구 교자퇴에대한효과성연구에서밝힌바있듯이, 학교내매칭은처치집단과비교집단에대한학교정보를상수화함으로써관찰된정보뿐만아니라관찰되지않은처치전학교특성정보를통제하는효과가있다. 나아가학교내학생매칭방식은매칭후자료분석과정에서다층분석과같은통계모형분석을적용하여방과후학교프로그램의특성과종류의차이가반영되어학교별처치효과의차이 (variation in the treatment effect) 를살펴볼수있는장점이있다. - 둘째, 본연구는 2010년도방과후학교참여에대한차별적효과를측정하고자 2009년도방과후학교참여여부정보와 2009년도학원강의나과외여부 ( 학생설문 19번 학원강의나과외수업을듣는다 는질문에서 하지않음 에응답한학생을 0으로, 그외의응답정보를 1로전환하여사용하였음 ) 변인을정확매칭하였다. 이러한정확매칭방식은 2009년도에방과후학교에참여한학생집단중에서 2010년도의방과후학교참여에따른성취도향상과 2009년도에는방과후학교에참여하지않는학생집단중에서 2010년도에참여에따른성취도차이를세분화하여방과후학교효과를추정하고, 마찬가지로 2009년도에학원이나괴외를수혜받은집단과그렇지않은집단각각에대한 2010 년도방과후학교참여에대한차별적효과추정이가능하도록하였다. - 셋째, 본연구는 2010년도교과목별방과후학교참여가해당교과목학업성취도에대한효과분석에초점을맞추고있으므로, 해당교과목에대한전년도사전학업성취도점수를매칭변인중에좀더비중있는역할을하도록, 사전성취도변인에대해서는마할라노비스거리에기반하여매칭되도록모형을작성하였다. 그밖의성별변인과종속변인 ( 예, 국어 ) 관련사전학업성취도이외의사전성취도점수 ( 예, 영어, 수학 ) 는경향성점수 (propensity score) 에기반하여매칭되도록하였다. - 경향성점수, 마할라노거리매칭, 정확매칭방식을혼합한매칭을위해 R에서제공하는 MatchIt(Ho et al., 2007) 을활용하였으며, 비교가능한학생사례수를높이기위해동일학교내에서비교집단학생이 1회이상매칭되는것을허용하였다 (matching with replacement). 단, 해당종속변인에대하여매칭된학생과 2009년도성취도평균값차이가 0.5표준편차이상일경우, 분석에서제외함으로써연구의내적타당도를높이고자노력하였으며, 여전히남아있는사전성취도차이는추후통계모형에포함하여교정함으로써선택편의를축소하고자노력하였다. < 표 3> 은 2009학년도기초학력미달학생중방과후학교참여집단과미참여집단에대한학생특성을매칭전 후로비교한표이다. 매칭전두집단의분포를보면전반적으로두집단간평균값이매우유사한것을알수있다. 그러나학생이학교에내재되어있는다층구조를반영한다층모형분석에서는방과후학교효과추정치가 1수준즉동일학교내에서일차적으로측정되기때문에같은학교내두집단의동등성이중요시되며, < 표 3> 은전체집단간비교를통해산출된값들로, 학교내방과후학교참여학생과미참여학생집단간유사성여부를보장하지못한다. 반면본연구에서제시한매칭방식은동일학교내의유사한특성 ( 전년도해당과목방과후학교참여여부, 사전성취도, 전년도과외 / 학원참여여부, 성별 ) 을지닌학생이매칭되도록함으로써분석의타당도에초점을맞추었다. 57
한국교육제 40 권제 3 호 (2013) 49-69 매칭전과후의 2010년도방과후학교참여 ( 처치 ) 집단의특성을비교해보면, 결과적으로국어과목매칭집단의매칭후영어평균이조금 (1.5점) 낮아진점을제외하고, 교과목별로매칭된처치집단의국어, 수학, 영어사전성취도평균점수는매칭전 후가매우유사하였다. 그러나정규교육이외의교육경험이라할수있는학원및과외경험, 2009년도방과후학교참여비율이과목별매칭집단모두에서줄어들었다. 종합해볼때최종분석자료는기초미달학생중에서도정규교과수업이외의교육기회가적어, 교육기회의형평성측면에서가장취약한집단이라해석되어진다. 요약하면매칭방식을활용함으로써자기선택편의축소하고분석결과의타당성 (validity) 을증대시키는효과를가져오는반면기초미달학생의방과후학교참여집단에대한대표성이나일반화가능도 (generalizability) 측면을어느정도희생하였다고평가된다. 그러나본연구가정부의주요교육정책중하나인방과후학교의실효성을평가하는데있어, 교육환경및교육기회가취약하고결과적으로학업성취가낮은학생집단을대상으로방과후학교가이들의성취도에긍정적영향을미쳤는지그강도가어느정도인지를실제데이터를분석하여평가하는것을의미가있다. < 표 3> 과목별기초학력미달학생중심방과후학교참여집단과미참여집단간학생특성비교 ( 매칭전 후 ) 과목 국어 수학 변인 매칭전 매칭후 방과후학교미참여방과후학교참여방과후학교미참여방과후학교참여 평균표준편차평균 표준편차 평균표준편차평균 표준편차 남학생 0.84 0.37 0.83 0.38 0.88 0.33 0.87 0.34 학원및과외강의 0.39 0.49 0.36 0.48 0.23 0.42 0.23 0.42 EBS수업 0.27 0.44 0.26 0.44 0.20 0.40 0.22 0.41 NAEA09 국어 342.21 4.24 342.32 4.16 342.73 3.69 342.64 3.75 NAEA09 수학 350.83 4.61 350.90 4.42 350.12 3.44 350.27 3.56 NAEA09 영어 349.51 6.87 349.22 6.64 347.78 4.78 347.86 4.95 09년국어방과후 0.22 0.41 0.34 0.47 0.17 0.37 0.17 0.37 사례수 4,550 5,201 1,299 1,299 남학생 0.60 0.49 0.60 0.49 0.59 0.49 0.60 0.49 학원및과외강의 0.33 0.47 0.30 0.46 0.22 0.42 0.22 0.42 EBS수업 0.35 0.48 0.35 0.48 0.34 0.47 0.32 0.47 NAEA09 국어 355.99 8.52 356.93 8.30 356.77 7.10 356.83 7.14 NAEA09 수학 347.77 1.65 347.82 1.59 348.02 1.20 347.88 1.34 NAEA09 영어 353.17 6.74 353.32 6.26 352.89 6.07 352.91 6.04 09년수학방과후 0.35 0.48 0.51 0.50 0.46 0.50 0.46 0.50 사례수 10,723 15,863 6,819 6,819 58
방과후학교프로그램이 기초학력미달 고등학교학생의학업성취도에미치는효과연구 과목 영어 변인 매칭전 매칭후 방과후학교미참여방과후학교참여방과후학교미참여방과후학교참여 평균표준편차평균 표준편차 평균표준편차평균 표준편차 남학생 0.78 0.42 0.77 0.42 0.80 0.40 0.79 0.41 학원및과외강의 0.34 0.48 0.32 0.47 0.22 0.41 0.22 0.41 EBS수업 0.29 0.45 0.28 0.45 0.26 0.44 0.24 0.42 NAEA09 국어 351.54 8.75 352.48 8.54 351.31 7.26 351.29 7.63 NAEA09 수학 351.41 4.79 351.72 4.82 350.83 3.88 350.84 4.04 NAEA09 영어 344.88 2.69 345.13 2.62 345.21 2.14 345.20 2.23 09년영어방과후 0.29 0.45 0.43 0.50 0.33 0.47 0.33 0.47 사례수 6,895 9,097 3,243 3,243 3. 분석모형 매칭된자료를기반으로하여 2009년도학업성취도를기준으로기초학력미달학생들의 2010학년방과후학교참여에대한효과분석모형을위하여다음과같이 2수준다층모형 (Raudenbush & Bryk, 2002) 을실시하였다. <1 수준모형 > 년과외 학원여부 년방과후학교참여여부 매칭짝사전성취도차이, 수식 (1) 는 번째학교에재학중인 번째매칭된학생짝간의 2010년도학업성취도점수차이를나타낸다. 는 09년에과외또는학원을받은집단과그렇지집단사이에 2010년도방과후학교참여에대한효과의차이를나타낸다. 마찬가지로 도 09년도에해당교과에대한방과후학교에참여했던학생집단과그렇지않은집단간 10년도방과후학교참여효과에차이정도를나타낸다. 는매칭짝간의사전성취도차이를분석에포함하여매칭후에도남아있는편차 (bias) 를교정하고자모형에포함하였으며, 전체평균중심점교정을하였다. 1수준에서다른변인은중심점교정을사용하지않았다. 따라서 1 수준 는 번째학교에서작년도에방과후참여경험이없으면서과외나학원을수강하지않은학생집단에대한평균방과후학교효과를나타낸다. 매칭후자료에서약 65% 의기초학력미달학생이 09년도에과외 / 학원, 또는해당교과방과후학교경험이없는것으로나타났다. 59
한국교육제 40 권제 3 호 (2013) 49-69 <2 수준모형 > 읍면 사립 기초생활수급대상자비율,, p=1, 2, 3 수식 (2) 2수준모형은절편이외의 1수준변인은고정하고, 절편에대해서는학교특성변인 ( 읍면 vs. 도시, 사립 vs. 공립, 학교별기초생활수급대상자비율 ) 을예측변인으로투입함으로써학교별특성에따라방과후학교효과에차이가있는지를살펴보았다. 모든 2수준예측변인을전체평균중심점교정함으로써 는작년도에방과후학교참여경험이없으면서과외나학원을수강하지않은학생집단에대한평균방과후학교효과크기를나타낸다. 과 각각은읍면지역과도시지역사이, 사립학교와공립학교사이에방과후학교참여의효과가차이가있는지를나타나며, 은학교별기초생활수급대상자비율이높을수록방과후학교참여의효과가커지는지에대한경향성에대한정보를제공한다. 또한 1, 2수준에서독립변인이없는기본모형 (null model) 에서의 는전체평균방과후학교효과크기를의미한다. Ⅳ. 분석결과 < 표 4> 는최종매칭데이터를활용하여수식 (1) 과 (2) 모형에사용된변인의기술통계표이다. 종속변인인매칭짝에대한평균 2010년학업성취도차이 ( ) 가국어, 영어, 수학각각에대해약 9, 13, 7점정도로나타나, 기초학력미달집단에서 2010년도에과목별방과후학교에참여한학생이미참여학생집단보다좀더높은성적을보이는것을알수있다. < 표 4> 매칭자료에대한변인별기술통계량 변인 국어수학영어 평균표준편차평균표준편차평균표준편차 종속변인매칭짝차이평균 ( ) 9.21 39.9 12.97 41.8 7.47 38.99 1 수준변인 2 수준변인 2009년방과후참여 0.17 0.37 0.46 0.5 0.33 0.47 2009년과외 / 학원참여 0.23 0.42 0.22 0.42 0.22 0.41 매칭짝사전성취도차이 -0.09 2.03-0.14 5.04-0.01 1.67 읍면지역 0.05 0.22 0.11 0.32 0.09 0.29 사립 0.46 0.5 0.45 0.5 0.43 0.5 기초생활수급대상자비율 (%) 3.76 2.72 4.27 3.51 4.15 3.49 60
방과후학교프로그램이 기초학력미달 고등학교학생의학업성취도에미치는효과연구 < 표 5> 는앞에서제시한수식 (1) 과 (2) 를적용한다층모형분석결과이다. 국어과목에대한분석결과는다음과같이요약될수있다. 먼저기본모형결과를살펴보면, 추정치가 10점정도로, 기초학력미달학생집단에대해긍정적인효과가있는것으로나타났으며, 2010년도학업성취도표준편차가 30점임을고려할때, 방과후학교참여학생집단에서약 0.3표준편차정도상승효과가있는것으로나타났다. 마찬가지로모형에포함한다른변인을통제한후에도국어교과방과후학교참여효과는 10 점정도였다. 기본모형에서의 2수준임의효과를살펴보면, 의추정치가 177( =13.3) 로, 정규분포를가정하면방과후학교참여효과가 10점을중심으로 -16.6점에서 36.6점까지 ( ± 분포되어있음을알수있다. 이는방과후학교의효과가학교별로상당한차이 (variation) 가있음을의미하며, 추후질적연구와접목하여 1표준편차이상의학교들이어떠한프로그램을운영하고있는지를좀더구체적으로파악함으로써우수한방과후학교프로그램을발굴하고전파할필요가있다. 최종모형에서는 수준.05를기준으로기초생활수급대상자비율 (%) 만이통계적으로유의하였다. 그추정치가 0.95로, 이는국어과목에대한방과후학교의효과가저소득층자녀학생비율이높은학교일수록좀더긍정적임을나타낸다. 사립학교와국공립학교간, 또는읍면지역과도시지역간방과후학교참여에대한효과차이는국어과목에서통계적으로유의하지않았으며, 추정값크기또한매우작았다. 한편 2009년도방과후학교에참여여부에따라 2010년방과후학교참여에대한차별적효과가있는지를살펴본결과, 비록 p 값이.056으로.05 유의수준에서통계적으로유의하지않지만그값이 -7.53으로나타나, 2년연속방과후학교에참여한학생들에대한효과는 2010년처음으로방과후학교에참여한집단에비해그효과가줄어드는경향이관찰되며, 그효과크기는여전히긍정적인값을나타내었다 ( + =10.18-7.53=2.65). 다음으로수학과목에대한기본모형분석결과, 추정치가 14점정도로, 이는약.05 표준편차에약간못미치는값으로기초학력미달학생집단에대한수학과목에대한방과후학교가비교적높은것을알수있다. 모형에포함한다른변인을통제하고난후에도국어교과방과후학교참여효과는유사하였다. 기본모형에서의 2수준임의효과를살펴보면, 의추정치가 214( =14.6) 로, 95% 신뢰구간이 14점을중심으로 -15.3점에서 43점까지 ( ± 다양하게분포되어있어, 기초학력미달학생집단에대한수학과목방과후학교참여효과또한학교별로상당한차이가있음이확인되었다. 최종모형에서 수준.05를기준으로모형에포함된 1, 2수준변인모두에통계적으로유의미한결과차이를발견하지못하였다. 그러나주목할사항으로 2009년방과후학교참여여부에따른 2010년방과후학교참여효과의차이를나타내는회귀계수추정치 ( ) 가국어와영어교과와는달리 0에가게나타나 (-0.33), 방과후학교참여에따른성적향상이전년도방과후학교참여여부와상관없이높았다. 끝으로영어과목에대한분석결과를요약하면, 기본모형에기반한 추정치가 7점정도로, 영어과목에서도기초학력미달학생의방과후학교참여가긍정적인효과가있음을알수있었다. 단그효 61
한국교육제 40 권제 3 호 (2013) 49-69 과크기가수학이나국어에비해약간낮았다. 영어과목의기본모형에근거한 의추정치가 214 ( =12.8) 로, 기초학력미달학생집단에대한영어과목방과후학교참여의효과또한학교별로상당한차이가있다. 최종모형에서 수준.05를기준으로통계적으로유의미한변인을살펴보면, 2009년도방과후학교에참여한집단이그렇지않은집단에비해 2010년도방과후학교참여에따른학업성취도향상이상대적으로낮은것으로나타났다 (4.3점 vs. 9.7점 ). 그러나 2년연속방과후학교에참여한학생의영어점수가전년도에만영어관련방과후학교에참여하고 2010년에참여하지않은학생에비해평균 4점정도높은것으로나타났다 ( + =9.66-5.32=4.34). 한편 2009년평소과외나학원에다닌다고응답한학생집단이그렇지않은집단과비교해서방과후학교참여에대한차별적효과를살펴본결과, 세과목모두에서그차이가통계적으로유의하지않았다. 그러나국어와수학에서는 의추정치가각각 5점과 3점정도로나타나 (p 값이 0.107과 0.078이었음 ), 과외나학원및방과후학교를병행하는집단이방과후학교만참여한집단에비해방과후학교참여의효과가좀더높은경향이감지되었다. 결과적으로, 2010년에국어, 영어, 수학방과후학교에참여한학생의 2010년각교과목별학업성취도평균값은약 206, 205, 204점이었으며, 이는학업성취도척도점수평균 200점보다높은성적으로, 분석에포함된방과후학교참여집단이과목별로약 2 3% 의학생만이 2010년도에기초학력미달이었다. < 표 5> 기초학력미달학생대상과목별방과후학교참여가성취도에미치는효과분석 기본모형 최종모형 변인 추정치 표준오차 값 추정치 표준오차 값 절편 ( ) 10.05 1.40 <.0001 10.18 1.75 <.0001 읍면지역 ( ) 0.39 6.39 0.951 사립학교 ( ) 1.81 2.85 0.525 기초생활수급대상자비율 ( ) 0.95 0.47 0.043 국어 09 년학원 / 과외경험 ( ) 5.09 3.16 0.107 09 년방과후학교참여 ( ) -7.53 3.93 0.056 매칭짝사전성취도차이 ( ) 0.46 0.52 0.373 무선효과 분산 값 값 2수준절편 ( ) 177.08 367 <.0001 174.37 364 <.0001 1수준 ( ) 1425.67 1418.84 62
방과후학교프로그램이 기초학력미달 고등학교학생의학업성취도에미치는효과연구 기본모형 최종모형 변인 추정치 표준오차 값 추정치 표준오차 값 절편 ( ) 13.94 0.80 <.0001 13.31 1.15 <.0001 읍면지역 ( ) -3.36 2.65 0.204 사립학교 ( ) 3.05 1.59 0.055 기초생활수급대상자비율 ( ) 0.37 0.21 0.079 수학 09 년학원 / 과외경험 ( ) 3.02 1.71 0.078 09 년방과후학교참여 ( ) -0.33 1.60 0.836 매칭짝사전성취도차이 ( ) -0.33 0.48 0.487 무선효과 분산 값 값 2수준절편 ( ) 213.94 804 <.0001 208.24 801 <.0001 1수준 ( ) 1551.31 1552.66 변인 추정치 표준오차 값 추정치 표준오차 값 절편 ( ) 7.25 0.98 <.0001 9.66 1.39 <.0001 읍면지역 ( ) -1.15 3.82 0.764 사립학교 ( ) 0.12 1.97 0.952 기초생활수급대상자비율 ( ) 0.51 0.28 0.066 영어 09 년학원 / 과외경험 ( ) -1.78 2.19 0.416 09년방과후학교참여 ( ) -5.32 2.19 0.015 매칭짝사전성취도차이 ( ) 0.25 0.52 0.625 무선효과 분산 값 값 2수준절편 ( ) 163.72 557 <.0001 157.15 554 <.0001 1수준 ( ) 1383.84 1382.46 63
한국교육제 40 권제 3 호 (2013) 49-69 Ⅴ. 결론 주요교육정책중하나인방과후학교는학교교육기능보완, 사교육비경감, 교육복지실현등을목적으로한다. 본연구는학업성취도평가전수자료를활용하여학생수준에서의교과방과후학교참여가기초학력미달학생집단의성취도에미치는영향을평가하였다. 경향성점수, 마할라노비스거리를혼합하여학교내학생간매칭을수행함으로써학교내방과후학교참여학생과미참여학생간처치전집단간동등성을확보하고자노력하였다. 또한집단특성에따른방과후학교의차별적효과를측정하고자의도적으로정확매칭을사용하였으며, 이러한매칭방식을다층모형에반영하여분석하였다. 매칭결과, 새로표집된방과후학교참여집단은일반계고등학교에재학중이고, 2009년학업성취도기준기초학력에도달하지못하였으며그중에서도교육기회가상대적으로취약한학생집단을포함하였다. 매칭후 2수준다층모형분석을통해방과후학교의효과를추정한결과, 국어, 수학, 영어모든과목에서방과후학교에참여한학생이그렇지않은학생에비해평균성취도가높게나타났다. 국어와수학의경우효과추정치가 10점이상이었으며, 영어의경우 7점정도높은성취를보였다. 2010년도학업성취도의표준편차가 30점임을고려할때, 0.24~0.47 표준편차의향상을가져온것으로해석된다. 본연구결과학습기회를높이고, 공교육의정상화를위해국가차원에서적극적으로권장되고있는방과후학교정책은기초학력미달학생에서도긍정적인효과가있는것을다시한번확인할수있었다. 본연구의주요관심주제로방과후학교참여에대한차별적효과를특정관심변인에대해살펴본결과, 세교과모두에서기초생활수급대상자비율이높을수록방과후학교참여에대한효과가커지는관련성이나타났으며, 이를통해교육여건이취약한집단을위한정책적지원으로서의방과후학교의중요성과실효성을확인할수있었다 ( 수준.10에서통계적으로유의함 ). 또한국어와영어과목에서 2 년연속방과후학교에참여한학생들의 2010년방과후학교참여효과는 2010년처음으로방과후학교에참여에한집단에비해그효과가줄어드는경향을보이나, 그효과크기는여전히긍정적인값을보였다. 이러한결과는박현정 이준호 (2012) 의국어, 영어에대한방과후학교의배가효과결과와일치한다. 수학은작년의참여여부와관련없이방과후학교의효과성이확인되었으며, 세과목중가장높았다. 또한일상적으로과외나학원에참여하면서방과후학교참여가좀더효과적인지살펴본결과, 국어와수학의경우는그차이가좀더정적으로, 영어는부적으로나타나일관된결론을찾지는못하였다. 본연구의제한점으로일부관찰변인만을활용하여매칭에반영한관계로여전히관찰되지않은선택편의문제는해결되지못하였다. 그러나방과후학교참여에대한임의효과가세과목모두에서통계적으로유의미하였으며, 이는특정학교에서는방과후학교의운영및결과가좀더성공적이었음을시사한다. 따라서앞서언급하였듯이임의효과분석결과를바탕으로방과후학교를성공적으로시행중인우수사례를발굴하기위한후속연구가강조되어진다. 특히기초학력미달학생들의교육환경및 64
방과후학교프로그램이 기초학력미달 고등학교학생의학업성취도에미치는효과연구 학부모지원이취약하다는선행연구의결과는공교육을통해학업에어려움을겪는학생들을체계적으로지원해야한다는당위성을제시하며, 방과후학교는이러한교육목표를실천할수있는효과적방안으로보인다. 또한이러한질적연구와의결합은비실험연구상황에서양적자료를바탕으로유도된인과효과결과의한계를보완하며, 구체적으로어떠한방과후학교프로그램이실제적으로학생들의성적향상을가져왔는지를파악하고이를현장에서활용하도록권장할수있는실증자료를확보하게함으로써, 연구와교육현장을잇는정책적활용측면에서도바람직하다. 65
한국교육제 40 권제 3 호 (2013) 49-69 참고문헌 교육과학기술부 (2013). 2012년방과후학교운영현황. http://www.moe.go.kr/web/1105/ko/board/view.do?bbsid=147&boardseq=44464. (Translated in English) Ministry of Education, Science and Technology (2013). Report on afterschool operation of 2012. Retrieved from http://www.moe.go.kr/web/1105/ko/board/view.do?bbsid=147&boardseq=44464 김경근 성열관 김정숙 (2007). 학력부진아동의특징및발생원인에대한면담연구. 교육사회학연구, 17(3), 27-52. (Translated in English) Kim, K. K., Sung, Y. K., & Kim, J. S. (2007). A qualitative study on characteristics and causes of underachievers in elementary schools. Korean Journal of Sociology of Education, 17(3), 27-52. 김경희 김완수 최인봉 상경아 김희경 신진아 김성훈 (2011). 국가수준학업성취도평가에나타난우리나라학력향상의특성분석. 한국교육과정평가원연구보고 RRE 2011-2-4. (Translated in English) Kim, K. H., Kim, W. S., Choi, I. B., Sang, K. A., Kim, H. Y., Shin, J. A., & Kim, S. H. (2011). Characteristics of Educational Academic Improvement From NAEA(National Assessment of Educational Achievement) 2010. Korea Institute for Curriculum and Evaluation. RRE 2011-2-4. 김경희 박인용 신진아 송미영 김완수 최인봉 김종훈 김준엽 김성식 (2012). 2011년국가수준학업성취도평가결과 : 학력의상향평준화현상과교육정책효과분석. 한국교육과정평가원구연구보고 RRE-2012-1-4. (Translated in English) Kim, K. H., Park, I. Y., Shin, J. A., Song, M. Y., Kim, W. S., Choi, I. B., Kim, J. H., Kim, J. Y., & Kim, S. S. (2012). NAEA (National Assessment of Educational Achievement) 2011 Results and Implications: Upward Equalization and Effects of Educational Policy. Korea Institute for Curriculum and Evaluation. RRE 2012-1-4. 김성숙 송미영 최인봉 김희경 김성훈 박서홍 김진화 (2010). 2009년국가수준학업성취도평가전수분석결과- 고등학교 1학년. 한국교육과정평가원연구보고 RRE 2010-7-4. (Translated in English) Kim, S. S., Song, M. Y., Choi, I. B., Kim, H. K., Kim, S. H., Park, S. H., & Kim, J. H. (2010). 2009 NAEA(National Assessment of Educational Achievement) Results and Implications -The 1st Grade of High School-. Korea Institute for Curriculum and Evaluation. RRE 2010-7-4. 66
방과후학교프로그램이 기초학력미달 고등학교학생의학업성취도에미치는효과연구 김성식 (2012). 학업성취도에대한방과후학교효과분석. 제16회 KICE 교육과정평가정책포럼 국가수준학업성취도평가결과에기반한학력향상지원방안탐색 연구자료 ORM 2012-61. (Translated in English) Kim, S. S. (2012). Effectiveness evaluation of afterschool on student achievement. The 16th KICE Forum on educational curriculum and evaluation of exploring support strategies for student achievement improvement based on the results of the National Assessment of Educational Achievement. Korea Institute for Curriculum and Evaluation. ORM 2012-61. 김양분 임현정 신혜숙 남궁지영 양수경 김위정 이재경 곽은희 김난옥 (2011). 데이터기반교육정책분석연구 - 공교육내실화에기반한사교육비경감정책효과분석, 한국교육개발원연구보고 RR 2011-24. (Translated in English) Kim, Y. B., Lim, H. J., Shin, H. S., Namgung, J. Y., Yang, S. K., Kim, W. J., Lee, J. K., Kwak, E. H., & Kim, N. O. (2011). Data-Based Study for Analyzing Education Policies : Analysis of Effects of Education Policies That Aim at Reducing Private Tutoring Expenditure and Enriching Public Education. Korean Educational Development Institute. RR 2011-24. 김진영 (2012). 성적향상도로본방과후학교와사교육의상대적효율성. 재정학연구, 5(3), 1-32. (Translated in English) Kim, J. Y. (2012). Comparing the efficiency of the after-school program and the private tutoring through a value-added educational production function. Journal of Public Finance, 5(3), 1-32. 김혜숙 (2012). 방과후학교프로그램이학업성취도및사교육에미치는영향. 아시아교육연구, 13(3), 87-114. (Translated in English) Kim, H. S. (2012). The Impact of After-School Programs on Academic Performance and Private Education. Asian Journal of Education, 13(3), 87-114. 김홍원 (2012). 방과후학교의사교육비경감효과와과제. 한국교육개발원 2012 Position Paper 제9권제20-10호 ( 통권제178호 ). 현안보고 OR 2012-05-20-10. (Translated in English) Kim, H. W. (2012). Effectiveness of afterschool on cost reduction of private education and its challenges. KEDI 2012 Position Paper, 9(20-10). OR 2012-05-20-10. 67
한국교육제 40 권제 3 호 (2013) 49-69 박현정 이준호 (2012). 방과후학교의연속적처치효과분석 : 고1 고 2 시기학업성취도를중심으로. 제4회국가수준학업성취도평가와대학수학능력시험자료활용분석심포지엄. 한국교육과정평가원연구자료 ORM 2012-109-2. (Translated in English) Park, H. J., & Lee, J. H. (2012). Analysis on the sequential effect of afterschool programs: focusing on NAEA data of 1st and 2nd graders in high school. The 4th Symposium of Analysis and Evaluation based on the National Assessment of Educational Achievement and the College Scholastic Ability Test. Korea Institute for Curriculum and Evaluation. ORM 2012-109-2. 백병부 김정숙 (2009). 학습부진학생들의학업자아개념결정요인및학습부진지도수업의조절효과검증. 교육사회학연구, 19(1), 125-149. (Translated in English) Baek, B. B., & Kim, J. S. (2009). The Determinants of Academic Self-concept of Underachievers and Test of Moderator Effect of Lesson Plan for Underachievers. Korean Journal of Sociology of Education, 19(1), 125-149. 백순근 길혜지 박경인 (2012). 방과후학교및 EBS강의가고등학생의학업성취도와학습태도에미치는영향. 제4회국가수준학업성취도평가와대학수학능력시험자료활용분석심포지엄. 연구자료 ORM 2012-109-2. (Translated in English) Baek, S. G., Gill, H. J., & Park, K. I. (2012). Impact of afterschool and EBS programs on academic achievement and learning attitudes for high school students. The 4th Symposium of Analysis and Evaluation based on the National Assessment of Educational Achievement and the College Scholastic Ability Test. Korea Institute for Curriculum and Evaluation. ORM 2012-109-2. 변수용 황여정 김경근 (2011). 방과후학교참여가학업성취에미치는영향. 교육사회학연구, 21(2), 57-85. (Translated in English) Byun, S. Y., Hwang, Y. J., & Kim, K. K. (2011). Effects of Afterschool Program Participation on Academic Achievement. Korean Journal of Sociology of Education, 21(2), 57-85. 변수용 김경근 (2010). 중학생의방과후학교참여가사교육수요에미치는영향. 교육사회학연구, 20(3), 51-81. (Translated in English) Byun, S. Y., & Kim, K. K. (2010). The Effects of Afterschool Program Participation on Shadow Education Demand at the Lower Secondary Level in South Korea. Korean Journal of Sociology of Education, 20(3), 51-81. 68
방과후학교프로그램이 기초학력미달 고등학교학생의학업성취도에미치는효과연구 이화진 오상철 김태은 박소영 (2010). 객관적자료에기반한국가교수학습정책점검및개발 - 학력향상중점학교정책의효과분석-. 한국교육과정평가원연구보고 RRI 2010-13. (Translated in English) Yi, H. J., Oh, S. C., Kim, T. E., & Park, S. Y. (2010). Development and Review of National Teaching and Learning policy based on empirical data - Analysis of impact of School for Improvement Policy. Korea Institute for Curriculum and Evaluation. RRI 2010-13. 임현정 (2009). 학습부진에영향을미치는학생과학교의교육맥락적요인탐색. 한국교육개발원현안보고 OR 2009-3-7. (Translated in English) Lim, H. J. (2009). Exploring contextual factors of student and school associated with academic low-performance. Korean Educational Development Institute. OR 2009-3-7. 조난심 권점례 김도남 서근원 이신동 이혜영 (2009). 기초학력증진을위한정책개발기초연구. 한국교육과정평가원 RRI 2009-2. (Translated in English) Cho, N. S., Kwon, J. R., Kim, D. N., Seo, K. W., Lee, S. D., & Lee, H. Y. (2009). Foundational Study for Policy Development of Improving Basic Skills in Student Achievement. Korea Institute for Curriculum and Evaluation. RRI 2009-2. Ho, D., Imai, K., King, G., & Stuart, E. (2007). Matchit: Nonparametric Preprocessing for Parametric Causal Inference. Journal of Statistical Software, Retrieved on Oct. 01, 2009 from http://gking.harvard.edu/matchit/. Holland, P. W. (1986). Statistics and causal inference. Journal of the American Statistical Association, 81(396), 945-960. Raudenbush, S. W., & Bryk, A. S. (2002). Hierarchical linear models: Applications and data analysis methods (2nd edition). Newbury Park, CA: Sage. Rosenbaum, P. R. (1986). Dropping out of high school in the United States: An observational study. Journal of Educational Statistics, 11(3), 207-224. Rosenbaum, P. R., & Rubin, D. (1985). Constructing a control group using multivariate matched sampling methods that incorporate the propensity score. The American Statistician, 39, 33 38. Stuart, E A. (2010). Matching methods for causal inference: a review and a look forward. Statistical Science, 25(1), 155-176. 69