韓 國 敎 育 The Journal of Korean Education 2005. Vol. 32. No. 4. pp. 143~168. 유아교육기관 평가를 위한 통계적 접근방법 강 상 진(연세대학교 교육학과 교수) 남궁 지영(연세대학교 대학원 박사과정 한국교육개발원 전문연구원) Ⅰ. 서 론 Ⅱ. 유아교육기관 평가 방법 Ⅲ. 연구방법 Ⅳ. 연구결과 및 논의 Ⅴ. 요약, 결론 및 제언 요 약 이 연구는 기관평가의 맥락에서, 통계적 분석모형에 의한 유아교육기관 평가의 가능성을 경험적 증거를 바 탕으로 제시하기 위한 것이다. 이러한 목적을 달성하기 위하여 기관의 효과를 정의하는 이론적, 방법론적 관점 에 따라 1) 평가인정모형(질적 평가모형)과 2) 교육책무성모형(양적 평가모형)을 설정하였다. 두 모형의 이론 적, 방법론적 차이를 문헌연구를 통하여 비교하였으며, 전국 5개 광역시에 소재한 80개의 유아교육기관에 재 학하는 1,516명 유아들의 자료를 분석하고, 평가방법에 따라 제공되는 정보의 유형과 가치를 비교하였다. 두 모형에 의한 최종적인 평가결과는 유사하였으나, 기관평가모형으로서 양적 평가모형의 실제적 적절성을 경험 적으로 제시하여, 공정하고 객관적인 유아교육기관 평가 모형으로서 통계적 방법에 의한 교육책무성 모형의 가 능성을 보이고자 하였다. 주제어 : 학교평가, 평가인정모형, 교육책무성모형, 다층모형 143
韓 國 敎 育 제32권 제4호 학술 논문 Ⅰ. 서 론 어느 나라에서나 학교 교육의 질 개선은 교육문제의 일차적인 관심사가 아닐 수 없다. 그것과 관련하여 모든 교육기관의 평가는 그 기관이 처한 제반 상황과 여건 및 교육효과 달성의 정도를 객관적으로 진단하고 그 결과를 해당 교육의 개선을 위한 자료로 활용하는 일련의 체계적 과정으로서 매우 필요한 작업이다. 우리나라는 2005년 현재 전국적으로 유치원 8,275개 기관(교육인적자원부, 한국교육개발 원, 2005), 보육시설 25,319개 기관(여성가족부, 2005)을 비롯하여 각종 유아교육기관들이 설 립 운영되고 있어, 해방 이후 우리의 유아교육은 양적으로 큰 성장을 이루었다. 그러나 유 아교육기관 수의 양적 증가나 유형의 다양화로 인하여 기관별로 이루어지는 교육의 내용이 나 운영 실태 등이 각양각색이며, 각 기관에서 유아가 경험하는 교육과 보육의 질을 쉽사 리 예측하기도 어려운 실정이다. 따라서 유아교육 프로그램의 변수와 아동발달간의 관계를 찾고자 하는 연구들이 우리나라와 미국에서 진행되어왔다(강상진, 이영, 주은희, 2000; 이은 해, 이기숙, 1992; Clarke-Stewart, 1987; Howes & Stewart, 1987). 최근의 국내 연구는 유아교 육기관의 인정제에 대한 연구에 관심이 모아지면서 특히 평가 항목인 교육활동 변수의 적 합성 여부에 관심이 집중되어 왔다(박은혜, 이기숙, 2002; 이은해, 2002; 장명림, 이기숙, 최 수경, 2001). 그러나 2004년 유아교육법이 제정됨에 따라 사실상 유아교육이 공교육으로의 흡수단계에 접어들고 있는 현실에서 볼 때, 유아교육기관 평가에 관한 심도있는 연구가 다 양한 측면에서 추진되어야 할 것이다. 마침 교육인적자원부는 2006년부터 공 사립 모든 유 치원에 대한 평가제를 도입하기로 결정하였다(조선일보 2005. 8. 2일자 사회면). 유아교육의 공교육화를 완전 실행하기 위해서는 객관적이고 과학적인 평가 결과가 뒷받침된 자료 활동 을 통해서 보다 완벽하게 추진되어야 한다. 이 같은 국내 외 연구 추세 및 유아교육 정책에 비추어 볼 때 유아교육기관의 평가가 다양하게 이루어질 가능성이 높다. 거기에 병행하여 평가방법 자체의 비교 연구가 필요하다. 유아교육기관의 평가방법은 이론적으로 두 가지 접근방법을 고려할 수 있다. 즉, 평가인 정모형과 이 연구에서 제시하는 교육책무성모형이다. 평가인정모형은 자체평가와 방문평가 를 통하여, 전문가의 감식안으로 교육조건의 양호도가 최소한의 기준에 만족하는지를 판단 하여 평가인정 여부를 결정하기 위한 모형이다. 한편, 교육책무성모형은 전문적인 계량적 144
유아교육기관 평가를 위한 통계적 접근방법 분석에 의하여 체제적으로 접근하는 모형으로, 학교효과 이론에 의한 투입-과정-산출 모형 으로서 학교의 책무성을 강조하며, 각 기관이 처한 여건과 차이를 통제한 후에 교육기관의 고유한 교육활동 효과를 밝혀내어 기관의 우열과 순위를 평가하고, 교육효과 관련 요인을 탐색하기 위한 모형이다(강상진, 1997). 이 같은 상이한 이론적 접근방법에 의한 기관평가 결과를 경험적으로 비교해 보고, 평가방법에 따라 나타나는 결과에 어떠한 차이가 있으며, 그 질의 우열과 차별성은 무엇인가를 연구할 필요가 있다. 본 연구는 기존의 교육기관 평가 방법들을 비교 분석하여 장 단점과 차이점을 도출하 고 문제점을 지적하며, 양적연구방법에 기초한 기관평가 방법이 공정성과 객관성을 높일 수 있다는 점을 제시하는데 연구의 목적을 두었다. 구체적으로, 첫째, 기관효과를 정의하 는 이론적, 방법론적 관점에 따라 1) 평가인정모형: 질적 평가모형, 2) 교육책무성모형: 양 적 평가모형으로 분류하여, 두 모형의 이론적, 통계 방법론적 차이를 문헌연구를 통하여 밝히고, 평가방법에 따라 제공되는 정보의 유형과 가치를 비교하였다. 둘째, 두 모형에 의 한 기관평가 결과에 기초하여 양적 평가방법에 의한 기관평가 모형의 적절성을 제시하고 자 하였다. Ⅱ. 유아교육기관 평가 방법 유아교육기관 평가 방법은 이론적으로 평가인정모형과 학교효과 이론에 기초한 교육책 무성모형을 고려할 수 있다. 평가인정모형은 자체평가와 방문평가 과정에서 전문가의 감식 이 중요하게 기능하므로, 기본적으로 질적 접근방법으로 이해된다. 또한, 평가인정모형은 교육기관의 상대적 비교에 관심이 있다기보다는, 각 기관자체의 목표에 따른 성장과 교육 조건이, 인정기관이 정한 최소한의 기준에 도달했는지 평가하여 인정과 불인정의 질적인 평가결과를 산출하는 모형이다. 이러한 관점에서 평가인정모형은 기본적으로 질적 접근방 법에 의한 기관평가 모형으로 이해된다. 그러나 현실적으로 국내의 학교평가 실제를 고려 하면, 모든 질적인 평가결과는 각 평가항목별 점수로 표기되고, 이 점수의 합으로 기관을 평가한다. 따라서 일반 질적 연구 방법이 기술통계량을 편의에 따라 사용하는 것과 마찬가 지로 국내의 학교평가 모형도 구체적 결과는 기술통계량으로 요약되며, 그 결과에 따라 우 145
韓 國 敎 育 제32권 제4호 학술 논문 수, 보통, 미흡으로 평가된다. 이를 통계적 방법상의 특징으로 분류하면, 평가인정모형은 기 술통계량 사용 모형이라 할 수 있다. 교육책무성모형은 기관효과의 측정방법에 따라 개인수준 회귀분석 모형, 집단수준 회귀 분석 모형, 다층분석 모형으로 분류된다. 세 가지 유형으로 대별되는 교육책무성모형 중에 서 다층분석 모형에 의한 기관평가 방법은 분석단위의 독립성, 개인 수준의 정보 활용, 위 계적 자료구조의 반영 등이 가능하다는 점에서 개인수준 회귀분석, 집단수준 회귀분석 같 은 단층위 모형에 비하여 통계적 방법상의 적합성을 갖는다. 따라서 본 연구에서는 기관효과를 측정하는 다양한 방법들 중에서 기관효과를 정의하는 이론적 관점과 이를 측정하는 방법론적 관점에 따라 유아교육기관의 평가 방법을 두 가지 - 1) 평가인정모형: 질적 평가모형, 2) 교육책무성모형: 양적 평가모형 - 로 제시하고, 각 모 형의 배경이 되는 기관평가 모형을 검토하고자 한다. 1. 평가인정모형(질적 평가모형)에 의한 기관 평가 방법 평가인정모형의 관점에서 볼 때, 유아교육기관 평가란 유아교육기관 혹은 유아교육기관의 교육 프로그램이 사전에 설정되어 있는 최소한의 수준에 도달하는지 또는 자격이나 요건을 구비하고 있는지를 평가하고 인정하는 일련의 과정이라고 하겠다. 미국의 경우, 19세기 중 반부터 평가인정모형에 의한 평가 노력을 전개해 오다가 1895년에 공식적으로 NCA(National Council for Accreditation)를 설립하여 보다 체계적으로 이를 활용해 오고 있다. 특히, 전국교 사교육인정협의회(NCATE: National Council for Accreditation of Teacher Education)와 미국교 육대학인정협의회(AACTE: American Association of Colleges for Teacher Education) 등은 대 표적인 인정평가 협의체로서 체계적인 활동을 전개해 오고 있다. 교육기관의 질을 결정하고 규제하기 위한 평가인정제도는 교육 분야뿐만 아니라 의료와 법률 분야를 포함한 여러 분 야에서도 시도되었다. 미국의 의과대학에 대한 인정평가 결과를 보고한 Flexner 보고서는 이 평가적 접근 방법의 실질적인 적용 과정을 보고한 바 있다. 즉, 평가 결과에 입각하여 기준 에 미달된 의과대학을 폐지 또는 재정비함으로써 의과대학의 질적 수준을 통제하는 역할을 하였다(Madaus, Scriven, & Stufflebeam, 1991). 한편, 평가인정모형을 학교평가에 적용하려는 노력은 한국의 경우에도 활발하게 이루어지고 있다. 특히, 한국대학교육협의회는 1994년부 터 대학평가인정제를 본격적으로 실시하고 있으며, 1995년에 제시된 5.31 교육개혁 이래로 146
유아교육기관 평가를 위한 통계적 접근방법 지금까지 초 중등학교를 대상으로 평가인정모형에 의한 학교평가가 활발하게 추진되어 오 고 있다(조금주, 2004). 국내에서 이루어진 유아교육기관에 대한 평가 연구는 대부분 1980년대 후반부터 이루어 졌다. 초기에는 주로 유치원만을 대상으로 하였으나, 1990년대 후반에는 보육시설에 대한 평가 연구도 진행되었다(양옥승, 2002). 이들 연구들을 분석해 보면 유치원이나 보육시설 중 어느 한쪽만을 그 대상으로 하거나, 프로그램 또는 환경 등 특정 영역만을 중심으로 이 루어진 연구들이 대다수이다. 특히, 대부분의 평가 연구들은 미국 유아교육협회(NAEYC)의 유아교육 프로그램 평가인정 준거나 Harms와 Clifford(1980)의 유아교육 환경 평가 척도, 또 는 Abbott-Shin Sibley(1987)의 유아교육 프로그램 평가 척도 등을 번역 수정하여 적용하려 는 시도에서 이루어졌다. 한편, 유아교육기관의 평가 체제 확립을 위한 연구도 이루어졌는 데, 장명림 외(1999)의 유아교육 공교육화 촉진을 위한 유치원 평가체제 구축에 관한 연구, 장명림 외(2000)의 유치원 모의평가를 위한 유아교육 평가모형 확립 방안 연구 등을 들 수 있다. 또한, 양옥승(2002)은 유아교육과 관련된 제반 요소의 질을 평가할 수 있는 유아교육 기관 종합평가인정제 모형 개발 연구를 수행한 바 있다. 평가인정모형은 개별기관의 자체평가, 전문가 집단에 의한 현장 방문 평가, 평가인정 여 부의 결정 등 3단계 과정을 거친다. 방법론적으로는 평가 항목별 기술통계량을 활용하며, 기관별 질적 평가가 이루어진다. 그러나 유아교육 프로그램 실제에 대한 평가기준은 전문 적 지식과 경험에 기초하여 설정된 것임에도 불구하고, 현행 초 중등학교 평가에서 사용하 는 평가모형을 적용한다면 다음과 같은 문제점들을 갖게 된다. 첫째, 평가인정모형은 기본적으로 인정을 희망하는 교육기관의 신청에 의하여 이루어지 는 것이다. 그러나 우리나라의 교육기관평가는 강제적으로 시행하는 기관평가로서 평가대 상이 되는 기관의 수가 너무 많다. 둘째, 평가대상인 기관의 수가 많고, 단기간에 시행되는 서류평가와 방문평가로 인하여, 질적인 평가의 측면이 약화된다. 즉, 기관의 인정 또는 불인정 판정의 경우에는 신중한 질 적인 평가가 기관별로 이루어져야 하지만, 많은 수의 기관을 단기간에 평가하는 경우에는 결국 현행과 같이 평가항목별로 리커트(Likert) 척도로 평정하는 방법에 의존하며, 각 평가 항목별 점수의 총점으로 개별 기관의 총점을 산출한다. 셋째, 자체평가와 단기간의 방문평가 절차에서 교육기관의 성과지표에 해당하는 유아의 인지적, 정의적, 심동적 발달을 측정하는 절차가 생략되는 경향이 있다. 147
韓 國 敎 育 제32권 제4호 학술 논문 넷째, 평가인정모형에서는 평가항목들과 성과지표와의 관련성을 분석한 결과에 기초하지 않으므로, 평가항목의 고유효과에 기초한 기준설정의 증거가 부족할 수 있으며, 평가과정에 서 평가항목 간 상호상관을 고려하지 못하는 한계가 있다. 2006년도부터 시행 예정인 전국의 공 사립 유아교육기관 평가는 평가대상의 수가 너무 많아서, 이 모든 기관을 평가인정모형에 따라 자체평가와 방문평가를 전문적으로 수행하는 데는 어려움이 있다고 예상된다. 또한 종래의 초 중등학교의 평가관행에서 보듯이, 지금까 지 적용해온 평가인정모형의 평가항목들을 질적으로 평가한 결과는 리커트(Likert) 척도에 의하여 기술통계량으로 제시되고, 이들 값을 합하여 각 교육기관별 총점을 구하고, 이에 기 초하여 각 교육기관을 우수, 보통, 미흡으로 평가하게 된다. 이러한 과정을 통계적 관점에 서 요약하면 다음과 같다. Y.j = I i (1) 이 모형에서 개별기관의 평가인정 여부는 유아교육기관 평가 영역 점수들의 총점인 I i 에 의하여 평가된다. 여기서 I i 는 i번째 평가항목을 질적으로 평가한 결과로서 계량 적인 수치를 의미한다. 초 중등학교의 평가 영역에 대해서는 학자들마다 의견을 달리하고 있지만, 대체로 일반 적인 기관운영의 영역과 유사하게 목표관리, 교육과정 운영, 학생 평가, 교직원 평가, 조직 관리, 인사 및 재무, 지역사회와의 관계 등으로 나누고 있다(김혜숙, 1996). 그러나 유아교 육기관에서의 평가 영역은 기관의 특성이 반영된 NAEYC의 평가인정 기준에 의한 10가지 평가 영역인 운영관리, 교사-유아간의 상호작용, 교육과정, 교사-부모의 연계, 교사 자격 및 발달, 교사편제, 물리적 환경, 건강과 안전, 영양과 급식, 평가 영역을 기초로 하여 평가지 표를 개발하고 있다(NAEYC, 1999). 국내의 경우, 현행 초 중등학교 기관평가 방법은 학교 의 교육활동과 관련한 몇 가지 영역(예를 들면 교육목표, 교수 학습활동, 학교시설, 학교풍 토 등)을 선정한 후 영역별로 문항을 만들어 리커트 척도로 평가하도록 한 뒤 합산하여 평 균을 산출하는 방법을 취하고 있다(오진석, 임연기, 1988; 김혜숙, 1996). 또한, 유아교육기 관 평가를 위해 개발된 평가지표는 기관평가 영역별 가중치를 부여하고 영역점수의 총점을 구하여 평가인정 여부를 결정하는 방법을 제시하고 있다(장명림 외, 2000). 148
유아교육기관 평가를 위한 통계적 접근방법 평가인정모형에 의한 유아교육기관 평가 방법은 기관의 교육조건이 양호할수록 유아의 행동발달에 관한 교육성과는 크다는 점에 주목하여 교육의 과정적 측면인 교육 프로그램에 관심을 두고 기관을 평가한다. 또한 교육활동 지표별로 최소한의 성취수준을 설정하고 있 으므로, 설정된 기준에 준한 기관의 계속적인 자체 연구와 전문가에 의한 외부 검토를 통 하여 교육기관의 질을 일정 수준 유지할 수 있다. 유아교육기관의 평가결과는 영역별 총점 산출이 가능하기 때문에 개별기관의 강점과 약점을 명료하게 해 주어 기관평가 결과에 따 라 약점에 대한 조치 방안과 발전 방향을 모색할 수 있다. 2. 교육책무성모형(양적 평가모형)에 의한 기관평가 방법 교육책무성모형은 학교교육에 대한 성과를 객관적인 기준에 의하여 측정하고, 그 측정 결과에 의해 학교의 책임이행 여부를 판정하는 모형(이영만 외, 2004)으로서, 투입-과정-산 출 모형에 근거한 학교효과 이론도 이에 포함된다. 교육책무성모형의 관점에서 유아교육기 관 평가의 개념을 정의하여 보면, 기본적으로 투입-과정-산출의 어떠한 요인들이 교육기관 의 기능적 효율성과 관련이 있고 기관의 교육적 성과를 높이는데 관련되는지를 탐색하는 모형이며, 유아교육기관의 교육 외적 투입요건의 차이에서 오는 영향을 통제하고 교육효과 에 실제적 영향을 미치는 교육활동 정보에 주목하여 기관의 고유한 교육효과를 밝혀내는 작업이다(강상진, 1997). 따라서 이 모형은 기관별로 산출되는 고유한 교육활동의 효과를 교육기관이 달성해야 할 책무성으로 개념화하여, 교육효과를 통한 기관의 질적 수준을 측 정하는 모형이다. 외국의 경우, 학교효과 연구는 기관평가의 목적이 아닌 교육청 단위, 주 단위 및 국가 차원에서 교육의 책무성을 점검하기 위한 목적으로 이루어졌다. 그러나 학교 효과 연구를 단위학교의 평가를 위한 목적으로 활용하려는 시도도 이루어지고 있다(강상진, 1997). 따라서 교육책무성모형은 단위학교, 교육청, 국가 등 모든 차원에서 교육 책무성의 평가를 가능케 한다. 교육책무성모형은 기관의 교육효과를 측정하는 방법에 따라 통계적 모형의 선택이 개인 수준 회귀분석 모형, 집단수준 회귀분석 모형, 다층분석 모형으로 대별된다. 그러나 기관의 교육효과를 평가하기 위한 자료들은 실제로 개인수준과 집단수준의 정보를 모두 포함하며, 양 층위로 구성된 위계적 자료구조를 통계적으로 적합하게 반영하는 다층모형이 적절하다. 다층모형은 기존의 단층위 통계모형이 가지고 있는 한계점을 극복할 수 방법이기도 하다. 149
韓 國 敎 育 제32권 제4호 학술 논문 즉, 개인수준의 회귀분석에서 문제시되었던 분석단위의 독립성 문제나, 집단수준의 회귀분 석에서 문제시 된 개인수준의 정보를 사용하지 못하는 문제, 예측변수의 제한적 사용의 문 제 등을 해소할 수 있다. 다층모형은 교육책무성과 관련하여 학교효과이론을 통계모형으로 반영할 수 있으며, 교 육 외적 조건과 관련된 투입변수, 기관의 교육활동과 관련된 과정변수, 그리고 기관의 교육 적 성과를 반영하는 산출변수를 유아수준과 기관수준에서 모두 모형으로 상세화할 수 있 다. 다층모형의 명세화 과정에 따른 단위기관 내 유아수준의 개념모형은 다음과 같다. 유아의 행동발달 점수 = 기관별 평균 유아 행동발달 점수 + 유아의 교육 외적 개인특성 효과(C1) + 유아의 교육활동 효과(P1) + 오차 1) (2) 위의 식 (2)는 유아의 행동발달 점수가 유아의 성별, 연령, SES 등 개인특성과 유아의 학 습동기, 학습노력 등과 같은 교육활동 요인, 그리고 기타 개인 요인의 효과에 따라 다를 수 있음을 보여준다. 이와 더불어 유아 행동발달 특성의 기관별 평균 점수는 교육기관이 어떤 여건에서 교육을 시행하며, 어떠한 교육프로그램을 어떻게 운영하는가에 따라 다를 것이다. 이러한 관점을 개념모형으로 표현한 것이 식 (3)의 기관수준 모형이다. 기관별 평균 유아 행동발달 점수 = 유아 행동발달 특성의 전체 평균 + 교육기관의 교육 외적 특성 효과(C2) + 교육기관의 교육활동 효과(P2) + 오차 2) (3) 유아수준 및 기관수준별 개념모형은 유아의 행동발달 점수가 교육활동의 영향뿐만 아니 라 기타 다양한 투입 요인의 영향도 받는다는 사실을 보여준다. 다시 말하면, 유아의 행동 발달 점수가 높은 것이 교육기관의 교육활동의 성과로서 높게 나타난 것인지, 아니면 유아 의 생태학적 특성 또는 가정 경제 문화적 수준의 영향이나 교육기관의 사회경제적 배경, 구조적 특성 등의 차이에 의한 것인지 구분할 수 없다는 것이다. 투입 요인은 교육기관이 1) 유아수준 통계모형: Y ij =β 0j +β 1j C pij +β 2j P qij +e ij, e ij N (0,σ 2 ) 2) 기관수준 통계모형: β 0j =γ 00 + γ 0pC pj + γ 0qP qj +u 0j, u 0j N (0, τ) β 1j =γ 10 β 2j =γ 20 150
유아교육기관 평가를 위한 통계적 접근방법 통제할 수 없는 조건적 요인의 효과를 의미하는 것으로서, 기관평가시 불공정한 평가 결과 를 초래할 수 있는 요인이다. 따라서 공정하고 타당한 기관평가가 이루어지기 위해서는 유 아의 행동발달 점수에서 기관의 조건적 투입 요인의 영향을 통제할 필요가 있다. 이를 위 한 기관별 교육효과 점수 산출 방법을 개념적 모형으로 제시하면 다음과 같다. 유아교육기관의 교육효과 = 기관 평균 유아 행동발달 점수 - 기관 평균 유아의 교육 외적 개인특성 효과( C1) - 교육기관의 교육 외적 특성 효과(C2) = 유아 행동발달 점수의 전체 평균 + 기관 평균 유아의 교육활동 효과( P1) + 교육기관의 교육활동 효과(P2) + 기타 기관 고유의 효과 3) (4) 식 (4)는 유아의 행동발달 점수에 영향을 미치는 요인들 중에서 기관의 교육활동과 무관 한 투입의 영향 효과를 통제한 후에 기관별 교육효과 점수를 측정한 것이다. 그러므로 교육 효과 점수는 유아교육기관의 교육활동 효과, 그리고 알려지지 않은 기타 기관 고유의 효과 로 구성된다고 할 수 있다. 이는 교육효과 점수가 기관 간 불평등 요인의 영향을 받지 않는 객관적인 점수라는 것을 의미한다. 따라서 위의 모형에 의해 산출되는 교육효과 점수는 어 떠한 투입 조건을 가진 교육기관이든 상관없이 공정하고 객관적인 기관평가를 가능케 한다. 교육책무성모형은 다음의 측면에서 장점을 가진다. 첫째, 기관의 투입과 과정 요인뿐만 아니라 학교 교육의 결실인 산출 요인도 기관평가의 내용으로 포함하며, 기관의 투입-과정- 산출 요인간의 체계적인 관계 탐구가 가능하므로 기관평가 결과는 교육기관의 질 개선을 위한 실질적인 정보를 제공한다. 둘째, 학교효과이론의 적용을 위해 사용되는 통계방법들 중에서 다층모형은 유아교육기관 수준, 유아 수준으로 구성되는 교육 자료의 위계적 구조 를 반영한다. 셋째, 교육효과를 측정하기 위해 투입 요인의 영향력을 통계적으로 통제함으 로써 기관의 지역적 조건이나 유아의 인적 구성과 같은 조건 요인들의 차이가 교육성과의 차이를 결정하는 것을 막을 수 있다. 그러나 학교효과이론에 의한 기관평가 방법은 다음의 제한점을 갖는다. 기관의 교육효과를 측정하는 경우에 점수 산출을 위해 필요한 지표들의 측정치가 신뢰롭고 타당한가 하는 것이다. 기관의 행 재정적 특징이나 인적 물적 특징들 3) 교육효과 산출 통계모형: δ j = Y.j - γ 0pC pj -γ 10 C 1.j =γ 00 + γ 0qP qj +γ 10 P 1.j +u 0j 151
韓 國 敎 育 제32권 제4호 학술 논문 은 대체로 객관적인 측정이 가능하나, 유아교육기관 및 유아의 과정에 해당하는 지표들은 측정치의 질에 관하여 합의가 용이하지 않다(강상진, 2004). Ⅲ. 연구방법 1. 분석자료 본 연구에서 사용된 분석 자료는 강상진, 이영, 주은희(2000)의 유아교육기관 유형별 교 육효과 분석 연구 에서 수집된 자료이다. 이 자료는 서울, 부산, 인천, 대전, 광주의 5개 대 도시에 소재한 80개 유아교육기관, 1516명의 아동을 포함한다. 대상 기관의 선정 방법은 각 도시의 유치원 및 어린이집 총 목록에서 현지 행정기관의 도움을 받아 행정구역별로 중산층에 속하는 지역과 저소득층에 속하는 지역을 먼저 선정하 고, 각 지역에서 국 공립/사립 유형별로 2개 기관씩 기관의 목록에서 무작위로 선정한 후, 개별기관에 전화로 연구 참여 의사를 문의하여 승낙한 기관을 연구대상 기관으로 확정한 것이다. 우리나라 유아교육기관은 유형에 따라 볼 때 국 공립에 비하여 사립 기관이 많으 나, 본 연구의 표본의 수는 비율 표집을 하기에 매우 적은 수이므로 동일 비율로 표집되었 다. 본 자료의 유아수준 변수는 다음의 <표 Ⅲ-1>과 같다. <표 Ⅲ-1> 유아수준 변수의 기술통계량(N = 1,516) 변수구분 변 수 내 용 평균 표준편차 최소값 최대값 준 거 변 수 전체유아행동발달척도점수 - 또래관계 50 10 17.33 71.96 - 사회적 유능성 50 10 14.66 69.61 - 언어사용능력 50 10 18.94 69.75 유아의 연령(개월) 67 8 41 86 예 측 변 수 사 례 수 비 율 유아의 성별 - 남 아 799 53.9% - 여 아 683 46.1% 152
유아교육기관 평가를 위한 통계적 접근방법 준거변수인 유아의 행동발달 척도는 또래관계, 사회적 유능성, 언어사용능력으로서, 평정 훈련과정을 마친 전문 평정자들과 담당 교사가 유아를 관찰하여 평정한 결과이다. 평정자 가 평가한 각 척도의 문항값들을 합산하여 원점수 척도변수를 개발하고, 이를 다시 선형전 환하여 최종적으로 T-점수를 구하였다. 유아수준에서 예측변수는 유아의 성별(0=남아, 1=여 아)과 연령(개월)이다. 기관수준 변수의 기술통계량은 다음의 <표 Ⅲ-2>와 같다. <표 Ⅲ-2> 기관수준 변수의 기술통계량(N = 80) 변 수 내 용 평균 표준편차 최소값 최대값 준거 변수 예 측 변 전체기관 행동발달 척도점수 또래관계 50.01 3.73 41.19 59.40 사회적 유능성 49.75 5.32 29.96 59.79 언어사용능력 49.97 4.44 40.11 58.39 운영관리 50.26 4.56 38 58 교사-유아의 상호작용 41.65 3.56 33 50 교육과정 146.13 14.04 114 181 교사-부모의 연계 42.39 5.24 30 55 교육 교사자격 및 발달 18.81 3.06 12 25 프로그램의 교사편제 11.18 1.87 7 15 10개 영역 물리적 환경 39.10 5.42 24 50 건강과 안전 87.86 8.91 67 107 영양과 급식 21.45 2.37 15 25 평가 12.00 1.68 7 15 교사 대 유아 비 18.71 6.20 6.50 34.50 학급크기 22.50 7.07 10.67 36.67 수 유 치 원 어린이집 기관별 평균 비율(%) 국 공립 사 립 국 공립 사 립 교사학력 비율 학급편성 비율1 학급편성 비율2 대졸 이상 85.83 35.35 23.75 38.68 전문대졸 이하 14.17 64.65 76.25 61.32 반일제 학급 85.18 85.97 20.33 38.97 종일제 학급 14.82 14.03 79.67 61.03 동일연령 학급 81.14 80.21 91.79 96.57 혼합연령 학급 18.86 19.79 8.21 3.43 153
韓 國 敎 育 제32권 제4호 학술 논문 기관수준의 자료가 포함하고 있는 변수는 기관유형(0=유치원, 1=어린이집), 지역(서울지 역을 참조집단으로 하여 4개의 가변수 설정), NAEYC의 평가인정 기준에 의한 10가지 교육 프로그램 평가 영역, 교사 대 유아 비, 학급크기, 기관별 교사학력 비율, 학급편성비율1(반 일제/종일제 학급), 학급편성비율2(동일/혼합연령 학급)이다. 교육프로그램의 10개 영역 중 에서, 운영관리, 교사편제와 물리적 환경 부분은 유아교육기관장이 응답하였으며, 교사-유 아의 상호작용과 교육과정은 연구진의 훈련을 받은 평정자가 방문하여 평가하였고, 나머지 항목들은 교사가 설문지에 응답하였다. 여기서 준거변수는 유아 개인의 행동발달 척도 점수를 유아교육기관별로 합산한 뒤 구 해진 전체 유아교육기관의 평균 행동발달 척도 점수이며, 교육프로그램의 10개 영역은 각 영역별 문항들을 합산하여 만든 원점수 척도변수이다. 2. 분석모형 이하에서는 평가인정모형과 교육책무성모형별로 기관평가를 위해 명세화한 분석 모형을 제시하였다. 먼저, 평가인정모형은 NAEYC의 평가인정 기준에 의한 10가지 교육 프로그램 평가 영역- 운영관리(12문항), 교사-유아간의 상호작용(9문항), 교육과정(34문항), 교사-부모의 연계(11문 항), 교사 자격 및 발달(4문항), 교사편제(4문항), 물리적 환경(10문항), 건강과 안전(22문항), 영양과 급식(5문항), 평가(3문항)-의 총 114문항에 대한 총점을 통하여 기관평가 결과를 산 출하였다. 따라서 평가인정모형에 의한 기관평가 결과는 식 (5)에 의하여 측정된다. Y.j = 114 ( 교육프로그램 영역) i (5) i=1 다층분석 모형을 통하여 교육효과를 산출하기 위해 투입변수로 사용된 것은 유아의 성별 과 연령, 기관유형, 지역 변수였다. 이들 변수 중 유아의 성별과 연령 변수는 유아수준 모형 에 포함되며, 기관유형과 지역 변수는 기관수준 모형에 포함된다. 그리고 과정변수로 사용 된 교육 프로그램의 영역은 기관수준에서 수집된 자료이기 때문에 기관수준 모형에 포함되 었다. 산출변수로서는 유아의 또래관계, 사회적 유능성, 언어사용능력 척도가 사용되었다. 154
유아교육기관 평가를 위한 통계적 접근방법 교육 프로그램은 10개 영역의 변수 중 유의수준 10% 이하에서 각 성과변수와 유의미한 상 관이 존재하는 것으로 분석된 변수만을 모형에 포함시켰다(<표 Ⅳ-2> 참조). 식 (6)은 본 연 구의 다층분석을 위해 사용된 유아수준과 기관수준의 모형을 명세화한 것이다. 이 식에서 모형의 예측변수들은 모두 전체기관 평균값으로 중심점 교정(grand mean centering)을 하였 다. 그리고 개별 유아교육기관의 교육효과는 식 (7)에 의하여 측정되었다. 유아수준 모형: Y ij = β 0j + β 1j (성별) ij + β 2j (연령) ij + e ij, e ij N (0, σ 2 ) 기관수준 모형: β oj = γ 00 +γ 01 (기관유형) j +γ 02 (부산) j +γ 03 (인천) j +γ 04 (대전) j +γ 05 (광주) j +γ 06 (교육프로그램1) j + +γ 0p (교육프로그램 P) j +u 0j, u 0j N(0, τ) β 1j = γ 10 β 2j = γ 20 (6) 교육효과: δ j = Y.j -γ 01 (기관유형) j -γ 02 (부산) j -γ 03 (인천) j -γ 04 (대전) j -γ 05 (광주) j - γ 10 ( 성별) ij - γ 20 ( 연령) ij = γ 00 + γ 06 (교육프로그램1) j + +γ 0p (교육프로그램 P) j +u 0j (7) Ⅳ. 연구결과 및 논의 1. 평가인정모형에 의한 유아교육기관 평가 가. 기관평가 결과 평가인정모형에 의해 산출된 단위기관별 평가 결과를 기관유형 및 설립유형별로 요약하 여 <표 Ⅳ-1>에 제시하였다. 155
韓 國 敎 育 제32권 제4호 학술 논문 평가인정모형에 의한 기관평가 결과는 개별 기관별로 10개 평가 영역별 총점과 전체 영 역의 총점으로 제시할 수 있으나, 이 표는 교육 프로그램의 전체 영역에 대한 총점만을 기 관평가 결과로 요약하여 제시한 것이다. 유아교육기관의 유형별로 교육 프로그램 총점의 중 앙값을 산출한 결과, 유치원에 비하여 어린이집의 순위가 더 높은 것으로 분석되었다. 또한 기관의 설립유형별로는 사립 어린이집의 교육프로그램이 가장 양호한 것으로 평가되었다. <표 Ⅳ-1> 평가인정모형에 의한 유아교육기관 평가 결과 유치원 어린이집 교육효과 순위 교육효과 순위 국 공립 468.0 44.0 468.5 43.5 사 립 479.5 33.5 481.5 29.5 계 470.0 42.0 472.0 39.5 나. 기관평가 모형으로서의 적절성 검증 평가인정모형은 기관의 교육활동과 관련된 과정 변수의 질에만 관심을 가지고 측정하므 로, 기관평가 결과는 유아교육기관의 질에 대한 간접적인 증거 역할밖에 하지 못한다. 유아 교육기관의 질적 수준에 대한 직접적인 증거는 유아교육을 통하여 달성하고자 하는 최종 결실인 교육의 성과(예, 유아의 행동발달 수준)에 의해서 궁극적으로 판단될 수 있는 것이 다. 따라서 평가인정모형의 평가 항목이 기관평가의 내용으로서 정당성을 갖추려면 이들 내용이 유아교육의 성과와 밀접한 관련이 있다는 증거를 확보해야 한다. 이러한 관점에서 평가인정모형의 평가 항목이자 기관평가 결과인 교육 프로그램 변수와 유아교육의 성과 변 수인 또래관계, 사회적 유능성, 언어사용능력간의 상관분석을 실시하였다. 이를 통하여 평 가인정모형이 기관평가 모형으로서 적절성을 갖는지 검증하고자 하였다. 그 결과는 다음의 <표 Ⅳ-2>에 제시하였다. 상관분석 결과, 유아의 또래관계는 기관유형에 관계없이 교육 프로그램 영역과 유의미한 상관을 보이지 않았다. 한편, 사회적 유능성은 유치원의 경우 교육 프로그램 총점, 운영관 리, 물리적 환경, 건강과 안전 영역과.30 이상의 상관이 존재하는 것으로 나타났으며, 어린 156
유아교육기관 평가를 위한 통계적 접근방법 이집의 경우에는 교사-부모의 연계, 교사자격 및 발달, 평가 영역과.273~.290 사이의 상관 이 있는 것으로 분석되었다. 언어사용능력은 유치원의 경우 교육 프로그램 총점, 교사-유아 의 상호작용, 교육과정, 건강과 안전, 영양과 급식 영역과 유의수준 10% 이하에서 통계적으 로 유의미한 상관이 존재했으며, 어린이집의 경우에는 교육 프로그램 총점, 교사-유아의 상 호작용, 교육과정, 교사-부모의 연계, 건강과 안전, 영양과 급식, 평가 영역과.303~.408 사 이의 상관이 존재하는 것으로 나타났다. <표 Ⅳ-2> 평가인정모형에 의한 기관평가 결과와 교육성과변수간의 상관분석 결과 또래 관계 유치원 사회적 유능성 교 육 성 과 변 수 언어사용 능력 또래 관계 어린이집 사회적 유능성 언어사용 능력 교육 프로그램 총점.128.330*.270+.054.220.374* - 운영관리.056.367*.105.027.095.261 - 교사-유아의 상호작용.096.092.328*.112.138.408** - 교육과정.189.234.265+.091.188.327* - 교사-부모의 연계.102.230.228.089.273+.379* - 교사자격 및 발달.035.083.222.047.290+.128 - 교사편제.020.170 -.029.030 -.116.029 - 물리적 환경 -.069.334* -.075 -.127.231.236 - 건강과 안전.124.357*.319* -.035.141.303+ - 영양과 급식.127.112.289+.100.085.379* - 평가.005.113.084.245.289+.330* + p<.10, * p<.05, ** p<.01 2. 교육책무성모형(다층모형)에 의한 유아교육기관 평가 가. 기관평가 결과 다층모형에 의하여 측정된 교육효과와 기관의 순위는 <표 Ⅳ-3>에 제시하였다. 157
韓 國 敎 育 제32권 제4호 학술 논문 <표 Ⅳ-3> 다층모형에 의한 유아교육기관 평가 결과 기관유형 설립유형 또래관계 사회적 유능성 언어사용능력 교육효과 순위 교육효과 순위 교육효과 순위 유치원 국 공립 53.04 37.0 48.79 48.0 54.86 26.5 사 립 47.48 45.0 50.70 39.0 50.22 41.0 계 51.97 38.5 49.68 42.5 52.37 35.5 어린이집 국 공립 48.31 44.0 48.58 47.5 46.39 51.0 사 립 52.65 35.5 53.00 31.0 47.91 45.5 계 49.55 42.5 50.21 39.5 47.61 46.5 여기서의 교육효과는 기관이 처한 여건의 차이를 통제한 점수인 동시에 기관의 교육활 동에 의한 성과 점수이다. 다시 말하면, 기관별로 산출되는 고유한 교육활동의 효과를 교육 기관이 달성해야 할 책무성으로 개념화하여, 교육효과를 통한 기관의 질적 수준을 측정한 결과이다. 다층분석에 의하여 유아교육기관별로 평가 결과를 산출하고, 기관유형별 중앙값을 통하 여 요약하면 다음과 같다. 유아의 또래관계와 언어사용능력은 어린이집에 비하여 유치원의 교육효과 점수가 더 높았다. 반면 사회적 유능성은 어린이집의 교육효과가 유치원에 비하 여 다소 높은 것으로 나타났다. 위의 기관평가 결과를 설립유형에 따라 살펴보면, 또래관계 와 언어사용능력의 경우 국 공립 유치원의 교육효과 점수가 가장 높았으며, 사회적 유능 성은 사립 어린이집이 1순위를 차지하였다. 나. 기관평가 모형으로서의 적절성 검증 교육책무성모형은 기관의 투입-과정-산출 요인간의 체계적인 관계 탐구가 가능하므로 기 관평가 결과는 어떠한 요인들이 교육기관의 기능적 효율성과 관련이 있는지에 대한 실질적 인 정보를 제공한다. 본 절에서는 교육책무성모형을 통한 기관평가 결과가 교육기관의 질 개선을 위해 제공할 수 있는 정보가 무엇인지를 경험적으로 제시함으로써 모형의 적절성을 검증하고자 한다. 이하에서는 교육책무성모형에 의한 기관평가 결과인 교육효과 점수와 관련이 있는 교육 158
유아교육기관 평가를 위한 통계적 접근방법 활동변수가 무엇인지를 탐색하여 제시하였다. 먼저 유아교육기관별로 상관분석을 실시한 결과는 <표 Ⅳ-4>와 같다. 상관분석 결과를 유의수준 p<.10을 기준으로 통계적으로 의미있 는 변수들을 정리하면 다음과 같다. 유아의 또래관계에 대한 유치원의 교육효과와 관련이 있는 변수는 교육 프로그램의 10개 영역과 교사 학력 변수로 나타났다. 유아의 사회적 유 능성은 운영관리, 교사-유아의 상호작용, 교육과정, 교사-부모의 연계, 교사자격 및 발달, 물 리적 환경, 건강과 안전, 평가, 반일제 학급편성 비율의 9개 변수가 유치원의 교육활동변수 인 것으로 분석되었다. 그리고 언어사용능력에 대한 유치원의 교육효과와 관련된 변수는 운영관리, 교사-유아의 상호작용, 교육과정, 교사-부모의 연계, 교사자격 및 발달, 건강과 안 전, 영양과 급식, 평가, 교사 학력이었다. <표 Ⅳ-4> 교육효과 점수와 교육활동변수 간 상관분석 결과 유치원 교 육 효 과 점 수 어린이집 또래 관계 사회적 유능성 언어사용 능력 또래 관계 사회적 유능성 언어사용 능력 교육 프로그램 10개 영역 - 운영관리.594***.507**.782***.673***.490**.810*** - 교사-유아의 상호작용.801***.465**.804***.716***.471**.793*** - 교육과정.984***.558***.778***.984***.642***.771*** - 교사-부모의 연계.535***.668***.495**.813***.743***.755*** - 교사자격 및 발달.527***.455**.417**.572***.511**.476** - 교사편제.302+.251.215.490**.207.410** - 물리적 환경.354*.781***.261.228.724***.228 - 건강과 안전.658***.664***.735***.784***.599***.726*** - 영양과 급식.443**.228.694***.576***.399*.761*** - 평가.299+.389*.347*.707***.610**.649*** 대졸 이상 교사학력 비율.313*.085.365*.282+.359*.313+ 반일제 학급편성 비율 -.034.308+ -.099.004.147.053 동일연령 학급편성 비율.084.194 -.037.214.405*.325+ 교사 대 유아 비.058.103 -.113.031.288+.091 학급크기.157.195.143.145.464**.222 + p<.10, * p<.05, ** p<.01, *** p<.001 159
韓 國 敎 育 제32권 제4호 학술 논문 한편, 유아의 또래관계에 대한 어린이집의 교육효과와 관련된 변수는 교육 프로그램의 영역 중 물리적 환경을 제외한 나머지 9개 영역과 교사 학력 변수로 나타났다. 유아의 사 회적 유능성에 대한 어린이집의 교육효과와 관련 있는 교육활동변수는 교사편제를 제외한 교육 프로그램의 9개 영역, 교사 학력 비율, 동일연령 학급편성 비율, 교사 대 유아 비, 학 급크기 등이었다. 또한 유아의 언어사용능력과 관련 있는 교육활동변수는 물리적 환경을 제외한 나머지 교육 프로그램의 9개 영역, 교사 학력 비율, 동일연령 학급편성 비율로 나타 났다. 어린이집에서 유아의 행동발달 특성과 관련이 있는 것으로 측정된 대부분의 교육활 동변수는 유치원에서의 상관분석 결과와 마찬가지로 상관계수.50을 넘는 변수들이 상당수 있는 것으로 밝혀졌다. 이처럼 다양한 교육활동변수가 상존하는 유아교육기관에서 각 교육활동변수가 교육효과 에 미치는 고유 영향이 있는지를 파악하기 위하여 stepwise 방법에 의한 중다 회귀분석을 실시하였으며, <표 Ⅳ-5>에 그 분석 결과를 제시하였다. <표 Ⅳ-5> 교육효과 점수에 대한 교육활동변수의 회귀분석 결과 준거변수 예측변수 회귀계수 표준오차 t F R 2 유 치 원 또래관계 사회적 유능성 언어사용 능력 (상수) -105.003 4.603-22.810*** 교육과정 1.060.031 34.169*** (상수) - 53.163 7.736-6.872*** 물리적 환경 1.131.147 7.702*** 교사-부모연계 1.233.157 7.848*** 반일제 학급.087.033 2.596* (상수) - 81.990 7.196-11.393*** 교사-유아의 상호작용 1.370.190 7.214*** 운영관리.891.138 6.470*** 영양과 급식 1.450.245 5.915*** 1167.531***.968 62.822***.855 118.420***.908 표 계속 160
유아교육기관 평가를 위한 통계적 접근방법 준거변수 예측변수 회귀계수 표준오차 t F R 2 어린이집 또래관계 사회적 유능성 (상수) -102.515 5.071-20.216*** 교육과정 1.045.035 30.264*** (상수) - 57.239 5.939-9.639*** 물리적 환경 1.190.109 10.885*** 교사-부모 연계 1.086.129 8.444*** 동일연령 학급.147.048 3.069** (상수) - 94.825 8.655-10.956*** 운영관리.697.205 3.402** 언어사용 능력 교사-유아의 1.665.221 7.530*** 상호작용 영양과 급식 1.861.368 5.057*** * p<.05, ** p<.01, *** p<.001 915.923***.964 120.812***.928 95.201***.908 위의 표에서 R 2 값은 0.855 이상으로, 각각의 준거변수는 선택된 교육과정 변수에 의 하여 거의 대부분 설명되는 것으로 나타났다. 이는 교육효과 변수에 영향을 미치는 주축 변수들은 모두 교육과정 변수들이며, 동시에, 교육과정 변수들 간의 상호 상관이 높다는 것 을 의미한다. 따라서 소수의 교육과정 변수로 예측한 것과 전체 교육과정변수로 산출된 교 육효과는 매우 근접한다. 따라서 <표 Ⅳ-5>는 고유효과가 높은 교육과정 변수를 제공한 것이다. <표 Ⅳ-5>에 제시된 결과를 설명하면, 유치원의 경우, 교육과정 변수는 유아의 또래관계 에 대한 교육효과를 높이는 것으로 분석되었다. 앞의 상관분석에서는 많은 교육활동변수들 이 교육효과와 상관이 있는 것으로 나타났으나, 교육과정이 교육효과를 설명한 이후 다른 변수들은 교육효과를 추가적으로 설명하지 못하는 것으로 나타났다. 따라서 교육과정이 양 호한 유치원이 유아의 또래관계를 발달시키는데 효과적임을 알 수 있다. 유아의 사회적 유 능성에 대한 유치원의 교육효과에 대하여는 물리적 환경, 교사-부모의 연계, 반일제 학급편 성 비율이 유치원간 차이를 설명하는데 유의미하였다. 유아의 언어사용능력은 교사-유아의 상호작용, 운영관리, 영양과 급식 변수가 유치원간 교육효과의 차이를 설명하는데 유의미한 161
韓 國 敎 育 제32권 제4호 학술 논문 것으로 분석되었다. 한편, 유아의 또래관계에 대한 어린이집의 교육효과는 교육과정에 의하여 영향을 받으 며, 상관이 있었던 다른 예측변수들은 교육과정 변수가 설명하고 난 이후 교육효과의 변산 을 설명하지 못하는 것으로 나타났다. 유아의 사회적 유능성에 대한 어린이집의 교육효과 는 물리적 환경과 교사-부모의 연계, 동일연령 학급편성 비율의 영향을 받는 것으로 나타났 다. 이 두 변수를 제외한 나머지 상관이 있었던 변수들은 사회적 유능성의 교육효과에 대 한 추가적인 설명을 하지 못하였다. 운영관리, 교사-유아의 상호작용, 영양과 급식의 세 변 수는 유아의 언어사용능력에 대한 교육효과를 높이는 것으로 분석되었다. 3. 논의 본 연구는 유아교육기관을 평가하는 다양한 방법들 중에서 질적 평가결과에 의한 기술 통계량을 사용하는 평가인정모형과 통계적 접근방법에 의한 양적 평가모형으로서 교육책무 성모형을 기관평가 모형으로 설정한 후, 두 모형에 의한 기관평가 결과를 경험적으로 비교 하여, 통계적 접근법에 의한 기관평가 모형의 적절성 정보를 경험적으로 제공하려는 것이 었다. 아울러 통계적 접근법은 객관성을 가지므로, 기관평가의 공정성을 성취하는 모형으로 서의 가치를 제기하고자 하였다. 먼저, 두 모형에 의하여 산출된 기관평가 결과가 유사한지를 파악하기 위하여 스피어만 등위상관계수를 산출하였다. 그 결과는 다음의 <표 Ⅳ-6>과 같다. <표 Ⅳ-6> 모형별 기관 순위의 등위상관계수 교육책무성모형(교육효과 점수에 의한 기관 순위) 또래관계 사회적 유능성 언어사용능력 평가인정모형(교육프로그램 총점에 의한 기관 순위).867***.726***.796*** *** p<.001 교육책무성모형에 의한 기관평가로부터 얻은 결과는 기관평가 방법에 있어서 상이한 차 이가 있는 평가인정모형의 결과와 유사한 기관의 순위를 갖는 것으로 나타났다. 즉, 유아의 162
유아교육기관 평가를 위한 통계적 접근방법 행동발달 특성별로 두 모형 간에.726~.867의 등위상관을 보였다. 이는 <표 Ⅳ-4>의 결과에 서 교육효과 점수가 교육 프로그램 영역과 상관이 높았던 것과 같은 맥락의 결과이다. 결 론적으로 통계적 접근법에 의한 교육책무성모형의 결과는 전통적인 평가인정모형에서 적용 하는 기준을 적용한 결과와 크게 다르지 않은 최종 결과를 산출한다. 다음으로 평가인정모형과 교육책무성모형이 기관평가 모형으로서 적절성을 갖는지를 검 증한 결과를 비교하면 다음과 같다. 평가인정모형은 교육의 과정적 측면인 교육 프로그램을 중심으로 기관의 질을 평가하는 방법이므로, 본 모형을 통한 기관평가 결과로 기관의 질적 수준에 대한 직접적인 정보를 얻는데 한계가 있다. 즉, 유아교육기관의 성과인 유아의 행동발달 점수에 영향을 미치는 요 인은 유아수준과 기관수준에서의 투입요인의 영향도 있으나, 평가인정모형은 이를 체계적 으로 고려하여 평가하기가 어렵다. 이러한 관점에서 평가인정모형의 평가 항목이자 기관평 가 결과인 교육 프로그램 변수와 유아교육의 성과 변수간의 상관분석을 실시하였다. 그 결 과, 교육의 성과 변수와 관련이 없는 교육 프로그램 영역을 평가인정모형의 평가 영역으로 설정한 경우도 있으며, 관련이 있는 경우에는 대략.25~.45 정도의 상관을 보이는 것을 확 인할 수 있었다. 반면에, 교육 프로그램 영역은 교육효과 점수와는 매우 높은 상관을 보이 고 있었다. 따라서 교육효과를 준거로 할 때, 평가항목으로 선정된 교육활동 변수들은 타당 성을 갖는다. 한편, 교육책무성모형은 기관의 투입과 과정 요인뿐만 아니라 산출 요인도 기관평가의 내용으로서 광범위하게 포함하며, 투입-과정-산출 요인간의 체계적인 관계 탐구도 가능하 다. 즉, 이 연구에서 교육책무성모형에 의한 결과에서는 모든 교육프로그램 영역의 평가항 목들이 기관의 교육효과와 높은 상관을 보이고 있었으며, 각 성과지표 변수에 따라 중요한 평가항목 정보를 제공한다. Ⅴ. 요약, 결론 및 제언 본 연구는 전통적으로 우리나라에서 적용하는 교육기관평가방법으로서 평가인정모형과 통계적 접근법에 의한 교육기관 평가방법을 비교 분석하여, 두 모형의 장 단점과 차이점 163
韓 國 敎 育 제32권 제4호 학술 논문 을 도출하고, 유아교육기관평가에 대한 양적기관평가모형의 적절성을 제시하는데 연구의 목적을 두었다. 구체적으로는, 첫째, 다양한 기관평가 방법들 중에서 기관효과를 정의하는 이론적, 방법론적 관점에 따라 1) 평가인정모형: 질적 평가모형, 2) 교육책무성모형: 양적 평가모형으로 분류하여, 두 모형의 이론적, 통계 방법론적 차이를 문헌연구를 통하여 밝히 고, 평가방법에 따라 제공되는 정보의 유형과 가치를 비교하였다. 둘째, 두 모형에 의한 기 관평가 결과를 경험적으로 비교하고, 기관평가 모형으로서의 적절성을 검증함으로써 공정 하고 객관적인 평가방법이 무엇인지를 탐색하였다. 위와 같은 목적을 내세우고 추진된 본 연구의 결과를 요약하면 다음과 같다. 첫째, 평가인정모형은 유아교육기관의 과정적 측면인 교육 프로그램의 영역을 중심으로 평가지표를 설정하고, 영역별 총점에 의하여 교육조건의 양호도를 측정하는 방법으로서 기 관평가가 이루어진다. 한편, 교육책무성모형은 유아교육기관이 목적으로 하는 바를 실제로 얼마나 효과적으로 달성하였는가를 탐구하는데 초점을 두고 기관의 고유한 교육효과를 밝 혀내는 교육목표중심 평가모형이라는 점에서 평가인정모형과 차이가 있다. 둘째, 평가인정모형과 교육책무성모형에 따른 기관평가 결과를 비교해 본 결과, 평가인 정모형에 의한 기관별 순위는 교육책무성모형에 의한 교육효과의 기관별 순위와 유사한 분 포를 보이는 것으로 나타났다. 셋째, 평가인정모형에 의한 기관평가 결과는 두 가지 정보를 제공한다. 첫째, 교육 프로 그램에 대한 기관의 강점과 약점을 명료하게 해 준다. 둘째, 기관별 종합적인 평가결과를 산출하여, 개별 기관에 대한 우수, 보통, 미흡의 판정 정보를 제공한다. 그러나 기관의 교육 성과 지표에 영향을 미치는 투입요인과 교육프로그램 영역간의 관계를 체계적으로 고려하 지 못하는 한계가 있다. 따라서 평가인정모형의 평가 항목이 기관평가의 내용으로서 적합 한가를 검증하기 위하여 교육성과지표 변수들과 평가항목간의 상관을 분석한 결과, 그 관 련성 정보를 충분히 제공하지 못하는 한계가 있었다. 한편, 교육책무성모형에 의한 기관평 가 결과는, 기관의 여건 특성과 관련된 투입요인의 효과를 통제하고 기관의 교육활동과 관 련된 과정변수의 효과를 반영한다. 그 결과 고유한 기관의 교육효과를 측정하고, 기관의 순 위 정보를 제공하며, 이에 영향을 미치는 과정적 측면의 요인들을 밝혀내므로, 유아교육기 관의 질 개선뿐만 아니라 기관 지원 및 육성 등 국가정책을 위한 근거자료로도 활용될 수 있다. 본 연구의 결과를 토대로 내린 결론은 다음과 같다. 164
유아교육기관 평가를 위한 통계적 접근방법 첫째, 평가인정모형과 교육책무성모형은 이론적, 방법론적 측면에서 상이한 차이가 있음 을 문헌연구 및 경험적 예시를 통하여 밝혔다. 따라서 유아교육기관을 평가하기 위해서는 연구자가 기관평가의 목적을 어디에 두고 있는가에 따라 적합한 모형을 선택, 적용하여야 할 것이다. 둘째, 평가인정모형과 교육책무성모형에 따른 기관평가 결과를 비교한 결과, 두 모형에 의한 기관별 순위는 유사한 분포를 보이는 것으로 나타났다. 그러나 평가인정모형은 기관 의 질적 수준에 대한 직접적인 정보를 제공하는 산출 요인을 평가 영역에 포함하고 있지 않다. 또한, 이 모형의 평가 영역인 과정 측면의 요인들이 이 연구에서 나타난 것처럼 실제 로 산출 요인과 상관이 있다는 증거를 확보하지 못할 수 있다. 한편, 교육책무성모형은 기 관의 조건적 요인인 투입변수와 기관의 교육활동 요인인 과정변수, 그리고 교육의 성과를 반영하는 산출 변수도 기관평가의 내용으로서 광범위하게 포함하고 있다. 또한, 투입-과정- 산출 요인간의 체계적인 관계 탐구를 통하여 교육기관의 효율성과 관련이 있는 요인의 탐 색도 가능하다. 따라서 이 모형을 통하여 산출된 기관평가 결과는 교육기관의 질적 수준에 대한 직접적이며 객관적인 정보를 제공할 뿐만 아니라 기관의 교육 개선을 위한 실질적인 정보도 제공할 수 있다는 점에서 기관평가 모형으로서의 적절성을 갖는다. 본 연구는 다음과 같은 제한점과 후속연구 및 반복연구의 필요성을 제기한다. 첫째, 국내에서는 다층모형을 적용한 유아교육기관의 평가가 전무한 실정이므로, 다층모 형의 적합성은 실제 국내 자료에 대한 다양한 적용을 통하여 수집된 경험적 증거를 통하여 확인할 필요가 있다. 둘째, 본 연구에서는 다층모형을 적용한 평가 방법을 예시하기 위하여 유아의 행동발달 특성인 또래관계, 사회적 유능성, 언어사용능력만을 준거로 하여 유아교육기관의 효과를 산 출하였다. 그러나 유아교육기관의 교육목적과 성과는 본 연구에서 기준으로 한 행동발달 측면 이외에도 다양하게 존재할 가능성이 있으므로, 통계적 접근법에 의존한 교육책무성모 형은 객관성과 공정성은 성취하지만, 모든 유아교육기관에 획일적으로 적용하는 데는 한계 가 있다. 따라서 교육책무성 모형의 적용을 위해서는 유아교육기관의 목적과 성과지표에 대한 연구가 선행되어야 한다. 165
韓 國 敎 育 제32권 제4호 학술 논문 참 고 문 헌 강상진(1997). 학교평가의 내용과 기준. 한국교육평가학회 학술세미나 발표논문집. 학교 평가의 과제와 발전방향. 한국교육평가학회. 강상진(1998). 교육 및 사회연구를 위한 연구방법으로서 다층모형과 전통적 선형모형과 의 비교분석 연구. 교육평가연구. 11(1). 207-258 강상진(2004). 학업성취도 평가를 바탕으로 한 학교평가 모형의 적용. 시 도교육청 학교 평가 발전방향 탐색 세미나(연구자료 RM 2004-34). 한국교육개발원. 53-91 강상진, 이영, 주은희(2000). 유아교육기관 유형별 교육효과 분석 연구. 연구보고 RR 2000-14. 한국교육개발원. 강상진, 이영, 주은희, 남궁지영(2004). 유치원과 어린이집의 교육효과 비교. 유아교육연 구. 24(4). 119-140 교육인적자원부. 한국교육개발원(2005). 교육통계연보. 김혜숙(1996). 초 중등학교 기관 평가에 관한 연구. 연구보고 RR 96-6. 한국교육개발원. 박은해, 이기숙(2002). 한국의 유아교육기관 인정기준 및 체제의 개발. 1997년도 한국유 아교육학회 년차 학술대회. 한국 유아교육의 실상과 교육. 한국유아교육학회. 여성가족부 홈페이지. http://www.mogef.go.kr(검색일:2005. 9. 26) 오진석, 임연기(1988). 학교자체평가 안내서. 연구보고 RR 88-8. 한국교육개발원. 이영만 외(2004). 학교 교육기관 평가. 서울:한국문화사. 이은해(2002). 보육시설 프로그램 평가도구의 개발과 타당화. 2002년 제10회 국제학술 대회. 영유아교육기관의 인정제: 한국 일본 미국 영국 호주. 이화여대 유아 교육과 BK21 핵심사업팀 삼성복지재단. 이은해, 이기숙(1995). 유아교육 프로그램 평가척도의 타당화를 위한 연구. 유아교육연 구. 15(1). 157-178 장명림, 이기숙, 김양분(2000). 유아교육 평가모형 확립 방안 연구. 수탁연구 CR 2000-37. 한국교육개발원. 장명림, 이기숙, 최수경(2001). 국가 수준의 유치원 평가의 접근과 적용사례 연구. 유아 166
유아교육기관 평가를 위한 통계적 접근방법 교육연구. 21(4). 211-237. 조선일보 2005. 8. 2일자 10면(사회) 기사: 유치원 평가제 도입 전부터 시끌. Clark-Stewart, A. (1987). Predicting child development from child dare forms and features. The Chicago study. In D. Phillips(Ed.). Quality in child care: What does resaerch tell us? Washington. DC : NAEYC. Coleman, J. S., Campbell, E. Q., Hobsom, C. J., McPartland, J. M. (1966). Equality of educational opportunity. Washington. DC: U. S. Government Printing Office. Howes, C. & Stewart, P. (1987). Child's play with adults. toys. and peers: An examination of family and child care influences. Developmental Psychology. 23. 423-430 Madaus, G., Scriven, M., & Stufflebeam, D. (1991). Evaluation Models: Viewpoints on Educational and Human Services Evaluation. Boston: Kluwer-Nijhoff Publishing. NAEYC 홈페이지. http://www.naeyc.org/accreditation(검색일 : 2005. 9. 26) Yoon, B. and Young, M. J. (1995). School comparisons in large-scale assessments, Paper presented at the annual meeting of the National Council on Measurement in Education, San Francisco, CA. 167
韓 國 敎 育 제32권 제4호 학술 논문 Abstract A Statistical Approach for the Evaluation of Early Childhood Educational Institution Kang, sangjin (Yonsei University) Namgung, jeeyeong (KEDI) This study was to provide the empirical evidences that early childhood educational institutes can be evaluated via an appropriate statistical method. In order to show the appropriateness of the proposed model, which called the educational accountability model, this study investigated the similarities and differences between the two models: 1) traditional accreditation model: qualitative evaluation model, and 2) the educational accountability model; quantitative evaluation model that employed the multilevel modeling techniques. The study analyzed the data of 1,516 children from eighty early childhood educational institutes located at the five metropolitan cities in Korea. The findings showed that the accountability model can provide richer information for the summative and formative evaluation for the educational institutes although the summative evaluation results from the two models are close enough. The practical significance and the applicability of the accountability model were discussed with its limitation. key words:school evaluation, accreditation model, accountability model, multi-level model 168