敎育行政學硏究 The Journal of Educational Administration 2006, Vol. 24, No. 1, pp. 289~312. 시ㆍ도교육청평가결과와 교육수요자만족도조사결과간상관분석 한유경 ( 이화여자대학교 ) 요약이연구는 1997년부터시 도교육청평가의주요영역으로시행되고있는교육수요자만족도조사의의의에관심을두고상관분석을통해시 도교육청평가결과와교육수요자만족도조사결과간의일치수준을알아봄으로써교육수요자만족도조사결과의의의와활용가능성에대해검토하였다. 시도교육청평가결과와교육수요자만족도간상관의연도별추이를살펴보면, 1999년과 2001년에는매우낮은상관을보였으나 2003년에는보통수준의상관을, 2005년에는높은수준의상관을보여상관정도가정적으로증가하고있음을확인할수있었다. 끝으로본연구의결과에기초한향후시 도교육청평가체제의개선을위한방법론적시사점을제시하였다. [ 주제어 ] 시 도교육청평가, 교육수요자만족도조사, 상관분석 Ⅰ. 서론 공공부문도공익을추구하는가운데효율성과책무성을최대한으로실현해야한다는논리가전개되면서 공공기관평가시대 가도래하였다. 공공부문가운데에서도교육은국가경쟁력향상의원천이자국민들의가장큰관심사라는점에서교육행정기관도평가의대상에서예외가될수없다. 이러한맥락에서우리나라의시 도교육청도지방교육에대한책임을지는공공기관으로서평가를받기시작한지 10년이되었다. 시 도교육청평가는각시 도교육청의수행업무와제반활동이교육수요자를만족시키고교육의질을향상시키는데얼마나기여하는지를평가하기위한것으로서, 1996년에처음도입된이래 2005년까지총 7회가실시되었다. 시 도교육청평가는그결과가공
290 敎育行政學硏究 개될뿐만아니라결과에따른차등지원금이부여되고있어평가에대한관심이높다. 그동안평가가실시되는가운데제도의수정 보완이부분적으로이루어졌으나, 보다종합적이며심도있는검토가필요하다는논의가필요하다. 특히이연구는 1997년부터시 도교육청평가의주요한한부분을차지하고있는교육수요자만족도조사결과의의의와활용가능성에대해서논의해보고자한다. 시ㆍ도교육청평가에서교육수요자만족도조사는평정자가평가전문가가아니라교육수요자라는측면에서독자성을지닌다. 수요자만족도조사를통해교육수요자들의목소리를시ㆍ도교육청운영에반영하려는움직임은기존의행정중심적사고에서벗어나시대의요구에민감하게대처하고진보하는데기여할수있다는점에서고무적이다. 그러나자칫즉흥적인의견이나숙고가결여된평정, 혹은피상적인참여로오히려시ㆍ도교육청평가의신뢰도를저하시킬우려가존재하는것이사실이다. 따라서교육수요자만족도조사가과연시ㆍ도교육청교육업무수행의성과를제대로평가할수있는자료가될수있는가에대한검토가필요하다. 또한교육수요자만족도조사는전년도의공과분석을통해매회변화해왔는데이러한변화가긍정적인방향으로접근하고있는지에대한분석도이루어져야할것이다. 교육수요자만족도조사가시작된이래시ㆍ도교육청평가에대한연구 ( 공은배외, 2002; 백순근, 2002; 박윤정, 2005) 나, 교육수요자만족도자체에대한연구 ( 김양분외, 2003; 김양분외, 2005a; 서정화외, 2001) 는수행된바있으나, 시ㆍ도교육청평가의한부분으로서교육수요자만족도조사의의미를심층적으로다룬연구나종단적관점에서그동안의평가결과를조망한연구는부족한실정이다. 이에시 도교육청평가의주요영역으로시행되고있는교육수요자만족도조사에관심을두고평가위원에의한시 도교육청평가결과와별도의조사를통한교육수요자만족도조사결과와의관계를 1999년, 2001년, 2003년, 2005년의 4개연도에대해분석고자한다. 이연구의결과가향후시 도교육청평가체제의개선에유의한시사를제공하는자료로활용되기를기대한다. Ⅱ. 시ㆍ도교육청평가와교육수요자만족도조사의현황 1. 시ㆍ도교육청평가체제의현황 시ㆍ도교육청평가는시ㆍ도교육청의행ㆍ재정운영능력을종합적으로진단하고교육부정책을추진할수있는효과적인정책수단으로기능하고, 시 도교육청간경쟁을유발하여교육행정의효율성을신장하고교육의질적수준을제고할뿐만아니라다양한교육개혁과제를효과적으로실현시키고자실시되고있다. 즉, 시 도교육청평가
시ㆍ도교육청평가결과와교육수요자만족도조사결과간상관분석 291 는시 도교육청간선의의경쟁을촉진하여교육행 재정지원체제의발전을위한자발적인노력을유도하고궁극적으로는학교교육의책무성확보와교육의질적수준을제고하기위해실시된것이다. 초 중등교육법제9조제2항 1) 에제시된시 도교육청평가의목적은 교육행정의효율적수행을위한것 이다. 이에따라시 도교육청평가는시 도교육청간선의의경쟁을촉진하여교육행 재정지원체제의발전을위한자발적인노력을유도하고, 궁극적으로는시 도교육청의책무성확보와학교교육의질적수준을제고하기위한목적으로실시되고있다 ( 시ㆍ도교육청평가위원회, 1997; 시 도교육청평가위원회, 2001). 또한초ㆍ중등교육법시행령 2) 제12조에의하면, 시ㆍ도교육청평가는 1 예산의편성및운용, 2 학교및교육기관의설치ㆍ운영, 3 교육과정편성ㆍ운영및교수ㆍ학습방법, 4 교직원의인사관리및후생복지, 5 기타교육인적자원부장관이필요하다고인정하는사항등을기준으로평가하도록되어있다. 1996년부터 2005년까지 7회에걸쳐실시된시ㆍ도교육청평가의주요평가영역및평가과제, 평가항목및배점등을살펴보면 < 표 1> 과같다. 시ㆍ도교육청평가는매번실시되면서평가영역및평가과제, 평가항목및기준등이변화되어왔다. 시ㆍ도교육청평가첫해인 1996년에는교육개혁분야와교육정책분야의 2개평가영역에서 22개정책과제를평가하였으나, 1997년에는교육수업개혁, 수요자중심의학교체제구축, 교육복지구현, 교육정보화및행ㆍ재정지원체제의효율화, 교육개혁추진의지및기반조성등 5개분야의 20개정책과제에대한평가를실시하였다. 1997년과비슷한방식으로 1998년에는 4개분야 15개과제, 1999년에는 5개분야 20과제 ( 시지역 : 19과제 ) 에대하여평가였으며, 격년제평가첫해인 2001년의경우, 국가주요정책사업, 교육청자율ㆍ특색사업, 일반정책사업의 3개영역에서 15개정책과제를평가하였다. 2003년과 2005년평가에서도 5차평가내용을따르고있으며주요평가영역은국가정책과제, 교육청의일반업무, 자율 특색사업이며, 2001년평가이후 2005년까지의시 도교육청평가의주요내용에는교육청의기본기능이포함되고있다. 시ㆍ도교육청평가의연도별평가영역은그당시의주요교육정책의내용을반영하고있어교육정책의변화에따라달 1) 이는 1997 년 12 월 13 일에제정되고 2001 년 4 월 7 일에 4 차개정된 초 중등교육법 ( 법률제 6462 호 ) 을근거로하고있다. 第 9 條 ( 評價 ) 2 敎育人的資源部長官은敎育行政의효율적수행을위하여필요한경우에는地方自治團體의敎育 科學 技術 體育기타學藝에관한事務를管掌하는地方敎育行政機關과學校에대하여評價를실시할수있다. < 개정 2001.1.29> 3 第 2 項의規定에의한評價의대상 기준및節次와評價結果의公開등에관하여필요한사항은大統領令으로정한다. 4 評價對象機關의長은특별한사유가있는경우를제외하고는第 1 項및第 2 項의規定에의한評價에응하여야한다. 2) 이는 1998 년 2 월 24 일에제정되고 2001 년 10 월 20 일에 10 차개정된 초 중등교육법시행령 ( 대통령령제 17390 호 ) 을근거로하고있다.
292 敎育行政學硏究 라지고있음을알수있다. 각연도별평가의주요내용및특징을살펴보면아래 < 표 2> 와같다. 1차에서부터 4차시 도교육청평가의주요내용은일반교육정책분야 ( 예 : 교원, 행정, 재정, 시설 환경등 ) 와평가시점에서강조되었던국가주요교육정책분야 ( 예 : 교육개혁과제, 새학교문화창조과제등 ) 로나눌수있으며, 특히 2001년 5차시 도교육청평가에서는앞에서언급한두분야와함께추가로시 도교육청별자율 특색사업이새롭게평가내용에포함되었다는점에서기존평가와구별된다 ( 백순근, 2002; 부산광역시교육청, 2002). < 표 1> 시ㆍ도교육청평가의평가영역, 과제및항목수, 배점현황 차수 ( 연도 ) 1차 (1996) 2 차 (1997) 3 차 (1998) 4 차 (1999) 5 차 (2001) 6 차 (2003) 7 차 (2005) 평가영역 교육정책분야 교육개혁분야 교실수업개혁 수요자중심의학교체제구축 교육복지구현 교육정보화및행ㆍ재정지원체제의효율화 교육개혁추진의지및기반조성 ( 교육수요자만족도조사포함 ) 교실수업혁신 교육재정운용의효율화 수요자중심의학교체제구축 ( 교육수요자만족도조사포함 ) 교육지원체제강화 교실수업개선을위한새학교문화창조 능력중심의교원인사체제확립 학생 / 학부모중심의학교체제구축 ( 교육수요자만족도조사포함 ) 교육재정운용의효율화 교육지원체제강화 국가주요정책사업 교육청자율ㆍ특색사업 일반정책사업 ( 학생및학부모의만족도조사 ) 국가주요정책사업 ( 교육수요자만족도조사포함 ) 교육청자율ㆍ특색사업 일반정책사업 ( 교육수요자만족도조사포함 ) 국가주요정책사업 ( 교육수요자만족도조사포함 ) 교육청자율ㆍ특색사업 일반정책사업 ( 교육수요자만족도조사포함 ) 평가과제수 7 15 9 4 5 4 5(1) 3 4 3(1) 5 3 4 4(1) 4 4/5 2 3 10(1) 5(1) 1 24(5) 6(1) 1 28(5) 세부평가항목수 25 50 40 19 24 19 17 43 16 12 18 39 18 20 19 33/40 13 6 17 12 12 69 14 6 55 배점 ( 시 / 도 ) 100 100 200 110 130 120 140(30) 130 130 120(30) 120 160 60 140/115(30) 100 140/165 165 125 210(15) 180(10) 100 320(25) 165(10) 90 345(30) 총점 200 700 500 600 500 600 600 자료 : 시ㆍ도교육청평가위원회 ( 각년도 ). 시ㆍ도교육청평가보고서.
시ㆍ도교육청평가결과와교육수요자만족도조사결과간상관분석 293 주 : 1. 평가과제와배점의 ( ) 은교육수요자만족도조사과제와배점을의미함. 2. 4 차평가의학생 / 학부모중심의학교체제구축과교육지원체제강화에서의과제와점수에서 / 표시는 시의경우 / 도의경우 임. 2003년시 도교육청평가체제는시 도교육청평가체제및방법의개선방안연구 (2002) 결과를반영하여시 도교육청의핵심업무위주로 5개의평가영역을선정하여, 이를 시 도교육청일반업무평가 분야의하위영역으로선정하였으며, 국가의주요정책사업에대한평가보다는시 도교육청에서일반적으로이루어지는중점적이고핵심적인업무에대한평가비중을확대하여시 도교육청의내부역량에대한평가를강화하였다. 2001년도평가에서처음실시된자율 특색사업분야에대한문제점을고려하여평가비중을축소하였다. 교육수요자만족도조사는평가결과와만족도조사와의상관관계확보를위하여각평가영역에하위평가과제로포함시켰고, 교육수요자의범위에교사를포함하였다. 2005년의경우도 2003년의평가기조를유지하였으나시 도분리평가첫해로시지역에대해실시하였다 ( 시 도교육청평가위원회, 2003; 시 도교육청평가위원회 2005). 그간시ㆍ도교육청평가는 7차례실시 3) 하면서나름대로평가의제도적기반을조성하고시ㆍ도교육청행ㆍ재정을포함한교육운영의합리성및책무성의충족여부를시ㆍ도교육청스스로확인ㆍ점검하여문제점을개선할수있는기회를제공하였다는점에서제도도입ㆍ운영의의의가크다고할수있다. 그러나아직까지평가에대한이해부족, 거부감, 그리고평가방식의미숙등으로제도정착에어려움이있는것이사실이다. 매년평가영역및항목, 기준및배점, 방식등이변화하여체계적이고일관성있는평가가실시되지못하고있으며, 이러한평가체제의불안정성은평가기관과피평가기관모두에게과부담을초래하고있다. 뿐만아니라시ㆍ도교육청이권한이양또는위임받은고유교육업무에대한평가와중앙정부부처로서의교육 ( 인적자원 ) 부의정책추진에대한 ( 시ㆍ도교육청의협조ㆍ대응정도에대한 ) 평가가혼합되어그성격이모호한상태이다. 즉, 평가, 감사, 장학지도간구분이모호하다는주장이제기되고있다. 이에시ㆍ도교육청평가의성격을새롭게정의할필요가있다 ( 박윤정, 2005). 더구나 2005년 11월에는정부혁신관리기본계획 (2005.1.) 에의하여 6월에실시된시ㆍ도교육청평가와는별개로 16개시ㆍ도교육청을대상으로지방교육혁신평가와재정운영평가를연계하여혁신역량, 혁신과제, 핵심교육정책, 재정운영성과, 그리고고객만족도평가를실시하였다. 교육청평가, 혁신평가, 재정성과평가의내용을비교해보면교육청평가와재정성과평가는평가과제가동일하고, 혁신평가는혁신역량과혁신과제를제외 3) 1996 년처음도입되어실시되기시작한시ㆍ도교육청평가는 1999 년까지는매년실시되었으며, 그이후부터는격년제로실시되어현재까지총 7 회 ( 96~ 99 년 : 4 회 ; 2001 년, 2003 년, 2005 년각 1 회 ) 실시되었으며, 2005 년에는시교육청평가와 2006 년에는도교육청평가가실시될예정이었다.
294 敎育行政學硏究 한핵심교육정책의평가과제가기존의시ㆍ도교육청평가의과제와동일하다는문제점을지적할수있다. 평가목적, 내용, 방법, 결과활용측면에서세가지시ㆍ도교육청을대상으로하는평가가중복적으로이루어지고있어행정낭비를초래하고있다. < 표 2> 시 도교육청평가연도별주요내용및특징 연도별실시방법 96 97 98 99 2001 2003 2005 3 개평가팀으로구성, 교육정책분야와교육개혁분야로나누어평가 평가대상군 ( 群 ) 을여건이비슷한시와도로분리하여실시 - 市지역 (6 개 ) : 서울, 부산, 대구, 인천, 대전, 광주 - 道지역 (9 개 ) : 경기, 강원, 충남, 충북, 경북, 경남, 전남, 전북, 제주 서면보고서실적확인등현장방문평가강화 6 개평가팀으로구성운영 평가대상군 ( 群 ) 은 96 년도와같이시 ( 市 ) 와도 ( 道 ) 지역으로구분 교육수요자만족도설문조사처음실시 현장평가장에교육수요자참여 ( 참관인, 현장평가위원활용 ) 6 개평가팀구성운영 평가대상권역을인구수를기준으로하여 4 개지역으로구분 - 시 1 권역 : 서울, 부산, 대구, 인천 - 시 2 권역 : 광주, 대전, 울산 - 도 1 권역 : 경기, 전북, 전남, 경북, 경남 - 도 2 권역 : 강원, 충북, 충남, 제주 10 개평가팀구성운영 평가실명제도입 ( 평가영역, 과제, 보고서등의평가위원명의작성 ) 현장부담완화및다양한평가기법활용 9 개평가팀으로구성운영 시 도평가격년제원년으로 2 개년도에대한평가실시 시 도자율특색사업평가 7 개평가팀으로구성운영 시 도평가격년제로 2 개년도에대한평가실시 시 도자율특색사업평가 교육수요자만족도조사 : 평가결과와만족도조사와의상관관계확보를위하여각평가영역에하위평가과제로포함하고, 교육수요자의범위에교사를포함. 7 개평가팀으로구성운영 시 도분리평가첫해로시에대해평가실시 시자율특색사업평가 시 도교육청평가와는별개로지방교육혁신평가및재정운영평가실시 자료 : 부산광역시교육청 (2002). 2003 평가방향진단과대책. 시ㆍ도교육청평가위원회 ( 각년도 ). 시ㆍ도교육청평가보고서. 2. 교육수요자만족도조사의연도별특징 시 도교육청평가에서는 1997년이래로교육청평가의일환으로교육수요자만족도조사를매회실시하고있다 (< 표 1> 과 < 표 2> 참조 ). 교육수요자만족도조사는 수요자
시ㆍ도교육청평가결과와교육수요자만족도조사결과간상관분석 295 중심교육 이라는교육개혁의방향을표방하며, 교육수요자인학부모와학생들이교육청의시책및서비스에대해만족하고있는정도를파악하여평가에반영하는동시에각시 도교육청이교육정책및행정개선방안을수립하는데필요한기초자료를제공하기위한목적으로시행되었다. 이것은중앙정부가산하행정기관에대한고객 ( 수요자 ) 의반응 ( 만족도 ) 정도를평가한최초의시도라할수있다 ( 시 도교육청평가위원회, 1997). 미국을비롯한선진국에서는대부분의교육구단위에서학부모만족도조사를실시하고있다 (Brown et, al, 1992; Tuck, 1995; King & Bond, 2000). 뿐만아니라전국적으로실시된교육만족도조사도수행되고있다. ETS는전국 55개대도시의학부모를대상으로거주지역의공립초등학교에대한만족도를조사하였으며 (Carnevale & Desrochers, 1999), 2001년에는공 사립학교에대한만족도와인식의차이를알아보는전국적인설문조사가실시되기도하였다. 주요국가의교육만족도조사는문화적특성에따른다양한변인을고려하여종합적인정보수집이이루어지고있고장기간에걸쳐순차적으로만족도조사가시행됨으로써교육정책의효과분석이나정책입안에고려되고있다 ( 김양분외, 2003). 우리나라시ㆍ도교육청평가를위한교육수요자만족도조사는학생, 학부모, 교사를교육서비스의최종수요자로판단하고, 이들을조사대상모집단으로설정하고있다. 이조사에서는매년조사대상별로설문조사를실시하였다. 해당연도별특징을살펴보면다음과같다. 1997년에는중앙교육심의회가전국의초등학교 5 6학년, 중학교의경우 1 2 3학년, 고등학교의경우일반계고등학교 1학년에서학생1,566명과학부모 1,502명으로서전화조사방법에의해서교육활동세부영역별노력정도와일반영역별만족도를평가하였다. 일반영역의세부영역별만족도평가점수와만족도총괄평가와의상관계수를각문항의가중치로하여일반영역종합만족도를산출하고, 세부항목별노력도를산출하였다. 교육활동종합노력도와일반영역종합만족도의정책적반영비율 (0.6 대 0.4) 을적용하여조사대상자별종합만족도를산출하고조사대상자별정책적가중치 ( 반영비율 ) 를적용하여최종적인학생 학부모만족도를산출하였다 ( 중앙교육심의회, 1997). 이와같이상관계수를가중치로활용하여종합만족도를산출하는과정은보다신뢰로운결과를얻기위한시도로평가할수있다. 1998년도는시 도별로전국의초 중 고등학교 1개교당 20명씩총 158개교의학교를표집대상학교로선정하고, 표집대상학교에서초등학교의경우 5, 6학년, 중학교의경우전학년, 고등학교의경우일반계와실업계고등학교 1, 2학년에서학생을선발하였다. 표본추출방법은전국 시도별로학교급별조사대상학교수를임의로할당한후,
296 敎育行政學硏究 전국중 고등학교리스트를이용한추출방법을이용하여학교를선정한뒤선정된학교별로무작위로학년 학급을지정하였다. 마지막으로선정된학급에서기준번호를시작으로 20명씩체계적으로추출하였다. 학부모는 1차전화번호부를이용한체계적추출법으로가구를선정하였으며, 16개광역시 도별, 자녀학교별유의할당추출법으로최종응답자를선정하였다. 조사도구는교육만족도측정을위한 학교교육활동에대한조사설문지 를사용하였다. 조사도구는조사내용별로 강한긍정 에서 강한부정 까지 5점척도로개발되었으며, 조사대상에따라초등학생용과고등학생용, 학부모용, 조사방법에따라설문조사와전화조사로구분하여개발되었다. 조사영역및내용은크게교육활동평가와일반영역평가의둘로나눈뒤각각초 중 고등학생 학부모에맞는내용을측정하였다. 이상의내용에서알수있듯이 1998년도만족도조사의경우표집추출방법을체계화하고조사대상에적합한접근방법을모색함으로써만족도조사결과의외적타당도를확보하고자노력한것으로해석할수있다. 1999년도는시 도별로전국의초 중 고등학교와학부모를표집대상으로선정하고, 전화번호부를이용한체계적무작위추출을한후대상자별, 16개시 도별, 학교급별유의할당에따른응답자를표본으로추출하였다. 1998년의조사의경우일반계, 실업계고등학교 1, 2학년대상이었으나 99년의경우 새학교문화창조 의주요대상이일반계고등학교 1학년생이므로일반계고등학교 1학년학생및학부모에한정하여조사하였다. 조사도구는역시교육만족도측정을위한 교육수요자만족도조사설문지 를사용하였고 5점척도로개발되었다. 역시조사대상에따라서초등학생, 초등학생학부모, 중학생, 중학생학부모, 고등학생, 고등학생학부모용으로각각구분되어개발되었으며, 모두 CATI (Computer-Aided Telephone Interview) 를이용한전화조사용으로개발되었다. 조사내용은노력도와만족도의두가지영역으로나누어평가를하였고 98년도에이어연속평가하는항목도많았으며, 특히새학교문화창조가포함되었다. 1999년도만족도조사의경우 1998년도평가의연장선상에서평가도구가설계된것으로볼수있으며정책변화에따라새로운영역을포함시키는등교육현안에민감하게변화할수있는교육수요자들의인식을측정하고자시도한것으로분석된다. 2001년도에는시 도별국 공립학교중에서초 중 고등학교 ( 고등학교는일반계고등학교에한함 ) 각각 2개교씩 6개교, 전국적으로총 96개교의학교를표집대상으로선정하고, 표집대상학교에서초등학교의경우 5, 6학년, 중학교와고등학교의경우 1, 2, 3학년에서 1~2개학급을선정하여출석번호순으로표집학생을선정하였다. 시 도별로표집대상학교선정은도지역의경우도청소재지 ( 대도시 ) 에서초, 중, 고각 1개씩, 읍, 면지역에서초, 중, 고각 1개교씩을표집하였으며, 특별시와광역시의경우갑지 ( 도심지역 ) 와을지 ( 변두리지역 ) 로나누어초, 중, 고각 1개교씩을표집하였다. 표집규모
시ㆍ도교육청평가결과와교육수요자만족도조사결과간상관분석 297 는시 도별, 표집대상학교별로동수로하였다. 조사도구는연구진이자체개발한교육만족도측정을위한 학교교육에대한설문지 를사용하였고 5단계평정척도로개발되었다. 조사대상에따라학생용과학부모용, 조사방법에따라설문조사와면담조사 ( 학부모용은전화면담 ) 로구분하여개발되었는데 학교운영위원회운영 은학부모용에만포함되었으며, 그이외의내용은모두동일하게구성되었다. 특별히기존과는사뭇다르게영역을 5개의영역 ( 교과교육활동, 교과외교육활동, 학생지도, 학교와지역사회관계, 일반만족도 ) 으로나누고그안에각 2-5개의세부조사내용을포함시켰다 ( 서정화외, 2001). 이러한시도를통해평가도구가보다정교해졌으며다면적측면들을조사하기적합하도록개선되었다평가할수있다. 김양분외 (2003) 에의하면, 2003년의교육수요자만족도조사는평가결과와만족도조사와의상관관계확보를위하여각평가영역에하위평가과제로포함시켰고, 교육수요자의범위에교사를포함하여시 도교육청의교육행정에대한교육수요자의만족도를조사하여평가에반영하였다. 시 도별로표집대상학교선정은도지역의경우도청소재지 ( 대도시 ) 에서초, 중, 고각2개씩, 읍, 면지역에서초, 중, 고각 2개교씩을표집하였으며, 특별시와광역시의경우지역교육청의안배를고려하였다. 조사도구는연구진이자체개발한교육만족도측정을위한 학교교육에대한설문지 를사용하였고 5단계평정척도로개발되었다. 2001년까지는교육수요자만족도조사가별도의영역이었으나 2003년도에는시 도교육청영역별로교육수요자만족도조사를포함하였기때문에시 도교육청평가항목과시 도교육청자체평가서편람의평가기준을근간으로조사내용이선정되고조사도구가개발되었다 ( 김양분외, 2003). 이는교육수요자만족도가별도의개념으로다루어지기보다는시ㆍ도교육청평가항목의하위영역을구성하는의미있는변인으로다루어져야한다는의도가포함된것으로해석할수있다. 2005년의교육수요자만족도조사에서가장큰변화는대상모집단이시 도교육청의교육지원활동의수요자인유치원과평생교육기관으로확대되었다는점이다. 조사대상의표본추출방법은다단계동수유층군집방법을활용하였다. 유치원과학교는지역교육청의안배를고려하면서본원교육통계ㆍ정보센타의학교통계 DB을활용하여무선표집하였다. 평생교육에대한만족도는특별시와광역시에소재한지역평생교육정보센타의프로그램강사 30명과수강자 50명씩을대상으로우편조사방법에의해서설문지조사가실시되었다. 조사도구는시 도교육청자체평가서편람 ( 시 도교육청평가위원회, 2005) 의평가기준에근거하여교육수요자만족도문항으로측정할수있는문항에한정하여개발되었다. 교육수요자만족도조사문항개발의근거를시 도교육청자체평가서편람의평가기준에둔이유는수요자만족도의점수배점이시 도교육청평가편람의평가영역별로배당되었기때문이다. 즉시 도교육청평가위원회에서공
298 敎育行政學硏究 교육내실화 10점, 교육과정 5점, 교원 10점, 교육행ㆍ재정 5점, 유아ㆍ특수ㆍ학교보건지원 5점, 평생ㆍ직업교육지원 5점으로총 600점만점중 40점을영역별교육수요자만족도로반영하는것으로확정하였다. 2005년도시 도교육청평가수요자만족도결과의반영방법이 2003년도와같으므로, 2003년교육수요자만족도조사문항을근거로 2005년도의변화된평가기준을반영하여 2005년조사문항을개발하였다. 2005년교육수요자만족도조사를위한 학교교육에대한설문지 가학생용, 학부모용, 교사용으로개발되었으며, 유아교육에대한설문 이유치원교사용으로개발되었고, 평생교육에대한설문 이평생교육기관의강사용과수강자용으로개발되었으며모두 5단계평정척도로구성되었다 ( 김양분외, 2005b). 이와같이교육수요자의범위를확장함으로써전생애적인관점에서교육서비스를조망할수있게되었다. 또한학교외교육기관의운영현황에대한체계적이고공식적인정보가수집되므로학교교육의교육수요자만족도측면에대해다양한시각을제공받을수있을것으로기대된다. 상기연도별교육수요자만족도조사의특징분석을통해, 조사도구의신뢰도와타당도를확보하기위해매회다각적인시도가수행되었음을알수있다. 공통적으로체계적인표집추출방법을사용하여조사결과의외적타당도를확보하고자노력하였으며, 보다정교하고상세한정보를얻기위해조사도구를개선시켜온것으로파악된다. 특별히 2003년부터개별적으로실시되던교육수요자만족도조사영역을평가전문가들에의해실시되는시ㆍ도교육청평가의하위항목과동일하게구성되도록재편성한시도를통해교육수요자만족도를시ㆍ도교육청평가의주된하위구인으로인식하려는움직임을읽을수있다. 그렇다면과연이러한시도에따라시ㆍ도교육청평가와교육수요자만족도조사간관계에변화가나타났는지분석해볼필요가있다. 이러한분석을통해교육수요자만족도조사방법의변화에대한의의를논의하고나아가교육수요자만족도조사가시ㆍ도교육청평가체제개선에어떠한점을시사점을도출할수있는지에대해논의하고자한다. Ⅲ. 시 도교육청평가결과와교육수요자 만족도조사결과의상관분석 1. 상관분석방법 이연구에서는각해당연도별로교육수요자만족도점수와시 도교육청평가종합점수의상관관계를알아봄으로써교육수요자만족도의의미를고찰하고자한다. 만일교육수요자만족도점수와시 도교육청평가종합점수의상관관계가낮게산출된다면
시ㆍ도교육청평가결과와교육수요자만족도조사결과간상관분석 299 이는시ㆍ도교육청평가에서측정하는교육의특질 (trait) 과교육수요자만족도조사에서측정하는교육의특질이상이함을반증하는것이다. 그러나시ㆍ도교육청평가에서높은점수를받은 좋은교육 라면, 교육수요자만족도점수역시높아야한다는것이일반적인기대이며시ㆍ도교육청평가가궁극적으로추구해야하는이상적인모습일것이다. 더구나교육수요자만족도가단순히교육수요자들의일시적인호감도를조사하는것이아니라, 시ㆍ도교육청평가와긴밀한관계를지니고의미있는결과를산출함으로써교육발전에기여하고자하는데목적을두고있다면교육수요자만족도와시 도교육청평가의상관분석은여러측면에서시사점을제공할수있을것이다. 또한, 교육수요자만족도와시 도교육청평가의상관분석은측정학적관점에서도의의를지닌다. 평가의양적수행을위해서는교육수요자만족도조사와같은평가도구가사용된다. 평가도구에의한결과를수용하기위해서는높은수준의신뢰도와타당도가확보된평가도구가사용되어야할것이다. 신뢰도 (reliability) 란평가도구가평가하고자하는속성을얼마나안정적으로일관성있게평가하였는가에대한문제이며, 타당도 (validity) 란평가도구가평가하고자하는속성을얼마나충실히평가하였는가, 즉, 평가도구가평가의목적에얼마나부합하느냐의문제이다. 신뢰도와타당도는모두평가도구가갖추어야할중요한속성이지만타당하지않은평가도구가높은신뢰도를가지는것은큰의미가없으므로타당도는신뢰도에선행하여확보되어야하는요소이다. 시 도교육청평가역시사용된평가도구가얼마나높은타당도를지니고있는지검증함으로써평가결과의이해및활용에의미있는정보를제공할수있을것이다. 평가도구의타당도를검증하는방법에는여러가지가있다. 우선평가전문가들이평가항목의내용을논리적사고에입각하여분석하는내용타당도검증이있다. 이방법은평가목적의적합성여부를검증할수있지만주관적인견해가포함되거나전문가들의입장에따라다른결과를도출할수있다는점에서단점을지닌다. 이러한단점을극복하고보다객관적인근거를제공하는방법으로구인타당도가있다. 구인타당도 (construct validity) 란평가도구에포함되어있는하위요인들이긴밀한연관성을가지고동일한구인을평가하는데기여하는지를판단하는것으로, 상관계수법, 실험설계법, 요인분석등의방법을통해검증된다. 그밖에평가결과와외적변수의관계를분석하는예측타당도, 공인타당도, 타당도일반화방법등이타당도검증방법으로존재한다. 시 도교육청평가의경우수요자중심교육의중요성이대두되면서평가지표가운데하나로교육수요자만족도영역이추가되었다. 이러한수요자만족도영역이다른지표들과어떠한관계에있는지, 시 도교육청평가의하위구인으로써제대로기능하고있는지분석함으로써시 도교육청평가도구의타당도검증에기본적인정보를제공할수있을것이다. 이와같은목적을달성하기위해상관계수법을통한구인타당도검증을
300 敎育行政學硏究 시도하였다. 상관계수법이란총점과특정구인과의상관계수를통해타당도를검증하는방법으로, 특정구인에서낮은상관계수가산출되면이는평가도구의타당도가확보되지못했음을의미한다 ( 성태제, 2006). 상관계수법은구인을확인하는방법으로는다소부족한근거로평가될수있으나, 현재시행되는평가자료로수행할수있는유일한기법이므로한계를감안하면서분석을실시하였다. 2. 1999년과 2001년시 도교육청평가결과와교육수요자만족도결과간의상관분석 < 표 3> 에서볼수있듯이, 교육수요자만족도점수와시 도교육청평가총점간의상관관계는 99년.234, 2001년 -.003으로모두유의도가높지않은수치였다. 즉, 수요자만족도점수와시 도교육청평가총점간은상관이낮다. 또한수요자만족도점수의순위를매긴것과시 도교육청종합평가의순위간의상관관계를분석해보았다 ( 순위분석에서 Spearman 과 Kendall의상관계수를사용. 특히 Kendall의타우계수는표집규모가적을때에유용함 ). 그러나총점과마찬가지로 99년에는.076, 2001년에는.025로매우낮은수치였다. 한편, 시 도교육청평가의항목과교육수요자만족도조사에서의항목중거의같은영역을측정한다고생각되어지는항목간의상관관계를분석하였다. 1999년도에서는우선시 도교육청평가의 시설 영역과교육수요자만족도조사에서의 학교시설 영역의점수간의상관관계를알아보았다. 시 도교육청평가의 시설 과수요자만족도조사에서의 학교시설 점수간의상관관계는.293으로낮은상관관계를보여주었다. 교육수요자만족도조사에서의학교운영위원회의항목과시 도교육청평가에서의학교운영위원회의내실화의항목간의상관관계를분석하였다. 수요자만족도조사에서의학교운영위원회의항목과시 도교육청평가에서의학교운영위원회의내실화의항목간의상관관계를분석한결과.114로거의상관이없는것으로나타났다. 교육수요자만족도조사에서의새학교문화창조홍보항목과시 도교육청평가에서의새학교문화창조의항목간에는 -.015로매우낮은상관계수로나타났다. 2001년도조사에서도시 도교육청평가의 시설 과수요자만족도조사에서의 학교시설 간의상관관계를알아보았는데 -.159로매우낮은상관을보였다. 이와같은낮은상관은시ㆍ도교육청평가위원회의평가항목과교육수요자만족도조사의항목이같은내용을측정하지않기때문이거나오차의영향인것으로보인다. 그다음으로는표집규모의문제를들수있다. 매년도보통 3000명을대상으로하고있어언뜻보면커보이는숫자이나학생학부모로나누었을때보통학생이 1500명정도이
시ㆍ도교육청평가결과와교육수요자만족도조사결과간상관분석 301 며, 이것도각시 도별로나누어보면가장최소치인 30-40명정도인것을알수있다. 가장표본수가많은 2001년도에는 2배의표본을수집하였으나전국단위의조사로서는적은표본임에틀림없다. 비록비용과시간의문제가있지만, 전국단위의조사인만큼각시 도별과그속에있는조사대상별로 100정도는되어야할것이다. 이것은연구의타당성과신뢰성을높이는방법이기도하며, 앞서말한것처럼데이터를축적시켜나가다보면자연적으로해결되어질문제이기도하다. < 표 3> 1999 년과 2001 년시ㆍ도교육청평가결과와수요자만족도결과간상관 (N=16) 구분상관종류 1999 년상관계수 2001 년상관계수 총점 Pearson 의적률상관계수 0.234 -.003 순위 Kendall 의 τ 0.076 0.025 Spearman 의등위상관계수 0.132 0,029 교육수요자만족도조사의조사방법또한문제점으로들수있다. 교육수요자만족도조사에서는전화조사와설문조사그리고면담조사를실시하였는데, 1999년은전화조사만실시되었다. 전화조사의특징상많은문항을조사하기에는부적절하며측정도구또한 5점척도로하기에적절하지못하다. 이것은 2001년의학부모전화조사에도동일하게적용된다. 3. 2003년과 2005년시 도교육청평가결과와교육수요자만족도결과간의상관분석 2001년까지의교육수요자만족도조사의문제에대한지적 ( 공은배외, 2002) 에의하여, 2003년부터는전술하였듯이, 교육수요자만족도조사를별도로실시하지않고각평가영역에하위평가과제로포함시켰다. 따라서조사도구는시 도교육청자체평가서편람 ( 시 도교육청평가위원회, 2003) 의평가기준에근거하여교육수요자만족도문항으로측정할수있는문항에한정하여개발되었다 4). 즉, 시 도교육청평가위원회에서공교육내실화 10점, 교육과정 5점, 교원 5점, 교육행ㆍ재정 5점, 교육지원 5점, 평생ㆍ직업교육 5점으로총 600점만점중 35점을영역별교육수요자만족도로반영하였다. 4) 교육수요자만족도조사문항개발의근거를시 도교육청자체평가서편람의평가기준에둔이유는수요자만족도의점수배점이시 도교육청평가편람의평가영역별로배당되었기때문이다.
302 敎育行政學硏究 2005년도시 도교육청평가수요자만족도결과의반영방법이 2003년도와같으므로, 2003 교육수요자만족도조사연구 ( 김양분외, 2003) 의조사문항을근거로 2005년도의변화된평가기준을반영하여조사문항을개발하였으나교원영역의경우는시 도교육청평가위원들의건의에따라교원영역만족도 10점중 5점은평가편람의기준에근거한문항으로산출하고, 나머지 5점은교사에대한일반적인만족도문항으로점수를산출하였다. 총 600점만점중 40점을영역별교육수요자만족도로반영하였다. 2003년시ㆍ도교육청평가결과와교육수요자만족도조사결과의상관을알아보기위해분석을실시하였다. 시도교육청평가결과에서만족도평정결과를제외한점수와교육수요자만족도점수에대해총점및순위간상관계수를추정하였다. 분석결과총점간상관은 0.430으로산출되었고, 순위간상관은 Kendall의 τ가 0.150, Spearman의등위상관계수가 0.206으로다소낮게산출되었다 (Kendall의 τ는표본수가적은경우보다안정적인통계치를제공함 ). 일반적으로상관계수가 0.4~0.6 사이인경우상관이존재한다고해석하며, 0.0~0.2 사이인경우상관이거의없다고해석하고, 0.2~0.4 사이인경우상관이낮다고해석한다 ( 성태제, 2006). 이러한준거에따르면시도교육청평가결과와만족도간관계에있어총점간에는상관이존재하나순위에서는상관이낮거나거의없다고할수있다. 그러나상관분석의대상이 16개시도교육청으로상관계수를추정하기에는비교적적은사례수를지니고있어이와같은상관계수들은통계적으로유의하지않았다. < 표 4> 2003 년시ㆍ도교육청평가결과와수요자만족도결과간상관 (N=16) 구분상관종류상관계수 총점 Pearson 의적률상관계수 0.430 순위 Kendall 의 τ 0.150 Spearman 의등위상관계수 0.206 2003년시도교육청평가에서는수요자만족도를시도교육청평가의하위영역별로조사하였다. 이에하위영역별평가점수와만족도점수간관계를분석하였다. 우선각영역별평과결과와해당만족도결과의상관을살펴보면다음과같다. 평생ㆍ직업교육 영역의상관이 0.525로가장높았고, 그다음은 공교육내실화 영역이 0.509로높았으며, 교육행ㆍ재정 영역도 0.477로비교적높게산출되었다. 교원 영역은 0.256, 교육지원 영역은 0.253으로낮았고, 교육과정 영역은 0.141로가장낮았다. 이가운데 평생ㆍ직업교육 영역과 공교육내실화 영역의상관계수만이유의수준 0.05에서통계적으로
시ㆍ도교육청평가결과와교육수요자만족도조사결과간상관분석 303 유의하였다. 한편, 각하위영역의평가결과와수요자만족도의총점간상관계수를추정한결과 평생ㆍ직업교육 영역의상관계수가 0.581로가장높았고, 그다음은 교육행ㆍ재정 영역으로 0.427이었다. 공교육내실화 영역은 0.396, 교육지원 영역은 0.331, 교원 영역은 0.234로낮았고, 교육과정 영역이 0.186으로가장낮았다. 그러나이가운데유의수준 0.05에서통계적으로유의한것은평생ㆍ직업교육분야였다. 하위영역별평가점수와만족도점수간관계분석에있어시ㆍ도교육청평가의총점과수요자만족도의하위영역별결과간상관분석을실시하여보다상세한결과를얻고자하였다. 분석결과시ㆍ도교육청평가총점과가장높은상관을지니는만족도영역은 공교육내실화 로 0.558이었다. 그다음은 교육지원 영역으로 0.397이었고, 그다음은 교원 영역으로 0.338이었다. 교육행ㆍ재정 영역은 0.268, 교육과정 영역은 0.252로낮은상관을보였다. 그러나이가운데유의수준 0.05에서통계적으로유의한것은 공교육내실화 영역한분야였다. 특이할만한것은영역별점수와만족도간상관및영역별점수와만족도총점간상관이가장높았던 평생ㆍ직업교육 영역이 0.188로가장낮은상관계수가산출된것이다. 이는 평생ㆍ직업교육 영역의교육수요자만족도결과가시ㆍ도교육청평가총점과상당히다른양상으로평정되었음을의미한다. < 표 5> 2003 년시ㆍ도교육청평가의영역별결과와수요자만족도결과간상관 구분 각영역별만족도수요자만족도총점 공교육내실화 시도교육청평가의영역별결과 (N=16) 교육과정교원교육행ㆍ재정교육지원평생ㆍ직업교육 0.509* 0.141 0.256 0.477 0.253 0.525* 0.396 0.186 0.234 0.427 0.331 0.581* 주. 상관계수는모두 Pearson 의적률상관계수임 * p<0.05 < 표 6> 2003 년시ㆍ도교육청평가의총점과영역별수요자만족도결과간상관 구분 시도교육청평가총점 공교육내실화 수요자만족도의영역별결과 (N=16) 교육과정교원교육행ㆍ재정교육지원평생ㆍ직업교육 0.558* 0.252 0.338 0.268 0.397 0.188 주. 상관계수는모두 Pearson 의적률상관계수임 * p<0.05
304 敎育行政學硏究 2005년시ㆍ도교육청평가결과와수요자만족도조사결과의관계를알아보기위해상관분석을실시하였다. 2003년분석과마찬가지로시ㆍ도교육청평가결과에서만족도평정결과를제외한점수와만족도점수에대해총점및순위간상관계수를추정하였다. 분석결과총점의상관계수는 0.721, 순위의상관계수는 Kendall의 τ가 0.524, Spearman 의등위상관계수가 0.679로총점및순위모두높은수준의상관을지니는것으로나타났다. 그러나분석대상이 7개시지역으로그사례수가적어통계적으로유의한계수가산출되지는않았다. 2005년시ㆍ도교육청평가에서는 2003년과동일하게수요자만족도를시ㆍ도교육청평가의하위영역별로조사하였다. 이에하위영역별평가점수와만족도점수간관계를분석하였다. 우선각영역별평과결과와해당만족도결과의상관을살펴보면다음과같다. 평생ㆍ직업교육 영역의상관이 0.760으로가장높았고, 그다음은 교육과정 영역 으로 0.694로높게산출되었다. 교육지원 영역 과 공교육내실화 영역역시각각 0.630, 0.626로높은상관이확인되었으며, 교원 영역과 교육행ㆍ재정 영역도각각 0.587, 0.564로 2003년에비해높게산출되었다 < 표 7> 2005 년시ㆍ도교육청평가결과와수요자만족도결과간상관 (N=7) 구분상관종류상관계수 총점 Pearson 의적률상관계수.721 순위 Kendall 의 τ.524 Spearman 의등위상관계수.679 한편, 각하위영역의평가결과와수요자만족도의총점간상관계수도추정하였다. 분석결과 < 표 8> 과같이, 평생ㆍ직업교육 영역의상관계수가 0.841로가장높았고, 그다음은 교육지원 영역으로 0.715였다. 교육과정 영역과 0.668, 공교육내실화 영역은각각 0.681로높은수준의상관을나타냈다. 교원 영역은 0.578로보통수준의상관이었으며, 교육행ㆍ재정 영역은 0.475로가장낮았으나역시보통수준의상관을지니는것으로분석되었다. 그러나이가운데유의수준 0.05에서통계적으로유의한것은 평생ㆍ직업교육 영역한분야였다.
시ㆍ도교육청평가결과와교육수요자만족도조사결과간상관분석 305 < 표 8> 2005 년시ㆍ도교육청평가의영역별결과와수요자만족도결과간상관 구분 각영역별만족도수요자만족도총점 공교육내실화 시ㆍ도교육청평가의영역별결과 (N=7) 교육과정교원교육행ㆍ재정교육지원평생ㆍ직업교육.626.694.578.564.630.760*.618.668.578.475.715.841* 주. 상관계수는모두 Pearson 의적률상관계수임 * p<0.05 2003년의분석과마찬가지로하위영역별평가점수와만족도점수간관계분석에있어시ㆍ도교육청평가의총점과수요자만족도의하위영역별결과간상관분석을실시하여보다상세한결과를얻고자하였다. 분석결과 교육행ㆍ재정 의상관이 0.763, 공교육내실화 의상관이 0.722, 교육과정 의상관이 0.754, 교원 의상관이 0.734 등 6개영역가운데 4개영역에서 0.7 이상의상관계수가산출되어전반적으로높은상관수치를보였다. 평생ㆍ직업교육 영역의상관역시 0.638로높았으며, 교육지원 영역의상관은 0.585로보통수준이었다. 그러나이가운데유의수준 0.05에서통계적으로유의한것은 교육행ㆍ재정 영역한분야였다. 시ㆍ도교육청평가결과와수요자만족도간상관의연도별추이를살펴보면, < 표 10> 과같이, 1999년과 2001년에는매우낮은상관을보였으나 2003년에는보통수준의상관을, 2005년에는높은수준의상관을보여상관정도가정적으로증가하고있음을확인할수있다. 특히 2005년지방교육혁신평가결과와고객만족도조사결과의관계의상관분석결과총점간상관은 0.555로산출되었고이는유의수준 0.05에서통계적으로유의하였다. 이와같은총점및순위평정의관계분석결과를종합해보면혁신평가의경우평가결과와만족도간관계에있어어느정도상관이존재한다고할수있다. 그러나앞서언급한바와같이상관분석의대상이 16개시ㆍ도교육청으로표본수가작아통계치의안정성이다소부족하다. < 표 9> 2005 년시ㆍ도교육청평가의총점과영역별수요자만족도결과간상관 구분 시ㆍ도교육청평가총점 공교육내실화 수요자만족도의영역별결과 (N=7) 교육과정교원교육행ㆍ재정교육지원평생ㆍ직업교육.722.754.734.763*.585.638 주. 상관계수는모두 Pearson 의적률상관계수임 * p<0.05
306 敎育行政學硏究 < 표 10> 시도교육청평가결과와수요자만족도간상관추이 (1999 년 ~2005 년 ) 구분 총점 순위 상관종류 1999 년 (N=16) 2001 년 (N=16) 2003 년 (N=16) 시도교육청 (N=7) 2005 년 지방교육혁신 (N=16) Pearson 의적률상관계수.234 -.003.430.721.555* Kendall 의 τ.076.025.150.524.283 Spearman 의등위상관계수.132.029.206.679.412 * p<0.05 Ⅳ. 결론 이연구는 1997년부터시 도교육청평가의주요한한부분을차지하고있는교육수요자만족도조사가과연시ㆍ도교육청평가의일부분으로시ㆍ도교육청의교육업무수행의성과를평가할수있는자료로의미있게활용될수있는가에대한문제의식에서출발하였다. 이를위해우선 1999년, 2001년, 2003년, 2005년의 4개연도의추이분석을통해교육수요자만족도조사가어떻게변화했는지알아보았다. 또한, 교육수요자만족도조사결과가다른시 도교육청평가의지표들과어떠한관계에있는지, 시 도교육청평가의하위구인으로써제대로기능하고있는지분석함으로써시ㆍ도교육청평가에대한교육수요자만족도조사의의미를논의하고나아가시 도교육청평가도구의타당도검증을시도하고자하였다. 이와같은목적을달성하기위해상관계수법을통한구인타당도검증을시도하였다. 상관계수법은구인을확인하는방법으로는다소부족한근거로평가될수있으나, 현재시행되는시 도교육청평가자료를활용하여수행할수있는유일한기법이므로한계를감안하면서분석을실시하였다. 분석결과, 시ㆍ도교육청평가결과와교육수요자만족도결과간상관을살펴보면, 1999년과 2001년에는매우낮은상관을보였으나 2003년에는보통수준의상관을, 2005 년에는높은수준의상관을보여상관정도가정적으로증가하고있음을확인할수있다. 이와같은추이는교육수요자만족도조사가비교적성공적으로시ㆍ도교육청평가의하위영역으로자리하고있음을보여주는긍정적인근거라해석된다. 그러나상관관계의증가에도불구하고교육수요자만족도조사는시ㆍ도교육청평가의도구로서다음과같은문제를가지고있다. 첫째로는경험적데이터의축적부족으로인한문제이다. 매년비슷한설문조사의실시에도불구하고, 당해연도마다연구자가다르고조사기관이달라지면서, 막대한비용과시간을투자해서생긴방대한결과물을축적하지못한다. 이는큰국가적손해일뿐아
시ㆍ도교육청평가결과와교육수요자만족도조사결과간상관분석 307 니라연구자들에게있어서도매우큰손실임에분명하다. 그래서전년도의데이터를사용하지못하고다시새로운데이터를얻어야만했다. 이러한문제로인한더큰문제점으로다가오는것은각년도의점수를상호비교할수없다는것이다. 매년도조금씩달라지는문항으로평균이있다고는하나기준치가없어당해연도에서의숫자적인평균비교밖에는할수없다. 이에대한개선방안으로막대한비용과시간이들겠지만, 만족도조사의데이터를충분히축적시키고외국과같이동일기준으로비교할수있도록환산작업이필요하다하겠다. 미국의경우를예로들어보면 SAT나혹은 ACT는언제검사를하였느냐에상관없이상대적인나의점수를비교적정확히알수있다. 이것은개인이하기에는어려운것이므로국가적수준에서의사업이이루어져야하겠으며단기적으로끝내버리고마는것이아닌장기적인안목을가지고계속적인투자와노력이투입되어야할것이다. 교육수요자만족도조사와관련한두번째문제점으로는조사영역및조사내용에있어서의타당성문제이다. 매년마다달리지는조사내용은일관성이없을뿐아니라과연조사내용이타당한가라는의문을가지게한다. 이러한의문을해소하기위해서는각영역의전문가에게내용의타당성을인정받아측정하려고하는요인을정말잘측정해주는가를확인해보아야하며, 이로써끝나는것이아니라사전에 pilot 검사를실시해현장에서확인해보는작업이있어야겠다. 각연구방법마다알맞는조사방법을연구자가정하는데이는매우중요한문제이다. 조사방법에따라연구결과가달라질수있기때문이다. 그러므로다양한조사방법을사용해서통계적으로차이를보이는지를우선검증해야할것이다. 또한충분한시간여유를가지고면담이나심층면담등을통해학교현장의생생한목소리를듣는작업이꼭필요하겠다. 뿐만아니라사전검사실시와사후검사를모두실시해야할것이다. 많은연구자들이사전에자료수집을위해사전조사를하는경우가있긴하나, 검사가끝나면모든것이끝났다고보는데이에그치는것이아니라 6개월이나 1년후의종단적인데이터를얻는방안을모색할필요가있다. 또한척도상의문제를들수있다. 교육수요자만족도조사에서는모두 5점척도를사용하고있는데과연 5점척도가적절한지에대한검토가필요하다. 5점척도는척도특성상중앙으로의회귀경향성을많이보인다. 생각을하지않은피검자나아무생각없이 보통 이라고기록하거나대답하는경향이많기때문이다. 그래서요즘은 6점척도를많이사용하고있는실정이다 (5점척도와 6점척도간의결과가다름을나타내주는연구가많음 ). 이것은연구자들이정해야할문제이긴하지만척도의특성을잘살피고적절히사용해야할것이다. 마지막으로, 통계자료의공개와제시부족문제가있다. 교육수요자만족도조사연구의
308 敎育行政學硏究 결과는시ㆍ도교육청평가보고서에포함되지않고별도의보고서로출간되며대부분의경우대외비로각시ㆍ도교육청의교육수요자만족도점수가어떠한지쉽게알기어렵다. 특히 2003년이후교육수요자만족도점수가영역별점수에포함되어제시됨으로써더욱알기어려운실정이다. 이러한상황은교육수요자만족도조사의실시취지를무색하게하는것으로자료의신뢰성을떨어뜨리며정보의생략과더불어결과공개에대한문제가제기될수있다. 시행 10년을맞는시ㆍ도교육청평가를통하여교육청조직이개선되고이를바탕으로교육청의효과성과책무성을제고함으로써지역교육발전에기여할수있도록교육청평가의주요평가준거이며항목인교육수요자만족도조사의개선을위한끊임없는노력이투자되어야할것이다.
시ㆍ도교육청평가결과와교육수요자만족도조사결과간상관분석 309 참고문헌 공은배 김이경 백성준 신상명 한유경 (2002). 시 도교육청평가체제및방법의개선방안연구. 서울 : 한국교육개발원. 김양분 유한구 강상진 남궁지영 (2003). 2003 교육수요자만족도조사연구. 서울 : 한국교육개발원. 김양분외 (2005a). 2005 교육수요자만족도조사연구. 서울 : 한국교육개발원. 김양분 김동일 유한구 (2005b). 교육의질적향상을위한교육만족도지표및지수개발연구. 서울 : 한국교육개발원. 박윤정 (2005). 시 도교육청평가개선에관한연구. 교육행정학연구. 제23권 3호, 211-232. 백순근 (2002). 시 도교육청평가의문제점및개선방안. 아시아교육연구. 제3 권 2호, 135-154. 부산광역시교육청 (2002). 2003 평가방향진단과대책. 부산광역시교육청. 서정화 강경석 김성렬 임연기 (2001). 2001년도학생학부모교육만족도조사연구. 교육인적자원부교육정책연구 2001-10 성태제 (2002). 타당도와신뢰도 ( 개정판 ). 서울 : 학지사 (2006). 연구방법론. 서울 : 학지사. 시 도교육청평가위원회 (1996). 1996년도시 도교육청평가보고서. 시 도교육청평가위원회 (1997). 1997년도시 도교육청평가보고서. 시 도교육청평가위원회 (1998). 1998년도시 도교육청평가보고서. 시 도교육청평가위원회 (1999). 1999년도시 도교육청평가보고서. 시 도교육청평가위원회 (2001). 2001년도시 도교육청평가보고서. 시 도교육청평가위원회 (2003). 2001년도시 도교육청평가보고서. 시 도교육청평가위원회 (2005). 2001년도시 도교육청평가보고서. 임연기 (1996). 교육수요자만족도조사. 교육월보. 제179호, 40-43. 중앙교육심의회 (1997). 97 학생 학부모만족도조사. 코리아리서치센터 (1998). 98 교육수요자만족도조사결과보고서. 코리아리서치센터 (1999). 99 교육수요자만족도조사결과보고서. Brown, R. S. et. al.1992). The 1991 Every Secondary Student Survey: Initial Findings. ED 351385 Carnevale, A. P. & Desrochers, D. M.(1999). School Satisfaction: A Statistical Profile of CIties and Suburbs. ETS Leadership 2000 series ED 436597 Gaidance, T.(1997). Appraisal and Evaluation in Central Government. London: The Stationery Office.
310 敎育行政學硏究 Kamensky, John. The U.S. Reform Experience: The National Performance Review. Available from http://govinfo.library.unt.edu./npr/library/papers/ bkgrd/kamensky.html; Internet; accessed 10 July 2002. OECD (1995). Governance in Transition: Public Management Reforms in OECD Countries. Paris: OECD. OFSTED(2002). Framework for the Inspection of Local Education Authorities. OFSTED(2002). LEA Support for School Improvement: Briefing Papers. OFSTED(2002). Inspection of Local Education Authorities: Grade Criteria for Inspection Judgements. OFSTED(2002). Continuing LEA Inspection: Guidance on Drafting the Chief Education Officer's Statement. The Role of the Local Education Authority in School Education. Available from http://www.dfes.gov.uk/learole/policypaper/part1_part2.shtm1 Tuck, K. D. (1995). Parent Satisfaction and Information (A Customer Satisfaction Survey). ED 401326.
시ㆍ도교육청평가결과와교육수요자만족도조사결과간상관분석 311 Abstract The Relationship between Evaluation of Municipal and Provincial Educational Authorities and Measurement of Education Satisfaction Survey Han, You-kyung (Ewha Womans University) This study is to review the evaluation system for municipal and provincial education authorities in order to seek innovative solutions for improvement. The evaluation, administered seven times until 2005, for municipal and provincial educational authorities(mpea) was introduced to the Korean educational scene in 1996 by the Ministry of Education and Human Resource Development. There has not been a comprehensive and intensive effort to review the MPEA evaluation system, although occasional efforts were made for partial revisions of the system. Among education scholars and practitioners, a pressing need for a more systematic review was recognized with the popularity of institutional evaluation ad a quality assurance mechanisms. The purpose of the study was to analyze the evaluation method(construct validity) ie, the relationship between the Evaluation of Municipal and Provincial Educational Authorities and Measurement of Education Satisfaction Survey which adopted into the evaluation of MPEA in 1997 in order to prescribe a better evaluation system. As a result, the correlation(pearson) between the Evaluation of Municipal and Provincial Educational Authorities and Measurement of Education Satisfaction Survey increased significantly. With respect to the analysis, the meaning and background of the MPEA evaluation was analyzed first, followed by the changes of the system since 1996 and current situations. Major cases were also selected and analyzed to gain insights for possible directions of change. On the basis of analysis, several recommendations were suggested. [Key Word] Evaluation of Municipal and Provincial Educational Authorities, Measurement of Education Satisfaction Survey, Institutional Evaluation