행정논총 ( 제 48 권 1 호 ) 공공기관경영평가에서상대평가의오류가능성분석 * < 目次 > Ⅰ. 서론 Ⅱ. 공공기관경영평가와상대평가에관한선행연구검토 Ⅲ. 상대평가의오류가능성 Ⅳ. 연구대상및변수 Ⅴ. 분석결과 Ⅵ. 결론및정책적시사점 < 요약 > 본연구는 2007년도정부산하기관경영평가결과를대상으로평가과정에서발생하는상대평가의오류가능성을분석하였다. 자료는 75개정부산하기관에대하여총 12개지표에각각 9등급으로부여된평가점수를활용하였다. 상대평가의오류가능성은지표별기관간오류가능성과기관별지표간오류가능성으로구분하여, 특정기관특정지표의평균평점이상대평가요인, 즉다른기관들또는다른지표들평점의분산값으로부터영향을받는지여부를분석하였다. 전체기관을대상으로한분석결과, 지표별기관간의평가에있어서다른기관들평점의분산정도와실제평가점수가유의미한관계가있는반면, 기관별지표간평가의경우다른지표들평점분산값과실제평가점수간관계가유의미하지않았다. 그리고이러한경향은부정적평점에서보다긍정적평점에서더크게발생하고있다. 또한각기관유형별로살펴본분석결과도이와유사하게나타났다. 본논문은상대평가의오류가능성을최소화하기위하여절대평가를가미한상대평가의운영, 기관순위중심에서평가지표순위중심으로전환, 평가훈련프로그램시행등의정책적시사점을제공한다. 주제어 : 공공기관경영평가, 상대평가, 평가오류, 평가신뢰성 *** 이논문은 2007 년도정부지원 ( 교육인적자원부학술연구조성사업비 ) 으로한국학술진흥재단의지원을받아연구되었음 (KRF-2007-327-B00739). *** 세종대학교행정학과부교수 (cklee@sejong.ac.kr) *** 동양미래대학경영학부조교수 (haihaba@chol.com)
98 행정논총 ( 제 48 권 1 호 ) Ⅰ. 서론 공공부문에서성과평가가확산됨에따라이에대한이론적 제도적연구도증가하고있다. 성과평가의궁극적인목적은보상적인센티브를통하여동기를부여하고궁극적으로조직성과를향상시키는데있다. 이러한의미에서성과평가는평가자체로서도긍정적효과가존재하긴하지만, 피평가자에평가결과를환류 (feedback) 하는과정을통하여궁극적으로자기목적을달성할수있다 ( 노화준, 2002; 김종희, 2007). 따라서이러한성과평가가성공할수있는핵심적인요소는평가내용이조직성과향상에실질적으로도움이되어야한다는타당성이라할수있다. 평가의타당성확보의전제요건은측정도구로서평가의신뢰도이다 ( 유민봉 임도빈, 2007). 평가의객관성과신뢰성이없는타당도는평가제도자체에대한회의를낳고조직성과를오히려저하시키는요인이되기도한다. 즉평가의신뢰성은피평가자들의평가결과에대한수용성과직접적으로연계되어있다 ( 신동일 장소영, 2002; 김종희, 2007). 우선, 피평가자들은대부분평가의발전적 (developmental) 측면보다는평가의평가적 (evaluative) 측면에보다높은관심을가지고있다. 미래의조직성과향상보다는현재의평가결과, 즉상대적순위에보다많은관심을가지고있는경우가많다. 또한피평가자는평가결과의원인을자기자신의요인보다는평가자또는평가도구요인에서찾는경우도많이존재한다. 피평가자는특히좋지않은평가결과에대하여피평가자자신의업무성과책임으로보기보다는평가자또는평가도구에대한신뢰성문제를제기하는경우가많다 (Boreman, 1978). 그러므로평가자또는평가도구의신뢰성이평가결과에대한피평가자수용여부에서중요한요인으로작용한다. 지금까지측정도구로서평가지표에대한연구와논의는많이이루어졌으나 ( 이석원, 2005; 이환범외, 2005), 측정도구로서평가자측면의오류가능성에대한연구는거의없는것이현실이다 (Facteau and Craig, 2001; Nankervis and Compton, 2006). 특히비계량정성평가에있어서이러한평가자의오류는평가의신뢰도에많은영향을미친다 ( 박영범, 1998; 박명호 이성욱, 2000). 상대평가제도는이러한비계량평가지표의평가과정에서평가자들의관대화경향을방지하고평가결과의실효성을높이기위하여도입된제도이다. 이러한상대평가를통하여피평가자에대한상대적순위를부여하기쉽고, 보상을위한명확하고객관적인기준을제공할수도있다 (Bernardin, 1978; Jenter and Kanaan, 2006). 그러나상대평가는강제배분방식으로피평가자로하여금평가내용보다는평가순위에대한관심을높게할뿐만아니라평가자로하여금평가의발전적측면보다평가적측면을중시하게하는경향이있다 (Stanton, 1991; Gibbons and Murphy, 1990). 따라서상대평가는평가결과에대한기관별또는지표별로
공공기관경영평가에서상대평가의오류가능성분석 99 강제배분하는평가방식으로서상대적평점과정에서심각한오류가발생할수있고, 이는곧피평가자의수용성을해치는결정적요인으로작용할수있다. 본연구는 2007년도에이루어진정부산하기관경영평가를대상으로피평가기관별또는평가지표별상대평가과정에서발생할수있는평가자오류가능성을분석하고자한다. 2007년도공공기관경영평가중비계량정성평가지표를대상으로하여기관별 지표별상대평가과정에서발생할수있는평가오류의존재여부를실증적으로분석하고자하는바, 궁극적으로공공기관경영평가의수용성과신뢰성을보다높일수있는방안을제시하고자하는데본연구의의의가있다하겠다. Ⅱ. 공공기관경영평가와상대평가에관한선행연구검토 1. 경영평가제도와평가지표의신뢰성공공기관경영평가의기존연구를살펴보면, 평가제도자체에대한성공요건및제도개선에중점을둔연구와평가제도의효과성에관한연구로구분된다. 전자는경영평가제도의도입필요성과함께평가방법이나절차, 평가방식, 그리고평가주기등제도전반에대한정책적개선에중점을둔반면 ( 오연천, 1998; 김준기, 2001; 송대희, 2003; 곽채기, 2008), 후자는평가제도가경영성과에얼마나영향을미쳤는지그효과성에대한분석에집중한다 ( 곽채기, 2003; 박석희, 2006; 곽병한, 2005; 최성락외, 2009). 따라서전자는사전적의미가강하며, 후자는사후적의미가강하다. 평가제도자체의효과성에대한기존연구에서는주로평가의타당성에대한연구가많이이루어졌다. 곽채기 (2003) 는지난 20여년동안의공기업경영실적을바탕으로공기업평가제도가공기업경영개선효과에영향을미쳤는지살펴보았다. 박석희 (2006) 는 1965년부터 2004년까지 13개정부투자기관에대한패널데이터를활용하여공기업들의관리업무비율, 인건비비율, 금융비용율, 인원증감률등을중심으로경영평가제도도입이조직역량증대에미치는영향을분석하였다. 윤기웅 공동성 (2008) 은재정사업자율평가와관련해서, 경영평가결과가예산절감에어떤영향을미쳤는지분석하였다. 그리고최근에는공기업평가자체의신뢰성과일관성에대한연구가증가하고있다. 즉평가의효과성이나평가제도적문제점보다는평가과정에서발생하는오류를파악하고자하는연구들이다. 최성락외 (2009) 는 2001년부터 2006년까지공기업평가결과를바탕으로평가지표의개선효과를분석하였고, 이창길 최성락 (2009) 은 2007년도경영평가실적을토대로평가과정에서평가자들의평가
100 행정논총 ( 제 48 권 1 호 ) 일관성문제에집중하여후광효과의존재가능성을분석한바있다. 이는공공기관에대한연구라기보다는평가 (evaluation) 자체에대한연구로귀착된다. 따라서이러한평가연구는공공기관뿐만아니라정부기관및민간기관에도적용가능하며, 경영평가는물론, 기금평가, 혁신평가, 부패평가, 정부업무평가등다양한분야의평가에도적용될수있다. 즉평가의타당성과는달리평가의신뢰성문제는평가대상과분야에상관없이평가연구의핵심적인과제라할수있다. 2. 비계량정성평가와상대평가공공부문의평가에있어서가장문제가되는것중하나는지표선정과측정 (measurement) 의문제이다 ( 이환범외, 2005; 이석원, 2005). 즉공공의가치는계량적으로측정하기곤란하기때문에이들지표의경우에도계량적정량평가보다는비계량적정성평가에의존하는경우가많다. 계량적지표에대한평가결과는피평가자의수용성이상대적으로높은반면비계량적지표에대한평가결과는피평가자의수용성이상대적으로낮을것이다 (Hedge and Teachout, 2000; 김종희, 2007). 이와같이비계량적정성평가에피평가자의수용성과평가과정의신뢰성을중심으로비판적의견이증가하면서 (Gabris and Ihrke. 2000), 평가지표자체를측정가능한계량지표만으로구성하는한편, 비계량지표에대한평가신뢰성확보를위하여평가방식과과정을합리적으로통제하고자하는다양한노력이이루어져왔다 ( 박영범, 1998; 박명호 이성욱, 2000). 이러한노력의일환으로평가관리자가선택할수있는가장쉽고유용한대안은역시상대평가이다 (Steers, 1975; Jenter and Kanaan, 2006). 상대평가는관리자의입장에서보면평가결과가가장객관적으로명확하게나타날수있고, 성과경쟁을유도할수있는중요한수단이된다 (Dye, 1986; Gibbons and Murphy, 1990; Jenter and Kanaan, 2006). 계량평가의경우상대평가가아닌절대평가를통해서도명확하게평가의순위를측정할수있는반면, 비계량적지표에대한평가의경우평가의신뢰도를해치지않으면서성과의차이를가장명확하게하기위해서는절대평가보다는상대평가를선호하게된다. 즉비계량지표에대한평가의경우상대평가는계량평가만큼피평가자상호간의차이를명확히할수있는방법이된다 ( 박명호 이성욱 2000; 노화준, 2002). 하지만상대평가는피평가자뿐만아니라평가자에게도심리적통제를가함으로써평가의오류또는왜곡을낳을수있다 ( 최연희, 2002; Mark and Henry, 2004). 피평가자들은상대평가를통하여협력보다는경쟁을지향하게된다. 좋은평가결과를얻기위한중요한전략은동료와의비교와경쟁을통해서가능하다. 피평가자상호간의협력은평가결과에긍정적영향을주기보다는부정적영향을주기쉽다. 따라서피평가자는평가과정에서평가자체의실질적인내용
공공기관경영평가에서상대평가의오류가능성분석 101 보다는다른피평가자와의비교하에평가자의평가신뢰성문제와평가의상대적순위에높은관심을보이기쉽다. 이러한심리적압력은평가자에게도유사한평가왜곡현상을낳는다. 평가자들은평가의실질적인내용의상대적차이를명확히하고이를평가에반영하는경우에는문제될것이없다. 하지만, 평가자의평가와실제적인성과와의격차 (decoupling) 가발생할우려가있고, 평가기준별또는피평가자별상대적격차를임의로규정함으로써피평가자성과에대한과대평가와과소평가현상이나타나기쉽다 (Gibbons and Murphy, 1990; Jenter and Kanaan, 2006). 이러한왜곡또는평가오류가능성은피평가자상호간보다는평가자상호간에보다심각한문제를야기한다. 특히평가의공정성과신뢰성차원에서피평가자의오류책임보다는평가자의오류책임이평가의효과성을저하시키는주된요인이된다 ( 이영식, 1998). 3. 정부산하기관경영평가에서의상대평가 1) 정부산하기관의 2006 년도실적을평가하는 2007 년도평가단은경영실적평가 의합리성 객관성 공정성을확보하기위하여대학교수, 공인회계사, 연구원및 관련분야민간전문가로구성 운영되었다. 75 개의정부산하기관을각기관의 기능, 성격, 기존평가체제의존재여부등을감안하여금융 수익, 연수 교육훈 련, 학술 연구지원유형등 8 개유형으로분류하고, 각유형에대하여평가위원 들이배정되었다. 즉평가위원들은 8 개산하기관유형중하나에속하여, 자기 에게주어진평가지표에대하여해당유형에포함되는모든산하기관을평가하 는방식으로이루어졌다. 평가지표는주요평가부문으로종합경영, 주요사업, 경영관리 3 부문으로구분되며, 각주요부문마다 3-5 개정도의세부평가부문 으로나뉘어진다 ( 기획예산처, 2007). 이와같이정부산하단체의경영평가중정성평가는상대평가를지향한다. 평 가기준에따라기관별상대적평가가이루어진다. 기관내기준별상대적배점 이라기보다는기준내기관별상대적배점이주어진다 ( 기획예산처정부산하기관 경영평가단, 2007). 점수등급은기본적으로각평가항목을 5 개등급으로구분 하고, 각각의기본등급에대해보다우수한성과를낸경우 + 점수를부여하여 9 등급으로평가하도록되어있다. 종합경영, 주요사업및경영관리부문 3 개부문 100 점만점으로평가한다. 점수부여방식은유형내기관간점수등급은팀장주 1) 2007 년이전에는정부투자지관, 정부산하기관등으로구분되어별도로경영평가가이루어졌지만, 2007 년 4 월 1 일공공기관의운영에관한법률이시행되면서현재는구정부투자기관과정부산하기관등이통합되어평가되고있다. 정부산하기관이란명칭도현재는소멸되었지만, 본연구에서는공공기관의운영에관한법률이본격적으로시행되기전에수행된정부산하기관평가를연구의직접적인대상으로하였는바, 따라서여기서는정부산하기관의경영평가과정을중심으로논의하고자한다.
102 행정논총 ( 제 48 권 1 호 ) 도의팀원합의를토대로 C0를중심으로정규분포와유사하게상대적으로부여하도록하고, 유형내기관수가적은 3개유형도정규분포와유사하게점수를배치하도록되어있다. A+, A0, B+, B0, C0, D+, D0, E+, E0 등각각의등급에대하여일정비율을강제배분하는방식이다. 2) 특히, 점수가전년도에비하여 3 단계이상급변하는경우연도간일관성확보차원에서그이유를정확하게확인하여논리적으로서술하도록하고있다 ( 이창길 최성락, 2009). 앞에서지적한바와같이, 정부산하기관에대한정성평가는각평가기준마다평가위원이배정되고, 각평가기준별평가위원은자신이속한유형에포함되는모든기관에대한평가를한다. < 표 1> 은유형별상대평가의방식이자기본적인구조를나타내고있다. 1유형의평가기준 a에대한평가자는 1유형의 A기관, B기관, C기관의평가기준 a에대한평가를담당한다. 즉평가점수 Aa, 평가점수 Ba, 평가점수 Ca가한평가자의평가에의해서도출된다. 마찬가지로 2유형의평가기준 b에대한평가자는 2유형 D기관, E기관, F기관에대한평가기준 b에대한평가를하게되어, 평가점수 Db, 평가점수 Eb, 평가점수 Fb가한팀의평가자에의해서점수가매겨진다. 즉공공기관경영평가에있어서상대평가는기본적으로동일한평가기준내피평가기관상호간의상대적인평점을부여한다. < 표 1> 공공기관경영평가에있어서상대적평가방식 Ⅲ. 상대평가의오류가능성 1. 심리적과정으로서상대평가 2) 본평가방법은 ( 구 ) 정부산하기관에서의평가방법으로서 2009 년현재공공기관평가와는다소차이가있다. 현재는 6 단계평가로이루어지고있으며, 공식적으로절대적평가방식을채택하고있다.
공공기관경영평가에서상대평가의오류가능성분석 103 상대평가의오류가능성은평점의강제적배분에있으면배분과정에서평가자의심리적조정과정이개입됨으로써발생한다. 예를들면, 하나의평가기준에대하여상대평가를전제로 5개기관에대하여평점 A, B, C, D, E를각각 20% 씩부여한다고하자. 이러한상대평가는두가지측면에서오류발생가능성이있다. 첫째, 평가자가 4개기관평점의평균이나분산이마지막순서의피평가기관의평점에영향을미칠수있다는점이며, 둘째, 평가자는 5개기관을모두평가한이후에종합과정에서자의적인심리적조정을통하여평점이달라질수있다는점이다. 이는실제적인성과와상관없이평가자의자의적조정과정에서평점이부여될수있음을말한다. 이러한현상은평가기준이다수이고다양할경우보다더심각한오류가능성을내포한다. 즉피평가기관과평가기준상호간의복잡한비교과정을통하여실제의성과내용과상관없는자의적인평점이이루어질개연성이높아진다. 만약어느한피평가기관의평점이나머지피평가기관들의평점과관련성이높은경우전반적으로평가의오류가발생했다고추론할수있다. 이러한경향은엄격한상대평가의경우보다는느슨한상대평가, 즉평가자의자율성이어느정도보장된경우에평가자의왜곡가능성이더크게나타날수있다. 2. 기관별평가와지표별평가의상대성상대평가로인한평점의오류가능성은지표별평가의상대성과기관별평가의상대성으로구분될수있다. 지표별평가의상대성은하나의지표내에서기관상호간의상대평가오류가능성을말하며, 기관별평가의상대성은하나의기관내에서지표상호간의상대평가오류가능성을말한다. 1) 지표별기관간상대평가의오류가능성상대평가가이루어질경우첫번째오류가능성은평가기준내에서각기관간평가점수를심리적으로조정하는과정에서발생할수있다. 특히공공기관평가의경우 8개의기관유형으로구분되어평가기준별평가위원이해당유형에속하는기관을모두평가하기때문에평가기준별로기관유형내개별기관간상대평가를하게된다. < 표 2> 에서보는바와같이, 평가자는특정한평가기준에대하여기관간수직적으로상대평가를하게된다. 이와같은평가구조에서평가기준 a에대하여평가점수 Aa, 평가점수 Ba, 평가점수 Ca 상호간의수직적상대평가가이루어진다. 이과정에서동일한기관유형내에서개별기관에대한평점은자기를제외한타기관평점에의하여심리적영향을받을수있다.
104 행정논총 ( 제 48 권 1 호 ) < 가설 1> 평가지표별기관상호간의평가점수부여는상대평가요인, 즉다른 기관들의평점과의관련성이높다. < 표 2> 지표별기관간상대평가의오류가능성 ( 수직적상대평가 ) 2) 기관별지표간상대평가의오류가능성상대평가가이루어질경우두번째오류가능성은평가기관내에서각평가지표간평가점수를심리적으로조정하는과정에서발생할수있다. 특히공공기관경영평가에있어서는평가지표상호간상대평가보다는평가지표내피평가기관상호간의상대평가를권장하고있기때문에기관별지표간발생하는평가왜곡가능성은더욱심화될우려가있다. 즉기관별지표간평점의상대적배분은평가지침에포함되어있지않다. 이와같은평가구조에서 A기관에대한평가점수 Aa, 평가점수 Ab, 평가점수 Ac, 평가점수 Ad 상호간의수평적상대평가가이루어진다. 따라서 < 표 3> 에서와같이평가주관기관또는평가팀에서기관별지표별평가점수를종합하는과정에서오류가능성이존재하게된다. 이과정에서동일한기관유형내에서개별기관에대한평점은해당지표를제외한타지표평점에의하여심리적인영향을받을수있다. < 가설 2> 평가기관별지표상호간의평가점수부여는상대평가요인, 즉다른 지표들의평점과의관련성이높다. < 표 3> 기관별지표간상대평가의오류가능성 ( 수평적상대평가 ) 2. 긍정적평가와부정적평가의차별화 이러한상대평가의오류가능성은실질적으로긍정적평가결과와부정적평가 결과에따라차이가있을것으로본다. 평가자의긍정적평점은상대평가요인
공공기관경영평가에서상대평가의오류가능성분석 105 에의하여영향을받기쉬운반면, 부정적평점은상대평가요인에의하여영향을받지않을것으로추론된다. 먼저지표별기관간상대평가의경우상대평가요인과평점과의관계는높을것이다. 즉하나의평가지표에대하여한기관의평점은나머지기관들의평점과연관성이높을것이다. 예를들면타기관들의평균평점이낮을경우에는해당기관의평점은높아진반면, 타기관들의평균평점이높을경우에는해당기관의평점은낮아질것이다. 따라서긍정적평점은평가자의입장에서는다른기관들에대한평점의영향을많이받을것이다. 즉평점이중앙에집중되어있을경우해당기관에대한평점은상대평가로인하여긍정적인평점에는영향을주지만부정적평점에는영향을주지않을것으로판단된다. 평가자의관대화. 중심화경향에따라긍정적평점의경우상대평가요인이영향을미칠수있는반면, 부정적평점의경우에는상대평가요인에의하여영향을받지않을것이다.( 부정적평점의경우긍정적평가는평균평점이상의평점이고부정적평점의경우평균평점이하의평점을말한다.) 이가설은지표별기관간상대평가와기관별지표간상대평가에도동일하게적용될수있을것이다. < 가설 3 > 긍정적평점은상대평가로인하여영향을받지만부정적평점은 상대평가로인하여영향을받지않을것이다. < 그림 1> 평가자평점과분산의관계모형
106 행정논총 ( 제 48 권 1 호 ) Ⅳ. 연구대상및변수 1. 연구대상및방법연구자료는상대평가오류의존재가능성을분석하기위하여 2007년도정부산하단체의지표별기관별경영평가결과를활용하였다. 따라서분석대상은정부산하단체에대한기관별지표별평점이된다. 정부산하기관경영평가는 ( 구 ) 정부산하기관관리기본법에의해서이루어졌으며, 2005년도이후매년 70여개이상의정부산하기관에대하여외부전문가에의해서이루진경영평가제도이다본연구에서는정부산하기관경영평가중 2006년도실적을대상으로 2007년도에시행된경영평가결과를직접적인연구대상으로하고자한다. 2007년도의평가는총 75개정부산하기관에대하여총 12개지표에각각 9등급의점수가부여되었다. 2. 종속변수와독립변수 1) 종속변수본연구에서사용하는종속변수는특정지표특정기관의평가자평점과평균평점차이의절대값이다. 즉 [ 평가자평가점수 -전체평균평점 ] 의절대값인표준점수를활용한다. 단순한절대평점을종속변수로사용하지못하는이유는상대평가요인에의하여평점이어떻게달라지는지보기위해서는평균평점에의해표준화된점수를사용할필요가있기때문이다. 본연구에서는상대평가요인, 즉다른점수들의분산도차이에의해서평균점수에대한점수조정이발생하는가를살펴봄으로써상대평가의오류가능성을확인하고자하는바, 상대평가요인의효과가평균평점보다높은지낮은지그자체는상관성이없기때문에절대값을사용하였다. 이러한표준점수와상대평가요인과의관련성에의하여상대평가에의한오류가능성을추론하고자한다. 2) 독립변수독립변수는상대평가요인으로자기평점을제외한타기관또는타지표평점의분산값이다. A 내지 E 평점에서분산의정도는바로상대평가의정도를나타낸다. 이러한상대평가의정도는표준점수에영향을줄수있다는가설에따른것이다. 평가점수를심리적으로또는종합평가과정에서조정하는경향이존재하는가를통계적으로살펴볼수있는방법은다음과같다. 중간값이 C라고할때기존에부여한점수가 A, E라고하자. 그러면위와같은점수조정이이루어질경우 C 정도의중간값을부여하게될것이다. 기존에부여한점수가
공공기관경영평가에서상대평가의오류가능성분석 107 A, B 라고하자. 그러면점수조정이이루어질경우남은점수에 C나 D를부여한다. 기존에부여한점수가 C, C라고하면, 남은점수는 B나 D 정도의점수를부여한다. 즉기존에부여한점수가중간값에서멀리떨어져있을수록남은점수는중간값에가까운값을부여하려는경향이강해진다. 또한기존에부여한점수가중간값에몰려있을때에는남은점수는중간값에서멀리떨어진점수를부여할가능성이높아진다. 즉부여할수있는점수의중심값이결정되어있을경우 ( 정부산하기관평가에서는 C가중간값으로규정되었었다.) 이미부여한점수의분산값이크면남은점수는평균과비슷한수준에서부여할가능성이크고, 이미부여한점수의분산값이적으면남은점수는평균과차이가나는수준에서부여할가능성이높아진다. 즉다음과같은관계가성립한다. 자기점수를제외한다른점수들의분산값이증가할수록 (X-m) 의표준점수인절대값은작아질것이고, 자기점수를제외한다른점수들의분산값이감소할수록 (X-m) 의표준점수인절대값은커질것이다 3). 본연구의독립변수와종속변수들간의상관관계를살펴보면다음의 < 표 4> 와같다. < 표 4> 변수간상관계수 Ⅴ. 분석결과 1. 지표별기관간상대평가 1) 전체및유형별회귀분석결과 본연구는상대평가과정에서평가자평점이다른평점으로부터영향을받는 지여부를분석하였다. 지표별기관간상대평가는특정지표평점이자기평점을 3) X 는자기점수값, m 은평균값. 이하 (X-m) 의절대값을 평균차이점수 로부르고자함.
108 행정논총 ( 제 48 권 1 호 ) 제외한다른기관들평점으로부터영향을받는지여부이다. 본연구는이를자기점수를제외한다른기관들점수의분산을통하여분석하였다. 이와같은지표별기관간상대평가의분석결과는 < 표 5> 에서보는바와같다. 4) 즉 < 표 5> 는자기점수를제외한다른기관점수에대한분산정도와평균점수와자기점수와의절대값차이간의관계에대한회귀분석결과이다. < 표 5> 회귀분석결과 ( 종속변수 : ( 평가점수 - 평균점수 ) 의절대값 ) < 가설 1> 에서설명한바에의하면, 자기제외분산값이크다면해당기관의 점수를평균치에가깝게점수를부여할것이고, 자기제외분산값이적다면해당 기관의점수를평균에서차이가큰점수를부여할가능성이높다. 따라서자기 제외분산값이해당기관의점수에영향을미친다면, 그계수값은 - 로산출된다. < 표 5> 에서모든표본을대상으로하는전체회귀분석결과가설을지지한 것으로나타났다. 즉종속변수인자기평점과평균평점과의차이와독립변수인 자기제외분산값의회귀계수가 -0.074 로상호유의미한관계를보이고있다. 즉 지표별기관간상대평가의과정에서해당지표에대한평점에서다른기관들의 평점이특정기관의평점에영향을준것으로나타났다. 특히이러한관계는부 (-) 의관계를보이는것으로다른기관들평점의분산이높아질수록해당기관의 평점과평균평점과의차이는낮아지게된다. < 표 5> 에서자기제외분산값이평균차이점수에미친영향을유형별로보면, 8 개유형중 6 개유형에서계수가부 (-) 의값을가진다. 이는전체적으로분석한 결과와유사한결과로해석된다. 특히유형별로 <1 유형 >, <5 유형 >, <8 유형 > 에서 다른기관들평점의분산값이유의미한영향을미치는것으로나타났다. 이와 같이자기점수제외분산값과평균차이점수간관계를회귀분석으로살펴본 4) 구체적으로평가점수 1의자기점수제외분산은, 한팀에의해서평가가이루어지는평가점수 1, 평가점수 2, 평가점수 3의점수중에서평가점수 1을제외한평가점수 2, 평가점수 3의분산이다. 평균차이점수는 [ 평가점수 1-평가점수 1, 2, 3의평균 ] 값의절대값이다. 이두수치를산정하여자기점수제외분산값이평균차이점수에영향을미치는가를분석하였다.
공공기관경영평가에서상대평가의오류가능성분석 109 결과에의하면, 자기점수제외분산값은어느정도해당기관의점수부여에영향을미치는것으로판단된다. 평가유형마다영향이미치는경우도있고영향을미치지않는경우도존재하지만, 위분석결과는기존에부여한점수의분산차이에의해서나머지점수가조정되는경향이어느정도존재할수있다는것을보여준다. 5) 2) 긍정적평가와부정적평가에대한회귀분석결과 상대평가의가능성을 < 가설 3> 에서보는바와같이평점이긍정적인경우와 부정적인경우를분리하여분석한결과는 < 표 6> 및 < 표 7> 과같다. < 표 6> ( 평가점수-평균평점 ) 0 인경우 < 표 7> ( 평가점수-평균평점 ) < 0 인경우 ( 절대값 ) 먼저 < 표 6> 에서보는바와같이지표별기관간평가에있어서평균평점 이상긍정적으로평가한경우에는다른기관들평점분산과종속변수인평균차 이점과의평점차이상호간에유의미한부 (-) 의관계를보이고있다. 즉다른기 5) < 표 5> 의분석결과및이하의분석결과에서 R 제곱값이매우낮은수치임에유의할필요가있다. 이는기관별평가점수차이는다른많은독립변수에의하여설명될수있으며, 아주적은부분만이평가오류에의해서설명될수있다는것을의미한다. 즉실제평가점수차이중평가오류와관련된부분은유의한결과의경우에도그정도는매우적은값인것으로해석된다.
110 행정논총 ( 제 48 권 1 호 ) 관들평점의분산값이클경우에는평균평점과의차이가작아지는경향을보인다. 다른기관들의평점에서어느정도분산되어있는경우평균평점에가깝게평가하는경향을보인반면, 다른기관들평점이집중되어있는경우평균평점에멀게평가하는경향이존재한다. 긍정적인평점의경우에는상대평가에의하여다른기관에대한평점이해당기관의평점에영향을미치는것으로해석된다. < 표 7> 의경우는부정적인평가의경우이다. 부정적인평가의경우긍정적인평가와는달리다른기관들의평점분산값과평균평점과평가점수와의차이가유의미한관계를보여주지못하고있다. 즉다른기관들의평점분산값이크더라도평균평점에집중하는경향은보이지않으며, 다른기관들의평점분산값이작더라도평균평점에멀게평가하지는않는것으로나타났다. 전체에대한회귀분석결과와마찬가지로유형별분석결과에있어서도유사한결과가도출되었다. 긍정적인평점의경우 <1유형 >, <3유형 >, <5유형 >, <8유형 > 에서는다른기관들의평점분산값이유의미한관계를보인반면, 부정적인평점의경우에는 < 유형 8> 의경우를제외하고는유의미한관계를보이고있지않다. 그리고 < 유형 8> 의경우도계수값이 + 로서가설에적합하지않다. 이는부정적인평가, 즉평균평점이하의평가를할경우에는다른기관들의평점분산값에따른경향성을보이지않고있어상대평가보다는관대화경향이강하게작용하고있는것으로해석된다. 2. 기관별지표간상대평가 1) 전체및유형별회귀분석결과앞에서살펴본바와같이, 상대평가는특정지표에대한기관간의상대평가와특정기관에대한지표간의상대평가로구분된다. 지표별기관간의상대평가와별도로기관별지표간의상대평가또한평점부여의중요한결정요인이다. 기관별지표간상대평가는특정기관평점이해당지표평점을제외한다른지표들의평점으로부터영향을받는지여부이다. < 가설 2> 에서보는바와같이자기점수를제외한다른지표들평점분산값이크다면해당지표의점수를평균치에가깝게점수를부여할것이고, 작다면해당해당지표의점수를평균에서차이가큰점수를부여할가능성이높다는것이다. 따라서다른지표들평점분산값이해당지표의평점에영향을미친다면, 그계수값은부 (-) 로산출된다. 이러한기관별지표간회귀분석결과는 < 표 8> 과같다. 한기관에있어서자기점수를제외한다른지표점수에대한분산정도와평균점수와자기점수와의차이간의관계에대한회귀분석결과이다.
공공기관경영평가에서상대평가의오류가능성분석 111 < 표 8> 회귀분석결과 ( 종속변수 : ( 평가점수-평균점수 ) 의절대값 ) < 표 8> 에서모든표본을대상으로하는전체회귀분석결과 < 가설 2> 를지지하지않는것으로나타났다. 종속변수인해당지표의자기평점과평균평점과의차이와독립변수인다른지표들평점분산값의회귀계수가통계적으로유의미한관계를보이지않고있다. 즉기관별지표간의상대평가의과정에서한기관내해당지표에대한평점에서다른지표들의평점이특정지표의평점에영향을주지않는것으로나타났다. 각기관유형별로살펴볼경우에도통계적으로유의미한결과가도출되지아니하였다. 2) 긍정적평가와부정적평가에대한회귀분석결과지표별기관간상대평가의경우와마찬가지로기관별지표간상대평가의가능성도 < 가설 3> 에서보는바와같이평점이긍정적인경우와부정적인경우로구분될수있다. 분석결과는 < 표 9> 및 < 표 10> 과같다.
112 행정논총 ( 제 48 권 1 호 ) < 표 10> ( 평가점수-평균점수 ) < 0 인경우 ( 절대값 ) 분석결과전체표본을대상으로할경우긍정적평가와부정적평가모두에서다른지표들평점분산값이평균평점과평가점수와의차이에통계적으로유의미한영향을미치지않는것으로나타났다. 다만, 유형별로분석할경우에는유의미한관계가다소나타났다. < 표 9> 에서보는바와같이긍정적인평가의경우 8개유형중 2개유형에서다른지표들평점분산값과평균평점 -평가점수의차이가부 (-) 의유의미한관계를보이고있다. 즉다른지표들평점분산의정도가클수록해당지표의평균평점에가깝게평가하는경향이있으면, 다른지표들평점분산의정도가작을수록해당지표의평균평점에멀게평가하는경향을보이고있다. 또한 < 표 10> 의부정적평가의경우에도 1개유형에서유의미한부 (-) 의관계를보이고있다. 3. 결과종합및토의기관전체의결과를중심으로지금까지의분석결과를종합하면, < 표 11> 에서보는바와같이 < 가설 1> 의지표별기관간평가는유의미한반면 < 가설 2> 의기관별지표간평가는유의미하지않는것으로분석되었다. < 표 11> 상대평가로인한기관별 지표별평점의오류가능성통계분석결과 ( 전체 ) 상대평가의오류가능성, 즉다른기관들또는다른지표들의평점분산값이평균평점과평가점수간의차이에영향을주는것은지표별기관간평가에서강하게나타난반면, 기관별지표간평가에서는거의나타나지않았다. 즉이는평가자들이상대평가과정에서특정기관에대한지표간의상대평가보다는특정
공공기관경영평가에서상대평가의오류가능성분석 113 지표에대한기관간의상대평가가보다강하게작용하고있는것으로판단된다. 이는총점중심으로기관상호간의상대적순위를정함으로써특정지표를평가하는평가자는기관상호간의상대평가에중점을두게되는경향이있다는것을의미하며, 기관별지표간의평가에중점을두지않는것은지표간상대적우열을중요시하지않는평가방침에서기인한것으로해석된다. 또한전체기관을대상으로한지표별기관간의긍정적평점과부정적평점을비교할경우, < 표 11> 에서보는바와같이긍정적평점에서는상대평가의오류가능성이유의미한것으로나타난반면, 부정적평점의경우상대평가의오류가능성이유의미하지않는것으로나타났다. 또한전체기관의기관별지표간평가에서는둘다유의미한결과를보이지않고있다. 즉지표별기관간평가에서긍정적평점을할경우평가자들은다른기관들평점분산값에민감하며이에따라평점이평균평점으로중심화하는경향을보이며, 부정적평점의경우에는다른기관들평점분산과상관없이다른요인에의하여관대화하는경향이있는것으로추정된다. 이러한전체적인결과는기관유형별로구분하여분석할경우보다구체적이고실질적인분석이가능하다. 앞에서언급한바와같이, 실제정부산하기관경영평가는기관유형별로구분하여이루어지고, 평가자들도기관유형별로구성되었다. 또한실제기관에대한현장방문도평가자그룹별로진행되기때문에기관유형별상대평가의오류가능성분석이중요한의미를가진다. < 표 12> 은기관유형별로구분하여유의미한관계와그방향성을정리한표이다. < 표 12> 상대평가로인한지표별 기관별평점의오류가능성통계분석결과 ( 유형별 ) < 표 12> 에서보는바와같이, 전체적으로 48 개의분석모델 6) 중총 11 개의분 석모델에서유의미한결과가나왔으며, 이중 8 개분석모델에서다른기관들또 는다른지표들의평점분산값과평균평점 - 평가점수의차이와부 (-) 의유의미한 관계를보인반면, 정 (+) 의관계는 3 개모델에불과하였다. 즉기관유형별로구 6) 8 개기관유형 3 개분석대상 ( 전체, 평균이상, 평균미만 ) 2 개분석기준 ( 지표별기관간, 기관별지표간 ) 으로계산된것임.
114 행정논총 ( 제 48 권 1 호 ) 분하여분석할경우상대평가의오류가능성은적지않은것으로나타나며다양 한기관유형에넓게퍼져있는것으로해석된다. Ⅵ. 결론및정책적시사점 본연구는 2007년도정부산하기관경영평가결과를대상으로평가과정에서발생하는상대평가의오류가능성을분석하고자하였다. 상대평가의오류가능성을지표별기관간상대평가오류가능성과기관별지표간상대평가오류가능성으로구분하였고, 다른기관들및다른지표들평점의분산값과평균평점 - 평가점수의차이와의관계를통하여이를실증하고자하였다. 전체기관을대상으로한분석결과, 지표별기관간의평가에있어서상대평가요인, 즉다른기관들평점의분산정도와평균평점 -평가점수의차이간에유의미한관계가있는반면, 기관별지표간평가의경우다른지표들평점분산값과평균평점 -평가점수의차이간에유의미한관계가발견되지않았다. 즉지표별기관간평가의경우다른기관들평점의분산값이클수록평균평점에가깝게평점을부여하는경향을보였다. 또한, 지표별기관간평점에있어서긍정적인평점의경우다른기관들평점의분산정도가평균평점 -평가점수의차이에영향을미치는반면, 부정적인경우에는유의미한결과가도출되지않았다. 그리고기관유형별로구분하여분석한결과상대평가의오류가능성을좀더상세히확인할수있었다. 많은기관유형별평가에서다른기관들또는다른지표들평점의분산값과평균평점- 평가점수의차이와의관계가유의미하게나타났다. 이와같은분석결과는다음몇가지정책적시사점을제공한다. 첫째, 그동안평가과정에서의오류로는관대화경향, 엄격화경향, 평가지표이외요소의영향을받는후광효과등이주로논의되어왔다. 이에본결과는이와같이일반적으로인정되는평가오류외에상대평가로인한평가오류가존재할가능성이있다는점을제시한다. 평가과정에서발생하는평가오류를감소시키기위하여평가제도를변경하는등많은평가노력이이루어지고있는바, 상대평가오류도하나의오류로인정하여이를최소화할수있는방안도정책적평가과제의하나로수용되어야할필요가있다. 둘째, 상대평가오류를감소시킬수있는방안으로는우선적으로절대평가를가미하는방식의도입을고려할수있다. 상대평가오류는평가가상대평가로이루어질때발생하는것으로상대평가시스템하에서는어느정도필연적인측면이존재한다. 상대평가와절대평가시스템상에서어떠한평가시스템을선택할것이냐의문제에서는절대평가하에서모두점수가높게나오는관대화
공공기관경영평가에서상대평가의오류가능성분석 115 경향의문제, 상대평가하에서높은성과를달성하였음에도낮은점수가나오는문제등이고려된다. 이러한고려사항중에서상대평가하에서는상대평가오류가존재한다는것을추가적으로고려하여평가시스템을선정할필요가있다. 상대평가하에서추가적인오류가능성이존재한다면, 기존의상대평가에절대평가를가미한형태로평가제도를운영하여상대평가의오류가능성을최소화할필요가있다. 평가등급체계를축소하거나운영과정에서절대평가의기준을명확히하는등이절대평가를가미하는하나의방안이될수있다 7). 셋째, 전체적인분석결과상대평가의오류가능성이기관별지표간평가보다는지표별기관간의평가에서주로발생하고있다. 이러한결과는경영평가에있어서기관별평가순위가민감한영향을미치는현실을반영하고있는것으로추정된다. 기관별평가순위가평가자및피평가자에게큰영향을미치기때문에기관별평가에있어서는낮은점수를부여하지않으려는상대평가오류경향이나타나고있는것으로보인다. 이러한문제를보완하기위해서는평가지표별기관순위에대한평가자의심리적부담을줄이기위하여평가지표간상대적우열을중요시하는방향으로평가방침을조정할필요가있다 (Mark and Henry, 2004). 즉기관종합평가순위를중시하는현재의평가시스템분위기에서, 종합순위를제외하고각지표별평가순위를중시하고각지표별평가순위로기관간차별화를도모하는방향으로나아가는것이바람직하다. 넷째, 관대화효과, 후광효과등평가자의오류는평가에대한사전교육에의해많은치유가가능하다. 이러한평가오류는평가자의무의식이많이작용하기때문에그러한오류발생가능성을의식하고평가한다면많은평가오류를사전에치유할수있다. 상대평가오류도평가자의무의식적측면에영향을많이받는오류로서사전에그에대해평가자가인식한다면사전에치유가가능한오류라할수있다. 현재평가자들에대해서특별한평가교육이이루어지지않고있는바, 평가자들을대상으로사전에다양한평가오류를예방할수있는평가자훈련프로그램을시행하는것이요구된다 (Brown, 1995; 김종희, 2007). 본연구는현재까지의공공기관경영평가의연구에서상대적으로관심이미약했던평가방법의신뢰성에대한실증적분석을시도하였다. 공공기관평가에있어서의상대평가로인한오류가능성을분석하고, 상대평가제도와그운영과정에제도적시사점을제공하고자하였다는데그연구의의의가있다. 정부및공공기관에서평가와보상이시대적흐름처럼인식됨에따라높은신뢰성과객관성을통하여생산적인평가제도의정착과발전에기여할수있기를기대하였 7) 앞에서지적한바와같이, 본논문은 2007 년도분석자료를토대로서술하였으나, 2009 년현재이미절대평가를가미한형태로운영되고있고, 평가등급도 9 등급에서 6 등급으로축소하는등개선이일부이루어졌다 ( 기획재정부, 2009).
116 행정논총 ( 제 48 권 1 호 ) 다. 본연구결과는향후평가의신뢰성과피평가자의수용성을제고할수있는 제도개선의방향을제시하고자하는기초적연구로서공공기관은물론정부기 관에서확산되고있는다양한평가에도적용가능할것으로생각된다. 참고문헌
공공기관경영평가에서상대평가의오류가능성분석 117
118 행정논총 ( 제 48 권 1 호 )
공공기관경영평가에서상대평가의오류가능성분석 119 Abstract An Analysis on Rating Errors by Relative Performance Evaluation for Public Enterprises Chang Kil Lee Seong Rak Choi This paper analyzes the possible existence of rating errors by relative performance evaluation for Korean public enterprises. Data was collected from the 2007 performance evaluation results for 75 Korean public enterprises. The results of the analysis show that rater errors are significantly involved in the process of relative performance rating among enterprises by individual indicators rather than among indicators by individual enterprises. In particular, such errors are found more significant in the ratings with lower scores rather than that with higher scores. The results are also found in the analysis by functional groups. These results suggest the complementary reconciliation of absolute rating by the level of performance and relative rating by forced distribution. Key words: relative performance evaluation, forced distribution, rating error, public enterprise