일반논문 지방자치단체 합동평가의 실적 상호검증에 관한 연구: 환경관리 분야 이의제기를 중심으로 공공부문에 있어서의 생산성의 중시와 더불어 분권화의 추진으로 인하여 행정책임성의 확보 차원에서 성과측정과 성과평가가 중요한 문제로 대두되고 있다. 이러한 현상은 전통적인 행정 에서 신공공관리 중심의 행정으로 패러다임이 전환되면서 더욱 중시되고 있으며, 성과측정에 관한 구체적인 방법과 기법들이 개발되고 있다. 정부의 관리수단으로서 성과측정을 강조하는 신공공관리의 적용 예들은 대부분의 선진국에서 발견되고 있으며, 이들 국가들은 과거에 비해 서 성과측정이나 성과평가에 더 많은 시간과 예산을 투자하고 있다(Pollitt & Bouckert, 2000: 87). 행정성과의 측정에 대한 아이디어가 신공공관리에서 유래된 것은 아니나, 1980년대 말과 1990년대 초에 들어와서 성과관리가 새로이 강조되었는데, 그 이유는 점차로 증가되고 있는 재 정적자와 가능한 한 국가를 최소규모로 유지하려는 이념 때문이었다. 이 기간동안 성과측정의
주요목표는 효율성을 증대시키고 재정지출을 축소하는 방법을 강구하는 것이었다. 1990년대 중반과 말의 경우 정부성과는 국민경제의 경쟁 강화의 핵심요소로 간주하게 되었으며, 전체사 회의 성과에 기여하는 요소로 인식하게 되었다. 따라서 공공부문을 최소화하는 것은 더 이상 공 공관리개혁의 전략으로 인식되지 않았다(Pollitt & Bouckaert, 2000). 많은 국가에서 효과성과 품 질을 더욱 중시하게 되었다. 그러나 현재는 공공기관에 대한 신뢰의 감소로 인하여 성과측정이 삶의 질 지표나 거버넌스 지표의 측정으로 나아가고 있다(Bovaird & Löffler, 2003). 세계적으로는 1980년대, 우리나라의 경우 1990년대 이후 공공부문의 성과와 생산성에 대한 관심이 급격히 증가되었고, 이에 대한 객관적인 평가를 활용하여 조직과 인력을 관리하려는 흐 름이 강화되었다(이종수, 2002: 28). 1997년 경제위기 이후 기획예산처와 행정자치부를 중심으 로 성과관리제도의 도입 및 정착을 위한 다양한 노력들이 전개되어 지방자치단체에서도 목표 관리제, 행정서비스헌장제도, 자체평가 등의 제도가 실시되고 있다. 국민의 정부 출범과 더불어 기존의 심사평가제도를 기관평가제도로 전환하였고, 2001년에는 정부업무등의평가에관한기 본법 (이하, 평가기본법) 제정으로 정부차원의 성과평가 추진체계 확립뿐만 아니라 평가제도 정착의 기반을 제공하였다(이윤식 김지희, 2004). 현행 평가기본법에 제시된 지방자치단체평가 의 경우 지방자치단체 차원에서 스스로 성과를 평가하는 자체평가와 중앙행정기관에 의한 평 가인 합동평가와 개별평가로 구분할 수 있다. 평가기본법의 대체입법으로 국회에 계류 중인 정 부업무평가기본법(안)도 자체평가 중심의 성과평가를 중시하고 있지만 합동평가의 실시에 대 해서도 명시하고 있다. 합동평가는 국정통합성을 확보할 목적으로 지방자치단체가 수행하는 국가위임사무, 국고보 조사업, 국정시책 등을 대상으로 이루어지며, 국무조정실의 합동평가계획에 따라 행정자치부 가 평가를 주관하고 있다. 따라서 합동평가는 중앙정부의 시책이 지방에서 얼마나 잘 집행되고 있는지의 여부를 평가하는 데에 중점을 두고 있다. 물론 평가대상시책, 평가지표, 시책에 대한 가중치 부여 등에 관해서 지방자치단체의 의견을 수렴하여 합동평가에 반영하고 있으나 평가 방법에 있어서는 하향식(top-down) 접근방식에서 벗어나지 못하고 있다. 합동평가는 시범평가를 거쳐 2000년부터 실시되고 있음에도 불구하고 이에 대한 연구는 상 당히 부진한 편이다. 기존의 연구도 주로 중앙의 관점에서 합동평가의 문제점 및 개선방향에 초 점을 맞추고 있어서 구체적이고 객관적인 방법을 제시하지 못하는 한계를 지니고 있다. 따라서 본 연구는 합동평가의 과정 중 서면평가 및 현장평가 단계에서 각 지방자치단체들이 가상정책스튜디오(Virtual Policy Studio, 이하 VPS 1) )에 입력된 타 지방자치단체의 실적을 검증한 이후에 제기한 환경관리 분야의 이의제기를 분석대상으로 정하였다. 16개 광역자치단체가 이 의제기와 관련하여 서로 어떻게 연계되어 있으며, 환경관리 분야의 어떤 지표들과 주로 관련되 어 있는지를 규명하기 위하여 환경관리 분야의 이의제기에 대한 통계를 분석하며, 이에 대한 지 방자치단체간 네트워크를 그래프로 시각화(visualization)하고, 네트워크의 밀도, 집중도, 강한 1) VPS.
연계와 약한 연계 등을 분석하기로 한다. 즉, 합동평가 과정에서 지방자치단체들이 VPS에 입력 한 실적에 대해 상호검증을 실시한 후 16개 광역자치단체가 제기한 이의신청에 대해서 자치단 체간의 연계가 어떻게 이루어지고 있는지에 대해서 사회 네트워크 분석(social network analysis) 프로그램인 UCINET 6 및 Pajek을 이용하여 분석하였다. 합동평가는 평가기본법 제6조에 의거하여 국정의 효율적인 운영을 위하여 중앙정부가 위임 사무, 국고보조사업, 국가의 주요시책 등이 지방에서 계획대로 시행되고 있는지를 점검하는 제 도이다. 따라서 합동평가는 지방자치단체가 수행하는 주요업무나 시책의 평가를 통하여 지방 행정의 합리적인 운영이나 개선에 도움을 주기보다는 지방자치단체가 수행하는 국가의 주요시 책을 평가하여 중앙정부의 정책개선에 주로 활용되고 있다(이윤식 김지희, 2004: 206). 이러한 합동평가의 기본 목적은 광역자치단체에서 수행하는 국가위임사무, 주요시책 등에 대한 평가 와 환류를 통하여 국정의 통합성과 책임성을 확보하고, 평가업무에 대한 지방자치단체의 부담 을 완화하는 데에 있다. 광역자치단체 합동평가는 1999년 시범평가의 형태로 처음 실시되었으며, 2000년에는 종합평 가라는 이름으로 실시되었다. 그러나 공식적인 시행은 2001년도 평가기본법에 의해 이루어지 게 되었다. 그 이후로 매년 합동평가가 실시되어 2004년 합동평가까지 이루어졌으나 평가시기, 평가부문, 평가시책 등에 있어서는 연도별로 차이가 있는 것으로 나타났다. 합동평가는 기관평가에 중점을 둔 1999년부터 2001년까지의 도입 단계와 2002년 이후의 정 착 단계로 구분할 수 있다. 도입 단계에서는 합동평가가 기관평가모형에 입각하여 2) 주요시책, 추진역량, 주민만족도 등을 평가하는 데 중점을 두었으나(최창수, 2003: 16), 2002년부터는 주요 시책과 만족도 조사만을 대상으로 합동평가가 실시되었다. 1999년 처음으로 실시된 시범평가에서는 재정역량, 정보화역량 등 2개 부문에 대한 기본역량 평가와 지방공공혁신, 지방경제 활성화, 주민안전 관리, 정보화 촉진 등 4개 부문에 대한 주요정 책평가를 실시하였다. 2000년 평가에서는 행정관리, 재정관리, 정보화 촉진의 추진역량평가와 2), (, 2002: 43).
일반행정혁신, 복지 환경개선, 지역경제 진흥, 지역개발 확충, 주민안전 관리 등 5개 부문에 관 한 주요시책평가 및 이에 대한 주민만족도를 평가하였다. 2001년은 2000년과 마찬가지로 3개 부문의 추진역량평가와 행정혁신, 보건복지 여성, 산업경제, 환경관리, 지역개발 확충, 안전관 리 등 6개 부문의 주요시책을 평가하였다. 주민만족도는 주요시책만족도 11개 영역과 민원서비 스만족도 3개 부문에 대하여 실시하였다. 2002년 평가에서는 추진역량으로 분류된 것과 일반시책의 차별화가 쉽지 않으며, 추진역량 평가가 평가기본법에 관련근거가 없다는 이유로 종전의 추진역량을 주요시책으로 흡수하여 9 개 부문(일반행정, 지방재정, 전자정부, 주민안전, 주민복지, 여성, 지역경제, 지역개발, 환경관 리 등)의 주요시책평가와 민원을 제기한 주민을 대상으로 한 주민만족도 조사만 실시하였다. 2003년 합동평가는 일반행정, 주민복지, 여성, 지역경제, 지역개발, 환경관리 등 6개 부문, 총 30개 시책을 대상으로 하였다. 2003년 합동평가의 평가대상 시책 수가 2002년(69개 시책)에 비 해 크게 줄어든 것은 합동평가에 따른 업무부담이 과중하다는 직장협의회의 반발에 따른 것이 다. 2003년 평가의 특징은 주요 시책에 대한 특정업무 만족도조사와 주요 시설에 대한 현장확인 평가를 실시하였다는 점이다. 2004년 합동평가는 2003년 합동평가의 문제점, 특히 시책들이 분야별로 대표성을 갖지 못해 평가결과의 수용성을 떨어뜨린다는 시 도의 지적에 따라 주요 국정과제를 포괄할 수 있도록 평 가대상과제의 수를 9개 분야(행정내부혁신, 대민서비스혁신, 보건복지, 여성복지, 환경관리, 지 역경제, 지역개발, 문화관광, 안전관리 등) 53개 시책으로 늘리게 되었다. 2004년 합동평가의 특 징은 평가대상과제의 수가 증가하였다는 점 이외에 자치행정에 대한 포괄적인 평가가 이루어 질 수 있도록 비교적 대표성 있는 시책들이 포함되었다는 점이다(행정자치부, 2005). 이 밖에도 10개 개별평가 3) 의 결과가 연계시책으로 합동평가에 포함되었으며, 주요시설에 대한 현장확인 평가가 없어진 대신에 중점과제평가가 도입되어, 시설물 안전관리시책과 재난관리역량강화시 책에 대한 정성평가 및 현장확인평가 등을 포함한 총괄평가가 이루어졌다. 합동평가의 과정은 업무프로세스에 따라 이원적 형태로 구성되어 있다. 첫째는 평가기본법 에 정해진 공식적인 합동평가의 절차로서 주로 중앙부처 내부적인 결정과 조정에 관한 것이며, 둘째는 지방자치단체에 대한 서면 및 현장평가의 직접적인 수행과 관련된 평가절차로서 주로 외부용역기관의 평가수행과 관련되어 있다. 합동평가의 큰 틀에서 보면 두 번째 절차는 평가기 본법에 정하고 있는 절차에 속하는 하위절차라고 볼 수 있다. 평가기본법 제14조 및 동법 시행 3) 10,,,,,,,,,.
령 제5조와 제6조에 근거한 평가과정은 크게 4단계, 평가계획 수립단계, 평가지표 개발단계, 평 가실시단계, 평가결과 조치단계로 구분할 수 있다. 첫째, 평가계획 수립단계에서는 평가의 기본방향 설정과 평가대상과제(시책) 선정, 평가실시 계획 수립 등이 이루어진다. 중앙행정기관은 지방자치단체 평가계획을 매년 3월 10일까지 국무 조정실에 제출해야 하며, 국무조정실 정책평가위원회는 다른 평가와 중복 여부, 합동평가 또는 개별평가 실시여부 등에 관해 심의하고 행정자치부와 협의를 거쳐 평가의 기본방향을 마련한 다. 기본방향이 설정되면, 행정자치부 지방자치단체합동평가위원회(이하 합동평가위원회)는 각 중앙행정기관으로부터 위임받은 과제와 행정자치부의 자체과제를 묶어 평가대상과제(시책) 로 선정하고, 당해연도 합동평가의 실시계획을 확정하여 각 시 도에 시달하게 된다. 둘째, 평가지표 개발단계에서는 정책평가위원회와 합동평가위원회를 거쳐 확정된 국정시책 에 대해 평가지표와 매뉴얼을 개발하는 것으로, 주로 8월에서 12월 사이에 이루어지게 된다. 먼 저 합동평가위원회가 외부기관에 의뢰하여 평가지표를 개발한 다음, 지방자치단체 및 관련 중 앙부처 공무원의 의견수렴, 합동평가위원들의 검토, 지표 검증을 위한 예비조사를 실시하고, 합 동평가위원회와 정책평가위원회의 심의를 거쳐 최종 평가지표와 매뉴얼을 확정하게 된다. 이 과정에서 시책 및 평가지표에 대한 가중치 조사 4) 와 만족도조사 설계, VPS의 개발 및 보완 등이 함께 수행된다. 셋째, 평가실시단계에서는 먼저, 행정자치부에서 합동평가 실시계획(대상시책, 기준 등)을 평 가실시 3개월 전까지 마련하여 정책평가위원회 심의를 거친 후 자치단체에 통보하여야 하며, 실시계획에 입각하여 합동평가단을 구성(연구소 전문가, 평가위원, 관련공무원 등)하여 매년 말 기준으로 합동평가를 실시한다. 행정자치부는 평가의 전체적인 관리만 담당하고 있으며, 실제 적인 실적평가는 일반적으로 외부기관에서 수행하고 있다. 또한 전문조사기관에 의뢰하여 민 원서비스 만족도조사와 특정업무 만족도조사를 실시하고, 중점과제의 경우 서면평가와 함께 사업현장 방문 및 만족도조사를 병행하여 평가하게 된다. 넷째, 평가결과 조치단계에서는 합동평가반이 평가지표별 평점작업을 통해 우수단체를 선정 하고 지표를 분석하여 종합평가보고서를 작성한다. 평가결과는 합동평가위원회에서 심의 확 정하고 정책평가위원회의 심의를 거쳐 행정자치부장관이 국무총리에게 보고하게 된다. 보고절 차가 완료되면 행정자치부는 평가결과를 공표하고 우수기관에 대하여 재정 인센티브 부여, 훈 포장 수여, 수범사례 확산 등의 사후조치를 취하게 된다(박희정, 2004a). 평가결과에 대한 재정 인센티브 부여는 주로 주관부처의 결정에 의해서 이루어지며, 확보된 예산에 따라서 인센티브 를 위해서 사용할 수 있는 금액은 차이가 날 수 있다. 4), (Analytic Hierarchy Process, AHP). AHP, 1:1 (Saaty, 1980). (2005).
지방자치단체의 실적에 대한 서면평가는 주로 행정기관이 아닌 외부기관에 의해서 수행된 다. 지방자치단체가 주어진 기한 내에 VPS에 해당 시책의 실적을 입력하도록 하여 모든 지방자 치단체가 입력을 완료하면 VPS상의 입력기능을 차단하고 타 지방자치단체의 실적을 검증할 수 있는 기간이 주어진다. 이 기간 동안에 개별 지방자치단체가 실적을 입력하는 과정에서 나타난 오류, 타 지방자치단체의 실적 등에 대해 이의를 제기할 수 있는 기회가 제공되며, 16개 광역자 치단체는 실명으로 이의를 제기할 수 있다. 지방자치단체의 실적에 대한 검증은 합동평가의 신뢰성과 타당성을 제고할 수 있는 방법이 부족하다(이달곤, 2001)는 그 동안의 비판으로 인하여 2003년도 합동평가부터 도입되었다. 합동 평가과정에서 지방자치단체는 평가지표 선정, 시책에 대한 가중치 부여 등에 대해 어느 정도 지 방의 의견을 반영할 수 있으나 반영 정도는 상당히 제한되어 있다고 볼 수 있다. 그러나 이의제 기를 통하여 다른 자치단체의 실적을 검토하여 잘못이 있거나 과장된 자료에 대해 합동평가반 의 재검증이 이루어진다 5) 는 점은 합동평가의 수용성 제고에 이바지할 뿐만 아니라 평가의 신뢰 성 확보에 크게 기여할 것이다. 따라서 이의제기는 긍정적인 측면에서 피평가기관인 지방자치단체의 의견을 수렴하여 평가 과정 및 결과의 수용성 제고에 기여하며, 실적에 대한 추가적인 검증작업을 통하여 수정 또는 보완이 이루어진다는 측면에서 합동평가의 신뢰성을 향상시킬 수 있다. 그러나 부정적인 측면 에서는 이의제기로 인하여 지방자치단체간 갈등이 야기되거나 실적검증에 대한 시간소요 및 비용이 크게 증가할 가능성이 있다. 2001년부터 평가기본법에 따라서 합동평가가 정기적으로 실시되고 있음에도 불구하고 이에 대한 연구는 상당히 일천하며, 기존의 연구도 주로 합동평가에 직 간접적으로 관여하였던 평가 위원들을 중심으로 전개되어 왔다. 따라서 합동평가에 대한 연구자의 수도 상당히 제한되어 있 다고 볼 수 있다. 합동평가에 관한 기존의 연구들은 주로 합동평가제도의 문제점 및 이들의 개선방안에 중점 을 두고 있다. 즉, 연도별로 이루어진 합동평가에서 나타난 문제점에 대한 지적 및 이를 해결하 기 위한 방안 모색 관점에서 합동평가를 연구한 논문들이 주류를 형성하고 있다(김병국, 2001; 김영선, 2004; 박우서, 2004; 박희정, 2004; 이광희, 2003; 이종수, 2002; 이달곤, 2001; 최창수, 2003). 최근 들어 합동평가 대상과제에 관한 대표성 확보를 위한 방안(고성철, 2005)의 모색 등 5).,.
과 같이 보다 구체적인 개선방법에 관한 연구가 이루어지고 있지만 아직까지 합동평가에 대한 기존의 연구방향을 크게 벗어나지 못하고 있는 실정이다. 따라서 선행연구에서 공통적으로 나타나고 있는 문제점 및 개선방안을 평가의 제 측면, 즉 평 가목적, 평가환경, 평가방법, 평가지표, 평가주관기관, 평가내용, 평가결과의 환류 등으로 구분 하여 간략하게 살펴보기로 한다. 우선적으로 합동평가의 문제점을 살펴보면, 첫째, 평가목적 측면에서 합동평가의 실시목적 이 명확하지 않다(최창수, 2003: 16). 합동평가의 실시목적이 중앙정부를 위한 평가로만 인식될 경우 지방자치단체에 대한 통제의 수단으로 사용되거나(이종수, 2002: 40; 최창수, 2003: 16), 지 방정부가 부담할 수 없을 정도의 업무를 가중시키거나, 중앙의 사실상의 간섭방법으로 활용되 어 지방자치 본래의 뜻을 흐리게 할 위험이 있다(이달곤, 2001: 11). 둘째, 평가환경 관점에서 볼 때에 평가과정에서 16개 광역자치단체의 의견수렴이 형식적으로 이루어지는 경우가 많아서 시 책이나 지표 선정에 있어서 지역의 여건을 반영하지 못하고 있다는 비판이 제기되고 있다. 셋째, 평가방법 측면에서 실적치 검증에 대한 체계가 확립되어 있지 못하여 실적이 의도적으로 부풀 려진 경우 이에 대한 객관적인 검증이 미흡하며(김영선, 2004: 24), 제재가 불가능한 실정이다. 넷째, 평가지표 개발이 하향식 접근방법을 지니고 있으며, 지표와 산식에 나타난 용어들의 개념 이 일선기관의 업무와 관련되지 못하고, 다의적이며 모호하다는 점이다(이광희, 2003: 33-36; 최 창수, 2003: 18). 다섯째, 평가주관기관의 전문성이 부족하며(박희정, 2004), 피평가기관의 경우 도 평가자의 빈번한 이동으로 평가에 대한 전문성을 제고시키는 데에 많은 한계를 노정하고 있 다. 여섯째, 평가결과의 환류 측면에서 평가결과를 주민에게 정확하게 전달하는 과정이 생략되 어 있으며(이종수, 2002: 45), 합동평가의 결과를 중앙정부 및 지방자치단체의 관련 정책이나 사 업을 개선하는 데에 활용하지 못하고 있는 실정이다. 이러한 문제들을 해결하기 위한 개선방안으로는 첫째, 평가목적을 국정통합성 및 평가효율 성 제고 위주에서 책임성 위주로 재조정할 필요가 있으며, 둘째, 평가환경 측면에서 시책이나 지표선정 과정에 있어서 지방자치단체 참여의 제도화가 필요하며, 셋째, 평가방법 측면에서 평 가절차의 공개, 평가과정의 투명성 확보로 평가방법의 타당성을 제고하고, 부풀려진 실적치에 대해서 제재를 할 수 있는 방안이 모색되어야 하며, 넷째, 평가지표의 합리화를 위하여 양방향 식 지표개발 및 지표의 기준 강화를 통하여 지표에 대한 타당성을 제고하도록 하며, 다섯째, 평 가주관기관 및 피평가기관의 평가추진역량 강화가 필요하며, 여섯째, 평가결과는 주민들에게 알리고, 미흡한 점은 적극적으로 개선하여 정책이나 사업의 수행에 실질적으로 기여할 수 있도 록 해야 할 것이다(박희정, 2004; 이광희, 2003; 이종수, 2002; 이달곤, 2001; 최창수, 2003).
합동평가는 중앙정부의 사무와 시책이 지방에서 제대로 집행되고 있는지를 중앙정부의 관점 에서 성과를 평가한다는 점에서 하향식 접근방법을 취하고 있다. 그러나 합동평가과정에서 광역 자치단체의 의견이 반영될 수 있는 기회는 주어져 있으며, 광역자치단체들도 적극적으로 이를 활용하고 있다. 우선적으로 지표선정 과정에 참여하여 의견을 제시할 수 있으며, 이를 통하여 적 실성 있는 지표가 선정되도록 하는 데에 기여할 수 있다. 또한 VPS에 입력된 타 지방자치단체의 실적에 대한 이의를 제기하여 평가과정에서 나타날 수 있는 오류를 줄여나갈 수 있을 것이다. 2003년도 합동평가부터 VPS에 입력된 지방자치단체의 실적에 대해서 16개 광역자치단체가 공식적으로 이의를 제기할 수 있도록 하였다. 본 연구에서의 분석은 2004년 합동평가 환경관리 분야에서의 타 시도에 대한 실적 및 지표에 대한 이의제기를 대상으로 이루어졌다. 16개 광역자 치단체가 제기한 이의제기 건수는 총 437건으로 나타났으며, 이를 대상으로 지방자치단체간 이 의제기로 인하여 형성된 네트워크의 구조, 밀도, 집중도, 네트워크 내의 집단간 연결 등에 대해 서 분석하기로 한다. 우선적으로 광역자치단체(행위자)간의 전체 네트워크를 파악한 이후에 시부와 도부의 네트 워크를 분석하여 그 특징들을 살펴보기로 한다. 이에 대한 분석은 시부와 도부 중 누가 더 많은 이의를 누구에게 제기하였는가를 파악할 수 있게 해준다. 둘째로 시부와 도부에 속하는 광역자치단체들이 주로 어떤 지표에 대해서 이의를 받았는지 를 파악하기 위하여 광역자치단체와 지표간의 연계성을 분석하기로 한다. 이러한 분석을 통하 여 이의제기의 주요대상이 된 시책과 지표를 확인할 수 있을 뿐만 아니라 관련된 시책에 대한 실적확인을 용이하게 한다. 이의제기에서 나타난 지방자치단체간 네트워크와 지방자치단체와 평가지표와의 네트워크를 분석하기 위하여 분석의 대상 및 범위를 포함한 분석의 틀을 도식화 하면 <그림 1>과 같다. 합 동 평 가 환 경 관 리 분 야 이 의 제 기 ( 분 석 대 상 ) 행 위 자 간 의 연 계 행 위 자 와 지 표 간 연 계 A 1 A 1 A 2 A 3 A 2 I1 A 3 I2 In I3 A 4 A 5 A 4 I4 A 5 A n A n S N A S N A 분 석 의 종 합 및 함 의
사회 네트워크 분석은 주로 사회학에서 많이 활용되었으나 현재는 다른 학문 분야, 즉 정치 학, 경제학, 정책학, 행정학 등 사회과학 전반으로 확대되어 광범위하게 활용되고 있다. 네트워 크 분석의 체계화를 위해서는 전체에 대한 보다 구체적인 설명 6) 이 필요하지만 여기서는 본 연구 의 분석과 관련된 네트워크의 개념, 특성 등을 중심으로 간략하게 살펴보려고 한다. 사회 네트워크는 행위자와 그들 사이에 존재하는 관계로 이루어진 세트로서 공식적으로 그 래프로 묘사할 수 있는 실증적 시스템이며, 점(node)은 행위자를 나타내며, 라인은 행위자들 간 의 관계를 나타낸다(Pappi, 1987). 점과 라인의 적절한 조합에 의하여 행위자간의 거래, 교류, 교 환 등을 표현하는 방법이 그래프이다. 따라서 네트워크 분석은 사회구조나 지역구조의 분석을 위한 하나의 방법으로 사용되고 있다. 행위자와 관련되거나 또는 전체 네트워크와 관련되든 크 기, 밀도, 연결, 복잡성, 중심성의 정도, 사회관계 등의 전형적 양태를 파악하거나 기술할 수 있 다(Schweizer, 1996: 37). 그러나 어떤 특정한 관계의 유형을 유지하고, 이들이 결합하여 네트워크를 형성하는데 있어 서 행위자가 반드시 개인이어야 하는 것은 아니며 가정, 그룹, 조직, 회사, 국가 등과 같은 대규 모의 사회 단위일 수도 있다. 네트워크 분석은 이러한 개념을 통하여 사회에서 미시적 차원과 거시적 차원을 연결할 수 있는 가능성을 제공한다(Jansen, 1999: 35). 이러한 인식에 따르면 사회 구조도 네트워크의 네트워크로 구성된 것으로 파악할 수 있다(Wellman, 1988: 20). 복잡한 사실들은 조망할 수 있는 방법에 따라서 그 실체를 파악하도록 요청받고 있는 상황에 서 단순한 도표만으로는 현실세계의 복잡한 관계를 파악할 수 없다. 따라서 네트워크는 그래프 로 시각화하는 것을 필요로 하며, 이것은 네트워크 분석방법과 불가분의 관계에 있다. 일반적으 로 컴퓨터프로그램을 통하여 분석데이터로부터 2차원 또는 3차원 그래프로 나타낼 수 있다. 7) 시 각화를 통해서 다양한 특징들, 예를 들면 행위자의 지위(position), 종류(art), 영향력, 관계의 강 도, 전체 네트워크의 구조 등을 요약하여 묘사할 수 있다. 네트워크에 속한 그룹들에 대한 분석은 2가지 접근방법으로 구분할 수 있다. 첫째로 밀접한 관계를 유지하는 행위자들을 그룹으로 파악하게 된다. 이것은 네트워크 분석에서 결속집단 (Clique)에 해당되며, 주로 전체 구성원들 각각 모두가 서로에 대해 관계를 가지고 있어 서로 뜻 을 같이 하는 집단 (손동원, 2002: 71)을 말한다. 둘째로 유사한 관계를 형성하고 있는 행위자를 묶어서 블록(block) 또는 지위(position)로 분류할 수 있다. 네트워크 내에서 두드러지게 나타나는 그룹을 발견하기 위하여 일반적으로 밀도(density)를 6) (2003)(2002). 7) Pajek.
이용한다. 밀도는 그래프의 연계를 기술하며, 네트워크 내에서 가능한 연결에 대한 실제적인 연 결의 관계로 정의된다(Scott, 2000: 71). 일반적으로 높은 밀도의 네트워크는 강한 연결로부터 생 겨나게 된다(Granovetter, 1973: 1370). 네트워크의 집중도(centralization)란 한 네트워크 전체가 하나의 중심으로 집중되는 정도를 표 현하는 지표이다(손동원, 2002: 111). 집중도 개념은 네트워크에서 많은 관계를 가지고 있는 행 위자가 네트워크에서 매우 중요하다는 것에서 출발하고 있다. 소수의 행위자들 간에 집중적인 관계가 있는 경우 네트워크는 집중도가 높은 네트워크가 된다. 반면에 다양한 행위자들 간에 관 계가 있는 경우 네트워크의 집중도는 낮아지게 된다. 본 연구의 맥락에서 또 하나의 중요한 구분은 Granovetter에 의해서 만들어진 개념, 즉 강한 연결(strong ties)과 약한 연결(weak ties)의 적용이다. 관계의 강도는 사람들 간에 함께 보낸 시 간, 친밀, 신뢰, 상호성 등을 통하여 측정된다(Granovetter, 1973: 1360). 강한 연결은 사람의 감 정적 건강을 위해서 중요한 반면에, 약한 연결은 일자리, 아이디어, 혁신 등에 대한 정보를 획 득하는데 도움을 주며, 네트워크에서 멀리 떨어져 있는 지위에 대해 연계할 수 있도록 한다 (Granovetter, 1973: 1370). 일반적으로 네트워크는 강한 연결과 약한 연결의 혼합으로 이루어지 고 있다. 네트워크분석을 위해서는 UCINET, Pajek, KreakPlot, P*, PSPAR 등 다양한 프로그램들이 개 발되어 활용되고 있다 8). 이들 프로그램은 인터넷, 교통체계, 전염병 확산, 웹 그래프 등과 같은 다양한 구조의 연구에도 활용되고 있다(Brandes & Erlebach, 2005). 또한 혁신의 확산에 있어서 도 네트워크분석이 상당한 설명력을 지니는 것으로 나타났다(Rogers, 2003: 300ff.). 아래에서는 VPS에 입력된 실적에 대한 타 지방자치단체의 이의제기를 통하여 나타난 관계적 데이터 (relational data)를 근거로 광역자치단체의 밀도, 집중도, 강한 연결과 약한 연결 등을 분석하기로 한다. UCINET 6을 통하여 16개 광역자치단체의 이의제기에 대한 단일변량 통계를 분석하면 <표 1>과 같다. 분석을 통하여 평균(mean), 표준편차(standard deviation), 총계(sum), 분산(variance), 최소(minimum), 최대(maximum) 등을 파악할 수 있다. 전체적으로 이의신청 총 건수는 437건 9) 이 었으며, 평균적으로 광역자치단체별 27.3건의 이의제기를 받은 셈이다. 가장 많은 이의제기를 8) Breiger(2004) Jansen(1999). 9) 437105, 192, 140,.
신청한 지방자치단체로는 강원, 경남, 광주, 전북 등을 들 수 있으며, 이의제기를 많이 받은 지방 자치단체는 경북, 대구, 서울, 충북, 울산 등의 순으로 나타났으며, 지방자치단체별 건수는 합계 (sum) 행에 제시된 바와 같다. 시부의 이의신청 총 건수는 105건이었으며, 평균적으로 광역자치단체별 15건의 이의제기를 받은 것으로 나타났다. 가장 많은 이의제기를 신청한 지방자치단체로는 광주, 대구, 인천, 부산 등을 들 수 있으며, 이의제기의 대상이 된 지방자치단체는 대구, 서울, 울산, 부산 등의 순으로 나타났다. 개별 지방자치단체가 한 자치단체로부터 가장 많은 이의제기를 받은 건수는 15건이 며, 가정 적은 곳은 4건으로 나타났다(<표 2> 참조).
도부의 이의신청 총 건수는 192건이었으며, 평균적으로 광역자치단체별 23.3건의 이의제기 를 받은 것으로 나타났다. 가장 많은 이의제기를 신청한 지방자치단체로는 강원, 경남, 전북, 충 북, 경기 등을 들 수 있으며, 이의제기의 대상이 된 지방자치단체는 경북, 충북, 충남, 전북, 제주 등의 순으로 나타났다. 개별 지방자치단체가 한 지방자치단체로부터 가장 많은 이의제기를 받 은 건수는 12건이며, 가정 적은 곳은 5건으로 나타났다(<표 3> 참조). 환경관리 분야에서 16개 광역자치단체들이 제기한 이의신청이 자치단체 상호간에 어떻게 연 계되어 있는지는 Pajek 프로그램을 이용하여 시각화하기로 한다. 우선적으로 이의제기를 전체, 시부, 도부 등으로 구분하여 각 그룹에서 지방자치단체간의 연계를 시각화한 이후에 네트워크 의 밀도와 집중도에 대해서 분석하기로 한다. 전체적인 관점의 네트워크를 통하여 나타난 분석의 결과를 도식화하면 <그림 2>와 같다. <그 림 2>에서 화살표의 방향은 각 자치단체가 어느 자치단체에 대해서 이의제기를 하였는가를 나 타내며, 선의 굵기는 이의제기 건수가 많음을 의미한다. 이의제기에 있어서 시부와 도부간의 차 이를 확인할 수 있다. <그림 2>에 나타난 바와 같이 특별 광역시는 시에 대해서, 도의 경우 다른 도에 대해서 더 많은 이의를 제기하고 있는 것으로 나타났다. 16개 광역자치단체 중 4개의 자치 단체, 즉 대전, 울산, 충남, 제주 등은 이의를 제기하지 않았으며, 단지 이의제기의 대상이 되었 다. 그 외의 12개 자치단체는 이의제기를 하였을 뿐만 아니라 이의제기의 대상이 된 것으로 나 타났다.
시부와 도부의 이의제기에 대한 네트워크의 구조를 시각화하면 <그림 3>과 같다. 시부의 경 우 이의를 제기한 지방자치단체들은 대전과 울산을 제외한 5개 광역시인 반면에, 7개 광역시 전 체가 이의제기의 대상이었다. 도부의 경우 이의를 제기한 지방자치단체들은 충남과 제주를 제 외한 7개 광역자치단체인 반면에, 9개 광역자치단체 전체가 이의제기의 대상이었다. 앞에서 제시한 3개 네트워크의 평균밀도를 살펴보기로 한다. 밀도(density)는 한 네트워크에 서 광역자치단체(행위자)들 사이의 연결된 정도를 의미한다. 다시 말하면, 네트워크 속의 광역 자치단체가 상호간 얼마나 많은 관계를 맺고 있는가를 표현하기 위한 개념이다. 전체 네트워크
의 평균 밀도는 1.7070이며, 시부는 2.1429, 도부는 2.3704인 것으로 나타나 10) 도부의 밀도가 가 장 높은 것을 알 수 있다. 즉, 시부보다는 도부가 더 많은 이의를 제기하였으며, 이러한 현상은 <그림 3>을 통해서도 확인할 수 있다. 따라서 환경관리 분야에 있어서 도부가 시부보다 타 광역 자치단체의 실적에 더욱 민감하게 반응하는 것으로 볼 수 있다. 다음으로 이들 3가지 네트워크가 집중도에서도 차이가 있는지 분석하기로 한다. 집중도는 지 방자치단체의 이의제기가 특정 점에 몰리는 것을 의미하게 된다. 소수의 지방자치단체가 집중 적으로 이의를 제기하거나 받게 되면 그 네트워크는 집중도가 높은 네트워크가 된다. 반면에 많 은 지방자치단체들 간에 이의제기가 분산되는 경우 집중도가 낮은 네트워크가 된다. 3가지 네 트워크의 집중도 분석에 따르면 전체 네트워크는 23.3%, 시부 네트워크 45.78%, 도부 네트워크 45.36%로 나타났다. 즉, 전체 네트워크의 집중도에 비해서 시부와 도부의 집중도가 약 2배 정도 높았으나, 시부와 도부의 비교에서는 큰 차이가 없는 것으로 나타났다. 환경관리 분야의 이의제기에 대한 데이터가 비대칭적인 구조로 구성되어 있어서 결속집단 분석(clique analysis)을 실시하는 것은 자료의 왜곡을 초래할 위험이 있다. 그러나 네트워크가 그룹을 형성하는지 또는 여러 개의 하위 네트워크를 가지고 있는지를 분석하는 데는 활용할 수 있다. 이러한 분석을 위해 UCINET 6의 Freeman-Granovetter Groups 절차를 이용하였다. 이 절 차는 자료를 대칭시키지 않을 뿐만 아니라 실제적인 그룹들이 발견되지 않더라도 연결의 배분 (distribution of ties)을 가능하게 한다. 연결의 배분을 위해서는 매개변수(parameter)로서 미연결 (absent ties)을 위한 절삭값(cut-off value)을 부여해야 하는데, 여기서는 1 이하인 경우 연결이 없 는 것으로 간주하였다. 전체 네트워크에서 강한(strong) 연결, 약한(weak) 연결, 미연결의 비율은 12.1%, 25.8%, 62.1% 이며, 시부 네트워크의 경우는 각각 16.7%, 33.3%, 50%이며, 도부의 경우는 20.9%, 33.3%, 45.8% 인 것으로 나타났다. 전체 네트워크에 비해서 시부 및 도부의 네트워크에서 강한 연결(strong ties)의 비율이 높으며, 시부와 도부의 비교에 있어서는 도부 네트워크에서 강한 연결의 비율이 4.2% 높은 것으로 나타나고 있다. 이와 같이 도부 네트워크에서 이의제기와 서로 밀접하게 관련 된 지방자치단체의 비율이 높은 것은 타 자치단체의 실적에 대해서 더욱 민감하게 반응하거나, 개별 자치단체를 경쟁자로 인식하고 적극적으로 이의제기를 한 결과라고 볼 수 있다. 10) 2.3511, 3.1429, 2.6641.
2004년 합동평가의 환경관리 분야는 환경관리 일반, 자연환경보전, 폐기물 관리, 대기오염 관 리, 온실가스 감축, 수질오염 관리, 먹는 물 관리 등 7개 시책으로 구성되어 있으며, 시책별 평가 지표는 2개에서 6개 사이로 전체 평가지표는 31개이다 11) (<표 4> 참조). 이들 전체 지표 중에서 주로 어떤 지표에 대해 많은 이의들이 제기되었으며, 지방자치단체별로 어떤 지표와 관련된 실 적이 가장 많은 이의를 받았는지에 대해서 시부와 도부로 구분하여 분석하기로 한다. 11) <4>.
전체 이의제기를 시책별로 살펴보면 자연환경보전 165건(37.8%), 환경관리 일반 77건 (17.6%), 먹는 물 관리 75건(17.2%), 폐기물 관리 59건(13.5%), 수질오염 관리 43건(9.8%), 대기오 염 관리 18건(4.1%) 등의 순으로 나타났다. 전체 7개 시책 중 자연환경보전, 환경관리 일반, 먹는 물 관리 시책 등 3개 시책이 72.6%를 차지하고 있어서 실적확인과 지표개발 시 이들 시책에 대 한 체계적인 분석과 검증이 필요한 것으로 판단된다. <표 4>에 제시된 31개의 지표 중에서 환경관리 중장기 계획 수립실적(I1), 운행차 배출가스 관 리 실적(I16), 온실가스 감량화성과(1)(I20), 온실가스 감량화성과(2)(I21), 하수종말처리시설 운 영개선 성과(2)(I24), 수돗물 수질관리 성과(2)(I27) 등 6개 지표에 대해서는 전혀 이의를 제기하 지 않았으며, 도로먼지 저감 실적(I19)에 대한 이의제기는 1건에 불과한 것으로 나타났다. 좀 더 세분하여 지표별로 이의제기 순위를 살펴보면 환경개선 이행 실적(I4)과 자연보전 복 원사업 성과(1)(I7)가 49건(11.2%)으로 가장 많았으며, 그 다음으로는 자연보전 복원사업 성과 (2)(I8) 40건(9.2%), 자연보전 복원사업 성과(3)(I9) 35건(8%), 대기배출업소 관리 및 점검 실적 (I5)과 물수요 관리 실적(3)(I30)이 각각 23건(5.3%), 폐기물 감량화 예산 확보 실적(I12)과 쓰레 기 불법투기 지도 단속 실적(I13)이 각각 22건(5%), 환경시책 추진 실적(I3) 19건(4.3%), 제도개 선 및 홍보(2)(I6) 18건(4.1%) 등의 순으로 나타났다(<그림 4> 참조). 시부의 이의제기를 시책별로 살펴보면 자연환경보전 75건(39.7%), 먹는 물 관리 36건(19%), 환경관리 일반 27건(14.3%), 폐기물 관리 21건(11.1%), 수질오염 관리 21건(11.1%), 대기오염 관 리 9건(4.8%) 등의 순으로 나타났다. 31개의 지표 중에서 환경관리 중장기 계획 수립실적(I1), 지 방의제21 수립지원 실적(I2), 분리수거 및 재활용체계 구축 실적(2) (I11), 운행차 배출가스 관리 실적(I16), 온실가스 감량화성과(1)(I20), 온실가스 감량화성과(2)(I21), 하수종말처리시설 운영 개선 성과(2)(I24), 수돗물 수질관리 성과(2)(I27) 등 8개 지표에 관한 실적에 대해서는 이의를 제 기하지 않았다. 개별지표별 이의제기를 살펴보면 자연보전 복원사업 성과(1)(I7)가 23건(12.2%) 으로 가장 많았으며, 그 다음으로는 환경개선 이행 실적(I4) 22건(11.6%), 자연보전 복원사업 성 과(2)(I8) 19건(10.1%), 자연보전 복원사업 성과(3)(I9) 17건(9%), 물수요 관리 실적(1) (I28) 12건 (6.3%), 대기배출업소 관리 및 점검 실적(I5)과 폐수배출업소 관리 성과(I22)가 각각 10건(5.3%) 등의 순으로 나타났다(<그림 4> 참조). 도부의 이의제기를 시책별로 살펴보면 자연환경보전 90건(36.3%), 환경관리 일반 50건 (20.2%), 먹는 물 관리 39건(15.7%), 폐기물 관리 38건(15.3%), 수질오염 관리 22건(8.9%), 대기오 염 관리 9건(3.6%) 등의 순으로 나타났다. 31개의 지표 중에서 환경관리 중장기 계획 수립실적 (I1), 운행차 배출가스 관리 실적(I16), 도로먼지 저감 실적(I19), 온실가스 감량화성과(1)(I20), 온 실가스 감량화성과(2)(I21), 하수종말처리시설 운영개선 성과(2)(I24), 수돗물 수질관리 성과 (2)(I27), 물수요 관리 실적(2)(I29) 등 8개 지표에 대해서는 전혀 이의를 제기하지 않았다. 개별지 표별 이의제기 순위를 살펴보면 환경개선 이행 실적(I4)이 27건(10.9%)으로 가장 많았으며, 그 다음으로는 자연보전 복원사업 성과(1)(I7)가 26건(10.5%), 자연보전 복원사업 성과(2)(I8) 21건
(8.5%), 자연보전 복원사업 성과(3)(I9) 18건(7.3%), 물수요 관리 실적(3)(I30) 16건(6.5%), 환경시 책 추진 실적(I3)과 쓰레기 불법투기 지도 단속 실적(I13)이 각각 14건(95.6%), 대기배출업소 관 리 및 점검 실적(I5)과 폐기물 감량화 예산 확보 실적(I12)이 각각 13건(5.2%), 제도개선 및 홍보 (2)(I6) 12건(4.8%) 등의 순으로 나타났다(<그림 4> 참조). 14% 12% 10% 8% 6% 4% 전체 시부 도부 2% 0% I1 I2 I3 I4 I5 I6 I7 I8 I9I10I11I12I13I14I15I16I17I18I19I20I21I22I23I24I25I26I27I28I29I30I31 합동평가에 대한 선행연구에서 제시된 바와 같이 아직까지 많은 문제점들이 나타나고 있으 며, 제반 환경과 경제적 상황이 상이한 지방자치단체를 평가하기 위해서는 이러한 문제들을 해 결하기 위한 지속적인 노력이 필요하다. 환경관리 분야에 대해 제기된 이의에 관한 사회 네트워 크 분석은 평가의 문제에 대한 단순한 개선방향을 제시하는 것에 머무르는 것이 아니라 보다 구 체적으로 어떤 시책, 어떤 지표들이 개선되어야 하는가를 파악할 수 있게 해준다. VPS에 입력된 실적에 대해 지방자치단체가 상호검증 기간에 제기한 이의제기들이 어떻게 연 계되어 있는지를 분석함으로써 전체 네트워크, 시부 및 도부의 네트워크에 관한 구조, 밀도, 집 중도, 연결의 배분 등에 대해서 파악할 수 있다. 이러한 분석을 통하여 이의제기를 받은 시책은 무엇이며, 어떤 지방자치단체들이 이의제기를 받았는지 파악할 수 있다. 또한 이의제기에 대한 추가검증이 합동평가반에 의해 이루어진다는 측면에서 이의제기는 합동평가에 대한 신뢰성과 객관성 제고에 크게 기여할 것이다. 또한 평가지표가 타당성과 신뢰성을 지니고 있는지에 대해서도 판단할 수 있게 해준다. 예를 들어 평가지표가 지표로써 지녀야 할 기준들을 12) 갖추지 못하여 지방자치단체의 담당자들이 서 12) SMART., (specific), (measurable),
로 다른 기준에 근거하여 잘못된 자료를 입력할 수도 있을 것이다. 이러한 지표들은 다음 해에 이루어질 합동평가를 위해서 반드시 개선해 나가야 한다. 이러한 맥락에서 이의제기는 평가지 표의 개선을 위해서도 활용될 수 있을 것이다. 상호검증 기간 동안에 지방자치단체들 간에 실적을 비교할 수 있어서 선의의 경쟁 및 성과향 상에 기여할 수 있는 측면이 많이 있다. 적어도 어느 지방자치단체보다는 우리가 앞서가야 한다 든지, 어느 분야만큼은 우리가 최고라는 의식을 가지고 지속적으로 발전시켜 나간다면 다른 지 방자치단체의 벤치마킹의 대상이 될 수 있을 것이다. 따라서 상호검증은 이러한 우수자치단체 의 육성을 위한 단초로서의 역할을 수행하게 될 것이다. 이의제기에 대한 연구가 전 분야를 대상으로 지속적으로 이루어진다면 문제가 되는 광역자 치단체의 시책이 무엇이며, 지표는 무엇인지를 쉽게 발굴할 수 있을 것이다. 이와 같이 문제가 되는 시책 및 지표의 개선을 위해서 노력한다면 합동평가에 대한 신뢰성 및 타당성의 제고, 평 가제도의 발전에 크게 기여할 수 있을 것으로 판단된다. 또한 지방자치단체의 경계를 넘어서 지 표나 성과에 대해서 논의를 할 수 있는 장이 형성되어 지방자치단체 상호간의 학습이 가능해진 다는 측면에서 광역자치단체 전체 차원의 성과향성에 기여할 수 있을 것이다. 본 연구는 합동평가에 대한 네트워크 분석을 이론적인 부분과 실증적인 부분으로 구분하여 설명하고 있다. 이론적인 측면에서는 1999년 시범평가에서부터 2004년 합동평가에 이르기까지 의 과정에 대해서 간략하게 살펴보고, 합동평가가 이루어지는 절차 및 합동평가에 대한 선행연 구 등에 대해서 분석하였다. 실증적인 측면에서는 환경관리 분야의 이의제기에 대한 통계를 분 석하였고, 이에 대한 각 지방자치단체별 네트워크를 그래프로 제시하였으며, 네트워크의 밀도, 집중도, 강한 연계와 약한 연계 등을 분석하였다. 또한 어떤 지방자치단체들이 주로 어떤 지표 에 대해서 이의제기를 받게 되었는지를 분석하고, 지표개발 시 체계적인 검증이 필요한 시책과 지표들을 파악하였다. 환경관리 분야 이의제기와 관련된 광역자치단체간의 상호작용을 중심으로 상호간의 연계성 파악 및 그 특성을 분석하고, 이의제기와 관련된 실적과 지표들을 분석하여 입력상의 오류를 수 정하고 평가지표 개선에 기여할 수 있도록 하였다는 점에서 큰 의의를 지니고 있다. 또한 본 연 구는 합동평가에 관해 UCINET 6 및 Pajek을 통해서 지방자치단체간의 네트워크를 분석한 최초 의 시도라는 점에서 합동평가제도의 과학적 분석에 대한 관심을 제고시키는 데에 기여할 수 있 을 것이다. 그러나 합동평가의 전체 분야가 아닌 환경관리 분야만을 연구대상으로 하고 있어서 (attainable), (realistic), (time-bounded) (ASPA, 1999).
전체적인 모습을 제공하지 못하는 한계를 지니고 있으며, 지방자치단체의 합동평가에 대한 자 료접근의 어려움으로 자치단체간의 이의제기라는 상호관계성이 성과평가에 어떠한 영향을 미 치는지를 밝혀내지 못한 한계를 지니고 있다. 이러한 문제들을 개선하고 합동평가에 대한 연구 를 활성화하기 위해서는 앞으로 연구자들이 관련 자료에 손쉽게 접근할 수 있도록 해야 할 것이 다. 합동평가는 광역자치단체가 수행하는 국가사무나 위임사무에 대한 성과평가로서 지방차원 에서 중앙의 시책이나 사업이 얼마나 잘 이루어지고 있는지를 평가한다는 점에서 중앙정부 성 과관리의 중요한 수단 중의 하나이다. 왜냐하면 지방자치단체의 성과에 대한 평가가 이루어지 지 않는다면 지방차원에서 국가사무에 대한 성과관리가 제대로 이루어졌는지를 파악하는 것은 불가능하기 때문이다. 그러나 평가가 통제의 수단으로 사용되거나 중앙의 간섭을 증대시킨다 는 종래의 인식을 불식시키기 위해서는 합동평가가 보다 정교한 평가모형 및 평가기법들을 토 대로 이루어져야 할 것이다. 이를 위해서는 우선적으로 합동평가가 공정하게 이루어질 수 있도 록 객관적이고 신뢰할 수 있는 실적이 VPS에 제시되어 하며, 이를 정확하게 측정할 수 있도록 타당성과 신뢰성이 있는 지표가 개발되어야 한다. 그러나 합동평가는 주로 3개월 단위의 용역 형태로 수행되어 평가제도의 개선으로 이어지지 못하고 있으며, 평가주관 부서의 경우도 제도개선이나 평가기법의 개발을 위한 지속적인 관심 이나 투자보다도 주어진 기간 내에 합동평가를 마무리하기에 바쁜 실정이다. 이러한 현상들이 거의 매년 반복되고 있어서 제도개선에 대한 체계적인 연구가 이루어지지 못하고 있다. 그 외에 도 합동평가제도의 개선 및 체계화, 평가기법과 평가지표 개발 등에 대한 학술적 연구도 매우 일천한 실정이다. 따라서 앞으로 주관부서의 적극적인 지원책 마련과 더불어 제도의 개선 및 발 전을 위한 연구에 더욱 많은 노력을 기울여야 할 것이다. 고성철. (2005). 합동평가 시책 및 대상과제의 대표성 확보에 관한 연구, 정책분석평가학회보, 15(1): 213-239. 김병국. (2001). 지방자치단체 평가의 실태와 개선과제. 자치행정, 159(6/01). 18-23. 김영선. (2004). 지방자치단체 합동평가 개선방안, 자치발전, 115(2004. 11). 22-25. 김용학. (2003). 사회 연결망 이론. 서울: 박영사.. (2003a). 사회 연결망 분석. 서울: 박영사. 라휘문. (2003). 지방자치단체 자체평가제도의 발전방안. 정책분석평가학회보, 13(1): 1-22. 박우서. (2004). 지방자치단체 합동평가제도의 개선방안(상하). 자치행정, 196-197: 63-67 & 68-71. 박해육. (2004). 지방자치단체의 자체평가 활성화 방안. 지방정부연구, 8(3): 285-304. 박희정박해육. (2005). 지방자치단체 자체평가모형에 관한 연구. 정책분석평가학회보, 15(1): 113-144.
박희정. (2000). 지방자치단체 종합평가의 평가와 과제. 한국행정학회 춘계학술대회 발표논문집.. (2004). 합동평가제도의 발전과정과 전개과정. 자치발전, 115: 16-21.. (2004a). 행정평가의 방법(1). 자치행정, 193. 69-72. 손동원. (2002). 사회 네트워크 분석. 서울: 경문사. 이광희. (2003). 지방자치단체 평가체계 연구. 서울: 한국행정연구원. 이달곤. (2001). 지방자치단체 평가의 논리와 방향. 자치행정, 159: 10-17. 이윤식김지희. (2004). 참여정부의 정부업무평가체계 구축방향에 관한 연구. 한국정책학회보, 13(1): 189-216. 이종수. (2002). 공공부문의 생산성과 성과평가체계 - 정부 합동평가제도의 문제점과 개선방안을 중심으로. 연세행정논총, 27: 27-48. 최창수. (2003). 중앙정부의 광역자치단체 합동평가의 문제점 및 개선방향. 자치행정, 185: 15-21. 행정자치부. (2004). 자체평가 실무교육교재. 서울: 행정자치부.. (2005). 자체평가 합동평가 토의 자료. 서울: 행정자치부. 행정자치부한국지방행정연구원. (2004). 2004년도 지방자치단체 국정시책 합동평가 지표개발 연구. 서 울: 행정자치부. ASPA Center for Accountability & Performance (1999). Performance Measurement: Concepts and Techniques. 2nd ed., Washington, D.C.: American Society for Public Administration. Borgatti, S.P., Everett, M.G. & Freeman, L.C. 2002. Ucinet for Windows: Software for Social Network Analysis. Harvard, MA: Analytic Technologies. Bovaird, Tony & Löffler, Elke. (2003). Evaluating the Quality of Public Governance: Indicators, Models and Methodologies, International Review of Administrative Sciences. 69(3): 313-328. Brandes, Ulrik. & Erlebach, Thomas. (eds.). (2005). Network Analysis: Methodological Foundations. Berlin: Springer Verlag. Breiger, Ronald L. (2004). The Analysis of Social Networks. In Hardy, Melissa and Bryman, Alan. (eds.), Handbook of Data Analysis, 505-526. London/New Delhi: Sage Publications. Granovetter, Mark S. (1973). The Strength of Weak Ties. American Journal of Sociology. 78(4): 1360-1380. Holzer, Boris. (2005). Netzwerkanalyse. In Kühl, Stefan et al. (Hrsg.). Quantitative Methoden der Organisationsforschung. Ein Handbuch, 386-420. Wiesbaden: VS Verlag. Hummell, Hans, Sodeur, Wolfgang & Trappmann, Mark. (2005). Strukturanalyse sozialer Netzwerke. Konzepte, Modelle, Methoden. Wiesbaden: VS Verlag für Sozialwissenschaften. Jansen, Dorothea. (1999). Einführung in die Netzwerkanalyse. Opladen: Leske & Budrich. Pappi, Franz Urban. (Hrsg.). (1987). Techniken der empirischen Sozialforschung. Teil. 1: Methoden der Netzwerkanalyse. München: Oldenbourg. Pollitt, Christopher & Bouckaert, Geert. (2000). Public Management Reform: A Comparative Analysis. Oxford: Oxford University Press. Rogers, Everett M. (2003). Diffusion of Innovations. 5th ed. New York: Free Press. Saaty, Thomas L. (1980). The Analytic Hierarchy Process. New York: McGraw-Hill. Scott, John. (2002). Social Network Analysis. London: Sage Publications.
Schweizer,T homas. (1996). Muster sozialer Ordnung: Netzwerkanalyse als Fundament der Sozialethnologie. Berlin: Reimer. Stokman, Frans N. (2001). Networks: Social. In Smelser, Neil J. and Baltes, Paul B. (eds.), International Encyclopedia of the Social & Behavioral Sciences, 10509-10514. Amsterdam: Elsevier. Wassermann, Stanley & Faust, Katherine. (1994). Social Network Analysis: Methods and Applications. New York: Cambridge University Press. Weyer, Johannnes. (Hrsg.). (2000). Soziale Netzwerke. Konzepte und Methoden der sozialwissenschaftlichen Netzwerkforschung. München: Oldenbourg. Speyer(: Die Theorie des Verwaltungsverfahrens in der Bundesrepublik Deutschland im Fadenkreuz der Verwaltungsmodernisierung),.,,, (2004), (2005), (2005) (hypark@krila.re.kr).