사업평가 경북대학교의학전문대학원 홍남수 이자료는다음자료의사업평가부분을요약 정리하였음 1. 보건사업기획제 3판 ( 배상수, 2015) 2. 만성질환관리및건강조사전문가 FMTP II( 보건복지부, 질병관리본부, 2014) 1 서론 좋은보건사업기획은반드시보건사업이실행되고, 목표를달성하는지를평가하기위한계획을내포하고있어야함대부분사업수행후에사업평가계획을수립하고사업을평가하려는경향이있음평가계획을기획단계에서마련해두지않으면사업과정중에평가에필요한자료를확보해둘수없으며, 사업의결과에맞추어평가결과를유리하게도출하고자하는욕구로인해평가의객관성이떨어짐 2 1
평가의정의, 목적및영역 사업평가 사업에대해판단을내리고, 사업의효과를높이며, 향후사업의방향을결정하기위해사업의활동, 특성, 그리고결과에대한정보를체계적으로수집하는과정 의사결정을지원하기위해체계적정보를수집, 분석, 보고하는과정 의사결정지원 평가가반드시사업의개선이라는목적의식을지니고행해지며, 따라서평가의결과는사업관계자들이보다효과적으로행동할수있거나의사결정을할수있도록활용되어야함을의미함 체계적 평가가일회적이거나단편적인행위가아니라는것을의미함 평가가사업의목적, 목표, 이를측정하기위한지표와일관성을가지고이 루어져야함 3 평가의특징 체계적이고객관적인과정 평가는사업기획단계에서부터체계적으로계획되어야원활히수행될수있음. 또한평가과정은객관적이어야함 가치에입각 가치에대한판단없이는이루어질수없음 합의를위해서정해진기준과의비교가필요함 평가는의사결정에도움을주고, 활용되어야함 평가는사업의효과와효율성증대, 사업의지속이나확대, 다른지역에서의추가실행, 건강문제의원인발견이나새로운해결방안제시등의의사결정에도움을주어야함 평가에필요한예산, 지식과기술, 그리고평가시점이나정치적상황등이평가결과에영향을미침 협동이중요함 평가의수행과활용을위해서는이해관계자들의협동이중요함 평가와연구의차이 연구는입증을하기위함이고평가는개선을하기위한것이다 (Patton, 1997) 4 2
평가의목적 목표달성정도를파악하기위해서사업과정을평가하기위해서사업의취약점을찾기위해서사업의효율적관리를위해서투입한노력이효율적인지판단하기위해서경제적효율성을확인하기위해서사업과관련된정보수집을위해서경험을공유하기위해서보다발전된재계획을수립하기위해서 5 평가의원칙 평가가명확한목적하에이루어져야함 사업전체의목적달성과관련성을가질수있도록평가의목적과방법이보 건사업의기획에포함되어야함 평가에는기획에관련된사람, 사업에참여한사람, 평가에따라영향을받게될사람들이참여해야함 평가는기획에서실행으로연결되는사업의전과정에걸쳐지속적으로시행되어야함 성취를측정하는평가기준이명확하고객관적이어야함 평가는과거를회고하기위한것이아니라미래지향적이며활동중심적으로시행되어야함 평가결과는사업의개선을위한것이므로사업과관련된모든이들에게환류되어야함 6 3
평가의유형 평가시기에따른유형 보건사업진행단계중어떤단계에서평가가이루어지는가에따라 지역보건의료계획과같이기획자체가평가의대상 사업이진행되는단계에서중간평가 사업종료시목표달성여부와원인, 사업지속여부를결정 평가주체에따른유형 내부평가 ( 자체평가 ) 와외부평가 평가가사업과독립된것이아니기때문에내부평가도중요 평가의객관성확보가필요한경우외부평가 성과관리에따른평가유형 성과관리에서는평가유형을성과감독 (performance monitoring) 과사업평가 (program evauation) 으로구분 성과감독은사업의성과를나타내는성과지표를설정한후, 이를주기적으로측정하고목표치또는기대치와비교하는작업 사업평가는사업이기대했던성과를달성하는데얼마나기여했는지를여러가지과학적기법을사용하여분석하고, 성공요인도는실패요인을객관적으로기술하여사업운영체계를개선하는등의용도에활용할수있도록함 7 평가의유형 논리적모형에따른유형 논리적모형에따라구조평가, 과정평가, 결과평가로나눌수있음 구조평가와과정평가는사업의효율성을높이기위해실행되고, 결과 평가는사업의효과를검증하기위해실시됨 8 4
평가의유형 경제학적평가유형 비용효과분석 (cost-effective anaysis) 투입은비용을화폐단위로, 결과는사업의효과 (ex; 사망률감소 ) 동일한목표를가지고있는보건사업에여러대안이있는경우사업의효율성을기준으로사업을선택할때비용효과분석을이용 단위투입용소당효과가더큰대안이효율적인것으로평가 비용편익분석 (cost-benefit anaysis) 투입뿐만아니라결과도모두비용으로표시 보건사업을위한현시점의투입요소와미래에발생할사업의결과를모두동일시점의화폐단위로전환한후비용 - 편익비를구해서의사결정에활용 다양한목적의여러가지사업을비교하여우선순위를결정하거나단일사업의시행여부를결정할때 9 보건사업의논리적모형과평가 사업의실행 투입, 활동과산출물을평가함으로써사업이계획대로진행되었나, 즉사업의실행을평가할수있음. 활동과산출물을평가하는것은사업활동이결과변화에영향을미친다는전제하에서의미를가짐사업의효과 사업이성과가있는가를알기위해사업의결과를평가사업의효율 / 비용-효과 투입에대비한활동, 산출, 결과를평가함으로써사업의효율이나비용-효과를파악할수있음 10 5
보건사업의논리적모형과평가 사업의성공과실패에대한이유 : 인과관계 논리적모형의구성요소사이의논리를검토함으로써사업의성공과실패에대한이유를알수있음 사업의성공과실패에대한원인을분석해야사업관계자들의의사결정에도움을줄수있음 11 구조평가 구조평가는인력과시설, 장비, 정보의적절성에대하여평가하는것으로사업에투입되는자원의적절성을보는것 사업인력의적정성을평가하는데여기에는사업인력의양적충분성과사업수행에필요한전문성의확보여부가해당됨 사업관계자들은전문인력의수만충족되면사업의투입구조가적합하다고평가하는경향이있는데, 보다중요한것은실제사업에필요한기술을지니고있느냐여부임 구조분석에서유형적인인력과시설이외에무형적인정보가사업수행에적합한가를평가할필요가있음 사업에필요한정보의수집, 산출, 활용을위한구조가제대로갖추어 져있는지를평가하는것은사업의구조평가에서중요함 12 6
과정평가 과정평가는사업을실행하는과정중에 사업계획과진행정도를비교함으로써목표달성이가능하도록사업내용을조정하고, 목표달성을저해하는요인을조기에발견하여시정하며, 목표달성을촉진하는요인은강화하고자하는목적에서실시 13 과정평가 과정평가를통하여평가하는내용 계획된일정의준수 자원 ( 인력, 시설, 장비, 예산등 ) 의적기지원과효율적활용 자원의양적충분» 보건사업이변화에얼마나유연하게대응하는가를측정함으로써자원의부족여부를간접적으로측정하는것이객관적인방법» 서비스가고객의욕구를충족시켜줄수있을정도로개별화되어있는가를평가하는세부사업내용의유연성» 고객의욕구는변화하는데이에부응하기위하여얼마나새로운서비스를개발하고제공할능력을갖추고있는가를의미하는양적유연성 14 7
과정평가 과정평가를통하여평가하는내용 자원 ( 인력, 시설, 장비, 예산등 ) 의적기지원과효율적활용 자원의활용정도» 활용성이낮은고가의설비를구입하여예산의효율성을저하시키고, 나아가 서사업의효율성이저하되는사례가많음» 사업에투입된자원이얼마나제대로활용되고있는가를평가하는것은자원 의생산성을높여사업의목표달성에도움을줄수있음» 활용정도를평가할수있는지표» 사업담당자가사업에투입한시간비율» 서비스생산단위 ( 예 ; 상담건수 ) 당투입되는노동시간이나비용» 자원투입량대비산출량 ( 예 ; 상담자수 )» 사업장비나시설의활용정도 ; 장비나시설의활용일수, 장비별이용건수» 사업인력이나시설당이용고객수등 15 과정평가 과정평가를통하여평가하는내용 사업의참여자 / 이용자의적합성 이용자의특성은무엇인가? 목표집단이사업에참여하는가?» 서비스이용자수가목표치를넘어섰더라도의도했던사람들이아니고다른사람들이서비스를이용했다면목표를달성하는데도움이되지않음 이용의형평성이보장되고있는가?» 보건사업에서가장흔히사용되는전략의하나인보건교육은저소득층을표적집단으로하고, 이들에게적합한사업을개발하지않으면중산층에게더도움이될가능성이높음» 지리적접근성에따른사업이용자의차이제공된서비스의질과대상자의만족도 서비스의질수준» 보건서비스질측정에 SERVQUAL과같은지표를사용할수는있으나활용하기어려움 고객만족도» 고객만족도조사, 민원건수, 이용자중도탈락율 16 8
과정평가 사업의효율성, 효과성향상을위해변화시켜야할사업내용 사업전략과활동이대상자에게적합한가? 사업전략과활동이목표의달성에기여하고있는가? 사업목표의수정필요성 과정평가의마지막단계는사업목표의현실성을평가하고, 목표를수정할필요가있는가를판단 17 결과평가 보건사업의결과평가는사업의종료시사업효과를측정함으로써사업의지속이나확대여부를판단하기위하여실시 사업이목적과목표를달성하였는가? 사업에의해야기된의도되지않은결과는없는가? 사업이사회적형평성의달성에기여하고있는가? 조직과지역사회의문제해결역량이강화되었는가? 사업의전략이얼마나효과적인가? 사업의가능한대안은무엇인가? 다른대안과비교할때사업이얼마나효과적인가? 다른상황하에서는사업이얼마나효과적일것인가? 사업을지속하거나확대할필요가있는가? 보건사업의결과평가는건강수준의변화 ( 목표의달성 ) 나건강문제를해결하기위한조직이나지역사회의변화정도를측정 18 9
결과평가 결과평가에는사업을통하여보건기관과지역사회의문제해결능력이얼마나향상되었는가를평가하는것이포함되어야함 조직과지역사회의능력향상을평가하기위한질문 조직과직원의건강문제해결능력이향상되었는가? 구성원의보건사업에대한관심이증대되고, 참여가촉진되었는가? 지역사회구성원들이지역건강문제를자신의문제로인식하고, 건강문제에대한관심이향상되었는가? 건강문제해결을위해지역사회자원이활성화되고있는가? 19 평가지표 지표의정의와예 우리가궁금해하는현상에대한근거나정보를지표 (indicators) 라고함 보건사업의지표는일반적이거나추성적인용어로표시되어진사업의구성요소를구체적이고, 관찰가능하며측정가능하도록기술한것임 지표는평가자가알거나보고자하는것을표현함 지표는 내가그것을어떻게알것인가? 에대한답변임 지표는성과, 변화, 혹은향상에대한관찰할수있는증거임 지표는일반적인기술에대해명확한정의를내려주므로자료수집방법과자료수집도구를선택하는것을도와줌 알고싶은것깨끗한마을인기있는영화좋은가정용품 지표거리의쓰레기정도박스오피스순위소비자평가점수 20 10
지표의요건 타당도 (vaidity) 와정확성 (accuracy) 이높아야함 지표가측정하고자하는바를제대로측정하는가? 올바른지표로인정되기위해서는지표가측정대상을제대로, 정확하게측정하여야함. 직접적으로측정하는지표가간접적으로측정하는지표보다우월함 직접적인지표 ; 10 대흡연자수와분율 간접적인지표 ; 금연교육을받은 10 대의수와분율 직접지표가없거나측정하기어려운경우대리지표나간접지표를사용함 이해가능 (understandabe) 하여야함 지표가널리인정되고사용되기위해서는지표자체가관계자들에게쉽게이해될수있어야함 지표는모든사람이지표가무엇을의미하는지동일하게이해할수있도록구체적으로기술되어야함 21 지표의요건 유용하여야함 지표는우리가사업을이해하고개선하는데필요한정보를제공해주어야함 통제가능성 (controabiity) 이있어야함 사업담당자의통제력이없는지표는좋지않은지표 사업담당자의활동이지표에영향을미칠수있어야함 포괄성 (comprehensiveness) 이있어야함 지표가사업목표 ( 성과 ) 의모든측면을반영하고있는가? 왜곡유인을지양할수있어야함 지표가조직목표에상반되는행태를유발하지않는가? 단순한행태변화성공률과성과급을연계시킨다면금연클리닉상담사는금연하기어려운사람보다는금연이쉬운사람을등록, 관리하고자하는행동을보일가능성 적시 (timeiness) 에수집이가능한실용적인 (practica) 지표 좋은지표가되기위해서는지표측정을위한자료수집이원활하고신속하게이루어질수있어야함 비교가능성이높아야함 검증가능성이높아야함 지표는분명한근거자료를바탕으로검증할수있어야하며, 지표측정과정을점검할수있어야함 22 11
지표개발이필요한경우 목표를 SMART하게기술하지못한경우 목표를 SMART하게기술한경우에는목표자체가지표로사용됨목표 / 결과가실제측정이어려워대리지표를사용해야하는경우목표가복합적인개념이어서측정을위해서는다중의지표가필요한경우 23 지표선정방법 지표를선정할때는사업에대해알고싶은것을생각해본후, 무엇을통해그것을알수있겠는지생각해보면됨 지표는행동 ( 과정지표 ) 이나결과 ( 결과지표 ) 에대해개발될수있다. 각각의행동또는결과에대한하나이상의지표가존재할수있다. 지표는집중되어야한다. 지표는행동과결과의중요한차원을측정해야만한다. 지표는그것이무엇을측정하고자하는가를분명하고명확하게나타내어야한다. 지표에의해측정된변화는활동의수행이나결과의진보를대변해야한다. 이해관계자들은프로그램결과를각각다르게이해할수있으므로이해관계자들이나사업의협력자들각각이가지는관점을대변해야한다. 24 12
평가사례 1. 투입 2. 활동 3. 산출 4. 성과 사회복지사및노인일자리담당직원 자원봉사자 전문상담가 예산 상담을위한관련시설및장비 사회기술향상을위한집단프로그램 ( 대인관계향상기술, 구직기술, 분노조절기술등 ) 사회복지사및노인일자리담당직원과의사회기술향상을위한개별상담프로그램 10 주동안주 1 회매회 1 시간 30 분이상집단프로그램제공 10 주동안주 1 회 30 분이상개별상담프로그램제공 출석부상에 80% 이상출석 10 개월안에노인우울척도상에서 10 점이상점수가낮아지도록한다. 8 개월안에월평균소득이 35 만원에서 70 만원이되도록한다. 5 개월안에일자리를갖고 3 개월이상유지하도록한다. 8 주안에사회기술척도상에서 10 점이상향상시킨다. 구조평가과정평가결과평가 2015 년만성질환 FMTP 보건사업평가자료에서발췌 25 구조평가 1. 투입 사회복지사및노인일자리담당직원 자원봉사자 전문상담가 예산 상담을위한관련시설및장비 * 표적집단사업수행시의자원계산필요 항목평가지표평가기준평가방법배점자료원 구조담당직원전담여부전담 2 결과보고 비전담 1 자원봉사자자원봉사자수 6 인이상 6 결과보고 1-5 명 3 미확보 0 전문상담가전문상담가수 3 명이상 4 결과보고 1-2 명 2 미확보 0 예산예산금액 3 백만원초과 6 결과보고 1-3 백만원 3 백만원미만 0 상담실상담실평수 10 평이상 2 결과보고 10 평미만 0 13
과정평가 2. 활동 사회기술향상을위한집단프로그램 ( 대인관계향상기술, 구직기술, 분노조절기술등 ) 사회복지사및노인일자리담당직원과의사회기술향상을위한개별상담프로그램 3. 산출 10 주동안주 1 회매회 1 시간 30 분이상집단프로그램제공 10 주동안주 1 회 30 분이상개별상담프로그램제공 출석부상에 80% 이상출석 항목 평가지표 평가기준 평가방법 배점 자료원 과정 홍보 니플렛배포 천부이상 6 결과보고 천부미만 3 미배포 0 등록 등록자수 40명초과 4 결과보고 20-40명 2 20명미만 0 프로그램수행프로그램횟수 20회초과 6 결과보고 10-20회 3 10회미만 0 출석 출석율 90% 초과 4 결과보고 70-90% 2 70% 미만 0 만족도 만족도 90% 초과 6 프로그램 70-90% 3 후조사 70% 미만 0 결과평가 4. 성과 10 개월안에노인우울척도상에서 10 점이상점수가낮아지도록한다. 8 개월안에월평균소득이 35 만원에서 70 만원이되도록한다. 5 개월안에일자리를갖고 3 개월이상유지하도록한다. 8 주안에사회기술척도상에서 10 점이상향상시킨다. 항목 평가지표 평가기준 평가방법 배점 자료원 결과 우울점수 BDI우울척도 10점초과감소 8 프로그램 5-10점감소 4 후조사 5점미만감소 0 평균소득 소득액 70만원초과 6 프로그램 50-70만원 3 후조사 50만원미만 0 일자리유지 취업률 80% 초과 6 프로그램 60-80% 3 후조사 60% 미만 0 사회기술향상사회기술척도 10점초과증가 6 프로그램 5-10점증가 3 후조사 5점미만증가 0 14
보건사업평가의과정 평가의단계 1 단계 ; 이해관계자의참여 2 단계 ; 프로그램기술 ( 논리적모형의기술 ) 3 단계 ; 평가초점결정및방법설계 4 단계 ; 근거수집및분석 5 단계 ; 결론의정당화 6 단계 ; 체득한정보의이용및공유 이해관계자의참여 이해관계자들은보건기획전과정에참여해야하고평가과정에도반드시참여해야함 평가결과활용을위해서는이해관계자들의참여가반드시필요 평가과정에참여하여자신들의관심사를반영한이해관계자들은사업의결과를더욱지지하고, 사업의평가결과를활용할가능성이높음 프로그램기술 평가의초점결정및방법설계 29 보건사업평가의과정 평가자료수집및분석 평가자료수집은기존자료를활용하는방법과새로자료를수집하는방법 으로나눌수있음 평가자료를효과적을수집하기위한고려사항 평가에활용할자료만을수집하여야함 기존자료나수집이힘들지않은자료를활용하는것이좋음» 아무리가치있는평가지표라하더라도자료수집에시간이많이걸리고, 비용이많이소모되는지표는과감히평가대상에서배제하도록함 모든지표를직접측정하려고만하지말고, 간접적인자료수집방법도활용하는것이바람직함» 지역의담배판매량을이용하여금연사업의성과를측정 자료수집의윤리적문제를고려 계량화가가능한양적자료도필요하지만질적자료가사업에대한통찰력을더높여주는경우가많음 30 15
보건사업평가의과정 평가결과의정당화 이해관계자들의가치를통해결론을해석하고판단하는것을결과의정당화라고함 평가결과정당화의과정 평가기준의결정» 사업의성공여부를판단하는기준 ; 참가자들의필요나요구, 지역사회의가치, 기대규범, 사업의미션과목표, 사업의프로토콜과절차, 유사한프로그램에서의성과, 비교그룹에서의성과, 자원의효율성, 조직목적, 사회적형평성등 결과의해석과판단» 사업을평가할때는평가기준에비추어사업의결과를해석하고, 프로그램의장점, 가치, 의미를판단하게됨 31 보건사업평가의과정 평가결과의활용 보건사업의평가가형식적으로수행되고차기사업에평가결과가반영되지않는경우도많음 사업의기획, 실행, 평가는순환하는연속된의사결정과정임 평가결과의활용 보건사업재기획의기초자료로활용 직원교육의기초자료로활용 지역주민홍보자료로활용 예산기관의예산요구기초자료로활용 평가결과를활용하기위한고려사항 평가에처음부터이해관계자를참여시켜야함 사업결과를여러양식으로제시하고, 다양한경로를통해많은사람에게알리도록함 사업이성취한내용을강조 보고서는짜임새있게, 간단명료하여야함 32 16
사업평가의유의사항 보건사업의특성이평가에미치는영향을이해하여야함 산출물을표준화하기어려우며, 서비스과정의통제가곤란 서비스이용으로부터결과가발생하기까지오랜시간이걸림 결과에영향을미치는요인이다양 경쟁적성과나재무적성과를이용하기어렵다는난점보건사업수행기관의전략적목표와부합되는평가를해야함 보건사업기관의전략적목표가명확하지않다면사업평가는사업운영의효율성평가에머무르게되고사업평가를통해조직의개선이나핵심역량의강화, 조직문화의변화등은나타나지않을것임모든사업을평가할수있는것은아님 구체적인사업목적과목표, 평가지표, 명확히정의된사업대상자, 사업활동과사업결과간의명확한인과관계 ( 논리적모형 ), 수행방법, 일정을명시한세부적인평가계획과평가지원체계를기획단계에서갖추어야함 33 사업평가의유의사항 평가를업무과정에통합시킴으로써추가업무라는부담을경감시켜주어야함 평가자료수집은사업정보체계에통합하고평가지표는자동으로산출되게한다면평가에대한부담이줄것임평가자료는지속적으로수집하여야함환경에따른반응성 (responsiveness) 차이를유의해야함평가결과는반드시사업개선에활용 34 17