국가통계품질진단연구용역 보건주제분야 국가통계품질진단연구용역 - 환자조사 - 2006. 9. 통계청
제출문 제출문 통계청장귀하 본보고서를 보건 주제분야국가통계품질진단연구용역 과제의종별최종결과보고서로제출합니다. 2006 년 9 월 29 일 중소기업기술정보진흥원양해진 종별책임연구자진기남 ( 연세대학교보건행정학과교수 )
요약문 종별최종결과보고서요약문 연구과제명 보건 분야국가통계품질진단 - 환자조사 - 중심단어 연구기관 국가통계, 통계품질, 보건, 환자조사 중소기업기술정보진흥원이화여자대학교산학협력단 연구기간 2006. 3. 7. ~ 2006. 10. 2 연구책임자 진기남 진단의목적은환자조사통계에대해전반적인품질상태를진단하고, 보건분야국가통계에대한신뢰성을제고할수있는방안을제시하는데있다. 이연구는통계작성환경에서부터품질개선노력의 6 부분에걸쳐서문제점과개선점을지적하였는데, 요약해서보면크게세가지부분에서근본적인재검토와수정작업이필요하다고볼수있다. 첫째, 조사의전반적기획과집행과관련한행정부서가안고있는한계를극복하는일이급선무라고할수있다. 예산과인력이부족하기에, 이번에파악된여러문제를세세하게파악하여, 지속적으로개선하는데어려움을겪고있다. 둘째, 수집된자료의충실성에근본적문제가있을수있는데, 이에대한충분한검토가되어서, 자료수집의방법에수정이되어야할것이다. 현재는현장의실태가충분히자료의수집과관련한기획에반영되어있지않다고판단된다. 현장에대한구체적인이해에준하여, 자료수집의과정이재조정되어야할것이다. 따라서의료기관에서조사표가작성되는과정과구조에초점을맞춘실태조사가이루어져야할것이다. 또한자료수집과정의질제고를위해서, 병원담당자에대한조사비를현실화하고자료수집과정상의업무부담을줄이도록해야한다. 셋째, 수집된자료의제시와관련하여개선안이마련되어야할것이다. 개선안은자료내용의다양성과제시방법의다양성에초점을맞추어야할것이다. 먼저자료내용의다양성과관련해서는, OECD국가의상응하는통계수치를제공하는것을고려할수있을것이다. 자료의제시방법과관련해서는단순히분석된표의제시에서탈피하여, 원시자료의제공이나지리정보와연계된입체적자료의제공등이고려되어야할것이다. 이용자들이직접원시자료를이용할수있게끔, 홈페이지를통해서접근할수있게해주는방안도모색할필요가있다.
목 차 제 1 장 < 환자조사 > 통계품질진단개요 1 제 1 절진단의목적 1 제 2 절진단대상통계개요 2 제 3 절진단사업수행범위 3 제 2 장 < 환자조사 > 통계품질진단결과 4 제 1 절진단방법및절차 4 1. 통계작성환경진단방법 5 2. 작성절차의적합성진단방법 5 3. 자료수집의정확성진단방법 6 4. 공표자료의충실성진단방법 6 5. 통계이용자만족도진단방법 7 6. 통계품질개선노력진단방법 7 제 2 절 < 환자조사 > 부문별품질진단결과 8 1. 통계작성환경평가 8 2. 통계작성절차의적합성평가 11 3. 자료수집의정확성평가 27 4. 공표자료의충실성평가 33 5. 이용자만족도조사 43 6. 품질개선노력평가 60-1 -
제 3 절 < 환자조사 > 통계품질진단결과종합 63 1. 진단결과요약 ( 현황 ) 63 2. 문제점 65 3. 개선방안 72 4. 결론 83 참고문헌 87 < 부록 1> 통계작성환경진단진단표 88 < 부록 2> 통계작성절차의적합성진단표 96 < 부록 3> 자료수집의정확성체크리스트 112 < 부록 4> 공표자료의충실성진단표 117 < 부록 5> 이용자만족도조사지 123 < 부록 6> 통계품질개선노력진단표 132-2 -
< 표차례 > < 표 1> 조직관리실태및통계작성담당자의인식 10 < 표 2> 조사통계품질지표의차원 12 < 표 3> 절차별자체평가점수 14 < 표 4> 절차별자체평가점수 15 < 표 5> 품질차원별자체평가점수 15 < 표 6> 품질차원별자체평가점수 16 < 표 7> 절차별외부평가점수 18 < 표 8> 절차별평균점수의자체 / 외부평가비교 21 < 표 9> 품질차원별외부평가점수 22 < 표 10> 품질차원별평균점수의자체 / 외부평가비교 23 < 표 11> 보고양식작성절차 29 < 표 12> 보고양식제출절차 30 < 표 13> 오류점검결과표 37 < 표 14> 이용자를위한기본정보 41 < 표 15> 조사정보 41 < 표 16> 모집단및표본설계 42 < 표 17> 자료집계및추정 42 < 표 18> 조사표설계항목 45 < 표 19> 인구통계학적특성 46-3 -
< 표 20> 통계의작성주기인지 47 < 표 21> 통계의작성방법인지 47 < 표 22> 통계의사용용도 48 < 표 23> 통계의이용빈도 48 < 표 24> 통계의이용형태 49 < 표 25> 통계자료의입수경로 49 < 표 26> 통계자료의무료제공인지여부 49 < 표 27> 자주사용하는통계자료부분 50 < 표 28> 전반적만족도 51 < 표 29> 향후이용여부 51 < 표 30> 종합만족도와체감만족도점수 52 < 표 31> 통계자료에대한속성별만족도응답분포 53 < 표 32> 이용자만족도의종합만족도구성요소와종합만족도점수 53 < 표 33> 포트폴리오분석결과 55 < 표 34> 통계자료의문제점 56 < 표 35> 본통계에대한전문가여부 57 < 표 36> 전문가설문응답결과 57 < 표 37> 통계품질개선노력실적표 62 < 표 38> 문제점및개선방안 ( 긴급, 점진사항별 ) 86-4 -
< 그림차례 > ( 그림 1) 국가통계품질진단업무흐름도 4 ( 그림 2) 의료자원과질병의지리적분포 74-5 -
제 1 장 < 환자조사 > 통계품질진단개요 제 1 절진단의목적 진단의목적은환자조사통계에대해전반적인품질상태를진단하고, 보건 분야국가통계에대한신뢰성을제고할수있는방안을제시하는데있다. 이를위해서이사업은다음과같은구체적인하위목적을가지고있다. 첫째, ISO 인증을받은통계품질진단시스템을각연구자는담당통계의특성 에맞게적용하여통계작성기관통계담당자와의면담을통해통계작성환경 및작성절차의적합성, 기관의해당통계의품질개선노력을진단, 분석한다. 둘째, 보고통계와조사통계의특성에맞게현장조사를실시하여자료수집의 정확성을파악하고, 공표자료의수치오류와이용자편의성을점검하고, 통계이 용자만족도조사를실시하여이용실태및만족정도, 요구사항을파악한다. 셋째, 국 내외문헌자료분석을통해해외의유사통계와의비교, 분석및 벤치마킹할수있는사례를제시하여현보건통계의생산현황에대한개선방 안을제시한다. 넷째, 위를기초로각해당통계및보건통계의통계품질개선을위한방안을제 시하고지속적으로국가단위에서관리할수있도록로드맵을제시한다. - 1 -
제 2 절진단대상통계개요 환자조사 ( 승인번호 : 제11730호 ) 는조사주기가 3년인조사통계로서, 건강증진법과통계법에의거하여보건복지부조사통계팀에서조사하는통계이다. 조사년도 7월 31일현재개설중인 46,073개요양기관을모집단으로조사일현재개설중인의료기관및이들기관을이용한환자들을조사단위로한다. 전국의료기관을대상으로일정시점에서의의료기관현황과일정기간동안에이들의료기관을이용한환자를조사하여국민들의질병, 상해양상과의료이용실태를파악, 국가보건의료정책수립과평가 분석에필요한기초자료로활용 하는것이목적이다. 이통계자료는다음과같은세가지내용을다루고있다. 1) 의료기관의현황자료를제시한다. 즉이통계는의료기관의종류, 종사자, 주요의료장비등에대한수치를담고있다. 2) 외래환자에대한실태자료를제시한다. 외래환자의상병, 투약처방, 원내주사, 수진율등을의료기관의유형, 환자의성이나연령과같은계층별로보 여준다. 3) 퇴원환자에대한실태자료를제시한다. 퇴원환자의상병, 평균재원일수, 진료비지불방법, 치료결과, 수술등을의료기관의유형, 입원경로, 환자의 성 ( 姓 ) 이나연령과같은계층별로보여준다. - 2 -
제 3 절진단사업수행범위 통계품질을결정하는차원은학자들마다다르게제시하고있지만, 우리나라의통계청에서는다음의 7가지차원으로종합, 정리하여통계작성승인통계의품질을가늠하고있다. 우선통계의생명이라할수있는정확성 (accuracy), 이용자들이필요로하는시점에서이용할수있도록배려하는시의성 / 정시성 (timeliness/punctuality), 자료이용자에게얼마나의미있고유용한통계를작성, 제공하고있는가의관련성 (relevance), 통계이용자들이통계조사결과를얼마나쉽게, 그리고원하는양식으로편리하게이용가능한가의접근성 / 편리성 (accessibility/convenience), 서로신뢰할만한비교가가능한지를진단하는비교성 / 일관성 (comparability/ coherence), 통계자료가어느정도효율적으로생산되었는가를진단하는효율성 (efficiency), 통계자료가이용자들이만족할수있도록제공하고있는가, 그리고통계의이용자가조사결과자료를쉽게이해하고활용하며분석할수있는가를진단하는서비스성 / 해석성 (serviceability/interpretablity) 의 7가지결정요소로통계품질의수준을가늠한다. 본사업에서는각통계의통계품질진단을통해궁극적으로이 7가지차원에서통계품질의수준이어느정도인지를진단하고각차원들의품질수준을높이기위해각통계의개선방안을제시한다. 통계품질진단은통계가작성되고공표되기까지의전과정에걸쳐통계작성환경, 통계작성절차의적합성, 자료수집의정확성, 공표자료의충실성, 통계이용자만족도조사, 통계품질개선노력등의관점에서통계품질의진단을종합적으로수행한다. 부문별진단과각주제별의관련통계를종합 비교하고해외통계와의비교분석, 국 내외문헌연구를통해통계작성의개선방향및발전적인제안을제시하고, 각통계별품질개선과제를도출하여품질수준업그레이드전략을제시한다. 또한우리나라국가보건정책및국제통계에서요구되는통계를파악하여새로운통계개발, 통계의통 폐합에관한개선안을제시하고보건통계의로드맵을제시한다. - 3 -
제 2 장 < 환자조사 > 통계품질진단결과 제 1 절진단방법및절차 통계품질진단은통계작성환경, 통계작성절차의적합성, 자료수집의정확성, 공표자료의충실성, 통계이용자만족도, 통계품질개선노력등의부문으로나 뉘어서진행되었다. 통계품질은정확성, 시의성 / 정시성, 관련성, 접근성 / 편의성, 비교성 / 일관성, 서비스성 / 해석성, 효율성등의 7 가지품질차원으로나누어접근하였다. ( 그림 1) 국가통계품질진단업무흐름도 통계환경진단 : 담당자면담조사 기본현황, 통계작성여건, 통계담당자인식 보건분야국가통계 (8종) 통계작성절차의적합성진단 : 품질진단서에의한자체진단 / 품질심의위원의외부진단 7 개통계작성단계별 35 개통계품질지표 자료수집의정확성진단 : 인터뷰를통한자료수집의내용파악 공통항목 ( 응답자명, 성별, 조사항목등 ) 특성항목 ( 통계담당자와협의 2 개항목선정 ) 공표자료의충실성진단 : 점검원에의한공표자료점검 발간물오류점검 이용자편의성점검 통계이용자만족도진단 : 이용자표본추출및설문조사 통계이용실태파악및만족정도 문제점및개선의견등이용자요구사항 품질일람표작성및분석 종합진단보고서작성 통계품질개선노력진단 : 담당자면담조사 품질진단부문별개선계획및실적진단 통계품질진단의절차별구체적인진단방법은다음과같다. - 4 -
1. 통계작성환경진단방법 통계작성환경현황표를작성하여, 해당통계담당자가응답토록하였다. 이를통해서, 다음의세가지내용을조사하였다. 가. 기본현황 : 작성근거법령, 작성주기, 작성목적, 조사대상, 조사기준시점, 조사기간, 조사방법, 조사원지위, 통계간행물명, 통계작성체계나. 통계작성및여건 : 인적자원여건 ( 통계담당인력현황과전문성 ) 과물적자원여건 ( 통계작성관련예산의내영과장비및소프트웨어 ), 통계담당자의애로사항및동계작성과정에서개선할사항다. 통계작성담당자의인식 : 기관장의의지, 방침, 인적자원, 업무량, 예산, 만족도등 2. 작성절차의적합성진단방법 통계품질에영향을미치는 36개품질지표를품질진단서라는질문형식의체크리스트로설계하였다. 통계작성및기획관리, 모집단및표본설계, 조사표설계, 현장조사, 자료처리및집계, 자료이용등 6개과정에관련된문항들에대해서답하도록하였다. 이진단서를해당통계담당자와해당분야의외부전문가에게발송하여, 작성토록하였다. 환자조사의경우, 외부전문가는의무기록분야의전문가로서, 의무기록협회의협조를구해서대상자를선정하였다. 이외에도, 본연구책임자가통계담당자를직접방문하여, 미리준비한문항을가지고인터뷰하였다. - 5 -
3. 자료수집의정확성진단방법 환자조사자료를작성보고하는병원의의무기록실장 / 과장들 31명을무작위추출하여자료수집과정상의문제점에대해서조사하였다. 환자조사보고의내용과환경, 절차등에대해서구체적인질문항목을개발하였다. 이항목들을통해서, 현장에서의어려움과개선점등에대해서알아보았다. 4. 공표자료의충실성진단방법 보도자료, 보고서, DB 등공표자료에수록한내용의수치오류와이용자 편의성에대해서점검하였다. 구체적으로다음의두가지항목에대해서 진단하였다. 가. 발간물오류점검 : 자료에수록된수치, 표두, 항목명, 영문표기, 수치와그래프의일치여부, 출처자료의원본과비교, 표형식및내용, 단위, 주석등나. 이용자편의성점검 : 분석자료, 이용상의유의점, 해석방법등에관한제반정보를제공하는지여부, 조사개요, 표본특성과관련한설명, 용어해설, 부록등의수록여부 - 6 -
5. 통계이용자만족도진단방법 통계이용실태및만족정도를파악하기위해서, 환자조사자료이용자집단에대해서설문조사를실시하였다. 조사내용으로는통계이용실태, 이용만족, 문제점및개선의견, 응답자의특성등이포함되었다. 이용만족과관련해서는구체적으로생산 / 공표, 이용편리성, 내용충실성과전반적만족도의네가지를조사하였다. 조사보고서가발송되었던리스트를확보하고, 기타이용하리라고예상되는전문가집단의리스트를작성하였다. 이집단에대해서만족도설문조사를실시하였다. 6. 통계품질개선노력진단방법 통계개선계획및실적을비교하여진단한다. 통계작성부서에서작성한품질개선노력실적표에서술된사항들이진단대상통계의품질을높이는데어느정도기여하였는지를통계작성절차의적합성진단내용을참조하여측정하였다. - 7 -
제 2 절 < 환자조사 > 부문별품질진단결과 1. 통계작성환경평가 가. 평가개요 (1) 목적리더십과인적자원관리등은통계를생산하는데필요한기본인프라이다. 따라서본격적인품질진단에앞서, 기관장의관심, 전략과방침, 인력자원관리및예산규모등을파악할필요가있다. (2) 현황 ( 가 ) 인적자원여건환자조사통계담당인력은 1명으로 100% 전담하고있다. 현재의담당자가이보직에서근무한기간은 2003년 12월부터로, 2년이넘었으며, 최근 3년간통계관련교육훈련이수실적은 6회총 40일이다. 주로통계, SPSS, 엑셀등을다루는교육을이수하였다. ( 나 ) 물적자원여건 2005 년도통계관련예산규모는 103,894,000 원이었다. ( 다 ) 업무성격통계작성체계상, 조사기획부터결과분석, 공표까지보건복지부조사통계팀에의해서일관되게이루어지기에, 자료관리의일관성이란장점이있다. 그런데실질적인자료작성을의료기관에의존하기에, 상호협조가절실히요구된다. - 8 -
(3) 평가방법및절차첫째세부진단계획을수립하고, 둘째통계작성환경현황표를해당통계담당자에게작성을의뢰한후, 셋째면담을통해조사된내용을다시한번확인하고, 넷째그결과를분석하여작성환경을진단한다. 나. 평가결과 (1) 조직관리실태통계품질에대해서조직의리더가품질을높이고자하는비전과가치관을제시하고는있으나, 이러한비전이시스템화되고개선이지속적으로이루어지는측면은다소미흡하다고하겠다. 특히, 품질관리비전이행을위한방침과전략전개의합리성이나적절한시스템에의한실행계획의타당성에있어서는문제가있는것으로드러났다. (2) 통계작성담당자의인식인적자원관리측면에서볼때, 통계담당직원의능력향상을위한계획이만들어지고, 관리되고는있으나, 업무량, 동기부여, 예산이나인적자원배치측면에서문제가있다. 즉직원의능력은향상시키려고하면서, 이를발휘할수있는여건의제공은미흡하다. 이러한상황하에서도담당직원의만족도나능력향상에대한의지는높게나타나서다행이라고하겠다. 결론적으로통계작성환경은개선의여지가있다고하겠다. - 9 -
< 표 1> 조직관리실태및통계작성담당자의인식 매우주요질문내용그렇다보통아니다전혀그렇다아니다비고 1. 조직의리더가통계품질을높이기위해비전과가치관을제시하면서모범적인역할을수행하고있습니까? 통계품질에관한조직의비전제시 조직문화의변혁을통한가치관의정립 2. 조직의리더는통계품질관리의필요성을인식하고, 지속적으로품질개선을추진하고있습니까? 조직리더들의통계품질에대한이해도와참여도 통계품질관리에대한인적, 물적자원의적절한지원및배분 조직리더의통계품질관리에대한관심도와추진의지 3. 조직리더의품질관리비전을이행하기위하여방침, 계획, 목표, 세부목표및프로세스가수립 시행되고있습니까? 통계품질에관한경영방침의수립 방침과전략전개의합리성 적절한시스템에의한실행계획의타당성 4. 통계품질관리를위한인적자원은계획되고관리되며개선되고있는가? 통계품질관리전담부서및전담인력 통계품질관리를위한인력양성계획 품질교육수요파악및교육이수실적 5. 통계담당직원의품질관리능력이개발되고, 품질관리에의참여가적극적으로이루어지고있습니까? 통계품질을위한전문적인모임의활성화 통계품질을제고하기위한동기부여 6. 통계작성담당자가지금맡고있는통계업무량은적정하다고생각하십니까? 7. 통계작성담당자는현재통계작성업무를수행하는데해당예산이나인력이적정하다고생각하십니까? 8. 통계작성담당자는현재통계작성업무를수행하는데필요한장비와소프트웨어가충분히확보되어있다고생각하십니까? 관계없음 9. 통계작성담당자는지금맡고있는통계업무를보다원활하게수행하기위하여정기적으로통계및조사관련교육을받을필요가있다고생각하십니까? 10. 통계작성담당자는현재의통계업무를담당하는것에만족하십니까? - 10 -
2. 통계작성절차의적합성평가 가. 평가개요 (1) 목적 환자조사통계작성절차에무리가없었는지를선정된지표에준하여평가한다. (2) 평가대상통계평가대상이되는통계는환자조사통계이다. 전국의료기관을대상으로일정시점에서의의료기관현황과일정기간동안에이들의료기관을이용한환자를조사한자료이다. (3) 평가방법통계작성절차의적합성진단은자체진단과외부진단으로구성되어있다. 자체진단은작성절차에대한품질진단서를통계담당자가직접작성함으로써실시된다. 외부진단은통계품질심의위원으로위촉된외부전문가가자체진단결과및진단근거자료를바탕으로재진단을함으로써진행된다. (4) 통계품질지표통계품질지표는통계작성절차를점검할수있는지표, 기술적으로나경제적으로측정에무리가없는지표, 향후품질개선방향을제시할수있는지표이어야한다. 또한이는측정가능하고객관적이어야한다. 통계품질지표는정확성, 시의성, 관련성, 접근성, 비교성, 효율성등의 6개품질차원으로구분된다 ( 표 3). - 11 -
< 표 2> 조사통계품질지표의차원 조사통계품질진단지표 품질차원 1-1. 통계작성목적을제시하고있는가? 관련성 1-4. 주된이용자의요구를통계작성에반영하고있는가? 관련성 5-4. 자료결과를검증할수있는관련자료또는유사한통계를파악하고있는가? 비교성 6-9. 시계열자료는일관성이있으며, 변동내역을공개하고있는가? 비교성 1-5. 통계작성개편작업이시의적절하게이루어지고있는가? 시의성 6-3. 결과자료를적절한시점에? 공표하고있는가? 시의성 6-6. 조사결과자료의공표일이사전에예고되고있는가? 시의성 6-7. 사전에예고한공표일을준수하고있는가? 시의성 1-6. 개편작업후개편내용을이용자에게공개하고있는가? 접근성 2-5. 표본추출과정을공개하고있는가? 접근성 6-2. 간행물에통계조사와관련된자료를수록하여이용자들의편의를돕고있는가? 접근성 6-5. 모든이용자가조사결과를동시에이용할수있도록공표하고있는가? 접근성 6-8. 다양한매체를이용하여조사결과자료를제공하고있는가? 접근성 6-4. 국가통계승인을득한모든항목의자료를공표하고있는가? 접근성 1-2. 통계작성에사용하고있는개념, 용어, 분류체계및작성방법등기준의타당성을검토하여적용하고있는가? 정확성 1-7. 외부자료를이용하여통계를작성할경우, 외부자료에대한타당성을검토한후, 이를이용하고있는가? 정확성 1-8. 통계작성과관련된각종자료가문서화되어있는가? 정확성 2-1. 작성하고자하는대상모집단이명확하게정의되어있는가? 정확성 2-2. 표본추출후적절한표본관리를통하여표본수준이유지되고있는가? 정확성 2-3. 조사목적, 조사결과발표범위등에비춰볼때표본규모는적정한가? 정확성 2-4. 표본조사를실시하는경우, 표본오차관련지표를작성하고있는가? 정확성 3-1. 조사항목의변경이있을때, 사전조사 (pretest) 를반드시실시하고있는가? 정확성 3-2. 조사표는기입자가이해하기쉽고작성하기에친근한형태로설계되어있는가? 정확성 3-3. 조사지침서 ( 요령서 ) 가작성되어조사와관련한모든사항을파악하고습득할수있는가? 정확성 4-1. 조사기획자는조사직원에대한체계적인교육을실시하고있는가? 정확성 4-2. 조사직원의조사관련전문지식숙지여부를파악하고있는가? 정확성 4-3. 조사기획자는조사직원의조사방법을파악및분석하고있는가? 정확성 4-4. 조사기획자는현장조사에대한단계별업무량을파악하고있는가? 정확성 4-5. 현장조사의실시에대한체계적인관리가이루어지고있는가? 정확성 4-6현장조사에서발생한의문사항은시기적절하게처리되며, 모든직원이함께공유하고있는가? 정확성 5-1. 무응답실태를파악하여분석하고있는가? 정확성 5-2. 현장조사부터집계분석단계까지적절한내용검토절차가마련되어있는가? 정확성 5-3. 모수를추정하는경우, 추정절차는적정하게이루어지고있는가? 정확성 6-1. 간행물수록자료에대한오류를점검하고있는가? 정확성 6-10. 응답자의비밀보호를위한장치가마련되어있는가? 정확성 1-3. 예산, 인력, 일정등통계작성여건을검토하고있는가? 효율성 - 12 -
(5) 평가절차 평가는다음과같은 6 개단계를거쳐서진행된다. 1단계 : 진단계획수립 2단계 : 통계품질지표보완 3단계 : 통계품질심의위원위촉 4단계 : 품질진단서작성 5단계 : 진단결과분석및보고서작성 6단계 : 환류 (6) 평가일정 2006 년도 5 월, 한달동안진행되었다. 나. 평가결과 (1) 절차별결과절차별로통계담당자에의한자체진단결과를살펴보겠다. 환자조사는조사원에의한자료수집이이루어지는것이아니기에, 자료수집과관련된문항에는응답을하지않았다. 통계작성기획및관리 와 모집단및표본설계, 조사표설계 그리고 자료이용 에대해서는자체진단결과, 평균 5점으로나타났다. 자료처리및집계의경우는평균점수가 4.75로다른절차에비해서다소낮게평가되었다. 자료처리와관련하여, 무응답처리에대해서상대적으로낮은 4점이주어졌다. - 13 -
< 표 3> 절차별자체평가점수 조사통계품질진단지표 점수 1-1. 통계작성목적을제시하고있는가? 5 1-2. 통계작성에사용하고있는개념, 용어, 분류체계및작성방법등기준의타당성을검토하여적용하고있는가? 5 1-3 예산, 인력, 일정등통계작성여건을검토하고있는가? 5 1-4. 주된이용자의요구를통계작성에반영하고있는가? 5 1-5. 통계작성개편작업이시의적절하게이루어지고있는가? 5 1-6. 개편작업후개편내용을이용자에게공개하고있는가? 5 1-7. 외부자료를이용하여통계를작성할경우, 외부자료에대한타당성을검토한후, 이를이용하고있는가? - 1-8. 통계작성과관련된각종자료가문서화되어있는가? 5 2-1. 작성하고자하는대상모집단이명확하게정의되어있는가? 5 2-2. 표본추출후적절한표본관리를통하여표본수준이유지되고있는가? 5 2-3. 조사목적, 조사결과발표범위등에비춰볼때표본규모는적정한가? 5 2-4. 표본조사를실시하는경우, 표본오차관련지표를작성하고있는가? 5 2-5. 표본추출과정을공개하고있는가 5 3-1. 조사항목의변경이있을때, 사전조사 (pretest) 를반드시실시하고있는가? 5 3-2. 조사표는기입자가이해하기쉽고작성하기에친근한형태로설계되어있는가? 5 3-3. 조사지침서 ( 요령서 ) 가작성되어조사와관련한모든사항을파악하고습득할수있는가? 5 4-1. 조사기획자는조사직원에대한체계적인교육을실시하고 - 4-2. 조사직원의조사관련전문지식숙지여부를파악하고있는가? - 4-3. 조사기획자는조사직원의조사방법을파악및분석하고있는가? - 4-4. 조사기획자는현장조사에대한단계별업무량을파악하고있는가? - 4-5. 자료수집의실시에대한체계적인관리가이루어지고있는가? - 4-6. 현장조사에서발생한의문사항은시기적절하게처리되며, 모든직원이함께공유하고있는가? - 5-1. 무응답실태를파악하여분석하고있는가? 4 5-2. 현장조사부터집계분석단계까지적절한내용검토절차가마련되어있는가? 5 5-3. 모수를추정하는경우, 추정절차는적정하게이루어지고있는가? 5 5-4. 자료결과를검증할수있는? 관련자료또는유사한통계를파악하고있는가? 5 6-1. 간행물수록자료에대한오류를점검하고있는가? 5 6-2. 간행물에통계조사와관련된자료를수록하여이용자들의편의를돕고있는가? 5 6-3 결과자료를적절한시점에공표하고있는가? 5 6-4. 국가통계승인을득한모든항목의자료를공표하고있는가? 5 6-5. 모든이용자가조사결과를동시에이용할수있도록공표하고있는가? 5 6-6. 조사결과자료의공표일이사전에예고되고있는가? 5 6-7. 사전에예고한공표일을준수하고있는가? 5 6-8. 다양한매체를이용하여조사결과자료를제공하고있는가? 5 6-9. 시계열자료는일관성이있으며, 변동내역을공개하고있는가? 5 6-10. 응답자의비밀보호를위한장치가마련되어있는가? 5-14 -
< 표 4> 절차별자체평가점수 절차 평균점수 통계작성기획및관리 5 모집단및표본설계 5 조사표설계 5 현장조사 - 자료처리및집계 4.75 자료이용 5 (2) 품질차원별결과품질차원별로통계담당자에의한자체진단결과를살펴보겠다. 관련성, 비교성, 시의성, 접근성과효율성의 5가지차원에대해서는각각자체평가된평균점수가 5점만점에 5점이었다. 정확성과관련해서는평균 4.93점으로나타났다. < 표 5> 품질차원별자체평가점수 품질차원 평균점수 관련성 5 비교성 5 시의성 5 접근성 5 정확성 4.93 효율성 5-15 -
< 표 6> 품질차원별자체평가점수 조사통계품질진단지표 점수 1-1. 통계작성목적을제시하고있는가? 5 1-4. 주된이용자의요구를통계작성에반영하고있는가? 5 5-4. 자료결과를검증할수있는관련자료또는유사한통계를파악하고있는가? 5 6-9. 시계열자료는일관성이있으며, 변동내역을공개하고있는가? 5 1-5. 통계작성개편작업이시의적절하게이루어지고있는가? 5 6-3. 결과자료를적절한시점에공표하고있는가? 5 6-6. 조사결과자료의공표일이사전에예고되고있는가? 5 6-7. 사전에예고한공표일을준수하고있는가? 5 1-6. 개편작업후개편내용을이용자에게공개하고있는가? 5 2-5. 표본추출과정을공개하고있는가? 5 6-2. 간행물에통계조사와관련된자료를수록하여이용자들의편의를돕고있는가? 5 6-5. 모든이용자가조사결과를동시에이용할수있도록공표하고있는가? 5 6-8. 다양한매체를이용하여조사결과자료를제공하고있는가? 5 6-4. 국가통계승인을득한모든항목의자료를공표하고있는가? 5 1-2. 통계작성에사용하고있는개념, 용어, 분류체계및작성방법등기준의타당성을검토하여적용하고있는가? 5 1-7. 외부자료를이용하여통계를작성할경우, 외부자료에대한타당성을검토한후, 이를이용하고있는가? - 1-8. 통계작성과관련된각종자료가문서화되어있는가? 5 2-1. 작성하고자하는대상모집단이명확하게정의되어있는가? 5 2-2. 표본추출후적절한표본관리를통하여표본수준이유지되고있는가? 5 2-3. 조사목적, 조사결과발표범위등에비춰볼때표본규모는적정한가? 5 2-4. 표본조사를실시하는경우, 표본오차관련지표를작성하고있는가? 5 3-1. 조사항목의변경이있을때, 사전조사 (pretest) 를반드시실시하고있는가? 5 3-2. 조사표는기입자가이해하기쉽고작성하기에친근한형태로설계되어있는가? 5 3-3. 조사지침서 ( 요령서 ) 가작성되어조사와관련한모든사항을파악하고습득할수있는가? 5 4-1. 조사기획자는조사직원에대한체계적인교육을실시하고있는가? - 4-2. 조사직원의조사관련전문지식숙지여부를파악하고있는가? - 4-3. 조사기획자는조사직원의조사방법을파악및분석하고있는가? - 4-4. 조사기획자는현장조사에대한단계별업무량을파악하고있는가? - 4-5. 자료수집의실시에대한체계적인관리가이루어지고있는가? - 4-6. 현장조사에서발생한의문사항은시기적절하게처리되며, 모든직원이함께공유하고있는가? - 5-1. 무응답실태를파악하여분석하고있는가? 4 5-2. 현장조사부터집계분석단계까지적절한내용검토절차가마련되어있는가? 5 5-3. 모수를추정하는경우, 추정절차는적정하게이루어지고있는가? 5 6-1. 간행물수록자료에대한오류를점검하고있는가? 5 6-10. 응답자의비밀보호를위한장치가마련되어있는가? 5 1-3. 예산, 인력, 일정등통계작성여건을검토하고있는가? 5-16 -
(3) 자체와외부평가결과비교외부전문가 2인에의한평가결과는절차별로보인결과표와차원별로보인결과표, 두가지로나타내었다. 앞의자체평가결과와특히다른부분은현장조사에대한것이다. 통계담당자에의한평가의경우, 설문조사와같은현장조사가아니라고생각해서답을안한것으로보이나, 외부전문가의경우자신이직접해당통계를현장에서작성한경험이있기에이를현장조사로써인식하고답을한것으로보인다. - 17 -
< 표 7> 절차별외부평가점수 조사통계품질진단지표 점수 A B 1-1. 통계작성목적을제시하고있는가? 5 5 1-2. 통계작성에사용하고있는개념, 용어, 분류체계및작성방법등기준의타당성을검토하여적용하고있는가? 3 5 1-3 예산, 인력, 일정등통계작성여건을검토하고있는가? 3 4 1-4. 주된이용자의요구를통계작성에반영하고있는가? 3 3 1-5. 통계작성개편작업이시의적절하게이루어지고있는가? 3 4 1-6. 개편작업개편내용을이용자에게공개하고있는가? 5 4 1-7. 외부자료를이용하여통계를작성할경우, 외부자료에대한타당성을검토한후, 이를이용하고있는가? - 3 1-8. 통계작성과관련된각종자료가문서화되어있는가? 5 5 2-1. 작성하고자하는대상모집단이명확하게정의되어있는가? 5 5 2-2. 표본추출후적절한표본관리를통하여표본수준이유지되고있는가? 5 3 2-3. 조사목적, 조사결과발표범위등에비춰볼때표본규모는적정한가? 3 4 2-4. 표본조사를실시하는경우, 표본오차관련지표를작성하고있는가? 5 4 2-5. 표본추출과정을공개하고있는가? 5 5 3-1. 조사항목의변경이있을때, 사전조사 (pretest) 를반드시실시하고있는가? 4 5 3-2. 조사표는기입자가이해하기쉽고작성하기에친근한형태로설계되어있는가? 3 4 3-3. 조사지침서 ( 요령서 ) 가작성되어조사와관련한모든사항을파악하고습득할수있는가? 4 4 4-1. 조사기획자는조사직원에대한체계적인교육을실시하고 4 3 4-2. 조사직원의조사관련전문지식숙지여부를파악하고있는가? 2 3 4-3. 조사기획자는조사직원의조사방법을파악및분석하고있는가? 4 3 4-4. 조사기획자는현장조사에대한단계별업무량을파악하고있는가? 2 3 4-5. 자료수집의실시에대한체계적인관리가이루어지고있는가? 2 3 4-6. 현장조사에서발생한의문사항은시기적절하게처리되며, 모든직원이함께공유하고있는가? 3 3 5-1. 무응답실태를파악하여분석하고있는가? 4 4 5-2. 현장조사부터집계분석단계까지적절한내용검토절차가마련되어있는가? 4 5 5-3. 모수를추정하는경우, 추정절차는적정하게이루어지고있는가? 4 5 5-4. 자료결과를검증할수있는? 관련자료또는유사한통계를파악하고있는가? 4 4 6-1. 간행물수록자료에대한오류를점검하고있는가? 4 4 6-2. 간행물에통계조사와관련된자료를수록하여이용자들의편의를돕고있는가? 4 5 6-3 결과자료를적절한시점에? 공표하고있는가? 3 5 6-4. 국가통계승인을득한모든항목의자료를공표하고있는가? 4 5 6-5. 모든이용자가조사결과를동시에이용할수있도록공표하고있는가? 3 4 6-6. 조사결과자료의공표일이사전에예고되고있는가? 2 4 6-7. 사전에예고한공표일을준수하고있는가? 2 5 6-8. 다양한매체를이용하여조사결과자료를제공하고있는가? 3 4 6-9. 시계열자료는일관성이있으며, 변동내역을공개하고있는가? 4 4 6-10. 응답자의비밀보호를위한장치가마련되어있는가? 4 4-18 -
절차별로제시된의견을살펴보면다음과같다. 1 통계작성기획및관리자료수집의목적에 OECD 통계항목으로제출하기위함을포함해야한다는지적이있었다. 예산, 인력, 일정등에대한검토는잘되고있을지모르나, 실제로자료를준비하는현장의여건에대한충분한검토가필요하다는의견이제시되었다. 우리나라에서는통계작성에사용하고있는용어정의사전집이없는데반해서, 호주의경우는보건통계용어사전집이있어서매년개정판을내고있다. 현재보건복지부에서호주의통계용어사전집을기초로하여통계용어정의연구가진행되고있는것으로알려져있는데, 이를활용하면현장의어려움해소에다소도움이될것이라는제안이있었다. 전반적으로통계자료이용에대한수요조사와이용자의견등이충분히반영되는시스템이아직은갖추어져있지않다는평가의견이다. 이는예산부족에기인하는것으로지적되었다. 2 모집단및표본설계표본관리를통한표본수준이유지되느냐는항목에대해서인구통계추정치가변동되었을때이에따른변동추정값을보완하여발표하지는못하고있다는의견이제시되었다. 3 조사표설계조사표작성자가의무기록사가아닌경우상당한사전교육이필요하다는의견이있었는데, 이는조사표가보다이해하기쉽고작성하기편리하게설계되어야한다는것을의미한다. - 19 -
4 현장조사관리질병, 수술분류교육을받지못한행정직원이조사서를작성하는경우도있는데, 이들에게는교육내용이상당히피상적일수있다는지적이있었다. 따라서사례중심으로사전교육이이루어져야하겠다. 또한시간도극히부족하여, 의원급이나보건소등의소규모의료기관에서작성되는조사표에는자료의정확성에의문이제기될소지가많다는의견을제시하였다. 조사기획자가파악한업무량과현장의업무량에도상당한차이가있어서, 조사비의현실화가필요하다는지적도있었다. 5 자료이용 작성기관홈페이지에조사결과보고서가게시되나, 내용이 DB 로수록되어 공개되지는않고있어서이용에어려움이있다는지적이있었다. 절차별자체평가와외부평가의결과를비교해보면, 양자간에인식에차이가있음을알수있다 ( 표8 참조 ). 전반적으로절차별자체평가의점수가만점에가깝게후한반면에, 외부평가는상대적으로낮게나타났다. 외부평가의점수는모집단및표본설계, 자료처리및집계, 통계작성기획및관리, 조사표설계의순으로높게나타났으며, 우수 ( 평균 4점이상 ) 의점수를받았다. 이에반해서, 자료이용과관련한평가는보통 ( 평균점수 4점미만 ) 으로낮았고, 그자체평가점수와의편차가제일컸다. 자료이용과관련해서, 앞의 < 표 7> 을보면, 공표일의사전예고, 조사결과공표매체의다양성, 결과의공표시점에대한만족도수준이낮음을알수있다. 외부평가점수를매우미흡 (2.9점) 으로제일낮게받은절차는현장조사와관련한것이다. 항목에서조사직원은결국대부분의병원에서자료수집을책임지고있는의무기록사를지칭하는것으로해석되는데, 조사직원에대한체계적인교육, 조사직원의숙지여부파악, 자료수집의업무량파악및체계 - 20 -
적인관리에대해서평가점수가낮음을알수있다 ( 표 7 참조 ). 특히현장조 사에수반되는과다한업무량에대한불만이높음을알수있다. < 표 8> 절차별평균점수의자체 / 외부평가비교 절차 자체평가 외부평가 통계작성기획및관리 5 4.07 모집단및표본설계 5 4.4 조사표설계 5 4 현장조사 - 2.9 자료처리및집계 4.75 4.25 자료이용 5 3.85 다음의 < 표 9> 는품질차원별외부평가점수를보이고있다. 이는앞의 < 표 7> 을품질차원별로재구성한것이다. - 21 -
< 표 9> 품질차원별외부평가점수 조사통계품질진단지표 점수 A B 1-1. 통계작성목적을제시하고있는가? 5 5 1-4. 주된이용자의요구를통계작성에반영하고있는가? 3 3 5-4. 자료결과를검증할수있는관련자료또는유사한통계를파악하고있는가? 4 4 6-9. 시계열자료는일관성이있으며, 변동내역을공개하고있는가? 4 4 1-5. 통계작성개편작업이시의적절하게이루어지고있는가? 3 4 6-3. 결과자료를적절한시점에? 공표하고있는가? 4 5 6-6. 조사결과자료의공표일이사전에예고되고있는가? 2 4 6-7. 사전에예고한공표일을준수하고있는가? 2 5 1-6. 개편작업후개편내용을이용자에게공개하고있는가? 5 4 2-5. 표본추출과정을공개하고있는가? 5 5 6-2. 간행물에통계조사와관련된자료를수록하여이용자들의편의를돕고있는가? 4 5 6-5. 모든이용자가조사결과를동시에이용할수있도록공표하고있는가? 3 4 6-8. 다양한매체를이용하여조사결과자료를제공하고있는가? 3 4 6-4. 국가통계승인을득한모든항목의자료를공표하고있는가? 4 5 1-2. 통계작성에사용하고있는개념, 용어, 분류체계및작성방법등기준의타당성을검토하여적용하고있는가? 3 5 1-7. 외부자료를이용하여통계를작성할경우, 외부자료에대한타당성을검토한후, 이를이용하고있는가? - 3 1-8. 통계작성과관련된각종자료가문서화되어있는가? 5 5 2-1. 작성하고자하는대상모집단이명확하게정의되어있는가? 5 5 2-2. 표본추출후적절한표본관리를통하여표본수준이유지되고있는가? 5 3 2-3. 조사목적, 조사결과발표범위등에비춰볼때표본규모는적정한가? 3 4 2-4. 표본조사를실시하는경우, 표본오차관련지표를작성하고있는가? 5 4 3-1. 조사항목의변경이있을때, 사전조사 (pretest) 를반드시실시하고있는가? 4 5 3-2. 조사표는기입자가이해하기쉽고작성하기에친근한형태로설계되어있는가? 3 4 3-3. 조사지침서 ( 요령서 ) 가작성되어조사와관련한모든사항을파악하고습득할수있는가? 4 4 4-1. 조사기획자는조사직원에대한체계적인교육을실시하고있는가? 4 3 4-2. 조사직원의조사관련전문지식숙지여부를파악하고있는가? 2 3 4-3. 조사기획자는조사직원의조사방법을파악및분석하고있는가? 4 3 4-4. 조사기획자는현장조사에대한단계별업무량을파악하고있는가? 2 3 4-5. 자료수집의실시에대한체계적인관리가이루어지고있는가? 2 3 4-6. 현장조사에서발생한의문사항은시기적절하게처리되며, 모든직원이함께공유하고있는가? 3 3 5-1. 무응답실태를파악하여분석하고있는가? 4 4 5-2. 현장조사부터집계분석단계까지적절한내용검토절차가마련되어있는가? 4 5 5-3. 모수를추정하는경우, 추정절차는적정하게이루어지고있는가? 4 5 6-1. 간행물수록자료에대한오류를점검하고있는가? 4 4 6-10. 응답자의비밀보호를위한장치가마련되어있는가? 4 4 1-3. 예산, 인력, 일정등통계작성여건을검토하고있는가? 3 4-22 -
다음의 < 표 10> 은품질차원별자체평가와외부평가점수를비교하여보여준다. 외부평가평균점수가우수이상 (4점이상 ) 인품질차원은관련성, 비교성, 접근성이었다. 이에반해서, 보통이하 (4점미만 ) 의평가를받은차원은시의성, 정확성과효율성이었다. 시의성의문항은주로자료이용과관련된것으로서, 시의성의평가점수가낮은것은앞의 < 표 8> 에서자료이용의평가점수가낮았던것과연관있다. 공표일의사전예고나결과의공표시점에대한평가수준이낮았다. < 표 10> 품질차원별평균점수의자체 / 외부평가비교 품질차원 자체평가 외부평가 관련성 5 4 비교성 5 4 시의성 5 3.6 접근성 5 4.3 정확성 4.93 3.8 효율성 5 3.5 (4) 이용자만족도조사와의비교이용자만족도조사에서, 만족도의속성을생산과정 ( 모집단정의, 조사대상이조사목적에맞게정의, 적절한시기에공표, 예고된일정에따른공표 ), 활용편리성 ( 제공방법 / 보고형식, 시계열비교, 국가간비교용이성, 이용시유의사항 / 관련개념 / 용어의정의 ), 내용충실성 ( 충분성, 다양성, 정확성, 신뢰성 ) 의세가지로나누었다. 생산과정에대한만족도와관련해서, 조사목적이나모집단선정에대해서과반수이상이긍정적인평가를하였다. 활용편리성은주로통계자료공표와관련된것이었는데, 이의항목에대해서는과반수를넘는긍정적인평가가 - 23 -
없었다. 내용충실성과관련해서는 정확하다 와 신뢰할수있다 는항목에대해서긍정적인평가가과반수를넘었다. 절차상의세가지항목, 통계작성기획및관리 와 모집단및표본설계, 조사표설계 에대해서는자체평가나외부평가점수가다른항목들에비해서상대적으로높았는데, 이는이용자만족도조사에서도일관되게나타났다. 즉통계자료수집과관련된방법론적인부분에대해서는전반적으로긍정적인평가가내려졌다. 이에반해서, 자료이용측면, 즉활용과관련해서는외부평가와이용자만족도평가점수가상대적으로낮았다. (5) 종합평가통계작성절차의적합성에대한평가는자체평가와외부평가그리고연구진에의한통계담당자방문면담의세가지방식으로이루어졌다. 그런데종합적으로비교분석한결과, 자체평가와외부평가간에무시못할괴리가존재하고있었다. 자체평가는만점에가깝게후한반면에, 외부평가는물론긍정적인평가이기는하지만점수에차이가있었다. 통계자료수집과관련된방법론적인부분에대한평가가자료이용측면, 즉활용과관련한평가에비해서는자체평가, 외부평가, 이용자만족도조사에서상대적으로높게나타났다. 그러나방법론측면에서도전면재검토의필요성이제시될만큼여러문제점이지적되었다. 절차별로정리하여종합평가의견을제시하면다음과같다. - 24 -
( 가 ) 통계작성기획및관리환자조사는국민의질병상태와의료기관이용실태에대한정보를제공해주는중요한자료이다. 그런데조사주기가 3년으로너무길어서, 빠르게변해가는실태파악에는한계가있다. 보험청구자료를활용하자는의견도있으나, 진료비청구시삭감을대비하여상병명을추가하는현실에서는이의활용도제한적일수밖에없다. 결국이러한문제는조사예산과인력지원의미흡에기인한것으로볼수있기에, 예산과인력지원이충분히이루어질필요가있다. ( 나 ) 모집단및표본설계조사대상이퇴원환자 1개월, 외래환자 1일로극히제한된범위에서조사가이루어지고있다. 이러한제한성때문에, 통계의계절적변이에대한보완이필요하다. 모집단은명확히설정되어있으나, 표본설계에대해서는보다구체적인논리적근거를갖고있어야하겠다. 보고서에의료기관별표본추출률의차이에대한구체적인근거를제시함으로써, 자료이용자들의이해를도와야하겠다. ( 다 ) 조사표설계조사표가이해하기쉽고, 작성하기친근하게설계되어있어야한다. 그런데용어와관련해서현장에서아직도혼란이있다. 이는용어정의사전집제작및배포의필요성을시사한다. 호주의경우, 호주보건통계용어사전집을매년개정하여제공하고있는데, 우리나라도빠른시일안에용어정의사전집을마련할필요가있다. - 25 -
( 라 ) 현장조사의관리종합병원이상에서는질병, 수술분류에대한전문가인의무기록사가조사서를작성할것이라고기대되나, 의무기록사에대한의무사항이없는의원, 보건소, 보건의료원등의소규모의료기관에서작성되는자료의정확성에는문제가있을수있다. 해당의료기관의의료진이작성한환자자료에서는비전문가가추출하여작성하기불가능한항목들이있다. 예를들어, 손상의원인에대한내용은전문가인의무기록사가직접확인하지않고는작성이힘들다. 환자조사와같은전문성이강조되는통계의정확성과신뢰성을향상시키기위해서는외국에서와같이자격있는전문가집단이잘활용될수있도록국가차원에서법적, 제도적시스템을구축하여나갈필요가있다. 같은맥락에서사전교육이피상적으로이루어질것이아니고, 구체적인사례중심으로전환되어, 교육의내실화를기해야하겠다. 또한조사비용의현실화가이루어질필요가있다. 조사표작성에소요되는업무량과시간에비해서, 조사비는낮게책정되어있다. 조사의적극적참여를유도하기위해서반드시현실화되어야할필요가있다. ( 마 ) 자료처리및집계 보고서상에무응답이나이상치의처리에대한기술이없으며, 유사한통계 와의비교분석이시도되지않았다. ( 바 ) 자료이용공표일의사전예고나결과의공표시점등에대한불만수준이높았다. 또한조사결과를공표하는매체를보다다양화해서자료에의접근성을높일필요성이제기되었다. - 26 -
3. 자료수집의정확성평가 가. 개요 (1) 목적 자료수집의오류유형과발생원인에대한실증자료를축적하여, 조사품질 을개선시키는데활용하기위함이다. (2) 점검대상환자조사가이루어졌던 8,215개의료기관중, 31개병원을추출하여조사하였다. 실제로환자조사자료를수집하고보고한병원의담당자를대상으로하였다. (3) 점검방법환자조사의자료를수집하고보고한병원담당자에게자료수집이나보고와관련된문제점과개선안에대한의견을듣기위하여, 인터뷰설문지를만들었다. 만들어진점검표를이용한자료수집의정확성조사는방문조사, 이메일조사, 전화조사를병행하여진행하였다. 설문지를이용한양적조사이외에, 담당자와의심층면접, 즉질적조사를통해서보다구체적으로문제점에대해서논의하였다. (4) 점검항목점검항목의차원은보고양식작성절차와제출절차의두가지로하였다. 먼저, 보고양식작성절차와관련해서는사전교육, 조사표의이해도, 작성시어려움, 요구한자료와의일치도등의 17문항을작성하였다. 보고양식제출절차와관련해서는제출시어려움, 문의나시정요청여부, 응답여부와의견반영여부등의 5문항을만들었다. - 27 -
(5) 점검절차 점검절차는다음과같이 7 단계를거쳐서진행되었다. 1단계 : 진단계획수립 2단계 : 점검대상표본선정 3단계 : 인터뷰설문지제작 4단계 : 병원의담당자에대한설문조사 5단계 : 점검내용확인및집계 6단계 : 자료분석 7단계 : 보고서작성및환류 나. 평가결과 (1) 점검결과 점검은설문지를통한양적조사와질적조사로이루어졌다. 두방법을이 용한점검결과에대해서각각기술하도록하겠다. ( 가 ) 양적조사결과 31개조사병원의담당자들은모두사전교육을받았다고응답하였다. 사전교육이조사표를이해하는데도움이되었느냐 는유용성을묻는질문에 31명중 28명이답하였는데, 26명이도움이되었다고답하고, 2명은도움이되지않았다고답하였다. 자료수집의정확성을기해야하는상황에서, 사전교육이도움이되지않았다는응답이 8% 가까이나왔다는것은무시할수없는수치이다. 사전교육이보다도움이될수있는방향으로내실을기해야할것이다. 조사표항목들의의미를이해하는데어려움이없었는지 를묻는질문에 29 명이답하였는데, 이들중어려움이있었다고응답한경우는 7명이고, 없었 - 28 -
다는응답은 22명이었다. 조사표항목을이해하는데어려움을경험한경우가 20% 를넘고있다는것은문제점으로지적할수있겠다. 조사표에서요구하는자료와병의원의자료간에일치하지않는것이있었느냐 는질문에 26명이답하였는데, 15명은일치하지않는것이있었다고답하고, 11명은없었다고답하였다. 병원의자료와일치하지않는내용의자료를요구하는것은병원의담당자에게추가적인업무부담으로작용한다. 더욱이보상액수가 5만원내외로미미한상황에서, 이는담당자의성실하고적극적인참여를이끌어내는데문제가될수있다. 따라서요구하는자료가병원의자료와일치하지않을경우, 병원의자료를전환할수있도록돕는프로그램의개발과같은노력이이루어져야하겠다. < 표 11> 보고양식작성절차 항목 예 아니오 합계 사전교육여부 31 0 31 교육의유용성 26 2 28 조사표항목의어려움 7 22 29 요구자료와의불일치여부 15 11 26 보고양식의제출절차에대해서살펴보면, 보고양식을제출하는데어려움이있었느냐 는질문에있었다는응답은 31명중 9명이었고없었다는응답은 22명이었다. 9명중 4명은양식의작성이복잡하다고응답하였고, 3명은제출절차가복잡하다고하였다. 특히보건소에직접방문해서제출해야하는절차에대한불만이많았다. 거의 1/3에가까운응답자가보고양식제출의어려움을느끼고있다는것은제출절차에대해서재평가하고보다간편한방안의모색이이루어져야겠다는것을시사한다. 보고양식의제출과관련하여문제가있었다면, 그문제의해결을위하여문의나시정요청을하였느냐 는질문에 8명이답하였는데, 6명이요청을하 - 29 -
였다고답하고, 2명은요청하지않았다고답하였다. 그런데 6명의요청자중에서담당자가성심껏응답해주었다는답은 4명이하고, 2명은그러지않았다고답하였다. 또한요청에대해서그의견이반영되었느냐는질문에 5명은반영되었다고답하였다. 이결과는문의나시정요청이있을때, 담당자의보다성의있는응답과반영노력이필요함을시사하고있다. < 표 12> 보고양식제출절차 항목 예 아니오 합계 보고양식제출의어려움 9 22 31 문의나시정요청여부 6 2 8 담당자의응답 4 2 6 시정요청반영여부 5 0 5 ( 나 ) 질적조사결과보건소를통해서해당의료기관에조사지가배포되고, 수집되기에, 의료기관의참여의지와정확한작성능력이요구된다. 특히자료의정확도확보를위해서는자료작성자들이명확히그내용과의미를파악하고있어야하고, 제대로자료를수집, 보고할수있어야한다. 1 입 / 퇴원환자조사공통의문제점 수집되는자료는의사가전산에입력한내용에준하게된다. 따라서, 의사가전산에입력하는내용에문제는없는지에대한검증이필요하다. 보건복지부에서배부한별도의주소분류표를이용하라고하지만, 각병원의 DB에입력된우편번호분류와다르기때문에이용하지않는경우가다수있다. 모든병원에서개별적으로우편번호전환작업을하라고할것이아니고, 보건복지부가자체적으로그런프로그램을만들어서취합된자료를전환시키는것이더효율적이다. - 30 -
각병원에서사용하고있는우편번호버전이다르다. 이전버전이입력되어있는병원이다수있는상황이다. 해당외국인 ( 한국주소모를때 ) 주소불명 인경우의해당코드가없고, 처리방법에대한설명이없다. 계절적특성을무시하고퇴원환자 1개월, 외래환자 1일조사하는것은대표성에문제가있다. 종합검진을받은경우에어떻게처리해야하는지에대한가이드라인이없다. 조사업무량에비해서조사비용이너무낮게책정되어있다. 한직원이거의 1주일매달려서해야하는분량인데도불구하고, 5만원내외로책정되어있는데, 이는너무현실을무시하고있는것이다. 2 퇴원환자조사의문제점 2005년도조사부터새로추가된부수술항목에대한정확한정의와내용설명이미흡하다. 부수술항목에대해선전산적으로완전히처리되지못하여, 부수술선정및타당성검증업무가추가되었다. 이작업이보다원활하게이루어질수있는개념정의설명과가이드라인이제시되어야하겠다. 3 외래환자조사의문제점 상해원인코드관련해서제일많은문제제기가되었다. 손상의경우 (S code, T code) 에외인 code를반드시부여하라고되어있으나, 의사들이그러한기록을하지않아일일이챠트확인하고수작업으로보충하고있는상황이다. 상해원인코드를외래진료과에서입력하지않으므로, 상해환자코드발생에관한외래진료부서의교육과업무협조가필요한상황이다. 그런데현실적으로협조받기가쉽지않으므로, 의무 - 31 -
기록실에서누락된환자를검색하여, 수작업으로추가입력해야하기에, 업무량이늘어난다. 이과정에서정확성에문제가발생할여지가있다. 외래환자건수가진료건수를의미하는지아니면수납건수를의미하는지가불명확하다. 의사를만난환자수를의미하는가? 의사를만나지않고치료만받은건 ( 예 : 물리치료 ) 은어떻게처리해야할지에대한명확한가이드라인이제시되어야하겠다. (2) 점검종합보고양식작성절차와관련해서조사표항목이어렵다는의견이상당수개진되었고, 질적조사인터뷰에서도주로제기되었던문제가조사표항목에대한가이드라인이미흡하다는것이었다. 구체적인예로부수술이나외래환자건수에대한정의가불명확하다는의견들이있었다. 이는사전교육이보다철저히준비되어제공되어야함을시사한다. 또한작성과관련해서제일많은지적이되었던사안이우편번호에대한것이었다. 보건복지부에서요구하는주소번호와현재병원의 DB에있는우편번호체계가다른데, 이를요구하는대로전환시켜서제출하라는것은문제가있다고본다. 모든병원에서일일이이런작업을하게하기보다, 보건복지부에서이런전환프로그램을만들어서자료의취합후자체적으로해야할일이라고본다. 조사표작성의업무량에비해서조사비가너무낮게책정되어있는것도자료수집과정의질확보에장애요소가된다. 현실적인비용책정이되어야하겠고, 이는바로예산확보와직결되는문제이다. - 32 -
보고양식제출절차와관련해서는보건소에직접방문해서제출해야하는 절차에대한불만이많았다. 또한문의시담당자가성심껏답변해주지않 았다는의견도있어서, 보다성실한답변자세가필요하다고하겠다. 4. 공표자료의충실성평가 가. 개요 (1) 목적공표자료의충실성을진단하는목적은두가지이다. 첫째는주로발생하는오류의유형과발생원인을파악하여이러한오류의재발방지방안을모색하기위함이다. 둘째는이용자에게필요한기본정보가통계간행물에충분히제공되고있는지를점검하여미흡한점을보완하도록함으로써통계서비스의질을향상하기위함이다. (2) 평가대상평가대상은통계간행물 ( 통계보고서, 조사결과보고서등 ) 이다. 오류점검을위해서는점검원이통계간행물의내용을확인하고, 이용자편의성점검을위해서는통계담당자에게점검표를작성토록하였다. (3) 점검방법 공표자료의충실성진단은다음과같은 5 단계에걸쳐서진행되었다. 1 단계 : 진단계획수립 2 단계 : 발간물점검원채용및교육 - 33 -
점검원교육의내용은다음과같다. ( 가 ) 점검준비 1 통계품질관리핸드북 통계품질이렇게합니다 중 5장 통계자료가정확하고다양한가요? (51-58 페이지 ) 를자세히읽고숙지한다. 2 발간물오류점검지침 ( 통계품질관리핸드북111-113 페이지 ) 을자세히읽고숙지한다. 3 발간물점검표에서 2개의대항목 (1. 이용자를위하여, 2. 조사정보 ) 에속한진단항목들을자세히읽고내용을숙지한다. ( 다른 2개의진단항목은이번발간물점검에서는작성하지않는다 ) ( 나 ) 해당통계의개요파악및발간물점검표작성 1 2002년도환자조사보고서중 I. 조사목적, II. 조사연혁, III. 조사개요 (1-4 페이지 ), V. 2002년도환자조사주요결과 (12-34 페이지 ), VII. 부록 (655-672) 내용을자세히읽고숙지한다. 2 위의 1에서숙지한해당통계의개요내용중발간물점검표의진단항목에해당하는사항이발견되면그유무를선택하고그근거자료를표기한다. 3 또한아래발간물점검의지침에따라발간물을점검하는동안에발간물점검표의진단항목에해당하는사항이발견되면그유무를선택하고그근거자료를표기한다. -예시- 2-10: 용어해설유 2004년도식품및식품첨가물생산실적보고서, II 조사개요, 9. 용어해설 (11-12 페이지 ) - 34 -
3단계 : 점검실시 발간물점검은다음과같은지침에준하여실시하였다. 1 점검중에발간물의오류가발견되면그오류에해당하는발간물오류 점검지침의분야와점검부문을찾아다음의예시와같이기록한다. -예 시- 분야 점검부분 오류내용 / 특이사항 위치 단위부분 2004년과자류단위의누락여부생산량에대한표에서확인단위 (ton) 이누락됨 보고서 346 페이지 2 점검중에발견된오류에대한해당점검지침의분야나점검부문이없 다고생각되면오류내용과위치만기록한다. 3 발간물점검은발간오류의검색뿐만아니라항상이용자의측면을고 려하여실시한다. 발간된자료를통하여이용자가필요한자료를용이 하게찾을수있는지또는표나그림의내용을쉽게이해할수있는지 등을항상고려하며점검을실시한다. 이용자측면에서발간물의자료 이용또는내용의이해에대하여문제가있다고판단될경우반드시기 록한다. - 예시 - 분야 점검부분 오류내용 / 특이사항 위치 연령별몸무게에대한막대그래프에서막대의수가한그림에너무많아연령별수치비교가어려움 보고서 ( 요약 ) 24,34,56-78 페이지 4 언제든지특이사항이발견되면그내용을기록한다. - 35 -
5 점검을실시한모든항목들 ( 내용, 숫자, 주석등 ) 은점검대상통계간행 물에빨간색으로표시한다. 4 단계 : 점검내용확인및집계 5 단계 : 결과보고서작성및환류 (4) 점검사항점검은발간물오류점검과이용자편의성점검의두가지로구분된다. 먼저발간물오류점검은근거자료와비교하거나표기오류또는누락을확인하는방법으로진행한다. 구체적인점검사항은다음과같다. 1 통계자료 ( 통계DB, 외부통계자료, 간행물자료와의일치여부, 미공표통계자료수록여부, 시계열자료의일관성 ) 2 표형식및내용 ( 정확성, 적절성, 기호의적절성, 표기의일관성, 제목과의일치여부 ) 3 용어 ( 용어해설의적절성, 용어의일치성, 통일성 ) 4 단위 ( 정확성, 누락여부, 단위위치의통일성 ) 5 주석 ( 통계표의내용과일치여부, 번호의일치여부, 누락여부등 ) 6 출처 ( 정확성, 누락여부 ) 7 도표및그림 ( 정확성, 오해의여지 ) 8 기타사항 ( 목차제목과일치여부, 목차페이지와의일치여부, 한글및영문의오탈자, 영문표기의일관성, 영문표기의누락여부, 표제목의적절성, 설명문의정확성등 ) 이용자편의성점검은단순통계자료수록에그치지않고, 이와관련한분석자료, 이용상의유의점, 해석방법등에관한제반정보를제공하는지여부, 그리고조사개요, 표본특성과관련한설명, 용어해설, 부록등이용자들에게기본적으로필요하다고판단되는항목들이수록되었는지여부등을점검한다. - 36 -
나. 오류점검결과 < 표 13> 오류점검결과표 분야점검부분오류내용 / 특이사항위치 수치자료 수치값오류 수치값의오류 17.8% 17.7% 2002년도환자조사보고서 P12 기타 수치 VI. 통계표의표 <6> 과수치값및내용이다르다 P13, P58 기타이용의편리성 통계표날짜가기재되지않다 P58 기타 수치 VI. 통계표의표 <9> 와내용및수치값이다르다 P17 P104~125 기타 수치 VI. 통계표의표 11과내용및수치값이다르다 P219 P130 기타 수치 VI. 통계표의표 13과내용및수치값이다르다 P22 P132~133 수치자료 수치값오류 수치값의오류 23,9 24.0 P22 < 표 13> 기타 수치 VI. 통계표의표 15와내용및수치값이다르다 P24 P136~137 수치자료 수치값오류 수치값의오류 전체평균데이터값의오류 ( 대부분 ) P24 < 표 15> 내용과 외래환자수진율은영아기 수치자료 DB 수치와의 에서가장높으며 60 P26~27 일치여부 세이상연령층이높다 - 37 -
분야 점검부분 오류내용 / 특이사항 위치 수치자료 수치값오류 수치값의오류전체수진율 4414.4 5443.7 P27 < 표17> 기타 수치 VI. 통계표 17과내용및수치값의차이가있다 P27, P184~185 기타 수치및내용 VI. 통계표 20과내용및수치값이다르다 P29, P234~277 기타 수치및내용 VI. 통계표 22와내용및수치값이다르다 P31, P322, 323 수치자료 수치값오류 수치값의오류 < 표24> 1992년도 70.5 68.5 1994년도 68.5 67.5 P33 1996년도 67.5 68.7 1999년도 68.7 74.1 기타 수치및내용 VI. 통계표 24와내용및수치값이다르다 P33, P326~347 기타 일관성있게조사날짜가기재되이용의편리성었으면편리할것이다 P41 수치값의오류 1~19병상 수치자료 수치값오류 총계 178,990 182,219 P46~48 입원 7,293 7,292 외래 171,697 171,593 수치자료 수치값오류 수치값의오류 500~699병상총계 68506 68562 P47 입원 27465 27464 기타 한글오타 한글표기오타예 여 P56 기타 이용의편리 조사날짜가기재되지않았다 P58 기타 이용자의 편리성제고 의료장비 ( 예 : 체외충격파쇄석기 ) 에대한용어설명이필요한것같다 P59 단위부분 단위의누락 단위가표기되어있지않다 P59 수치자료 수치값오류 수치값의오류전산화단층촬영기총계 1561 1562 P59-38 -
분야 점검부분 오류내용 / 특이사항 위치 수치자료 수치값오류 수치값의오류구성비 ( 처방안함 ) P137 30.2 44.3 수치자료 수치값오류 수치값의오류총계 4414.4 4414.3 여 5065.0 5064.9 (45~49) 총계 4419.5 4419.4 남 3732.1 3731.9 P182~185 여 5126.3 5126.2 (75~79) 총계 9139.3 9139.4 남 8249.4 8249.3 여 9630.4 9630.5 수치자료 수치값오류 수치값의오류구성비 ( 의료급여 ) 7.1 7.7 P323 기타 이용의편리성 용어설명을위해주석이나간단한설명을덧붙이는것이이용 P414~417 자의편리를위해필요 수치자료 수치값오류 수치값의오류종합병원통계 70,457 70,452 P418 수치자료 수치값오류 수치값의오류총계 4414.4 4414.3 경기총계 4385.1 4385.0 P556~557 병원총계 179.6 182.3 수치자료 수치값오류 수치값의오류치과의원 8.6 8.5 P558~559 수치자료 수치값오류 수치값의오류보건지소 1.0 1.4 P560~561 기타 이용자의 ' 상병명 에대한용어설명이필편리성요하다 P60~103 수치값의오류 수치자료 수치값오류 83,950 83,958 12,965 12,973 P114~115-39 -
다. 간행물이용자편의성수록현황점검결과 (1) 배경이용자에게필요한기본정보가통계간행물에충분히제공되고있는지를점검하여미흡한점을보완하도록함으로써통계서비스의질을향상시키기위함이다. 이렇게함으로써공표자료가오류없는충실한정보를제공한다면, 이용자들은만족스럽게그통계를이용할것이다. (2) 항목이용자편의성점검을위해서다음의네가지차원의항목들을만들었다. 1 이용자를위한기본정보 ( 소개, 부록, 기호, 잠정치, 확정치, 자료출처, 제공매체, 문의처 ) 2 조사정보 ( 조사목적, 조사연혁, 조사범위, 적용기준, 조사항목, 조사주기, 조사방법, 조사표견본, 조사표변천, 용어설명, 공표방법 ) 3 모집단및표본설계 ( 목표모집단, 대상모집단, 모집단의근접성, 표본틀, 표본크기, 표본틀의변경, 표본틀내역, 표본설계방법, 조사체계 ) 4 자료집계및추정 ( 품질관리, 가중치, 모수추정방법, 계절조정기법, 표준오차추정치제공, 자료의신뢰성, 무응답현황, 응답자분석, 자료집계 ) (3) 결과 이용자를위한기본정보보고서에모두갖추고있는것으로나타났다. - 40 -
< 표 14> 이용자를위한기본정보항목 유 무 소개 부록 기호 잠정치, 확정치 자료출처 제공매체 문의처 조사정보의경우, 조사표변천에대한정보를제외하고는모두보고서에 있음을알수있다. < 표 15> 조사정보 항목 유 무 조사목적 조사연혁 조사범위 ( 대상 ) 적용기준 조사항목 조사주기 조사방법 조사표견본 조사표변천 용어설명 공표방법 모집단및표본설계와관련해서는표본틀의변경에대한정보만누락되었 지, 나머지는모두보고서에있음을알수있다. - 41 -
< 표 16> 모집단및표본설계항목 유 무 목표모집단 대상모집단 모집단의근접성 표본틀 표본크기 표본틀의변경 표본틀내역 표본설계방법 조사체계 자료집계및추정의경우, 계절조정기법에대한설명은누락되었지만, 나 머지는모두보고서에기술되었다. < 표 17> 자료집계및추정항목 유 무 품질관리 가중치 모수추정방법 계절조정기법 표준오차추정치제공 자료의신뢰성 무응답현황 응답자분석 자료집계 - 42 -
라. 점검종합 (1) 주요오류유형주로수치값오류와같은수치자료상의문제가많이발생한것으로드러났다. 통계자료는수치가생명인데, 다수의수치값오류가발생했다는것은국가통계자료로서문제가심각하다고하겠다. 다음으로조사날짜나단위와같은누락사례가발견되었다. (2) 검토의견보고서작성시오류가없게하기위해서보다세밀한점검이필요하다. 국가의통계자료이므로, 오류검증의확실한체계가확립되어야하겠다. 또한변경사항이나변천사에대한자료도보고서에누락되지않도록해야하겠다. 5. 이용자만족도조사 가. 조사개요 (1) 조사목적 통계생산자가간과하고있는통계이용자들의요구사항을발견하여, 통계작 성및자료제공과정에반영하는데목적이있다. (2) 조사설계 이조사는환자조사통계의주요이용자를대상으로하는데, 통계이용자의 만족정도는이용자적합성에바탕을둔다. - 43 -
(3) 조사방법및진행이용자만족도조사는다음과같은 6단계로진행된다. 1단계 : 조사계획수립 2단계 : 통계이용자명부작성 3단계 : 조사표설계 4단계 : 조사실시 5단계 : 자료입력, 집계및분석 6단계 : 보고서작성및환류 (4) 주요조사내용조사항목은다음과같다. 1 통계이용실태 (8문항) 2 이용만족 ( 개별속성만족문항 12 문항, 전반적만족도 1문항 ) 3 문제점및개선의견 (2문항) 4 응답자특성 ( 성별, 연령, 직업등 7문항 ) 5 추가항목 ( 평가 9문항 ) - 44 -
< 표 18> 조사표설계항목 이용만족 주제별 통계이용실태 개별속성만족 생산 / 공표 이용편리성 내용충실성 전반적 ( 체감 ) 만족도 문제점및개선의견 응답자특성 추가항목 주요조사내용 통계의작성주기인지여부 통계의작성방법인지여부 통계자료이용목적 통계자료이용횟수 통계자료이용형태 통계자료입수경로 통계자료이용비용 자주이용하는통계자료부문 표본추출또는모집단의적절성 작성대상 ( 조사대상 ) 의정의 적절한시기의공표여부 예고된일정에따른공표여부 제공방법및보고서편제의이용편리성 시계열의비교편리성여부 국제자료와의비교편리성여부 이용시유의사항 / 관련개념 / 용어정확성 통계자료의정보제공의충분성여부 통계자료의내용의다양성여부 통계정보의정확성여부 통계정보의신뢰성여부 전반적인이용자의만족수준 다시이용할의사가있는지여부 이용하면서느낀문제점 개선의견및건의사항 성별, 연령, 직업, 소속, 통계이용경험, 업무에서의중요등응답자특성항목 해당통계의전문가들에게통계에대한전문가적의견파악 (5) 응답자특성이용자만족도조사에응답한사례는총 71명이다. 남성이 52.1% 이고여성이 47.9% 로거의비슷한분포를보였다. 연령대는 42% 의응답자가 40대를차지하였고, 다음으로 50대가 31% 이었다. 직업은교수직이 31% 로제일많았고, 다음으로사무직 (29.6%), 공무원 (18.3%) 등의순이었다. 소속기관은보건 / 의료기관종사자가 52% 로제일많았고, 다음으로학교 (31%), 행정기관 - 45 -
(12.7%), 연구기관 (2.8%) 의순이었다. 경력은 10 년이상자가 50.7% 로과반수 를차지하였다. < 표 19> 인구통계학적특성 성별 연령별 직업별 소속별 업무수행기간별 통계중요도별 사례 ( 명 ) 퍼센트 (%) 남성 37 52.1 여성 34 47.9 20대 4 5.6 30대 15 21.1 40대 30 42.3 50대 22 31.0 60대이상 0 0 공무원 13 18.3 사무직 21 29.6 연구직 4 5.6 교수직 22 31.0 학생 6 8.5 기타 5 7.0 행정기관 9 12.7 연구기관 2 2.8 학교 22 31.0 보건의료기관 37 52.1 기타 1 1.4 3년미만 16 22.5 3년이상 ~ 5년미만 12 16.9 5년이상 ~ 10년미만 7 9.9 10년이상 36 50.7 매우중요하다 5 7.0 중요하다 7 9.9 보통이다 17 23.9 중요하지않은편이다 23 32.4 매우중요하지않다 19 26.8-46 -
나. 조사결과 (1) 통계이용실태 통계의작성주기를정확히인지하고있는지를알아보았는데, 응답자의 25.4%(18 명 ) 만이 3 년주기를인지하고있었다. 모르겠다는응답도 12.7% 에 이르러, 통계자료에대한인식수준이낮음을알수있었다. < 표 20> 통계의작성주기인지 사례 ( 명 ) 퍼센트 (%) 매월 1 1.4 분기 3 4.2 반기 3 4.2 매년 32 45.1 2년 5 7.0 3년 18 25.4 모르겠다 9 12.7 합계 71 100.0 통계의작성방법이무엇인지를물었는데, 47.9%(34명 ) 만이표본조사라고응답하였다. 작성주기에비해서정확히인지하고있는비율이높았지만, 환자조사에대한인식수준이높지않음을알수있다. < 표 21> 통계의작성방법인지 사례 ( 명 ) 퍼센트 (%) 전수조사 8 11.3 표본조사 34 47.9 전수 + 표본조사혼합 16 22.5 가공통계 3 4.2 보고통계 7 9.9 모르겠다 3 4.2 합계 71 100.0-47 -
응답자에게통계의사용용도를물었는데, 연구 / 학술 / 학습활동이란응답이 42.3% 로제일많았고, 사업및경영계획수립이 22.5%, 정책수립및평가가 18.3% 등을차지하였다. < 표 22> 통계의사용용도 사례 ( 명 ) 퍼센트 (%) 정책수립및평가 13 18.3 연구 / 학술 / 학습활동 30 42.3 사업및경영계획수립 16 22.5 다른통계를위한표본조사의모집단으로활용 4 5.6 업무외개인적관심 4 5.6 기타 4 5.6 합계 71 100.0 통계의이용빈도를물은결과, 연 1회혹은그이하란응답이 54.9(39명 ) 로제일많았고, 그다음으로반기 1회이상이란응답이 25.4%(18명 ) 이었다. 결국반기에 1회혹은그이상으로이용하는경우가 80% 에이르렀다. < 표 23> 통계의이용빈도 사례 ( 명 ) 퍼센트 (%) 주 1회이상 0 0 월 1회이상 3 4.2 분기 1회이상 11 15.5 반기 1회이상 18 25.4 연 1회혹은그이하 39 54.9 합계 71 100.0 통계의이용행태를물었는데, 공표한통계표 / 보고서를본경우가 49.3%(35 명 ) 로제일많았고, 재집계한자료가 22.5%, 분석한설명 / 요약자료가 18.3% 로나타났다. 원시자료를이용한경우는 4.2%(3 명 ) 로낮게나타났다. - 48 -
< 표 24> 통계의이용형태 사례 ( 명 ) 퍼센트 (%) 공표한통계표 / 보고서 35 49.3 재집계한자료 16 22.5 원시자료 3 4.2 분석한설명 / 요약자료 13 18.3 기타 4 5.6 합계 71 100.0 통계자료의입수경로를물었는데, 36.6% 에이르는응답자가통계작성기관 홈페이지를이용했다고하였다. 다음으로통계청홈페이지가 23.9%, 통계작 성기관에직접요청한경우가 15.5% 이었고, 신문또는방송보도자료, 도서관 등은 10% 내로적었다. 전반적으로보면, 홈페이지가주요한입수경로임을알 수있다. < 표 25> 통계자료의입수경로 사례 ( 명 ) 퍼센트 (%) 통계작성기관홈페이지 26 36.6 통계작성기관에직접요청 11 15.5 통계청홈페이지 17 23.9 신문또는방송보도자료 5 7.0 공공도서관 / 자료실열람 9 12.7 기타 3 4.2 합계 71 100.0 통계자료를무료로제공하는것을알고있는지를물었는데, 77.5% 가안다 고응답하였다. < 표 26> 통계자료의무료제공인지여부 사례 ( 명 ) 퍼센트 (%) 안다 55 77.5 모른다 16 22.5 합계 71 100.0-49 -
자주사용하는통계자료부분에대해서물었다. 의료기관종류별입원및 외래환자수를이용했다는응답률이 35% 로 1 위를차지하였다. 다음으로외 래환자의상병분류별환자수및구성비, 성, 연령계층별외래환자수및구성 비, 상병분류별외래환자수진율, 성, 연령계층별퇴원환자수및구성비등의 순으로많이이용하였다. < 표 27> 자주사용하는통계자료부분 컨텐츠항목 비중 (%) 순위 1. 의료기관종류별입원및외래환자수 35.0 1 2. 성 연령계층별외래환자수및구성비 9.9 3 3. 외래환자의상별분류별환자수및구성비 11.7 2 4. 외래환자진료비지불방법 1.2 14 5. 의료기관종류별의료기관당환자수 5.4 5 6. 외래환자거주지별의료기관이용실태 3.1 11 7. 성 연령계층별퇴원환자수및구성비 5.4 5 8. 상병분류별퇴원환자수및구성비 4.2 8 9. 퇴원환자평균재원일수 3.3 10 10. 퇴원환자진료비지불방법 0.0 17 11. 성 연령계층별외래환자수진율 2.3 13 12. 상병분류별외래환자수진율 5.9 4 13. 환자거주지별외래환자수진율 0.9 15 14. 의료이용도향상에따른수진율의증가 5.2 7 15. 의료기관종류별의료이용양상의변화 2.6 12 16. 상병별외래환자수진율변화 0.5 16 17. 노령연령층의수진율및재원일수의변화 3.5 9 18. 기타 0.0 17 계 100.0 - (2) 전반적만족도 귀하께서는종합적으로판단하실때환자조사자료에대해서얼마나만족하십니까 라는문항에대해서 50.7% 가 보통이다 라고답하였다. 긍정인응답 ( 매우만족, 대체로만족 ) 에전체응답자의 42.2% 가답한반면에, 부정응답 ( 매우불만족, 대체로불만족 ) 에는 7% 가답해서, 전반적으로긍정적인평가가많음을알수있다. - 50 -
< 표 28> 전반적만족도 사례 ( 명 ) 퍼센트 (%) 매우불만족 1 1.4 대체로불만족 4 5.6 보통 36 50.7 대체로만족 29 40.8 매우만족 1 1.4 합계 71 100.0 향후의이용의사를묻는질문에 76.1%( 어느정도이용 과 매우적극적으 로이용 ) 에가까운응답자가이용할것이라고응답하였다. < 표 29> 향후이용여부 사례 ( 명 ) 퍼센트 (%) 전혀이용할생각이없음 0 0 별로이용할생각이없음 1 1.4 그저그렇다 16 22.5 어느정도이용할것이다 43 60.6 매우적극적으로이용할것임 11 15.5 합계 71 100.0 (3) 속성별만족도평가 만족도의속성은생산과정 ( 모집단정의, 조사대상이조사목적에맞게정의, 적절한시기에공표, 예고된일정에따른공표 ), 활용편리성 ( 제공방법 / 보고형식, 시계열비교, 국가간비교용이성, 이용시유의사항 / 관련개념 / 용어의정의 ), 내용충실성 ( 충분성, 다양성, 정확성, 신뢰성 ) 의세가지로나누어서조사하였다. - 51 -
먼저생산과정에대한만족도와관련해서, 과반수넘는긍정적인평가를받은항목은 조사대상이조사목적에맞게정확히정의되어있다 라는항목뿐이었다. 자료가공표와관련해서는 그렇지않다 는부정적평가가 20% 대로, 이에대한검토가필요함을알수있다. 활용편리성의네항목에대해서는긍정적인평가가과반수를넘지않았다. 부정적인평가 ( 전혀그렇지않다 와 그렇지않다 ) 가네항목모두에걸쳐서, 고르게 20% 대내외임을알수있다. 특히국가간비교의편리성에대한부정적평가는 30% 가까이나타났다. 국가간자료의비교에대한요구가높아지는상황에비추어볼때, 국가간비교를염두에두고환자조사설계가되어야하겠다. 내용충실성과관련해서는 정확하다 와 신뢰할수있다 는항목에대해서긍정적인평가가 50% 내외이었다. 알고자하는정보를충분히제공하고있다 와 다양한내용이수록되어있다 는항목에대해서는부정적평가가 20 내외로높게나타났다. < 표 30> 종합만족도와체감만족도점수 종합만족도 (5점만점 ) 통계생산과정 활용편리성 내용충실성 3.455 3.478 3.424 3.459 체감만족도 (5점만점 ) 긍정응답률 1) 부정응답률 2) 3.352 42.3% 8.5% 1) 매우그렇다 와 대체로그렇다 의응답률 2) 대체로그렇지않다 와 전혀그렇지않다 의응답률 - 52 -
< 표 31> 통계자료에대한속성별만족도응답분포 (unit : %) 속성 항 목 a b c d e f g 명확하게모집단이정의되어있다. 5.6 7.0 35.2 31.0 15.5 5.6 100 조사대상이조사목적에맞게통계 1.4 7.0 36.6 29.6 22.5 2.8 100 정확히정의되어있다생산적절한시기에공표되고있다 0.0 19.7 40.8 25.4 11.3 2.8 100 과정예고된일정에맞춰 0.0 22.5 28.2 31.0 8.5 9.9 100 공표되고있다 제공방법 / 보고서형식등은필요한통계자료를얻는데편리하다. 4.2 21.1 21.1 38.0 11.3 4.2 100 활용 시계열비교가편리하다 0.0 16.9 36.6 32.4 8.5 5.6 100 편리성 외국과의비교가편리하다 5.6 23.9 39.4 14.1 7.0 9.9 100 유의사항 / 관련개념 / 용어정의가잘되어있다 4.2 14.1 43.7 31.0 5.6 1.4 100 알고자하는정보를 1.4 15.5 46.5 28.2 7.0 1.4 100 내용충실성 충분히제공하고있다 다양한내용이수록되어있다. 1.4 22.5 36.6 31.0 7.0 1.4 100 정확하다 0.0 7.0 40.8 39.4 11.3 1.4 100 신뢰할수있다 0.0 7.0 39.4 35.2 14.1 4.2 100 a: 전혀그렇지않다. b. 대체로그렇지않다 c. 보통이다 d. 대체로그렇다 e. 매우그렇다 f. 모르겠다. g : 합계 < 표 32> 이용자만족도의종합만족도구성요소와종합만족도점수 속성항목상관계수상관계수의제곱 통계생산과정 활용편리성 내용충실성 항목중요도 속성별만족도 종합만족도 명확하게모집단이정의되어있다. 0.141 0.020 0.018 3.606 0.065 조사대상이조사목적에맞게정확히정의되어있다 0.137 0.019 0.017 3.732 0.064 적절한시기에공표되고있다 0.369 0.136 0.125 3.366 0.421 예고된일정에맞춰공표되고있다 0.334 0.111 0.102 3.549 0.362 제공방법 / 보고서형식등은필요한통계자료를얻는데편리하다. 0.443 0.196 0.180 3.437 0.619 시계열비교가편리하다 0.233 0.054 0.050 3.493 0.174 외국과의비교가편리하다 0.054 0.003 0.003 3.225 0.009 유의사항 / 관련개념 / 용어정의가잘되어있다 0.175 0.031 0.028 3.239 0.091 알고자하는정보를충분히제공하고있다 0.368 0.136 0.124 3.282 0.408 다양한내용이수록되어있다. 0.345 0.119 0.109 3.239 0.354 정확하다 0.332 0.110 0.101 3.592 0.363 신뢰할수있다 0.393 0.155 0.142 3.690 0.524 합 계 3.325 1.091 1.000 3.352 3.455-53 -
위와같은항목만족도와중요도를활용하여포트폴리오 (Portfolio) 분석을실시하였다. 포트폴리오분석은 12개항목을속성별항목만족도와중요도를순서쌍으로배열하여 (X, Y) 좌표평면에표하신포트폴리오매트릭스 (Portfolio Matrix) 를이용하여 12개항목을만족도 (Y축) 평균과중요도 (X 축 ) 평균을중심으로나눈 4개의영역에나타낸다. 이위치가어느영역에있느냐를기준으로긴급히개선해야할항목, 점차개선해야할항목, 차별화하거나권장해야할항목등으로분류하게되는데, 포트폴리오매트릭스의 4개영역은다음과같다. 1차개선영역 : 중요도는높으나만족도가낮은항목 2차개선영역 : 중요도가낮고만족도도낮은항목 차별화영역 : 중요도는낮으나만족도는높은항목 권장영역 : 중요도도높고만족도도높은영역 다음의포트폴리오분석결과표를보면, 먼저 1차개선영역이무엇인지를알수있다. 알고자하는정보를충분히제공하고있다 와 다양한내용이수록되어있다 는항목은그높은중요도에비해서만족도가낮게나타나서, 개선이시급한영역으로선정되었다. 2차개선영역은외국과의비교용이성및유의사항 / 관련개념 / 용어정의로서, 중요도와만족도가모두낮게나타났다. 중요도는낮으나만족도가높은영역은차별화영역으로분류되는데, 이에속한항목은모집단정의, 조사대상의정의, 시계열비교의편리성이었다. 마지막으로중요도도높고, 만족도도높은권장영역으로선정된항목을살펴보면, 공표시기, 일정에맞춘공표, 제공방법 / 보고서형식의편리성, 정보의정확성, 신뢰성이었다. - 54 -
< 표 33> 포트폴리오분석결과 속성항목중요도만족도영역 통계생산과정 활용편리성 내용충실성 명확하게모집단이정의되어있다. 낮음높음차별화영역 조사대상이조사목적에맞게정확히정의되어있다 낮음 높음 차별화영역 적절한시기에공표되고있다 높음 높음 권장영역 예고된일정에맞춰공표되고있다 높음 높음 권장영역 제공방법 / 보고서형식등은필요한통계자료를얻는데편리하다. 높음 높음 권장영역 시계열비교가편리하다 낮음 높음 차별화영역 외국과의비교가편리하다낮음낮음 유의사항 / 관련개념 / 용어정의가잘되어있다알고자하는정보를충분히제공하고있다 낮음 높음 낮음 낮음 다양한내용이수록되어있다. 높음낮음 2차개선영역 2차개선영역 1차개선영역 1차개선영역 정확하다높음높음권장영역 신뢰할수있다높음높음권장영역 - 55 -
(4) 문제점 통계자료의문제점으로제일많이지적된것은추가정보를얻는방법에 대한정보가부족하다는것이었다 (52.7%). 다음으로 39% 의응답자가조사 후발표까지시간이오래걸린다고지적하였으며, 35% 의응답자가인터넷, 홈페이지에있는자료를찾아보기불편하다고지적하였다. 이외에보고서편집이나형식의문제점, 용어의설명, 이용시유의사항, 제공시기, 원시자료이용의불편함, 자료수집시기의부적절성등이지적되었다. < 표 34> 통계자료의문제점 ( 중복응답 ) 통계자료의문제점 빈도 (%) 제공하는정보가정확하지않음 9 12.2 자료수집시기가적절하지않음 10 13.5 제공시기가적절하지않음 13 17.6 조사후발표까지시간이많이걸림 29 39.2 추가정보를얻는방법에대한정보부족함 39 52.7 인터넷, 홈페이지에있는자료를찾아보기불편함 26 35.1 보고서편집및형식이보기에불편함 16 21.6 용어의설명, 이용시유의사항등이불편함 14 18.9 원시자료이용시불편함 10 13.5 기타 2 2.7 계 168 227-56 -
(5) 전문가추가항목 전문가의비율은전체 75 명의 32%(24 명 ) 이었다. < 표 35> 본통계에대한전문가여부 사례 ( 명 ) 퍼센트 (%) 그렇다 24 32.0 아니다 51 68.0 계 75 100 전문가들이과반수이상적절하다는평가를내린항목은통계적개념의일 관성, 조사항목선정, 조사표설계, 통계조사준비과정의체계성, 외국자료와 의비교평가이었다. 이에반해서부정적평가가과반수를넘은항목은작성 주기의적정성, 통계자료의홍보전략, 통계자료홈페이지이용편리성이었다. < 표 36> 전문가설문응답결과 ( 단위 : 명, %,n=24) 항목작성주기의적정성여부통계적개념의일관성평가조사항목선정에대한평가조사표설계에대한평가통계자료의홍보전략에대한평가통계조사준비과정에서의체계성평가통계자료홈페이지이용편리성평가외국자료와의비교평가 적절 ( 편리 ) 하다 7 (29.2) 21 (87.5) 21 (87.5) 18 (75.0) 7 (29.2) 18 (75.0) 8 (33.3) 12 (50.0) 적절 ( 편리 ) 하지않다 17 (70.8) 2 (8.3) 2 (8.3) 4 (16.7) 14 (58.3) 3 (12.5) 12 (50.0) 5 (20.8) 모르겠다 0 (0.0) 1 (4.2) 1 (4.2) 2 (8.3) 3 (12.5) 3 (12.5) 4 (16.7) 7 (29.2) - 57 -
(6) 건의사항 조사대상자들이건의하는의견은조사방법, 자료수집의, 보고서, 원시자료 와홍보의 5 가지로분류하여제시하겠다. ( 가 ) 조사방법조사주기를 2년으로짧게자주해야한다는의견이많았다. 그리고조사대상이 1개월 ( 퇴원환자조사 ) 과 1일 ( 외래환자 ) 에국한되어대표성에문제가있다는지적이있었다. ( 나 ) 자료수집의정확성의무기록의기재내용이명확하게하기힘든것들이있다는의견이있었는데, 보다명확한지침이마련되어야하겠다. 조사시기가미리예고되지않고, 조사시점에임박해서일선기관에통보되고, 이에따라서교육일정등이제대로전달되지않는경우가있다고지적하였다. 조사시기나교육일정에대해서는미리통보할필요가있겠다. ( 다 ) 보고서보고서에보다다양한정보를제공해주었으면하는의견이다수제시되었다. 소규모지역별자료를제공해주면좋겠다는의견, 통계분석결과제시방식을더다양하게해주면좋겠다는의견과보고서에외국과의비교내용이담겨있으면좋겠다는의견이제시되었다. 홈페이지의도표이용을편리하게할수있도록해주면좋겠다는지적도있었다. - 58 -
( 라 ) 원시자료제공원시자료와관련해서도여러의견이제시되었다. 먼저원시자료의제공이보다원활하고신속하게이루어져야하겠다는의견이있었다. 병원별환자수, 상병등병원별정보를원시자료로제공해주면좋겠다는제안도있었다. ( 마 ) 홍보 주위에아직도이자료에대해서모르는사람들이많다고지적하면서, 보 다적극적으로통계자료에대한홍보를해야한다는의견들이많았다. - 59 -
6. 품질개선노력평가 통계품질의질제고를위한부문별다양한노력이이루어졌다. 먼저통계작성환경개선을위해서, 온라인카페를개설해서교육을실시하기시작했다고하였다. 그런데이러한노력에도불구하고, 아직이런카페를알지못하는곳도있었다. 좋은의도로카페를만들어도, 홍보가제대로되어있지않으면아무의미가없는것이다. 따라서만들어진카페의활성화전략과구체적인방안이마련되어야하겠다. 통계작성절차와관련해서표본추출및설계에대한계획을수립하였고, 조사기준일현재개설중인의료기관과이용환자현황을파악하려는노력을하였다. 전수조사지역외의전국의모집단기관에서일반의원은진료과목, 지역별로, 치과의원, 한의원은시도별추출률을다르게하여표본추출을시도하려고하는데, 이에대한보다명확하고구체적인근거제시가되어야할것이다. 자료수집의정확성을높이기위해서, 의료기관의장이나의무기록실장이작성토록독려한다고하는데, 이는현실을무시한계획이란생각이든다. 현실적으로조사표작성은일개의무기록직원이수행하게되지, 몇일씩걸리는자료수집정리의작업을기관의장이나실장이하지는않을것이다. 이보다는조사비용의현실화가더시급하다고하겠다. 공표자료의충실성과관련해서, 2005년도부터사전공표예고제를실시하고, 공표자료의홈페이지공개를계획하고있다. 통계자료의이용욕구가높아지는상황에서, 홈페이지의적극적활용을모색하는것은바람직하다고하겠다. 자료공개의채널다양화에대한의견들도있으니, 보다다양한채널을확보하는노력이따라야할것이다. - 60 -
통계이용자의만족도제고를위해서, 이용자조사를한다고하였는데, 수시로이용자의의견을수렴하여반영하는노력이필요하다. 이를위해서인터넷을통한상시의견수렴의장을마련하는것도고려해볼만하다고본다. 현재의제한된예산하에서, 나름대로절차별개선노력을하고있다고본다. 그러나현장에서의다양한문제제기가이루어지고있으니, 이를수시로반영하는지속적인노력이필요하다고하겠다. - 61 -
< 표 37> 통계품질개선노력실적표구분계획실적기대효과 보건소및온라인카 병원의작성담당자통계작성의타당성페개설등을통해병원통계작성환경교육실시및표본조사계획수작성담당자교육실시 예산설정립의적절성수립 계획된예산사용 조사기준일현재개설중인의료기관및이 조사기준일현재개들기관을이용한환자설중인의료기관및이현황파악통계작성절차의들기관을이용한환자 전수조사외의전국 조사의품질제고적합성파악예정의모집단기관에서일 표본추출및설계에반의원은진료과목, 지대한계획수립역별로, 치과의원, 한의원은시도별추출율을다르게하여표본추출 각협회및공단, 보 의료기관의장또는사연의협조를통해교자료수집의 조사내용의정확의무기록실장이직접육및의료기관의장및정확성성제고작성하도록독려의무기록사 ( 실장 ) 등이작성하도록함 2005년도부터사전공 2005년도부터사전공표예고제를실시, 완료후공표자료의표예고제를실시 계획 공표일의사전예공표충실성 공표자료의홈페이지고및준수 공표자료의홈페이지공개실시공개실시 이용활성화및개통계이용자 통계고객만족도제 통계고객만족도조선방안마련 ( 정기적인만족도고를위한계획수립사결과분석자료업데이트등 ) - 62 -
제 3 절 < 환자조사 > 통계품질진단결과종합 1. 진단결과요약 ( 현황 ) 진단의목적은환자조사통계에대해전반적인품질상태를진단하고, 보건분야국가통계에대한신뢰성을제고할수있는방안을제시하는데있다. 통계품질진단은통계작성환경, 통계작성절차의적합성, 자료수집의정확성, 공표자료의충실성, 통계이용자만족, 통계품질개선노력등의부문으로나뉘어서진행되었다. 통계품질은정확성, 시의성 / 정시성, 관련성, 접근성 / 편의성, 비교성 / 일관성, 서비스성 / 해석성, 효율성등의 7가지품질차원으로나누어접근하였다. 통계작성환경평가를통해서, 인력부족과예산부족의문제점을파악하였다. 통계작성절차의적합성에대한평가는자체평가, 외부평가와본연구책임자의통계담당자면담의세가지방법을통해서이루어졌다. 분석결과, 자체평가와외부평가의괴리를발견할수있었다. 외부평가는전반적으로우수하다는평가를하기했지만, 자체평가의매우우수하다는평가와는차이를보였다. 외부평가에서는특히 자료수집의 와 자료이용 에대해서각각 매우미흡 과 보통 의평가가내려졌다. 현장에서의어려움에대한고려가기획차원에서제대로안되고있다는지적이많았다. 자료이용과관련해서도, 자료의공표시기나방법에대한불만이있었다. 통계작성절차상, 방법론적인측면에서중요하게문제제기된것은조사주기와조사대상범위이었다. 조사주기는 3년은길고, 2년으로줄여야한다는의견이많았고, 조사대상범위는계절성의문제를극복하는방안이제시되어야한다는의견이지배적이었다. - 63 -
자료수집의정확성과관련해서는의료기관간작성능력의차이에대한문제제기가있었다. 의무기록사를두지않아도되는소규모의료기관의경우, 정확한조사표작성에어려움이있을수있다는의견이제시되었다. 따라서현장의조사표작성현황에대한실태조사의필요성이대두되었다. 또한사전교육이피상적이어서, 아직도용어의의미해석에어려움이있었다. 따라서사전교육을구체적인사례중심으로교육내용과방식을전환해야한다는지적이있었다. 조사비도현실적인업무량을제대로반영하지않아서, 정확한조사참여에장애가되는것으로드러났다. 조사양식제출도좀더편리한방안이마련되어야한다는요구도있었다. 공표자료의충실성평가에서도수치값오류나중요한내용의누락과같은문제점이발견되었다. 국가통계자료에서용납될수없는수치값오류의문제는심각하다고판단된다. 따라서이러한오류를근본적으로없앨보다철저한검증체계가구축되어야할것이다. 이를위해서, 먼저현재의공표과정에대한철저한분석이있어야하겠다. 통계이용자만족도조사결과, 전반적으로만족하는비율은 42% 정도이었다. 생산과정, 활용편리성, 내용충실성의속성별만족도를분석한결과, 모집단이나조사대상정의의정확성, 내용의정확도등에서는만족의수준이높았다. 그러나공표시기나외국과의비교가능성, 제공방법 / 보고서형식등 에서는만족수준이상대적으로낮게나타났다. 포트폴리오분석결과, 1 차 개선영역으로정보의충분한제공, 다양한내용수록이선택되었고, 2차개선영역으로외국과의비교편리성이선택되었다. 통계품질개선노력의평가결과, 현재의제한된예산하에서, 나름대로절차별개선노력을하고있다고평가할수있다. 그러나일부의개선노력은그실효성에의문이가는것들도있다. 보다현실성있는개선노력을위해서는예산의뒷받침이필수적이라판단된다. - 64 -
결론적으로, 환자조사에대한전반적인재개편이필요하다고하겠다. 2. 문제점 부문별문제점을정리하면다음과같다. 가. 통계작성환경의문제점 통계작성환경의문제는조직관리의문제점과자원의문제점으로나누어서 논하겠다. (1) 조직관리의문제점통계품질에대해서조직의리더가품질을높이고자하는비전과가치관을제시하고는있으나, 이러한비전이시스템화되고개선이지속적으로이루어지는측면은다소미흡하다고하겠다. 특히, 품질관리비전이행을위한방침과전략전개의합리성이나적절한시스템에의한실행계획의타당성에있어서는문제가있는것으로지적되었다. (2) 자원의문제점인력도부족하고, 예산도부족한상황이다. 통계담당인원은 5인인데, 팀장을제외하면결국 4인이 45가지의통계를담당하고있는실정이다. 농림부같은경우, 지역사무소에조사원이있으나, 보건복지부의경우는지역사무소도없고, 시군구에부탁해서자료수집이이루어지는실정이다. - 65 -
나. 통계작성절차의문제점 통계작성절차의적합성에대한평가는자체평가와외부평가그리고연구진에의한통계담당자방문면담의세가지방식으로이루어졌다. 그런데종합적으로비교분석한결과, 자체평가와외부평가간에무시못할괴리가존재하고있었다. 자체평가는만점에가깝게후한반면에, 외부평가는물론긍정적인평가이기는하지만점수에차이가있었다. 통계자료수집과관련된방법론적인부분에대한평가가자료이용측면, 즉활용과관련한평가에비해서는자체평가, 외부평가, 이용자만족도조사에서상대적으로높게나타났다. 그러나방법론측면에서도전면재검토의필요성이제시될만큼여러문제점이지적되었다. (1) 빈약한통계내용현재의의료기관과환자에대한정보는의료서비스현황을이해하는데극히일부의정보만을담고있다. 미국의 Dartmouth 의과대학의경우, Health Atlas를통해서질병과의료자원의지역적분포를보여주는지리정보시스템을구축하여, 매년업데이트된자료를생성해내고있다. (2) 조사주기환자조사는국민의질병상태와의료기관이용실태에대한정보를제공해주는중요한자료이다. 그런데조사주기가 3년으로너무길어서, 빠르게변해가는실태파악에는한계가있다. - 66 -
(3) 모집단및표본설계 조사대상이퇴원환자 1개월, 외래환자 1일로극히제한된범위에서조사가이루어지고있다. 따라서질병의계절성에대한고려가결여되어있다. 모집단은명확히설정되어있으나, 표본설계에대해서는보다구체적인논리적근거를갖고있어야하겠다. 표본추출율의차이에대한명확한근거제시가부족하다. (4) 조사표설계 조사표의용어와관련해서현장에서아직도혼란이있다. 이는조사표가작 성자들과제대로교류하면서만들어지지않았음을시사한다. (5) 자료공표공표일의사전예고나결과의공표시점등에대한불만수준이높았다. 또한조사결과를공표하는매체를보다다양화해서자료에의접근성을높일필요성이제기되었다. 다. 자료수집의문제점 자료수집의문제점은보고양식작성절차와제출절차의두가지로나누어서 논의하겠다. - 67 -
(1) 보고양식작성절차의문제점 ( 가 ) 가이드라인의미비 해당외국인 ( 한국주소모를때 ) 주소불명 인경우의해당코드가없고, 처리방법에대한설명이없다. 종합검진을받은경우에어떻게처리해야하는지에대한가이드라인이없다. 2005년도조사부터새로추가된부수술항목에대한정확한정의와내용설명이미흡하다. 외래환자건수가진료건수를의미하는지아니면수납건수를의미하는지가불명확하다. ( 나 ) 현장자료의부실 : 상해원인코드상해원인코드관련해서제일많은문제제기가되었다. 손상의경우 (S code, T code) 에외인 code를반드시부여하라고되어있으나, 의사들이그러한기록을하지않아일일이챠트확인하고수작업으로보충하고있는상황이다. 상해원인코드를외래진료과에서입력하지않으므로, 상해환자코드발생에관한외래진료부서의교육과업무협조가필요한상황이다. 그런데현실적으로협조받기가쉽지않으므로, 의무기록실에서누락된환자를검색하여, 수작업으로추가입력해야하기에, 업무량이늘어난다. 이과정에서정확성에문제가발생할여지가있다. - 68 -
( 다 ) 병원간작성능력의차이종합병원이상에서는질병, 수술분류에대한전문가인의무기록사가조사서를작성할것이라고기대되나, 의무기록사에대한의무사항이없는의원, 보건소, 보건의료원등의소규모의료기관에서작성되는자료의정확성에는문제가있을수있다. 해당의료기관의의료진이작성한환자자료에서는비전문가가추출하여작성하기불가능한항목들이있다. 예를들어, 손상의원인에대한내용은전문가인의무기록사가직접확인하지않고는작성이힘들다. 따라서소규모의료기관에서작성된자료의정확성에대한비교평가가이루어져야하겠다. ( 라 ) 조사비조사표작성의업무량에비해서조사비가너무낮게책정되어있는것도자료수집과정의질확보에장애요소가된다. 의무기록사가 1주일내외의시간을소비해야하는일에대한보상이적절하게이루어지지않고는, 성실한자료수집을요구하는데한계가있다. ( 마 ) 사전교육의미비조사표항목이어렵다는의견이상당수개진되었다. 구체적인예로부수술이나외래환자건수에대한정의가불명확하다는의견들이있었다. 이는사전교육이철저하게준비되지못했음을시사한다. ( 바 ) 요구사항간소화의노력부재조사표작성과관련해서제일많은지적이되었던사안이우편번호에대한것이었다. 보건복지부에서요구하는주소번호와현재병원의 DB에있는우편번호체계가다른데, 이를요구하는대로전환시켜서제출하라는것은문제가있다고본다. 보건복지부가취합후자체적으로해야할일을일선의 - 69 -
료기관에전가하는것으로보여진다. (2) 보고양식제출절차의문제점보고양식을보건소에직접방문해서제출해야하는절차에대한불만이많았다. 또한문의시담당자가성심껏답변해주지않았다는의견도있어서, 보다성실한답변자세가필요하다고하겠다. 라. 공표자료의문제점 (1) 수치값오류주로수치값오류와같은수치자료상의문제가많이발생한것으로드러났다. 통계자료는수치가생명인데, 다수의수치값오류가발생했다는것은국가통계자료로서문제가심각하다고하겠다. (2) 누락자료 조사날짜나단위와같은누락사례가발견되었다. 마. 이용자시각에서본문제점 (1) 생산과정의문제 : 공표시기의문제 만족도의세가지속성별분석에서, 공표시기에문제가있음이드러났다. 통 계가적절한시기에공표된다는항목과예고된일정에맞춰 공표되고있다 는항목에대한불만족비율이 20% 대로다른항목에비 해서상대적으로높게나타났다. - 70 -
(2) 활용편리성의문제 1 외국자료와의비교시불편함 29.5% 의응답자가외국자료와비교하는데불편하다는의견을보였다. 현재 의통계자료에는외국과의비교자료가거의없는실정이다. 2 제공방법 / 보고서형식편리성부족자료를제공하는채널과관련해서, 불만이제기되었다. 인터넷, 홈페이지에있는자료를찾아보기불편하다는지적들이있었다. 또한원시자료에대한접근의어려움을지적하였다. (3) 내용충실성의문제 : 정보의다양성부족 이용자조사에서응답자의 23.9% 가정보가다양하지않다고답하였다. 정책 에도움이될만한보다다양한정보가조사될필요가있다. 바. 품질개선노력의문제점 현재의제한된예산하에서, 나름대로절차별개선노력을하고있다고본다. 그러나일부의개선노력은그실효성에의문이가는것들도있다. 예를들어, 현장에서의자료수집의정확성을높이기위해서, 의료기관의장이나의무기록실장이작성토록독려한다고하는데, 이는현실을무시한계획이란생각이든다. 조사표작성이중요하고전문적인작업이요구된다지만현실적인조사비도제공안하면서, 기관의장이나실장수준에서작성토록독려한다고그렇게실행되기어렵다. 차라리, 조사비용을현실화하고, 사전교육을철저히하는것이더현실적이란판단이다. - 71 -
3. 개선방안 부문별개선방안을정리하면다음과같다. 가. 통계작성환경개선방안 통계품질향상이란비전을실현시킬수있는제반여건을향상하는데주력해야할 것이다. 이를위해서는, 다음과같은세가지노력이필요하겠다. (1) 담당자의역량강화통계담당자의역량을강화하기위해서, 다음과같이구체적인노력이이루어져야하겠다. 1 담당직원의지속적인능력향상을위해체계적인교육프로그램의프로토콜이마련되고, 이에준해서장기적인교육이이루어져야하겠다. 2 통계담당직원의동기부여를위해서, 국 내외워크샵등의참여기회를제공하고, 참여를유도해야한다. (2) 인력확보 담당직원의업무량이과다하여, 통계품질업무에전념하는데애로가있으므 로, 인적자원의추가적인확보가되어야하겠다. (3) 예산증액 통계조사관련예산이증액되어야하겠다. 상당부분의문제는조사예산부 족에기인한것으로볼수있기에, 예산확보가충분히이루어질필요가있다. - 72 -
나. 통계작성절차의적합성개선방안 (1) 통계내용의확대현재의의료기관과환자및질병에대한단순한수치제시에서탈피하여, 정책결정과의료비즈니스에도움이될수있는보다역동적인정보가제공되어야할것이다. 미국의 NCVHS(National Committee on Vital and Health Statistics), 질병관리청 (The Center for Disease Control and Prevention's National Center for Health Statistics), DHHS(Department of Health Human Services) 는 2002년도에 Shaping a Health Statistics Vision for the 21st Century 라는보고서를통해서보건통계가지향해야할방향을제시하였다. 이보고서에서는질병에대한통계는우리에게제한적인정보를주기에, 이의관련요소, 즉지역사회나개인적요소들과연계된정보를제공할수있어야한다고주장하였다. 미국 Dartmouth 의과대학에서주도하여만든, 보건의료지도 (Atlas of Health Care) 는세세하게지역별의료자원과질병의분포를보여줌으로써, 의료자원의수요와공급에대해서분석할수있는도구와정보를제공해준다 ( 그림 2 참조 ). 정책결정자입장에서는의료자원의수요와공급에대한지리학적정보에준하여자원의지리적편중현상을분석하여정책에반영할수있는장점이있다. 또한의료비즈니스분야에서도, 지리적인의료수요를파악하고, 공급이부족한지역을파악하여, 비즈니스전략을수립하는데도움을얻을수있다. 이러한지리정보시스템은의료자원에대한단순한수치를제공하는데서그치지않고, 이를지리정보와결합함으로써보다고차원의역동적인정보를제공하는것이다. 이런것이바로, 21세기보건의료분야의통계정보가제공해주어야할방향이라고생각한다. - 73 -
( 그림 2) 의료자원과질병의지리적분포 (2) 조사주기의단축 조사주기를 2 년으로짧게해서, 변화하는의료기관이나환자에대한실태 파악이좀더용이하도록해야할것이다. (3) 조사대상범위확대조사대상이 1개월 ( 퇴원환자조사 ) 과 1일 ( 외래환자 ) 에국한되어대표성에문제가있다. 현재계절성문제에대한용역연구진행중인데, 이에대한결과가 8월에나오면, 계절성을고려한자료수집이어떻게이루어져야할지에대한새로운기획이되어야할것이다. - 74 -
(4) 보건통계용어집발간조사표의용어와관련해서현장에서아직도혼란이있다. 이는용어정의사전집제작및배포의필요성을시사한다. 호주의경우, 호주보건통계용어사전집을매년개정하여제공하고있는데, 우리나라도빠른시일안에용어정의사전집을마련할필요가있다. (5) 자료공표조사결과를공표하는매체를보다다양화해서자료에의접근성을높일필요성이있다. 또한원시자료에대한활용요구도많은데, 원시자료나신청방법을홈페이지에올리는방안도모색해볼필요가있다. - 75 -
다. 자료수집의정확성개선방안 국가정책의기초자료로서의역할을수행하기위해서는정확도가생명이다. 정확한자료수집은해당의료기관과의협조및작성자의능력에달려있다. 자료수집과정에서의료기관의협조가절대적으로중요하기에, 의료기관의적극적참여를유도할방안을모색해야한다. (1) 보고양식작성절차의개선 ( 가 ) 가이드라인 앞의문제점에서지적된부분들에대해서구체적인설명이제시되어야하 겠고, 교육시명확히전달되어야하겠다. ( 나 ) 의료기관의조사표작성과정에대한실태조사보건소를통해서해당의료기관에조사지가배포되고, 수집되기에, 의료기관의참여의지와정확한작성능력이요구된다. 따라서의료기관에서조사표가작성되는과정과구조에초점을맞춘실태조사가이루어져야할것이다. 이조사의목적은두가지이다. 하나는조사과정에내재된문제점을파악하는것이다. 조사표작성의책임자는누구인지, 어떻게작업이분담되는지, 전산시스템을이용해서자료수집이되는지, 외래와의협조체계는어떤지, 의사가전산에입력하는내용에문제는없는지등에대한포괄적이고체계적인평가가필요하다. - 76 -
두번째목적은병의원간의수준차이를조사하는것이다. 의무기록사에대한의무사항이없는의원, 보건소, 보건의료원등의소규모의료기관에서조사표가과연정확하게작성될지에대해서종합병원과비교평가가이루어져야할것이다. 만일의료기관조사표작성수준의차이가존재한다면, 소규모의료기관의전산시스템의문제인지의무기록사와같은전문가부재때문인지등에대한보다세세한연구가이루어져야할것이다. 이러한조사결과에준해서, 소규모의료기관의조사표작성수준을높이는구체적인조치가이루어져야할것이다. ( 다 ) 조사비의현실화 병원의자료수집및보고책임자에대한인건비를현실화해서, 노력에대 한적절한보상이이루어지도록해야하겠다. ( 라 ) 사전교육의내실화사전교육과관련해서는교육방식의전환이요구된다. 보다구체적인사례중심으로교육프로그램을개발해야할것이다. 또한이러한교육내용을 PPT나동영상등의다양한매체로개발해서온라인을통해서도제공해야할것이다. 교육일정에대해서임박해서하지말고미리통보할필요가있겠다. ( 마 ) 요구사항의간소화병원의자료수집및보고업무를줄여줄방안을모색해야하겠다. 예를들어, 병원의 DB상에있는환자의거주지정보, 즉우편번호를환자조사에서요구하는거주지번호로전환토록모든병원에요구할것이아니고, 병원의우편번호자료를받아서, 거주지번호로전환하는작업은보건복지부에서하는것이바람직하겠다. 이를위해서는, 전환프로그램을개발하면된다. - 77 -
(2) 보고양식제출절차의간소화보고양식을제출하는방법을직접제출로만국한하지말고다양화할필요가있다. 이것이야말로행정편의주의적조치로서, 개선되어야할것이다. 예를들어, 온라인카페를개설해서, 그곳에올리도록하고, 확실히검증하는절차만두는것도하나의대안이될수있으리라본다. - 78 -
라. 공표자료의충실성개선방안 (1) 오류 / 누락방지를위한점검체계확립수치값의오류나누락등은국가통계자료에서는절대로있어서는안된다. 따라서이런실수를확실히방지할점검체계를구축해야할것이다. 이를위해서, 먼저현재의자료공표과정에대한보다세밀한평가작업이이루어져서, 구체적인원인규명이되어야할것이다. 그리고이결과에준해서구체적인방안이모색되어야할것이다. (2) 공표내용의다양화공표되는자료에보다다양한정보를수록하도록해야할것이다. 예를들어, 소규모지역별자료나외국과의비교내용을제공하던지, 통계분석결과의제시방식을더다양하게하는것도고려해볼수있다. OECD 국가와의비교자료를추가하는것은국제화추세에비추어봐서당연히포함되어야할것으로보인다. - 79 -
마. 이용자만족도제고개선방안 (1) 생산과정의개선자료가예고된일정에맞춰공표될수있도록해야할것이다. 이를위해서는, 현재공표시기의문제가발생하는원인을규명하는작업이선행되어야한다. (2) 활용편리성의개선 1 외국자료와의비교보건의료분야의통계자료도단순히국내의통계수치를제공하는데서더나아가국제적인비교정보를제공하는수준까지발전해야할필요가있다. 예를들어, OECD국가의상응하는통계수치를제공하는것도이용자들에게도움이될것이다. 2 제공방법 / 보고서형식편리성 인터넷, 홈페이지에있는자료를찾아보기쉽게, 가시성을높이는작업을 해야할것이다. 결과보고서에접근할수있는채널을다양화하고, 이다양 한채널을적극홍보해야한다. 인터넷뿐만아니라, CD 의제작과배포등 다양한매체를활용할필요가있다. 3 원시자료제공이용자들이직접원시자료를이용할수있게끔, 홈페이지를통해서접근할수있게해주는방안도모색할필요가있다. 이는이자료의활용도를높인다는측면에서중요하다. - 80 -
4 통계자료홍보통계자료의사회적가시성을높이고, 그활용도를높이기위해서는보다적극적으로통계자료에대한홍보를해야한다. 또한이용자를찾아가는노력도필요하다. 즉각종보건관련학회행사등에보건통계자료에대한홍보포스터나팜플렛을배포하는것도고려해볼만하다. (3) 내용충실성의개선 1 정보의입체화와다양성확보통계작성절차의적합성개선방안으로제시한통계내용의확대에서이미주장한내용과같다. 예를들어, 의료자원과질병에대한정보를좀더입체적으로지리정보화하여이용토록하는방안도모색할수있을것이다. 즉기존의의료자원과질병에대한분포정보를지도상에보여줌으로써, 지역별의료자원의수요와공급을분석할수있는도구와정보를제공해주는것이다. - 81 -
바. 품질개선노력향상방안 (1) 예산지원확대통계품질개선실적표는지속적으로개선안을유도하는기능을한다고본다. 개선실적표작성을위해서는, 절차별로계속안을만들고실행에옮길수밖에없기때문이다. 그런데보다실효성있는품질개선안을유도해내기위해서는결국예산지원이필수요건이다. 예산지원없이, 통계품질개선노력은한계를가질수밖에없다. (2) 직원능력제고예산지원에이어서직원능력제고방안이마련되어야할것이다. 체계적인분석능력과창의력을갖춘인재가되도록지속적인교육프로그램이제시되어야하겠다. (3) 현장의피드백시스템통계담당직원이현장의목소리를경청할수있는자리가자주마련되어서현장의피드백을수시로받을수있어야한다. 조사표를작성하는일선의료기관의직원이나의무기록협회, 그리고조사자료이용자들과의만남의자리가공식적으로마련되어야할것이다. - 82 -
4. 결론 환자조사통계품질진단결과, 전반적인재조정의필요성이부각되었다. 이연구는통계작성환경에서부터품질개선노력의 6 부분에걸쳐서문제점과개선점을지적하였는데, 요약해서보면크게세가지부분에서근본적인재검토와수정작업이필요하다고볼수있다. 첫째, 조사의전반적기획과집행과관련한행정부서가안고있는한계를극복하는일이급선무라고할수있다. 예산과인력이부족하기에, 앞에서지적한문제를세세하게파악하여, 지속적으로개선하는데어려움을겪고있다. 결국이는통계의품질을확보하는데근본적한계를갖게한다. 따라서조사가할당된예산에맞추어서이루어지지않고, 또한병원담당자들의일방적희생 ( 실비이하의비용 ) 을강요하지않도록예산가확보되어야할것이다. 둘째, 수집된자료의충실성에근본적문제가있을수있는데, 이에대한충분한검토가되어서, 자료수집의방법에수정이되어야할것이다. 현재는현장의실태가충분히자료의수집과관련한기획에반영되어있지않다고판단된다. 현장에대한구체적인이해에준하여, 자료수집의과정이재조정되어야할것이다. 의무기록사에대한의무사항이없는의원, 보건소, 보건의료원등의소규모의료기관에서과연종합병원급의의무기록자료입력및관리시스템이되어있을지의문이간다. 예를들어, 입력과관련해서, 상해코드입력은의사의협조가절대적으로필요한데, 많은병원에서의사가제대로코드입력을하고있지않다. - 83 -
이는의무기록사의추가적인작업을요구하는데, 과연모든병원에서이런추가적인작업이이루어지고있는지불확실하다. 따라서의료기관에서조사표가작성되는과정과구조에초점을맞춘실태조사가이루어져야할것이다. 이조사의목적은두가지이다. 하나는조사과정에내재된문제점을파악하는것이다. 조사표작성의책임자는누구인지, 어떻게작업이분담되는지, 전산시스템을이용해서자료수집이되는지, 외래와의협조체계는어떤지, 의사가전산에입력하는내용에문제는없는지등에대한포괄적이고체계적인평가가필요하다. 두번째목적은병의원간의수준차이를조사하는것이다. 또한자료수집과정의질제고를위해서, 병원담당자에대한조사비를현실화하고자료수집과정상의업무부담을줄이도록해야한다. 일주일에가까운노동력이투입되어야하는데, 5만원내외의비용을지불하는것은자료수집에성실한참여를이끌어내는데한계가있다. 그리고병원의 DB상에있는환자의거주지정보, 즉우편번호를환자조사에서요구하는거주지번호로전환토록모든병원에요구할것이아니고, 병원의우편번호자료를받아서, 거주지번호로전환하는작업은보건복지부에서하는것이바람직하겠다. 이를위해서는, 전환프로그램을개발하면된다. 또한보고양식을제출하는방법을직접제출로만국한하지말고다양화하여, 부담을줄여줘야한다. 셋째, 수집된자료의제시와관련하여개선안이마련되어야할것이다. 개선안은자료내용의다양성과제시방법의다양성에초점을맞추어야할것이다. 먼저자료내용의다양성과관련해서는, 통계자료가단순히국내의통계수치를제공하는데서더나아가국제적인비교정보를제공하는수준까지발전해야할필요가있다. 예를들어, OECD국가의상응하는통계수치를제공하는것도이용자들에게도움이될것이다. - 84 -