국가통계품질진단연구용역 국민보건의료 ( 자원 ) 실태조사 2008 년정기통계품질진단 연구용역최종결과보고서 2008. 10. 통계청
주의 1. 이보고서는통계청에서수행한국가통계품질진단연구 용역사업결과보고서입니다. 2. 이보고서에대한저작재산권일체와 2차적저작물또는편집저작물의작성권은통계청이소유하며, 통계청은정책상필요시보고서의내용을보완또는수정할수있습니다.
제출문 제출문 통계청장귀하 본보고서를 국민보건의료 ( 자원 ) 실태조사 연구용역과제의최종연구결과물로제출합니다. 2008 년 10 월 13 일 중소기업기술정보진흥원장이화여자대학교산학협력단장 박창교조지형 연구진 총괄연구책임 조성남교수 ( 이화여자대학교사회학과 ) 총괄연구부책임 김문선차장 ( 중소기업기술정보진흥원정보화사업부 ) 주제연구책임 강민아교수 ( 이화여자대학교행정학과 ) 종별연구책임 진기남교수 ( 연세대학교보건행정학과 ) 연 구 원천새롬 ( 중소기업기술정보진흥원디지털경영센터연구원 ) 이원희 ( 중소기업기술정보진흥원디지털경영센터연구원 ) 최영득 ( 중소기업기술정보진흥원디지털경영센터선임연구원 ) 연구보조원 박지은박사과정 ( 연세대학교보건행정학과 ) 작성자요약보고서진기남교수 ( 연세대학교보건행정학과 ) 본문검토자김문선 ( 중소기업기술정보진흥원정보화사업부차장 )
요약문 연구과제명 최종결과보고서요약문 국민보건의료 ( 자원 ) 실태조사 국가통계품질진단 주 제 어국가통계, 통계품질, 보건, 보건복지부, 국민보건의료 ( 자원 ) 실태조사, 조사통계 연구기관 중소기업기술정보진흥원이화여자대학교산학협력단 연구책임자 진기남 연구기간 2008. 3. 27 ~ 2008. 10. 23 진단의목적은국민보건의료 ( 자원 ) 실태조사통계에대해전반적인품질상태를진 단하고, 보건분야국가통계에대한신뢰성을제고할수있는방안을제시하는데 있다. 통계품질진단은품질관리기반진단, 이용자만족도및요구사항반영실태진단, 세부작성절차별오차관리체계진단, 수집자료의정확성진단, 통계자료서비스 진단등의부문으로나뉘어서진행되었다. 통계품질은관련성, 정확성, 시의성 / 정 시성, 비교성, 일관성, 접근성 / 명확성등의 6가지품질차원으로나누어접근하였다. 통계품질진단결과, 연구목적에맞는통계를생성하고있었다. 그러나자료 수집과정에서자료의정확성을떨어뜨릴수있는문제점들이발견되었고, 이용자 편의성을높일여지도드러났다. 이외에유사통계의문제점도있어서, 단기와중 장기로나누어개선해야할필요성이제기되었다. 현재단기간에가능한방안은먼저자료수집의정확성을높이는것이시급하 다. 이를위해서는조사표상에정의가불명확한항목들에대해서보다상세한 가이드라인이제시되어야하겠다. 또한현장조사에대한지도감독을더확실하게 해야한다. 중장기방안을제안하는가장큰이유는유사통계의문제이다. 지역보건의료 계획및정책에기초가되는의료자원에대한자료는심평원이나의협등의다양 한기관에서생성이되고있다. 이통계가정책의기초자료로다른통계보다더 우월하다는근거가미약하다. 이통계는심평원의조사지와유사한내용을가지 고조사가이루어지고있다. 심평원의경우, 급여지급과관련되어있기때문에병 의원이정확하게보고할동기가있지만, 이에비해서이통계조사에는그만한동 기가주어지지않는다. 자료의이용편리성을높이기위해, GIS를이용한입체 적인자료제시방법을개발해야할것이다. 또한보다다양한매체를이용해서 자료에의접근도를높여야한다. 이외에보고서에누락된정보를추가하는노력 이있어야할것이다. 다른활용가능한통계가있음에도 [ 보건의료기본법 ] 에서실태조사를규정하고 있기때문에조사를실시한다면, 이는예산낭비로비쳐질수있다. 따라서장기 적으로는 [ 보건의료기본법 ] 의개정을통해서, 유용성과상관없이자료가생성되는 것은지양되어야할것이다. 대체할수있는기존의자료가있다면, 이를활용함 으로써예산낭비를줄일수있을것이다.
요약보고서 통계품질요약보고서 1. 개요 2. 품질차원별요약 3. 통계작성방법에대한개요
통계품질요약보고서 1. 통계개요 이품질정보는통계청 (Korea National Statistical Office, 이하 KNSO) 이 국가통계품질개선의일환으로보건복지가족부에서작성하고있는통계 에대하여품질정보를작성 공개하는프로그램에의하여작성되었다. 국민보건의료 ( 자원 ) 실태조사 ( 승인번호 : 제11749호 ) 는조사주기가 5년인조사통계이다. 본통계는우리나라전국의보건의료기관을대상으로의사및기타인력현황, 각종보유장비현황, 일반사항, 약국장비및약사인력현황등에관한정보를제공한다. 보건의료자원 ( 인력, 시설, 장비 ) 의실태를파악하여관련정책수립및시행의기초자료로활용하고, OECD 등국제기구의통계자료로제시하고자하는것 이목적이다. 2001년 2월통계청으로부터승인을받았으며, 보건복지가족부보건의료정책실의료자원과에서담당하고있다. 통계작성체계는전국보건의료기관이보건의료자원조사관리시스템을통하여직접입력하고, 비전산화기관은보건소에서해당보건의료기관에직접조사표를발송하고수거하여입력한다. 한국보건사회연구원에서는자료를수집 처리하고분석하며, 보건복지가족부에서최종결과를공표한다. 본통계는 2006 년국민보건의료실태조사 에수록되었으며, 홈페이지 (http://hrsic.go.kr) 에서도자료가제공되고있다. - i -
2. 품질차원별요약 가. 관련성 (Relevance) 관련성은통계의범위와내용이이용자요구에부합하는정도를말한다. 이조사는 [ 보건의료기본법 ] 제 55 조조사목적에맞는통계자료로서, 관 련성이있다고본다. 나. 정확성 (Accuracy) 정확성은통계작성결과추정한값이 ( 미지의 ) 참값에근접하는정도를말한다. 즉전체모집단대신표본으로조사하는데따른오차와그외에무응답, 에디팅, 추정등과정별로발생하는오차와발생원인등에관한것을말한다. 조사서식에문제 ( 인력자원에대한정의문제 / 비급여서비스관련장비 보고누락 / 시설분류의애매성 ) 가있다. 조사과정의문제 ( 대리입력 ) 가있다. 다. 시의성및정시성 (Timeliness and Punctuality) 시의성은통계조사시점으로부터결과공표시점까지시간이경과된정도 를말한다. 정시성은실제공표시점이사전에공고한공표예정시점에부 - ii -
합하는정도를말한다. 조사주기가 5 년인데, 지역별보건의료계획과정책을수립하는데필요한 기초자료로서는시의성이떨어진다. 라. 비교성 (Comparability) 비교성은시간과공간적으로자료의비교가가능한정도로시기, 장소, 영역별 ( 산업 가구형태등 ) 로비교가능한정도를말한다. 시계열적자료의제시가안되어있다. 마. 일관성 (Coherence) 일관성은동일한사회현상에대해서로다른기초자료나작성기준으로 작성된통계자료들이얼마나유사한가의정도를말한다. 유사통계 ( 심평원자료, 민간기관의자료 ( 의협, 병협 )) 가많으며, 정확성 에대한비교평가가되지않았다. 바. 접근성및명확성 (Accessibility and Clarity) 접근성은이용자의통계자료접근의용이성정도를말한다. 명확성은 메타정보, 예시, 유의사항등자료에대한설명자료가충분한정도를말한다. 원자료가제공되고있지않아서, 이용자들이나름대로분석을할수가없다. - ii -
3. 통계작성방법에대한개요 가. 작성과정 ( 요약 ) 이통계를작성하는과정은 1 조사기획, 2 현장조사, 3 자료처리, 4 결 과분석및공표되는순서로요약할수있다. 조사기획 현장조사 자료처리 결과분석및공표 나. 작성과정개요 (1) 내용 국민보건의료 ( 자원 ) 실태조사 ( 승인번호 : 제 11749 호 ) 는병 의원, 약국, 보건 소등전국의보건의료기관을조사대상으로한다. 보건의료자원 ( 인력, 시설, 장비 ) 의실태를파악하여지역보건의료계획과 - iii -
보건관련정책수립및시행의기초자료로활용하고, OECD 등국제기구의보건자원관련통계자료로제시하고자하는것 이목적이다. 이통계자료는의사및기타인력현황, 각종보유장비현황, 일반사항, 약국장비및약사인력현황등에대한정보를포함하고있다. (2) 개념 보건의료기관 보건의료기관은졸별로병의원, 치과병의원, 한방병의원, 보건기관, 약 국, 기타로구분된다. 진료과 병의원에개설된전공과를의미하는데, 총 26 개로구분된다. 병상수 병상수는일반병상수, 신생아병상수, 격리병상수, 수술병상수, 응급병상 수, 재활병상수등으로구분된다. 보건의료인력 보건의료인력은일반의사, 치과의사, 한의사, 간호사, 간호조무사등의 25 개분야로나뉘어있다. 고가장비 고가장비는초음파영상진단기, 체외충격파쇄석기, 혈관조영장치, 디지철 - iv -
방사선촬영장치, SCAN 용 Gamma Camera 등의 15 기종으로구분되어 있다. - v -
참고문헌및관련웹사이트 American Hospital Association, Dartmouth Atlas of Health Care, 1999 http://www.cdc.gov/nchs/fastats/map_page.htm http://www. cdc.gov/ncipc/wisqars/ http://www.dartmouthatlas.org/index.shtm 보건복지부 한국보건사회연구원, 2006년국민보건의료실태조사 - 보건의료자원실태조사보고서 -, 2006 오영호, GIS를이용한주요보건의료인력의지리적분포에대한연구, 보건복지포럼, 제141호, 2008 통계청품질관리홈페이지, http://quality.nso.go.kr 통계정책관리시스템, http://codi.stat.go.kr 통계청, 통계품질진단이렇게합니다, 2008 - vi -
목 차 통계품질요약보고서 ⅰ 1. 통계개요 ⅰ 2. 품질차원별요약 ⅱ 3. 통계작성방법에대한개요 ⅲ 제 1 장 < 국민보건의료 ( 자원 ) 실태조사 > 통계품질진단개요 1 제 1 절진단의목적 1 제 2 절진단대상통계개요 2 제 3 절진단사업수행범위 4 제 2 장 < 국민보건의료 ( 자원 ) 실태조사 > 통계품질진단결과 5 제 1 절진단방법및절차 5 1. 품질관리기반진단방법 6 2. 이용자만족도및요구사항반영실태진단방법 6 3. 세부작성절차별오차관리체계진단방법 7 4. 수집자료의정확성점검진단방법 7 5. 통계자료서비스점검진단방법 8 제 2 절 < 국민보건의료 ( 자원 ) 실태조사 > 절차별품질진단결과 9 1. 품질관리기반진단 9 2. 이용자만족도및요구사항반영실태진단 13 3. 세부작성절차별오차관리체계진단 26 4. 수집자료의정확성진단 38 5. 통계자료서비스진단 42-1 -
제 3 절 < 국민보건의료 ( 자원 ) 실태조사 > 품질차원별진단결과 52 1. 관련성 (Relevance) 52 2. 정확성 (Accuracy) 52 3. 시의성및정시성 (Timeliness and Punctuality) 54 4. 비교성 (Comparability) 54 5. 일관성 (Coherence) 55 6. 접근성및명확성 (Accessibility and Clarity) 56 제 4 절 < 국민보건의료 ( 자원 ) 실태조사 > 통계품질진단결과종합 57 1. 진단결과요약 ( 현황 ) 57 2. 우수사례발굴 59 3. 절차별문제점 59 4. 품질차원별문제점 63 5. 개선방안 65 6. 결론 72 참고문헌 76 부록 77 < 부록 1> 품질관리기반현황표 78 < 부록 2> FGI 실시결과보고서 84 < 부록 3> 국가통계품질진단이용자만족도조사 88 < 부록 4> 작성절차품질진단서 125 < 부록 5> 이용자편의사항점검표 151 < 부록 6> 발간물오류점검표 156-2 -
표차례 < 표 1> 통계작성담당자의인식 12 < 표 2> 응답자특성 16 < 표 3> 통계자료이용빈도 17 < 표 4> 통계활용용도 18 < 표 5> 자료의이용형태 18 < 표 6> 통계자료의이용경로 18 < 표 7> 지출비용 19 < 표 8> 통계의문제점 19 < 표 9> 향후통계자료이용여부 19 < 표 10> 전문가설문 - 통계주기의적정성 20 < 표 11> 전문가설문 - 통계적개념일관성 20 < 표 12> 전문가설문 - 조사항목의선정에대한적정성 21 < 표 13> 전문가설문 - 응답자부담최소화설계 21 < 표 14> 전문가설문 - 공표방법과홍보등의적절성 21 < 표 15> 전문가설문 - 외부전문가의견반영정도 22 < 표 16> 전문가설문 - 홈페이지의편리성 22 < 표 17> 외국과의자료비교성 22 < 표 18> 개별만족도점수 23 < 표 19> 종합만족도산출결과 23 < 표 20> 만족도점수 24 < 표 21> 포트폴리오분석 25 < 표 22> 조사통계품질지표의차원 27 < 표 23> 세부절차별내부평가점수 29-3 -
< 표 24> 절차별내부평가평균점수 30 < 표 25> 세부품질차원별내부평가점수 31 < 표 26> 품질차원별내부평가평균점수 32 < 표 27> 세부절차별외부평가점수 33 < 표 28> 절차별평균점수의내부 / 외부평가비교 35 < 표 29> 세부품질차원별외부평가점수 36 < 표 30> 품질차원별평균점수의내부 / 외부평가비교 37 < 표 31> 수치자료점검 45 < 표 32> 표형식및내용점검 45 < 표 33> 용어해설부분점검 46 < 표 34> 단위부분점검 46 < 표 35> 주석부분점검 46 < 표 36> 출처및도표 ( 그림 ) 등점검 47 < 표 37> 표기방법등기타오류점검 47 < 표 38> 이용자를위한기본정보 49 < 표 39> 조사정보 49 < 표 40> 모집단및표본설계 50 < 표 41> 자료집계및추정 50 < 표 42> 진단부문에따른품질차원별문제점 73 < 표 43> 문제점및개선방안 74-4 -
그림차례 ( 그림 1) 품질진단업무흐름도 (Flow Chart) 5 ( 그림 2) 포트폴리오분석 25 ( 그림 3) 절차별평균점수의내부 / 외부평가비교 35 ( 그림 4) 품질차원별평균점수의내부 / 외부평가비교 37 ( 그림 5) 의료자원과질병의지리적분포 69 ( 그림 6) CDC Map 서비스 70 ( 그림 7) CDC 분석도구 71 ( 그림 8) 로드맵 75-5 -
제 1 장 < 국민보건의료 ( 자원 ) 실태조사 > 통계품질진단개요 제 1 절진단의목적 진단의목적은국민보건의료 ( 자원 ) 실태조사통계에대해전반적인품질상태를진단하고, 보건분야국가통계에대한신뢰성을제고할수있는방안을제시하는데있다. 이를위해서이사업은다음과같은구체적인하위목적을가지고있다. 첫째, ISO 인증을받은통계품질진단시스템을각연구자는담당통계의특성에맞게적용하여통계작성기관통계담당자와의면담을통해통계작성환경및작성절차의적합성, 기관의해당통계의품질개선노력을진단, 분석한다. 둘째, 조사통계의특성에맞게현장조사를실시하여자료수집의정확성 을파악하고, 공표자료의수치오류와이용자편의성을점검하고, 통계이용자 만족도조사를실시하여이용실태및만족정도, 요구사항을파악한다. 셋째, 국 내외문헌자료분석을통해해외의유사통계와의비교, 분석 및벤치마킹할수있는사례를제시하여현보건통계의생산현황에대한개 선방안을제시한다. 넷째, 위를기초로각해당통계및보건통계의통계품질개선을위한방 안을제시하고지속적으로국가단위에서관리할수있도록로드맵을제시한 다. - 1 -
제 2 절진단대상통계개요 국민보건의료 ( 자원 ) 실태조사 ( 승인번호 : 제11749호 ) 는조사주기가 5년인조사통계로서, 보건복지가족부의료자원과에서한국보건사회연구원에용역을의뢰하여조사하는통계이다. 조사단위는보건의료기관이며, 우리나라전국의보건의료기관을전수조사한다. 우리나라 16개광역지방자치단체와 243개기초지방자치단체가실정에맞는보건의료사업을기획 시행하고, 능동적인지역보건의료계획및보건정책을수립하는데기초자료를제공하고자하며, OECD 등국제기구의보건자원관련통계요구자료로제시하고자하는것 하는것이목적이다. 이통계자료는다음과같은내용을다루고있다. 전반적내용 - 보건의료기관에대한인력 시설 장비의실태및특성 - 보건의료자원의분포현황파악, 보건의료자원의양적및질적수준, 활용도실태조사 - 보건의료서비스분야별로공급자유형, 공급량, 공급조직, 수행기능등을조사 수집 일반현황및시설현황 - 기관명, 주소지, 진료개시일, 기관종류, 설립구분, 환자수, 시설면적, 진 료과목, 병상수 ( 병실종류 ), 구급차, 급식시설, 영얀실, 주차시설등 인력현황 - 의사 치과의사 한의사 약사및관련종사자인력현황 - 2 -
의료장비현황 - 주요검사장비, 수술및처치장비, 방사선진단및치료장비, 이학요법장 비, 치과용장비, 한방장비, 약제장비등 약국현황실태 - 기관명, 주소지, 업무개시일, 약국면적, 평균조제건수, 약국장비, 약사인 력, 약사보조인력현황등 - 3 -
제 3 절진단사업수행범위 이사업에서는국민보건의료 ( 자원 ) 실태조사통계에대해서진단을하고, 품질수준을높이기위한개선방안을제시한다. 진단은 2 가지측면에서실 시하였다. 첫번째진단은다음의 6 가지차원의품질수준이어느정도인지를 진단한다. 1) 관련성 : 통계이용자에게얼마나의미있고유용한통계를작성하여제공하고있는가에관련된개념 2) 정확성 : 참값과추정된값간의근접성에대한개념 3) 시의성 / 정시성 : 작성기준시점과결과발표시점간의차이를나타내는통계의현실반영도와관련된개념 4) 비교성 : 시간또는공간이달라도통계자료가공통된기준을근거로집계되어서로신뢰할만한비교가가능한지를진단하는요소 5) 일관성 : 서로다른출처, 작성방법에따라작성된통계자료지만동일한사회현상을반영하는경우각통계자료가얼마나유사한지를나타내는요소 6) 접근성 / 명확성 : 이용자가통계자료에손쉽게접근할수있는정도, 활용가능한통계표와그통계가어떻게만들어졌는지에대한정보의이용가능성을말한다. 두번째진단은통계가작성되고공표되기까지의전과정에걸친 5가지부문별로수행한다 : 1) 품질관리기반진단, 2) 이용자만족도및요구사항반영실태진단, 3) 세부작성절차별오차관리체계진단, 4) 수집자료의정확성진단, 5) 통계자료서비스진단. 진단에이어서, 관련통계를종합 비교하고해외통계와의비교분석, 국 내외문헌연구를통해통계작성의개선방향및발전적인제안을제시하고, 통계품질개선과제를도출하여품질수준업그레이드전략을제시한다. - 4 -
제 2 장 < 국민보건의료 ( 자원 ) 실태조사 > 통계품질진단결과 제 1 절진단방법및절차 통계품질진단은품질관리기반, 이용자만족도및요구사항반영, 작성절차별오차관리체계, 수집자료의정확성점검, 통계자료서비스점검등의부문으로나뉘어서진행되었다. 통계품질은관련성, 정확성, 시의성 / 정시성, 비교성, 일관성, 접근성 / 명확성등의 6가지품질차원으로나누어접근하였다. 품질관리기반 작성실태, 담당자인식설문조사 진단대상통계 사회 Ⅱ 보건 (10) 복지 (8) 고용 (9) 기타 (7) 이용자만족도및요구사항반영 통계이용실태파악및만족정도측정 이용자요구사항파악 작성절차별오차관리체계 품질진단서에의한내부진단 외부진단위원의진단 수집자료의정확성점검 전화조사 ( 조사통계 ) 를통한자료수집행태점검 현장진단 ( 보고통계 ) 을통한자료수집행태점검 진단결과종합 우수사례발굴 작성기관간담회개선과제확정 주제분야분석및종합보고서작성 통계자료서비스점검 통계간행물오류점검 이용자편의성점검 ( 그림 1) 품질진단업무흐름도 (Flow Chart) - 5 -
통계품질진단의절차별구체적인진단방법은다음과같다. 1. 품질관리기반진단방법품질관리기반현황표를작성하여, 보건복지가족부의통계담당자가직접응답토록하였고, 면담한내용을추가하였다. 이를통해서, 다음의네가지내용을조사하였다. 가. 기본현황 : 통계명, 작성근거법령, 작성주기, 작성목적, 조사대상, 조사기준시점, 조사기간, 조사방법, 조사원지위, 통계간행물명, 통계작성체계나. 통계작성여건 : 인적자원여건 ( 통계담당인력현황과전문성 ) 과물적자원여건 ( 통계작성관련예산의내용과장비및소프트웨어 ), 통계담당자의애로사항및통계작성과정에서개선할사항다. 조직관리실태및통계작성담당자의인식 : 기관장의의지, 방침, 인적자원, 업무량, 예산, 통계담당자인식및만족도등라. 통계작성담당자와의면담내용 : 통계담당자가해당통계에대해평소느끼고있는문제점, 개선사항등 2. 이용자만족도및요구사항반영실태진단방법 통계이용실태및만족정도를파악하기위해서, 국민보건의료 ( 자원 ) 실태조사자료이용자집단에대해서전문가그룹면접 (FGI: Focus Group Interview) 과이용자만족도조사를실시하였다. 전문가그룹면접은해당통계를이용해온정책고객, 교수, 연구원등을대상으로하였다. 이용자만족도조사는조사보고서가발송되었던리스트를확보하고, 기타이용하리라고예상되는전문가집단의리스트를작성하여설문조사를실시하였다. 조사내용으로는통계이용실태, 통계이용자만족도, 전반적만족 - 6 -
도, 재이용의사, 문제점및의견, 응답자의특성등이포함되었다. 3. 세부작성절차별오차관리체계진단방법 통계품질에영향을미치는 37개품질지표를품질진단서라는질문형식의체크리스트로설계하였다. 통계작성기획및관리, 모집단및표본설계, 조사표설계, 현장조사관리, 자료처리및집계, 자료이용, 사후관리단계등 7개과정에관련된문항들에대해서답하도록하였다. 이진단서를보건복지가족부의통계담당자와해당분야의외부전문가에게발송하여, 작성토록하였다. 이외에도, 본연구책임자가통계담당자를직접방문하여, 미리준비한문항을가지고인터뷰하였다. 4. 수집자료의정확성점검진단방법 국민보건의료 ( 자원 ) 실태조사자료를작성보고하는 10개병 의원, 약국, 보건소를무작위추출하여자료수집과정상의문제점에대해서조사하였다. 국민보건의료 ( 자원 ) 실태조사보고의내용과환경, 절차등에대해서구체적인질문항목을개발하였다. 이항목들을통해서, 현장에서의어려움과개선점등에대해서알아보았다. - 7 -
5. 통계자료서비스점검진단방법 보도자료, 보고서, DB 등공표자료에수록한내용의수치오류와이용자 편의성에대해서점검하였다. 구체적으로다음의두가지항목에대해서진 단하였다. 가. 발간물오류점검 : 자료에수록된수치, 표두, 항목명, 영문표기, 수치와그래프의일치여부, 출처자료의원본과비교, 표형식및내용, 용어, 단위, 주석, 출처, 도표및그림등나. 이용자편의성점검 : 분석자료, 이용상의유의점, 해석방법등에관한제반정보를제공하는지여부, 조사개요, 표본특성과관련한설명, 용어해설, 부록등의수록여부 - 8 -
제 2 절 < 국민보건의료 ( 자원 ) 실태조사 > 절차별품질진단결과 1. 품질관리기반진단 가. 평가개요 (1) 목적리더십과인적자원관리등은통계를생산하는데필요한기본인프라이다. 따라서본격적인품질진단에앞서, 기관장의관심, 전략과방침, 인력자원관리및예산규모등을파악할필요가있다. (2) 현황 ( 가 ) 인적자원여건국민보건의료 ( 자원 ) 실태조사통계담당인력은총 7명이다. 이중연구기획및통계분석을담당하고있는사람은통계업무에 50% 참여하고있으며, 통계업무경력은 5년이고, 최근 3년간통계교육이수실적은 2회이다. 조사수행및통계분석을담당하고있는사람은 5명이며통계업무는 10% 전담하고있다. 이중 4명은근무기간이 3년, 1명은 2년정도이며통계교육이수실적은없다. 나머지 1명은통계관리를담당하고있으며, 통계업무에 10% 정도참여하고있고, 이보직에서근무한기간은 1년 5개월이다. ( 나 ) 물적자원여건 통계관련예산규모는 2006 년총 26,000,000 원이었다. - 9 -
( 다 ) 업무성격조사기획, 결과공표는보건복지가족부에서직접수행하고, 실질적인통계작성업무는한국보건사회연구원에용역을의뢰하여수행하고있다. 통계작성체계상조사기획, 현장조사, 자료처리, 결과분석및공표에이르기까지한국보건사회연구원에의해서일관되게이루어지기에, 자료관리의일관성이란장점이있다. 그러나, 실질적인자료작성을의료기관에의존하기에, 상호협조가절실히요구된다. (3) 평가방법및절차첫째세부진단계획을수립하고, 둘째품질관리기반현황표를해당통계담당자에게작성을의뢰한후, 셋째면담을통해조사된내용을다시한번확인하고, 넷째그결과를분석하여작성환경을진단한다. 나. 평가결과 (1) 조직관리실태통계품질에대해서조직의리더가품질을높이고자하는비전과가치관을제시하고있으며, 통계품질관리의필요성을인식하고, 지속적으로품질개선을추진하고있는것으로나타났다. 그러나, 품질관리비전이행을위한방침, 계획, 목표, 세부목표및프로세스수립 시행에있어서는다소개선의여지가있는것으로드러났다. 작성통계의품질관리를위한인적자원은별도로계획되고관리되고있었으나, 통계담당직원의품질관리능력개발이나품질관리에의적극적인참여는미흡한것으로나타났다. - 10 -
(2) 통계작성담당자의인식 통계작성담당자는통계관련업무량이적절하다고응답하였으며, 현재의통계업무에만족하고있었고, 교육에대한의지는높지않은것으로나타났다. 통계관련예산은적절하였으나, 업무수행시필요한장비와소프트웨어는충분하지않은것으로나타났다. - 11 -
조직관리실태 통계담당자인식 < 표 1> 통계작성담당자의인식 질문내용 1. 조직의리더가통계품질을높이기위해비전과가치관을제시하면서모범적인역할을수행하고있습니까? 통계품질에관한조직의비전제시 조직문화의변혁을통한가치관의정립 2. 조직의리더는통계품질관리의필요성을인식하고, 지속적으로품질개선을추진하고있습니까? 조직리더들의통계품질에대한이해도와참여도 통계품질관리에대한인적, 물적자원의적절한지원및배분 조직리더에의한통계품질관리추진 3. 조직리더가품질관리비전을이행하기위하여방침, 계획, 목표, 세부목표및프로세스가수립 시행되고있습니까? 통계품질에관한경영방침의수립 이용자중심의통계품질관리에관한중장기전략목표수립 방침과전략전개의합리성 적절한시스템에의한실행계획의타당성 4. 작성통계의품질관리를위한인적자원은별도로계획되고관리되고있는가? 통계품질관리전담부서및전담인력 통계품질관리를위한인력양성계획 품질교육수요파악및교육이수실적 5. 통계담당직원의품질관리능력이개발되고, 품질관리에의참여가적극적으로이루어지고있습니까? 통계품질을위한전문적인모임의활성화 통계품질을제고하기위한동기부여 6. 통계작성담당자가지금맡고있는통계업무량은적정하다고생각하십니까? 7. 통계작성담당자는현재통계작성업무를수행하는데해당예산이적정하다고생각하십니까? 8. 통계작성담당자는현재통계작성업무를수행하는데필요한장비와소프트웨어가충분히확보되어있다고생각하십니까? 9. 통계작성담당자는지금맡고있는통계업무를보다원활하게수행하기위하여교육을받을필요가있다고생각하십니까? 10. 통계작성담당자는현재의통계업무를담당하는것에만족하십니까? 매우전혀그렇다보통아니다그렇다아니다 - 12 -
2. 이용자만족도및요구사항반영실태진단 가. 전문가그룹면접 (FGI) (1) 개요 ( 가 ) 일시 : 2008. 6. 13 ( 금 ) 15:00~17:00 ( 나 ) 장소 : 중소기업기술정보진흥원 9층컨퍼런스룸 ( 다 ) 주제 : < 국민보건의료 ( 자원 ) 실태조사 > 에대한이용자들의통계에대한인지, 이용상황, 문제점, 개선방안등에대한논의 < 부록 > 참조 ( 라 ) 참석자 : 총 11명 품질진단팀 (4명) - 진기남교수 ( 연세대학교 ) - 김문선차장 ( 중소기업기술정보진흥원 ) - 천새롬연구원 ( 중소기업기술정보진흥원 ) - 박지은연구조원 ( 연세대학교 ) 통계청 (1명) - 사무관 ( 통계청품질관리과 ) 통계이용자 (6명) - A. 보건통계전문가 - B. 경제학과교수 - C. 의과대학예방의학교실교수 - D. 보건분야전문가 - E. 보건분야전문가 - F. 보건전문논설위원 - 13 -
(2) 전문가그룹인터뷰결과 통계의관련성 추가적인정보필요 - 장비의수준혹은연령이나가격대별분포정보를제공하면좋겠다 모니터링시스템구축필요성 - 보사연에보건의료자원배분의효율성증대를위한모니터링시스템을구축하고운영해야하겠다 - 이를위해서법이개정되어야한다 통계의정확성 약국자료 - 보건소의의약계에서약국폐업, 개업신고를다루기에, 보건소에서약국을대신해서입력했을가능성이있다 통계의비교성 바뀐내용에대한공지가부족하다 통계의일관성 통계수치의국가기관간차이 - 심평원자료와보건의료자원실태조사자료간에요양기관수에차이가난다 - 심평원자료는개업시와변경시수시로신고되는자료를이용하기에업데이트되어있는자료이다 - 14 -
의료기관관련통계자료의중복 - 민간기관 ( 의사협회, 치과협회, 한방협회 ) 에서나름대로 DB 가구축되어 있다 의료장비관련통계자료의중복 - 심평원에서도의료장비실태조사를한다. 급여서비스와관련된의료장비는보고를해야, 삭감받지않는다. 따라서병원이장비를보고할동기가있고, 이자료가국민보건의료자원실태조사보다상대적으로더정확할수있다. 통계의접근성 & 명확성 원자료미제공 - 원자료가제공되지않는다 유용한정보제공 - 지역의의료기관을소개하는코너를온라인상에서제공하면좋겠다 입체적정보제공 - GIS 를이용해서지역별의료기관및인적자원의분포정보를제공하면 좋겠다 나. 이용자만족도조사 ( 가 ) 응답자특성 본통계의잠정적이용자명부를대상으로전화, FAX, e-mail 등을활용하 여조사한응답자는총 71 명으로설문지검증과정을거쳐특별한문제가 - 15 -
없는것으로나타나응답자전원을분석대상으로하였다. 응답한이용자응답자의일반특성을살펴보면다음과같다. 이용자만족도조사에응답한사례는총 71명이다. 남성이 53.5% 이고여성이 46.5% 로남자가여자보다많았다. 연령대는 40대가 46.5% 로제일많았고, 다음으로 50대가 23.9% 이었다. 직업은공무원이 40.8% 로제일많았고, 다음으로교수직 (29.6%), 사무직 (11.3%) 등의순이었다. 업무 / 연구등을한기간은 3년미만이 45.1% 로제일많았고, 다음으로 3년이상 ~5년미만 (23.9%), 10 년이상 (18.3%), 5년이상 ~10년미만 (12.7%) 의순이었다. 통계자료의활용비중은 높다 는응답이 32.4% 이었고, 낮다 는응답은 23.9% 이었다. 직위는정책수립부서가 40.8% 로제일많았고, 다음으로학계또는관련자문위원 (32.4%), 연구기관 (7.0%) 의순이었다. < 표 2> 응답자특성 구분항목명 (%) 성별 나이 직업 업무 / 연구등을한기간 남자 38 53.5% 여자 33 46.5% 20대이하 7 9.9% 30대 13 18.3% 40대 33 46.5% 50대 17 23.9% 60대이상 1 1.4% 공무원 29 40.8% 사무직 8 11.3% 연구직 5 7.0% 교수직 21 29.6% 기타 8 11.3% 3년미만 32 45.1% 3년이상 ~ 5년미만 17 23.9% 5년이상 ~ 10년미만 9 12.7% 10년이상 13 18.3% - 16 -
통계자료활용비중 매우높다 6 8.5% 높다 17 23.9% 보통 31 43.7% 낮다 12 16.9% 매우낮다 5 7.0% 정책수립부서 29 40.8% 관련연구기관 5 7.0% 직위학계또는관련자문위원 23 32.4% 기타 14 19.7% 합계 71 100.0% ( 나 ) 통계이용실태 통계의이용실태는이용빈도, 통계활용용도, 이용형태, 이용경로, 지출비용 등에대한조사내용이다. 통계자료이용빈도를보면이용자들은주 1 회이상활용하는이용자에서 부터연 1 회정도사용하는이용자에이르기까지그분포가다양한것으로 조사되었다. 주 1 회이상 월 1 회정도 < 표 3> 통계자료이용빈도 분기 1 회정도 반기 1 회정도 연 1 회혹은더드물게이용 최근 5 년내이용경험없음 명 14 14 16 9 17 1 % 19.7% 19.7% 22.5% 12.7% 23.9% 1.4% 통계의활용용도로는연구 / 학술 / 학습활동에가장많이활용하고있는것 (40.8%) 으로나타났으며, 그후로정책수립및진단 (19.7%), 사업및경영계획수립 (19.7%) 순으로나타났다. 이외에업무외개인적인관심을가지고통계를활용하고있는이용자 (15.5%) 도있는것으로조사되었다. - 17 -
정책수립및진단 연구 / 학술 / 학습활동 < 표 4> 통계활용용도 사업및경영계획수립 표본조사의모집단 업무외개인적인관심 명 14 29 14 3 11 % 19.7% 40.8% 19.7% 4.2% 15.5% 통계를이용하는형태로는공표된통계표 / 간행물보고서의형태로활용하 는경우가 64.8% 로가장많았으며, 분석한설명자료 (25.4%), 요청하여재집계 한자료 (5.6%), 마이크로자료 (2.8%) 의순으로나타났다. 공표된통계표 / 간행물보고서 < 표 5> 자료의이용형태 요청하여재집계한자료 마이크로자료 분석한설명자료 기타 명 46 4 2 18 1 % 64.8% 5.6% 2.8% 25.4% 1.4% 통계자료의이용경로는대부분의이용자 (81.7%) 가작성기관이나통계청의 홈페이지를활용하고있는것으로조사되었다. 홈페이지 ( 작성기관, 통계청등 ) < 표 6> 통계자료의이용경로 통계작성부서에직접요청 서점등에서통계간행물책자구입 신문방송등각종언론보도자료 공공도서관 / 자료실등에서열람 기타 명 58 6 1 3 2 1 % 81.7% 8.5% 1.4% 4.2% 2.8% 1.4% 통계에대하여대부분의이용자인 83.1% 가무료로자료를이용하고있는 - 18 -
것으로나타났으며, 100 만원이상을지출한다는이용자도있는것으로조사 되었다. 무료 < 표 7> 지출비용 10 만원미만 10 만원이상 ~ 50 만원미만 100 만원이상 명 59 5 6 1 % 83.1% 7.0% 8.5% 1.4% 이용자들은본통계에대하여추가정보를얻는방법에대한정보의부족 (45.1%) 과조사후결과발표까지시간이많이걸리는점 (36.6%) 등을문제점 으로지적하였다. < 표 8> 통계의문제점 ( 중복응답 ) 문제점 명 % 제공되는정보가정확하지않음 5 7.0 제공시기가적절하지않음 12 16.9 조사후결과발표까지시간이많이걸림 26 36.6 추가정보를얻는방법에대한정보부족 32 45.1 인터넷홈페이지의자료를찾아보기가어려움 14 19.7 보고서편제가보기에불편함 12 16.9 이용자유의사항, 설명, 용어개념이충실히 9 12.7 원시자료이용시불편함 13 18.3 기타 14 19.7 합계 137 192.9. 이용자들은향후본통계에대하여 52.1% 가매우적극적으로이용할것으 로조사되었다. < 표 9> 향후통계자료이용여부 그저그렇다 어느정도이용 매우적극적으로이용 명 13 21 37 % 18.3% 29.6% 52.1% - 19 -
전문가들을대상으로한설문에는총 57명이응답하였으며, 설문내용은통계주기의적정성, 통계적개념의일관성유지, 조사항목의선정의적정성, 조사표의설계, 공표방법과홍보등의적절성, 외부전문가의의견의반영, 홈페이지의편리성, 외국과의비교성등에관한내용이었다. 통계주기가적정한가에대하여는과반수이상인 54.4% 가적정하지않다고 응답하여통계의주기인 5년이매우긴것으로평가하고있는것으로나타 났다. < 표 10> 전문가설문 - 통계주기의적정성 명 % 적정 17 29.8% 적정하지않음 31 54.4% 모르겠음 9 15.8% 합계 57 100.0% 통계적개념 ( 항목, 정의, 분류등 ) 을일관성있게유지하고있는가에대한 질문에과반수인 54.4% 가적정하게유지하고있다고응답한반면에잘모르 겠다고응답한응답자도 33.3% 에이르고있었다. < 표 11> 전문가설문 - 통계적개념일관성 명 % 적정 31 54.4% 적정하지않음 7 12.3% 모르겠음 19 33.3% 조사항목의최근및향후의문제등을고려하여잘선정되었냐는질문에 는 42.1% 가적정하다고응답하였으며모르겠다가 42.1%, 적정하지않다고응 답한이용자는 15.8% 였다. - 20 -
< 표 12> 전문가설문 - 조사항목의선정에대한적정성 명 % 적정 24 42.1% 적정하지않음 9 15.8% 모르겠음 24 42.1% 조사표가응답자의부담을최소화할수있도록설계되었는지에대한여부 에대해서는 47.4% 가적정하다고응답하였다. < 표 13> 전문가설문 - 응답자부담최소화설계 명 % 적정 27 47.4% 적정하지않음 5 8.8% 모르겠음 25 43.9% 공표방법과홍보등의적절성에대하여는적절하다는의견이 45.6%, 부적 절함이 40.4%, 잘모르겠다는의견이 14.0% 의순으로조사되었다. < 표 14> 전문가설문 - 공표방법과홍보등의적절성 명 % 적절 26 45.6% 부적절 23 40.4% 모르겠음 8 14.0% 외부전문가의의견의반영정도에대해서모르겠다가 47.4%, 전문가의의 견을적절하게반영했다가 35.1%, 그렇지않다가 17.5% 로나타났다. - 21 -
< 표 15> 전문가설문 - 외부전문가의견반영정도 명 % 그렇다 20 35.1% 그렇지않다 10 17.5% 모르겠다 27 47.4% 홈페이지의편리성에대하여과반수인 75.4% 의이용자가불편하지않다고 응답하였다. < 표 16> 전문가설문 - 홈페이지의편리성 명 % 불편하지않음 43 75.4% 불편함 7 12.3% 잘모르겠음 7 12.3% 외국과의자료의비교에대하여잘모르겠다는의견이과반수인 50.9% 로 나타났으며양호함이 26.3%, 양호하지않음이 22.8% 로나타났다. < 표 17> 외국과의자료비교성 명 % 양호함 15 26.3% 양호하지않음 13 22.8% 잘모르겠음 29 50.9% ( 다 ) 통계이용자만족도 통계의이용자만족도는체감만족도와속성별만족에의한종합만족도두 가지로구분하여측정한다. 속성별만족도는 9 개의계열항목의응답내용을 5 점척도로환산하여측정하며, 체감만족도도같은방식을적용하여측정하였다. - 22 -
개별만족도점수는전반적만족도가 3.676점으로나타난가운데, 개별항 목만족도에서통계자료신뢰성이 3.972점으로가장높은것으로나타났다. < 표 18> 개별만족도점수 항목 개별만족도 통계자료공표시기적절성 3.471 통계자료예고공표일정준수 3.618 통계자료제공방법편리성 3.437 통계자료시계열비교의편리성 3.394 통계자료국가비교의편리성 3.106 통계자료정의의적합성 3.514 통계자료정보제공의충분성 3.493 통계자료정보제공다양성 3.571 통계자료의신뢰성 3.972 전반적 ( 체감 ) 만족도 3.676 종합만족도는개별항목의만족도가전반적 ( 체감 ) 만족도에미치는항목 의중요도를가중치로계산하여 3.580점이산출되었다. 따라서, 체감만족도가 종합만족도보다약간높은것으로조사되었으며만족수준은보통으로조사 되었다. < 표 19> 종합만족도산출결과 항목 상관계수 항목중요도 S*w 통계자료공표시기적절성 0.485 0.108 0.376 통계자료예고공표일정준수 0.519 0.124 0.449 통계자료제공방법편리성 0.499 0.115 0.394 통계자료시계열비교의편리성 0.460 0.097 0.331 통계자료국가비교의편리성 0.274 0.035 0.108 통계자료정의의적합성 0.358 0.059 0.207 통계자료정보제공의충분성 0.583 0.156 0.546 통계자료정보제공다양성 0.492 0.112 0.399 통계자료의신뢰성 0.649 0.194 0.770 종합만족도 3.580-23 -
< 표 20> 만족도점수 응답자수종합만족도전반적 ( 체감 ) 만족도 71 3.580 3.676 이를바탕으로속성별항목만족도와중요도를만족도평균과중요도평균을중심으로 4개의영역에나타낸다. 이위치가어느영역에있느냐를기준으로긴급히개선해야할항목, 점차개선해야할항목, 차별화하거나권장해야할항목등으로분류하게되는데, 포트폴리오매트릭스의 4개영역은다음과같다. Ⅰ 1 차개선영역 : 중요도는높으나만족도가낮아개선이시급한약점분야 Ⅱ 2 차개선영역 : 중요도와만족도가모두낮아향후개선이필요한분야 Ⅲ 차별화영역 : Ⅳ 권장영역 : 중요도는낮으나만족도가높아만족도를현상유지해야할분야 중요도와만족도가모두높아강점분야라고볼수있으며, 현만족도를유지하기위해지속적인개선이필요한분야 다음의포트폴리오분석결과표를보면, 중요도가높으나만족도가낮아 1 차적으로개선되어야할영역으로는제공방법의편리성, 제공정보의충분성이지적되었으며, 공표시기의적절성과시계열비교편리성, 국가간비교편리성의경우중요도도낮고만족도도낮은항목으로나타나 2차개선영역으로분류되었다. - 24 -
< 표 21> 포트폴리오분석 중요도 (x축) 만족도 (Y축) 결과 1. 공표시기적절성 0.108 3.471 2차개선영역 2. 예고공표일정준수 0.124 3.618 권장영역 3. 제공방법편리성 0.115 3.437 1차개선영역 4. 시계열비교편리성 0.097 3.394 2차개선영역 5. 국가간비교편리성 0.035 3.106 2차개선영역 6. 이용시유의사항 / 관련개념, 용어정리 0.059 3.514 차별화영역 7. 제공정보충분성 0.156 3.493 1차개선영역 8. 제공정보다양성 0.112 3.571 권장영역 9. 자료의신뢰성 0.194 3.972 권장영역 만족도 ( 점 ) 5.0 4.0 Ⅲ 중요도 11.1 Ⅳ 9 3.0 5 6 4 8 1 2 3 7 만족도평균 3.509 2.0 Ⅱ Ⅰ 0 5 10 15 20 중요도 (%) 1. 통계자료공표시기적절성 2. 통계자료예고공표일정준수 3. 통계자료제공방법편리성 4. 통계자료시계열비교의편리성 5. 통계자료국가비교의편리성 6. 통계자료정의의적합성 7. 통계자료정보제공의충분성 8. 통계자료정보제공다양성 9. 통계자료의신뢰성 ( 그림 2) 포트폴리오분석 - 25 -
3. 세부작성절차별오차관리체계진단 가. 평가개요 (1) 목적 국민보건의료 ( 자원 ) 실태조사통계작성절차에무리가없었는지를선정된 지표에준하여평가한다. (2) 평가대상통계평가대상이되는통계는국민보건의료 ( 자원 ) 실태조사통계이다. 우리나라전국의보건의료기관을대상으로의사및기타인력현황, 각종보유장비현황, 일반사항, 약국장비및약사인력현황등에관한정보를제공한다. (3) 평가방법세부작성절차별오차관리체계진단은내부진단과외부진단으로구성되어있다. 내부진단은작성절차에대한품질진단서를통계담당자가직접작성함으로써실시된다. 외부진단은통계품질심의위원으로위촉된외부전문가가내부진단결과및진단근거자료를바탕으로재진단을함으로써진행된다. (4) 통계품질지표통계품질지표는통계작성절차를점검할수있는지표, 기술적으로나경제적으로측정에무리가없는지표, 향후품질개선방향을제시할수있는지표이어야한다. 또한이는측정가능하고객관적이어야한다. 통계품질지표는관련성, 정확성, 시의성 / 정시성, 비교성, 일관성, 접근성 / 명확성의 6개품질차원으로구분된다 ( 표?). - 26 -
< 표 22> 조사통계품질지표의차원 조사통계품질진단지표 품질차원 1-1. 통계작성목적을제시하고있는가? 관련성 1-3. 주된이용자의요구를통계작성에반영하고있는가? 관련성 1-2. 통계작성에사용하고있는개념, 용어, 분류체계및작성방법등기준의타당성을검토하여적용하고있는가? 정확성 1-6. 외부자료를이용하여통계를작성할경우, 외부자료에대한타당성을검토하고있는가? 정확성 1-7. 통계작성과관련된각종자료가문서화되어있는가? 정확성 2-1. 작성하고자하는대상모집단이명확하게정의되어있는가? 정확성 2-2. 표본추출후적절한표본관리를통하여표본수준이유지되고있는가? 정확성 2-3. 조사목적, 조사결과공표범위등에비춰볼때표본규모는적정한가? 정확성 2-4. 표본조사를실시하는경우, 표본오차관련지표를작성하고있는가? 정확성 3-1. 조사항목의변경이있을때, 사전조사 (pretest) 를실시하고있는가? 정확성 3-2. 조사표는기입자가이해하기쉽고작성하기에친근한형태로설계되어있는가? 정확성 3-3. 조사지침서 ( 요령서 ) 가작성되어조사와관련한모든사항을파악하고습득할수있는가? 정확성 4-1. 조사기획자는조사직원에대한체계적인교육을실시하고있는가? 정확성 4-2. 조사직원의조사관련전문지식숙지여부를파악하고있는가? 정확성 4-3. 조사기획자는조사직원의조사방법을파악및분석하고있는가? 정확성 4-4. 조사기획자는현장조사에대한단계별업무량을파악하고있는가? 정확성 4-5. 현장조사실시에대한체계적인관리가이루어지고있는가? 정확성 4-6. 현장조사에서발생한의무사항은시기적절하게처리되며, 모든직원이함께공유하고있는가? 정확성 5-1. 무응답실태를파악하여분석하고있는가? 정확성 5-2. 현장조사부터집계분석단계까지적절한내용검토절차가마련되어있는가? 정확성 5-3. 모수를추정하는경우, 추정절차는적정하게이루어지고있는가? 정확성 6-1. 간행물수록자료에대한오류를점검하고있는가? 정확성 6-3. 결과자료를적절한시점에공표하고있는가? 시의성 / 정시성 6-6. 조사결과자료의공표일이사전에예고되고있는가? 시의성 / 정시성 6-7. 사전에예고한공표일을준수하고있는가? 시의성 / 정시성 6-9. 시계열자료는일관성이있으며, 단절이생길경우그내용을공개하고있는가? 비교성 5-4. 자료결과를검증할수있는관련자료또는유사한통계를파악하고있는가? 일관성 1-5. 개편작업후개편내용을이용자에게공개하고있는가? 접근성 / 명확성 2-5. 표본추출과정을공개하고있는가? 접근성 / 명확성 6-2. 간행물에통계조사와관련된자료를수록하여이용자들의편의를돕고있는가? 접근성 / 명확성 6-4. 국가통계승인시포함된모든항목의자료를공표하고있는가? 접근성 / 명확성 6-5. 통계자료공표시모든이용자가조사결과를동시에이용할수있도록하접근성 / 명확성고있는가? 6-8. 다양한매체를이용하여조사결과자료를제공하고있는가? 접근성 / 명확성 - 27 -
(5) 평가절차 평가는다음과같은 7 개단계를거쳐서진행된다. 1단계 : 진단준비 2단계 : 내부진단실시 3단계 : 외부진단위원선정 4단계 : 외부진단실시 5단계 : 진단결과분석 6단계 : 문제점도출및개선사항정리 7단계 : 보고서작성및환류 (6) 평가일정 2008 년도 6~7 월동안진행되었다. 나. 평가결과 (1) 내부진단결과 ( 가 ) 절차별결과절차별로통계담당자에의한내부진단결과를살펴보겠다. 모집단표본설계, 조사표설계, 현장조사관리, 자료처리및집계, 사후관리단계 는 5점만점에평균 5점으로가장높게평가되었다. 자료이용 은평균 4.78점, 통계작성기획및관리 는 4.67점으로전반적으로높게평가되었다. - 28 -
< 표 23> 세부절차별내부평가점수 조사통계품질진단지표 점수 1-1. 통계작성목적을제시하고있는가? 5 1-2. 통계작성에사용하고있는개념, 용어, 분류체계및작성방법등기준의타당성을검토하여적용하고있는가? 4 1-3. 주된이용자의요구를통계작성에반영하고있는가? 4 1-4. 통계작성개편작업이시기적절하게이루어지고있는가? 5 1-5. 개편작업후개편내용을이용자에게공개하고있는가? 5 1-6. 외부자료를이용하여통계를작성할경우, 외부자료에대한타당성을검토한후에외부자료를이용하고있는가? - 1-7. 통계작성과관련된각종자료가문서화되어있는가? 5 2-1. 작성하고자하는대상모집단이명확하게정의되어있는가? 5 2-2. 표본추출후적절한표본관리를통하여표본수준이유지되고있는가? - 2-3. 조사목적, 조사결과공표범위등에비춰볼때표본규모는적정한가? - 2-4. 표본조사를실시하는경우, 표본오차관련지표를작성하고있는가? - 2-5. 표본추출과정을공개하고있는가? - 3-1. 조사항목의변경이있을때, 사전조사 (pretest) 를실시하고있는가? 5 3-2. 조사표는기입자가이해하기쉽고작성하기에친근한형태로설계되어있는가? 5 3-3. 조사지침서 ( 요령서 ) 가작성되어조사와관련한모든사항을파악하고습득할수있는가? 5 4-1. 조사기획자는조사직원에대한체계적인교육을실시하고있는가? 5 4-2. 조사직원의조사관련전문지식숙지여부를파악하고있는가? 5 4-3. 조사기획자는조사직원의조사방법을파악및분석하고있는가? 5 4-4. 조사기획자는현장조사에대한단계별업무량을파악하고있는가? 5 4-5. 현장조사실시에대한체계적인관리가이루어지고있는가? 5 4-6. 현장조사에서발생한의문사항은시기적절하게처리되며, 모든직원이함께공유하고있는가? 5 5-1. 무응답실태를파악하여분석하고있는가? 5 5-2. 현장조사부터집계분석단계까지적절한내용검토절차가마련되어있는가? 5 5-3. 모수를추정하는경우, 추정절차는적정하게이루어지고있는가? - 5-4. 자료결과를검증할수있는관련자료또는유사한통계를파악하고있는가? 5 6-1. 간행물수록자료에대한오류를점검하고있는가? 5 6-2. 간행물에통계조사와관련된자료를수록하여이용자들의편의를돕고있는가? 5 6-3. 결과자료를적절한시점에공표하고있는가? 5 6-4. 국가통계승인시포함된모든항목의자료를공표하고있는가? 5 6-5. 통계자료공표시모든이용자가조사결과를동시에이용할수있도록하고있는가? 5 6-6. 조사결과자료의공표일이사전에예고되고있는가? 5 6-7. 사전에예고한공표일을준수하고있는가? - 6-8. 다양한매체를이용하여조사결과자료를제공하고있는가? 4 6-9. 시계열자료는일관성이있으며, 단절이생길경우그내용을공개하고있는가? 5 6-10. 응답자의비밀보호를위한장치가마련되어있는가? 4 7-1. 전반적인통계작성과정을체계적으로관리하고있는가? 5 7-2. 통계작성방법에대하여주기적으로현실적, 통계적타당성을검토하여갱신하고있는가? 5-29 -
< 표 24> 절차별내부평가평균점수 절차 평균점수 통계작성기획및관리 4.67 모집단및표본설계 5 조사표설계 5 현장조사관리 5 자료처리및집계 5 자료이용 4.78 사후관리단계 5 ( 나 ) 품질차원별결과품질차원별로통계담당자에의한내부진단결과를살펴보겠다. 5점만점에시의성 / 정시성, 비교성, 일관성이평균 5점으로가장높았고, 정확성 4.93 점, 접근성 / 명확성 4.8점, 관련성 4.5점순으로평가되었다. - 30 -
< 표 25> 세부품질차원별내부평가점수 조사통계품질진단지표 점수 1-1. 통계작성목적을제시하고있는가? 5 1-3. 주된이용자의요구를통계작성에반영하고있는가? 4 1-2. 통계작성에사용하고있는개념, 용어, 분류체계및작성방법등기준의타당성을검토하여적용하고있는가? 4 1-6. 외부자료를이용하여통계를작성할경우, 외부자료에대한타당성을검토하고있는가? - 1-7. 통계작성과관련된각종자료가문서화되어있는가? 5 2-1. 작성하고자하는대상모집단이명확하게정의되어있는가? 5 2-2. 표본추출후적절한표본관리를통하여표본수준이유지되고있는가? - 2-3. 조사목적, 조사결과공표범위등에비춰볼때표본규모는적정한가? - 2-4. 표본조사를실시하는경우, 표본오차관련지표를작성하고있는가? - 3-1. 조사항목의변경이있을때, 사전조사 (pretest) 를실시하고있는가? 5 3-2. 조사표는기입자가이해하기쉽고작성하기에친근한형태로설계되어있는가? 5 3-3. 조사지침서 ( 요령서 ) 가작성되어조사와관련한모든사항을파악하고습득할수있는가? 5 4-1. 조사기획자는조사직원에대한체계적인교육을실시하고있는가? 5 4-2. 조사직원의조사관련전문지식숙지여부를파악하고있는가? 5 4-3. 조사기획자는조사직원의조사방법을파악및분석하고있는가? 5 4-4. 조사기획자는현장조사에대한단계별업무량을파악하고있는가? 5 4-5. 현장조사실시에대한체계적인관리가이루어지고있는가? 5 4-6. 현장조사에서발생한의무사항은시기적절하게처리되며, 모든직원이함께공유하고있는가? 5 5-1. 무응답실태를파악하여분석하고있는가? 5 5-2. 현장조사부터집계분석단계까지적절한내용검토절차가마련되어있는가? 5 5-3. 모수를추정하는경우, 추정절차는적정하게이루어지고있는가? - 6-1. 간행물수록자료에대한오류를점검하고있는가? 5 6-3. 결과자료를적절한시점에공표하고있는가? 5 6-6. 조사결과자료의공표일이사전에예고되고있는가? 5 6-7. 사전에예고한공표일을준수하고있는가? - 6-9. 시계열자료는일관성이있으며, 단절이생길경우그내용을공개하고있는가? 5 5-4. 자료결과를검증할수있는관련자료또는유사한통계를파악하고있는가? 5 1-5. 개편작업후개편내용을이용자에게공개하고있는가? 5 2-5. 표본추출과정을공개하고있는가? - 6-2. 간행물에통계조사와관련된자료를수록하여이용자들의편의를돕고있는가? 5 6-4. 국가통계승인시포함된모든항목의자료를공표하고있는가? 5 6-5. 통계자료공표시모든이용자가조사결과를동시에이용할수있도록하고있는가? 5 6-8. 다양한매체를이용하여조사결과자료를제공하고있는가? 4-31 -
< 표 26> 품질차원별내부평가평균점수 품질차원 평균점수 관련성 4.5 정확성 4.93 시의성 / 정시성 5 비교성 5 일관성 5 접근성 / 명확성 4.8 (2) 내부와외부평가결과비교 외부전문가 2 인에의한평가결과는절차별로보인결과표와차원별로 보인결과표, 두가지로나타내었다. - 32 -
< 표 27> 세부절차별외부평가점수 조사통계품질진단지표 점수 A B 1-1. 통계작성목적을제시하고있는가? 5 5 1-2. 통계작성에사용하고있는개념, 용어, 분류체계및작성방법등기준의타당성을검토하여적용하고있는가? 4 4 1-3. 주된이용자의요구를통계작성에반영하고있는가? 4 4 1-4. 통계작성개편작업이시기적절하게이루어지고있는가? 2 5 1-5. 개편작업후개편내용을이용자에게공개하고있는가? 5 5 1-6. 외부자료를이용하여통계를작성할경우, 외부자료에대한타당성을검토한후에외부자료를이용하고있는가? - - 1-7. 통계작성과관련된각종자료가문서화되어있는가? 5 5 2-1. 작성하고자하는대상모집단이명확하게정의되어있는가? 5 5 2-2. 표본추출후적절한표본관리를통하여표본수준이유지되고있는가? - - 2-3. 조사목적, 조사결과공표범위등에비춰볼때표본규모는적정한가? - - 2-4. 표본조사를실시하는경우, 표본오차관련지표를작성하고있는가? - - 2-5. 표본추출과정을공개하고있는가? - - 3-1. 조사항목의변경이있을때, 사전조사 (pretest) 를실시하고있는가? 5 5 3-2. 조사표는기입자가이해하기쉽고작성하기에친근한형태로설계되어있는가? 5 5 3-3. 조사지침서 ( 요령서 ) 가작성되어조사와관련한모든사항을파악하고습득할수있는가? 5 5 4-1. 조사기획자는조사직원에대한체계적인교육을실시하고있는가? 5 5 4-2. 조사직원의조사관련전문지식숙지여부를파악하고있는가? 5 5 4-3. 조사기획자는조사직원의조사방법을파악및분석하고있는가? 5 5 4-4. 조사기획자는현장조사에대한단계별업무량을파악하고있는가? 5 5 4-5. 현장조사실시에대한체계적인관리가이루어지고있는가? 5 5 4-6. 현장조사에서발생한의문사항은시기적절하게처리되며, 모든직원이함께공유하고있는가? 5 5 5-1. 무응답실태를파악하여분석하고있는가? 5 5 5-2. 현장조사부터집계분석단계까지적절한내용검토절차가마련되어있는가? 5 5 5-3. 모수를추정하는경우, 추정절차는적정하게이루어지고있는가? - - 5-4. 자료결과를검증할수있는관련자료또는유사한통계를파악하고있는가? 1 5 6-1. 간행물수록자료에대한오류를점검하고있는가? 5 5 6-2. 간행물에통계조사와관련된자료를수록하여이용자들의편의를돕고있는가? 5 5 6-3. 결과자료를적절한시점에공표하고있는가? 5 5 6-4. 국가통계승인시포함된모든항목의자료를공표하고있는가? 5 5 6-5. 통계자료공표시모든이용자가조사결과를동시에이용할수있도록하고있는가? 5 5 6-6. 조사결과자료의공표일이사전에예고되고있는가? 5 5 6-7. 사전에예고한공표일을준수하고있는가? - - 6-8. 다양한매체를이용하여조사결과자료를제공하고있는가? 4 4 6-9. 시계열자료는일관성이있으며, 단절이생길경우그내용을공개하고있는가? 5 5 6-10. 응답자의비밀보호를위한장치가마련되어있는가? 4 4 7-1. 전반적인통계작성과정을체계적으로관리하고있는가? 5 5 7-2. 통계작성방법에대하여주기적으로현실적, 통계적타당성을검토하여갱신하고있는가? 5 5-33 -
절차별로제시된의견을살펴보면다음과같다. ( 가 ) 통계작성기획및관리본통계는 2001년 1차조사시우편조사로수행하였으나, 자료결과의정확성과신뢰성등에서문제가제기되어 2006년 2차조사는 on-line시스템을구축하여수행하였다. 이러한, 통계작성개편작업이시의적절하였느냐는항목에대하여 2000년에서 2006년사이에건강보험심사평가원설립등여러가지보건의료환경이변화하였으므로 2006년이전에개편작업이이루어졌어야한다는의견이있었다. 외부자료이용시타당성검토여부에있어서건강보험심사평가원의자료를이용하였다고명시되어있으나, 이에대한타당성을검토하였는지에대한확인이불가능하다는지적이있었다. ( 나 ) 자료처리및집계 자료결과를검증할수있는관련자료또는유사통계를파악하였다는언 급이없으며, 비교분석을실시하지않았다는지적이있었다. 절차별내부평가와외부평가의결과를비교해보면, 일부항목을제외하고는양자간에평가가상당히일치하고있음을알수있다 ( 표 29). 모집단및표본설계, 조사표설계, 현장조사관리, 자료이용, 사후관리단계는내부평가점수와외부평가점수가동일한것으로나타났다. 외부평가의점수는모집단및표본설계, 조사표설계, 현장조사관리, 사후관리단계가 5점만점에평균 5점으로평가되었고, 자료이용, 통계작성기획및관리, 자료처리및집계순으로나타났다. 내부평가와의편차가가장큰절차는자료처리및집계항목이었다. - 34 -
< 표 28> 절차별평균점수의내부 / 외부평가비교 절차 내부평가 외부평가 통계작성기획및관리 4.67 4.42 모집단및표본설계 5 5 조사표설계 5 5 현장조사관리 5 5 자료처리및집계 5 4.33 자료이용 4.78 4.78 사후관리단계 5 5 사후관리단계 자료이용 통계작성기획및관리 5 4 3 2 1 0 모집단및표본설계 조사표설계 자료처리및집계 현장조사관리 내부평가 외부평가 ( 그림 3) 절차별평균점수의내부 / 외부평가비교 - 35 -
다음의표품질차원별외부평가점수를보이고있다. 이는앞의작성절 차별점수표를품질차원별로재구성한것이다. < 표 29> 세부품질차원별외부평가점수 조사통계품질진단지표 점수 A B 1-1. 통계작성목적을제시하고있는가? 5 5 1-3. 주된이용자의요구를통계작성에반영하고있는가? 4 4 1-2. 통계작성에사용하고있는개념, 용어, 분류체계및작성방법등기준의타당성을검토하여적용하고있는가? 4 4 1-6. 외부자료를이용하여통계를작성할경우, 외부자료에대한타당성을검토하고있는가? - - 1-7. 통계작성과관련된각종자료가문서화되어있는가? 5 5 2-1. 작성하고자하는대상모집단이명확하게정의되어있는가? 5 5 2-2. 표본추출후적절한표본관리를통하여표본수준이유지되고있는가? - - 2-3. 조사목적, 조사결과공표범위등에비춰볼때표본규모는적정한가? - - 2-4. 표본조사를실시하는경우, 표본오차관련지표를작성하고있는가? - - 3-1. 조사항목의변경이있을때, 사전조사 (pretest) 를실시하고있는가? 5 5 3-2. 조사표는기입자가이해하기쉽고작성하기에친근한형태로설계되어있는가? 5 5 3-3. 조사지침서 ( 요령서 ) 가작성되어조사와관련한모든사항을파악하고습득할수있는가? 5 5 4-1. 조사기획자는조사직원에대한체계적인교육을실시하고있는가? 5 5 4-2. 조사직원의조사관련전문지식숙지여부를파악하고있는가? 5 5 4-3. 조사기획자는조사직원의조사방법을파악및분석하고있는가? 5 5 4-4. 조사기획자는현장조사에대한단계별업무량을파악하고있는가? 5 5 4-5. 현장조사실시에대한체계적인관리가이루어지고있는가? 5 5 4-6. 현장조사에서발생한의무사항은시기적절하게처리되며, 모든직원이함께공유하고있는가? 5 5 5-1. 무응답실태를파악하여분석하고있는가? 5 5 5-2. 현장조사부터집계분석단계까지적절한내용검토절차가마련되어있는가? 5 5 5-3. 모수를추정하는경우, 추정절차는적정하게이루어지고있는가? - - 6-1. 간행물수록자료에대한오류를점검하고있는가? 5 5 6-3. 결과자료를적절한시점에공표하고있는가? 5 5 6-6. 조사결과자료의공표일이사전에예고되고있는가? 5 5 6-7. 사전에예고한공표일을준수하고있는가? - - 6-9. 시계열자료는일관성이있으며, 단절이생길경우그내용을공개하고있는가? 5 5 5-4. 자료결과를검증할수있는관련자료또는유사한통계를파악하고있는가? 1 5 1-5. 개편작업후개편내용을이용자에게공개하고있는가? 5 5 2-5. 표본추출과정을공개하고있는가? - - 6-2. 간행물에통계조사와관련된자료를수록하여이용자들의편의를돕고있는가? 5 5 6-4. 국가통계승인시포함된모든항목의자료를공표하고있는가? 5 5 6-5. 통계자료공표시모든이용자가조사결과를동시에이용할수있도록하고있는가? 5 5 6-8. 다양한매체를이용하여조사결과자료를제공하고있는가? 4 4-36 -
다음의 < 표?> 은품질차원별내부평가와외부평가점수를비교하여보 여주고있다. 내부평가와외부평가의점수가상당히일치하고있음을알수 있다. 관련성, 정확성, 시의성 / 정시성, 비교성, 접근성 / 명확성은동일하게나 타났으며, 일관성은내부평가점수가외부평가점수보다높았다. 일관성의 경우내부평가와외부평가의편차가가장컸다. < 표 30> 품질차원별평균점수의내부 / 외부평가비교 품질차원 내부평가 외부평가 관련성 4.5 4.5 정확성 4.93 4.93 시의성 / 정시성 5 5 비교성 5 5 일관성 5 3 접근성 / 명확성 4.8 4.8 접근성 / 명확성 관련성 5 4 3 2 1 0 정확성 일관성 시의성 / 정시성 비교성 내부평가 외부평가 ( 그림 4) 품질차원별평균점수의내부 / 외부평가비교 - 37 -
4. 수집자료의정확성진단 가. 개요 (1) 목적 자료수집의오류유형과발생원인에대한실증자료를축적하여, 조사품 질을개선시키는데활용하기위함이다. (2) 점검대상 10개병 의원, 약국, 보건소 ( 신촌세브란스병원, 세연약국, 종로구보건소외 7곳 ) 를직접방문하여, 국민보건의료 ( 자원 ) 실태조사자료를수집하고보고하는담당자를대상으로조사하였다. (3) 점검방법국민보건의료 ( 자원 ) 실태조사의자료를수집하고보고한담당자에게자료수집이나보고와관련된문제점과개선안에대한의견을듣기위하여, 인터뷰설문지를만들었다. 만들어진점검표를이용한수집자료의정확성점검조사는 10개병 의원, 약국, 보건소방문을통하여진행하였다. 설문지를이용한양적조사이외에, 담당자와의심층면접, 즉질적조사를통해서보다구체적으로문제점에대해서논의하였다. (4) 점검항목점검항목의차원은보고양식작성절차와제출절차의두가지로하였다. 먼저, 보고양식작성절차와관련해서는작성시어려움등의 3문항을작성하였다. 보고양식제출절차와관련해서는제출시어려움, 문의나시정요청여부, 응답여부와의견반영여부등의 6문항을만들었다. - 38 -
(5) 점검절차 점검절차는다음과같이 5 단계를거쳐서진행되었다. 1단계 : 진단계획수립 2단계 : 점검대상표본선정 3단계 : 점검대상자방문인터뷰 4단계 : 문제점도출및개선사항정리 5단계 : 보고서작성및환류 나. 평가결과 자료의중복수집 - 심평원, 보건산업진흥원, 공정거래위원회등에서유사한자료를수집한다 - 특히보건의료자원실태조사시온라인상의보고서식은심평원의조사서식과일치한다 인력자원에대한정의 - 인력자원에대한명확한정의가안되어있다 - 임시직에파견근로자나외주용역을포함해야하는지에대한가이드라인이없다 - 의료인중, 경력을위해혹은기술취득을위해있는무급종사자가있다. 이들을의료인력으로포함해야하는지에대한가이드라인이없다 의료장비자료수집상의에러 - 보건의료자원실태조사보고서식상에급여서비스와관련된장비는대 - 39 -
부분장비리스트에나열되어있다. 그런데심평원자료수집시여러 병원이삭감받지않으려고하나의장비를돌려가면서, 실사가있을 때중복보고하는경우가있다. 만일심평원자료수집때처럼보건의 료자원실태조사에병원들이장비를보고한다면, 실제보다많게수치가 잡힐수있다 - 비급여서비스관련장비에대해서는보고유무에따라건강보험공단 에서받는수가에차이가없다. 장비를모두나열하고있지않다. 온라인보고서식은비급여서비스관련 따라서비급여서비스관련장비를 굳이보고할동기가없다. 결국실제보다적게의료장비가보고될가 능성이있다 시설범주 - 혈액은행이임상검사실내에있을경우, 별도로계산해야하는지아닌지에대한가이드라인이없다 - 신생아중환자실을중환자실과집중치료실중어디로간주해야할지에대한가이드라인이없다 - 영양과를외주주었을경우, 포함해야하는지에대한설명이없다 약국보고의문제 - 보고하는내용에불명확하거나제출의어려움이있는것은없다 - 약국이보고를직접하지않을경우, 보건소에서대신입력하는일이있 다. 이러한이유에서, 의료자원실태조사보고를안했다는약국이많았 다 - 약사협회의도움을받아대신입력토록했을수도있다 문의처리 - 40 -
- 문의사항이있을때, 친절하고정확하게설명을해주었다 - 41 -
5. 통계자료서비스진단 가. 개요 (1) 목적통계자료서비스점검을진단하는목적은두가지이다. 첫째는주로발생하는오류의유형과발생원인을파악하여이러한오류의재발방지방안을모색하기위함이다. 둘째는이용자에게필요한기본정보가통계간행물에충분히제공되고있는지를점검하여미흡한점을보완하도록함으로써통계서비스의질을향상시키기위함이다. (2) 평가대상평가대상은통계간행물 ( 통계보고서, 조사결과보고서등 ) 이다. 오류점검을위해서는점검원이통계간행물의내용을확인하고, 이용자편의성점검을위해서는통계담당자에게점검표를작성토록하였다. (3) 점검방법 통계자료서비스점검은다음과같은 6 단계에걸쳐서진행되었다. 1단계 : 진단계획수립 2단계 : 발간물점검원채용및교육 3단계 : 점검실시 4단계 : 점검내용확인및집계 5단계 : 문제점도출및개선사항정리 6단계 : 결과보고서작성및환류 - 42 -
점검원교육의내용은다음과같다. ( 가 ) 점검준비 1 통계품질관리핸드북 통계품질진단이렇게합니다 중 3장 통계자료가정확하고다양한가요? (70-75 페이지 ) 를자세히읽고숙지한다. 2 발간물오류점검표 ( 통계품질관리핸드북 156-160 페이지 ) 를자세히읽고숙지한다. 3 이용자편의사항점검표 (161 페이지 ) 에서 4개의대항목 (1. 이용자를위하여, 2. 조사정보, 3. 모집단및표본설계, 4. 자료집계및추정 ) 에속한진단항목들을자세히읽고내용을숙지한다. ( 나 ) 해당통계의개요파악및발간물점검표작성 1 2006년도국민보건의료실태조사보고서의내용을자세히읽고숙지한다. 2 위의 1에서숙지한해당통계의개요내용중발간물점검표의진단항목에해당하는사항이발견되면그유무를선택하고그근거자료를표기한다. (4) 점검사항점검은발간물오류점검과이용자편의성점검의두가지로구분된다. 먼저발간물오류점검은근거자료와비교하거나표기오류또는누락을확인하는방법으로진행한다. 구체적인점검사항은다음과같다. 1 통계자료 ( 통계간행물내용과통계DB 수치또는최종보고서자료와의일치여부, 미공표자료수록여부, 시계열자료의일관성, 시계열자료의변경등의정확한반영여부 ) - 43 -
2 표형식및내용 ( 정확성, 항목과내용의적절성, 기호의적절성, 표기의일관성 ) 3 용어 ( 용어해설의적절성, 용어의일치성, 통일성 ) 4 단위 ( 정확성, 누락여부, 단위위치의일관성 ) 5 주석 ( 통계표의내용과일치여부, 번호의일치여부, 누락여부등 ) 6 출처 ( 정확성, 누락여부 ) 7 도표및그림 ( 정확성, 오해의여지 ) 8 표기방법등기타사항 ( 목차제목과일치여부, 목차페이지와의일치여부, 색인에표기된페이지에해당내용수록여부, 한글및영문의오탈자, 영문표기의일관성, 영문설명의명확성, 영문표기의누락여부, 표제목의적절성, 이용의편리성을제고할수있는내용수록여부 ) 이용자편의성점검은단순통계자료수록에그치지않고, 이와관련한분석자료, 이용상의유의점, 해석방법등에관한제반정보를제공하는지여부, 그리고조사개요, 표본특성과관련한설명, 용어해설, 부록등이용자들에게기본적으로필요하다고판단되는항목들이수록되었는지여부등을점검한다. - 44 -
나. 발간물오류점검결과 수치자료를점검한결과, 미공표자료는전부공개되어있었고, 시계열자료의일관성, 시계열자료변경의정확한반영은적절하지않은것으로나타났다. 통계 DB자료가없으므로통계간행물의내용과통계 DB 수치의일치여부는확인할수없었다. < 표 31> 수치자료점검 항목적절부적절비고 통계간행물내용과통계 DB 의수치또는최종보고서자료와일치여부 관계없음 미공표자료의존재여부 시계열자료의일관성 통계개편등으로인한시계열자료의변경등의정확한반영여부 표형식및내용을점검한결과, 표형식의정확성, 통계표의항목과내용 의적절성, 기호의적절성, 통계자료표기의일관성은모두적절하였다. < 표 32> 표형식및내용점검 항목 적절 부적절 비고 표형식의정확성 통계표에수록된항목들과내용의적절성 통계표에사용된기호의적절성 통계자료표기의일관성 - 45 -
용어해설부분을점검한결과, 용어해설의적절성, 통계작성기관용어와 의일치성, 용어의통일성모두적절한것으로나타났다. < 표 33> 용어해설부분점검 항목 적절 부적절 비고 용어해설의적절성 통계작성기관용어와의일치여부 용어의통일성 단위부분을점검한결과, 단위표기의정확성, 통계표간단위위치의일관 성은적절하였으나, 단위가누락된표들이있는것으로조사되었다. < 표 34> 단위부분점검 항목 적절 부적절 비고 단위표기의정확성 단위의누락여부 통계표간단위위치의일관성 주석부분을점검한결과, 주석과통계표의내용, 주석번호와통계표내의번 호는일치하였으나, 이용자에게필요한주석이누락된것으로나타났다. < 표 35> 주석부분점검 항목 적절 부적절 비고 주석과통계표내용의일치여부 주석번호와통계표내의번호와일치여부 불필요한주석수록또는이용자에게필요한주석의누락 - 46 -
출처및도표 ( 그림 ) 등을점검한결과, 자료의출처가정확하게표기되어 있었으며, 자료의출처가명기되어있었다. 도표, 그림등은정확하게작성되 었고, 오해를유발할가능성은없는것으로조사되었다. < 표 36> 출처및도표 ( 그림 ) 등점검 항목적절부적절비고 자료출처의정확한표기자료출처의누락여부도표, 그림등이정확한작성여부도표, 그림에오해유발가능성 표기방법등기타오류를점검한결과, 목차의제목과통계표의제목이일치하였고, 목차에표기된페이지에통계표가수록되어있으며, 한글및영문의오탈자는발견되지않았다. 영문표기의일관성, 명확성, 누락여부, 통계표의제목은적절한것으로나타났고, 이용의편리성제고를위한내용도수록되어있었다. 그러나, 색인이수록되어있지않아색인에표기된페이지와해당내용수록여부는확인할수없었다. < 표 37> 표기방법등기타오류점검 항목 적절 부적절 비고 목차의제목과통계표의제목일치여부 목차에표기된페이지에통계표수록여부 색인에표기된페이지에해당내용수록여부 관계없음 한글및영문등의오탈자여부 영문표기의일관성유지여부 영문설명의명확성 영문표기의누락여부 통계표별제목의적절성 이용의편리성제고를위한내용수록여부 - 47 -
다. 간행물이용자편의성수록현황점검결과 (1) 배경이용자에게필요한기본정보가통계간행물에충분히제공되고있는지를점검하여미흡한점을보완하도록함으로써통계서비스의질을향상시키기위함이다. 이렇게함으로써공표자료가오류없는충실한정보를제공한다면, 이용자들은만족스럽게그통계를이용할것이다. (2) 항목이용자편의성점검을위해서다음의네가지차원의항목들을만들었다. ( 가 ) 이용자를위한기본정보 ( 소개, 부록, 기호, 잠정치, 확정치, 자료출처, 제공매체, 문의처 ) ( 나 ) 조사정보 ( 조사목적, 조사연혁, 조사범위, 적용기준, 조사항목, 조사주기, 조사방법, 조사표견본, 조사표변천, 용어설명, 공표방법 ) ( 다 ) 모집단및표본설계 ( 목표모집단, 대상모집단, 모집단의근접성, 표본틀, 표본크기, 표본틀의변경, 표본틀내역, 표본설계방법, 조사체계 ) ( 라 ) 자료집계및추정 ( 품질관리, 가중치, 모수추정방법, 계절조정기법, 표준오차추정치제공, 자료의신뢰성, 무응답현황, 응답자분석, 자료집계 ) (3) 결과 이용자를위한기본정보의경우, 부록, 자료출처는제시되어있었고, 소개, 제공매체, 문의처는누락되었다. 기호, 잠정치, 확정치는해당되지않았다. - 48 -
< 표 38> 이용자를위한기본정보 항목 유 무 비고 소개 부록 기호 관계없음 잠정치, 확정치 관계없음 자료출처 제공매체 문의처 조사정보의경우, 조사목적, 조사연혁, 조사범위, 조사항목, 조사주 기, 조사방법, 조사표견본, 용어설명은제시되어있었고, 적용기준, 조사 표변천, 공표방법은기재되어있지않았다. < 표 39> 조사정보 항목 유 무 조사목적 조사연혁 조사범위 ( 대상 ) 적용기준 조사항목 조사주기 조사방법 조사표견본 조사표변천 용어설명 공표방법 모집단및표본설계의경우, 목표모집단, 대상모집단, 조사체계는제시 되어있었다. 국민보건의료 ( 자원 ) 실태조사의경우전수조사하는조사통계이므 - 49 -
로모집단의근접성, 표본틀, 표본크기, 표본틀의변경, 표본틀내역, 표본설 계방법의항목은해당되지않았다. < 표 40> 모집단및표본설계 항목 유 무 비고 목표모집단 대상모집단 모집단의근접성 관계없음 표본틀 관계없음 표본크기 관계없음 표본틀의변경 관계없음 표본틀내역 관계없음 표본설계방법 관계없음 조사체계 자료집계및추정의경우품질관리, 무응답현황, 응답자분석, 자료집계는기재되어있지않았다. 국민보건의료 ( 자원 ) 실태조사는전수조사이므로가중치, 모수추정방법, 계절조정기법, 표준오차추정치제공, 자료의신뢰성의항목은해당되지않았다. < 표 41> 자료집계및추정 항목 유 무 비고 품질관리 가중치 관계없음 모수추정방법 관계없음 계절조정기법 관계없음 표준오차추정치제공 관계없음 자료의신뢰성 관계없음 무응답현황 응답자분석 자료집계 - 50 -
라. 점검종합 (1) 주요오류유형국가통계승인번호, 마크가누락되었고, 이용자를위하여, 연락처, 홈페이지등연락처및활용매체가기재되어있지않았다. 부록 2. 통계표의경우여러개의표가한페이지에연결되어있거나다음페이지로넘어가서이용자들이보기에불편한점이있었다. 또한, ( 개 ), ( 개소 ) 등의기초적인단위가누락되어있었다. - 51 -
제 3 절 < 국민보건의료 ( 자원 ) 실태조사 > 품질차원별진단 결과 1. 관련성 (Relevance) 관련성은통계이용자에게얼마나의미있고유용한통계를작성하여제 공하고있는가에관련된개념이다. 통계를작성하는과정에서통계의 작성목적을명확히설정하여이를달성하기위한여러가지활동이통 계의관련성을높일수있다. [ 보건의료기본법 ] 제55조 보건복지부장관은국민의보건의료수요및이용행태, 보건의료에관한인력, 시설및물자등보건의료실태에대한전국적인조사를실시한다 라는규정에준하여이조사가시행되었다. 이조사는조사목적에맞는통계자료로서, 관련성이있다고본다. 관련성은내부평가와외부평가에서모두 4.5 점의평가를받았다. 2. 정확성 (Accuracy) 대부분의통계는알수없는참값을추정함으로써작성되는데정확성은 이러한참값과추정된값과의근접성에관한개념이다. 참값과추정된 값의차이가작을수록정확성이높은통계인데정확성을파악하기위해 서는표본오차의크기, 비표본오차의정도및잠정치 / 확정치간의차이 를검토함으로써알수있다. - 52 -
조사대상은전국의보건의료기관전수이라, 표본오차의문제는없다. - 의료법제3조에규정하고있는종합병원, 병원, 치과병원, 한방병원, 요양병원, 의원, 치과의원, 한의원및조사원등전국의의료기관이다. - 지역보건법에의한보건소, 보건의료원, 보건지소및농어촌등보건의료를위한특별조치법에의한보건진료소 - 약사법제16조에의한전국의약국이다. 조사서식의문제 - 인력자원에대한정의문제 ( 파견근로자나외주용역포함여부, 무급종사자포함여부불분명 ) - 비급여서비스관련장비목록이빠져있어서, 굳이보고할필요가없다. 결국실제보다적게의료장비가보고될가능성이있다 - 시설분류의애매성 ( 혈액은행이임상검사실내에있는경우, 신생아중환자실의분류, 외주영양과포함여부 ) 조사과정의문제 - 이조사는각보건소가주최가되어관할지역의보건의료기관이조사 에적극적으로참여하도록독려하여진행하였다. 이조사는전수조사 로 Web 을기반으로하여조사가이루어졌다. 그런데일부약국의경 우, 보건소에서기존의자료를가지고대신입력하는경우들이현장조 사에서드러났다. 따라서현장조사의정확성을높이는관리노력이 필요하다. 정확성은내부평가와외부평가에서모두 4.93 점의비교적높은점수를 받았다. - 53 -
3. 시의성및정시성 (Timeliness and Punctuality) 통계의시의성은작성기준시점과결과발표시점간의차이를나타내는통 계의현실반영도와관련된개념이고, 정시성은예고된공표시기를정 확히준수하는가에대한개념이다. 접할수록시의성이높은통계이다. 작성기준시점과결과발표시점이근 통계이용자들이통계의공표일정을 사전에알수있도록일부주요통계는사전예고제를실시하는데이러한 사전공표일정을정확히준수할수록정시성이높은통계이다. 조사주기가 5 년인데, 지역별보건의료계획과정책을수립하는데필요한 기초자료로서는시의성이떨어진다. 시의성및정시성은내부평가와외부평가에서모두 5 점만점을받았다. 4. 비교성 (Comparability) 비교성은시간또는공간이달라도통계자료가공통된기준을근거로 집계되어서로신뢰할만한비교가가능한지를진단하는요소다. 시간 과공간의변화에따라포괄범위가달라지더라도방법론과기준에대 해서는일관성을유지하는것이통계의비교성을높이는활동이된다. 2001 년과같은조사통계이기는하나, Web 을기반으로하는조사방법을 2006 년도부터활용하였다. 시계열적자료의제시가안되어있다. - 54 -
비교성은내부평가와외부평가에서모두 5 점만점을받았다. 5. 일관성 (Coherence) 서로다른출처, 작성방법에따라작성된통계자료지만동일한사회현 상을반영하는경우각통계자료가얼마나유사한지를나타내는요소 다. 서로다른기관에서작성하는통계라하더라도동일한사회현상을 반영하는통계라면서로유사한결과를나타내는것이일관성을높일 수있다. 심평원자료, 민간기관의자료 ( 의협, 병협 ) 등을통해서도의료자원에대한정보를얻을수있다. - 국민보건의료실태조사는건강보험심사평가원으로부터요양기관파일을협조받아, 보건의료자원조사관리시스템에업로드하고, 조사를한다. 또한조사양식의내용이심평원의양식을따랐기때문에내용이거의일치한다 ( 예를들어, 장비리스트등 ). - 심평원의자료가더정확할수있다. 1 심평원자료는개업시와변경시수시로신고되는자료를이용하기에업데이트되어있는자료이다. 2 급여서비스와관련된의료장비는심평원에보고를해야, 삭감받지않는다. 따라서병원이국민보건의료 ( 자원 ) 실태조사할때보다더적극적으로참여할동기가있다. 일관성은내부평가에서는 5 점만점을받았으나, 외부평가에서는 3 점으 로여러품질요소중가장큰괴리를보였다. - 55 -
6. 접근성및명확성 (Accessibility and Clarity) 접근성은이용자가통계자료를손쉽게접근할수있는정도, 활용가능 한통계표와그통계가어떻게만들어졌는지에대한정보의이용가능성 을말한다. 특히요즘은다양한방법으로통계자료를이용할수있도 록하거나자료를쉽게찾을수있도록검색기능을추가하는것등이 통계의접근성을높이는활동이된다. 또한이러한다양한매체를통 해제공되는통계에대한이해가충분하도록통계를작성하는과정, 자 료이용방법, 데이터이용방법, 부수적인통계이용상의조언등충분한 설명자료를제공하는것이통계의명확성을높이는것이된다. 원자료가제공되고있지않아서, 이용자들이나름대로분석을할수가 없다. 이용자편의를고려한서비스가부족하다. - GIS를이용해서지역별의료기관및인적자원의분포정보를제공하면좋겠다. - 미국 Dartmouth 의과대학에서주도하여만든, 보건의료지도 (Atlas of Health Care) 는세세하게지역별의료자원과질병의분포를보여줌으로써, 의료자원의수요와공급에대해서분석할수있는도구와정보를 제공해준다 (http://www.dartmouthatlas.org/index.shtm). 또한미국의 Center for Disease Control and Prevention 도홈페이지 (http://www.cdc.gov/nchs/fastats/map_page.htm) 에서 지리정보시스 템을이용한정보를제공해주고있다. 접근성은내부평가와외부평가에서모두 4.8 점의비교적높은점수를받았다. - 56 -
제 4 절 < 국민보건의료 ( 자원 ) 실태조사 > 통계품질진단결과 종합 1. 진단결과요약 ( 현황 ) 진단의목적은국민보건의료 ( 자원 ) 실태조사통계에대해전반적인품질상태를진단하고, 보건분야국가통계에대한신뢰성을제고할수있는방안을제시하는데있다. 통계품질진단은품질관리기반진단, 이용자만족도및요구사항반영실태, 세부작성절차별오차관리체계진단, 수집자료의정확성점검, 통계자료서비스점검등의부문으로나뉘어서진행되었다. 통계품질은관련성, 정확성, 시의성 / 정시성, 비교성, 일관성, 접근성 / 명확성등의 6가지품질차원으로나누어접근하였다. 품질관리기반진단은진단대상통계의기본현황, 통계작성여건, 조직관리실태및통계작성담당자의인식을품질관리기반현황표를통해조사하고, 통계담당자와의면담을통해세부사항을확인하는식으로진행하였다. 이를 통해서, 품질관리비전이행을위한방침, 계획, 목표, 세부목표및프로세스수립 시행에있어서다소개선의여지가있는것으로나타났으며, 통계담당직원의품질관리능력개발이나품질관리에의적극적인참여는미흡한것으로나타났다. 또한, 통계작성담당자의교육에대한의지가높지않았으며, 업무수행시필요한장비와소프트웨어가충분하지않은것으로나타났다. 이용자만족도조사및요구사항반영실태진단결과, 통계의정확성, 일관성과접근성, 명확성에대한문제가제기되었다. 다른기관과조사내용 이중복되며, 통계수치가일치하지않았다. 또한원자료가제공되지않고, 입체적인정보가제공되지않아활용도가떨어졌다. 전문가조사결과, 과 - 57 -
반수이상의응답자가 5 년의통계주기가적절하지않다고응답하였다. 1 차 적으로개선되어야할영역으로제공방법의편리성과충분성이지적되었고, 2차개선영역으로는공표시기적절성, 시계열비교편리성, 국가간비교편리성이지적되었다. 세부작성절차별오차관리체계진단에대한평가는내부평가와외부평 가의두가지방법을통해서이루어졌다. 가상당히일치하고있음을알수있었다. 분석결과, 내부평가와외부평가 전반적으로내외부의평가가높 게나타났으며, 관련성, 시의성 / 정시성, 비교성, 접근성 / 명확성은일치하였 다. 수집자료의정확성과관련해서는조사항목정의의불명확성둥의문제가 부각되었다. 여러기관에서유사한자료를수집하고있으며, 구체적인가이 드라인이부족한항목등현장에서조사응답에어려움을호소하는항목들 이있었다. 또한약국의경우보고를직접하지않고보건소에서대신기입 했을가능성이있어서, 조사관리가더엄격히될필요성이제기되었다. 통계자료서비스진단은발간물오류와이용자편의성점검의두가지로 이루어져있다. 먼저발간물오류의경우, 시계열자료의일관성, 시계열자 료변경의정확한반영이적절하지않은것으로나타났다. 또한, 기본단위 와이용자에게필요한주석이누락되었다. 이용자편의성과관련해서는통 계에대한소개, 제공매체, 문의처등통계에대한기본정보가누락되었으 며, 부록에있는표가이용자들이보기에불편한점이있었다. 결론적으로, 국민보건의료 ( 자원 ) 실태조사는조사목적에적합한통계로서, Web 기반조사관리시스템이란새로운시도를통해서자료가생성되었다. 그러나현장조사결과, 조사서식이나조사과정에문제가발견되어개선의여지가있고, 또한유사통계들이있어서이들에대한비교논의가필요하다고판단된다. - 58 -
2. 우수사례발굴 해당사항없음 3. 절차별문제점 절차별문제점을정리하면다음과같다. 가. 품질관리기반의문제점 품질관리기반의문제는조직관리의문제점과자원의문제점으로나누어서 논하겠다. (1) 조직관리의문제점통계품질에대해서조직의리더가비전과가치관을가지고, 품질개선을추진하고있는것으로나타났다. 그러나품질관리비전이행을위한세세한노력이다소부족한것으로나타났다. 작성통계의품질관리를위한인적자원은별도로계획되고관리되고있었으나, 통계담당직원의품질관리능력개발이나품질관리에의적극적인참여는미흡한것으로나타났다. (2) 자원의문제점 통계작성담당자가교육에대한의지가높지않았고, 업무수행시필요한장 비와소프트웨어가충분하지않은것으로나타났다. - 59 -
나. 이용자만족도및요구사항반영실태의문제점 (1) 이용편리성의문제 자료가거의배포되지않아서, 거의활용되고있지못하다. 또한자료의 홍보노력도부족하였다. (2) 조사주기의문제 5년이란조사주기는지역별보건의료계획과정책의기초자료조사로는너무길다. 다. 세부작성절차별오차관리체계의문제점 통계작성절차의적합성에대한평가는내부평가와외부평가의두가지방 식으로이루어졌다. 종합적으로분석한결과는다음과같다. (1) 통계작성기획및관리 통계작성목적이명확하고, 이에적합한통계를생성하고있다. (2) 모집단및표본설계 전수조사이기에표본설계의문제는없다. (3) 조사표설계 조사표가인력자원, 장비, 시설과같은객관적인항목을다루기에내부 및외부평가에서 5 점만점의점수를받았다. 그러나현장조사에서는이조 사표에정의가명확하지않은항목들이있다는것이드러났다. (4) 현장조사관리 - 60 -
Web 기반으로해당기관에서직접입력토록설계되어있으니까, 내부 및외부평가에서 5 점만점의점수를받았다. 그러나현장조사에서실제기 관이직접입력하지않고, 보건소가대신입력해주는사례들이발견되었다. 이는현장조사관리에문제가있음을시사한다. (5) 자료처리및집계 자료수집은 Web 으로진행되고, 수집된자료는교차표나빈도표로보여주 는단순작업이라자료처리과정에대한오류는별로발견되지않았다. (6) 자료이용 자료의공표와관련하여대체적으로외부평가에서좋은평가를받았다. (7) 사후관리단계 전반적으로통계작성과정이체계적으로관리되고있다. 라. 수집자료의정확성문제점 (1) 조사서식의문제 - 인력자원에대한정의문제 ( 파견근로자나외주용역포함여부, 무급종사자포함여부불분명 ) - 비급여서비스관련장비목록이빠져있어서, 굳이보고할필요가없다. 결국실제보다적게의료장비가보고될가능성이있다 - 시설분류의애매성 ( 혈액은행이임상검사실내에있는경우, 신생아중환자실의분류, 외주영양과포함여부 ) (2) 조사과정의문제 - 61 -
- 이조사는각보건소가주최가되어관할지역의보건의료기관이조사 에적극적으로참여하도록독려하여진행하였다. 이조사는전수조사 로 Web 을기반으로하여조사가이루어졌다. 그런데일부약국의경 우, 보건소에서기존의자료를가지고대신입력하는경우들이현장조 사에서드러났다. 따라서현장조사의정확성을높이는관리노력이필 요하다. 마. 통계자료서비스점검의문제점 (1) 발간물오류 발간물오류의경우, 시계열자료의일관성, 시계열자료변경의정확한 반영이적절하지않은것으로나타났다. 또한, 기본단위와이용자에게필 요한주석이누락되었다. (2) 이용자편의성문제이용자편의성과관련해서는통계에대한소개, 제공매체, 문의처등통계에대한기본정보가누락되었으며, 부록에있는표가이용자들이보기에불편한점이있었다. - 62 -
4. 품질차원별문제점 가. 관련성 (Relevance) 이조사는 [ 보건의료기본법 ] 제 55 조조사목적에맞는통계자료로서, 관 련성이있다고본다. 나. 정확성 (Accuracy) 조사서식에문제 ( 인력자원에대한정의문제 / 비급여서비스관련장비 보고누락 / 시설분류의애매성 ) 가있다. 조사과정의문제 ( 대리입력 ) 가있다. 다. 시의성및정시성 (Timeliness and Punctuality) 조사주기가 5 년인데, 지역별보건의료계획과정책을수립하는데필요한 기초자료로서는시의성이떨어진다. 라. 비교성 (Comparability) 시계열적자료의제시가안되어있다. 마. 일관성 (Coherence) - 63 -
유사통계 ( 심평원자료, 민간기관의자료 ( 의협, 병협 )) 가많으며, 정확성 에대한비교평가가되지않았다. 바. 접근성및명확성 (Accessibility and Clarity) 원자료가제공되고있지않아서, 이용자들이나름대로분석을할수가 없다. - 64 -
5. 개선방안 부문별개선방안을단기와중장기로나누어서제시하였다. 단기적개선방안 가. 품질관리기반개선방안 (1) 조직관리의개선방안 통계품질향상을위해, 해당통계관련부서의리더및통계담당직원을 대상으로하는워크샵을개최한다. (2) 자원의문제점 업무수행시필요한장비와소프트웨어의수요를파악하여, 장비를제공한다. 나. 이용자만족도및요구사항반영실태개선방안 인터넷, 홈페이지에있는자료를찾아보기쉽게, 가시성을높이는작업을 해야할것이다. 결과보고서에접근할수있는채널을다양화하고, 이 다양한채널을적극홍보해야한다. 인터넷뿐만아니라, CD 나소책자의 제작과배포등다양한매체를활용할필요가있다. 다. 세부작성절차별오차관리체계의개선방안 (1) 조사표설계 - 65 -
인력자원에대한명확한정의를제공한다. - 임시직에파견근로자나외주용역을포함해야하는지에대한가이드라인을제시한다 - 의료인중, 경력을위해혹은기술취득을위해있는무급종사자가있다. 이들을의료인력으로포함해야하는지에대한가이드라인을제시한다. 의료장비의정확한보고를유도한다. - 비급여서비스관련장비가보고안될수있다. 따라서장비리스트에급여관련된장비만나열할것이아니고, 비급여장비도나열하여쉽게보고할수있는여건을조성해야한다. 시설범주에대한지침을확실히한다. - 혈액은행이임상검사실내에있을경우, 별도로계산해야하는지아닌지에대한가이드라인을제시한다. - 신생아중환자실을중환자실과집중치료실중어디로간주해야할지에대한가이드라인을제시한다. - 영양과를외주주었을경우, 포함해야하는지에대한가이드라인을제시한다. (2) 현장조사관리 병의원조사시, 병원의자원 ( 시설, 인적자원, 장비 ) 에대해서정확하게 Web 에서입력할수있도록, 현장담당직원에대한체계화된교육매 뉴얼을제작하여, 보건소에배포한다. 약국조사시, 보건소가기존의자료를가지고대신입력을해주는경 - 66 -
우가있는데, 최근의정보가누락될수있다. 따라서보건소가현장조 사를제대로유도하고관리할수있도록, 보건소담당직원에대한교 육을제대로실시해야하겠다. 라. 수집자료의정확성개선방안 (1) 연구목적에맞는조사기획 지역보건의료계획수립에활용할수있는기초자료로서이자료가필요한모든내용을포함하고있는지, 그리고정확한지에대해서기존의자료와비교평가해서자료의질을높이는작업이이루어져야하겠다. 이를위해서는, 보건소와같은현장실무자와의회의를개최하여, 현장에서지역보건의료계획수립때어떤정보가필요한지를확인하는과정이있어야한다. 심평원, 보건산업진흥원, 공정거래위원회등에서유사한자료를수집하고있는데, 심평원자료의경우, 급여지급과연관되어있기에정확하게장비를보고하게되어있다. 따라서기존유사통계간의정확성비교및해당통계목적과의적합성에대한비교분석이이루어져야하겠다. 마. 통계자료서비스개선방안 누락내용추가 - 기본정보 : 통계소개, 제공매체, 문의처에대한정보제공 - 조사정보 : 적용기준, 조사표변천, 공표방법에대한정보제공 - 67 -
- 자료집계및추정 : 품질관리, 무응답현황, 응답자분석, 자료집계에대 한정보제공 중장기적개선방안 국민보건의료실태조사를실시하게규정하고있는 [ 보건의료기본법 ] 의개 정을추진한다. 그이유는다음과같다. [ 보건의료기본법 ] 제 55 조 보건복지부장관은국민의보건의료수요및이 용행태, 보건의료에관한인력, 시설및물자등보건의료실태에대한전 국적인조사를실시한다 라는규정에준하여이조사가시행되었다. 그런데이법은심평원등과같은기관들에서보건의료실태에대해자 세한자료를생성하기이전에만들어졌다. 현재는심평원에서보건의료 기관에대한실태조사자료를매년생성하고있으며, 이는급여지급과연 계되어있기때문에더정확한자료가될수있다. 따라서짧은조사주 기의문제도해결할수있다. [ 보건의료기본법 ] 이실태조사실시를규정하고있기때문에, 다른기존의 활용가능한자료가있어도, 조사를실시할수밖에없는상황이다. 이는 중복투자이며예산의낭비로비쳐질수있다. 따라서장기적으로이법 을개정하여, 보다효율적으로통계를생성할필요가있다. 즉 [ 보건의 료기본법 ] 에서조사의실시만을규정할것이아니고, 이용가능한기존 자료가있다면활용할수있는여지를주도록개정되어야한다. [ 보건의료기본법 ] 의개정이후, 기존의자료중에서제일적합한자료를 - 68 -
선정하여정책의기초자료로활용한다. 국민보건의료실태조사자료를 GIS 를이용하여보다입체적으로제시할 필요가있다. 또한인터넷을통해서이용자들이 GIS 정보를더편하게 이용할수있는시스템을구축해야할것이다. 미국 Dartmouth 의과대학에서주도하여만든, 보건의료지도 (Atlas of Health Care) 는세세하게지역별의료자원과질병의분포를보여줌으로 써, 의료자원의수요와공급에대해서분석할수있는도구와정보를제 공해준다 ( 그림 5 참조 )(http://www.dartmouthatlas.org/index.shtm). 또 한미국의 Center for Disease Control and Prevention 도홈페이지 (http://www.cdc.gov/nchs/fastats/map_page.htm) 에서 지리정보시스템 을이용한정보를제공해주고있다 ( 그림 6 참조 ). ( 그림 5) 의료자원과질병의지리적분포 - 69 -
( 그림 6) CDC Map 서비스 국내에서도오영호 (2008) 가 GIS 를이용하여보건의료인력의지리적분포 를분석하였다. 이는수요와공급수준의불균형을분석하는데유용할수있 다. 온라인상에서자료를분석할수있는온라인분석 Tool을만들어제공한다. - 미국의 CDC 홈페이지의경우, 온라인상에서간단한분석을할수있는 Tool(VitalStats or WISQARSTM: Web-based Injury Statistics Query and Reporting System) 을제공하고있다. - 70 -
( 그림 7) CDC 분석도구 - 71 -
6. 결론 국민보건의료 ( 자원 ) 실태조사진단결과, 연구목적에맞는통계를생성하 고있었다. 그러나자료수집과정에서자료의정확성을떨어뜨릴수있는 문제점들이발견되었고, 이용자편의성을높일여지도드러났다. 이외에유 사통계의문제점도있어서, 단기와중장기로나누어개선해야할필요성이 제기되었다. 현재단기간에가능한방안은먼저자료수집의정확성을높이는것이 시급하다. 이를위해서는조사표상에정의가불명확한항목들에대해서보 다상세한가이드라인이제시되어야하겠다. 또한현장조사에대한지도감 독을더확실하게해야한다. 중장기방안을제안하는가장큰이유는유사통계의문제이다. 지역보 건의료계획및정책에기초가되는의료자원에대한자료는심평원이나의 협등의다양한기관에서생성이되고있다. 이통계가정책의기초자료로 다른통계보다더우월하다는근거가미약하다. 이통계는심평원의조사지 와유사한내용을가지고조사가이루어지고있다. 심평원의경우, 급여지 급과관련되어있기때문에병의원이정확하게보고할동기가있지만, 이에비해서이통계조사에는그만한동기가주어지지않는다. 다른활용가능한통계가있음에도 [ 보건의료기본법 ] 에서실태조사를규정하고있기때문에조사를실시한다면, 이는예산낭비로비쳐질수있다. 따라서장기적으로는 [ 보건의료기본법 ] 의개정을통해서, 유용성과상관없이 자료가생성되는것은지양되어야할것이다. 대체할수있는기존의자료 가있다면, 이를활용함으로써예산낭비를줄일수있다. 자료의이용편리성을높이기위해, GIS 를이용한입체적인자료제시방법을 개발해야할것이다. 또한보다다양한매체를이용해서자료에의접근도를높 여야한다. 이외에보고서에누락된정보를추가하는노력이있어야할것이다. - 72 -
진단부문 품질차원 품질관리기반 이용자만족도및요구사항반영 세부작성절차별오차관리체계 수집자료의정확성 통계자료서비스진단 기타 < 표 42> 진단부문에따른품질차원별문제점 관련성정확성시의성 / 정시성비교성일관성접근성 / 명확성 통계담당직원의품질관리참여동기부족 - 조사항목설명부족 - 조사과정감독부실 관련통계와비교분석공표안함 매체활용부족 누락된내용 조사기간이 5 년으로길다 거의배포안됨 - 73 -
< 표 43> 문제점및개선방안 문제점개선과제개선방안비고 품질관리기반취약 : 부서관심및노력부족 담당자통계교육을통한해당부서의관심을높임 통계품질향상을위한부서워크샵 p.10, 65 정보의포괄성부족 : 1) 비급여장비내역 2) 비정규직, 무급여직 현장의실태와의견을수렴하여실상황을반영하는통계생산 보건소현장실무자의요구도조사혹은회의 p.67 긴급개선사항 ( 단기 ) 조사표문제 : 설명부족 조사표에대한정확한설명을추가하도록함 조사표항목에대한자세한가이드라인제시 : p.65, 인력, 장비, 시설에대한 66 애매한개념 누락된내용 현장조사관리문제 : 대리입력 보고서에누락된기본적인내용의추가가필요함 현장조사검증을통하여수집자료의정확성을진단하고대리입력을방지 보고서에누락된내용추가 : 통계소개, 제공매체, 문의처정보, 적용기준, 조사표변천, 공표방법등 현장조사감독체계확립 : 보건소에서일괄적으로약국정보대리입력하는사례방지 p.67 p.66, 67 제한된매체 다양한제공채널을활용하여접근성을확보하도록함 1) 다양한자료제공원개발 : 소책자개발 p.65 점진개선사항 ( 중장기 ) 유사통계 : 심평원자료 ( 수시로 update 됨 ) 유사통계들을활용하여차별성을확인하고대체가능한부분을확인하도록함 1) [ 보건의료기본법 ] 개정 2) 유용한대체통계활용 : 심평원자료고려 p.68 진부한정보제공 : 분석편의성제공부족 이용자들을위한다양한분석툴을개발하도록함 1) GIS 를이용한입체적인정보제공 2) 온라인분석 Tool 제공 p.69 70, 71-74 -
단기개선 1) 품질관리기반개선 2) 조사표개선 3) 현장조사관리감독 4) 현장실무자의견반영노력 중장기개선 1) 보건의료기본법 개정 2) 유용한대체통계활용 3) 입체적인정보및분석툴제공 효과 1) 자료의질제고 2) 예산절감 ( 그림 8) 로드맵 - 75 -
참고문헌 American Hospital Association, Dartmouth Atlas of Health Care, 1999 http://www.cdc.gov/nchs/fastats/map_page.htm http://www. cdc.gov/ncipc/wisqars/ http://www.dartmouthatlas.org/index.shtm 보건복지부 한국보건사회연구원, 2006년국민보건의료실태조사 - 보건의료자원실태조사보고서 -, 2006 오영호, GIS를이용한주요보건의료인력의지리적분포에대한연구, 보건복지포럼, 제141호, 2008 통계청품질관리홈페이지, http://quality.nso.go.kr 통계정책관리시스템, http://codi.stat.go.kr 통계청, 통계품질진단이렇게합니다, 2008-76 -
부 록 - 77 -
품질관리기반현황표 제 1 부 : 기본현황 품질관리기반현황진단 제 2 부 : 통계작성여건 ( 인적, 물적자원 ) 제 3 부 : 조직관리실태 ( 리더십 ) 및통계작성담당자의인식 제 4 부 : 통계작성담당자와의면담내용 부문 ( 주제 ) 사회Ⅱ( 보건 ) 통 계 국민보건의료 ( 자원 ) 실태명조사 승인번호 11749 작성기관 보건복지가족부 품 조사일자 2008년 5월 9일 질조사자진기남 / 천새롬진단확인자진기남 / 천새롬 응답자 소속부서 직급 성명 전화번호 E-mail 통계청 - 78 -
제 1 부기본현황 조사통계 의경우 1. 통계명 * 통계청에서작성승인받은명칭 국민보건의료 ( 자원 ) 실태조사, 국민보건의료 ( 수요및이용 ) 실태조사 2. 작성근거법령보건의료기본법제55조및동법시행령제14조 * 통계작성의근거가되는법조항 3. 작성주기 * 통계가작성되는주기에 4. 작성목적 * 통계를작성하는주요목적 5. 조사대상 * 조사규모 : 전수조사 / 표본조사에 - 표본조사인경우표본수 6. 조사기준시점 8. 조사방법 * 자료수집에이용된방법으로해당되는것모두 9. 조사원구분 * 조사담당직원의신분에해당되는것을모두 10. 통계간행물명 * 해당통계자료가수록된주요간행물명및웹사이트주소기입 1 매월 2 분기 3 반기 4 1 년 5 기타 ( 주기 : 5 년 ) 보건의료인력정책및지역보건의료계획수립을위한시 군 구별정확한보건의료자원통계생산 조사단위 1 개인 2 가구 3 사업체 4 기타 ( 보건의료기관 ) 모집단 우리나라전국보건의료기관 조사대상 우리나라전국보건의료기관 조사규모 1 전수조사 2 표본조사 ( 표본수 : ) 2006 년 6 월 30 일 7. 조사기간 * 실제로조사를실시한기간 1 면접조사 2 우편조사 3 전화조사 4 기타 ( 웹시스템 ) 1 상근조사원 ( 공무원 ) 2 상근조사원 ( 공무원외 ) 3 임시조사원 4 기타 ( 자개식 ) 1 2006 년국민보건의료실태조사 2 통계 DB 수록사이트 : http://hrsic.go.kr 3 2006.10.9 ~ 2007.3.31 11. 통계작성체계 ( 조사단계별업무주체 ) * 각단계별업무담당기관또는부서명기입 - 한단계에여러기관 ( 부서 ) 이관여하는경우는상위기관부터차례로기업 - 직접수행과용역수행부분을나누어서기입 담당기관명 ( 소속부서 ) 1 직접수행 2 용역수행 조사기획 보건복지가족부 한국보건사회연구원 현장조사 자료처리 한국보건사회연구원 한국보건사회연구원 결과분석 공표보건복지가족부한국보건사회연구원 - 79 -
제 2 부통계작성여건 Ⅰ. 인적자원여건 통계담당인력현황및전문성 직급 / 성명 통계업무구체적인전담정도현보직통계업무통계교육이수실적통계업무 ( 본인업무근무연수경력 100% 대비 ) ( 최근 3년간 ) 연구위원 / 연구기획및 50% 5 년 월 5 년 월 2 회 일 OOO 통계분석 공중보건의 / 조사수행및 10% 3 년 월 3 년 월 회 일 OOO 통계분석 공중보건의 / 조사수행및 10% 3 년 월 3 년 월 회 일 OOO 통계분석 공중보건의 / 조사수행및 10% 3 년 월 3 년 월 회 일 OOO 통계분석 공중보건의 / 조사수행및 10% 3 년 월 3 년 월 회 일 OOO 통계분석 선임연구원 / 조사수행및 10% 2 년 월 2 년 월 회 일 OOO 통계분석 Ⅱ. 물적자원여건 1. 통계관련예산규모 ( 단위 : 천원 ) 2006년 2007년 2008년 자체실시 통계조사비용 인건비 외부기관위탁통계조사비용 26,000 합계 26,000 2. 통계작성관련하드웨어및소프트웨어 제품명 ( 용도 ) 하드웨어 (H/W) 소프트웨어 (S/W) 웹서브 Oracle SAS, SPSS, Access, Excel - 80 -
기입요령 Ⅰ 인적자원여건 통계담당인력현황및전문성 직급 / 성명 : 해당통계의담당과 ( 팀 ) 장급이하직원의직급과성명을기입함 ( 일용직제외 ) 구체적인통계업무 : 해당통계의기획, 분석, 행정, 지원, 자료처리, 현장조사등업무내용을기재함 통계업무전담정도 : 다른업무와겸임하는사람의경우해당통계업무비중을기입함예 ) 해당업무비중이전담자인경우 100%, 겸임자인경우 30% 등으로기재 현보직근무연수 : 담당자별현보직기간을기재함 통계업무경력 : 담당자별 현보직기간 + 과거통계업무경력기간 을모두합산하여기재함 통계관련교육훈련이수실적 ( 최근 3 년간 ) : 담당자별통계관련교육회수및교육일수를각각모두더함 Ⅱ. 물적자원여건 1. 통계관련예산규모 ( 부서별로작성 ) 자체실시통계조사비용 - 조사인력인건비를포함하여귀부서에서직접통계조사를실시하는데소요되는예산 ( 실사지도여비, 교육여비등포함 ) - 인건비 ( 제외 : 공무원인건비, 포함 : 일용직인건비, 조사인건비등 ) 산출이가능하면별도기재 외부기관위탁통계조사비용 - 산하기관 단체, 민간조사기관등에통계조사를위탁하는데소요되는총예산 ( 위탁기관에서보고서를발간하는비용포함 ) 2. 통계작성관련하드웨어및소프트웨어 하드웨어사용예시 - 서버용등 : 공동DB서버, 웹서버등 소프트웨어사용예시 -자료처리용 : Oracle, Delphi, Java, SQL 등 -통계분석용 : SAS, SPSS, Access, Excel 등 - 81 -
제 3 부조직관리실태및통계작성담당자의인식 1~10 번진단항목에대한통계작성담당자의평가의견을 5 점척도 ( 매우그렇다 전혀아니다 ) 란에 " 으로표시하여주십시오. 조직관리실태부문 (1~5 번 ) 평가시에는하위요소 에해당여부를 " " 표시하신후이를고려하여각항목을평가하셔야합니다. 조직관리실태 통계담당자인식 매우전혀질문내용그렇다보통아니다그렇다아니다 1. 조직의리더가통계품질을높이기위해비전과가치관을제시하면서모범적인역할을수행하고있습니까? 통계품질에관한조직의비전제시 조직문화의변혁을통한가치관의정립 2. 조직의리더는통계품질관리의필요성을인식하고, 지속적으로품질개선을추진하고있습니까? 조직리더들의통계품질에대한이해도와참여도 통계품질관리에대한인적, 물적자원의적절한지원및배분 조직리더에의한통계품질관리추진 3. 조직리더가품질관리비전을이행하기위하여방침, 계획, 목표, 세부목표및프로세스가수립 시행되고있습니까? 통계품질에관한경영방침의수립 이용자중심의통계품질관리에관한중장기전략목표수립 방침과전략전개의합리성 적절한시스템에의한실행계획의타당성 4. 작성통계의품질관리를위한인적자원은별도로계획되고관리되고있는가? 통계품질관리전담부서및전담인력 통계품질관리를위한인력양성계획 품질교육수요파악및교육이수실적 5. 통계담당직원의품질관리능력이개발되고, 품질관리에의참여가적극적으로이루어지고있습니까? 통계품질을위한전문적인모임의활성화 통계품질을제고하기위한동기부여 6. 통계작성담당자가지금맡고있는통계업무량은적정하 다고생각하십니까? 7. 통계작성담당자는현재통계작성업무를수행하는데해당 예산이적정하다고생각하십니까? 8. 통계작성담당자는현재통계작성업무를수행하는데필요한장비와소프트웨어가충분히확보되어있다고생각하십니 까? 9. 통계작성담당자는지금맡고있는통계업무를보다원활하게수행하기위하여교육을받을필요가있다고생각하십니 까? 10. 통계작성담당자는현재의통계업무를담당하는것에만족 하십니까? - 82 -
제 4 부통계작성담당자와의면담내용 ( 진단팀작성부분 ) Ⅰ. 통계작성시애로사항 통계담당자가평소에느끼고있는애로사항, 문제점등에대하여면담후 자원투입부문 ( 인력, 예산등 ) 과통계작성부문으로구분하여기술함 자원투입부문애로사항 통계작성부문애로사항 Ⅱ. 통계작성과정에서개선할사항 품질관리기반현황표검토과정또는통계담당자와의면담하여인지한개선필요분야를상세하게기술함 통계작성관련개선사항 - 83 -
국가통계품질진단 FGI 실시결과보고서 2008. 7. 중소기업기술정보진흥원 이화여자대학교산학협력단
Ⅰ. 개요 통계명 : < 국민의료비추계및국민보건계정 >, < 국민보건의료 ( 자원 ) 실태조사 >, < 국민보건의료 ( 수요및이용 ) 실태조사 > 일시 : 2008. 6. 13 ( 금 ) 15:00~18:00 장 주 소 : 중소기업기술정보진흥원 9 층세미나실 제 : < 국민의료비추계및국민보건계정 >,< 국민보건의료 ( 자원 ) 실태조사 >,< 국민보건 의료 ( 수요및이용 ) 실태조사 > 에대한이용자들의통계에대한인지, 이용상황, 문제점개선방안등에대한논의 참석자 : 총 13명 품질진단팀 (7명) - 진행자 : 연세대학교보건행정학과진기남교수 - 품질진단팀 : 김문선차장, 천새롬연구원, 박지은연구조교, 조성남교수, 송나라연구조원 통계청품질관리과최경순사무관 통계이용자 (6명) 연구원 3명, 교수 2명, 논설위원 1명 - 85 -
Ⅱ. FGI 결과 국민보건자원실태조사 J: 나. 는의료기관의자원현황수집을하고있다. B: 보사연에서관련조사를생성하고있기때문에보건의료자본배분의효율성증대를위한시스템구축및운영 A: 법의개정이필요하다. D: 심평원의자료를다받아서했는데, 요양기관에서신고하는자료하고차이가난다. 자료의수가차이가난다. 심평원은 650개, 본조사는더낮게나옴. 어느게더정확한자료인지잘모르겠다. F: 보건의료기본법에서근거를둬서하고있지만, 또다른중복의생산이지싶다. 심평원에서도하고각협에서다확인하고있는 DB는다되어있는데그런자료를중복되고있다. 별도로생산된자료가나름대로보고서형태로잘정리되어있지만기본적으로공단이나심평원의자료보다낫다고볼수없다. 심평원자료는릴리즈가잘안되고로우데이터를얻는것은매우어렵고통계연보에는내고있지않다. 장비는장비, 인력, 심사평가와관련되는부분이기때문에연보에실리지는않는다. 그런자료가나오는것은의미가있다고할수있지만자료의차이가있다면정확성에의문을두고있다. 또한약국의자료를보건소에서대신넣지않았을까. B: 심평원자료의릴리스는? F: 가능하다. A: 비급여를원하는병원이라면심평원에보고되지않는다. D: 자료원의출처가명확하지않고, 보사연자료가몽땅갔는데다른자료가되었다. C: 이용자입장에서말씀드리면, 지역별의사약사간호가가있다는게보건정책에있어서필요하겠지만일반이용자입장에서는기계의수준도평가가되어야하지않겠는가. CT, MRI 등도가격도정보공개가되면좋겠다. 국민들은좀가격을보고싶어한다. 그런것을볼수있다면좋겠다. F: 활용측면에서다른얘기를한다면, 내가과연실지로의료기관실태조사와연계가안된다. 매크로데이터다보니국민의입장에서본다면 real data로제공이되었으면좋겠다. J: 다트마스병원이병원자원을 GIS 로제공하는데, 그런자료를한국에도좀더제공할필요가있다. - 86 -