국가통계품질진단연구용역 보건분야 국민구강건강실태조사 국가통계품질진단연구용역 최종결과보고서 2006. 9. 통계청
제출문 제출문 통계청장귀하 본보고서를 보건 주제분야국가통계품질진단연구용역 과 제의종별최종결과보고서로제출합니다. 2006 년 9 월 29 일 중소기업기술정보진흥원양해진 종별책임연구자진기남 ( 연세대학교보건행정학과교수 )
요약문 종별최종결과보고서요약문 연구과제명 보건 분야국가통계품질진단 - 국민구강건강실태조사 - 중심단어 연구기관 국가통계, 통계품질, 보건, 국민구강건강실태조사 중소기업기술정보진흥원이화여자대학교산학협력단 연구기간 2006. 3. 7. ~ 2006. 10. 2 연구책임자 진기남 진단의목적은국민구강건강실태조사통계에대해전반적인품질상태를진단하고, 보건분야국가통계에대한신뢰성을제고할수있는방안을제시하는데있다. 이연구는통계작성환경에서부터품질개선노력의 6 부분에걸쳐서문제점과개선점을지적하였는데, 요약해서보면크게세가지부분에서근본적인재검토와수정작업이필요하다고볼수있다. 첫째, 조사의전반적기획과집행과관련한행정부서가안고있는한계를극복하는일이급선무라고할수있다. 예산과인력이부족하기에, 이번에파악된여러문제를세세하게파악하여, 지속적으로개선하는데어려움을겪고있다. 둘째, 자료수집의주체가확립되어야할것이다. 보건복지부내에구강보건전담부서가있지만, 전국적인실태조사를주도할인력과조직을갖추고있지못하다. 표본조사시행및분석위탁기관은한국구강보건의료연구원이지만실제조사는대한구강보건학회차원에서이루어지고있다. 미국의경우, 질병관리청 (Center for Disease Control and Prevention, CDC) 산하에국가보건통계센터 (National Center for Health Statistics, NCHS) 가있어서, 조사를전담하고있듯이, 우리도이를전적으로담당할기구를확보해야한다. 셋째, 구강건강실태조사를타조사의일부로결합하여수행하는방안에대한심도있는검토가이루어져야하겠다. 미국의경우, 국민건강영양조사 (NHANES) 에구강건강실태조사가포함되어조사가진행되었다 (CDC, 2003). 영국의경우는식이영양조사에아동 / 청소년과노인구강건강실태조사가포함되었다 (Walker et al., 2000; Kelly et al., 2000). 이런결합안에대해서전문가위원회를구성하여, 구체적인로드맵을구상하는것이필요하다고본다.
목차 제 1 장 < 국민구강건강실태조사 > 통계품질진단개요 6 제 1 절진단의목적 6 제 2 절진단대상통계개요 7 제 3 절진단사업수행범위 8 제 2 장 < 국민구강건강실태조사 > 통계품질진단결과 9 제 1 절진단방법및절차 9 1. 통계작성환경진단방법 10 2. 작성절차의적합성진단방법 10 3. 자료수집의정확성진단방법 11 4. 공표자료의충실성진단방법 11 5. 통계이용자만족도진단방법 11 6. 통계품질개선노력진단방법 12 제 2 절 < 국민구강건강실태조사 > 부문별품질진단결과 13 1. 통계작성환경평가 13 2. 통계작성절차의적합성평가 19 3. 자료수집의정확성평가 36 4. 공표자료의충실성평가 40-1 -
5. 이용자만족도조사 52 6. 품질개선노력평가 70 제 3 절 < 국민구강건강실태조사 > 통계품질진단결과종합 71 1. 진단결과요약 ( 현황 ) 71 2. 문제점 73 3. 결론 90 참고문헌 93 < 부록 1> 통계작성환경진단표 94 < 부록 2> 통계작성절차적합성진단표 102 < 부록 3> 자료수집의정확성체크리스트 121 < 부록 4> 공표자료의충실성진단표 124 < 부록 5> 이용자만족도조사지 130 < 부록 6> 통계품질개선노력진단표 139-2 -
< 표차례 > < 표 1> 조직관리실태및통계작성담당자의인식 16 < 표 2> 조사통계품질지표의차원 20 < 표 3> 절차별자체평가점수 22 < 표 4> 절차별자체평가점수 23 < 표 5> 품질차원별자체평가점수 24 < 표 6> 품질차원별자체평가점수 25 < 표 7> 절차별외부평가점수 26 < 표 8> 절차별평균점수의자체 / 외부평가비교 30 < 표 9> 품질차원별외부평가점수 31 < 표 10> 품질차원별평균점수의자체 / 외부평가비교 32 < 표 11> 사전교육 37 < 표 12> 조사여건 (I) 38 < 표 13> 조사여건 (II) 38 < 표 14> 본조사결과보고서의오류점검결과 44 < 표 15> 요약본의오류점검결과 46 < 표 16> 이용자를위한기초정보 49 < 표 17> 조사정보 49 < 표 18> 모집단및표본설계 50 < 표 19> 자료집계및추정 50 < 표 20> 조사표설계항목 53-3 -
< 표 21> 인구통계학적특성 55 < 표 22> 통계의작성주기인지 56 < 표 23> 통계의작성방법인지 57 < 표 24> 통계의사용용도 57 < 표 25> 통계의이용빈도 58 < 표 26> 통계의이용형태 58 < 표 27> 통계자료의입수경로 59 < 표 28> 통계자료의무료제공인지여부 59 < 표 29> 자주사용하는통계자료부분 60 < 표 30> 전반적만족도 60 < 표 31> 향후이용여부 61 < 표 32> 통계자료에대한속성별만족도응답분포 62 < 표 33> 종합만족도와전반적만족도점수 64 < 표 34> 포트폴리오분석결과 65 < 표 36> 통계자료의문제점 66 < 표 37> 본통계에대한전문가여부 67 < 표 38> 전문가설문응답결과 67 < 표 39> 통계품질개선노력실적표 70 < 표 40> 문제점및개선방안 ( 긴급, 점진사항별 ) 92 < 그림차례 > ( 그림 1) 국가통계품질진단업무흐름도 9-4 -
제 1 장 < 국민구강건강실태조사 > 통계품질진단개요 제 1 절진단의목적 진단의목적은국민구강건강실태조사통계에대해전반적인품질상태를 진단하고, 보건분야국가통계에대한신뢰성을제고할수있는방안을제시 하는데있다. 이를위해서이사업은다음과같은구체적인하위목적을가지고있다. 첫째, ISO 인증을받은통계품질진단시스템을각연구자는담당통계의특성 에맞게적용하여통계작성기관통계담당자와의면담을통해통계작성환경 및작성절차의적합성, 기관의해당통계의품질개선노력을진단, 분석한다. 둘째, 보고통계와조사통계의특성에맞게현장조사를실시하여자료수집의 정확성을파악하고, 공표자료의수치오류와이용자편의성을점검하고, 통계이 용자만족도조사를실시하여이용실태및만족정도, 요구사항을파악한다. 셋째, 국 내외문헌자료분석을통해해외의유사통계와의비교, 분석및 벤치마킹할수있는사례를제시하여현보건통계의생산현황에대한개선방 안을제시한다. 넷째, 위를기초로각해당통계및보건통계의통계품질개선을위한방안을 제시하고지속적으로국가단위에서관리할수있도록로드맵을제시한다. - 1 -
제 2 절진단대상통계개요 국민구강건강실태조사 ( 승인번호 : 제 11751호 ) 는작성주기가 3년인조사통계로 2000년에처음시행되었으며, 지금까지두번조사되었고, 올해로세번째를맞는조사통계이다. 보건복지부구강보건팀에의하여기획, 공표되고있으며전국을대상으로개개국민을조사단위로한다. 이를인구주택총조사에근거하여조사구단위로층화집락추출하여한국구강보건의료연구원에서조사, 분석용역을수행한다. 이통계조사는 국민구강건강지표와구강보건의식및구강보건행태등을파악하여중장기구강보건목표설정과구강건강증진사업개발및구강보건사업우선순위결정에필요한기초정보로활용할목적 으로실시되며, 조사내용에는다음과같은내용을다루고있다. 1) 구강건강상태 : 치아상태및관리필요, 치주조직상태및처치필요, 의치 보철상태및필요등 2) 구강건강의식행태 : 주관적구강건강, 구강진료기관이용실태, 구강보건 의식행태등 구강건강상태는구강검진을통해서, 그리고구강건강의식은설문지를통해서 조사가이루어진다. - 2 -
제 3 절진단사업수행범위 통계품질을결정하는차원은학자들마다다르게제시하고있지만, 우리나라의통계청에서는다음의 7가지차원으로종합, 정리하여통계작성승인통계의품질을가늠하고있다. 우선통계의생명이라할수있는정확성 (accuracy), 이용자들이필요로하는시점에서이용할수있도록배려하는시의성 / 정시성 (timeliness/punctuality), 자료이용자에게얼마나의미있고유용한통계를작성, 제공하고있는가의관련성 (relevance), 통계이용자들이통계조사결과를얼마나쉽게, 그리고원하는양식으로편리하게이용가능한가의접근성 / 편리성 (accessibility/convenience), 서로신뢰할만한비교가가능한지를진단하는비교성 / 일관성 (comparability/ coherence), 통계자료가어느정도효율적으로생산되었는가를진단하는효율성 (efficiency), 통계자료가이용자들이만족할수있도록제공하고있는가, 그리고통계의이용자가조사결과자료를쉽게이해하고활용하며분석할수있는가를진단하는서비스성 / 해석성 (serviceability/interpretablity) 의 7가지결정요소로통계품질의수준을가늠한다. 본사업에서는각통계의통계품질진단을통해궁극적으로이 7가지차원에서통계품질의수준이어느정도인지를진단하고각차원들의품질수준을높이기위해각통계의개선방안을제시한다. 통계품질진단은통계가작성되고공표되기까지의전과정에걸쳐통계작성환경, 통계작성절차의적합성, 자료수집의정확성, 공표자료의충실성, 통계이용자만족도조사, 통계품질개선노력등의관점에서통계품질의진단을종합적으로수행한다. 부문별진단과각주제별의관련통계를종합 비교하고해외통계와의비교분석, 국 내외문헌연구를통해통계작성의개선방향및발전적인제안을제시하고, 각통계별품질개선과제를도출하여품질수준업그레이드전략을제시한다. 또한우리나라국가보건정책및국제통계에서요구되는통계를파악하여새로운통계개발, 통계의통 폐합에관한개선안을제시하고보건통계의로드맵을제시한다. - 3 -
제 2 장 < 국민구강건강실태조사 > 통계품질진단결과 제 1 절진단방법및절차 통계품질진단은통계작성환경, 통계작성절차의적합성, 자료수집의정확성, 공표자료의충실성, 통계이용자만족, 통계품질개선노력등의부문으로나뉘어서진행되었다. 통계품질은정확성, 시의성 / 정시성, 관련성, 접근성 / 편의성, 비교성 / 일관성, 서비스성 / 해석성, 효율성등의 7가지품질차원으로나누어접근하였다. ( 그림 1) 국가통계품질진단업무흐름도 통계환경진단 : 담당자면담조사 기본현황, 통계작성여건, 통계담당자인식 보건분야국가통계 (8종) 통계작성절차의적합성진단 : 품질진단서에의한자체진단 / 품질심의위원의외부진단 7 개통계작성단계별 35 개통계품질지표 자료수집의정확성진단 : 인터뷰를통한현장조사내용파악 공통항목 ( 응답자명, 성별, 조사항목등 ) 특성항목 ( 통계담당자와협의 2 개항목선정 ) 공표자료의충실성진단 : 점검원에의한공표자료점검 발간물오류점검 이용자편의성점검 통계이용자만족도진단 : 이용자표본추출및설문조사 통계이용실태파악및만족정도 문제점및개선의견등이용자요구사항 품질일람표작성및분석 종합진단보고서작성 통계품질개선노력진단 : 담당자면담조사 품질진단부문별개선계획및실적진단 - 4 -
통계품질진단의구체적인방법은다음과같다. 1. 통계작성환경진단방법 통계작성환경현황표를작성하여, 해당통계담당자가응답토록하였다. 이를통해서, 다음의세가지내용을조사하였다. 가. 기본현황 : 작성근거법령, 작성주기, 작성목적, 조사대상, 조사기준시점, 조사기간, 조사방법, 조사원지위, 통계간행물명, 통계작성체계나. 통계작성및여건 : 인적자원여건 ( 통계담당인력현황과전문성 ) 과물적자원여건 ( 통계작성관련예산의내영과장비및소프트웨어 ), 통계담당자의애로사항및동계작성과정에서개선할사항다. 통계작성담당자의인식 : 기관장의의지, 방침, 인적자원, 업무량, 예산, 만족도등 2. 작성절차의적합성진단방법 통계품질에영향을미치는 36개품질지표를품질진단서라는질문형식의체크리스트로설계하였다. 통계작성및기획관리, 모집단및표본설계, 조사표설계, 현장조사, 자료처리및집계, 자료이용등 6개과정에관련된문항들에대해서답하도록하였다. 이진단서를해당통계담당자와해당분야의외부전문가에게발송하여, 작성토록하였다. 이경우, 외부전문가는구강보건분야의전문가로서, 대한구강보건학회의협조를구해서대상자를선정하였다. 이외에도, 본연구책임자가통계담당자를직접방문하여, 미리준비한문항을가지고인터뷰하였다. - 5 -
3. 자료수집의정확성진단방법 구강건강조사를실제로수행했던대학교수중조사가가능한 13명에대해서자료수집과정상의문제점에대해서조사하였다. 구강검진에참여했던대학교수에게조사표작성이나검진등과관련된문제점과개선안에대한의견을듣기위하여, 설문지를이용한조사를하였다. 4. 공표자료의충실성진단방법 보도자료, 보고서, DB 등공표자료에수록한내용의수치오류와이용자편의성에대해서점검하였다. 구체적으로다음의두가지항목에대해서진단하였다. 가. 발간물오류점검 : 자료에수록된수치, 표두, 항목명, 영문표기, 수치와그래프의일치여부, 출처자료의원본과비교, 표형식및내용, 단위, 주석등나. 이용자편의성점검 : 분석자료, 이용상의유의점, 해석방법등에관한제반정보를제공하는지여부, 조사개요, 표본특성과관련한설명, 용어해설, 부록등의수록여부 5. 통계이용자만족도진단방법 통계이용실태및만족정도를파악하기위해서, 구강건강조사자료이용자집단에대해서설문조사를실시하였다. 조사내용으로는통계이용실태, 이용만족, 문제점및개선의견, 응답자의특성등이포함되었다. 이용만족과관련해서는구체적으로생산 / 공표, 이용편리성, 내용충실성과전반적만족도의네가지를조사하였다. - 6 -
조사보고서가발송되었던리스트를확보하고, 기타이용하리라고예상되 는전문가집단의리스트를작성하였다. 이집단에대해서만족도설문조사 를실시하였다. 6. 통계품질개선노력진단방법 통계개선계획및실적을비교하여진단한다. 통계작성부서에서작성한품질개선노력실적표에서술된사항들이진단대상통계의품질을높이는데어느정도기여하였는지를통계작성절차의적합성진단내용을참조하여측정하였다. - 7 -
제 2 절 < 국민구강건강실태조사 > 부문별품질진단결과 1. 통계작성환경평가 가. 평가개요 (1) 목적리더십과인적자원관리등은통계를생산하는데필요한기본인프라이다. 따라서본격적인품질진단에앞서, 기관장의관심, 전략과방침, 인력자원관리및예산규모등을파악할필요가있다. (2) 현황 1997년 12월보건복지부내에구강보건전담부서가설치되었다.2000년 1월구강보건법의제정이후, 2000년에우리나라에서처음으로국민구강건강실태조사가시행되었다. ( 가 ) 인적자원여건국민구강건강실태조사통계담당인력은 1명으로통계업무전담정도는 10% 이다. 현재의담당자가이보직에서근무한기간은 1년 11개월이되었으며, 최근 1 년간통계관련교육훈련이수실적은 1회총 2일이다. 유료교육인공무원대상통계전문교육을받았다. ( 나 ) 물적자원여건 2006년도통계관련예산규모는 7억원이다. 2000년, 2003년도의두차례에걸쳐서조사가시행되었으나, 2006년도의 3차조사를맞을때까지인건비및재료비등의인상에도불구하고, 조사총액은변하지않고있어, 예산상의압박이커지고있다. - 8 -
( 다 ) 조사업무성격국민의구강건강을증진, 유지키기위한정책및프로그램개발을위하여구강검진을통하여구강건강관련기초자료를수집하고, 구강건강에대한의식과행태에대한정보를수집하는표본조사이다. 조사의주관부서는보건복지부이나, 실제표본조사와분석은한국구강보건의료연구원에의해이루어진다. 법인체이어야한다는이유때문에, 한국구강보건의료연구원에위탁하지만, 실제조사는대한구강보건학회차원에서이루어지는이중적구조이다. (3) 평가방법및절차첫째세부진단계획을수립하고, 둘째통계작성환경현황표를해당통계담당자에게작성을의뢰한후, 셋째면담을통해조사된내용을다시한번확인하고, 넷째그결과를분석하여작성환경을진단한다. 나. 평가결과 (1) 조직관리실태조직의리더가통계품질을높이기위해비전과가치관을제시하는지와지속적으로품질개선을추진하는지에대한항목에대해서, 통계담당자는보통정도로평가하였다. 품질관리비전을이행하기위하여방침, 계획, 목표, 세부목표및프로세스가수립, 시행되고있는지에대해서는아니라는평가를하였다. 이상의결과는조직의리더가통계품질개선을위한비전제시와실행측면에서제기능을못하고있음을시사한다. (2) 통계작성담당자의인식 인적자원관리측면과관련하여, 인적자원의관리, 직원의품질관리능력의개발, 예산 이나인력의적정성, 통계작성업무수행을위한장비와소프트웨어의확보등의항목에 - 9 -
대해서 전혀아니다 라는평가를담당자가하였다. 또한담당자가전문인력부재의문제를제기하였는데, 국가차원조사의표본추출을책임질담당자를고정적으로운영할필요성에대해서언급하였다. 표본추출부터분석까지계층별 weight 계산등을합리적으로수행하기위해서는, 이를전담할인력이필요하다는의견이다. 현재이런인력이없기에, 분석및작성의주체가조사시기마다불안정적으로변경되고있다는것이다. 통계작성담당자의현재의인적자원관리실태에대한인식이상당히부정적임을알수있다. - 10 -
< 표 1> 조직관리실태및통계작성담당자의인식 매우전혀주요질문내용그렇다보통아니다그렇다아니다비고 1. 조직의리더가통계품질을높이기위해비전과가치관을제시하면서모범적인역할을수행하고있습니까? 통계품질에관한조직의비전제시 조직문화의변혁을통한가치관의정립 2. 조직의리더는통계품질관리의필요성을인식하고, 지속적으로품질개선을추진하고있습니까? 조직리더들의통계품질에대한이해도와참여도 통계품질관리에대한인적, 물적자원의적절한지원및배분 조직리더의통계품질관리에대한관심도와추진의지 3. 조직리더의품질관리비전을이행하기위하여방침, 계획, 목표, 세부목표및프로세스가수립 시행되고있습니까? 통계품질에관한경영방침의수립 방침과전략전개의합리성 적절한시스템에의한실행계획의타당성 4. 통계품질관리를위한인적자원은계획되고관리되며개선되고있는가? 통계품질관리전담부서및전담인력 통계품질관리를위한인력양성계획 품질교육수요파악및교육이수실적 인적자원없음 5. 통계담당직원의품질관리능력이개발되고, 품질관리에의참여가적극적으로이루어지고있습니까? 통계품질을위한전문적인모임의활성화 통계품질을제고하기위한동기부여 6. 통계작성담당자가지금맡고있는통계업무량은적정하다고생각하십니까? 7. 통계작성담당자는현재통계작성업무를수행하는데해당예산이나인력이적정하다고생각하십니까? 8. 통계작성담당자는현재통계작성업무를수행하는데필요한장비와소프트웨어가충분히확보되어있다고생각하십니까? 인적자원없음인적자원없음인적자원없음 9. 통계작성담당자는지금맡고있는통계업무를보다원활하게수행하기위하여정기적으로통계및조사관련교육을받을필요가있다고생각하십니까? 10. 통계작성담당자는현재의통계업무를담당하는것에만족하십니까? 인적자원없음 - 11 -
(3) 조사체계 ( 가 ) 조사진행주체보건복지부내에구강보건전담부서가있지만, 전국적인실태조사를주도할인력과조직을갖추고있지못하다. 또한질병관리본부도이러한조직과자원을갖고있지못하다. 이러한이유에서, 국민건강실태조사는대한치과의사협회산하민간연구원인한국구강보건의료연구원에용역사업으로위탁되었다. 표본조사시행및분석위탁기관은한국구강보건의료연구원이지만실제조사는대한구강보건학회차원에서이루어지고있다. 이는현실적으로조사의특성상구강검진을실시해야하므로의료행위를할수있는의사의참여가필수적이기때문에발생하는것이다. 이렇게두개의기관이연계되어조사를실시하는경우, 기획부서의조사에대한관리또는감독이어려워지며, 의사소통의어려움으로통계품질을저하하는요인이증가할수있다. 현재의위탁방식은매 3년마다실태조사가이루어지기직전에발주하기때문에, 조사된결과의지속적인심층분석이나조사과정의지속적인진화발전을담보할안정적조직체계가없다는점이다 ( 건강증진사업진흥단, 2006). 국가차원조사의표본추출을책임질담당자를고정적으로운영할필요성이제기된다. 미국의경우, 질병관리청 (Center for Disease Control and Prevention, CDC) 산하에국가보건통계센터 (National Center for Health Statistics, NCHS) 가있어서, 조사를전담하고있다. ( 나 ) 예산부족 2000년이후예산을보면, 인건비및재료비등의인상에도불구하고, 조사총액 (5억원 ) 은변하지않고있어, 예산상의압박이점점커지고있는것으로나타났다. 이에따라조사시검진을수행해야하는의사들의참여의지또한감소하고있다. - 12 -
( 다 ) 타조사와의결합미국의경우, 국민건강영양조사 (NHANES) 에구강건강실태조사가포함되어조사가진행되었다 (CDC, 2003). 영국의경우는식이영양조사에아동 / 청소년과노인구강건강실태조사가포함되었다 (Walker et al., 2000; Kelly et al., 2000). 구강건강실태조사를타조사의일부로결합하여수행하는데는나름대로장단점이있다. 먼저결합시의장점으로는전신건강또는식이등구강건강이외의변수들과구강건강변수의상관성을검토할수있는자료를얻을수있다는것과실태조사의규모가커짐에따라행정적및재정적으로규모의경제이득을거둘수있다는것이다. 이런장점에비해서, 단점으로는표본추출에있어서제한을받을수있다는것과예결산작업이까다롭다는것이다 ( 건강증진사업진흥단, 2006). 장기적차원에서보면, 미국, 영국과일본에서처럼국민건강영양조사와결합하는것이바람직하다는의견이많다. 보건복지부담당자는성인 / 유아층과학생층의표본추출틀을분리하여성인 / 유아층은국민건강영양조사의표본을공동이용하고, 학생층은별도의표본추출과조사를시행해야한다는의견을제시하였다. 이과정에서국민건강영양조사는공무원치과의사인력을활용하고, 학생층조사는대학교수등의자원을활용하는안을고려할수있다. 이러한제안에대한보다심도있는검토가있어야하겠다. - 13 -
2. 통계작성절차의적합성평가 가. 평가개요 (1) 목적 국민구강건강실태조사통계작성절차에무리가없었는지를선정된지표에 준하여평가한다. (2) 평가대상통계 평가대상이되는통계는국민구강건강실태조사통계이다. (3) 평가방법통계작성절차의적합성진단은자체진단과외부진단으로구성되어있다. 자체진단은작성절차에대한품질진단서를통계담당자가직접작성함으로써실시된다. 외부진단은통계품질심의위원으로위촉된외부전문가가자체진단결과및진단근거자료를바탕으로재진단을함으로써진행된다. (4) 통계품질지표통계품질지표는통계작성절차를점검할수있는지표, 기술적으로나경제적으로측정에무리가없는지표, 향후품질개선방향을제시할수있는지표이어야한다. 또한이는측정가능하고객관적이어야한다. 통계품질지표는정확성, 시의성, 관련성, 접근성, 비교성, 효율성등의 6개품질차원으로구분된다 ( 표 2 참조 ). - 14 -
< 표 2> 조사통계품질지표의차원 조사통계품질진단지표 품질차원 1-1. 통계작성목적을제시하고있는가? 관련성 1-4. 주된이용자의요구를통계작성에반영하고있는가? 관련성 5-4. 자료결과를검증할수있는관련자료또는유사한통계를파악하고있는가? 비교성 6-9. 시계열자료는일관성이있으며, 변동내역을공개하고있는가? 비교성 1-5. 통계작성개편작업이시의적절하게이루어지고있는가? 시의성 6-3. 결과자료를적절한시점에? 공표하고있는가? 시의성 6-6. 조사결과자료의공표일이사전에예고되고있는가? 시의성 6-7. 사전에예고한공표일을준수하고있는가? 시의성 1-6. 개편작업후개편내용을이용자에게공개하고있는가? 접근성 2-5. 표본추출과정을공개하고있는가 접근성 6-2. 간행물에통계조사와관련된자료를수록하여이용자들의편의를돕고있는가? 접근성 6-5. 모든이용자가조사결과를동시에이용할수있도록공표하고있는가? 접근성 6-8. 다양한매체를이용하여조사결과자료를제공하고있는가? 접근성 6-4. 국가통계승인을득한모든항목의자료를공표하고있는가? 접근성 1-2. 통계작성에사용하고있는개념, 용어, 분류체계및작성방법등기준의타당성을검토하여적용하고있는가? 정확성 1-7. 외부자료를이용하여통계를작성할경우, 외부자료에대한타당성을검토한후, 이를이용하고있는가? 정확성 1-8. 통계작성과관련된각종자료가문서화되어있는가? 정확성 2-1. 작성하고자하는대상모집단이명확하게정의되어있는가? 정확성 2-2. 표본추출후적절한표본관리를통하여표본수준이유지되고있는가? 정확성 2-3. 조사목적, 조사결과발표범위등에비춰볼때표본규모는적정한가? 정확성 2-4. 표본조사를실시하는경우, 표본오차관련지표를작성하고있는가? 정확성 3-1. 조사항목의변경이있을때, 사전조사 (pretest) 를반드시실시하고있는가? 정확성 3-2. 조사표는기입자가이해하기쉽고작성하기에친근한형태로설계되어있는가? 정확성 3-3. 조사지침서 ( 요령서 ) 가작성되어조사와관련한모든사항을파악하고습득할수있는가? 정확성 4-1. 조사기획자는조사직원에대한체계적인교육을실시하고있는가? 정확성 4-2. 조사직원의조사관련전문지식숙지여부를파악하고있는가? 정확성 4-3. 조사기획자는조사직원의조사방법을파악및분석하고있는가? 정확성 4-4. 조사기획자는현장조사에대한단계별업무량을파악하고있는가? 정확성 4-5. 현장조사실시에대한체계적인관리가이루어지고있는가? 정확성 4-6. 현장조사에서발생한의문사항은시기적절하게처리되며, 모든직원이함께공유하고있는가? 정확성 5-1. 무응답실태를파악하여분석하고있는가? 정확성 5-2. 현장조사부터집계분석단계까지적절한내용검토절차가마련되어있는가? 정확성 5-3. 모수를추정하는경우, 추정절차는적정하게이루어지고있는가? 정확성 6-1. 간행물수록자료에대한오류를점검하고있는가? 정확성 6-10. 응답자의비밀보호를위한장치가마련되어있는가? 정확성 1-3. 예산, 인력, 일정등통계작성여건을검토하고있는가? 효율성 - 15 -
(5) 평가절차 평가는다음과같은 6 개단계를거쳐서진행된다. 1단계 : 진단계획수립 2단계 : 통계품질지표보완 3단계 : 통계품질심의위원위촉 4단계 : 품질진단서작성 5단계 : 진단결과분석및보고서작성 6단계 : 환류 (6) 평가일정 2006 년도 5 월, 한달동안진행되었다. 나. 평가결과 (1) 절차별결과절차별로통계담당자에의한자체진단결과를살펴보겠다. 우수의평가를한항목은 현장조사, 보통의평가를한항목은 모집단및표본설계 뿐이었다. 자료이용, 자료처리및집계, 그리고조사표설계에대해서는 미흡 의평가를, 그리고통계작성기획및관리에대해서는 매우미흡 의평가를하였다. 전반적으로, 자체평가점수가낮음을알수있다. 매우미흡하다 (2.9점) 는평가를한통계작성기획및관리의세부항목별평가를살펴보면, 예산, 인력, 일정등통계작성여건에대한평가가개편작업이나이용자의견반영등과함께낮게평가되어있음을알수있다. 여건에대한평가점수가낮은것은앞의통계작성환경평가의결과와일치한다. - 16 -
< 표 3> 절차별자체평가점수 조사통계품질진단지표 점수 1-1. 통계작성목적을제시하고있는가? 4 1-2. 통계작성에사용하고있는개념, 용어, 분류체계및작성방법등기준의타당성을검토하여적용하고있는가? 4 1-3 예산, 인력, 일정등통계작성여건을검토하고있는가? 2 1-4. 주된이용자의요구를통계작성에반영하고있는가? 2 1-5. 통계작성개편작업이시의적절하게이루어지고있는가? 2 1-6. 개편작업후개편내용을이용자에게공개하고있는가? 2 1-7. 외부자료를이용하여통계를작성할경우, 외부자료에대한타당성을검토한후, 이를이용하고있는가? - 1-8. 통계작성과관련된각종자료가문서화되어있는가? 4 2-1. 작성하고자하는대상모집단이명확하게정의되어있는가? 5 2-2. 표본추출후적절한표본관리를통하여표본수준이유지되고있는가? 5 2-3. 조사목적, 조사결과발표범위등에비춰볼때표본규모는적정한가? 2 2-4. 표본조사를실시하는경우, 표본오차관련지표를작성하고있는가? 2 2-5. 표본추출과정을공개하고있는가 4 3-1. 조사항목의변경이있을때, 사전조사 (pretest) 를반드시실시하고있는가? 3 3-2. 조사표는기입자가이해하기쉽고작성하기에친근한형태로설계되어있는가? 4 3-3. 조사지침서 ( 요령서 ) 가작성되어조사와관련한모든사항을파악하고습득할수있는가? 2 4-1. 조사기획자는조사직원에대한체계적인교육을실시하고 4 4-2. 조사직원의조사관련전문지식숙지여부를파악하고있는가? 4 4-3. 조사기획자는조사직원의조사방법을파악및분석하고있는가? 5 4-4. 조사기획자는현장조사에대한단계별업무량을파악하고있는가? 5 4-5. 현장조사실시에대한체계적인관리가이루어지고있는가? 4 4-6. 현장조사에서발생한의문사항은시기적절하게처리되며, 모든직원이함께공유하고있는가? 4 5-1. 무응답실태를파악하여분석하고있는가? 2 5-2. 현장조사부터집계분석단계까지적절한내용검토절차가마련되어있는가? 4 5-3. 모수를추정하는경우, 추정절차는적정하게이루어지고있는가? 4 5-4. 자료결과를검증할수있는? 관련자료또는유사한통계를파악하고있는가? 2 6-1. 간행물수록자료에대한오류를점검하고있는가? 3 6-2. 간행물에통계조사와관련된자료를수록하여이용자들의편의를돕고있는가? 2 6-3 결과자료를적절한시점에? 공표하고있는가? 5 6-4. 국가통계승인을득한모든항목의자료를공표하고? 있는가? 4 6-5. 모든이용자가조사결과를동시에이용할수있도록공표하고있는가? 4 6-6. 조사결과자료의공표일이사전에예고되고있는가? 3 6-7. 사전에예고한공표일을준수하고있는가? 4 6-8. 다양한매체를이용하여조사결과자료를제공하고있는가? 2 6-9. 시계열자료는일관성이있으며, 변동내역을공개하고있는가? 3 6-10. 응답자의비밀보호를위한장치가마련되어있는가? 4-17 -
< 표 4> 절차별자체평가점수 절차 평균점수 통계작성기획및관리 2.9 모집단및표본설계 3.6 조사표설계 3.0 현장조사 4.3 자료처리및집계 3.0 자료이용 3.4 (2) 품질차원별결과품질차원별로통계담당자에의한자체진단결과를살펴보겠다. 관련성, 비교성, 시의성, 접근성과효율성의 5가지차원중, 보통의평가를받은차원은시의성 (3.5점) 과정확성 (3.7점) 뿐이었다. 관련성은미흡 (3점) 하다는평가를받았고, 비교성 (2.5점) 과효율성 (2점) 은매우미흡하다는평가를받았다. 낮은평가를받은비교성차원의경우, 자료결과를검증할수있는관련자료나유사한통계를파악하고있느냐는항목에대한평가가낮게나타났다. 효율성은예산, 인력, 일정등통계작성여건의검토여부등을의미하는데, 이에대한평가가낮게되었다. - 18 -
< 표 5> 품질차원별자체평가점수 조사통계품질진단지표 점수 1-1. 통계작성목적을제시하고있는가? 4 1-4. 주된이용자의요구를통계작성에반영하고있는가? 2 5-4. 자료결과를검증할수있는관련자료또는유사한통계를파악하고있는가? 2 6-9. 시계열자료는일관성이있으며, 변동내역을공개하고있는가? 3 1-5. 통계작성개편작업이시의적절하게이루어지고있는가? 2 6-3. 결과자료를적절한시점에공표하고있는가? 5 6-6. 조사결과자료의공표일이사전에예고되고있는가? 3 6-7. 사전에예고한공표일을준수하고있는가? 4 1-6. 개편작업후개편내용을이용자에게공개하고있는가? 2 2-5. 표본추출과정을공개하고있는가? 4 6-2. 간행물에통계조사와관련된자료를수록하여이용자들의편의를돕고있는가? 2 6-5. 모든이용자가조사결과를동시에이용할수있도록공표하고있는가? 4 6-8. 다양한매체를이용하여조사결과자료를제공하고있는가? 2 6-4. 국가통계승인을득한모든항목의자료를공표하고있는가? 4 1-2. 통계작성에사용하고있는개념, 용어, 분류체계및작성방법등기준의타당성을검토하여적용하고있는가? 4 1-7. 외부자료를이용하여통계를작성할경우, 외부자료에대한타당성을검토한후, 이를이용하고있는가? - 1-8. 통계작성과관련된각종자료가문서화되어있는가? 4 2-1. 작성하고자하는대상모집단이명확하게정의되어있는가? 5 2-2. 표본추출후적절한표본관리를통하여표본수준이유지되고있는가? 5 2-3. 조사목적, 조사결과발표범위등에비춰볼때표본규모는적정한가? 2 2-4. 표본조사를실시하는경우, 표본오차관련지표를작성하고있는가? 2 3-1. 조사항목의변경이있을때, 사전조사 (pretest) 를반드시실시하고있는가? 3 3-2. 조사표는기입자가이해하기쉽고작성하기에친근한형태로설계되어있는가? 4 3-3. 조사지침서 ( 요령서 ) 가작성되어조사와관련한모든사항을파악하고습득할수있는가? 2 4-1. 조사기획자는조사직원에대한체계적인교육을실시하고있는가? 4 4-2. 조사직원의조사관련전문지식숙지여부를파악하고있는가? 4 4-3. 조사기획자는조사직원의조사방법을파악및분석하고있는가? 5 4-4. 조사기획자는현장조사에대한단계별업무량을파악하고있는가? 5 4-5. 현장조사실시에대한체계적인관리가이루어지고있는가? 4 4-6. 현장조사에서발생한의문사항은시기적절하게처리되며, 모든직원이함께공유하고있는가? 4 5-1. 무응답실태를파악하여분석하고있는가? 2 5-2. 현장조사부터집계분석단계까지적절한내용검토절차가마련되어있는가? 4 5-3. 모수를추정하는경우, 추정절차는적정하게이루어지고있는가? 4 6-1. 간행물수록자료에대한오류를점검하고있는가? 3 6-10. 응답자의비밀보호를위한장치가마련되어있는가? 4 1-3. 예산, 인력, 일정등통계작성여건을검토하고있는가? 2-19 -
< 표 6> 품질차원별자체평가점수 품질차원 평균점수 관련성 3.0 비교성 2.5 시의성 3.5 접근성 3.0 정확성 3.7 효율성 2.0 (3) 자체와외부평가결과비교외부전문가 2인에의한평가결과는절차별로보인결과표 ( 표 7) 과차원별로보인결과표 ( 표 9), 두가지로나타내었다. 두평가자간에평가에있어서상당히일치하고있음을알수있다. - 20 -
< 표 7> 절차별외부평가점수 조사통계품질진단지표 점수 A B 1-1. 통계작성목적을제시하고있는가? 4 4 1-2. 통계작성에사용하고있는개념, 용어, 분류체계및작성방법등기준의타당성을검토하여적용하고있는가? 5 4 1-3 예산, 인력, 일정등통계작성여건을검토하고있는가? 3 2 1-4. 주된이용자의요구를통계작성에반영하고있는가? 2 4 1-5. 통계작성개편작업이시의적절하게이루어지고있는가? 3 4 1-6. 개편작업후개편내용을이용자에게공개하고있는가? 3 2 1-7. 외부자료를이용하여통계를작성할경우, 외부자료에대한타당성을검토한후, 이를이용하고있는가? - - 1-8. 통계작성과관련된각종자료가문서화되어있는가? 4 4 2-1. 작성하고자하는대상모집단이명확하게정의되어있는가? 4 5 2-2. 표본추출후적절한표본관리를통하여표본수준이유지되고있는가? 3 2 2-3. 조사목적, 조사결과발표범위등에비춰볼때표본규모는적정한가? 3 2 2-4. 표본조사를실시하는경우, 표본오차관련지표를작성하고있는가? 2 2 2-5. 표본추출과정을공개하고있는가? 5 4 3-1. 조사항목의변경이있을때, 사전조사 (pretest) 를반드시실시하고있는가? 3 4 3-2. 조사표는기입자가이해하기쉽고작성하기에친근한형태로설계되어있는가? 4 4 3-3. 조사지침서 ( 요령서 ) 가작성되어조사와관련한모든사항을파악하고습득할수있는가? 3 2 4-1. 조사기획자는조사직원에대한체계적인교육을실시하고있는가? 4 4 4-2. 조사직원의조사관련전문지식숙지여부를파악하고있는가? 4 4 4-3. 조사기획자는조사직원의조사방법을파악및분석하고있는가? 4 5 4-4. 조사기획자는현장조사에대한단계별업무량을파악하고있는가? 4 5 4-5. 현장조사실시에대한체계적인관리가이루어지고있는가? 4 4 4-6. 현장조사에서발생한의문사항은시기적절하게처리되며, 모든직원이함께공유하고있는가? 5 4 5-1. 무응답실태를파악하여분석하고있는가? 3 2 5-2. 현장조사부터집계분석단계까지적절한내용검토절차가마련되어있는가? 4 4 5-3. 모수를추정하는경우, 추정절차는적정하게이루어지고있는가? 4 4 5-4. 자료결과를검증할수있는관련자료또는유사한통계를파악하고있는가? 3 2 6-1. 간행물수록자료에대한오류를점검하고있는가? 4 3 6-2. 간행물에통계조사와관련된자료를수록하여이용자들의편의를돕고있는가? 4 4 6-3 결과자료를적절한시점에공표하고있는가? 4 4 6-4. 국가통계승인을득한모든항목의자료를공표하고있는가? - 4 6-5. 모든이용자가조사결과를동시에이용할수있도록공표하고있는가? 5 4 6-6. 조사결과자료의공표일이사전에예고되고있는가? - 2 6-7. 사전에예고한공표일을준수하고있는가? - 4 6-8. 다양한매체를이용하여조사결과자료를제공하고있는가? 4 2 6-9. 시계열자료는일관성이있으며, 변동내역을공개하고있는가? 2 3 6-10. 응답자의비밀보호를위한장치가마련되어있는가? 4 4-21 -
절차별로제시된외부평가의견을살펴보면다음과같다. 1 통계작성기획및관리주된이용자의요구를통계작성에반영하고있는가라는항목에대해서, 이용자의욕구를피드백할수있는시스템개발이필요하다는지적이있었다. 이외에일반대중의자료에대한접근성을높여서, 활용분야를찾게해야한다는의견도제시되었다. 통계작성에사용되는개념, 용어, 분류체계등과관련해서는우식증진단기준을국제적으로비교가능하게해야한다는지적이있었다. 또한통계작성개편작업이시기적절하게이루어지느냐는항목에대한반응은지속적인개편작업을담당할주체가명확히규정되어 책무성 을강화할필요가있다는의견이었다. 개편작업후개편내용을이용자에게공개하고있는가라는항목에대해서도이용자공개범위가관련전문직에게만한정된느낌이라, 일반인들이보다더접근하기용이하게할필요가있다고지적하였다. 전반적으로예산제약으로인해실태조사의여건이악화되고있기때문에, 예산의확보가절실히요구된다는데공감하고있었다. 또한구강건강실태조사를장기간에걸쳐계획하고수행하는안정된조직이있어야한다는의견이있었는데, 현재의이원화된조사주체에대한문제제기로보인다. 2005년도보고된구강건강실태조사표준화및시행방안에관한연구에준하여 2006년도실태조사가시행될것이라니, 올해년도조사에서얼마나개선되었는지를주시해볼필요가있겠다. - 22 -
2 모집단및표본설계표본추출후적절한표본관리를통하여표본수준이유지되고있는가에대해서, 3년마다의조사가뚜렷한주체없이실시되고, 더욱이다른방식으로진행되었기에문제가있다는지적이었다. 또한 2003년도에는 60개의조사구를대폭축소조정한데다, 능동적으로방문한사람들만대상으로실시해서모집단을대표하는표본으로보기힘들다는의견이개진되었다. 구강병의유병률은일반질병과달리매해그변동폭이크기때문에, 표본의연령층구성이매우세분화되어야하는특성이있다. 따라서표본추출시이에대한보다세심한고려가필요하다. 또한표본규모도예산에따라표본수를맞추는상황이라, 적절하지않고, 예산이증액되어야한다는의견이제시되었다. 표본오차에대한지표작성에대해서도심층분석이필요하다는부정적평가가내려졌다. 조사시점별결과를객관성있게비교하기위해서는미국의 MMWR 2005' 보고서처럼표준오차의산출이기본이므로, 점추정치와함께필수적으로산출해야한다는지적이있었다. 3 조사표설계 2003년도조사항목변경등에대해서 pre-test를실시하여사전검증을하였지만, 변경된방법에대한검증목적이었지, 조사항목자체의객관성확보와조사항목의표준화를위한사전조사가아니기에, 변경된조사항목에대한추가적인검증작업이요구된다는의견도있었다. 이외에조사지침서가좀더명확하게마련되어야할필요성이제기되었다. - 23 -
4 현장조사관리현장조사에서발생한의문사항에대한시기적절한관리와관련해서, 온라인을통한문제해결시스템이마련되어야한다는지적이있었다. 현장조사에대한사전교육은 2000년도의경우철저히시행되었고, 도움이되었다는평가가있었다. 그런데 2003년도의경우에는실태조사유경험자와처음참여자간의차이가발생하여, 교육강화의필요성이제기되었다. 5 자료처리및집계 2006년도에는 무응답 실태를파악하고분석할예정으로있어서, 무응답실태에정보를얻게될것으로예상한다. 점추정치이외에자료의분포특성을파악하는데도움이되는표준오차의제시가요망된다는지적이있었다. 6 자료이용조사시점및공표시점이조사시마다약간의변화가있는데, 장기간에걸친변화양상의파악을위해일정시점의조사및발표가필요하다는의견이있었다. 또한조사결과에의접근성을높이게더적극적인홍보노력이필요하다는지적도있었다. 현재는보건복지부홈페이지, 한국구강보건학회홈페이지, 서울대예방치과홈페이지에결과게재되어있으나, CD 제작, 구강관련사이트와의다양한연계노력이필요하다는지적이다. 절차별자체평가와외부평가의결과를비교해보면, 자체평가보다오히려외부평가가상대적으로긍정적이었다. 자체평가와외부평가에서모두 우수 하다는평가를받은부문은현장조사였다. 자체평가가외부평가보다좋았던것은모집단및표본설계, 한부문에대해서만이다. 자체평가는보통 (3.6점) 이었지만, 외부평가는미흡 (3.2점) 이었다. 자체평가보다외부평가가더좋았던것은통계작성기획및관리, 조사표설계, 자료처리및집계, 자료이용의네부문이었다. - 24 -
< 표 8> 절차별평균점수의자체 / 외부평가비교 절차 자체평가 외부평가 통계작성기획및관리 2.9 3.4 모집단및표본설계 3.6 3.2 조사표설계 3.0 3.3 현장조사 4.3 4.3 자료처리및집계 3.0 3.3 자료이용 3.4 3.6 다음의 < 표 9> 는품질차원별외부평가점수를보이고있다. 이는앞의 < 표 7> 을품질차원별로재구성한것이다. - 25 -
< 표 9> 품질차원별외부평가점수 조사통계품질진단지표 A 점수 1-1. 통계작성목적을제시하고있는가? 4 4 1-4. 주된이용자의요구를통계작성에반영하고있는가? 2 4 5-4. 자료결과를검증할수있는관련자료또는유사한통계를파악하고있는가? 3 2 6-9. 시계열자료는일관성이있으며, 변동내역을공개하고있는가? 2 3 1-5. 통계작성개편작업이시의적절하게이루어지고있는가? 3 4 6-3. 결과자료를적절한시점에? 공표하고있는가? 4 4 6-6. 조사결과자료의공표일이사전에예고되고있는가? - 2 6-7. 사전에예고한공표일을준수하고있는가? - 4 1-6. 개편작업후개편내용을이용자에게공개하고있는가? 3 2 2-5. 표본추출과정을공개하고있는가? 5 4 6-2. 간행물에통계조사와관련된자료를수록하여이용자들의편의를돕고있는가? 4 4 6-5. 모든이용자가조사결과를동시에이용할수있도록공표하고있는가? 5 4 6-8. 다양한매체를이용하여조사결과자료를제공하고있는가? 4 2 6-4. 국가통계승인을득한모든항목의자료를공표하고있는가? - 4 1-2. 통계작성에사용하고있는개념, 용어, 분류체계및작성방법등기준의타당성을검토하여적용하고있는가? 5 4 1-7. 외부자료를이용하여통계를작성할경우, 외부자료에대한타당성을검토한후, 이를이용하고있는가? - - 1-8. 통계작성과관련된각종자료가문서화되어있는가? 4 4 2-1. 작성하고자하는대상모집단이명확하게정의되어있는가? 4 5 2-2. 표본추출후적절한표본관리를통하여표본수준이유지되고있는가? 3 2 2-3. 조사목적, 조사결과발표범위등에비춰볼때표본규모는적정한가? 3 2 2-4. 표본조사를실시하는경우, 표본오차관련지표를작성하고있는가? 2 2 3-1. 조사항목의변경이있을때, 사전조사 (pretest) 를반드시실시하고있는가? 3 4 3-2. 조사표는기입자가이해하기쉽고작성하기에친근한형태로설계되어있는가? 4 4 3-3. 조사지침서 ( 요령서 ) 가작성되어조사와관련한모든사항을파악하고습득할수있는가? 3 2 4-1. 조사기획자는조사직원에대한체계적인교육을실시하고있는가? 4 4 4-2. 조사직원의조사관련전문지식숙지여부를파악하고있는가? 4 4 4-3. 조사기획자는조사직원의조사방법을파악및분석하고있는가? 4 5 4-4. 조사기획자는현장조사에대한단계별업무량을파악하고있는가? 4 5 4-5. 현장조사실시에대한체계적인관리가이루어지고있는가? 4 4 4-6. 현장조사에서발생한의문사항은시기적절하게처리되며, 모든직원이함께공유하고있는가? 5 4 5-1. 무응답실태를파악하여분석하고있는가? 3 2 5-2. 현장조사부터집계분석단계까지적절한내용검토절차가마련되어있는가? 4 4 5-3. 모수를추정하는경우, 추정절차는적정하게이루어지고있는가? 4 4 6-1. 간행물수록자료에대한오류를점검하고있는가? 4 3 6-10. 응답자의비밀보호를위한장치가마련되어있는가? 4 4 1-3. 예산, 인력, 일정등통계작성여건을검토하고있는가? 3 2 B - 26 -
다음의 < 표 10> 은품질차원별자체평가와외부평가점수를비교하여보여준다. 자체평가와외부평가가같았던차원은비교성, 시의성, 정확성, 효율성의네가지이었다. 비교성과효율성은자체평가와외부평가모두에서매우미흡하다는평가를받았다. 반면에시의성과정확성은외부평가와자체평가모두에서보통의평가를받았다. 관련성과접근성차원의경우, 자체평가는미흡이었지만, 외부평가는보통이었다. 품질차원중, 비교성은자료결과를검증할수있는관련자료또는유사한통계를파악하고있는가와시계열자료의일관성에대한것이었다. 국민구강건강실태조사의경우, 2000년과 2003년도자료의일관성이없기에낮은평가를받은것으로보인다. < 표 10> 품질차원별평균점수의자체 / 외부평가비교 품질차원 자체평가 외부평가 관련성 3.0 3.5 비교성 2.5 2.5 시의성 3.5 3.7 접근성 3.0 3.7 정확성 3.7 3.7 효율성 2.0 2.5-27 -
(4) 종합평가통계작성절차의적합성에대한평가는자체평가와외부평가그리고연구진에의한통계담당자방문면담의세가지방식으로이루어졌다. 그런데종합적으로비교분석한결과, 자체평가보다외부평가가더긍정적이었다. 통계작성환경평가에서드러났듯이, 통계담당자는현재의실태조사의여건을위시한전반적인과정에대해서많은문제점을인식하고있는듯하다. 자체평가와외부평가에서모두 우수 하다는평가를받은부문은현장조사뿐이었다. 모집단및표본설계와자료이용은각각자체평가와외부평가에서보통이라는평가를받았을뿐이다. 나머지통계작성기획및관리, 조사표설계와자료처리및집계는자체평가와외부평가모두에서미흡혹은그이하의평가를받았다. ( 가 ) 통계작성기획및관리전반적인기획및관리의문제는결국예산, 인력과실행주체의문제로연결된다. 일단예산의뒷받침이없이는실태조사의질적수준의제고는힘든일이다. 이어서, 실태조사나개편작업을담당할주체의필요성이제기되었는데, 결국이는현재의이원화되어있는조사주체의문제와연결된다고본다. 통계작성에사용되는개념이나방법등과관련해서, 현재의국제화추세에비추어볼때, WHO의우식증진단기준논의에맞추어, 국제적으로비교가능한기준설정의노력이있어야하겠다. 또한이용자욕구를반영하고, 접근성을높일수있는다양한방안이모색되어야할것이다. 현재국민구강건강실태조사는 2회실시되었지만, 2차례의조사방식이달라서일관성이결여되어있는실정이다. 이상지적한바와같이, 통계작성기획및관리측면에서많은문제점을갖고있다. 이러한이유에서, 평가가낮게되었다고본다. - 28 -
( 나 ) 모집단및표본설계 2003년도실태조사표본의대표성에대한부정적평가가지배적이었다. 게다가예산부족으로인한표본수감소와 3년마다의조사가뚜렷한주체없이실시되는데대한부정적시각이합쳐져, 표본설계전반에대한부정적평가로이어졌다고본다. 현재는표본규모도예산에맞추는상황이라, 과학적으로표본규모도도출되는상황도아니다. 표본오차관련지표작성의필요성이제기되었다. ( 다 ) 조사표설계 조사표의변동이있었기에, 지침서의중요성이더부각되었다. ( 라 ) 현장조사관리현장조사가 1차와 2차모두구강건강관련역학조사경험이있는전문가들로구성되었었다. 이들전문가들은거의모두치과대학의예방치학교수또는예방치학전공자들이었다. 이러한전문인력이여러열악한조사환경에도불구하고참여하여, 현장조사수준을높였다고판단된다. 이러한이유에서, 자체평가와외부평가모두에서우수의평가가내려졌다고본다. 그런데문제는앞으로도계속이런고급인력의도움을받을수있느냐는것이다. 예산의제약하에서, 전문인력의활용은더욱힘들어지는상황이다. 그렇다면, 실태조사를전담할인력이필요하다. 미국의경우, 질병관리청 (CDC) 에구강보건부서 (Division of Oral Health) 가있어서, 이런인력이배치되어있다. 이인력은반드시치과의사일필요가없고, 전공성을갖추고직접검진을하거나일정기간계약에따라모집한검진요원을훈련시킬수있는전공자면될것이다 ( 건강증진사업지원단, 2006). - 29 -
( 마 ) 자료처리및집계 2006년도에는 무응답 실태를파악하고분석할예정으로있어서, 무응답실태에정보를얻게될것으로예상한다. 점추정치이외에자료의분포특성을파악하는데도움이되는표준오차도제시되어야할것이다. ( 바 ) 자료이용조사결과에의접근성을높이게더적극적인홍보노력이필요하다. 현재는접근가능한채널이제한적 ( 보건복지부홈페이지, 한국구강보건학회홈페이지, 서울대예방치과홈페이지 ) 이지만, 앞으로 CD 제작, 구강관련사이트와의다양한연계노력이필요하다. - 30 -
3. 자료수집의정확성평가 가. 개요 (1) 목적 자료수집의오류유형과발생원인에대한실증자료를축적하여, 조사품질 을개선시키는데활용하기위함이다. (2) 점검대상구강건강조사의대상자에대한리스트파일이존재하지않았기때문에, 검진을한전문가들을점검대상으로선정하였다. 구강건강조사를실제로수행했던전문가중조사가가능한 15명에대해서자료수집과정상의문제점에대해서조사하였다. (3) 점검방법구강검진에참여했던전문가에게조사표작성이나검진등과관련된문제점과개선안에대한의견을듣기위하여, 인터뷰설문지를만들었다. 만들어진점검표를이용한조사는이메일조사와전화조사를병행하여진행하였다. (4) 점검항목점검항목의차원은사전교육과조사표작성및검진의두가지로하였다. 먼저, 사전교육과관련해서는사전교육여부나유용성등과관련된 4문항을작성하였다. 조사표작성및검진과관련해서는조사항목수, 인원, 시설, 일정등의적절성을묻는 7문항을만들었다. - 31 -
(5) 점검절차 점검절차는다음과같이 7 단계를거쳐서진행되었다. 1단계 : 진단계획수립 2단계 : 점검대상표본선정 3단계 : 인터뷰설문지제작 4단계 : 검진의사에대한설문조사 5단계 : 점검내용확인및집계 6단계 : 자료분석 7단계 : 보고서작성및환류 나. 평가결과 (1) 점검결과 조사대상자들모두사전교육을받았었다고응답하였다. 교육이조사를수 행하는데도움이되었느냐는질문에모두도움이되었다고응답하였다. < 표 11> 사전교육 항목 예 아니오 합계 사전교육여부 15 0 15 교육의유용성 15 0 15 조사여건과관련해서, 작성의어려움 ( 이해가안되거나검사를하거나동의를얻어내기어려운부분 ) 을경험했다는응답은 15명중 2명이답하였다. 주요문제는가구원조사에서대상자들이비협조적이었다는데있다. 검진하는데필요한시설이나기구에문제가있었느냐는질문에 15명중 6명이문제가있었다고답하였다. 검진시에의자가부족하던지, 조명이어두워서힘들었다는의견이제시되었다. 이는조사환경에문제가있음을시사한다. - 32 -
< 표 12> 조사여건 (I) 항목 예 아니오 합계 작성의어려움 2 13 15 시설의문제 6 9 15 조사항목수가적절하였느냐는질문에대해서는적절하거나충분하다는응답이 15명중 14명이었고, 1명만이부족하다고답하였다. 조사인력은적절하였느냐는질문과관련해서, 조사인력이부족하였다는답은 2명만이하였다. 조사일정이적절하였느냐는질문에대해서는 15명중 10명이짧았다고답하였다. < 표 13> 조사여건 (II) 항목 부족 적절 충분 합계 조사항목수 1 10 4 15 조사인력 2 13 0 15 조사일정 10 5 0 15 (2) 점검종합자료수집의정확성을평가하기위해서질문을사전교육과조사표작성및검진의두범주로나누어하였다. 먼저사전교육과관련해서는모두교육을받았고, 도움을받은것으로평가하였다. 따라서사전교육이잘이루어지고있음을알수있었다. 그러나미국의교육훈련에비해서는아직도더개선의여지가있다고하겠다. 미국은구강검진요원의교육훈련을 3단계에걸쳐서진행한다. 초기교육훈련은 1회 6일간에걸쳐서, 슬라이드교육, 모형교육, 표준화과정과일치도측정과정등으로진행된다. 이어서실전교육훈련은 1회 3일간진행되고, 주기적현장일치도조사가이루어진다. 우리나라의교육훈련은미국의 3단계중초기교육훈련정도에비유된다고평가된다 ( 건강증진사업단, 2006). - 33 -
조사표작성및검진의경우에는제일문제가있는것으로부각된것이조사시설이나기구의문제와일정의문제이었다. 미국의경우, 검진은이동검진센터에서이루어지는데, 이이동검진센터는트레일러형태로되어있으며, 표준화된장비와기구를갖추고, 표준화된시료채취과정에따라, 훈련된조사요원에의해운영된다 ( 건강증진사업단, 2006). 이러한첨단시설에비추어볼때, 우리나라의구강검진이이루어지는상황은너무열악하다고할수있다. - 34 -
4. 공표자료의충실성평가 가. 개요 (1) 목적공표자료의충실성을진단하는목적은두가지이다. 첫째는주로발생하는오류의유형과발생원인을파악하여이러한오류의재발방지방안을모색하기위함이다. 둘째는이용자에게필요한기본정보가통계간행물에충분히제공되고있는지를점검하여미흡한점을보완하도록함으로써통계서비스의질을향상하기위함이다. (2) 평가대상평가대상은통계간행물 ( 통계보고서, 조사결과보고서등 ) 이다. 오류점검을위해서는점검원이통계간행물의내용을확인하고, 이용자편의성점검을위해서는통계담당자에게점검표를작성토록하였다. (3) 점검방법 공표자료의충실성진단은다음과같은 5 단계에걸쳐서진행되었다. 1 단계 : 진단계획수립 2 단계 : 발간물점검원채용및교육 점검원교육의내용은다음과같다. - 35 -
( 가 ) 점검준비 1 통계품질관리핸드북 통계품질이렇게합니다 중 5장 통계자료가정확하고다양한가요? (51-58 페이지 ) 를자세히읽고숙지한다. 2 발간물오류점검지침 ( 통계품질관리핸드북111-113 페이지 ) 을자세히읽고숙지한다. 3 발간물점검표에서 2개의대항목 (1. 이용자를위하여, 2. 조사정보 ) 에속한진단항목들을자세히읽고내용을숙지한다. ( 다른 2개의진단항목은이번발간물점검에서는작성하지않는다 ) ( 나 ) 해당통계의개요파악및발간물점검표작성 1 2003 년도국민구강건강실태조사 III. 본조사결과보고서중페이지 5-40, 99-118, 430-433 내용을자세히읽고숙지한다. 2 2003년도국민구강건강실태조사 IV. 조사결과평가 / 분석연구보고서중페이지 3-16 내용을자세히읽고숙지한다. 3 위의 1에서숙지한해당통계의개요내용중발간물점검표의진단항목에해당하는사항이발견되면그유무를선택하고그근거자료를표기한다. 4 또한아래발간물점검의지침에따라발간물을점검하는동안에발간물점검표의진단항목에해당하는사항이발견되면그유무를선택하고그근거자료를표기한다. - 예시 - 2-10: 용어해설유 2004년도식품및식품첨가물생산실적보고서, II 조사개요, 9. 용어해설 (11-12 페이지 ) - 36 -
3단계 : 점검실시발간물점검은다음과같은지침에준하여실시하였다. 1 점검중에발간물의오류가발견되면그오류에해당하는발간물오류점검지침의분야와점검부문을찾아다음의예시와같이기록한다. -예시- 분야점검부분오류내용 / 특이사항위치 2004 년과자류 단위부분 단위의누락여부확인 생산량에대한표에서단위 (ton) 이누락됨 보고서 346 페이지 2 점검중에발견된오류에대한해당점검지침의분야나점검부문이없다고생각되면오류내용과위치만기록한다. 3 발간물점검은발간오류의검색뿐만아니라항상이용자의측면을고려하여실시한다. 발간된자료를통하여이용자가필요한자료를용이하게찾을수있는지또는표나그림의내용을쉽게이해할수있는지등을항상고려하며점검을실시한다. 이용자측면에서발간물의자료이용또는내용의이해에대하여문제가있다고판단될경우반드시기록한다. -예시- 분야점검부분오류내용 / 특이사항위치 연령별몸무게에대한막대그래프에서막대의수가한그림에너무많아연령별수치비교가어려움 보고서 ( 요약 ) 24,34,56-78 페이지 4 언제든지특이사항이발견되면그내용을기록한다. - 37 -
5 점검을실시한모든항목들 ( 내용, 숫자, 주석등 ) 은점검대상통계간행 물에빨간색으로표시한다. 4 단계 : 점검내용확인및집계 5 단계 : 결과보고서작성및환류 (4) 점검사항점검은발간물오류점검과이용자편의성점검의두가지로구분된다. 먼저발간물오류점검은근거자료와비교하거나표기오류또는누락을확인하는방법으로진행한다. 구체적인점검사항은다음과같다. 1 통계자료 ( 통계DB, 외부통계자료, 간행물자료와의일치여부, 미공표통계자료수록여부, 시계열자료의일관성 ) 2 표형식및내용 ( 정확성, 적절성, 기호의적절성, 표기의일관성, 제목과의일치여부 ) 3 용어 ( 용어해설의적절성, 용어의일치성, 통일성 ) 4 단위 ( 정확성, 누락여부, 단위위치의통일성 ) 5 주석 ( 통계표의내용과일치여부, 번호의일치여부, 누락여부등 ) 6 출처 ( 정확성, 누락여부 ) 7 도표및그림 ( 정확성, 오해의여지 ) 8 기타사항 ( 목차제목과일치여부, 목차페이지와의일치여부, 한글및영문의오탈자, 영문표기의일관성, 영문표기의누락여부, 표제목의적절성, 설명문의정확성등 ) 이용자편의성점검은단순통계자료수록에그치지않고, 이와관련한분석자료, 이용상의유의점, 해석방법등에관한제반정보를제공하는지여부, 그리고조사개요, 표본특성과관련한설명, 용어해설, 부록등이용자들에게기본적으로필요하다고판단되는항목들이수록되었는지여부등을점검한다. - 38 -
나오류점검결과요약 본조사결과보고서의오류점검결과, 주로발생한오류는수치값의오류 보다는단위누락과이용자편리성문제로집중되었다. 좀더세심한설명이 추가되어야필요가있다. < 표 14> 본조사결과보고서의오류점검결과 분야 점검부분 오류내용 / 특이사항 위치 수치부분 수치일치확인 수치불일치 23.07 -> 23.70 P62,202 기타 영문표기누락확인단락영문표기가누락되었다 P81~89 기타 이용자의편리성 표내용의, 한글표기가필요하다 P119~294 단위부분단위의누락통계단위가표기되어있지않다 P121 단위부분단위의누락통계단위가표기되어있지않다 P126 단위부분단위의누락통계단위가표기되어있지않다 P133 기타 영문표기정렬 정렬의오류 Ag-> Age e 주석부분 주석의누락 이용자의편리를위해필요한주석이누락되었다 단위부분 단위의누락 통계단위가누락되었다 P206 P133, 138, 143,151, 158, 163, 168, 173, 179, 185, 190, 195 P138, 143, 151, 158, 163, 168, 173, 179, 185, 190, 195, 201, 206, 210, 218, 224, 230, 237, 243, 249, 254, 259, 265, 291-39 -
분야점검부분오류내용 / 특이사항위치 이용자의편의를위해그래 기타 이용자의편리성 프일지라도목차의필요성의 P295~429 있다. 흑백으로인쇄된상태라구 P295, 333, 297, 기타 이용자의편리성 분이되지않는다. 그래프를정확히이해하기어렵다 326, 345, 351, 356, 360, 373, 381, 396 기타이용자의편리성 눈금을좀더세밀하게구분해야정확히이해할수있다 P300 (11-2) P319 (38) P333 (65) 기타이용자의편리성 기타이용자의편리성 범례내용에대한부가설명이필요하다눈금을좀더세밀하게구분해야정확히이해할수있다 P300 (11-2) P311 (22-2) P326 (52) P333 (65) P337 (73) P339 (78) P341 (81) P345 (86-2) P356 (103) P360 (112) P373 (122-3) P381 (102) P416 (152-2) 단위부분 단위의누락 각각의축마다단위표시가누락되었다 P295~429 ( 모두 ) 주석부분 주석의누락 이용의편리를위한주석이누락되었다. P366, 373, 396-40 -
요약본의오류점검결과, 이용자편리성의문제와그래프수치값과본문의불일치문제로집중되었다. 수치값의문제는역시간과할수없는실수이다. 국가통계에서다른무엇보다도수치값의오류는없어야하는데, 이는점검체계에문제가있음을시사한다. < 표 15> 요약본의오류점검결과 분야 점검부분 오류내용 / 특이사항 위치 기타 이용자의편리성 실제수치의차이는크지않은반면, 눈금을세밀하게구분해내용이해에혼돈을준다. 또한그래프의막대가 P17, P31 흑백이므로확실한구분이되어있지않다 기타 이용자의편리성 막대그래프의색깔구분이안되어있다 P21 단위부분 단위의누락 가로축의단위가누락되어있다 P15~39 ( 모든그래프 ) 기타이용자의편리성 필요한부분에눈금을좀더세밀하게구분해야한다 P25 기타이용자의편리성 항목에대한용어설명이필요하다 P25, 27 막대그래프의모양과색깔이 기타 이용자의편리성 내용을정확히전달하지못 P34 한다 기타이용자의편리성 그래프항목내용이누락되었다 P37 그래프형식및내용 본문내용과그래프수치값의일치 그래프의수치값과본문내용이일치하지않는다남아 (77.59) P17-41 -
분야점검부분오류내용 / 특이사항위치 그래프형식및내용 본문내용과그래프수치값의일치 그래프의수치값과본문내용이일치하지않는다남아 (70.00%) P20 그래프형식및내용 본문내용과그래프수치값의일치 그래프의수치값과본문내용이일치하지않는다여자 (80.00%) P31 그래프형식및내용 본문내용과그래프수치값의일치 그래프의수치값과본문내용이일치하지않는다남자 (55.51%) P34 그래프형식및내용 본문내용과그래프수치값의일치 그래프의수치값과본문내용이일치하지않는다여자 (28.61%) P35 그래프형식및내용 본문내용과그래프수치값의일치 그래프의수치값과본문내용이일치하지않는다여자 (67.05%) P38-42 -
다. 간행물이용자편의성수록현황점검결과 (1) 배경이용자에게필요한기본정보가통계간행물에충분히제공되고있는지를점검하여미흡한점을보완하도록함으로써통계서비스의질을향상시키기위함이다. 이렇게함으로써공표자료가오류없는충실한정보를제공한다면, 이용자들은만족스럽게그통계를이용할것이다. (2) 항목이용자편의성점검을위해서다음의네가지차원의항목들을만들었다. 1 이용자를위한기본정보 ( 소개, 부록, 기호, 잠정치, 확정치, 자료출처, 제공매체, 문의처 ) 2 조사정보 ( 조사목적, 조사연혁, 조사범위, 적용기준, 조사항목, 조사주기, 조사방법, 조사표견본, 조사표변천, 용어설명, 공표방법 ) 3 모집단및표본설계 ( 목표모집단, 대상모집단, 모집단의근접성, 표본틀, 표본크기, 표본틀의변경, 표본틀내역, 표본설계방법, 조사체계 ) 4 자료집계및추정 ( 품질관리, 가중치, 모수추정방법, 계절조정기법, 표준오차추정치제공, 자료의신뢰성, 무응답현황, 응답자분석, 자료집계 ) (3) 결과 본조사결과보고서의경우, 이용자를위한기초정보로부록만이있고, 소개, 기호, 잠정치등의내용은포함하지않았다. - 43 -
< 표 16> 이용자를위한기초정보항목 유 무 소개 부록 기호 잠정치, 확정치 자료출처 제공매체 문의처 조사정보로는조사범위, 조사항목, 조사방법, 조사표견본, 용어설명이있었 고, 조사목적, 연혁, 적용기준, 조사주기등의설명이없었다. < 표 17> 조사정보 항목 유 무 조사목적 조사연혁 조사범위 ( 대상 ) 적용기준 조사항목 조사주기 조사방법 조사표견본 조사표변천 용어설명 공표방법 모집단및표본설계의경우, 목표모집단, 대상모집단, 표본틀, 표본크기, 표 본방법등은제시되었지만, 모집단의근접성, 표본틀의변경과내역은포함 되지않았다. - 44 -
< 표 18> 모집단및표본설계항목 유 무 목표모집단 대상모집단 모집단의근접성 표본틀 표본크기 표본틀의변경 표본틀내역 표본설계방법 조사체계 자료집계및추정의경우, 품질관리에대한내용만있고, 나머지가중치, 모수추정방법, 계절조정기법등의분석관련내용은포함되지않았다. < 표 19> 자료집계및추정항목 유 무 품질관리 가중치 모수추정방법 계절조정기법 표준오차추정치제공 자료의신뢰성 무응답현황 응답자분석 자료집계 - 45 -
라. 점검결과의참고사항 (1) 주요오류유형주로수치값오류와이용자편리성의문제가발생한것으로드러났다. 국가통계자료는수치가생명인데, 다수의수치값오류가발생했다는것은국가통계자료로서문제가심각하다고하겠다. 발간물점검을통해서도드러났듯이, 통계자료를이해하는데필요한정보가빠져있는것들이너무많았다. 통계수치만있지, 이를제대로이해하거나, 비판적으로평가하는데도움이될내용이발간물에포함되지않은것은문제가있다고본다. (2) 검토의견 보고서작성시오류가없게하기위해서보다세밀한점검이필요하다. 국 가의통계자료이므로, 오류검증의확실한체계가확립되어야하겠다. - 46 -
5. 이용자만족도조사 가. 조사개요 (1) 조사목적 통계생산자가간과하고있는통계이용자들의요구사항을발견하여, 통계작 성및자료제공과정에반영하는데목적이있다. (2) 조사설계 이조사는국민구강건강조사통계의주요이용자를대상으로하는데, 통계 이용자의만족정도는이용자적합성에바탕을둔다. (3) 조사방법및진행이용자만족도조사는다음과같은 6단계로진행된다. 1단계 : 조사계획수립 2단계 : 통계이용자명부작성 3단계 : 조사표설계 4단계 : 조사실시 5단계 : 자료입력, 집계및분석 6단계 : 보고서작성및환류 (4) 주요조사내용조사항목은다음과같다. 1 통계이용실태 (8문항) 2 이용만족 ( 개별속성만족문항 12 문항, 전반적만족도 1문항 ) 3 문제점및개선의견 (2문항) - 47 -
4 응답자특성 ( 성별, 연령, 직업등 7 문항 ) 5 추가항목 ( 평가 9 문항 ) < 표 20> 조사표설계항목 주제별 통계이용실태 생산 / 공표 주요조사내용 통계의작성주기인지여부 통계의작성방법인지여부 통계자료이용목적 통계자료이용횟수 통계자료이용형태 통계자료입수경로 통계자료이용비용 자주이용하는통계자료부문 표본추출또는모집단의적절성 작성대상 ( 조사대상 ) 의정의 적절한시기의공표여부 예고된일정에따른공표여부 이용만족 개별속성만족 이용편리성 제공방법및보고서편제의이용편리성 시계열의비교편리성여부 국제자료와의비교편리성여부 이용시유의사항 / 관련개념 / 용어정확성 내용충실성 통계자료의정보제공의충분성여부 통계자료의내용의다양성여부 통계정보의정확성여부 통계정보의신뢰성여부 전반적 ( 체감 ) 만족도문제점및개선의견응답자특성추가항목 전반적인이용자의만족수준 다시이용할의사가있는지여부 이용하면서느낀문제점 개선의견및건의사항 성별, 연령, 직업, 소속, 통계이용경험, 업무에서의중요등응답자특성항목 해당통계의전문가들에게통계에대한전문가적의견파악 - 48 -
(5) 응답자특성응답자의특성을성별, 연령, 직업, 소속, 업무수행기간등에따라서살펴보았다. 먼저성별분포를보면, 남자가 30.7%(23명 ) 인반면에, 여자가 69.3%(52 명 ) 이었다. 연령대별로보면, 40대가 49.3% 로제일많았고, 다음으로 30대 (22.7%), 50대 (17.3%), 20대 (9.3%), 60대이상 (1.3%) 의순이었다. 직업별로보면, 공무원이 65.3%(49명 ) 로제일많았고, 다음으로교수직이 18.7%(14명 ) 이었다. 사무직과연구직은 2% 내외이었다. 소속별분포를보 면, 보건의료기관에있다는경우가 56%(42 명 ) 로제일많았다. 학교와행정 기관에소속된사례도각각 20% 가되었다. 업무수행기간별분포를보면, 10 년이상인경우가 33.3% 로제일많았고, 3년미만이 32% 로그다음으로많았다. 통계의중요도에대한인식은매우중요하다에서매우중요하지않다까지고르게분포되어있었다. - 49 -
< 표 21> 인구통계학적특성 성별 연령별 직업별 소속별 업무수행기간별 통계중요도별 사례 ( 명 ) 퍼센트 (%) 남성 23 30.7 여성 52 69.3 20대 7 9.3 30대 17 22.7 40대 37 49.3 50대 13 17.3 60대이상 1 1.3 공무원 49 65.3 사무직 1 1.3 연구직 2 2.7 교수직 14 18.7 기타 9 12.0 입법기관 1 1.3 행정기관 15 20.0 연구기관 1 1.3 학교 15 20.0 보건의료기관 42 56.0 기타 1 1.3 3년미만 24 32.0 3년이상 ~ 5년미만 15 20.0 5년이상 ~ 10년미만 11 14.7 10년이상 25 33.3 매우중요하다 18 24.0 중요하다 16 21.3 보통이다 11 14.7 중요하지않은편이다 15 20.0 매우중요하지않다 15 20.0-50 -
나. 조사결과요약 (1) 통계이용실태 통계의작성주기를정확히인지하고있는지를알아보았는데, 응답자의 52%(39 명 ) 만이 3 년주기를인지하고있었다. 모르겠다는응답도 21% 에이 르러, 통계자료에대한인식수준이낮음을알수있었다. < 표 22> 통계의작성주기인지 사례 ( 명 ) 퍼센트 (%) 매월 0 0 분기 0 0 반기 0 0 매년 15 20.0 2년 5 6.7 3년 39 52.0 모르겠다 16 21.3 합계 75 100.0 통계의작성방법이무엇인지를물었는데, 61%(46명 ) 만이표본조사라고응답하였다. 작성주기에비해서정확히인지하고있는비율이높았지만, 구강건강실태조사에대한인식수준이높지않음을알수있다. - 51 -
< 표 23> 통계의작성방법인지 사례 ( 명 ) 퍼센트 (%) 전수조사 9 12.0 표본조사 46 61.3 전수 + 표본조사혼합 2 2.7 가공통계 2 2.7 보고통계 5 6.7 모르겠다 11 14.7 합계 75 100.0 응답자에게통계의사용용도를물었는데, 사업및경영계획수립이란응답 이 33% 로제일많았고, 연구 / 학술 / 학습활동이 28%, 정책수립및평가가 26% 등을차지하였다. < 표 24> 통계의사용용도 사례 ( 명 ) 퍼센트 (%) 정책수립및평가 20 26.7 연구 / 학술 / 학습활동 21 28.0 사업및경영계획수립 25 33.3 다른통계를위한표본조사의모집단으로활용 7 9.3 업무외개인적관심 1 1.3 기타 1 1.3 합계 75 100.0 통계의이용빈도를물은결과, 연 1회혹은그이하란응답이 40%(30명 ) 로제일많았고, 그다음으로반기 1회이상이란응답이 29%(22명 ) 이었다. 결국반기에 1회혹은그이상으로이용하는경우가 70% 에이르렀다. - 52 -
< 표 25> 통계의이용빈도 사례 ( 명 ) 퍼센트 (%) 주 1회이상 1 1.3 월 1회이상 11 14.7 분기 1회이상 11 14.7 반기 1회이상 22 29.3 연 1회혹은그이하 30 40.0 합계 75 100.0 통계의이용행태를물었는데, 공표한통계표 / 보고서를본경우가 36%(27 명 ) 로제일많았고, 분석한설명 / 요약자료가 29%, 재집계한자료가 22% 로 나타났다. 원시자료를이용한경우는 8%(6 명 ) 로낮게나타났다. < 표 26> 통계의이용형태 사례 ( 명 ) 퍼센트 (%) 공표한통계표 / 보고서 27 36.0 재집계한자료 17 22.7 원시자료 6 8.0 분석한설명 / 요약자료 22 29.3 기타 3 4.0 합계 75 100.0 통계자료의입수경로를물었는데, 61% 에이르는응답자가통계작성기관홈페이지를이용했다고하였다. 다음으로통계작성기관에직접요청한경우가 13% 이었고, 통계청홈페이지, 신문또는방송보도자료, 도서관등은각각 10% 내로적었다. 전반적으로보면, 홈페이지가주요한입수경로임을알수있다. - 53 -
< 표 27> 통계자료의입수경로 사례 ( 명 ) 퍼센트 (%) 통계작성기관홈페이지 46 61.3 통계작성기관에직접요청 10 13.3 통계청홈페이지 5 6.7 신문또는방송보도자료 3 4.0 공공도서관 / 자료실열람 7 9.3 기타 4 5.3 합계 75 100.0 통계자료를무료로제공하는것을알고있는지를물었는데, 86.7% 가안다 고응답하였다. < 표 28> 통계자료의무료제공인지여부 사례 ( 명 ) 퍼센트 (%) 안다 65 86.7 모른다 10 13.3 합계 75 100.00 자주사용하는통계자료부분에대해서물었다. 유치및영구치우식실태 라는응답이 39% 로제일많았고, 유치및영구치치료필요여부에 15.6%, 일 반특성및구강보건의식에 13.6%, 치아및치주조직건강실태에 10.2% 등의 순이었다. - 54 -
< 표 29> 자주사용하는통계자료부분 컨텐츠항목 비중 (%) 순위 1. 유치및영구치우식실태 39.3 1 2. 유치및영구치치료필요 15.6 2 3. 치아보철실태및필요 12.0 4 4. 치아반점도 0.7 8 5. 치아및치주조직건강실태 10.2 5 6. 치아외상및기타 1.6 7 7. 일반특성및구강보건의식 13.6 3 8. 구강건강행위실천도 7.1 6 9. 기타 0.0 9 계 100.0 - (2) 전반적만족도 전반적만족도를물었는데, 매우만족과대체로만족에 58% 넘게응답하였 다. 보통이란응답은 33% 이었다. 불만이란응답은 8% 로적게나타났다. < 표 30> 전반적만족도 사례 ( 명 ) 퍼센트 (%) 매우불만족 0 0 대체로불만족 6 8.0 보통 25 33.3 대체로만족 41 54.7 매우만족 3 4.0 합계 75 100.0-55 -
향후의이용의사를묻는질문에 90% 에가까운응답자가이용할것이라고 응답하였다. < 표 31> 향후이용여부 사례 ( 명 ) 퍼센트 (%) 전혀이용할생각이없음 0 0 별로이용할생각이없음 0 0 그저그렇다 8 10.7 어느정도이용할것이다 32 42.7 매우적극적으로이용할것임 35 46.7 합계 75 100.0 (3) 속성별만족도평가 만족도의속성은생산과정 ( 모집단정의, 조사대상이조사목적에맞게정의, 적절한시기에공표, 예고된일정에따른공표 ), 활용편리성 ( 제공방법 / 보고형식, 시계열비교, 국가간비교용이성, 이용시유의사항 / 관련개념 / 용어의정의 ), 내용충실성 ( 충분성, 다양성, 정확성, 신뢰성 ) 의세가지로나누어서조사하였다. 먼저통계생산과정에대한응답을살펴보겠다. 모집단의정의나조사대상의정의에대해서는만족의의견이 60% 를넘었다. 공표시기에대한 2문항에대해서는긍정적의견이 40%, 보통의의견이 30% 로나타나서, 정의에대한문항에비해서는긍정적평가수준이상대적으로낮았다. 그러나불만족의응답은 10% 대로낮게나타났다. 활용편리성과관련해서는 4 문항중, 제공방법 / 보고서형식의편리성에대해서만만족의비율이 50% 를넘었다. 시계열비교의편리성과유의사항 / 관련개념 / 용어정의에대해서는만족한다는의견을보인경우가 45% 정도이었다. 반면에외국과의비교에대해서는만족의견의비율이 30% 정도로, 상대적으로낮게나타났다. - 56 -
내용충실성과관련해서는충분한정보제공, 다양성, 정확성, 신뢰성등에대해서만족의비율이 50% 내외로나타났다. 전반적으로내용의충실성, 정의의정확성, 그리고보고서형식의편리성등에서는만족의수준이높았다. 그러나공표시기나외국과의비교가능성등에서는개선의여지가있다고하겠다. < 표 32> 통계자료에대한속성별만족도응답분포 (unit : %) 속성항목 a b c d e f g 명확하게모집단이정의되어있다. 1.3 4.0 24.0 50.7 14.7 5.3 100 통계생산과정 활용편리성 내용충실성 조사대상이조사목적에맞게정확히정의되어있다 1.3 2.7 21.3 52.0 17.3 5.3 100 적절한시기에공표되고있다 0 13.3 38.7 36.0 9.3 2.7 100 예고된일정에맞춰공표되고있다 0.0 14.7 32.0 38.7 6.7 8.0 100 제공방법 / 보고서형식등은필요한통계자료를얻는데편리하다. 0.0 14.7 22.7 49.3 10.7 2.7 100 시계열비교가편리하다 0.0 12.0 36.0 41.3 5.3 5.3 100 외국과의비교가편리하다 6.7 18.7 34.7 21.3 8.0 10.7 100 유의사항 / 관련개념 / 용어정의가잘되어있다 0.0 9.3 41.3 38.7 8.0 2.7 100 알고자하는정보를충분히제공하고있다 0.0 6.7 38.7 46.7 6.7 1.3 100 다양한내용이수록되어있다. 1.3 18.7 30.7 40.0 6.7 2.7 100 정확하다 1.3 6.7 33.3 40.0 9.3 9.3 100 신뢰할수있다 0.0 5.3 38.7 38.7 12.0 5.3 100 a: 전혀그렇지않다. b. 대체로그렇지않다 c. 보통이다 d. 대체로그렇다 e. 매우그렇다 f. 모르겠다. g : 합계 - 57 -
속성별만족도를나타내는개별문항과전반적만족도문항관의상관계수, 상관계수제곱값, 항목중요도, 속성문항별만족도등을고려하여다음과같은수식을사용하여산출한다. 종합만족도 : 속성별만족도 12 개항목중 i 항목만족도 : 속성별만족도 12 개항목중 i 항목중요도 여기서사용한항목중요도 (w) 는각속성별만족도 (12 개항목 ) 응답값과전 반적 ( 체감 ) 만족도응답값과의상관계수 2 값을구한후, 그값의 12 개항목 의합에대한각항목의비율로산출된다. 산식 : 항목중요도 : 속성별만족도 12 개항목중 i 항목과전반적 ( 체감 ) 만족도와의상관계수 2 < 표 33> 이용자만족도의종합만족도구성요소와종합만족도점수 속성항목상관계수상관계수의제곱 통계생산과정 활용편리성 내용충실성 - 58 - 항목중요도 속성별만족도 종합만족도 명확하게모집단이정의되어있다. 0.008 0.000 0.000 3.893 0.000 조사대상이조사목적에맞게정확히정의되어있다 0.128 0.016 0.013 3.973 0.052 적절한시기에공표되고있다 0.283 0.080 0.064 3.493 0.222 예고된일정에맞춰공표되고있다 0.140 0.020 0.016 3.613 0.056 제공방법 / 보고서형식등은필요한통계자료를얻는데편리하다. 0.479 0.229 0.182 3.640 0.662 시계열비교가편리하다 0.241 0.058 0.046 3.560 0.163 외국과의비교가편리하다 0.351 0.123 0.098 3.373 0.329 유의사항 / 관련개념 / 용어정의가잘되어있다 0.354 0.126 0.100 3.533 0.352 알고자하는정보를충분히제공하고있다 0.409 0.168 0.133 3.573 0.475 다양한내용이수록되어있다. 0.415 0.172 0.137 3.400 0.465 정확하다 0.256 0.066 0.052 3.773 0.196 신뢰할수있다 0.451 0.203 0.161 3.733 0.602 합 계 3.515 1.261 1.000 3.547 3.575
< 표 33> 종합만족도와전반적만족도점수 종합만족도 (5점만점 ) 통계생산과정 활용편리성 내용충실성 3.575 3.582 3.545 3.599 전반적만족도 (5점만점 ) 긍정응답률 1) 부정응답률 2) 3.547 58.7% 8.0% 위와같은항목만족도와중요도를활용하여포트폴리오 (Portfolio) 분석을실시하였다. 포트폴리오분석은 12개항목을속성별항목만족도와중요도를순서쌍으로배열하여 (X, Y) 좌표평면에표하신포트폴리오매트릭스 (Portfolio Matrix) 를이용하여 12개항목을만족도 (Y축) 평균과중요도 (X 축 ) 평균을중심으로나눈 4개의영역에나타낸다. 이위치가어느영역에있느냐를기준으로긴급히개선해야할항목, 점차개선해야할항목, 차별화하거나권장해야할항목등으로분류하게되는데, 포트폴리오매트릭스의 4개영역은다음과같다. 1차개선영역 : 중요도는높으나만족도가낮은항목 2차개선영역 : 중요도가낮고만족도도낮은항목 차별화영역 : 중요도는낮으나만족도는높은항목 권장영역 : 중요도도높고만족도도높은영역 1) 매우그렇다 와 대체로그렇다 의응답률 2) 대체로그렇지않다 와 전혀그렇지않다 의응답률 - 59 -
다음의포트폴리오분석결과표를보면, 먼저 1차개선영역이무엇인지를알수있다. 외국과의비교편리성, 유의사항 / 관련개념 / 용어정의, 내용의다양성은그높은중요도에비해서만족도가낮게나타나서, 개선이시급한영역으로선정되었다. 2차개선영역은공표시기의적절성으로서, 중요도와만족도가모두낮게나타났다. 중요도는낮으나만족도가높은영역은차별화영역으로분류되는데, 이에속한항목은모집단정의, 조사대상의정의, 예고된일정에맞춘공표, 시계열비교의편리성, 내용의정확성이었다. 마지막으로중요도도높고, 만족도도높은권장영역으로선정된항목을살펴보면, 제공방법 / 보고서형식의편리성, 충분한정보제공, 신뢰성이었다. < 표 34> 포트폴리오분석결과 속성항목중요도만족도영역명확하게모집단이정의되어있다. 낮음높음차별화영역 통계생산과정 활용편리성 내용충실성 조사대상이조사목적에맞게 정확히정의되어있다 적절한시기에공표되고있다 낮음 낮음 낮음높음차별화영역 2 차개선영역 예고된일정에맞춰공표되고있다 낮음 높음 차별화영역 제공방법 / 보고서형식등은필요한통계자료를얻는데편리하다. 높음 높음 권장영역 시계열비교가편리하다 낮음 높음 차별화영역 외국과의비교가편리하다 높음 낮음 1차개선영역 유의사항 / 관련개념 / 용어정의가 1차높음낮음잘되어있다개선영역 알고자하는정보를충분히제공하고있다 높음 높음 권장영역 다양한내용이수록되어있다. 높음 낮음 1차개선영역 정확하다 낮음 높음 차별화영역 신뢰할수있다 높음 높음 권장영역 - 60 -
(4) 문제점 통계자료의문제점으로제일많이지적된것은추가정보를얻는방법에 대한정보가부족하다는것이었다 (52.7%). 다음으로 39% 의응답자가조사 후발표까지시간이오래걸린다고지적하였으며, 35% 의응답자가인터넷, 홈페이지에있는자료를찾아보기불편하다고지적하였다. 이외에보고서편집이나형식의문제점, 용어의설명, 이용시유의사항, 제공시기, 원시자료이용의불편함, 자료수집시기의부적절성등이지적되었다. < 표 36> 통계자료의문제점 ( 중복응답 ) 통계자료의문제점 빈도 (%) 제공하는정보가정확하지않음 9 12.2 자료수집시기가적절하지않음 10 13.5 제공시기가적절하지않음 13 17.6 조사후발표까지시간이많이걸림 29 39.2 추가정보를얻는방법에대한정보부족함 39 52.7 인터넷, 홈페이지에있는자료를찾아보기불편함 26 35.1 보고서편집및형식이보기에불편함 16 21.6 용어의설명, 이용시유의사항등이불편함 14 18.9 원시자료이용시불편함 10 13.5 기타 2 2.7 계 168 227-61 -
(5) 전문가추가항목 전문가의비율은전체 75 명의 32%(24 명 ) 이었다. < 표 37> 본통계에대한전문가여부 사례 ( 명 ) 퍼센트 (%) 그렇다 24 32.0 아니다 51 68.0 계 75 100 전문가들이과반수이상적절하다는평가를내린항목은통계적개념의일 관성, 조사항목선정, 조사표설계, 통계조사준비과정의체계성, 외국자료와 의비교평가이었다. 이에반해서부정적평가가과반수를넘은항목은작성 주기의적정성, 통계자료의홍보전략, 통계자료홈페이지이용편리성이었다. < 표 38> 전문가설문응답결과 ( 단위 : 명, %,n=16) 항목작성주기의적정성여부통계적개념의일관성평가조사항목선정에대한평가조사표설계에대한평가통계자료의홍보전략에대한평가통계조사준비과정에서의체계성평가통계자료홈페이지이용편리성평가외국자료와의비교평가 적절 ( 편리 ) 하다 7 (29.2) 21 (87.5) 21 (87.5) 18 (75.0) 7 (29.2) 18 (75.0) 8 (33.3) 12 (50.0) 적절 ( 편리 ) 하지않다 17 (70.8) 2 (8.3) 2 (8.3) 4 (16.7) 14 (58.3) 3 (12.5) 12 (50.0) 5 (20.8) 모르겠다 0 (0.0) 1 (4.2) 1 (4.2) 2 (8.3) 3 (12.5) 3 (12.5) 4 (16.7) 7 (29.2) - 62 -
(6) 건의사항 조사대상자들이건의하는의견은조사방법, 현장조사, 보고서, 원시자료와 홍보의 5 가지로분류하여제시하겠다. ( 가 ) 조사방법조사주기와관련해서다양한의견이제시되었는데, 다음의세가지로구분된다. 첫째의견은조사주기를 2년으로단축했으면좋겠다는의견이고, 둘째는 5년마다해도충분하다는의견이었으며, 셋째는의식조사는 2년마다하고, 구강조사는 5년마다하자는의견이었다. 특히첫번째와두번째의견에다수가모였다. 이외에국민영양조사와병행해서실시하는방안에대한의견도제시되었다. 소규모지역단위별조사가필요하다는의견과노인층에대한보다세부적인조사가필요하다는의견도있었다. 그리고예방치과뿐만아니라다른임상치과의의견도수렴해야한다는지적도있었다. ( 나 ) 현장조사 조사표문항이너무많다는의견과문항이좀더명확하면좋겠다는지적이 있었다. ( 다 ) 보고서 결과보고자료의제공시기가빨랐으면좋겠다는의견이있었다. ( 라 ) 원시자료제공 홈페이지에원시자료를제공해주면좋겠다는지적이있었다. - 63 -
( 마 ) 홍보홍보부족에대한불만의견이상당히많았다. 언론홍보매체를이용해서, 국민구강건강실태조사의내용과이용방법을보다적극적으로홍보하면좋겠다고제안하였다. - 64 -
6. 품질개선노력평가 < 표 39> 통계품질개선노력실적표 구분계획실적기대효과 2 차례의조사후 3 차 조사원관리및교육조사가시행되고있으나 조사원관리교육통계작성환경실시예산의증액이없어압 예산설정 예산활용박이있음. 예산증액이매우필요함 3년마다단속적으로조사가수행되므로장 예산증액및조사연기적전입전출등의수 표본추출및규모, 통계작성절차의령층축약, 계층별표본정보완및지역별연령절차등에대해보고서적합성수를늘리는방안등의별성별층화표본추출에기술검토가필요과응답률등을감안한보정요구 향후지속적인대학 대학교수가검진요원현장조사 ( 자료수집 ) 검진요소가있어치교수의근로혹은전문의역할을수행함. ( 총의정확성과의사인력이요구됨인력의활용에대한방 20개팀 ) 안마련이요구됨 통계작성과관련된자료의문서화실시 통계작성과관련된 조사용어, 적용기준, 자료는보고서에집적시 용역수주주체를안정변동기준등에대한정공표자료의충실성킴화시킴으로써지속적인보제공 국민구강건강실태조자료의개편작업필요 보고서상의수치오사 ( 총 5권 ) 발간류, 오탈자등의보완예정 통계이용자만족도 지속적발전을위한 정책수립및연구를 관련연구기관의기위원회혹은외부자문단위한기초자료로활용초연구자료로서제공구성및상시운영이필예정요 - 65 -
제 3 절 < 국민구강건강실태조사 > 통계품질진단결과종합 1. 진단결과요약 ( 현황 ) 진단의목적은국민구강건강실태조사통계에대해전반적인품질상태를진단하고, 보건분야국가통계에대한신뢰성을제고할수있는방안을제시하는데있다. 통계품질진단은통계작성환경, 통계작성절차의적합성, 자료수집의정확성, 공표자료의충실성, 통계이용자만족, 통계품질개선노력등의부문으로나뉘어서진행되었다. 통계품질은정확성, 시의성 / 정시성, 관련성, 접근성 / 편의성, 비교성 / 일관성, 서비스성 / 해석성, 효율성등의 7가지품질차원으로나누어접근하였다. 통계작성환경평가를통해서, 인력부족과예산부족의문제점을파악하였 다. 이외에도조사주체의문제가크게부각되었다. 통계작성절차의적합성에대한평가는자체평가, 외부평가와본연구책임자의통계담당자면담의세가지방법을통해서이루어졌다. 그런데 2006년도그동안제기된문제점을개선한새조사가실시되기에, 이결과를주시해보고여기서제기된문제점과개선사항을검토할필요가있다. 자료수집의정확성과관련해서는사전교육, 조사시설과기구, 조사일정과조사비의네가지측면에서문제점이지적되었다. 사전교육이외국에비해서부족한면이많기에보다내실을기할필요가있다. 또한조사시설과기구가너무열악하여, 조사에어려움이수반되기때문에, 이에대한개선이시급하다고하겠다. 조사일정은너무짧게되어있어서, 조사가제대로이루어지기 - 66 -
어려운실정이다. 또한검진요원에인건비도현실화하여, 제대로된보상을 통한동기부여를하도록해야할것이다. 공표자료의충실성평가에서도수치값오류나중요한내용의누락과같은문제점이발견되었다. 국가통계자료에서용납될수없는수치값오류의문제는심각하다고판단된다. 따라서이러한오류를근본적으로없앨보다철저한검증체계가구축되어야할것이다. 이를위해서, 먼저현재의공표과정에대한철저한분석이있어야하겠다. 통계이용자만족도조사결과, 전반적으로만족하는비율은 58% 정도이었다. 생산과정, 활용편리성, 내용충실성의속성별만족도를분석한결과, 내용의충실성, 정의의정확성, 그리고보고서형식의편리성등에서는만족의수준이높았다. 그러나공표시기나외국과의비교가능성등에서는만족수 준이낮게나타났다. 포트폴리오분석결과, 1 차개선영역으로외국과의비 교편리성, 유의사항 / 관련개념 / 용어정의, 내용의다양성이선정되었고, 2 차개선영역으로공표시기의적절성이선택되었다. 통계품질개선노력의평가결과, 예산의제약으로인하여가시성있고 구체적인개선안이나오고있지못하다. - 67 -
2. 문제점 부문별문제점을정리하면다음과같다. 가. 통계작성환경의문제점 통계작성환경의문제는조직관리의문제점, 자원의문제점, 그리고조사체계 의문제점으로나누어서논하겠다. (1) 조직관리의문제점조직의리더가담당직원들에게통계품질개선을위한비전제시와실행측면에서방향제시를제대로못하고있다고판단된다. (2) 자원의문제점인적자원관리측면과관련하여, 인적자원의관리, 직원의품질관리능력의개발, 예산이나인력의적정성, 통계작성업무수행을위한장비와소프트웨어의확보등에있어서모두문제가있는것으로평가되었다. 특히국가차원조사의표본추출을책임질인력이부족한것이심각한문제점으로부각되었다. 현재이런인력이없기에, 분석및작성의주체가조사시기마다불안정적으로변경되고있다는것이다. 제일근본적인문제는 3차조사가이루어지는올해까지실태조사예산이같다는점이다. 예산의적절수준의확보없이는, 제대로된실태조사를기대하기는힘들다. 예산부족의문제가심각하다고하겠다. (3) 조사체계의문제점 표본조사시행및분석위탁기관은한국구강보건의료연구원이지만실제조사는 대한구강보건학회차원에서이루어지고있다. 이렇게두개의기관이연계되어조사 - 68 -
를실시하는경우, 기획부서의조사에대한관리또는감독이어려워지며, 의사소통의어려움으로통계품질을저하하는요인이증가할수있다. 더욱이, 현재의위탁방식은매 3년마다실태조사가이루어지기직전에발주하기때문에, 조사된결과의지속적인심층분석이나조사과정의지속적인진화발전을담보할안정적조직체계가없다 ( 건강증진사업진흥단, 2006). 구강건강에대한전국민조사는 2000년이후아직 2번의조사밖에이루어지지않았지만, 1차와 2차조사간에상이점이많다. 시계열적인비교를위해서는장기적인자료구축을위한노력이필요한데, 안정적조직체계가안되어있어서조사의일관성이결여되어있다. - 69 -
나. 통계작성절차의문제점 통계작성절차의적합성에대한평가는자체평가와외부평가그리고연구진 에의한통계담당자방문면담의세가지방식으로이루어졌다. 통계작성절차 의문제점을절차별로기술하겠다. (1) 통계작성기획및관리 1 현재국민구강건강실태조사는 2회실시되었지만, 2차례의조사방식이나조사내용이달라서일관성이결여되어있는실정이다. 이는통계전반을담당할조직과인력부재로인해, 외부의이중적조사주체에맡기는데서발생하는문제로보인다. 2 외국 ( 미국, 영국, 일본 ) 에서는국민건강영양조사와결합하여조사를진행함으로써, 조사의규모의경제를이루는반면에우리는별개로진행이되기에항상예산부족의문제에직면하게된다. (2) 모집단및표본설계 1 2003년도에는 60개의조사구를대폭축소조정한데다, 능동적으로방문한사람들만대상으로실시해서모집단을대표하는표본으로보기힘들다는부정적평가가지배적이었다 (Self-selection bias의문제 ). 2 게다가예산부족으로예산에표본크기를맞추는일이벌어지고있다. (3) 조사표설계 1 조사표의변동이있었기에, 지침서가더세세하게작성될필요가있다. 2 구강건강의조사항목에그쓰임새에논란의여지가있는항목들이있다. 2005년도에실시한구강건강실태조사표준화및시행방안에관한연구에서응답자의 62% 가조사는되었는데활용되지않는항목들이삭제되어야한다는 - 70 -
의견을제시하였다. 예를들어, 주로이용하는구강진료기관의유형, 가게된 계기, 위치, 이동방법, 이동시간, 방문시기등은분석결과의이용과관련해서 활용도가낮다는의견이많았다. (4) 현장조사관리 예산의제약하에서, 현장조사에전문인력을활용하기힘들어지는상황이다. 조사방법의변경으로, 현장조사에대한사전교육도일관성을유지하기힘들다. (5) 자료처리및집계 1 2006년도에는 무응답 실태를파악하고분석할예정으로있어서, 무응답실태에정보를얻게될것으로예상한다. 2 점추정치이외에자료의분포특성을파악하는데도움이되는표준오차에대한정보가제공되지않았다. 3 자료입력과정중에입력오류가없는지를주기적으로점검하는시스템이확립될필요가있다. (6) 자료이용현재는접근가능한채널이제한적 ( 보건복지부홈페이지, 한국구강보건학회홈페이지, 서울대예방치과홈페이지 ) 이다. 또한홍보도덜되어있어서, 자료자체의존재를모르는사람이너무많다. 자료의홍보가돼서, 널리알려져야지만, 이용이늘고, 이에따라서다양한활용안이나올수있다. - 71 -
다. 자료수집의정확성에대한문제점 자료수집의정확성에대한문제점을사전교육, 조사시설과기구, 조사일정과 조사비의네범주로나누어기술하겠다. (1) 사전교육의문제점 2000년도에는사전교육이 2박3일간두차례이루어졌고, 2003년도에는 1박 2일간두차례이루어졌다. 우리나라에서실시하는사전교육미국에서구강검진요원에대해서실시하는 3단계중초기교육훈련정도에비유된다는보고가있다 ( 건강증진사업단, 2006). 사전조사의질을높임으로써, 현장에서의자료수집및조사의질제고를해야할필요성이크다. (2) 조사시설과기구의문제점조사표작성및검진의경우에는제일문제가있는것으로부각된것이조사시설이나기구의문제이었다. 조사에가장기본적인조명부터의자등이제대로갖추어지지않아서, 조사에어려움이있었다는지적이었다. 미국의경우, 검진은이동검진센터에서이루어지는데, 이이동검진센터는트레일러형태로되어있으며, 표준화된장비와기구를갖추고, 표준화된시료채취과정에따라, 훈련된조사요원에의해운영된다 ( 건강증진사업단, 2006). 이에반해서, 우리나라의구강검진이이루어지는상황은시설이나기구면에서너무열악한것으로평가되어있다. (3) 조사일정의문제점 조사일정도너무짧게되어있어서, 조사가조급하게이루어져서자료의 질을확보하는데문제가있다. - 72 -
(4) 조사비의문제점 조사원은전문가들인데, 이들에대한인건비가부족하여참여를유도하는 데한계가있다. 따라서조사원인건비에대한현실화가고려되어야한다. 라. 공표자료의문제점 (1) 수치값오류주로수치값오류와같은수치자료상의문제가많이발생한것으로드러났다. 통계자료는수치가생명인데, 다수의수치값오류가발생했다는것은국가통계자료로서문제가심각하다고하겠다. (2) 이용자편리성고려부족주석설명의부족, 표에대한설명부족, 단위누락과같은것은이용자가통계자료를제대로이해하는데어려움을초래한다. 이용자의편리를생각한보다세심한제작이되어야한다. 마. 이용자시각에서본문제점 (1) 생산과정의문제 : 공표시기의문제만족도의세가지속성별분석에서, 공표시기에문제가있음이드러났다. 통계가적절한시기에공표된다는항목과예고된일정에맞춰공표되고있다는항목에대한만족비율이다른항목들에비해서상대적으로낮은 40% 대로나타났다. - 73 -
(2) 활용편리성의문제 1 외국자료와의비교시불편함 25.4% 의응답자가외국자료와비교하는데불편하다는의견을보였다. 현재 의통계자료에는외국과의비교자료가거의없는실정이다. 2 유의사항 / 관련개념 / 용어정의부족구강건강과관련해서는전문적용어들이쓰이기에, 전문가가아닌경우개념이나용어를이해하는데어려움이있을수있다. 그런데이개념이나용어에대한자세한설명이부족하다. (3) 내용충실성의문제 : 정보의다양성부족 이용자조사에서응답자의 20% 가정보가다양하지않다고답하였다. 정책에 도움이될만한보다다양한정보가조사될필요가있다. 바. 품질개선노력의문제점 예산의제약으로인해서, 가시적으로드러날만한개선안이도출되고있지못하다. 예를들어, 공표자료의충실성개선노력을보면, 보고서상의수치오류, 오탈자등의보완계획에따라국민구강건강실태조사보고서총 5권이발간되었지만, 발간물점검에서드러났듯이여러오류가잔존하고있었다. 자료수집의정확성제고를위한노력도원래부터대학교수가검진요원으로활용되었기에개선으로보기어렵다. 결국구체적이고가시성있는개선안이마련되어실시되지못한것으로볼수있다. - 74 -
3. 개선방안 부문별개선방안을정리하면다음과같다. 가. 통계작성환경개선방안 통계품질향상이란비전을실현시킬수있는제반여건을향상하는데주력해야할 것이다. 이를위해서는, 다음과같은세가지노력이필요하겠다. (1) 통계담당자의역량강화통계담당자의역량을강화하기위해서, 다음과같이구체적인노력이이루어져야하겠다. 1 담당직원의지속적인능력향상을위해체계적인교육프로그램의프로토콜이마련되고, 이에준해서장기적인교육이이루어져야하겠다. 2 통계담당직원의동기부여를위해서, 국 내외워크샵등의참여기회를제공하고, 참여를유도해야한다. (2) 전담부서와인력확보표본추출부터분석까지계층별 weight 계산등을합리적으로수행하기위해서는, 이를전담할인력의충원이필요하다. 구체적인안으로는질병관리본부내에국민구강건강실태조사를전담할부서와인력을확보토록하는것이다. (3) 예산증액 통계조사관련예산이증액되어야하겠다. 상당부분의문제는조사예산 부족에기인한것으로볼수있기에, 예산확보가충분히이루어질필요가있다. - 75 -
나. 통계작성절차의적합성개선방안 (1) 통계작성기획및관리 2005년도보고된구강건강실태조사표준화및시행방안에관한연구에준하여 2006년도실태조사가시행될것이라니, 올해년도조사에서얼마나개선되었는지를주시해볼필요가있겠다. 1 통계작성에사용되는개념, 용어, 분류체계등과관련해서는우식증진단기준을국제적으로비교가능하게하기위한작업이이루어져야할것이다. 2 외국 ( 미국, 영국, 일본 ) 에서처럼, 국민건강영양조사와결합하여조사를진행한다면, 다른요인과의관계분석을할수도있고, 조사의규모의 경제를이룰수있다고본다. 2005 년도에실시한 구강건강실태조사 표준화및시행방안에관한연구 에서국민건강영양조사와의결합시 의장단점을검토하였는데, 그내용은다음과같다. < 장점 > 전신건강또는식이등구강건강이외의변수들과구강건강변수의상관성을검토할수있는자료를얻을수있다. 실태조사의규모가커짐에따라행정적및재정적으로규모의경제이득을일부거둘수있다. < 단점 > 표본추출에있어서제한을받을수있다. 예결산작업이까다롭다. 따라서국민영양조사와의결합가능성에대한심도있는검토를위한위원 회를만들어야하겠다. - 76 -
(2) 모집단및표본설계표본의대표성문제는 2003년도와는달리올해실시되는조사에서는새롭게접근하게되어있기때문에, 올해결과를지켜보고판단해야할것이다. 1 표본규모가예산에맞추어지는상황을극복하기위해서, 시급히예산이증액되어야하겠다. 2 조사시점별결과를객관성있게비교하기위해서는표준오차가산출되어제시되어야하겠다. (3) 조사표설계 1 조사항목자체의객관성확보와조사항목의표준화를위한사전조사가실시되어, 조사항목에대한검증이확실히되어야하겠다. 2 구강건강의조사항목에그쓰임새에논란의여지가있는항목들에대한재검토가있어야하겠다. 쓰임새와관련해서는이자료를활용하는분야의다양한배경의전문가들의의견을수렴할필요가있겠다. 3 이외에조사지침서가좀더명확하게마련되어야하겠다. 그런데이러한개선사항들도올해의결과를보고판단해야할것이다. (4) 현장조사관리 1 검진요원의장기적인확보방안이마련되어야할것이다. 1차와 2차는대학교수요원을활용하였으나, 지속적인이들의참여를유도하는데는한계가있다. 따라서구체적인검진요원확보계획이마련되어야한다. 2 현장조사에서발생한의문사항에대한시기적절한관리와관련해서, 온라인을통한문제해결시스템이마련되어야하겠다. - 77 -
(5) 자료처리및집계 1 2006년도에는 무응답 실태를파악하고분석할예정으로있어서, 무응답실태에정보를얻게될것으로예상한다. 2 점추정치이외에자료의분포특성을파악하는데도움이되는표준오차가제시되어야하겠다. 3 미국 NHANES에서는 ISIS라는입력소프트웨어를개발하고, 종이에기록하는방식이아닌검진대옆에설치된입력용 PC에실시간으로직접입력하며, 입력과정마다입력오류가개입하지않는지에대한필터과정 을마련하였다. 우리나라에서는여건이되지않으니, 종이기록방식을 택하면서입력자료의 5-10% 정도는이중입력방식을활용하는것이좋 겠다는의견이제시되었다 ( 건강증진사업지원단, 2006). (6) 자료이용조사결과에의접근성을높이게더적극적인홍보노력이필요하다. 현재는보건복지부홈페이지, 한국구강보건학회홈페이지, 서울대예방치과홈페이지에결과게재되어있으나, CD 제작, 구강관련사이트와의다양한연계노력이필요하다. - 78 -
다. 자료수집의정확성개선방안 자료수집의정확성에대한개선방안을사전교육, 조사시설과기구, 조사일 정과조사비의네범주로나누어기술하겠다. (1) 사전교육의내실화 사전교육을외국의경우처럼보다철저하게실기할필요가있다. 이를위 해서, 외국의사전교육시스템을철저히파악하여, 우리나라상황에맞는사 전교육프로그램을만들어야하겠다. 이작업은다음과같은과정을거쳐서 진행해야할것이다. 1 사전교육에대한평가 ( 사전교육참여자들에대한설문조사및면담조사를통해서구체적으로문제점을파악한다 ) 2 외국의사전교육시스템에대한자료를구하든지, 방문하여실제진행과정을살펴본다. 3 우리나라상황에맞는사전교육시스템을구축한다. (2) 조사시설과기구단기적으로는검진이제대로이루어질수있는시설을섭외하여, 조사가제대로이루어질수있는환경이조성되어야하겠다. 장기적으로는미국의경우처럼, 검진이공기총 (air syringe) 과양호한조명이설치된이동검진센터에서이루어지도록할필요가있다. (3) 조사일정의문제점 조사일정을재검토하여, 적절한조사일정을확보해야할것이다. - 79 -
(4) 조사비의현실화 검진요원에대한인건비를현실화해서, 노력에대한적절한보상이이루어 지도록해야하겠다. 라. 공표자료의충실성개선방안 (1) 오류 / 누락방지를위한점검체계확립수치값의오류나누락등은국가통계자료에서는절대로있어서는안된다. 따라서이런실수를확실히방지할점검체계를구축해야할것이다. 이를위해서, 먼저현재의자료공표과정에대한보다세밀한평가작업이이루어져서, 구체적인원인규명이되어야할것이다. 그리고이결과에준해서구체적인방안이모색되어야할것이다. (2) 공표내용의다양화공표되는자료에보다다양한정보를수록하도록해야할것이다. 예를들어, 소규모지역별자료나외국과의비교내용을제공하던지, 통계분석결과의제시방식을더다양하게하는것도고려해볼수있다. - 80 -
마. 이용자만족도제고개선방안 (1) 생산과정의개선자료가예고된일정에맞춰공표될수있도록해야할것이다. 이를위해서는, 현재공표시기의문제가발생하는원인을규명하는작업이선행되어야한다. (2) 활용편리성의개선 1 외국자료와의비교보건의료분야의통계자료도단순히국내의통계수치를제공하는데서더나아가국제적인비교정보를제공하는수준까지발전해야할필요가있다. 예를들어, OECD국가의상응하는통계수치를제공하는것도이용자들에게도움이될것이다. 2 유의사항 / 관련개념 / 용어정의부족이분야의전문가가아니어도조사결과를이해하기수월하게하기위해서는보다구체적이고세세한설명이필요하다. 특히구강관련전문용어에대한설명이일반인이이해할수있는수준으로기술되어야하겠다. 3 원시자료제공이용자들이직접원시자료를이용할수있게끔, 홈페이지를통해서접근할수있게해주는방안도모색할필요가있다. 이는이자료의활용도를높인다는측면에서중요하다. - 81 -
4 통계자료홍보통계자료의사회적가시성을높이고, 그활용도를높이기위해서는보다적극적으로통계자료에대한홍보를해야한다. 현재가장좋은채널은인터넷이다. 온라인을통해서보다적극적으로자료의홍보를해야할것이다. 또한이용자를찾아가는노력도필요하다. 즉각종보건관련학회행사등에보건통계자료에대한홍보포스터나팜플렛을배포하는것도고려해볼만하다. 5 자료접근채널의다양화결과보고서에접근할수있는채널을다양화하고, 이다양한채널을적극홍보해야한다. 인터넷뿐만아니라, CD의제작과배포등다양한매체를활용할필요가있다. (3) 내용충실성의개선 1 항목의추가 2005 년도에실시한구강건강실태조사표준화및시행방안에관한 연구 에서활용도가떨어지는항목을제외하고, 보다활용가치가있는 항목을새로추가하는안이제시되었다. 진료필요인지자율, 미충족진료필요 경험자율, 미충족이유등이필요하다고주장하였다. 예를들어, 전문가가 판단하는진료필요와일반인이생각하는진료필요의차이를분석하면, 교육 과홍보의방향에대한기초정보를얻을수있다. - 82 -
2 기존항목응답범주의개선 2005 년도에실시한구강건강실태조사표준화및시행방안에관한연구에 서기존항목의응답범주를개선해야한다는제안을하였다. 첫째는월평균 총소득을구간으로묻지말고, 실제액수를묻자는것이다. 이경우, 소득에대한정확도가높아질수있는장점이있지만, 응답자들이정확한액수의답변을회피하는문제, 즉무응답이늘가능성도동시에존재한다. 따라서이이슈에대해서는좀더논의가필요하다. 둘째는직업분류표상의세부직업분류가과도하게자세하기에, 국민건강영양조사의직업분류를차용하는안이제시되었다. - 83 -
바. 품질개선노력향상방안 (1) 예산지원확대통계품질개선실적표는지속적으로개선안을유도하는기능을한다고본다. 개선실적표작성을위해서는, 절차별로계속안을만들고실행에옮길수밖에없기때문이다. 그런데보다실효성있는품질개선안을유도해내기위해서는결국예산지원이필수요건이다. 예산지원없이, 통계품질개선노력은한계를가질수밖에없다. (2) 직원능력제고예산지원에이어서직원능력제고방안이마련되어야할것이다. 체계적인분석능력과창의력을갖춘인재가되도록지속적인교육프로그램이제시되어야하겠다. (3) 현장의피드백시스템통계담당직원이현장의목소리를경청할수있는자리가자주마련되어서현장의피드백을수시로받을수있어야한다. 조사표를작성하는일선의료기관의직원이나의무기록협회, 그리고조사자료이용자들과의만남의자리가공식적으로마련되어야할것이다. - 84 -
3. 결론 국민구강건강통계품질진단결과, 전반적인재조정의필요성이부각되었 다. 이연구는통계작성환경에서부터품질개선노력의 6 부분에걸쳐서문제 점과개선점을지적하였는데, 요약해서보면크게세가지부분에서근본적 인재검토와수정작업이필요하다고볼수있다. 첫째, 조사의전반적기획과집행과관련한행정부서가안고있는한계를 극복하는일이급선무라고할수있다. 예산과인력이부족하기에, 앞에서 지적한문제를세세하게파악하여, 지속적으로개선하는데어려움을겪고있 다. 조사대상수의설정이나조사방법등이할당된예산에맞추어서이루어 지고있는실정이다. 결국이는통계의품질을확보하는데근본적한계를 갖게한다. 또한표본추출부터분석까지의작업을합리적으로수행하기위해서는, 이 를전담할인력이필요하다. 둘째, 자료수집의주체가확립되어야할것이다. 보건복지부내에구강보 건전담부서가있지만, 전국적인실태조사를주도할인력과조직을갖추고있지못하다. 또한질병관리본부도이러한조직과자원을갖고있지못하다. 이러한이유에서, 국민건강실태조사는대한치과의사협회산하민간연구원인한국구강보건의료연구원에용역사업으로위탁되어왔다. 표본조사시행및분석위탁기관은한국구강보건의료연구원이지만실제조사는대한구강보건학회 차원에서이루어지고있다. 이렇게두개의기관이연계되어조사를실시하는경 우, 기획부서의조사에대한관리또는감독이어려워지며, 의사소통의어려움으로 통계품질을저하하는요인이증가할수있다. 현재의위탁방식은매 3 년마다실 태조사가이루어지기직전에발주하기때문에, 조사된결과의지속적인심층분석이 - 85 -
나조사과정의지속적인진화발전을담보할안정적조직체계가없는실정이다 ( 건강증진사업진흥단, 2006). 미국의경우, 질병관리청 (Center for Disease Control and Prevention, CDC) 산하에국가보건통계센터 (National Center for Health Statistics, NCHS) 가있어서, 조사를전담하고있듯이, 우리도이를전적으로담당할기구를확보해야한다. 셋째, 구강건강실태조사를타조사의일부로결합하여수행하는방안에대한심도있는검토가이루어져야하겠다. 미국의경우, 국민건강영양조사 (NHANES) 에구강건강실태조사가포함되어조사가진행되었다 (CDC, 2003). 영국의경우는식이영양조사에아동 / 청소년과노인구강건강실태조사가포함되었다 (Walker et al., 2000; Kelly et al., 2000). 구강건강실태조사를타조사와결합시의장점으로는구강건강변수와타변수와의상관성을검토할수있는자료를얻을수있다는것과실태조사의규모 가커짐에따른효율성제고를들수있다. 이에반해서단점은표본추출에 있어서제한을받을수있다는것과예결산작업이까다롭다는것이다. 장기적차원에서보면, 성인 / 유아층과학생층의표본추출틀을분리하여성인 / 유아층은국민건강영양조사의표본을공동이용하고, 학생층은별도의표본추출과조사를시행하는안을고려해볼수있다. 그런데이런결합안에대해서전문가위원회를구성하여, 구체적인로드맵을구상하는것이필요하다고본다. 타조사와의결합시, 기존설문문항에대한전반적재검토, 즉문항수정및추가등의작업이이루어야져야하겠다. - 86 -
< 표 40> 문제점및개선방안 ( 긴급, 점진사항별 ) 문제점 개선방안 조사표설계 충실한지침서작성, 추가항목및 수정항목개발 자료처리및집계 무응답실태를파악, 표준오차정보제공, 자료입력과정의오류점검시스템확립 자료이용 접근가능한채널의다양화, 홍보 긴급 개선사항 ( 단기 ) 유의사항 / 관련개념 / 용어정의 부족 사전교육의미비 개념에대한설명보완 실례중심의교육으로내실화 수치값오류및누락자료 오류및누락방지를위한점검체계확립 외국자료와의비교시불편함 OECD 자료추가 보고서형식편리성부족 User Friendly 한보고서형식개발 예산및인력부족 예산및인력확충 점진 개선사항 ( 중장기 ) 조사시설과기구의문제 조사일정 조사비 이동검진센터, 전문조사요원확보 조사일정을여유있게할것 조사비의현실화 조사주체의문제 고정적전담기구의확립 - 87 -