이보고서는 2016 년도미래창조과학부방송통신진흥기금방송통신 정책연구사업의연구결과로서보고서내용은연구자의견해이며, 미 래창조과학부의공식입장과다를수있습니다.
제출문 미래창조과학부장관귀하 본보고서를 ICT 통계조사품질진단의연구결과보고서로제 출합니다. 2016 년 12 월 연구기관 : 정보통신정책연구원총괄책임자 : 정용찬연구위원참여연구원 : 김경훈부연구위원유선실부연구위원정환고려대교수 - i -
목 차 요약문 ⅸ 제 1 장서론 1 제 1 절연구배경과목적 1 1. 연구배경 1 2. 연구목적 2 제 2 절연구내용과추진체계 3 1. 연구내용 3 2. 연구추진체계 3 제 3 절관련연구검토 5 제 2 장미승인 ICT통계현황진단 8 제 1 절개관 8 제 2 절미승인 ICT통계조사체계 10 1. 개요 10 2. 클라우드산업실태조사 12 3. 데이터산업현황조사 13 4. 빅데이터시장현황조사 15 5. 정보보호산업실태조사 17 제 3 장국내외통계품질관리사례분석 19 제 1 절통계청통계품질관리 19 1. 통계품질관리 19 2. 통계품질진단 20 3. 시사점 28 - iii -
제 2 절해외주요국의 ICT통계품질관리사례 28 1. 미국의통계품질관리체계 28 2. 캐나다의통계품질관리체계 29 3. 영국의통계품질관리체계 30 4. 기타국가들의통계품질관리체계 31 5. Eurostat 의통계품질관리체계 33 6. ITU의자료품질평가체계 33 7. 시사점 35 제 3 절식약처미승인통계품질관리사례분석 36 1. 개요 36 2. 보고통계자체진단서및품질평가서개발 37 3. 식약처미승인통계품질관리체계수립방안 44 4. 시사점 46 제 4 장미승인 ICT통계품질진단체계설계 48 제 1 절기본방향 48 제 2 절미승인 ICT통계품질관리지표설계 50 1. 설계방향 50 2. 품질진단수행절차 50 3. 품질진단자체진단서와품질진단평가서 52 4. 품질진단프로세스와결과 58 제 3 절향후추진방향 65 제 5 장결론 68 참고문헌 69 [ 부록 1] 미승인 ICT통계품질진단자체진단서 71 [ 부록 2] 미승인 ICT통계품질진단평가서 106 [ 부록 3] 미승인 ICT통계품질진단이용자면접 (FGI) 질문지 124 - iv -
표목차 < 표 1-1> 미승인 ICT통계작성기관실무회의주요내용 4 < 표 1-2> 전문가자문회의주요내용 5 < 표 1-3> 통계품질진단관련용역연구주요내용 6 < 표 2-1> 국내 ICT 관련미승인통계현황 8 < 표 2-2> 2016년미승인 ICT통계품질진단대상통계의조사개요 (2015년기준 ) 11 < 표 2-3> 클라우드산업실태조사개요 (2015년기준 ) 12 < 표 2-4> 클라우드산업실태조사조사모집단구축과정 13 < 표 2-5> 데이터산업현황조사개요 (2015년기준 ) 14 < 표 2-6> 데이터산업현황조사모집단구축 (2015년조사기준 ) 15 < 표 2-7> 빅데이터시장현황조사개요 (2015년기준 ) 16 < 표 2-8> 정보보호산업실태조사개요 (2015년기준 ) 17 < 표 3-1> 통계품질평가기준 20 < 표 3-2> 통계정보보고서 활용품질진단흐름도 23 < 표 3-3> 이용자요구사항반영실태진단 ( 표적집단면접 ) 흐름도 23 < 표 3-4> 자료수집체계점검흐름도 24 < 표 3-5> 표본설계점검흐름도 25 < 표 3-6> 평가점수에따른등급결정방법 27 < 표 3-7> 미국의기관별통계품질관리체계 29 < 표 3-8> 캐나다의통계품질차원 30 < 표 3-9> ITU의 ICT통계품질차원 34 < 표 3-10> 집중형과분산형통계제도의장단점비교 35 < 표 3-11> 식약처승인통계 (2016년 12월기준 ) 36 < 표 3-12> 식약처통계에대한자체통계품질진단결과및개선방안 ( 통계청기준 ) 38 < 표 3-13> 보고통계자체진단서진단절차별수정내용 40 - v -
< 표 3-14> 식약처미승인통계품질관리체계절차및업무내용 45 < 표 4-1> 통계청품질진단과미승인통계품질진단비교 48 < 표 4-2> 국내외품질진단사례벤치마킹 50 < 표 4-3> 미승인 ICT통계품질진단자체진단서 의문항수 53 < 표 4-4> 품질진단자체진단서항목구성 53 < 표 4-5> 통계청자체통계품질진단과미승인 ICT통계품질진단평가서지표비교 55 < 표 4-6> 미승인 ICT통계품질진단평가서항목구성 55 < 표 4-7> 이용자인터뷰참가자구성 59 < 표 4-8> 이용자인터뷰주요의견 60 < 표 4-9> 품질진단대상통계별주요개선권고사항 62 < 표 4-10> 연차별품질진단과개선지원계획 66 < 표 4-11> 미승인 ICT통계품질진단시기 66 - vi -
그림목차 [ 그림 1-1] ICT통계작성체계 2 [ 그림 2-1] 빅데이터시장현황조사모집단구축 (2015년조사기준 ) 17 [ 그림 3-1] 정기통계품질진단업무흐름도 22 [ 그림 3-2] 자체통계품질진단업무흐름도 26 [ 그림 3-3] INEGI 통계품질보증체계 32 [ 그림 3-4] 식약처보고통계자체진단서예시 42 [ 그림 3-5] 식약처보고통계품질평가서예시 43 [ 그림 4-1] 미승인 ICT통계품질진단추진일정 49 [ 그림 4-2] 미승인 ICT통계품질진단프로세스 52 - vii -
요약문 1. 제목 ICT 통계조사품질진단 2. 연구목적및필요성 ICT통계는 ICT정책의입안, 집행, 평가, 환류의기반이되는인프라로정확성 (accuracy) 이생명이다. 이를위해통계를만드는정부부처는매년해당통계의품질을스스로평가하는 자체통계품질진단 을시행하고있다. 또이와는별도로통계청이주관이되어부처가생산하는통계의작성과보급의제반과정에대하여 4~5년주기로 정기통계품질진단 을시행하고있다. 그러나통계법에명시된자체통계품질진단과정기통계품질진단은통계청의승인을받은국가승인통계를대상으로시행하고있어정부부처가다양한목적으로생산하고있는미승인통계조사는이러한품질진단시스템에서배제되어있다. ICT 분야의경우새로운산업의등장에따른시장규모와수요의파악, 산업진흥정책의수립과지원등을목적으로다양한분야의미승인통계조사를시행하고있다. 이러한미승인 ICT통계는새롭게부상하고있는신산업의특성을감안하면필요한조사임에는틀림이없지만기존 ICT통계와의중복, 조사과정전반에대한품질관리등조사관리체계에대한종합적인진단이필요한상황이다. 본과제는미래부에서생산하고있는미승인 ICT통계생산체계의현황을파악하고문제점을진단하여정확성 (Accuracy), 적시성 (Timeliness), 관련성 (Relevance) 을확보하기위한품질진단체계를설계하고, 실제미승인 ICT통계를대상으로품질진단을실시하여실무에적용가능한진단방법론과평가시스템을도출하는것을목표로하였다. - ix -
3. 연구의구성및범위 미승인 ICT통계의현황과관리체계를진단하고, 미국, 캐나다, Eurostat, ITU의통계품질관리사례와통계청의통계품질관리사례, 식약처의미승인통계품질관리사례를분석하여미승인 ICT통계특성에부합하는품질진단체계를설계하였다. 품질진단방법론개발은미승인 ICT통계조사기관의자체진단서작성, 통계이용자의요구사항반영실태를진단하기위한인터뷰 (FGI), 품질진단, 결과통보및의견수렴등전문가자문단과통계수행기관, 이용자, 연구진등이참여하는협업체계로구성하여전문성과현장성의조화를이루고자하였다. 4. 연구내용및결과 미승인 ICT통계품질진단은통계품질을평가하는것이아니라품질진단을통해파악된통계의문제점을해결하고전문성강화를지원하는데목적이있다. 즉모집단정보제공, 표본설계, 설문작성, 모수추정등해당기관이부족한전문성을기술지원등을통해보완하는통계작성지원체계재정립을지향한다. 미승인 ICT통계품질관리지표는통계청의품질진단기본지표 ( 관련성, 정확성, 시의성 / 정시성, 비교성, 일관성, 접근성 / 명확성 ) 를기초로 ITU의비용-효과지표와신뢰성지표 ( 이용자가느끼는통계의정확도 ), 식약처의미승인통계자체품질진단지표를벤치마킹하여작성하였다. 현재작성되고있는 ICT통계들이가지고있는문제점을정확히평가하고, 통계작성담당자로하여금통계개선필요성을인식하도록하는 미승인 ICT통계품질진단자체진단서 를제안하였다. 미승인 ICT통계품질진단자체진단서 는승인통계를대상으로한통계청의 자체통계품질진단매뉴얼 의진단서를바탕으로미승인 ICT통계의상황에맞게질문내용과보기등을수정하였으며, 필요하다고판단되는문항들은새로추가하여 9개분야 92개항목으로구성하였다. 또한미승인 ICT통계품질을진단하기위해통계청의조사통계용 자체통계품질진단매 - x -
뉴얼 의 44개통계품질지표를기반으로하여 8개의품질차원및 9개의작성절차별로 31개의통계품질지표로구성된평가서를제안하였다. 본연구에서제안한 미승인 ICT통계품질진단체계 를데이터산업현황조사, 빅데이터시장현황조사, 클라우드산업실태조사, 정보보호산업실태조사에적용한결과표본설계보고서작성, 적절한통계추정방법적용, 이용자만족도조사의시행, 조사용역기관관리표준화등공통적인개선사항이도출되었다. 본연구에서제시한품질진단지표는일회성으로그치는것이아니라미승인 ICT통계를대상으로연차적으로품질진단을수행할필요가있다. 다만미승인 ICT통계의경우조사통계이외에도가공통계가존재하므로품질진단결과의상호비교성유지를위해필수항목은유지하되필요시대상과제의특성을반영할수있는문항을추가하는등지표수정도고려할수있다. 또한품질진단과정에서도출된개선과제는차년도에기술지원등을통해품질제고의기회로삼아야한다. 5. 정책적활용내용 승인통계를대상으로하는품질진단이평가에주목적이있다면미승인 ICT통계를대상으로하는품질진단은궁극적으로통계품질개선을위한요소를파악하고이를효과적으로해결하기위한방안을도출하는것이다. 품질진단에서파악된개선과제는차년도에이의해결을위한기술지원-표본설계, 설문작성, 추정등통계품질개선을위한지원-을통해승인통계화, 또는조사품질개선등실질적인품질제고활동으로연계하여진행하는것이필요하다. 이러한일련의과정을통해정책수립지원을위한 ICT통계의품질제고에기여할것으로판단된다. 6. 기대효과 본연구에서제시한 미승인 ICT통계품질진단체계 는미승인 ICT통계의품질개선에기여할것으로판단되며이를기초로정확도가보장된미승인 ICT통계생산체계시스템개선이가능할것으로판단된다. 이는궁극적으로효율적인통계예산집행과증거기반의정책수립을구현하는데일조할것으로기대한다. - xi -
SUMMARY 1. Title Quality Assessment of Unapproved ICT Statistics 2. Objective and Importance of Research ICT statistics serve as an infrastructure that supports the formulation, execution, evaluation and feedback of ICT policies and, therefore, accuracy is essential. For this reason, government agencies producing official statistics conduct the annual Self-Assessment of Statistical Quality. In addition, the Regular Assessment of Statistical Quality is performed every four or five years by Statistics Korea to monitor the overall process from the production and dissemination of statistics produced by those government agencies. However, the Self-Assessment and Regular Assessment stipulated in the Statistics Act are conducted only on national statistics that have been approved by Statistics Korea excluding unapproved statistics government agencies produce for various purposes from the nation s statistical quality control system. In the ICT sector, a wide range of unapproved statistical surveys are undertaken to identify the market size and market demand of an emerging industry as well as to help the establishment and support of new industry-promotion policies. Although these ICT statistical surveys are important and necessary considering the characteristics of a newly-rising industry, a comprehensive quality assessment is needed to address several issues such as duplication with the existing ICT statistics and to control quality through the entire survey process. - xiii -
In this regard, this study aims to review the current status of the unapproved ICT statistics production system of the Ministry of Science, ICT and Future Planning, identify areas for improvement, design a quality assessment system to ensure the accuracy, timeliness and relevance of unapproved ICT statistics, and to suggest a methodology of assessment and an assessment system that could be easily applied to the actual statistical business process after conducting a quality assessment of unapproved ICT statistics. 3. Contents and Scope of the Research This study examines the current status of unapproved ICT statistics and the management system, analyzes the cases of statistical quality control in the U.S., Canada, Eurostat, ITU and Statistics Korea, and of the quality control of unapproved statistics by the Ministry of Food and Drug Safety in Korea to design a quality control system that is suitable for unapproved ICT statistics. For the development of a methodology of quality assessment, this study establishes a collaborative system participated by an expert panel, statistics-producing organizations, users and researchers to strike a balance between expertise and user-producer engagement, and performs the collection of self-quality assessment reports written by unapproved ICT statistics producers, a focus group interview to evaluate user participation, result announcement, and the gathering of feedback. 4. Research Results The objective of the quality assessment of unapproved ICT statistics is not to simply evaluate the quality of ICT statistics, but to address the limitations identified through the assessment and to support the enhancement of expertise. In other words, this study pursues the reestablishment of a statistics production support system by providing necessary technical support customized for individual statistics-producing organization in terms of the selection of a survey population, sample design, the creation of survey - xiv -
questions and parameter estimation. The primary indicators of the quality assessment of unapproved ICT statistics are designed based on the six dimensions of statistical quality used by Statistics Korea(i.e. relevance, accuracy, timeliness/punctuality, comparability, coherence, accessibility/clarity) after benchmarking the cost-benefit analysis and statistical confidence level by ITU and the self-assessment indicators for unapproved statistics by the Ministry of Food and Drug Safety as well. This study accurately identifies the limitations of the existing ICT statistics and suggests a Report of Self-Quality Assessment of Unapproved ICT Statistics that could help the persons in charge of producing ICT statistics recognize areas for improvement. The Report of Self-Quality Assessment of Unapproved ICT Statistics is devised based on the self-assessment report included in the Manual for Self Assessment of Statistics Quality provided by Statistics Korea, but the details and examples are modified to reflect the current situations of unapproved ICT statistics and new questions considered necessary are also added resulting in a total of 92 questions in 9 areas. In addition, as a way to diagnose the quality of unapproved ICT statistics, the self-assessment report this study proposes has 31 indicators of statistical quality with 8 quality dimensions and 9 statistical production processes modeling after the 44 statistical quality indicators included in the Manual for Self Assessment of Statistics Quality. As a result of applying the Quality Assessment System for Unapproved ICT Statistics this study suggests to the Data Industry Survey, Big Data Market Survey, Cloud Industry Survey, and Survey for Information Security Industry, research team identifies common areas for improvement including the need of a sample design report, appropriate methods of estimation, a user satisfaction survey, standardized management of outsourced surveys. The quality assessment this study proposes should not be an one-off event, but needs to be done on unapproved ICT statistics annually. Since there are derived statistics in addition to survey statistics among unapproved ICT statistics, the critical items need to be maintained for comparability but a revision of the indicators that could reflect the - xv -
characteristics of specific statistics can be considered when necessary. In addition, areas for improvement identified in the process of quality assessment should be addressed to enhance statistical quality through technical support in the next year. 5. Policy Suggestions for Practical Use When the main objective of the quality assessment of approved statistics is to evaluate the quality itself, the ultimate goal of the quality assessment of unapproved ICT statistics is to identify areas for improvement and come up with ways to address the issues. Identified issues and tasks for improvement should be tackled through practical quality improvement efforts such as the improvement of survey quality or the acquisition of approval backed by technical support in the areas of sample design, survey creation and estimation. This quality improvement process is expected to contribute to enhancing the quality of ICT statistics that are used in developing related public policies. 6. Expectations The Quality Assessment System for Unapproved ICT Statistics this study suggests is expected to contribute to improving the quality of unapproved ICT statistics and to enable the development of an unapproved ICT statistics production system that could guarantee the accuracy of statistics. This will ultimately help the efficient execution of statistical budget and data-based policy making. - xvi -
CONTENTS Chapter 1. Introduction 1. Background and Objective of Research 2. Contents and Implementation of Research Chapter 2. Diagnosis of the Current Status of Unapproved ICT Statistics 1. Overview 2. Current System of Unapproved ICT Statistics Chapter 3. Analysis of Statistical Quality Control in Korea and Other Countries 1. Statistical Quality Control of Statistics Korea 2. Cases of ICT Statistical Quality Control in Major Economies 3. Case of the Quality Control of Unapproved Statistics by the Ministry of Food and Drug Safety in Korea Chapter 4. Design of a Quality Control System for Unapproved ICT Statistics 1. Basic Direction - xvii -
2. Design of Quality Indicators for Unapproved ICT Statistics 3. Implementation Plan Chapter 5. Conclusion [Appendix 1] Report of Self-Quality Assessment of Unapproved ICT Statistics [Appendix 2] Quality Assessment of Unapproved ICT Statistics [Appendix 3] Focus Group Interview Questionnaire for the Quality Assessment of Unapproved ICT Statistics - xviii -
제 1 장서론 제 1 절연구배경과목적 1. 연구배경 ICT통계는 ICT정책의입안, 집행, 평가, 환류의기반이되는인프라로정확성 (accuracy), 적시성 (timeliness), 관련성 (relevance) 이생명 ( 정용찬외, 2015) 이를달성하기위해서통계를만드는정부부처는매년해당통계의품질을스스로평가하는 자체통계품질진단 을시행하고있음. 또이와는별도로통계청이주관이되어부처가생산하는통계의작성과보급의제반과정에대하여 4~5년주기로 정기통계품질진단 을시행하고있음 그러나통계법에명시된자체통계품질진단과정기통계품질진단은통계청의승인을받은국가승인통계를대상으로시행하고있어정부부처가다양한목적으로생산하고있는미승인통계조사는이러한품질진단시스템에서배제되어있음 ICT 분야의경우새로운산업의등장에따른시장규모와수요의파악, 산업진흥정책의수립과지원등을목적으로 ICT융합생태계실태조사, 스마트미디어산업실태조사, 클라우드산업실태조사, 데이터산업현황조사, 빅데이터시장현황조사등다양한분야의미승인통계조사를시행하고있음. 이러한미승인 ICT통계는새롭게부상하고있는신산업의특성을감안하면필요한조사임에는틀림이없지만기존 ICT통계와의중복, 조사과정전반에대한품질관리등조사관리체계에대한종합적인진단이필요한상황임 정부통계생산체계의공통적인특징이기도하지만 ICT통계의경우에도부처, 작성기관, 협회, 조사회사등여러기관이업무위탁과용역계약등다양한형태로통계생산에관여하여품질관리에근원적인어려움이존재 - 1 -
[ 그림 1-1] ICT 통계작성체계 정부정책수립에서통계의중요성이강조되는증거기반정책수립 (Evidence-Based Policymaking) 환경에서미승인 ICT통계의품질을제고하기위한관리체계를수립하는것은정보개방과공유활성화를지향하는정부 3.0 정신에부합하며비용효율적인통계생산체계정립에도일조할것으로기대 2. 연구목적 미승인 ICT통계의정확성 (Accuracy), 적시성 (Timeliness), 관련성 (Relevance) 을확보하기위한품질진단체계를설계하고, 실제미승인 ICT통계에적용하여품질진단을실시하여실무에적용가능한진단방법론과평가시스템을제공 미승인 ICT통계품질진단체계정립을통해 ICT통계의중복해소는물론조사대상과조사방법의일관성확보, 시장환경을반영한통계생산이가능 - 2 -
제 2 절연구내용과추진체계 1. 연구내용 미승인 ICT통계품질진단방법론개발과평가체계개선을위해다음과같은연구내용으로구성 미승인 ICT통계현황진단 - 미승인 ICT통계현황과관리체계진단 국내외통계품질진단사례벤치마킹 - 미국, 캐나다, Eurostat, ITU의통계품질관리사례분석 - 통계청통계품질관리사례분석 - 식약처미승인통계품질관리사례분석 미승인 ICT통계품질진단체계설계 - 개선기본방향 - 미승인 ICT통계품질관리평가지표 ( 안 ) 설계와파일럿적용 - 향후추진방향 2. 연구추진체계 효율적인연구진행과연구정책기여도제고를위해문헌연구, 국내외주요사례벤치마킹, 학술회의참석, 자문단구성, 전문가인터뷰등다양한방법론을적용함 - 미승인 ICT통계작성체계현황파악을위해통계생산기관의자체진단서작성, 기관방문인터뷰, 통계이용전문가인터뷰를진행. 특히품질진단의효과적인수행을위해품질진단주요추진내용설명과의견수렴등통계작성기관실무자와의원활한커뮤니케이션을위한실무회의진행 - 학계의 ICT통계전문가자문단을구성하여품질진단지표설계를위한의견수렴과통계이용자인터뷰, 자문을진행 - 3 -
< 표 1-1> 미승인 ICT 통계작성기관실무회의주요내용 일자제목참석자주요내용 7. 6 9. 23 10. 5 10. 20~11. 10. 27 11. 2 11 월 ~12 월초. 2차 ICT 통계협의회품질진단지표 ( 안 ) 설명회 품질진단자체진단서설명회품질진단대상기관방문 통계이용자심층인터뷰 3차 ICT 통계협의회품질진단결과설명회 미래부, ICT통계생산기관, 연구진품질진단대상기관, 연구진 품질진단대상기관, 연구진 품질진단대상기관, 연구진품질진단대상통계이용자, 연구진, 자문단 미래부, ICT통계생산기관, 연구진품질진단대상기관, 연구진, 자문단 품질진단 ( 안 ) 발표및의견수렴 미승인 ICT 통계품질진단지표 ( 안 ) 설명및의견수렴 미승인 ICT 통계자체품질진단서작성방법설명및의견수렴 ICT 통계자체품질진단서작성내용확인 미승인 ICT 통계이용자대상심층인터뷰 (FGI) 품질진단 ( 안 ) 진행상황설명및의견수렴 미승인 ICT 통계품질진단결과설명 문헌연구와자료조사 - 국내통계품질진단현황파악을위해통계청의통계품질진단지표구성과관리사례분석. 미승인통계품질관리사례분석을위해식약처사례벤치마킹 - 해외주요국과국제기구의통계품질관리사례분석을위해관련기관의발간불과보도자료, 홈페이지자료조사 - 해외주요국의 ICT통계작성체계현황분석을위해정부발간보고서, 보도자료, 관련기관홈페이지자료조사 - 해외주요국의품질진단사례조사를위해유럽주요국과미국, 캐나다정부통계기관이참여하는 Q2016 컨퍼런스 에참여, 주요국의사례를조사 Q2016은 Eurostat(EU 통계청 ) 이격년으로개최하는 정부통계품질제고컨퍼런스 (European Conference on Quality in Official Statistics) 로 EU회원국은물론미국, 뉴질랜드등주요국이참여하여정부통계수집과생산과정에서의경험공유를통해통계품질관리를제고 - 4 -
전문가자문 - 통계청, 학계의품질진단전문가초청발표회를통해미승인통계품질진단의방향성을모색 - 미승인통계품질진단지표설계를위해학계의 ICT통계전문가로자문단을구성, 품질진단지표 ( 안 ) 을도출하고실제통계조사에적용하여품질진단을진행 < 표 1-2> 전문가자문회의주요내용 일자전문가주요내용 6. 27 7. 1 8. 19 호서대학교정보통계학과강현철교수 고려대학교통계학과정환교수 통계청품질관리과이희정사무관 식약처미승인통계품질진단개발사례 미승인 ICT 통계품질진단지표 통계청품질진단체계와적용현황 9. 23 품질진단전문가자문단미승인 ICT 통계품질진단예비평가회의 11. 8 품질진단전문가자문단미승인 ICT 통계품질진단평가회의 제 3 절관련연구검토 ICT통계와관련한통계품질진단기존연구로는통계청이승인통계에대해서정기적으로시행하는통계품질진단용역연구와, 각기관이통계품질진단방법론개발을위한용역연구, 제도개선연구등으로구분가능 통계청의승인통계대상통계품질진단용역연구 - 한국통계학회 (2011) 는통계청용역사업인정보통신산업주제분야 2011년정기통계품질진단연구용역최종결과보고서에서 13개통계작성기관의 18종정보통신산업관련국가승인통계의품질진단을목적으로정보통신산업관련통계의 통계작성체계 와 통계생산체계 의품질을비교 검토함 - 한국조사연구학회 (2011) 는통계청용역사업정보통신이용실태분야 2011년정기통 - 5 -
계품질진단연구용역보고서에서 4개통계작성기관의 10종의정보통신이용실태조사관련국가승인통계의품질을진단 통계품질진단서개발관련연구 - 손창균 장영식 최성용 김나연 (2007) 은통계청용역과제인자체통계품질진단매뉴얼개발용역보고서에서외국의주요품질진단차원과지표를바탕으로자체통계품질진단을위한가이드라인을제안하고자체통계품질진단서작성을위한지침과사례, 결과활용등이용자가이드를제시함 - 강현철 한상태 이동희 박문희 (2011) 는식품의약품안전청용역과제인통계자체품질진단서개발에서식품, 의약품, 의료기기등관련통계에대한통계품질진단을실시하고, 식품의약품안전청보고통계의체계적인품질평가방법론을개발하고자체진단서와작성평가서를제안함 - 손창균 정기문 김은주 (2011) 는보건복지통계의품질관리표준화방안에서통계청의보건및복지관련통계품질진단결과를검토하고외국의품질관리지표의검토를통해보건및복지분야통계품질관리표준화방안을제안하고표준품질관리를위한체크리스트와표준품질관리체계적용사례를제시 < 표 1-3> 통계품질진단관련용역연구주요내용 주관연구제목연구내용 통계청 정보통신산업주제분야 2011 년정기통계품질진단연구용역최종결과보고서 정보통신이용실태분야 2011 년정기통계품질진단연구용역최종결과보고서 - 정보통신산업관련통계의 통계작성체계 검토 - 정보통신산업관련통계의 통계생산체계 진단 - 정보통신산업통계발전방향제시 - 정보통신이용실태분야통계작성체계 - 정보통신이용실태분야통계생산체계 - 진단결과종합분석및통계발전방향 - 6 -
주관연구제목연구내용 통계청 식품의약품안전청 보건사회연구원 자체통계품질진단매뉴얼개발용역보고서 통계자체품질진단서개발 보건복지통계의품질관리표준화방안 - 품질진단방법의분류 - 주요품질진단차원및지표 - 자체통계품질진단을위한가이드라인 - 자체통계품질진단서작성을위한이용자가이드 - 식품, 의약품, 의료기기통계품질진단실시 - 식품의약품안전청보고통계품질평가방법 - 통계청의보건및복지통계품질진단결과검토 - 외국의품질관리지표의검토 - 보건복지통계의품질관리지표의개발 통계품질진단제도개선관련연구 문권순 (2009) 은국가통계의품질진단과향후발전방향에서 6개품질차원측면에서실시하고있는정기통계품질진단방법과도출된주요개선과제내용을소개하고, 정기통계품질진단의문제점과향후발전방향에대해서제시함 정용찬 (2011) 은성과와고객관점의통계품질진단개선에서승인통계작성체계와품질진단사례분석을통해서품질진단의현황을분석하고미국과영국의성과관리관점의품질진단사례분석을통해서성과관점에서의품질진단제도개선방향을제시함 서우석 김용환 (2016) 은조사품질 : 제도적접근에서조사통계품질개선을위해승인통계의활용도강화와조사예산, 과정품질과조직품질관심제고, 작성기구의독립성등제도적인개선안을제시 기존관련연구대부분이승인통계의품질진단이나제도개선에관한연구이며품질진단방법론개발연구는통계청의자체통계품질진단매뉴얼개발과식품의약품안전청의조사통계에대한품질진단방법연구등소수에불과하므로미승인 ICT통계의특성을고려한품질진단방법론연구는시의적절함 - 7 -
제 2 장미승인 ICT 통계현황진단 제 1 절개관 현재국내미승인 ICT관련통계는 16종으로각통계의조사목적, 작성유형, 조사기관은아래 < 표 2-1> 과같음 - 미승인 ICT 통계는분야별로 ICT 산업 (4종), ICT 이용 (2종), ICT 품목 (8종), ICT 기반 (2 종 ) 으로나타났으며, ICT 신산업을중심으로한 ICT 품목조사가가장높은비중을차지함 ICT 관련품목조사는급변하는 ICT 기술및시장환경변화에대응하기위해신산업에대한시장 생산규모및애로사항등정책수요를파악하는것을목적으로함 - 특히새롭게주목받는 Emerging Market은기존의넓은범위의 ICT산업실태조사만으로는현황파악에한계가있음 < 표 2-1> 국내 ICT 관련미승인통계현황 구분통계명조사목적 ICT 산업 ICT 중소기업실태조사 ICT 융합생태계실태조사 ICT 전문 인력수급전망을위한수요및공급조사 ICT 중소기업에대한정확한실태파악을통해 ICT 중소기업을위한정부의정책수립및제도개선등에활용 ICT 융합생태계의정량적 / 정성적실태를파악하여신시장창출과일자리확대를위한전망과정책적제언도출 ICT 분야전문인력의직업 기술 학력별수요및공급전망을통해대내외환경변화를반영한인력양성정책수립방향지원 작성유형 조사통계 조사통계 조사통계 조사기관 KOVA KEA IITP/ KRIVET - 8 -
구분통계명조사목적 ICT 산업 ICT 이용 ICT 품목 ICT 분야산업기능요원수요파악을위한실태조사 정보접근성실태조사 인터넷경제활동실태조사 SW 수출통계 스마트미디어산업실태조사 정보보호산업실태조사 클라우드산업실태조사 데이터산업현황조사 빅데이터시장현황조사 산업기능요원에대한 ICT 분야중소기업의정확한수요와실태파악을통한적정인원산정및배정요청 웹사이트 ( 모바일앱포함 ) 의정보접근성준수실태점검을통한문제점분석및개선방안마련 쇼핑, 금융등각종인터넷경제활동에대한정확한실태파악을통해현실성있는정책시사점도출, 구체적실행방안을제시할수있는기초자료및신뢰성있는통계정보를제공 무체물인 SW 의특성상관세청통관자료로는 SW 수출액을정확히파악할수없어별도의조사를통해수출액집계필요 스마트미디어주요시장 (OTT 서비스, 디지털사이니지등 ) 에대한기업체조사및시장규모추정등기초통계생성및제공 정보보호산업의시장조사를통해동향을파악하고향후전망을예측하는것을주된목적으로하고있으며, 나아가정보보호산업을육성할수있는정책방향과과제를제시 국내공급자의클라우드기술수준및경쟁력과클라우드현황및요구사항분석등을통해국내클라우드컴퓨팅산업실태및정책기초자료확보 급변하는데이터산업환경변화를파악하여체계적인데이터산업육성지원정책수립을위한기초통계생산 국내빅데이터활성화를위해시장규모를비롯한기초통계데이터를확보하고전세계시장과의비교, 분석을통해국내빅데이터산업의특성을분석 작성유형 조사통계 조사통계 조사통계 조사통계 조사통계 조사통계 조사통계 조사통계 조사통계 조사기관 KOVA NIA KISA SPRI(KAIT) KAIT KISA NIPA KDATA NIA - 9 -
구분통계명조사목적 ICT 품목 ICT 기반 소프트웨어산업실태조사 디지털콘텐츠산업실태조사 국내인터넷이용환경현황조사 비표준인터넷이용환경실태조사 국내소프트웨어산업구조및생태계적특성, 기업경쟁력을진단하여정부의소프트웨어산업육성정책수립에필요한기초자료를확보 국내사물인터넷 (IoT) 공급사업체실태조사를통해공급사업체현황을세부적으로파악하고사업체경영에필요한기초통계자료제공 정부의인터넷관련정책및기업의사업전략수립시근간자료로활용하기위해각기업으로부터월간웹사이트방문로그를수령후, 전체통계수치산출및결과발표 국내웹사이트의웹호환성을조사하고, 이를발표하여각웹사이트의자발적인개선을유도 작성유형 조사통계 조사통계 가공통계 가공통계 조사기관 SPRI NIPA KISA KISA 제 2 절미승인 ICT 통계조사체계 1. 개요 본절에서는 2016년품질진단파일럿테스트대상이되는 클라우드산업실태조사, 데이터산업현황조사, 빅데이터시장현황조사, 정보보호산업실태조사 의통계조사내용과조사체계를살펴보도록함 4개의통계조사는기업일반현황, 시장 / 생산규모, 인력, 수출입등의산업현황, 그리고정책수요 / 애로사항중심의정책현안조사로구성되어있음 - 정책현안조사는산업별로투자, 도입현황및전망, 기술개발, 전문인력등정책적이슈를중심으로구성 - 10 -
< 표 2-2> 2016 년미승인 ICT 통계품질진단대상통계의조사개요 (2015 년기준 ) 구분 조사방법 조사대상추출방법 모집단수 / 응답기업수 클라우드산업실태조사 면접방문조사, 이메일 / 팩스조사 데이터산업현황조사 면접방문조사, 이메일배포조사, 전화및팩스조사등을병행 빅데이터시장현황조사 면접방문조사, 이메일 / 팩스조사 정보보호산업실태조사 면접방문조사, 전화조사 전수조사표본조사표본조사전수조사 조사모집단 353 개응답기업 190 개 ( 데이터기업 ) 조사모집단 6,106 개목표표본 500 개응답기업 521 개 ( 일반기업 ) 조사모집단 13,075 개목표표본 600 개응답기업 562 개 ( 공급기업 ) 조사모집단 449 개응답기업 100 개 ( 수요기업 ) 응답기업 908 개 조사모집단 701 개 조사내용 매출액, 거래처유형, 국산화율, 산업재산권보유및출원현황, 외산선호이유 인력현황, 인력수급애로사항, 기술인력역량, 교육현황 해외진출현황, 애로사항 사업추진애로사항, 저해요인, 정부지원요청사항 매출액, 인력현황 해외진출현황 R&D 투자현황 데이터보유현황 데이터유통현황 정책요구사항 ( 공급기업 ) 매출액, 인력현황, 빅데이터솔루션 / 서비스현황 빅데이터해외진출현황 빅데이터사업및 R&D 현황 기술수준분석 업계의견수렴 ( 수요기업 ) 빅데이터투자액 빅데이터인력현황 데이터분석활용현황 기술수준분석 업계의견수렴 매출현황및전망 수출현황 해외진출현황및애로사항 인력및채용현황 기술개발현황 시장경쟁및산업동향 자료 : 정보통신산업진흥원 (NIPA), 한국데이터진흥원 (KDATA), 한국정보화진흥원 (NIA), 한국인터넷진흥원 (KISA), 한국정보보호산업협회 - 11 -
2. 클라우드산업실태조사가. 조사개요 ( 목적 ) 국내클라우드산업과시장현황등정부와민간이활용할수있는기초자료확보를위해 클라우드산업실태조사 실시 ( 법적근거 ) 클라우드컴퓨팅발전및이용자보호에관한법률제7조를근거로조사수행 ( 활용 ) 실태조사를통해, 국내클라우드산업의매출액ㆍ투자규모등, 산업및시장현황을조사하여정부정책수립과기업경영전략의기초자료로활용 < 표 2-3> 클라우드산업실태조사개요 (2015 년기준 ) 구분 법적 / 제도적근거 연혁 승인여부 작성기관 조사기관 조사대상 조사방법 조사항목 ( 주요내용 ) 내용 클라우드컴퓨팅발전및이용자보호에관한법률제 7 조 2013 년 : 클라우드산업실태조사 제 1 회조사실시 2015 년 : 제 3 회조사실시 미승인 정보통신산업진흥원 (NIPA), 한국클라우드산업협회 ( 주 ) 메트릭스코퍼레이션 ICT 서비스, 제조업, 소프트웨어의사업을영위하는전국모든사업체중클라우드관련 (SI, HW, 솔루션, 포탈, 통신, HW 제조, SW 사업자등 ) 사업체 전화와팩스및전자메일, 방문조사등전수조사 클라우드사업체현황, 총매출액, R&D 투자금, 공급 ( 산업 ) 분야, 종사자수, 전문인력등의사업부문별세부항목조사 나. 조사체계 ( 조사대상 ) 전국기업체총람 등클라우드컴퓨팅서비스와관련될수있는 SI, HW, 솔루션, 포탈사업자, 통신사업자가수록된기업체 DB 명부 ( 목표모집단 ) 대한상공회의소 2015 전국기업체총람 DB 등을활용하여 ICT 관련기업체를실태조사목표모집단으로정의 - 12 -
( 조사모집단 ) 목표모집단기업을대상으로전수전화조사실시를통해최종조사모 집단정의 < 표 2-4> 클라우드산업실태조사조사모집단구축과정 구분활용 ( 반영 ) DB 비고 활용 DB 분석 / 검토 목표모집단정의 조사모집단정의 통계청전국사업체조사 DB 약 1 만여개 DB 를활용하여, 전수조사진행하여 11,644 개클라우드공급 ( 제공 ) 유무확인 클라우드컴퓨팅서비스공급 ( 제공 ) 기업체대상으로전수조사진행 353 개최종조사대상확정 국가승인통계조사의경우, 세부 DB 까지제공되지만, 본조사에서는제공되지못해 DB 활용불가함 클라우드컴퓨팅과관련될수있는 SI, HW, 솔루션, 포탈사업자, 통신사업자등에속한기업체를범위로선별 대한상공회의소전국기업체총람 DB 등활용 온 ( 이메일 /Fax 등 ) 오프라인 ( 방문 ) 조사실시 자료 : 정보통신산업진흥원 (2016. 1), 2015 년클라우드산업실태조사결과보고서. ( 조사체계 ) 분류체계정비, 모집단범위설정, 문항구성, 조사설계등통계작성기획은미래창조과학부, 정보통신산업진흥원, 한국클라우드산업협회가수행 - 자료수집등실사과정과입력처리, 자료가공및분석은전문조사기관이위탁수행 - 최종보고서작성은정보통신산업진흥원, 한국클라우드산업협회가수행 3. 데이터산업현황조사가. 조사개요 ( 목적 ) 데이터중심사회도래에대비하여산업환경변화를파악하고체계적인데이터산업육성지원정책수립을위한기초통계생산 ( 활용 ) 데이터관련정부정책수립, 데이터기업의경영계획수립, 관련학계의학술연구지원등 - 13 -
< 표 2-5> 데이터산업현황조사개요 (2015 년기준 ) 구분 법적 / 제도적근거 연혁 승인여부 내용 미래창조과학부와그소속기관직제시행규칙 제 13 조 ( 정보통신정책실 ) 제 5 항 24( 데이터베이스산업육성및지원 ) 1995 년 : 데이터베이스산업현황및이용실태조사 2003 년 : 데이터베이스산업현황조사 2015 년 : 데이터산업현황조사 미승인 작성기관한국데이터진흥원 (KDATA) 1) 조사기관한국기업데이터 ( 주 ) 조사대상 조사방법 조사항목 ( 주요내용 ) ( 데이터산업 ) 데이터의생산 - 수집 - 유통 - 분석을통해가치를창출하도록관련상품과서비스를공급 지원하는기업 ( 일반기업 ) 주요 6 개분야 ( 공공, 금융, 유통 / 서비스, 의료, 제조, 통신 / 미디어 ) 일반기업 ( 정량조사 ) 방문면접조사, 이메일배포조사, 전화및팩스조사등을병행한표본조사 ( 정성조사 ) 부문별상위기업을대상으로 FGI(Focus Group Interview) 실시 (6 개그룹총 26 개기업 ) 기업일반현황, 매출현황, 인력현황, 해외진출현황, 데이터생산현황, 데이터유통 활용현황, 기타업계의견수렴등 나. 조사체계 ( 조사대상 ) 데이터산업은데이터의생산, 수집, 유통, 분석을통해가치를창출하도록관련상품과서비스를공급 지원하는 1인이상기업으로모집단설정 - 데이터직무인력현황파악을위해데이터산업모집단외주요 6대 ( 공공, 금융, 유통 / 서비스, 의료, 제조, 통신 / 미디어 ) 일반산업영역을포함하여조사 ( 조사체계 ) 데이터산업분류체계정비, 모집단신규범위설정, 문항구성등조사설계, 조사결과분석및보고서작성, 실사관리등은한국데이터진흥원이수행 - 분류체계정비및시장규모검증, 업계동향파악등은전문가자문을거치며, 현 1) 2016 년 8 월한국데이터베이스진흥원에서한국데이터진흥원으로명칭변경 - 14 -
황조사모집단정비및실사는전문조사기관이위탁수행 < 표 2-6> 데이터산업현황조사모집단구축 (2015 년조사기준 ) 구분 모집단확보경로 모집단확인 최종모집단구축 내용 2014 년데이터현황조사조사기업명부 본연구기관이보유하고있는데이터관련기업 ( 크레탑 ) 2013 년기준전국사업체조사 ( 통계청 ) (58221) 시스템소프트웨어개발및공급업 (58222) 응용소프트웨어개발및공급업 (62021) 컴퓨터시스템통합자문및구축서비스업 (62090) 기타정보기술및컴퓨터운영관련서비스업 (63111) 자료처리업 (63120) 포털및기타인터넷정보매개서비스 (63910) 뉴스제공업 (63991) 데이터베이스및온라인정보제공업등관련기업등 (63999) 그외기타정보서비스업 기타경로를통한기업명부확보 기업중복확인 휴 폐업, 청산 해산등기업경영상태확인 업종, 주소변경등기업기본정보확인 데이터솔루션, 서비스, 구축, 컨설팅최종모집단선정 자료 : 한국데이터베이스진흥원 (2015. 12), 2015 년데이터산업현황조사결과보고서. 4. 빅데이터시장현황조사가. 조사개요 ( 목적 ) 빅데이터활성화를위해시장규모를비롯한기초통계데이터를확보하고전세계시장과의비교, 분석을통해국내빅데이터산업의특성을분석 ( 활용 ) 빅데이터관련정부정책수립, 민간기업체경영계획수립, 국민들에게기초통계제공 - 15 -
< 표 2-7> 빅데이터시장현황조사개요 (2015 년기준 ) 구분 법적 / 제도적근거빅데이터산업발전전략 (2013. 12) 연혁 승인여부 작성기관 조사기관 조사대상 조사방법 조사항목 ( 주요내용 ) 내용 2014 년 : 최초조사 ( 한국데이터진흥원공동 ) 2015 년 2 월공표 2015 년 : 제 2 회조사시행 미승인 한국정보화진흥원 (NIA) ( 주 ) 날리지리서치그룹 ( 공급영역 ) 빅데이터 HW, SW, 서비스와관련된기업 ( 수요영역 ) 빅데이터시스템을도입했거나, 도입할예정인기업, 관심기업 ( 정량조사 ) 방문면접조사, 이메일배포조사, 전화및팩스조사등병행 ( 정성조사 ) In-depth Interview ( 공급영역 ) 기업일반현황, 빅데이터인력, 빅데이터제품현황, 해외사업, R&D 투자, 정책적의견수렴 ( 수요영역 ) 기업일반현황, 빅데이터인력, 빅데이터투자의향, 투자액, 빅데이터분석활용현황, 정책적의견수렴 나. 조사체계 ( 조사대상 ) 빅데이터관련 SW/ 솔루션 /HW/ 서비스 / 컨설팅사업을영위하는기업을개별적으로선정하여구성함 - 공급영역 : 빅데이터 SI 기업, 글로별 IT기업, 빅데이터전문솔루션기업, 빅데이터서비스기업, 빅데이터 H/W 기업등 - 수요영역 : 빅데이터도입이가능한규모 ( 종업원 300인이상 ) 의기업 ( 전업종대상 ) ( 조사체계 ) 통계작성기획은미래창조과학부, 한국정보화진흥원이수행하고, 자료수집등실사과정과입력처리, 자료가공및분석은전문조사기관이위탁수행 - 최종보고서작성은한국정보화진흥원이수행 - 16 -
[ 그림 2-1] 빅데이터시장현황조사모집단구축 (2015 년조사기준 ) 자료 : 한국정보화진흥원내부자료 5. 정보보호산업실태조사가. 조사개요 ( 목적 ) 정보보호산업의시장조사를기초로국내정보보호산업의시장규모를파악하고향후전망을예측하는것을주된목적으로하며, 정보보호산업을육성할수있는정책적방향을제시 ( 활용 ) 정부정책수립, 민간기업의경영계획수립, 학계, 연구소등의학술연구활용, 일반이용자의기초통계활용 < 표 2-8> 정보보호산업실태조사개요 (2015 년기준 ) 구분 내용 법적 / 제도적근거정보보호산업진흥법시행령제 20 조 ( 통계의작성 ) 연혁 2001 년 국내정보보호산업및실태조사 제 1 회조사시행 2004 년 국내정보보호산업통계조사 로조사명변경 2007 년 국내정보보호산업시장및동향조사 로조사명변경 2009 년 국내지식정보보안산업시장및동향조사 로조사명변경 2010 년 국내정보보안산업실태조사 로조사명변경 - 17 -
구분 연혁 승인여부 작성기관 조사기관 조사대상 조사방법 조사항목 ( 주요내용 ) 내용 2012 년 국내지식정보보안산업실태조사 로조사명변경 2013 년 국내정보보호산업실태조사 로조사명변경 2015 년제 15 회조사실시 미승인 한국인터넷진흥원 (KISA), 한국정보보호산업협회 한국정보보호산업협회, 통계가치창조연구소 전국정보보안 물리보안 융합보안사업체 사업체방문면접조사, 팩스조사, 일반전화조사병행 정보보안 물리보안 융합보안제품및서비스의매출현황 전망, 수출 입현황, 인력 고용현황, 정보보호기술개발현황, 경쟁력수준및분석 전망등 나. 조사체계 ( 조사대상 ) 전국의정보 물리보안및서비스사업을영위하는사업체 - 한국정보보호산업협회및한국디지털CCTV연구조합에소속된사업체와추가로수집한사업체 ( 조사체계 ) 통계작성기획은한국정보보호산업협회가수행하고, 자료수집등실사과정과입력처리는한국정보보호산업협회, 통계가치창조연구소가수행 - 자료가공및분석은고려대통계연구팀이위탁수행하고최종보고서는한국정보보호산업협회가작성 - 18 -
제 3 장국내외통계품질관리사례분석 제 1 절통계청통계품질관리 2) 1. 통계품질관리 가. 통계품질관리개념 통계이용자들에게통계를사용하는데적합하도록생산하는방법뿐만아니라이용자에게만족을주면서가장경제적인방법으로통계를작성 보급 관리하기위한모든수단을통합한체계 ( 통계청, 2016a) - 정확도와신속성이강조되었던전통적개념의품질관리와는다르게, 현대에이르러서는이용자관점에서얼마나적합하게작성되고제공되는지가부각되고있음 통계품질관리를위해서는통계작성자를포함한모든이해관계자가기획단계에서부터공표단계까지통계생산의전과정을모두숙지하고있어야함 - 모든이해관계자를대상으로통계품질관리교육이필요하며, 이는주어진통계품질관리체계에따라운영되어야함 - 통계작성자는자신이작성하는내용이통계품질에주는영향을제대로파악하고있어야하며, 원시자료의원활한수집을위해현장조사원또한통계품질관리체계에따라관리되어야함 나. 통계품질평가기준 통계품질관리는이용자의요구사항을최대한반영하기위한전방위적인활동으로통계품질수준에대한다차원적인평가기준에따라측정되어야함 이용자적합성평가를위한통계청의 6가지통계품질평가기준은 < 표 3-1> 과같음 2) 본절의내용은통계청의 통계품질관리이렇게합니다 (2010), 2016 년국가통계품질관 리매뉴얼 : 정기통계품질진단, 2016 년자체통계품질진단매뉴얼 : 조사통계부문 의주요 내용을요약, 소개함. - 19 -
< 표 3-1> 통계품질평가기준 기준 관련성 (relevance) 정확성 (accuracy) 시의성 / 정시성 (timeliness/ punctuality) 비교성 (comparability) 일관성 (coherence) 접근성 / 명확성 (accessibility/ clarity) 자료 : 통계청 (2016a) 내용 이용자관점에초점을둔측면으로통계자료가포괄범위와개념, 내용등에있어서이용자요구사항을충족하는정도 통계를작성하는과정에서통계목적을명확히설정하고이를달성하기위하여이용자의요구를파악하고반영하는것이관련성을높이는방법 측정하고자하는모집단의특성이나크기를근사하게측정하는정도 참값과추정된값의차이인오차가작을수록정확성이높은통계 조사통계의경우포괄범위, 표본추출, 응답및무응답, 작성과정등에의해서오차가발생할수있으며, 가공통계의경우투입자료가되는다른표본조사의오류등에의해오차가발생가능 표본오차의크기, 비표본오차의정도등을검토함으로써평가가능 시의성은통계의작성기준시점과결과공표시점간의차이를의미하며, 두시점이근접할수록시의성이높은통계 정시성은사전공표시기를정확히준수하는정도를의미하며, 실제공표시기가사전공표시기와근접할수록정시성이높은통계 시간또는공간이달라도통계자료가동일한개념, 분류, 측정도구, 측정과정및기초자료등을기준으로집계되어서로비교가가능한지를나타내는기준 국제 ( 공간적 ) 비교성을높이기위해서는국제적인기준및분류, 평가방법등의적용이필요 작성주기가부정기또는장기인경우는담당자변동, 환경변화등으로과거조사와개념, 조사항목, 조사방법등이달라져시간적비교성이낮아질수있음 동일한경제 사회현상에대해서로다른기초자료나작성방법에의해작성된통계자료들의유사정도를의미 다른자료원과작성방법에의해작성될수있으나서로유사한결과를보인다면일관성이높은통계 접근성은이용자가통계자료에얼마나쉽게접근할수있는지에대한정도 명확성은통계가어떻게만들어졌는지에대한정보제공수준 2. 통계품질진단 가. 통계품질진단개념 통계품질진단은통계자료가정확한지, 시의성은있는지, 유용한통계인지, 이용자 - 20 -
들이쉽게접근할수있는지, 이용자들이쉽게분석하고활용할수있는지를가늠해보기위해통계작성전과정을진단하는업무 ( 통계청, 2016a) - 통계작성전과정을살펴본다는측면에서통계품질진단은원활한통계품질관리를위해필수적으로선행되어야함나. 통계품질진단유형 정기통계품질진단 : 국가승인통계의생산, 보급및관리하는모든활동의제반과정에대하여실시하는통계품질진단산업으로 10년범위안에서주기적으로실시하도록통계법 9조에규정 자체통계품질진단 : 통계작성기관이자율적으로높은수준의통계를생산할수있도록자체적으로실시하는통계품질진단사업으로매년실시하도록통계법 11조에규정 수시통계품질진단 : 통계청이해당통계에대해직접품질진단을시행하는통계품질진단사업으로자체품질진단을실시하지않거나해당통계의품질이저하되었다고믿을만한상당한근거가있는경우실시하도록통계법 10조에규정다. 정기통계품질진단절차 정기통계품질진단은국가적인차원의통계품질진단체계로서위에서언급한 6개의통계품질평가기준을평가하기위해통계청에서통계작성전과정을진단하는업무로, [ 그림 3-1] 과같은흐름으로진행되며크게 4단계진단과정으로구성 1) 통계정보보고서 활용품질진단 통계정보보고서 는통계작성의제반과정및산출물을세부적으로기술하여양적 질적정보를수록한보고서 정기통계품질진단에서는 통계정보보고서 에수록되어있는 10단계작성절차 ( 조사개요, 통계의작성목적, 조사설계, 자료수집, 행정자료, 자료처리, 통계추정및분석, 통계공표 / 관리및이용자서비스, 통계기반및개선, 참고문헌 ) 별품질지표를구성하여통계의품질수준을측정 또한, 품질지표들의설명여부를표기하도록하여기본적인통계작성절차를준수하는지여부를점검하는체크리스트로활용 - 21 -
[ 그림 3-1] 정기통계품질진단업무흐름도 자료 : 통계청 (2016a) - 22 -
< 표 3-2> 통계정보보고서 활용품질진단흐름도 순서업무내용 1 진단준비 2 진단실시 3 결과분석 작성기관의 통계정보보고서 작성여부확인 미작성시작성기관에완료요청및작성교육지원 보고서를기반으로품질지표별정량 정성적진단 - 통계정책관리시스템에직접입력 작성기관방문 (1 회이상 ) 으로진단내용확인및보고서보완요청 보완된보고서를기반으로품질지표별진단 진단결과분석 문제점도출및개선사항정리 4 결과환류 진단최종결과와진단점수등작성기관에통보 자료 : 통계청 (2016a) 2) 이용자요구사항반영실태진단 통계이용자의통계에대한만족수준과요구사항의반영수준을측정하고자정책수립및평가, 학술연구등에해당통계를직접활용한경험이있는주요이용자를대상으로표적집단면접 (Focus Group Interview, FGI) 을실시 < 표 3-3> 이용자요구사항반영실태진단 ( 표적집단면접 ) 흐름도 순서업무내용 1 사전준비 2 표적진단면접실시 3 자료분석 4 결과작성및환류 자료 : 통계청 (2016a) 표적짐단면접실시목적설정 인터뷰질문준비 사회자및참가자선정 회의실준비 사회자의진행으로토론실시 보조자 ( 기록자 ) 는토론내용기록 기록내용을검토하여핵심어 ( 또는반복적으로나타나는아이디어등 ) 탐색 진단양식에결과작성 작성기관의견수렴 품질관리과에결과제출 - 통계정책관리시스템에등록 - 23 -
통계이용자의요구사항, 문제점및개선아이디어등을파악하여향후진단업무에서어떤사항을중점적으로검토해야하는지에대한사전정보로활용 3) 자료수집체계점검 자료수집이이루어지는모든과정에서나타날수있는오류가능성을체계적으로점검하여발생한또는발생가능한문제점을인식하고개선방향을도출하여자료수집과정에서의정확성을높이는절차 조사통계의경우에는자료수집과정에서발생할수있는오류의유형과그원인에대해서다음과같은내용을분석 - 자료수집방법의적절성 : 현재사용하고있는자료수집방법, 조사정확성을위한체계. 시험조사실시여부및반영정도, 조사표회수율, 무응답률, 자료수집노력과결과간의관계평가를위한지표수집등 - 현장점검및관리체계 : 전과정에서의역할및책임분담, 현장조사단계에서의부실조사예방체계, 과거조사경험을통한정보축적및활용, 문제점에대한교육및재발방지대책, 조사내용의정확성확인체계, 응답자추적조사를위한연락처확보, 조사내용착오유형기록 관리및분석, 현장내용검토지침제공등 - 조사원관리 : 신규조사원, 착오다발자등에대한특별지도계획, 조사원지침서제공및조사요령지도, 조사원의업무수행능력점검및향상체계, 조사표및원자료관리, 조사원선발기준, 조사원능력파악을통한적절한교육제공등 < 표 3-4> 자료수집체계점검흐름도 순서 업무 내용 1 사전준비 점검시기, 점검방법, 점검내용, 점검대상등을작성기관담당자와협의하여준비 2 점검실시 협의된세부계획에따라관리체계현장면담 3 점검결과분석 4 결과작성및환류 자료 : 통계청 (2016a) 현장면담을통해발견된사실들을정리및분석 점검결과도출된문제점과개선사항정리 진단양식에결과작성 작성기관 품질관리과에결과제출 - 통계정책관리시스템에등록 - 24 -
- 대상처 / 응답자관리 : 미응답대상처에대한설득지원체계, 응답자와의유대관계, 표본관리절차 4) 표본설계점검 해당통계의모집단, 표본추출틀, 표본추출방법, 목표오차, 표본규모, 가중치, 주요항목별공표범위등표본설계와관련한일련의과정을검토하여모집단을잘대표하는통계자료가생산되고있는지판단 < 표 3-5> 표본설계점검흐름도 순서업무내용 1 사전준비 표본전문가는작성기관의 통계정보보고서 표본설계관련내용숙지 2 점검실시 조사통계 ( 표본조사 / 전수조사 ) 와보고통계점검 3 점검결과분석 표본설계결과분석, 도출된문제점과개선사항정리 4 결과작성및환류 자료 : 통계청 (2016a) 진단양식에결과작성 작성기관 품질관리과에결과제출 - 통계정책관리시스템에등록 라. 자체통계품질진단절차 자체통계품질진단은자체통계품질진단서를활용하며조사통계의경우 71개, 보고통계는 56개, 가공통계의경우 44개의진단항목에대한점검을 [ 그림 3-2] 와같은흐름으로수행하게되며, 다음의 6단계절차로구성 1) 자체통계품질진단준비 통계청에서자체통계품질진단매뉴얼및진단서를대상기관에배부 해당통계와관련된기초자료준비 - 25 -
[ 그림 3-2] 자체통계품질진단업무흐름도 자료 : 통계청 (2016b) - 26 -
2) 자체통계품질진단상반기교육 진단문항및평가제개편내용 진단방법에대한실무교육 통계정책관리시스템사용설명등에대한교육 3) 자체통계품질진단실시 배부한매뉴얼을참조하여자체통계품질진단실시 진단서는순서대로작성하며진단과정중에구체적자료를첨부또는의견을제시 4) 자체통계품질진단하반기교육 주요진단문항, 다양한예제를통한진단서설명, 진단시유의사항, 의문사항해결, 자체품질진단평가제설명등에대한교육 5) 개선과제도출및자체통계품질진단결과제출 차원별또는과정별개선과제도출 진단내용, 도출된개선과제내용, 지난개선과제이행실적을통계책임관의결제를얻어통계청에제출 6) 진단경과점검및 자체통계품질진단결과평가제 이의신청접수및결과공표 통계청에서작성기관의자체통계품질진단결과를점검 자체통계품질진단결과평가제 결과확인및이의신청접수, 결과공표 진단결과종합, 개선과제에대한의견제시및환류 품질진단매뉴얼및시스템개선을위한작성기관의의견수렴 평가방법은자체진단평가점수와노력도평가점수를합산하여총점에따라아래와같이 5등급으로분류 < 표 3-6> 평가점수에따른등급결정방법 등급우수양호보통주의미흡자료 : 통계청 (2016b) 내용 90점이상 80점이상 90점미만 70점이상 80점미만 60점이상 70점미만 60점미만 - 27 -
마. 수시통계품질진단절차 수시통계품질진단의진단내용및방법은정기통계품질진단방법을준용하여통계의작성및제반과정에대하여진단하되, 제기된문제점을집중적으로파악하여개선방안을마련 3. 시사점 통계청에서수행하고있는통계품질진단프레임워크를미승인 ICT통계의특성에맞게수정및개선필요 - 통계청에서정의하고있는통계품질관리와같은맥락으로미승인 ICT통계품질진단또한통계이용자의요구사항을보다잘반영하는것을목적으로실시되어야함 - 다만, 현재실시하고있는정기통계품질진단및자체통계품질진단은국가승인통계에초점이맞추어져있기때문에미승인통계가같은통계품질기준을충족시키기는어려울것으로예상됨 - 기존의 6가지통계품질기준을완화함과동시에미승인 ICT통계의특성에맞는기준을추가적으로보완하여새로운품질진단프레임워크제시가필요 제 2 절해외주요국의 ICT 통계품질관리사례 1. 미국의통계품질관리체계 미국은분산형제도를적용하는나라로각기관및부서마다필요한통계를개별적으로작성하며, 자체적으로통계작성가이드를작성하여개별품질관리를실시 - 행정관리예산국 (Office of Management and Buget, OMB) 에서 미국통계방법론에관한연방위원회 (Federal Committee on Statistical Methodology, FCSM) 를설치하여지난 25년간연방정부의통계조사에대한방법론적논의의중심역할을수행하고있으며, 통계조정및품질제고를담당 - 행정관리예산국의 품질지침 및 통계조사기준및지침 에따라각기관및부서에서독자적지침제정 - 28 -
- 대표적인기관으로센서스국 (Census of Bureau), 노동통계국 (Bureau of Labor Statistics), 국립보건통계센터 (National Center for Health Statistics, NCHS) 가있으며각기관에 서실시하고있는구체적인내용은다음과같음 < 표 3-7> 미국의기관별통계품질관리체계 기관 센서스국 노동통계국 국립보건통계센터 통계품질관리체계 조사전반에걸친계획과집행, 사전위험방지등을목적으로품질보증및품질관리네트워크확립, 체크리스트작성등다양한방법적용 https://www.census.gov/quality 에서 정보품질가이드라인 (Information Quality Guidelines 및 통계품질지침 (Statistical Quality Standards) 을제공하고있음 노동부정보품질지침및행정관리예산국지침을준수하여매년통계품질보고서를작성 http://stats.bls.gov/bls/quality.htm 에서 정보품질과방법론에관한가이드라인 (Guidelines for Informing Users of Information Quality and Methodology) 을제공하고있음 행정관리예산국, 보건사회복지부 (Department of Health and Human Services, HHS), 질병대책센터 (Centers for Disease Control) 의통계품질지침을준수하여통계품질가이드라인작성 http://www.cdc.gov/nchs/about/policy/quality.htm 에서 일반에게공표되는정보품질확보를위한가이드라인 (Guidelines for Ensuring the Quality of Information Disseminated to the Public) 을제공하고있음 자료 : 통계청통계품질관리홈페이지 (2016. 11. 22), 미국센서스국홈페이지 (2016. 11. 22), 미국노동통계국홈페이지 (2016. 11. 22), 미국국립보건통계센터홈페이지 (2016. 11. 22) 2. 캐나다의통계품질관리체계 캐나다는집중형제도를적용하는나라로캐나다통계청 (Statistics Canada) 에서일괄적으로국가기본통계를작성하며, 각기관들의통계품질을종합적으로관리 - 1999년에발간된 Gordon Brackstone의 통계작성기관의품질관리 (Managing Data Quality in a Statistical Agency) 보고서를통계품질의기본프레임으로채택 보고서에는 6개의품질차원과 5개의품질관리시스템을제시 - 또한일반이론, 실무경험및지식등에기초하여통계품질가이드라인을작성및발간하여지침서로활용 - 29 -
캐나다통계청은통계품질을관련성, 정확성, 시의성, 접근성, 해석성, 일치성의 6 가 지차원으로구분하고있으며, 각차원의내용은다음과같음 < 표 3-8> 캐나다의통계품질차원 기준 내용 관련성 이용자의다양한욕구를반영하는정도 정확성 측정하고자하는현상을올바르게기술하고있는정도 시의성 조사시점과자료이용시점사이의시간 접근성 자료획득의용이성 해석성 통계정보를해석하는데필요한메타데이터혹은부가정보의입수가능성 일치성 폭넓은분석적목적하에서다른통계자료들의사용가능여부 자료 : 통계청통계품질관리홈페이지 (2016. 11. 22), 캐나다통계청홈페이지 (2016. 11. 22) 3. 영국의통계품질관리체계 영국은미국이나우리나라와마찬가지로각기관및부서의책임아래개별적으로통계를작성하는분산형제도를채택하고있음 영국의공식국가통계는영국국가통계위원회 (UK Statistics Authority) 에서총괄적으로관리하고있으며, 영국통계청 (Office for National Statistics, ONS) 에서 2015년에 정기품질평가 (Regular Quality Review, RQR) 를개발하여통계품질관리수행 - 이전까지는국가통계위원회와 Eurostat의지침아래개발한 품질, 방법, 조화도구 (Quality, Method, and Harmonisation Tool, QMHT) 를사용해왔으나시간이많이소요되고이용자의요구와맞지않는다는단점이있었음 - 새로개발된정기품질평가는통계생산자와부서책임자, 선임방법론전문가, 품질센터의대표자간의회의로이루어지며효과적인품질보증절차를위해부서책임자검토회 (Divisional Director Walkthrough) 라는절차가포함되어있음 - 정기품질평가를통해통계적결과에대한맞춤형조언을얻을수있으며, 이를조사시행계획이나사업계획에반영 - 30 -
4. 기타국가들의통계품질관리체계가. 스페인 Eustat 스페인의 Eustat은통계생산의품질측정및통계품질평가를위한세부적이고체계적인접근시도 (Olea and Alaezm, 2016) Eustat 관리팀의주도하에통계생산프로세스의마지막단계로이용될통합통계평가과정개발프로젝트를진행하여다음과같은평가과정을개발 1) DESAP(Development of a Self-Assessment Program) 설문지사용 Eurostat의 DESAP 설문지를스페인어로번역하여사용 - DESAP_E 는전체설문지이며이는각단계를실행한이유에서부터 Eurostat에서제시하는품질기준, 주관식평가설문까지모든단계에대한평가를자세하게포함하고있음 - DESAP_C 는간소화된설문지로 Eurostat의품질기준을평가하는데중점을두고있음 2) 평가규범 Eustat에서는생산과정의각단계별로운영관리자를두고있으며각관리자들이책임을지고자가진단을시행 모든통계에대해서생산이실행된첫해에는전체설문이진행되며, 그중연간통계에대해서는 5년에한번전체설문을진행하고매년간소화된설문을진행 - 부정기적으로생산되는통계는생산때마다전체설문을진행하기도함 3) 개선과제도출 해당통계의품질진단결과품질향상을위해개선해야할사항들이제안됨 주요개선과제 와 그외개선과제 의 2개의범주로나뉘며전자는임시특별팀에게할당되고, 후자는작성기관에의해즉시수정되거나상황이여의치않을경우다음해안에수정됨 4) 최종평가보고서작성 서론, DESAP 각부문에서수정된사항과개선가능한사항에대한목록, 품질관리프로세스과정에서제시된모든의견들, 결론으로구성 - 31 -
나. 멕시코 INEGI 멕시코의 INEGI(Instituto Nacional de Estadistica y Geografia) 3) 는 2015년부터정보품질보증 (information quality assurance) 을강화하기위하여관련법규를보완하여통계품질관리에대한기술적인방법들을제안 (Rubio Soto and Torroja, 2016) INEGI의품질보증위원회는품질보증정책과품질관리시스템을포함한통계품질보증체계를도입하였으며, 이는이용자의필요에초점이맞춰져있음 - 지역정보들을개발, 생산, 배포하기위한통계적가이드라인을포함하고있음 [ 그림 3-3] INEGI 통계품질보증체계 자료 : Rubio Soto and Torroja(2016) 객관성, 투명성, 품질의무, 자원타당성, 직업적독립성, 통계적신뢰성, 국가통계시 스템과의조화를기초로하는제도화된통계품질보증원칙을통해통계품질개선 3) 영어로번역하면 National Institute of Statistics and Geography 이다. - 32 -
5. Eurostat 의통계품질관리체계 Eurostat에서는다음과같은품질진단방법을사용하며각통계들의주기, 법적근거, 산출물등의특성에따라선택적으로유연하게사용 1) 자체진단 (Self-Assessment) 통계생산부서에서정해진체크리스트에따라직접진단을수행 2) 자체진단지원 (Supported Self-Assessment) 1) 과동일하나, 품질관리단위에서개선과제및진단결과도출을도와줌 3) 피어리뷰 (Peer Review) 2) 와동일하게진행되나, 1명이상의내 외부전문가동료가각단계에참여 4) 롤링리뷰 (Rolling Review) 계약을맺은외부전문가에의해수행되는가장종합적이고심도있는진단으로, 통계이용자와파트너들의의견까지반영됨 품질진단을통해진단결과요약보고서, 6가지품질차원별다이어그램, 그리고공유할만한우수사례를도출 - 진단결과요약보고서는각통계의장단점및품질향상을위한개선의견을제시 - 품질차원별다이어그램은우리나라통계청의 < 표 3-1> 과동일 - 우수사례는 Eurostat 인트라넷을통해기관내 외부에알리고공유 품질진단이완료된시점을기준으로 2년후에회의를열어그간의경과를살피고, 개선과제이행여부를지속적으로모니터링 6. ITU의자료품질평가체계 국제전기통신연합 (International Telecommunication Union, ITU) 은 ICT통계관련업무를담당하는국제기구로, ICT통계의자료수집과정과공표과정과관련하여 자료품질평가체계 (Data Quality Assessment Framework, DQAM) 를개발하여보급하고있으며, 다음과같은내용으로구성됨 - 33 -
1) 기본통계적원칙 : 국제통계활동관리 2) 품질차원 : 통계품질을평가하는다차원적품질진단구성요소 3) 품질관리지침 : 통계품질을보증하기위한실행방안 4) 품질평가및개선프로그램 : 정기적품질진단과이를통한개선방안도출프로그램 위의구성요소중 ICT 통계를위한품질차원은크게자료품질차원 (Data Quality) 과 프로세스품질차원 (Process Quality) 으로구분되며, 구체적인내용은다음과같음 < 표 3-9> ITU 의 ICT 통계품질차원 차원 기준 내용 관련성 이용자관점에초점을둔측면으로통계자료가포괄범위와개념, 내용등에있어서이용자요구사항을충족하는정도 정확성 측정하고자하는모집단의특성이나크기를근사하게측정하는정도 일관성 동일한경제 사회현상에대해서로다른기초자료나작성방법에의해작성된통계자료들의유사정도를의미 자료품질차원 프로세스품질차원 시의성 / 정시성 접근성 / 명확성 신뢰성 (Credibility) 방법론적합성 (Sound Methodology) 시의성은통계의작성기준시점과결과공표시점간의차이를의미하며, 두시점이근접할수록시의성이높은통계 정시성은사전공표시기를정확히준수하는정도를의미하며, 실제공표시기가사전공표시기와근접할수록정시성이높은통계 접근성은이용자가통계자료에얼마나쉽게접근할수있는지에대한정도 명확성은통계가어떻게만들어졌는지에대한정보제공수준 실질적인정확성과별개로이용자가해당통계를얼마나정확하다고느끼고있는지에대한지표 통계정보가생산되는과정에서사용된방법이나기준들이투명하게공개되어야함 이용자들로하여금해당정보가적절한통계적기준을만족하도록생산되었다고인식되어야함 방법론적인부분에서표본설계, 자료수집, 처리, 분석, 배포, 평가까지모든과정이체계적이며국제적인표준을만족해고있는지에대한지표 체계적조사설계의이론적적합성뿐만아니라실제계획대로적절히시행되고문서화되었으며조사주체들의전문성등에대한전반적평가로이루어짐 - 34 -
차원기준내용 프로세스품질차원 자료 : ITU(2014) 시스템적합성 (Sound Systems) 비용효율성 (Cost-efficiency) 타기관및타국가의시스템개발자들과의협력을통해체계적이고국제적표준을만족하는시스템개발을하는지에대한지표 타기관및타국가에서기존에생산된 ICT 통계의협력을통한적극적활용에대한지표 해당통계로부터얻어지는이익과생산과정에서의지출비용및소모된자원을상대적으로나타내는지표 최소의비용으로적절한품질의통계정보를생산하는것을목적으로함 7. 시사점 지금까지정리한내용과같이각국가에서는국가통계생산구조에따라집중형또는분산형통계제도를채택하여사용하고있으나, 각제도하에서이루어지는통계품질관리체계는큰차이가없음 - 집중형통계제도와분산형통계제도의차이는다음과같으며, 둘중어떤통계제도가우월하다고말하기는어려움 < 표 3-10> 집중형과분산형통계제도의장단점비교 구분집중형분산형 주요특징 해당국가 장점 단점 하나의통계전문기관에서작성 부처간통계연락기구의설치 캐나다, 스웨덴, 핀란드, 네덜란드, 호주, 인도네시아등 통계의균형적개발과유기적체계확보 통계의객관성및신뢰도제고 통계전문인력의집중적활용 관련행정분야별전문지식활용미흡 통계수요에대한신속한대응어려움 자료 : 국가통계포털홈페이지 (2016. 11. 22) 부처별로필요한통계를개별적으로작성 통계조정기관설치 한국, 미국, 일본, 영국, 대만등 분야별전문지식을관련통계개발에활용가능 통계수요에신속히대응 중복작성등으로인력과예산의낭비초래 체계적통계개발의제약 통계전문인력의집중적활용어려움 - 35 -
- 집중형통계제도를채택하고있는캐나다와분산형통계제도를채택하고있는우리나라및미국각기관의통계품질차원기준은거의유사하며, ICT통계에특화된 ITU의통계품질차원또한신뢰성, 방법론적합성, 시스템적합성, 비용효율성을제외하고는우리나라통계청의기준동일 해외의통계품질관리체계사례중에서 ICT통계를대상으로한 ITU의자료품질평가체계를참고하는것이필요 제 3 절식약처미승인통계품질관리사례분석 4) 1. 개요 식품의약안전처 ( 이하식약처 ) 관할미승인통계들의품질제고필요성제기 - 중요한통계임에도불구하고승인통계와는다르게통계청의평가체계로부터제외되기때문에품질개선이필요한상황 - 2010년 10월기준 (2009년발간된식품의약통계연보기준 ) 으로식약처에서작성하여공표하고있는통계는 3종류의승인통계를포함하여총 96종에이르고있으며, 이중조사통계는 4종, 가공통계는 5종, 보고통계는 87종으로이루어져있음 2016년 12월현재식약처에서는총 6종의승인통계를생산 < 표 3-11> 식약처승인통계 (2016 년 12 월기준 ) 통계명 작성형태 승인일자 식품및식품첨가물생산실적 보고통계 1998. 10. 13 식품수거검사실적 보고통계 2006. 07. 27 수입식품현황 보고통계 2006. 07. 27 4) 본절은 2010년 6월부터 2011년 1월까지식품의약품안전평가원에서수행한 통계자체품질진단서개발 사례에기초하여작성되었다. 이후식약처에서는소관미승인통계들에대해매년자체통계품질진단을실시해오고있으며, 주요내용은 2010년과크게달라지지않았다. - 36 -
통계명 작성형태 승인일자 어린이식생활안전지수 가공통계 2012. 12. 05 의료기기생산실적 보고통계 2014. 01. 27 의약품생산실적및수입실적 보고통계 2016. 04. 18 자료 : 국가통계포털홈페이지 (2016. 12. 21) 미승인통계들의품질개선을위해현상황에대한정확한평가및식약처의특수성을반영한새로운통계품질관리체계의수립이요구됨 - 미승인통계는한정된통계이용자층을대상으로작성하기때문에보편적인상황을가정한통계청의품질진단체계로는제대로된품질진단이어려움 - 이에식약처에서는기존의품질진단체계를소관통계에적용하여품질진단을수행하였고, 수행과정에서도출된개선과제를반영함으로써식약처에적합한자체진단서및품질평가서를개발 2. 보고통계자체진단서및품질평가서개발가. 개발방안 통계청의자체통계품질진단과정을기반으로 3개의식약처소관통계 ( 식품및식품첨가물생산실적, 의료기기생산및수출입실적, 의약품부작용보고건수 ) 에대해품질진단을수행하여개선과제를도출 - 통계작성자들이자체품질진단서를작성한후인터뷰를통해세부적인내용을검증 자체통계품질진단과정을기반으로한보고통계의통계품질진단은모두 7개부문으로구성 : (1) 통계작성기획, (2) 보고통계설계, (3) 자료수집, (4) 자료입력및처리, (5) 자료분석및품질평가, (6) 문서화및자료제공, (7) 사후관리 - 통계청에서제공하는보고통계의퉁계품질진단에서는무응답과관련된사항이배제되어있으나실제식약처통계에서는보고및집계과정에서다수의무응답이발생하고있으므로이를처리할수있는방안이필요 - 37 -
< 표 3-12> 식약처통계에대한자체통계품질진단결과및개선방안 ( 통계청기준 ) 통계명 식품및식품첨가물생산실적 의료기기생산및수출입실적 의약품부작용보고건수 종합적개선방안 자체통계품질진단결과및개선방안 외부용역기관에대한의존도가높음 - 외부용역기관의역량에따라통계품질이좌우되는경향 통계이용자에대한파악과이용자요구사항수렴미흡 - 통계이용자가문제제기를하고자하는경우통계공표기관이아닌해당통계가작성되고있는외부용역기관을접촉해야함 - 통계이용자의관심저하로인한통계품질개선에대한의견개진감소오류점검체계미흡으로인한자료수집과정의정확성감소 통계작성과정에대한객관적검증어려움 - 통계작성의주체가대상통계조사에참여하는업체들로이루어져있기때문에통계작성과정에대한객관적검증이어려움 지속적인개선노력의사례로고려할수있음 - 관련규정을개정하고지역종합병원등에대한인센티브제공, 지역약물감시센터의설립등을통해지속적인개선이이루어짐 - 연간 100 여건전후였던보고건수가최근에는 5 만여건으로증가통계작성담당자의전문성미흡 - 통계이용자가문제제기를하고자하는경우통계공표기관이아닌해당통계가작성되고있는외부용역기관을접촉해야함 - 통계이용자의관심저하로인한통계품질개선에대한의견개진감소오류점검체계미흡으로인한자료수집과정의정확성감소 통계품질의정확한수준파악 - 통계의정확성수준에대한객관적정보가부재한상황 - 단계적재조사및검증체계의적용필요 - 통계의정확성수준파악및이와관련된업무의명확한분장필요통계품질에대한인식도제고 - 식약처의통계품질에대한인식도는통계에따라다양하게나타남 - 책임자급을중심으로한통계품질인식제고를위한방안마련필요 - 통계작성담당자에대한교육보다는담당부서책임자의인식향상이우선적으로이루어져야함 통계작성의집중화 - 통계전문성확보및개선필요성이낮음 - 통계작성을위한자료집계의집중화필요 자료 : 식품의약품안전평가원 (2011); 저자가재정리 - 38 -
품질진단결과를통해도출된식약처통계품질관리체계는다음과같은내용을충분히반영할수있어야함 - 통계작성절차에대한진단및평가체계의수립 - 우수사례발굴및공유 - 관리자의통계품질에대한인식제고나. 보고통계자체진단서개발 보고통계는조사통계와뚜렷이구분되며따라서이에부합하는품질지표들을개발하여자체진단서를개발해야함 - 보고통계는기존의행정조직망을통해자료를수집하며전수조사의장점을지니고있어표본설계나표본이론에근거한추정산식이불필요 - 그러나통계에대한전문성이풍부하지않은행정조직의담당자들을통해자료가수집되므로다양한유형의오차발생가능 보고통계는다양한과정을거쳐작성되므로단일한품질평가지표체계를통해서만품질을평가하고진단하는것은어려움 - 작성과정에따라구분된세부유형별로평가가이루어질수있는품질평가체계를마련해야효과적인보고통계품질진단이가능 식약처자체진단서개발을위해통계청의 자체통계품질진단매뉴얼 에서식약처에적합한문항들을추려낸다음, 일부문항들은수정하고필요하다고생각되는몇개의문항들을추가 - 각문항에는해설, 용어설명, 작성예시를첨부하여작성의용이성을도모 - 39 -
< 표 3-13> 보고통계자체진단서진단절차별수정내용 A B C D E 진단절차 통계작성기획 통계작성설계 자료수집 자료입력및처리 자료분석 F 품질평가 G H 문서화및자료제공 사후관리 자료 : 식품의약품안전평가원 (2011) 수정내용 A-1: 통계작성의목적을구체적으로기입하도록함 A-2: 통계작성의법적, 제도적근거를구체적으로기입하도록함 A-3: 통계의공표주기를명시하도록함 A-4: 통계작성의절차별주체를 6 단계로구분하여구체적으로기입하도록함 A-5: 통계이용자를관리하고있는경우이용자그룹을명시하도록함 A-6: 보기항목수정및이용자그룹의이용목적을기입하도록함 A-7: 보기항목수정 A-10: 통계작성업무량을파악하기위하여문항을추가 A-11: 통계작성전문성을파악하기위하여문항을추가 B-1: 유사한점을구체적으로기입하도록함 B-2: 분류기준명및내용을구체적으로기입하도록함 B-3: 개선사항이있는경우이를기입하도록함 B-4: 보고양식이있는경우보고양식이름을명시하도록함 C-1: 보고절차별주체 ( 기관및부서 ) 를간단계별로기입하도록함 C-2: 보고형식을파악하기위하여문항을새로추가 C-3: 보고담당자를위한지침서의준비여부와지침서명을기입하도록함 C-4: 보기항목수정및자료관리부서와보관형식을기입하도록함 D-1: 표준화된지침이있는경우지침서명을명시하도록함. 또한지침서에포함되어있는사항들을파악하기위하여문항을추가 D-2: 보기항목을수정 D-4: 에디팅지침서의준비여부와지침서명을명시하도록함 E-1: 항목별결측값비율을파악하고있는지를응답하도록함 E-2: 결측값에대한대체방법이정의되어있는지의여부와대체방법을기입하도록함 E-3: 통계작성방법을파악하기위하여문항을추가 F-3, F-4, F-5, F-8: 보기항목을수정 F-7: 이용자의견수렴방법을파악하기위하여문항을추가 필요한진단문항들을일부선정 H-1: 담당자변동시통계업무수준을유지할수있는지를파악하기위하여문항을추가 H-2: 통계업무에대하여담당부서책임자의관심정도를파악하기위하여문항을추가 - 40 -
다. 보고통계품질평가서개발 자체진단서및제출된기타자료를기초로보고통계품질평가서를개발 - 통계청의 통계품질관리이렇게합니다 의 세부작성절차별점검표 중식약처에적합한문항들을추려낸다음, 일부문항들은수정하고필요하다고생각되는몇개의문항들을추가 품질평가서의각문항에이와대응되는자체진단서의문항들을명시함으로써평가자들로하여금자체진단서를보다용이하게참조할수있도록함 - 통계관리부서에서는이품질평가서를활용하여개별통계들의통계품질수준을파악하고문제점및개선방안도출가능 - 또한, 통계작성담당자로하여금개선권고사항을인식시킴으로써통계품질수준의향상과더불어개선을위한노력을모니터링할수있음 - 41 -
[ 그림 3-4] 식약처보고통계자체진단서예시 자료 : 식품의약품안전평가원 (2011) - 42 -
[ 그림 3-5] 식약처보고통계품질평가서예시 자료 : 식품의약품안전평가원 (2011) - 43 -
3. 식약처미승인통계품질관리체계수립방안 자체진단서를식약처에적합하게수정하여사용하더라도통계청의자체품질진단체계를그대로미승인통계에적용시키는것은어려움 - 승인통계와미승인통계사이의통계작성여건및환경의차이가큼 대부분의승인통계는통계전문가들로구성된전담부서에서작성되거나, 그만한역량이없다하더라도필요에의해전문가의도움을받을수있음 식약처통계들의전반적인품질향상및품질진단의활성화를통한통계작성담당자들의자체적인통계품질관리기반확보를목표로기획단계, 진단단계, 정리단계의 3단계로나누어자체품질진단절차를제안가. 기획단계 사업의원활한수행을위해세부업무및인력계획을수립하는단계 이후진행될일정을수립하는 진단계획수립 과진단과정에서발생할수있는문제점에대한대처방안을미리마련하는 진단계획점검 으로구분나. 진단단계 자체진단서를배포하고결과를수집하기까지실질적으로자체품질진단이이루어지는단계 통계작성담당자가자체진단서를정확히작성할수있도록교육을실시 응답결과에따른근거자료에대한제출및확인필요 특히통계작성담당자들과의원활한의사소통이매우중요다. 정리단계 진단단계에서수집된자체진단서결과및근거자료, 통계작성담당자와의의사소통등의내용을정리하는단계 결과에대한객관적인정리및개선방안제시뿐만아니라이렇게정리한내용들을통계작성담당자뿐만아니라관련업무담당자및통계작성기관장등의책임자들이공유할수있는환경을제공하여야함 기획 진단 정리단계를진단책임자와통계작성담당자의역할비중과함께요약해서정리하면다음과같음 - 44 -
< 표 3-14> 식약처미승인통계품질관리체계절차및업무내용 단계 기획단계 주요업무내용 통계품질진단계획및일정수립 - 진단통계규모및구체적인대상통계선정 - 단계별로필요한일정계획수립 - 원활한진단과정진행을위한방안수립 통계품질진단계획점검 - 진단결과평가및활용방안계획수립 - 분야별진단업무담당자선정 진단책임자 업무역할 통계작성담당자 통계품질진단대상통계담당자교육 - 자체통계품질진단목적및일정소개 - 자체통계품질진단과정및사례소개 - 자체통계품질진단서작성방법소개 - 통계작성과정에대한근거자료목록제시 - 자체통계품질진단결과활용방안에대한소개 - 자체통계품질진단서배부 진단단계 통계품질진단실시 - 자체통계품질진단서작성과정에서발생하는질의 / 문의사항에대한담당자선정및운용계획수립과실시 - 원활한진단과정진행을위한통계작성담당자인터뷰 - 필요한경우해당분야전문가에의한의견참조 - 통계작성현황에대한정보및자료수집과정리 - 추후 FAQ 작성을위해질의 / 문의사항정리 자체통계품질진단서수거 - 자체통계품질진단서응답내용및미비한사항에대한확인 - 필요시자체통계품질진단결과수집및근거자료확인 - 자체통계품질진단사업에대한평가서배포및수거 정리단계 진단통계별자체품질진단서내용정리 - 진단통계의작성단계별현황내용요약 - 진단통계의문제점과우수사례의식별 - 진단통계들의공통문제사항의도출 - 45 -
단계 정리단계 주요업무내용 진단통계별우수사례선정과대상통계별개선사항공유 - 진단대상통계작성담당자와의소통을통한확인 - 진단결과보고서작성및우수사례선정 - 진단대상별진단결과의배포및의견수렴 통계품질진단사업에대한평가및개선사항도출 - 진단사업결과보고회 - 진단진행과정에대한내부평가및개선방안논의 - 진단사업평가보고서작성 자료 : 식품의약품안전평가원 (2011) 진단책임자 업무역할 통계작성담당자 위에서제시한통계품질관리체계를실질적으로적용하기위해서는다음과같은내용들을고려하여야함 - 자체통계품질진단대상통계의규모 새로수립한통계품질관리체계가식약처통계개선에실질적인영향을주었을지를확인하기위해서는 10개내외의통계를대상으로진단을하는것이효과적 - 전체적인사업의일정별계획을구체적으로수립 단계적실시절차를구체화하고각단계에서소요되는시간을파악하여야함 - 진단대상통계작성담당자및해당부서책임자와의의사소통 통계작성담당자가자체진단서작성에전념하고근거자료를원활하게제공받기위해작성담당자및해당부서책임자에게미리이해를구하는것이중요 - 진단결과를바탕으로개선과제를도출하고, 이렇게도출된과제들을해당부서로하여금통계작성담당자와함께이행할수있도록지원 4. 시사점 식약처의보고통계자체진단서및품질평가서는기존의통계청에서제공하고있는통계품질진단체계를식의약산업의특수성에맞게조정 - 미승인 ICT통계들의실태조사를면밀히파악하고통계이용자인터뷰등을통해현 - 46 -
상황에대한정확한평가가필요 - 식약처와마찬가지로통계청의통계품질진단체계를참고하되 ICT 산업특성을고려하여통계품질진단체계가설계되어야함 대부분의미승인 ICT통계는조사통계로본사례에서다룬보고통계와는뚜렷이구분되므로조사통계에부합하는품질지표를개발할필요가있음 - 특히표본조사로이루어지는통계에대해서는표본설계방법이나추정산식에관한문항들을반영해야함 품질진단책임자와통계작성담당자간원활한의사소통을통해책임감있고신뢰성있는진단결과를도출해야함 - 문항에대한통계작성담당자의이해를돕기위해진단책임자는이에대해충분히설명하고질문에답변할책임이있음 - 47 -
제 4 장미승인 ICT 통계품질진단체계설계 제 1 절기본방향 미승인 ICT통계품질진단의의미 미승인 ICT통계품질진단은통계품질을평가하는것이아니라품질진단을통해파악된통계작성체계의문제점을해결하고전문성강화를지원함 즉모집단정보제공, 표본설계, 설문작성, 모수추정등해당기관이부족한전문성을기술지원등을통해보완하는통계작성지원체계재정립을지향 5) 승인통계를대상으로하는품질진단이평가에주목적이있다면미승인 ICT통계를대상으로하는품질진단은궁극적으로통계품질개선을위한요소를파악하고이를효과적으로해결하기위한방안을도출하는것임 < 표 4-1> 통계청품질진단과미승인통계품질진단비교 구분 통계청품질진단 미승인통계품질진단 대상 정부승인통계 미승인 ICT통계 법적근거 통계법, 통계관리규정 - 내용 자체진단, 정기진단 자체진단, 정기진단 지향점 품질관리 통계작성지원체계재정립 5) 이는통계이용자만족도조사가품질을측정하는것이아니라이용자관점에서품질을평가하는것이라는주장과상반되는점이다. This implies that one needs to recognize that we are not measuring data quality, but rather we are assessing data quality based on the perception of the user. EC/Eurostat, Data Quality Assessment Methods and Tools, p. 29, 2007. - 48 -
효과적인미승인 ICT통계품질진단체계설계를위해국내외사례벤치마킹, 품질진단지표설계, 품질진단으로구분하여일정추진 국내외사례벤치마킹을통해작성된품질진단지표 ( 안 ) 은진단대상기관은물론유관기관협의체인 ICT통계협의회를통해공개의견수렴을거치며이와별도로전문가자문을거쳐확정함 확정된품질진단은자체진단서작성, 대상기관방문인터뷰, 통계이용자심층인터뷰, 진단결과에대한설명회와의견수렴등의과정을통해진단대상기관은물론관련된다양한이해관계자의의견을종합하여품질진단결과가실질적인통계품질개선으로연계되도록설계함 [ 그림 4-1] 미승인 ICT 통계품질진단추진일정 - 49 -
제 2 절미승인 ICT 통계품질관리지표설계 1. 설계방향 국내외품질진단벤치마킹을통해미승인 ICT통계품질진단에부합하는요소를식별하여지표설계 - 통계청의승인통계를대상으로설계된품질진단기본지표 ( 관련성, 정확성, 시의성 / 정시성, 비교성, 일관성, 접근성 / 명확성 ) 를기초로 ITU의비용-효과지표 ( 최소비용으로적정품질통계생산 ), 신뢰성지표 ( 이용자가느끼는통계의정확도 ), 식약처의미승인통계자체품질진단지표를벤치마킹하여미승인 ICT통계의특성을감안한품질진단지표초안작성 < 표 4-2> 국내외품질진단사례벤치마킹 기관구분벤치마킹주요내용 ITU 통계청 Cost-Effectiveness Credibility 관련성 정확성 시의성 / 정시성 비교성 일관성 접근성 / 명확성 최소의비용으로적절한품질의통계생산 정확성과별개로이용자가해당통계를얼마나정확하다고느끼고있는지에대한지표통계정보생산과정에서사용된방법, 기준이투명하게공개되어이용자가해당정보가믿을만하게생산되었다고인식하는정도 작성목적과이용자요구부합성 표본오차 / 비표본오차의크기와발생원인, 오차최소화방안 작성주기, 기간의적절성, 공표예정일준수 다른통계의동일항목과차이 잠정자료와확정자료의차이 이용자친화적통계정보제공 식약처진단항목승인통계진단항목대비미승인통계진단항목의특성 2. 품질진단수행절차 미승인 ICT 통계는통계품질관리체계에서벗어나있어통계품질수준이매우다양하 - 50 -
게분포되어있음 - 본연구에서는지금까지살펴본연구결과를토대로 ICT통계의자체통계품질진단을통한통계품질관리체계의수립을위한방안을제시함 - 미승인 ICT통계에대한자체통계품질진단은다음의업무흐름도와같은진단과정을거쳐해당통계의개선과제를도출하고이행하도록하는일련의과정을제안함 기관별자체진단기본계획수립 - 통계작성기관은자체통계품질진단대상통계를선정하고자체진단에대한기본계획을수립 - 기본계획은진단시행시기, 완료시기및개선과제이행계획등을구체적으로수립 진단준비 - ICT 통계자체통계품질진단매뉴얼및 미승인 ICT통계품질진단자체진단서 배부 - 자체통계품질진단수행과정에서함께진단을실시할전문가확보 - 해당통계의이용자요구사항반영실태조사를위한전문이용자확보 - 해당통계와관련된기초자료준비 미승인 ICT통계자체진단서작성 - 매뉴얼을참고하여진단을실시하되, 전문가지식이필요한경우전문가의의견을참조하여작성 - 진단과정중에구체적자료를첨부하거나의견을제시 - 계획된진단완료일까지진단서를작성하여자체지단완료 이용자요구사항반영실태진단 ( 표적집단면접 : Focus Group Interview, FGI) - FGI 실시목적설정 - 인터뷰질문지작성 - 사회자및참가자 ( 해당통계에대한정책수립및평가, 학술연구등에직접활용한경험이있는주요이용자 ) 선정 - FGI 실시. FGI는해당통계이용자를대상으로인터뷰형태로진행. 질문항목은관련성, 정확성, 시의성 / 정시성, 비교성및일관성, 접근성 / 명확성, 신뢰성, 기타영역으로구성 ( 질문지세부내용은부록3 참조 ) - FGI 내용을분석, 요약하여주요개선의견도출 - 51 -
진단결과보고서작성및결과제출 - 차원별또는진단과정별개선과제도출 - 금년도진단내용, 도출된개선과제내용, 지난개선과제이행실적최종검토 진단결과공표 - 자체통계품질진단결과공표 - 진단결과종합, 개선과제에대한의견제시및환류 - 품질진단매뉴얼및시스템개선을위한작성기관의의견수렴 [ 그림 4-2] 미승인 ICT 통계품질진단프로세스 3. 품질진단자체진단서와품질진단평가서 현재작성되고있는 ICT통계가가지고있는문제점을정확히평가하고, 통계작성담당자로하여금통계개선필요성을인식하도록하는 미승인 ICT통계품질진단자체진단서 를제안 - 52 -
- 미승인 ICT통계품질진단자체진단서 는 자체통계품질진단매뉴얼 의진단서를바탕으로 ICT통계의상황에맞게질문내용및보기등을수정하였으며, 필요하다고판단되는문항들은새로추가함 ( 자세한내용은부록 1 참조 ). - 미승인 ICT통계품질진단자체진단서 의작성절차별및품질차원별문항수는 < 표 4-3> 과같음 < 표 4-3> 미승인 ICT 통계품질진단자체진단서 의문항수 품질차원 작성절차 조사개요 통계의작성목적 조사설계 자료수집 행정자료활용 자료처리 통계추정및분석 통계공표, 통계기반관리및및개선이용자서비스 관련성 6 7 3 5 21 정확성 14 10 12 8 1 7 52 시의성 / 정시성 계 3 3 비교성 3 2 5 일관성 2 2 접근성 / 명확성 5 5 신뢰성 2 2 비용효율성 2 2 계 9 9 14 10 3 12 8 18 9 92 < 표 4-4> 품질진단자체진단서항목구성 구분항목명칭 ( 항목수 ) 소계 조사개요 통계설명 (6), 비교대상통계파악 (3) 9 작성목적 통계작성목적 (2), 이용자요구사항반영 (5), 이용자의신뢰성 (2) 9 조사설계 용어및주요개념의설명 (1), 조사표설계의적절성 (5), 목표모집단과조사모집단의정의 (2), 표본추출의적절성 (3), 표본설계 (3) 14-53 -
구분항목명칭 ( 항목수 ) 소계 자료수집 조사방법 (2), 조사원관리 (1), 조사수행체계 (3), 무응답관리 (2), 현장조사관리 (2) 행정자료활용 행정자료활용의적절성 (3) 3 자료처리 자료입력체계 (4), 자료의검토 (8) 12 통계추정및분석 통계추정산식 (3), 표본오차및무응답추정 (5) 8 통계공표, 관리및이용자서비스 통계기반및개선 공표내용 (5), 간행물오류점검 (1), 공표일정 (3), 시계열비교 (2), 유사통계비교 (2), 통계설명자료제공 (3), 보고서외서비스제공 (2) 담당부서전문성, 업무매뉴얼 (4), 위탁조사관리 (3), 예산확보노력 (2) 총계보기식문항 (59), 서술식문항 (33) 92 10 18 9 조사수행기관에서작성한 미승인 ICT통계품질진단자체진단서 의내용평가를위해 미승인 ICT통계품질진단평가서 를구성 - 조사통계용 자체통계품질진단매뉴얼 의 44개통계품질지표를기반으로하여 8 개의품질차원 ( 관련성, 정확성, 시의성 / 정시성, 비교성, 일관성, 접근성 / 명확성, 신뢰성, 비용효율성 ) 및 9개의작성절차별 ( 조사개요, 통계의작성목적, 조사설계, 자료수집, 행정자료활용, 자료처리, 통계추정및분석, 통계공표관리및분석, 통계기반및개선 ) 로진단하기위한 31개의통계품질지표로구성함 ( 부록 2 참조 ) - 미승인통계의특성을감안하여통계품질지표수를최소화함 - 통계청의자체통계품질진단의통계품질지표수와 미승인 ICT 통계품질진단평가서 의통계품질지표수는 < 표 4-5> 와같음 - 54 -
< 표 4-5> 통계청자체통계품질진단과미승인 ICT 통계품질진단평가서지표비교 품질차원 관련성 정확성 작성절차 시의성 / 정시성 비교성 일관성 접근성 / 명확성 신뢰성 비용효율성 계 조사개요 통계의작성목적 조사설계 자료수집 행정자료활용 자료처리 통계추정및분석 통계공표, 관리 / 이용자서비스 통계기반및개선 2 2 1 1 3 9 1 2 1 1 5 4 7 1 3 5 2 22 5 5 2 3 1 2 18 계 2 2 1 1 1 1 1 3 1 1 2 1 1 1 1 7 7 2 2 1 1 0 0 1 1 2 2 6 7 2 3 6 14 2 44 2 3 5 5 1 2 3 7 3 31 주 : 음영표시부분은 미승인 ICT 통계품질진단평가서, 통계품질지표수 < 표 4-6> 미승인 ICT 통계품질진단평가서항목구성 구분 항목명칭 ( 항목수 ) 소계 조사개요 통계설명, 비교대상통계파악 (2), 종합의견 (1) 3 작성목적 통계작성목적 (1), 요구사항반영 (1), 이용자신뢰도 (1), 종합의견 (1) 4 조사설계 항목정의및개념 (1), 조사표설계및변경 (1), 목표모집단및조사모집단정의 (1), 표본추출틀의적절성 (1), 표본설계보고서작성 6 (1), 종합의견 (1) 자료수집 조사수행과정 (1), 조사원관리 (1), 조사수행체계 (1), 무응답대처 (1), 현장조사관리 (1), 종합의견 (1) 6-55 -
구분항목명칭 ( 항목수 ) 소계 행정자료활용 행정자료활용 (1), 종합의견 (1) 2 자료처리 자료입력오차최소화 (1), 자료내용검토 (1), 종합의견 (1) 3 통계추정및분석 통계공표, 관리및이용자서비스 통계기반및개선 통계추정산식 (1), 표본오차추정 (1), 무응답추정 (1), 종합의견 (1) 4 공표방법및내용의충분성 (1), 공표내용의정확성 (1), 공표일정 (1), 과거자료비교 (1), 유사통계비교 (1), 통계서비스제공경로 (1), 통계정보서비스 (1), 종합의견 (1) 담당부서전문성 (1), 위탁조사관리 (1), 예산산출 (1), 종합의견 (1) 4 총계 5 점척도문항 (31), 서술식문항 (9) 40 8 미승인 ICT통계품질진단평가서 의품질지표의내용을품질차원및작성절차별로요약하면다음과같음 조사개요 - A-1 통계작성기관 / 부서명, 조사및공표주기, 작성유형, 조사일정, 조사주체, 법적 제도적근거, 조사이력이적절하게설명되어있습니까?( 관련성 ) - A-2 비교대상통계를잘파악하고있습니까?( 비교성 ) - A-3 종합의견 ( 권고사항등 ) 통계의작성목적 - B-1 통계작성목적을타당하게제시하고있습니까?( 관련성 ) - B-2 주요이용자를파악하고있으며, 이용자의요구사항을적절하게반영하고있습니까?( 관련성 ) - B-3 이용자가해당통계를신뢰한다는근거가있습니까?( 신뢰성 ) - B-4 종합의견 ( 권고사항등 ) 조사설계 - C-1 조사항목이나용어를명확하게정의하고관련개념을분명하게설명하고있습니까?( 정확성 ) - C-2 조사표의설계및변경절차가적절하며, 응답자가이해하기쉽도록설계되었습니까?( 정확성 ) - 56 -
- C-3 목표모집단과조사모집단이명확하게정의되어있습니까?( 정확성 ) - C-4 표본추출틀로사용되는자료의출처가명확하며, 개편시방법및절차가적절합니까?( 정확성 ) - C-5 충분한내용의표본설계보고서를작성하고있으며, 표본관리방안이적절합니까?( 정확성 ) - C-6 종합의견 ( 권고사항등 ) 자료수집 ( 조사단계 ) - D-1 조사방법및수행과정이적절합니까?( 정확성 ) - D-2 조사원의관리가적절하게이루어지고있습니까?( 정확성 ) - D-3 조사를원활하게수행하기위한체계가있습니까?( 정확성 ) - D-4 무응답대처를적절하게하고있습니까?( 정확성 ) - D-5 현장조사과정이적절하게기록, 분석, 평가되고있습니까?( 정확성 ) - D-6 종합의견 ( 권고사항등 ) 행정자료활용 - E-1 행정자료를적절하게활용하고있습니까?( 관련성 ) - E-2 종합의견 ( 권고사항등 ) 자료처리 - F-1 자료입력과정에서오차를최소화하기위한방법이적절합니까?( 정확성 ) - F-2 자료내용검토의방법이적절합니까?( 정확성 ) - F-3 종합의견 ( 권고사항등 ) 통계추정및분석 - G-1 통계추정산식및추정내용이적절합니까?( 정확성 ) - G-2 표본오차의추정방법이적절합니까?( 정확성 ) - G-3 무응답에대해적절한추정방법을적용하고있습니까?( 정확성 ) - G-4 종합의견 ( 권고사항등 ) 통계공표, 관리및이용자서비스 - H-1 공표방법이적절하며공표내용이충분합니까?( 관련성 ) - H-2 공표내용이정확합니까?( 정확성 ) - 57 -
- H-3 공표날짜에맞게공표되고있습니까?( 시의성 / 정시성 ) - H-4 과거자료와시점간비교가가능합니까?( 비교성 ) - H-5 유사통계와비교하여어떤내용이다르며, 그차이가어떻게되는지파악하고있습니까?( 일관성 ) - H-6 통계가서비스되는경로가적절합니까?( 접근성 / 명확성 ) - H-7 통계와함께제공되는서비스가충분합니까?( 접근성 / 명확성 ) - H-8 종합의견 ( 권고사항등 ) 통계기반및개선 - I-1 담당부서의전문성을확보하고있습니까?( 정확성 ) - I-2 통계위탁조사에대한관리가적절합니까?( 정확성 ) - I-3 합리적으로예산을산출하고있습니까?( 비용효율성 ) - I-4 종합의견 ( 권고사항등 ) 4. 품질진단프로세스와결과 품질진단은통계학, 경영학교수로구성된외부평가위원 (4명) 과 KISDI 내부평가위원 (2명) 으로혼합, 구성 평가단에의한미승인 ICT통계품질진단평가서작성의사전단계로품질진단대상기관별자체진단서작성, 품질진단대상기관방문인터뷰, 통계이용자심층인터뷰를거침가. 미승인 ICT 통계품질진단자체진단서 자체진단서를작성하기전대상기관담당자에게진단서내용설명회를개최하여진단서의취지와질문항목에대한명확한이해를도움 진단서작성은전년도조사를대상으로품질진단이이루어지므로조사담당자와실사를담당한전년도조사회사와의협조등을통해작성되도록유도 진단서작성기간중에해당조사의이용자를대상으로한실태진단인터뷰를실시하였으며작성완료하여제출된자체진단서내용을검토하고기관을방문하여작성된진단서내용을진단대상기관과진단수행주체가함께검토, 확인함 - 58 -
나. 이용자요구사항반영실태진단 ( 표적집단면접 : Focus Group Interview, FGI) 이용자요구사항반영실태진단은해당통계조사이용자를대상으로해당통계의정확도와신뢰도를평가하고개선사항을도출할목적으로진행 통계조사에응답자로참여한기업체담당자와해당통계를활용한경험이있는연구자등을해당조사담당기관의추천을받아이들을대상으로조사별로집단인터뷰진행 (FGI 질문지는부록 3 참조 ) < 표 4-7> 이용자인터뷰참가자구성 구분 참석자 소계 데이터산업현황조사 산업계 3, 학계 / 컨설팅 2 5 빅데이터시장현황조사 컨설팅 3 3 클라우드산업실태조사 산업계 3, 학계 1 4 정보보호산업실태조사 산업계 3, 학계 1 4 계 산업계 10, 학계 2, 컨설팅 4 16 관련성, 정확성, 시의성 / 정시성, 비교성및일관성, 접근성 / 명확성, 신뢰성, 기타영역으로구성된인터뷰를통해다음과같은공통적인의견을파악함 - 대부분의이용자들은해당통계조사가신규비즈니스발굴및시장분석을위해서필요하다는의견을제시. 세부산업별정보나신산업의경우수요측면의조사도필요하다고응답 - 설문응답시현업담당자의업무부담과설문분야별로다양한분야의담당자가응답하는과정에서정확성저하우려가존재. 조사편의성등을감안이메일조사적용의견도제안 - 반기조사의필요성도제기되었으며, 조사결과의연내발표를희망함. 또한보고서에조사방법론전반에대한상세한설명이필요하다고응답 - 보고서제공시주요통계데이터는엑셀등의형식으로함께제공된다면유용하게활용가능 - 조사별로이용자의견이잘반영되고있다는응답과함께통계생산과정에서소 - 59 -