차세대 DB 보안 관리기술및구축사례 Fresh Start, Data Quality Initiative - 다시생각해보는데이터품질관리

1. 데이터품질개요 2. 국내데이터품질관리시스템도입상황 3. 다시생각해보는데이터품질관리 4. 데이터품질관리활성화를위한제언

1. 데이터품질개요

1.1 데이터품질이란? 1. 데이터품질개요 데이터품질이란, 지식작업자가데이터를활용하여업무목적을달성할수있도록지속적으로기대수준을만족시키는것 Larry English Definition( 정의 ) Contents( 값 ) Presentation( 활용 ) 데이터사양및메타데이터에대한품질 표준화 & 모델링관점 데이터값이업무를수행할수있도록정의되어있는가? 데이터값의정확성에대한품질은? 완전성, 정확성관점 데이터값이정확하게정의된업무규칙을준수하는가? 지식작업자에게전달되는정보제품으로서의품질은? 적시성, 편리성, 활용성관점 필요할때즉시제대로된정보를얻을수있는가? 데이터품질관리란? 초기데이터의품질을획득하고이를지속적으로유지 / 개선시키는일련의프로세스 Governance & Compliance Copyright All Rights Reserved ㅣ Page. 4

1.3 저품질데이터로인한피해 1. 데이터품질개요 국내사례 개인 국가 산업 국민연금가입자의주민등록번호화이름이일치하지않는사례가 30 만 9,825 건이며, 징수보험료도 690 억원에달함 (2009 년 5 월기준 ) 이런이유로연금을실제보다적게지급받은경우가많은것으로나타남 2007 년상반기까지의재정지출을무려 17 조 9 천억원이나잘못집계 이오류로상반기재정집행진도율이대폭조정되었고, 잘못된수치로발표까지했다는점에정부의재정운용신뢰도가낮음 은행보험을비롯한금융계좌의 1% 계좌가주민등록번호가잘못기재하고있으며그냥은 380 만건에이름, 권역별로은행이 1 억 3359 만계좌중 151 만 2000 개 (1.1%) 로가장많고보험사 9696 만계좌중 119 만 7000 개 (1.2%), 카드등여신전문금융회사 1 억 685 만계좌중 69 만 3000 개 (0.6%), 증권사 2114 만계좌중 28 만 8000 개 (1.4%) 등이있다. ( 인지는하고있지만가시적피해가없는경우 ) 해외사례 영국 아일랜드 주관공서가이미사망한아동의부모들에게취학학교를선택하라는안내문을발송하여부모들에게마음의상처를주었으며관공서는이미지타격을입음 원인 : 관공서가특정기간동안아동출생기록을해당지역의 NHS Trust 로부터넘겨받은후그아이들의생존여부를체크하지않고안내문을보냈음 메이저은행이 2008 년윤년계산오류로모기지론이자금액을추가징수 한계좌당약 28.50 유로의금액으로회사의이미지에막대한손실을입히고있음 경쟁사들이이사례를언급하면서은행신뢰도및이미지타격등의여파가매우크며, 상당기간동안이오류를감지하지못했다는점에서큰문제가외고있음 출처 : 데이터품질관리의경제적효과분석, 경희대박주석교수, 2010 데이터베이스그랜드컨퍼런스 Governance & Compliance Copyright All Rights Reserved ㅣ Page. 6

2. 국내데이터품질관리 시스템도입상황

2.1 데이터품질관리에대한고객의생각 2. 국내데이터품질관리시스템도입상황 최근에는데이터품질에대한이슈들이많이부각되어 데이터품질 이란용어에대해서는한번씩은들어보았고, 이에대해서알기위해서노력들을하고있음 하지만데이터품질관리업무라고하면고객들은다음과같은생각들을하고있음 데이터품질하면이제정말데이터에문제가없는거야? 귀찮게왜자꾸데이터를고치라는거야? 문제없이잘운영되는데.. 데이터품질관리시스템? 그런게우리회사에있었어? 데이터품질? 그게뭔데? 사고가한번도없었으니우리는데이터품질이좋은거야? 데이터품질 Tool 을도입했으니이제품질은좋아질꺼야.. 그런게그게나한테무슨도움이되는데? 많은고객들께서는시스템만구축되면, 혹은조직만구성되면, 또는프로세스만잘갖추어지면데이터품질관리가잘되리란생각을하고계십니다. Governance & Compliance Copyright All Rights Reserved ㅣ Page. 8

2.2 국내데이터품질관리현황 2. 국내데이터품질관리시스템도입상황 국내데이터품질관리현황은이제막도입기를지나확산기로올라가고있음. 도입기를거치는시점에가장큰어려움으로고객들이공통적으로제기하는문제는 데이터품질관리활동의활성화 의이슈임 조직, 프로세스, 시스템은구축되었으나일정수준에서더이상활동의진전이없음을토로함 국내평균 3 단계 2 단계 1 단계 데이터품질관리고도화 데이터품질관리전사확산 데이터정합성관리체계혁신 전사데이터품질관리체계수립 - 조직, R&R, 프로세스 데이터품질관리기준수립 - 데이터품질지표, CTQ, DR, BR 데이터품질관리지침작성 데이터품질관리시스템구축 - Meta, DQ, AP 영향도분석과연계 전사업무시스템으로데이터품질관리범위확장 상시데이터품질관리체계운영 데이터품질성숙도관리 Data Prevent Information Quality - 적시성, 적량성, 접근성등 BPM과연계를통한 Process Rule 관리 Governance & Compliance Copyright All Rights Reserved ㅣ Page. 9

2.3 데이터품질관리프로젝트이후의고민 2. 국내데이터품질관리시스템도입상황 고객들은데이터품질도입프로젝트를수행하고추가적으로고도화프로젝트를수행했음에도불구하고데이터품질관리업무가활성화되지않는다는고민을하고있음 여기는 20 대유동인구가많구나.. 그들에게어필하려면어떤것이좋을까? 주변에극장이있는데이인프라를잘활용할수있는방법은뭐가있을까? 조직의구성원에게데이터품질에서어떤정보를제공하면자주이용할까? 데이터품질인식을어떻게하면향상시킬수있을까? 가족단위의고객을위해어린이메뉴을개발하고어린이놀이터를넣는건어떨까? 기구축된어떤정보를잘활용하여야데이터품질관리시스템을더잘이용할수있을까? 음식점을하나내는데도많은입지조사, 구매패턴, 유동인구조사등을수행하여장사를시작하는데우리는어떤고민을통해데이터품질관리시스템을구축하였는지다시한번생각을해봐야할필요성이있습니다. Governance & Compliance Copyright All Rights Reserved ㅣ Page. 10

3. 다시생각해보는 데이터품질관리

3.1 데이터품질관리프로젝트시고려해야하는문제 3. 다시생각해보는데이터품질관리 데이터품질관리프로젝트도입형태 Ÿ 차세대프로젝트, EDW 구축, 고객통합등의프로젝트수행에데이터품질을도입 Ÿ IT 중심의데이터품질관리프로젝트도입 Ÿ 현업중심의데이터품질관리프로젝트도입 데이터품질기준의상이 Ÿ 데이터영역별품질기준상이 Ÿ 산업별품질인식수준상이 Ÿ 임원 vs. 업무담당자간의데이터품질체감수준상이 데이터오너쉽부여의어려움 다양한데이터기능에대한고려 è 이외에 자체개발또는패키지도입방안, 메타시스템과같은유관시스템과의연계여부 등의더많은사항을고려해야함. 이번발표에서는상세적인기술혹은시스템적인고려등의세부적인내용보다는 데이터품질관리 Initiative 에고민해야하는내용들만다루고자함. Governance & Compliance Copyright All Rights Reserved ㅣ Page. 12

3.2 데이터품질관리프로젝트도입형태 (1/3) 3. 다시생각해보는데이터품질관리 차세대프로젝트, EDW 구축, 고객통합등의프로젝트수행시 DQ 도입 도입형태 Ÿ 차세대프로젝트, EDW 구축, 고객통합등의이행데이터품질에대한이슈해결 특징 Ÿ 원천데이터에대한프로파일링을통한클린징이슈도출및신시스템으로데이터이행시바로반영적용 Ÿ 원천과이행데이터에대한정합성검증위주의데이터품질점검 현행애플리케이션 As-Is ( 원천 ) 점검 이행 ( 통합 ) 테스트 ( 누적 ) 이행 ( 통합 ) 점검 ƒ 점검 To Be ( 신규 ) 신규 ( 오픈전 ) 점검신규 ( 오픈후상시 ) 단점 Ÿ 프로젝트수행에초점이맞추어져있기때문에운영에맞는데이터품질관리관리체계를구성하기가어려움 Ÿ 프로젝트수행일정의부족, 혹은관심의부족으로제대로된비즈니스룰도출이어려움 Ÿ 1 회성품질관리활동이되기쉬움 [1 단계 ] 현행 ( 원천 ) 데이터품질 프로젝트사전적용 [2 단계 ] 이행데이터품질 [3 단계 ] 테스트데이터품질 프로젝트병행적용 대규모프로젝트의데이터리스크감리적용 [4 단계 ] 최종데이터상시모니터링 Governance & Compliance Copyright All Rights Reserved ㅣ Page. 13

3.2 데이터품질관리프로젝트도입형태 (2/3) 3. 다시생각해보는데이터품질관리 IT 중심의데이터품질관리프로젝트도입 도입형태 Ÿ EA, 데이터거버넌스, 혹은 MDM ( 마스터데이터관리시스템 ) 을구축하는과정에서, 혹은 IT 부서에서자체적으로데이터품질에대한요건을가지고도입 특징 Ÿ IT 부서중심으로전사데이터품질관리체계를수립및구축 Ÿ 데이터품질관리프로세스에맞추어진업무구성 단점 Ÿ 데이터의오너쉽은 IT 에있는것이아니라현업에게있으나품질관리의주체는 IT 임으로, 데이터품질문제는 IT 부서의책임이라는인식이있음 Ÿ 데이터품질문제가발생하였을경우현업의동참을유도하기가쉽지않고해당현업담당자및의사결정자의주체불명확혹은회피의가능성이있음 Governance & Compliance Copyright All Rights Reserved ㅣ Page. 14

3.2 데이터품질관리프로젝트도입형태 (3/3) 3. 다시생각해보는데이터품질관리 현업중심의데이터품질관리프로젝트도입 도입형태 Ÿ 비즈니스를위한컴플라이언스품질이슈 ( 바젤 II, Sarbanes Oxley Act, HIPAA 등 ) 를해결하기위하여현업이주관하여데이터품질관리프로젝트를도입 특징 Ÿ 현업을중심으로비즈니스요건에맞는데이터품질관리규정및지침을수립하고데이터에대한역할과책임을할당하여비즈니스중심적인업무구성 Ÿ IT 부서는품질이슈에대한현업지원조직으로구성 단점 Ÿ 현업의조직관례상프로젝트담당자들의잦은변경으로일관성있는업무추진의어려움이있음 Governance & Compliance Copyright All Rights Reserved ㅣ Page. 15

3.3 데이터품질기준의상이 3. 다시생각해보는데이터품질관리 데이터영역별품질기준상이 고객데이터 상품데이터 회계데이터 고객데이터의경우정확성과적시성이매우중요. 특히고객데이터는중복이일어나서는안되고, 고객을구별할수있는기준이되기때문에정확성이매우중요함. 또한고객데이터는데이터양이매우많고기준이되는정보이므로대응시간이늦어져서는안되기때문에적시성도중요한기준이됨. 최근에는보안성도매우중요하게다루어짐. 상품데이터는상품의다양성이점점중요해지고, 고객요구에따른맞춤상품체계로발전되기때문에유연성또한중요함. 하지만상품데이터는타데이터에비해데이터양이적고갱신이적기때문에성능은크게중요하게여기지않음. 회계데이터는거래처리를재무적으로반영하는것이고, 돈과관련되기때문에정확성과일관성이가장중요함. 또한분석시거래처리와연계성이필요하기때문에추적성도중요한지표가됨. 산업별품질인식수준상이 임원 vs. 업무담당자간데이터품질체감수준상이 금융기관의데이터중요성에대한인식은제조기업보다전반적으로높음. 또한관심대상이서로다르므로이를평가, 측정하는기준의정도도다르게접근해야함. 데이터중요성에대한인식및데이터의성격이다른만큼효과에대한기대도다름. C Level 의관리자는데이터품질의중요도를잘느낄수없음. 왜냐하면 C Level 임원이보는보고서는시스템에서바로뽑은데이터가아니라, 업무담당자들이매번수작업으로해당데이터를가공하고, 보정하여만든자료이기때문임. 업무담당자는자기가담당하는데이터의상태, 변경히스토리를알고있어데이터품질수준이얼마나떨어지고, 이를수정하려면얼마나어려운일인지알고있음. Governance & Compliance Copyright All Rights Reserved ㅣ Page. 16

3.4 데이터오너쉽부여의어려움 (1/2) 3. 다시생각해보는데이터품질관리 데이터관리의책임을부여하기위하여데이터오너쉽부여에대한목적은많이인식하고있음 하지만똑같은오너쉽의이슈라도처한환경에따라전혀다른관점의문제로해석이됨. 기획 생산 / 재고판매배송사용 상품개발부상품관리부계약배송관리부 정수기사용자 프로젝트번호 : 2009001 일련번호 : 바구역 _0010 배송번호 : 2009020301 제조사 : 상큼정수기 이온정수기 (4단계정수 ) 탱크용량 : 4L 품명 : 시원해정수기 규격 : 320*330*520mm 상품정의 배송처 : 서울시종로구 연락처 : 010-000-0000 월 28,000원 (2년의무 ) 3개월마다무상필터교체 정수능력 : 2000cc/m 중량 : 20Kg 주의 : 기존물품수거 알칼리성이온정수기 상품개발부 상품관리부 오너 배송관리부 사용자 & A/S 부 나! 정수기!! 출처 : Y 세미나, 투이컨설팅이형로, 2009 Governance & Compliance Copyright All Rights Reserved ㅣ Page. 17

3.4 데이터오너쉽부여의어려움 (2/2) 3. 다시생각해보는데이터품질관리 현재처럼 IT 부서에오너쉽을부여하는방식은개선되어야하나, 이론처럼현업에모든오너쉽을부여하는것도진정한해결책이될수없다. 발생관점의오너쉽 업무분장에따른오너쉽 개인고객부 방카슈랑스팀 외부규제기관 전행고객번호 원장상태코드 개인법인상세구분코드 법인전환여부 개인인터넷뱅킹가업여부 방카슈랑스계약여부 VIP고객신용회복등급코드확정자여부 구분현업 IT 주제영역별 1 1111 01 01 N N N AA N 시스템별 2 1112 01 02 Y N N BB N 테이블별 3 컬럼별 법인고객부 예 ) 개인법인상세구분코드 - 01: 개인, 02: 법인 CRM 팀 데이터오너쉽을현업에게부여하면? 데이터오너쉽을 IT 에게부여하면? 데이터오너쉽을현업과 IT 모두에게오너쉽을부여하면? 1 2 3? 출처 : Y 세미나, 투이컨설팅이형로, 2009 Governance & Compliance Copyright All Rights Reserved ㅣ Page. 18

4. 데이터품질관리활성화를 위한제언

4.1 Lesson Learned 4. 데이터품질관리활성화를위한제언 1 최고의사결정자는데이터품질에대한문제인지와함께바로잡아야할책임이있다. - IT 부서는데이터품질을끊임없이유지할수있도록조직의업무프로세스및절차를변화시킬수있는권한이없다 - 정보화담당관 (CIO) 의관심및각부서책임자급과함께 CEO 에의해추진되어야한다. 2 Data Stewardship Program 을마련하고, 그에따른조직을갖추어라. - 먼저데이터관리실명제를시작. 특히 진실의동일한버전 을달성하기위한데이터정의및업무규칙 (Business Rule) 을작성하고, 유지할권리및책임을부여하라. - 데이터 Ownership 에따라각데이터에대한관리주체를명확히하고, 상시관리조직을갖추어야한다. - 데이터품질활동에대한성과평가등의적절한보상체계마련을통한관련자들의참여를유도하라. 3 프로젝트를명확하게하고성공에대한추진력을줄수있는현실적인목표설정하라. 예 ) 3 달안에 DW 에서중복고객레코드를 1% 이내로줄인다. 예 ) 금번프로젝트내에서민원발급대상데이터의정합성을 6 시그마수준까지맞춘다. 4 데이터품질을측정하고, 관리할수있는체계및시스템을갖추어라. - 지속적으로주요데이터요소의품질을측정하고모니터링할수있는체계및지침을개발보급한다. - 또한관련프로세스를반영한데이터품질관리시스템을구축하여상시모니터링할수있어야된다. Governance & Compliance Copyright All Rights Reserved ㅣ Page. 21

4.2 데이터품질관리시스템구성도 (Best Practices) 4. 데이터품질관리활성화를위한제언 메타 + 품질 + 영향도분석을포함하는구성도 전사정보관리포털 ( 통합된단일뷰 ) 모델관리 통합리파지토리 데이터품질관리 Logical Model Physical Model Model Create / Modification 모델의표준준수여부 업무 / 업무규칙 데이터표준화 시스템별데이터품질관리수준 품질점검기준 품질점검결과 데이터품질 데이터모델 데이터표준화 표준항목 (Naming Rule) 표준데이터 ( 단어, 용어 ) 도메인 Code Application, Interface 데이터표준제공 애플리케이션영향도 데이터오너쉽 DB 관리정보 데이터흐름 프로그램간연관 & 프로그램과 DB 간연관관계 애플리케이션영향도관리 변경영향분석시스템 Change Impact Analysis Application Parsing 데이터관리원칙및기준데이터관리조직및 R&R 데이터관리프로세스 Governance & Compliance Copyright All Rights Reserved ㅣ Page. 22

지티원 http://www.gtone.co.kr 서울시영등포구문래동 3 가 55-20 에이스하이테크시티 2 동 501 호 TEL : (02) 2167-3456( 代 ) FAX : (02) 2167-3470