데이터품질관리를위한 전사메타데이터시스템 발표 KTF 품질관리센터양성모차장
Agenda 1 st 전사메타데이터시스템개요 2 nd 전사메타데이터구축현황
1 st 전사메타데이터시스템개요
1. 구축배경 빠르게변하는비즈니스와 IT 환경은데이터및애플리케이션의급속한변화를초래하여품질저하를가져오고이에따른시스템장애에대한위험요소를내포하고있습니다. 이러한문제를해결하기위해효율적이고체계적인시스템관리를위한메타데이터관리시스템구축이필요합니다. 비즈니스환경의변화 산업간융합추세 - 지상파 / 위성 DMB,WIBRO,IPTV 등 IT 기술및서비스진화에따른고객의요구및성향의다양화 IT 환경의변화 신규비즈니스를지원하기위한애플리케이션규모및복잡도증가 다양한고객요구를수용하기위한데이터구조의복잡도증가및데이터입력채널의다양화 시스템간데이터이동폭증 우리의현실 애플리케이션, 데이터의표준화및품질을관리 / 통제할수있는인프라미약 업무담당자의경험과지식에의한개발및유지보수 특정데이터 / 애플리케이션의변경이다른업무에미치는영향도파악힘듦 비즈니스 /IT 환경변화에대응하기위한정보시스템의데이터 / 애플리케이션품질관리를위한메타데이터관리시스템필요 Metadata Management System 전사데이터관리체계수립 데이터표준화관리체계수립데이터표준화업무수행데이터품질관리체계수립데이터품질관리업무수행 메타데이터관리시스템구축 MDR(Meta Data Repository) 표준화및모델관리시스템데이터품질관리시스템애플리케이션영향도분석시스템 개발 / 운영관리프로세스와의통합 WDMS 개발관리프로세스의확장 메타관리프로세스와개발 / 운영관리프로세스와의통합 (App 영향도, 데이터흐름, 표준화, 메타포탈연계 ) Copyright All Rights Reserved Page. 4
2. 구축경위 데이터 / 애플리케이션품질관리체계구축 2000 ~ 2001 년 018 시스템통합 KT 재판매통합 DATA 통합 2003 ~ 2004 년 오류유형분석 부정합데이터검출스크립트 DATA 단순보정 WISE 데이터모델현행화 2005 ~ 2006 년 데이터모델고도화 ( 전부문확산 ) 데이터품질관리방향성검토 메타관리시스템구축 (05.12~ 06.8) 데이터품질관리체계수립 / 내재화 데이터품질관리체계구축 메타관리시스템구축 2005 년 2007 ~ 2008 년 DATA 품질관리부문확산 -CReaM, ERP 등 애플리케이션품질관리체계구축 데이터품질관리확산 애플리케이션품질관리체계구축 2004 년 5 월 ~2005 년 3 월 WISE 데이터모델현행화 WISE 데이터모델 1 차 /2 차현행화및개선안도출 체계적모델변경관리프로세스수립 Er-Win 모델리파지토리구축 2005 년 4 월 ~ 2006 년 3 월 WISE 데이터모델고도화 WISE 데이터모델문제점도출및개선지원 WISE 개발업무지원 - 데이터모델변경사항검토 - 성능관리 (SQL 튜닝 ) 지원 데이터모델관리확산 - KTFMembers, ICE 모델현행화 - CReaM, InfoBank 모델 1 차현행화 2005년6월 ~ 2005년 11월체계적인데이터품질관리를위한메타데이터관리시스템구축방안검토 메타관리시스템구축관련사례조사및벤치마킹실시 -KT, 포스코등 5개업체벤치마킹실시 메타관리시스템구축관련 RFI요청및검토 메타관리시스템구축관련요구기능및프로세스작성 Copyright All Rights Reserved Page. 5
3. 구축및기대효과 KTF 의여러시스템에흩어져있는데이터의품질을보장하고운영을효율적으로수행하기위해전사데이터표준화를기반으로한메타데이터관리시스템구축 구분 기대효과 구축목적 KTF 의체계적데이터품질관리를위한전사데이터관리체계수립및데이터표준화 / 품질관리업무수행, 이를지원하는인프라로서의메타데이터관리시스템구축을목적으로함 체계적 / 지속적관리를위한데이터표준화및품질관리체계수립 메타관리기능구현 WDMS 업그레이드및개발관리프로세스와의통합을통한시너지제고 데이터품질향상 개발생산성향상 체계적인데이터 /App. 관리를통한원가절감 현재 3.99σ 6σ 수준으로향상 20% 이상의생산성향상및장애예방효과기대 -영향도분석메타데이터구축을통해영향도분석업무의 40% 이상을감소시킴 (Gartner Group 자료 ) - 기존개인적인경험이나지식에의해수행되던사전영향도파악부문을메타관리시스템에서지원함으로써영향도미파악으로인한장애오류감소 - 데이터모델관리및구조개선활동을통한데이터중복최소화를통한디스크절감효과 - 체계적인애플리케이션관리를통한시스템복잡도감소 / 재활용증대 Copyright All Rights Reserved Page. 6
2 nd 전사메타데이터시스템 구축현황
1. 구축범위 (1) 전사데이터관리체계수립 데이터표준화관리체계수립 데이터품질관리체계수립 데이터표준관리체계수립 - 표준화관리원칙 ( 기준 ), 프로세스, 수행조직 R&R 정의 데이터표준화업무수행 - WISE, CReaM, InfoBank, SAS, ERP, KTFMembers, ICE 시스템의기준데이터 ( 용어, 항목, 도메인, 코드 ) 표준화 데이터품질관리체계수립 - 품질관리원칙 ( 기준 ), 프로세스, 수행조직 R&R 정의 - 데이터품질평가지표정의 (CTQ/DQI 정의 ) 데이터품질측정비즈니스로직설계및기능구현 메타관리기능구현 통합리파지토리구축및적재 메타관리기능구현 메타리파지토리통합방안설계및커스터마이징 - Multi-System (WISE, InfoBank, CReaM,.) 을지원할수있는확장가능한통합리파지토리아키텍처구조 - 메타데이터의각주제영역이유기적으로통합적으로관리될수있는구조 통합메타리파지토리에관련메타데이터초기적재및현행화프로세스구현 데이터품질관리체계수립 - 품질관리원칙 ( 기준 ), 프로세스, 수행조직 R&R 정의 - 데이터품질평가지표정의 (CTQ/DQI 정의 ) 데이터품질측정비즈니스로직설계및기능구현 Copyright All Rights Reserved Page. 8
1. 구축범위 (2) 애플리케이션영향도분석 애플리케이션자산분석 기타솔루션간프로세스연계 데이터흐름관리 애플리케이션구조및연관정보분석 애플리케이션변경시변경에따르는영향도분석 데이터품질관리, 메타포탈, WDMS, 데이터흐름, BI 포탈등관련프로세스연계및솔루션연계 타시스템간의데이터흐름관리 ( 테이블흐름 ) ETT(Job, Task, 물리적, 논리적흐름 ) 관리 WDMS UPGRADE (KDMS) 개발관리업무영역확장 메타관리프로세스통합 InfoBank / CReaM / KTFMembers / ICE 형상관리 / 개발관리요구기능수용 WDMS 기반하에메타관리현행화프로세스통합 ( 애플리케이션영향도, 데이터흐름, 표준화, 메타포탈연계 ) Copyright All Rights Reserved Page. 9
2. 전사메타데이터시스템전체이미지 (1) 전사적메타포털 ( 통합된단일뷰 ) 모델관리 모델관리 데이터품질관리 Logical Model Physical Model Model Create / Modification [Model Mart, ERWin] 표준화 데이터모델 품질점검기준 품질점검결과 데이터표준화 데이터품질 애플리케이션영향도 App. 영향도관리 표준항목 (Naming Rule) Database (Table, Column) Domain Code Application, Interface 데이터사전 데이터흐름 DB 관리정보 Index Design Chart 변경영향분석시스템 변경영향분석 애플리케이션 파싱 (Parsing) KTF KDMS ( 내부개발관리프로세스 ) Copyright All Rights Reserved Page. 10
2. 전사메타데이터시스템전체이미지 (2) 표준화관리 모델관리 데이터베이스관리 인덱스차트분석 데이터프로파일링 CTQ / DQI 관리 품질점검기준관리 데이터품질측정 제품간통합 KDMS 와연계 애플리케이션구조분석 애플리케이션영향분석 애플리케이션자산관리 새로운기능개발 데이터흐름관리 시스템간테이블연관맵구성관리 - Table/Table, App./Table/Table 정보계 ETT 연관맵구성관리 - JOB / TASK 흐름도 Copyright All Rights Reserved Page. 11
3. 데이터플로우아키텍처 KTF 시스템 WISE 소스영역 Enterprise Metadata Repository DQ 리파지토리 통합 IT 운용리파지토리 메타포탈 리파지토리운용표준화운용 개발자 현업사용자 데이터베이스운용 분석 CRM 데이터모델리파지토리 애플리케이션아키텍처리파지토리 모델뷰어리파지토리활용 DBA 모델러 운영 CRM + 데이터베이스리파지토리 메타데이터 Mart 액세스패턴분석영향도분석 품질관리자 ERP 현행 ERD Reverse 데이터모델 Working 리파지토리 데이터표준화리파지토리용어사전도메인사전 사용자관리데이터품질관리 IT 관리자 KTF Members ER-WIN 표준화관리 전사애플리케이션운영환경 Reverse Wordict PB Shell JAVA Cobol Pro*C.SQL Copyright All Rights Reserved Page. 12
4. 기능구조도 (1) 기술구조커뮤니케이션표준화 메타관리 모델관리 전사메타데이터관리시스템 애플리케이션 통계 / 리포트 품질관리 DB 카탈로그 Copyright All Rights Reserved Page. 13
4. 기능구조도 (2) 메타관리 메타관리영역은사용자정보및역할별권한관리와메타데이터수집과관련된각종작업관리및해당작업수행내역정보를관리합니다. 기술구조 기술구조영역은인프라에서관리하는인스턴스, 하드웨어, DBMS, 패치내역등의정보를관리합니다. 커뮤니케이션 커뮤니케이션영역은공지사항, 게시판, FAQ 등의기능을제공하며, 업무담당자별이벤트발생시로그인과동시에화면에알림창기능도제공합니다. 표준화 표준화영역은크게단어 / 용어, 도메인등전사적으로준수되어야할표준데이터정보및표준변경영향도등을관리합니다. 애플리케이션 프로그램과프로그램과의관계, 프로그램과 DBC 정보와의관계분석을통해다양한분석연관맵및애플리케이션자원현황을제공하며, 특히데이터흐름을통한시스템간테이블흐름을관리합니다. Copyright All Rights Reserved Page. 14
4. 기능구조도 (3) 모델관리 모델관리영역은각주제영역별로관리되는논리모델, 물리모델, 테이블목록정보등을관리하며, 그들간의얼라인먼트내역및 ERD 보기기능을제공합니다. 품질관리 품질관리영역은 CTQ/DQI 관리부터데이터프로파일링, 업무규칙관리, JOB 관리등을관리하고특히애플리케이션영향도분석솔루션과의연동을통해데이터품질점검주기를단축시기는기능을제공합니다. DB 카탈로그 DB카탈로그영역은각서버별로관리되는 DBMS별스키마오브젝트에대한정보를관리하며, DB 변경내역및오브젝트검색기능등을제공합니다. 통계 / 리포트 통계 / 리포트영역은각영역별로관리하는데이터중에서통계자료나각종보고가필요한항목에대해서별도보고서형식등의자료를제공합니다. Copyright All Rights Reserved Page. 15
5. 주요기능 _ 개발프로세스 1 표준화기반테이블설계서작성 다양한통합 (IDE) 환경소스관리지원 개발관리및이력관리를위한웹환경제공 전사적일관된개발관리를위한환경구축 표준화를적용한테이블설계프로세스구축일관된소스 ( 다양한개발환경통합 )/ 형상관리 (CVS) 방안제공개발공정관리를위한기능제공 Copyright All Rights Reserved Page. 16
5. 주요기능 _ 개발프로세스 2 메타포탈연계표준화연계애플리케이션영향도분석연계 개발관리필수프로세스및시스템연동 전사메타포탈연계, 데이터표준화및표준화프로세스연계, 애플리케이션영향도분석연계, 테이블 / 테이블흐름및애플리케이션 / 테이블 / 테이블흐름연계 Copyright All Rights Reserved Page. 17
5. 주요기능 _ 메타 1 단어 / 용어관리표준도메인관리표준단어영향도관리 데이터표준화및표준화프로세스관리 단어 / 용어및도메인조회, 표준컬럼제공기능및표준단어, 도메인등록요청기능, 영향도관리등의정보제공 Copyright All Rights Reserved Page. 18
5. 주요기능 _ 메타 2 업무영역별모델매핑 DB 테이블목록스키마오브젝트관리 논리및물리모델관리, DB 카탈로그정보관리 논리 / 물리모델, DB 테이블목록, ERD 보기등의기능과각종스키마오브젝트관리기능제공 Copyright All Rights Reserved Page. 19
5. 주요기능 _ 메타 3 워딕 (WORDICT) 단어사전관리 워딕 (WORDICT) 표준화승인처리 IDC(Index Design Chart) 인덱스관리 표준화관리자기능및인덱스관리정보제공 단어사전관리를위한기능및테이블별액세스, SQL 사용내역등인덱스관리를위한각종다양한정보제공 Copyright All Rights Reserved Page. 20
5. 주요기능 _ 애플리케이션영향도분석 연관관계분석지원 ( 동적분석엔진탑재 ) CRUD 매트릭스및호출관계매트릭스지원 통합검색기능지원 산재한애플리케이션자산의현황파악및연관분석 애플리케이션및 DBC( 데이터베이스카탈로그 ) 정보자산에대한현황 / 변경영향 / 연관분석등다양한정보제공 Copyright All Rights Reserved Page. 21
5. 주요기능 _ 데이터흐름분석 테이블 / 테이블연관현황 애플리케이션 / 테이블 / 테이블연관현황 BI 포탈 ETT (JOB,TASK) 연관현황 전사데이터에대한소스 - 타겟간의연관데이터현황파악 테이블 / 테이블연관맵, 애플리케이션 / 테이블 / 테이블연관맵, BI 포탈 ETT(JOB,TASK) 연관맵분석을통한소스 / 타겟간의영향도분석기능제공 Copyright All Rights Reserved Page. 22
5. 주요기능 _ 데이터품질관리 1 DQ Profiling: 대상데이터에대한통계적점검 프로파일현황 컬럼단위프로파일링 ( 컬럼분석, 날짜분석, 패턴분석 ) 테이블단위프로파일링 ( 참조무결성분석, 코드분석 ) 정확한현황데이터파악 기본적인데이터현황분석및업무규칙구성을위한기초정보수집 Copyright All Rights Reserved Page. 23
5. 주요기능 _ 데이터품질관리 2 BR Manager: 업무규칙관리 업무규칙현황 업무규칙등록및관리 CRIF (Check Rule Input Format) 를통한자동 SQL 작성지원 업무규칙에의한오류데이터추출 업무규칙등록및관리업무규칙에위배하는오류데이터추출 Copyright All Rights Reserved Page. 24
5. 주요기능 _ 데이터품질관리 3 DQ Workbench: Workbench 를통한품질진단 Job 관리 Job 관리 Job 디자인 Job 세부내역설정 품질진단을위한 Job 생성및관리 사용자가원하는품질진단작업을 Job 이라는작업단위로생성및관리 Job 의품질진단작업프로세스를다이어그램형식으로정의 Copyright All Rights Reserved Page. 25
5. 주요기능 _ 데이터품질관리 4 Monitoring: 진단현황모니터링및스케줄링지원 진단현황모니터링작업내역관리및재실행스케줄링설정및관리 설정한작업에대한모니터링및스케줄링 진행및오류, 중단된작업에대한모니터링스케줄링을통한자동진단실행관리 Copyright All Rights Reserved Page. 26
5. 주요기능 _ 데이터품질관리 5 Root Cause 추적 : 애플리케이션영향추적및데이터흐름연계 업무규칙관련애플리케이션 CRUD 추적 관련애플리케이션소스확인 업무규칙관련테이블흐름확인 오류데이터를생성하는관련애플리케이션및테이블흐름 오류데이터를생성애플리케이션 CRUD 추적및소스 Viewing, 시스템간테이블흐름확인 Copyright All Rights Reserved Page. 27
6. 구축후기대효과 전사메타리파지토리구축 ( 표준화, DBMS, 모델, 품질, 애플리케이션영향도 ) 미적용영역향후확대적용가능 ( 애플리케이션영향도 : C++, KTF Members, 데이터품질 : Cream, KTF Members) 전사리파지토리마련 KTF 고유프로세스연동 기반마련 내부프로세스연계 KTF 에향후발생할수있는모든 Case ( 개발단계, 운영단계 ) 의데이터품질관리프로세스확립 KTF에발생될수있는모든Case ( 소규모변경관리, 대규모변경관리, 기존시스템재구축, 신규시스템도입 ) 의표준화프로세스를정립 프로세스확립 고품질데이터확보 표준화, 품질프로세스확립데이터의가치부여 KTF 내부프로세스인 KDMS와연계하여시너지효과를높임 ( 표준화, 애플리케이션영향도, SSO) 향후기타내부시스템과유연한연동가능 데이터품질측정주기단축 ( 애플리케이션영향도, 데이터흐름등을연계 ) Copyright All Rights Reserved Page. 28
Thank you! 감사합니다!! KTF 품질관리센터차장양성모 E-Mail : smyang78@ktf.com