2008 base Grand Conference 메타데이터기반데이터관리 2008. 10. 발표 : 박시영이사 데이터스트림즈
데이터의폭발적인증가 저장매체의단위당가격하락, 무선이동통신기술의발전, RFID, 무선센서, Image, 고화질 (HD) 영상등컨텐츠의증가등여러센서및미디어의발전으로데이터유형및데이터량의증가는이미예견된것임 Business: 2010 년에이르면데이터 10 억테라바이트시대를예측 (Source:IDC2007) 2007 년이후저가센서시장에노드당 $30 미만의제품들이등장할것이며년간 30 만대이상의센서제품이거래될것. 무선통신 Zigbee (802.15.4) devices 2004 년대비 10 배의규모로확대될것 (Source: Gartner 2005) Consumer: 2007 년년간 4 억개의모바일폰이거래될것 (Source:IDC 2005) IDC predicts that the overall market for RFID-related IT services will grow to approximately $3.4bn in 2010. 800 3,000 P r o o d u c t i o n ( M i l l i o n s o f U n i t s ) 700 600 500 400 300 200 M illio n s o f D e v ic e s 2,500 2,000 1,500 1,000 3rd Generation 2.5 Generation 2nd Generation Analog 100 500 0 2002 2003 2004 2005 2006 2007 2008 Camera Phones Basic Handsets 0 2002 2003 2004 2005 2006 2007 2008 2009
데이터관리 Trend 프로세스실패, 데이터불일치, 재작업등으로년간오류정보보수비용으로 1.5 조 $ 예상 (Source: DM Review, 2007) 포츈 1000 대기업중 25% 이상이불일치, 중복등의데이터관리문제에당면 데이터품질문제해결의 Best practice 는한방에끝나는작업이아닌지속적개선프로그램의확보이며기업의일상적 IT 업무화여부에좌우 (Source: Gartner, 2007) 많은기업들이데이터일관성과조율, 높은품질을유지하는데많은어려움이있다, 그래서데이터관리문제를쉽고빠르게해결하기위해 governance 가필요하다 (Source: Mike Ferguson, 2007)
시스템통합프로젝트의현실 데이터문제는아직도풀리지않은숙제로서시장에는많은시스템통합솔루션이있음에도아직도수작업으로맞추고때워야하는작업이남아있으며대부분의시스템통합프로젝트의현실 (Fact) 은다양한기술로통합되기보다는더많은수작업의노력으로이뤄가는통합과정이되고있음 아직도계속수작업으로때우는노력과비용 형상관리 컨텐츠관리 리포팅 / 감사 Logs Desktop Search RDBMS/Marts/BI B A - X C Z Y - - - - - 98% of IT projects over $10 million in size either fail outright or incur serious cost overruns CIO budgets spend 60-80% on maintaining existing systems and applications that s $200-300 billion a year worldwide Source: Mercury s Optimize IT Governance Executive Summit, San Francisco, April 2005 Clear Text/Email/Documents Return-Path: <Vertica@en25.com> Delivered-To: sypark@ids.co.kr Received: (qmail 411 invoked by uid 506); 11 Sep 2008 05:12:59 +0900??? Legacy / ERP Class myclassx { public String Z = NULL ; public int A = 0;... } Integration costs consume at least 24 percent of yearly IT budgets. This number is probably low because not all integration costs land in the same column on a company's ledger. Source: article in InfoWorld, 2002 SOA ETL,EAI Modeling Framework <process>billing</process> <invoice><item id=123456> <product name= A >C</product> <product name= B >X</product> </item><invoice> Only 5% of integration budgets are spent on low level infrastructure most is spent on identifying, reconciling, and integrating the semantics of data and processes Source: David Hollander, CTO of www.contivo.com, in his presentation at the Semantics Tech Conf. 2005 Source: Accenture AIMS @ 2006
메타데이터의활용추세 (2004 년 ) 기술경향 (Trend) 의 Life cycle 에따른메타데이터기술의성숙도 2004 년의조사에따르면메타데이터는신기술이아니라어느정도시장내검증과정을통과한보편적인기술로서리서치기관인 Gartner 의조사를통해평가되었음 정의 : 메타데이터 tool 은 DW 아키텍처와데이터변환, 통합등의프로세스에서다루어지는다양한요소를정의하는정보들의리포지토리를제공시장적용 : 메타데이터는오랜기간 DW 벤더의단순한도구중심적지원으로인한중요한문제점으로서이슈화된분야 Business 영향 : 메타데이터기반확보를통해비즈니스요구변화에신속히대응가능하고 DW 구현을원활하게함 (Source: Gartner, 2004) 선택가능솔루션 : 해외 : Computer Associates, Ascential, Informatica and Reveleus 등 DI 솔루션위주의메타통합
메타데이터의재등장 DW 기술의확산과더불어 2004 년익숙한기술위치에서다시거꾸로올라가떠오르는기술로재등장하고있으며이제는 DW 에국한하지않은 Enterprise Management 를위한기술로인식되기시작하였음을의미하고있음 400 Worldwide Metadata Definition and Management Software Revenue $ (in millions) 300 200 100 2004 2005 2006 2007 2008 2009 Source: IDC, Worldwide Metadata Definition and Management Software 2005-2009 Forecast, May 2005 (Source: Gartner, 2006)
Compliance 와메타데이터 글로벌 Business 환경은수많은 Compliance 로인하여 IT 의신속한데이터의파악및대응을요구하고있으며기업내데이터의범위는외형적 (Syntactic) 인면뿐만아닌의미적 (Semantic) 인측면에서더욱풍부해지고메타데이터는더이상전문가만활용하는것이아닌 End-user 의레벨에서도사용되어야할요소로변화하고있음 IT 에영향을미치는주요규약규제범안사례 (Global business) 메타데이터의폭발적증가로인한 IT 의부담 ASC X12 (350 + transaction sets) California Identity Theft Protection Law (affects any entity doing business in CA) Export Controls Protection Act (UK) EU Markets in Financial Instruments Directive (MiFID FTC Act Health Information Technology Promotion Act of 2006 HL7 ISO 17799:2005 Code of Practice for Information Security Management Personal Protection Act (Netherlands) Privacy Act (Australia) Sarbanes-Oxley Act of 2002 (Sections 301, 302, 403, 404, 409, 802...) TREAD Act USA PATRIOT Act IFRS Basel II Pennsylvania Deceptive Privacy Law (any entity doing business in PA) Clinger-Cohen Act 1996 European Union Protection Directive (EUDPD) Gramm-Leach-Bliley (Title V) Health Insurance Portability and Accountability Act (HIPAA) PIPEDA (Canada) Document Retention management (DoD5015.2) International Traffic in Arms Regulations Restriction of Hazardous Substances (RoHS) Section 508 Rehabilitation Act Amendments 1998 Uniform Electronic Transactions Act (UETA) Anti money laundry Act Figure 1. IT pressures trigger a metadata surge.
Answer: 데이터관리체계 ( Governance) 데이터관리체계의수립은데이터의전사적정보자산화의출발점이자기업이보유한데이터의가치를높일수있는기반이며핵심성공요인은데이터표준화의준수를통한재사용성을높이고데이터의가치를유지하는데있다 While all this looks somewhat daunting there is no doubt that sharing and re-use are mission critical success factors when it comes to implementing a data governance program. -Mike Ferguson, 2008 FEB Re-use is Key in Governance 데이터모델링 (Modeling) 데이터분류 (Taxonomy) 데이터이행 (Migration) 데이터저장 (Storage) 데이터접근 (Access) 데이터보관 (Archiving) 데이터소멸 (Retirement) 메타데이터 (Metadata) MDM (Master management) 데이터관리체계의범위 활용 소멸 Asset Life cycle 이동 생성 저장 데이터관리정책 (Policies) 데이터표준 (Standards) 데이터오너쉽 (Ownership) 데이터준수 (Stewardship) 데이터프로파일링 (Profiling) 데이터정제 (Cleansing) 데이터감시 (Monitoring) 데이터인증 (Compliance) Security 데이터추적 (Traceability) 데이터보안 (Securiry)
What is 메타데이터? 메타데이터의유형에는여러가지가있으며각유형에따라활용주체 (Audience) 와메타정보의제공소스 (Origin) 가틀릴수있음. 이러한다양한메타데이터는궁극적으로복잡한데이터구조를단일사용자관점에서통일된 View 를제공함에목적이있음 메타데이터원천 메타데이터관리 사용자 Meta 구조 수작업 운영 DB 정보계 DW Agent Reverse 비즈니스메타데이터 + Technical 메타데이터 데이터표준화 DB 정보모델링정보 OLAP정보연동도구메타정보 메타데이터 Repository 관리자협업사용자개발자분석가 DBA 유형 (Type) 목적 (Purpose) 설명 (Examples) 사용자 (Audience) 원천 (Origin) 업무 (Business) 비니지스측면에서데이터의의미이해를돕기위함 각종문서, 보고서, 사용자화면에나타나는업무용어등 현업사용자 매뉴얼 (Manual) 기술 (Technical ) Development Operational Relationships 기술적구성요소간의상호참조및연결구조의이해를돕기위함 운영시스템의모델및품질관리지원데이터웨어하우스운영처리를지원 모든가능한 Object 에대한연관성추적분석을지원 시스템정보 base 테이블정의, 구조, Size, 테이블간의관계속성정의, 유형, Size, Source, Target, Mapping Application, Component, Document, DB, Message, Log Etc. 개발자 운영담당자 DW 관리자 모든사용자 시스템이미지정보 System Captured 시스템생성정보 System Generated 매뉴얼 / Agent 등
메타데이터시스템의최근추세 데이터의구조적복잡성및의미의복잡성으로메타데이터의통합형태가 Stand alone 혹은부문적인통합관리수준에서전사차원의넓이와 Business end-user 레벨까지의깊이로서다양한 IT 환경의메타유형을통합관리하는추세임 Business Standards Quality Modeling ETL/EAI DBMS (scheme) OLAP Application Framework 형상관리 ( 소스코드 ) 표준 BR DQI CTQ Model Repository Catalog Repository Repository Repository Synchronized Enterprise Metadata Repository 유형 Integration solution Vendor 기반 EDM Suite 등통합개발운영환경기반 Enterprise Metadata repository 기반
Real 시스템과메타데이터 최근의메타데이터관리시스템은 Enterprise system 을관통하는 Hub and Spoke 아키텍처구조를띠고있으며이는다양한외부환경변수에안전하고신속하게대응하기위한전사적데이터거버넌스의도구화로활용되고있음을의미함 Operational Sources ETL Enterprise Storage Architecture BI Stage Area Warehouse base Operational Store(ODS) Mart lineage and metadata management system Reports OLAP Mining DG에의도구로서메타활용 Application 분석 Application 포트폴리오 SOA(Service-oriented architecture ) Enterprise application (ERP, CRM, SCM etc.) dictionary 이행, 통합및관리 warehouse Master data 관리 Enterprise architecture
메타와데이터관리 Capabilities 데이터관리체계확립을위한역량 (Capabilities) 은프로세스, People, 기술관점에서다루어지며메타데이터관리는데이터표준을수립, 유지관리하고데이터가치의향상을위한기반으로서데이터관리체계를다양한관점에서지원. Process Metadata management 메타데이터의리포지토리화메타데이터동기화코드일관성유지비즈니스룰규칙관리모델생성변경프로세스의정의데이터베이스관리및보안 Policies Standards Business Ownership Workflow Quality Rules & Policies Cleansing Standards Compliance Rules MDM Governance Sizing, Storage & Movement Retention & Deletion Policies Phys Models Taxonomy Logical Models Business Process Flows Compliance & Security Policies Local, National & International Laws People 데이터관리및품질관리조직 DBA 모델러일반사용자응용어플리케이션개발자데이터아키텍트관리자 Stewards Business Owners Czar or Mgt. Committee Enterprise Architects Modelers Corporate Security Auditors Solution Architects Storage/Technical Architects DBAs Administration Quality Services Team Compliance Dept. Technology 용어, 도메인, 등데이터표준 DB 화데이터값, 참조규칙의 DB 화모델변경 DDL SCRIPT 생성외부메타 Import/ Export 모델링도구연동 ETL/EAI/OLAP 리포지토리연계 DB Schema Reverse Rules Library Automated Notifications (Workflow) Modeling Tools Design/CASE Tools Archiving Tools Storage Management & Hardware Technical Architecture Profiling, Quality & Monitoring Tools ETL Tools Audit Reports Security Software Access Rights Management Audit Trails Anonymization
생소한데이터용어설명 데이터관리체계 Governance 전사차원에서데이터자산 ( data assets) 을관리하는하나의방법으로서이러한 Dada Governance 에는전사데이터아키텍트와규칙, 정책, 절차, 책임과역할에대한가이드라 인을포함함. 이를통해데이터의정확성, 신뢰성, 일관성, 완전성, 가용성, 보안등을유지할수있도록하며프로세스, 조직, 시스템에영향을미친다. 데이터오너쉽 Ownership Ownership 은특정데이터와규칙 (Rule) 에대한생성소멸의과정에서의사결정의책임을의미이며이를통해데이터를명확화하고품질을유지시키며가치를높이는데기 여하는데목적이있다. 주로데이터오너쉽에대한결정은비즈니스오너쉽을참조하여 결정한다. 데이터스튜어드쉽 Stewardship Stewardship 은 Ownership 에부가하여데이터자산을얼마나측정가능하게지표화하여관리지원하는가를말하며데이터품질과정확성을유지발전시키는, 지원활동을하는역할을의미 대부분의 Stewardship programs 은데이터를찾고개발하는시간을줄이고기업이 single version of the truth 에도달할수있도록데이터를정의하고비즈니스규칙을수립하고유지되도록개발되어져있다. (Source:TDWI; Quality and the Bottom Line)
메타기반데이터관리체계프로세스 메타기반데이터관리체계프로세스는데이터관리체계수립이후지속적인데이터 Life-cycle 을관리하고프로세스를개선시켜가는순환체계로기업이정보를활용하는한지속적으로이루어져야하는과정이며이를위한조직과스폰서쉽의확보및변화관리성과보상체계가지원되어야바람직함 반복수행 체계수립 현황파악정책수립기능절차정의조직역할정의 메타기반데이터 Lifecycle 관리 Stewards 및 Owner활성화신규프로젝트의리뷰및승인중재조정및조율다양한지표 ( 매트릭스 ) 관리메타데이터관리 개선및향상 훈련및커뮤니케이션범위리뷰및조정프로세스리뷰및조정 조직조직및변화관리변화관리 조직및스폰서쉽확보 / 유지 비즈니스변화관리 성과평가 (ROI) 보상관리
데이터통합관리체계수립절차 체계수립단계에서는메타데이터기반의차세대데이터통합관리체계의수립을위한기본계획을수립하는것으로현황을진단하여개선사항을도출하고정책과, 프로세스, 조직측면에서 To-Be 모델수립을수행함 데이터관리현황파악 데이터관리정책수립 데이터관리기능및프로세스 데이터관리조직 데이터관리현황파악및개선사항도출 데이터관리방향및원칙정의 데이터표준관리 데이터모델관리 데이터보안관리 메타데이터관리 데이터품질관리 데이터관리조직및역할정의 데이터관리항목 데이터관리정책 데이터관리기능및프로세스 기능 데이터표준관리 명명규칙 용어표준 포함내용 데이터관리원칙전사데이터관리원칙 도메인 ( 코드, 번호 ) 표준 영향도분석메타데이터관리메타데이터관리 Quality 소프트웨어품질관리데이터품질관리데이터품질관리 데이터모델링방법론 관리여부 Governanc X e 100 X X X X O X X 50 0 Architecture ABC 해운 경영계획수립예산관리시황분석선박투자관리영업관리운항관리 데이터모델관리데이터모델관리데이터분산관리원칙 데이터보안원칙 DB 백업및복구 DB 사용자관리 접근통제관리 O X O Master & Meta 데이터관리조직 데이터관리조직구성원칙 데이터관리 R&R
EA/ITA 와의연계 최근데이터관리체계의효과를높이기위해 EA/ITA 단계에서부터설계, 변경, 유지보수운영레벨까지, 각아키텍처별상호연관성에기반하여정보시스템의모델링, 개발, 운용, 개선활동들이체계적으로메타데이터와연계되도록설계하고데이터거버넌스포탈을이용하여종합적인정보를제공하는추세로발전하고있음 데이터모델링도구 Erwin Power Designer Repository 모델정보연동 어플리케이션소스정보연동 형상관리도구 ClearCase 저장소 PVCS Change Manager 전사아키텍처 EA/ITA 데이터거버넌스포탈 메타데이터관리 데이터품질관리 응용영향도분석 Business Architecture 프로세스 조직 Application Architecture 분류체계 자원목록 IT 서비스관리시스템 ITSM CMDB 작업프로세스연동 통합메타저장소 DB 스키마정보, 데이터모델정보 산출물연동 전사아키텍처관리도구 EAMS/ITAMS Repository Architecture 분류체계 자원목록 자원프로파일 자원프로파일 Technical Architecture 표준프로파일 자원목록 자원프로파일
메타데이터기반데이터품질관리 메타데이터를기반으로한데이터품질관리프로세스는대상시스템의모든메타데이터변경내용을표준프로세스에따라시스템으로자동처리하여정보를제공하므로품질관리프로세스를더욱원활하고효율적으로수행케하여데이터의구조적품질향상뿐만아닌데이터 Value 의품질향상효과를높임 모델링도구 개발도구 / 형상관리 1. 조회및승인 모델러 2. 용어조회 데이터표준관리 모델링툴을이용한모델링작업 3. 논리모델추출 5. 물리모델전송 4. 표준체크 Repository 모델관리 개발자 6. 이관신청 애플리케이션 12. 흐름및영향도분석메타데이터관리시스템이관관리 DA 통합코드 9. 모델정합성 데이터베이스 11. 통합코드일관성체크 업무계, 정보계.. 8. DB Catalog 정보추출 7. DDL 조회 품질조직 15. 조회및승인 10. 통합코드전송 14. 품질검증 품질관리대상 DB 테이블생성 13. 메타 ( 표준및모델정보 ) 기반으로품질대상생성 DBA 데이터품질관리시스템 검증결과 검증통계 검증실행 자동 자동 속성무결성 (Domain Integrity) 참조무결성 (Relational Integrity) DQI 분류 Rule Set 생성 입력 사용자정의무결성 (User Defined Integrity) 분류별통계
시스템구성도 최근의데이터품질관리시스템은 Single View 관점의전사메타데이터 Repository 를통합구축하고이를중심으로데이터표준화관리, 데이터품질관리, 데이터변경영향분석등을확장활용하여데이터구조의변경및변화에유연하게대처가능하도록하고다양한사용자그룹지원을위한포털을제공하는구조로설계되고있음 원천시스템 Legacy ERP 채널 / 대외정보분석 KMS CRM BSC OLAP Mart Broker (DB/ 모델 ) 자동추출 Parser (APPL./ 엑셀 ) 엑셀 ( 용어사전 ) 표준용어 표준코드 DB/ 모델 논리 Object 물리 Object Application APPL 목록 APPL 정보 메타기반데이터표준화관리체계 표준데이터, 코드 Set 매핑 Set DB/ 모델 Object 표준용어사전 데이터변환 / 정제 데이터변환 / 정제 표준화영역 주제영역별데이터매핑 품질관리영역데이터품질지표완전성, 무결성, 유효성, 정합성 분석 / 요약데이터생성 영향도분석영역 데이터연관 APPL 연관 메타데이터항목자동추출 / 적재 메타기반데이터품질관리체계 통합 Repository 데이터표준화모델 CASE 툴의모델 DBC/ 코드모델 Mapping 모델 데이터품질모델 Web-Portal 데이터표준관리데이터구조관리데이터품질관리어플리케이션정보관리데이터이동관리사용자관리보안 / 권한관리게시판검색관리보고서관리변경정보관리 사용자그룹 데이터사용자 ( 현업 ) 데이터관리자 ( 데이터관리자 ) 품질관리조직
Repository 통합구조 Single View 관점의전사메타데이터 Repository 를이루게되면각각의데이터관리솔루션간에불필요한 Sync 문제및오류문제를미연에방지할수있으며일원화된관리체계를유지할수있어데이터거버넌스수준으로이행을가능케함 데이터표준 / 메타데이터관리전사데이터품질관리 DATA Governance 표준화담당자 데이터표준관리표준용어표준도메인 전사사용자 META DATA 사용자권한 응용영향도관리 APPL구문분석 JOB/APPL조회 개발자관리자 표준프로세스 변경영향분석 명명규칙 통합메타데이터 Repository 데이터모델관리 데이터품질관리 모델러 개괄모델 개념모델 데이터베이스관리 변화관리 Storage 정합성 업무규칙 데이터품질관리자 논리모델 성능 보안 표준준수 물리모델 DBA 데이터관계
핵심기능구축방안 메타데이터관리시스템구축프로젝트는데이터표준화 ( 표준용어, 단어, 도메인, 코드 ) 부문을우선적용하고데이터통합관리체계를마련한후솔루션연계관리, 데이터통합관리의단계로점진적으로확장함이바람직함 현행데이터표준화의갭분석 현시스템정보제공 현시스템 DB 명세 테이블명세, 컬럼명세 코드명세 데이터유형분석 사용자관리목표 기본용어사전수집 / 적재 코드표준수집 / 적재 대상 : 모델, DBMS, 코드 데이터표준관리 예 시 현비고 연계시스템과연동구축 솔루션연계관리 데이터통합관리 데이터표준화를활용한 연계시스템구축 데이터통합관리 데이터모델링, (Application, EAMS, ( 메타데이터간의연관, 표준용어적용 유관시스템 ) 영향도 ) 데이터표준화및표준용어 데이터표준관리시스템 통합메타데이터 관리적용관리시스템적용 용어, 단어, 도메인사전 신규요건내용반영 메타데이터추출, 가공작업관리 용어신청 / 변경 / 승인관리 표준, 모델, DB, 품질구축 데이터정합성관리 테이블신청 / 변경 / 승인관리 메타데이터정보추출 / 적재 데이터변경영향도분석 모델물리신청 / 변경 / 승인개발 변경이력관리 통합데이터저장소구축 표준화지침, 관리체계적용 통합메타데이터관리시스 변화관리지원, 인수테스트 데이터표준관리시스템구 템구현 교육및기술이전 구현방법 데이터관리체계지침을기반으로점진적구축, 적용 Workflow적용 : SR, 신규, 변경, 승인, 반려 1차적용 : 데이터표준관리시스템 2차적용 : 통합메타데이터관리시스템 요구사항 데이터사전관리, 데이터모델관리, 데이터베이스정보관리 Application 정보관리, 형상관리연계저장소구축 데이터영향도분석, 데이터이력관리, 공통코드관리 구현 내부시스템과연계하여각단계별로중요한기능을우선구축, 적용하면서점진적으로시스템을고도화하며최적의시스템을구축.
시스템구축효과 메타데이터관리시스템의가장중요한효과는기업이자신의데이터에대한 who, what, why, when, where, and how 에대한 을얻는다는것이며메타관리시스템구축효과를예측하고기대효과에대한목표를수립하여시스템구축을수행함이바람직함 비즈니스메타데이터효과지표 (ROI 지표 ) 기술메타데이터효과지표 (ROI 지표 ) 정량적효과 비즈니스정보검색시간단축 데이터품질의개선 직원교육 / 훈련비용의감소 IT 정보검색시간단축 정보시스템개발생산성증대 비생산적인작업감소 재작업감소 데이터중복감소 중복프로세스감소 정성적효과 데이터에대한일관된정의및이해촉진 데이터에대한현업의신뢰성증가 비즈니스사용자의 IT 전문가들사이의갭을줄임 데이터분석가들이가치있는의사결정을내릴수있도록함 부정확한결정을감소시킴 정보접근의편리성증대 데이터의일관성증가 IT 시스템에대한현업의신뢰성증대 정보시스템전체관리기능의개선 정보시스템의대응속도향상 표준준수도의향상 IT 직원교체 / 직무순환시지식전달용이 작업결과에대한타팀에의전달효과증대 정보시스템의활용현황파악용이 프로젝트실패가능성줄임 IT 포트폴리오관리가능 데이터관리개선으로데이터보안위협감소 정보시스템감사기능개선
질의응답 - Questions and (Maybe) Answers 우리는 제나고 을바라보는해바라기 니다. - 데이터스트럷즈 - 22