2013. 10. 08 빅데이터시대의 전략적기업데이터거버넌스
Introduction
Introduction 데이터기반의의사결정 Think!!! 모든데이터와정보는 정합성이확보되어야하며 신뢰성이동반되어야한다
Big Data?
빅데이터정의 빅데이터란무엇인가? 데이터를통해공유하고활용할수있는정보의집합체! Data 활용증가는영업효율향상과매출증대로이어진다!! 데이터를사용하고공유할수있어모든사람이행복해진다!!! 절대적인요소 대용량 ( 다양한데이터 ) 비정형 정형 수집저장분석 UI 최고의목표달성
빅데이터정의 빅데이터의서비스다양한서비스층의욕구를분석하여적시에정보공유와활용 대용량 ( 다양한데이터 ) 그룹차원의실시간로그데이터 ( 거래, 서비스, 마케팅 ) 업종의경계를넘어서는다양한데이터 ( 고객 ) Real-time Information System 정확도 ( 더많은정보와발견 ) 고객접점확대및연계영역에대한분석과예측 다양한리스크분석및그룹차원의브랜드목표관리 파워 ( 분야의확대 ) 고객접점에서맞춤형비즈니스모델개발 비즈니스변경및통합에대한유연성확보 Mash-up Service Analysis & Prediction
빅데이터정의 비정형데이터와정형데이터를접목시켜비즈니스에적용한빅데이터활용사례 ( 해외 ) 구분 Machine/Sensor 데이터분석소셜미디어 / 마케팅 / 동향 / 로그분석사기 / 범죄 / 재해예방및적발 제조 GM/Volvo : Early Warning 시스템에서초기 1 천대생산후결함있는 Lots 파악에활용 Daimler : 텔레매틱스데이터분석에활용 제조설비예방정비활동시사전예측을통한교체예상부품주문으로다운타임최소화 Barns & Noble : 웹행동분석, 개인화추천등 네슬레 : 고객선호도를 SNS 투표를통해분석 아고다닷컴 : 해외호텔최저가예약서비스 Ebay : 통합 Collaboration, BI, DataHub 적용 유통업 : 카테고리단위로연관분석에활용 N/A 금융 美 Progressive 보험사 : OBD 주행데이터에근거한할인율적용 ( 자동차 ) 상황인식서비스기반의 1 회성보험상품판매 - 도쿄해상 : 고객상황에적절한보험상품 Offer - NTT 도꼬모 : 고객성향, 위치정보, 선호도제공 Discover 사 : 금융가맹점간연관성분석에활용 Intuit 사 : 결제대행정보기반상권분석정보제공 보험 / 카드사등금융권사기적발및예방에활용 ICT 통신사 : GPS( 위치 ) 기반 Profiling Service 제공 AT&T : 개인맞춤화서비스, SNS 분석 N/A 유통 / 서비스 N/A Fedex : 소셜커뮤니케이션을통한분석시스템구축 Walmart : 소셜데이터를통한투자수익증대 N/A 에너지 원유등에너지자원비축량평가및수요예측 디지털유전분석 (Upstream) N/A N/A 공공 美남가주 Edison 사 : Smart Grid 분야적용 美대선 : 오바마캠프에서유권자분석에활용 Blue Cross & Blue Shield of Minnesota ( 비영리건강보험사 ) : 고성능분석솔루션도입 / 활용 美 IRS( 국세청 ) : 탈세 ( 부정환급 ) 방지 Terrorist Network Detection 범죄발생예측분석
Data Governance?
데이터거버넌스정의 데이터거버넌스란무엇인가? 안정적인정보서비스를제공하기위한조직및역할체계구축 Structure Process People Alignment and Communication Data Governance 경영전략과연계된 IT 전략수행및자원활용극대화를위한조직구조 IT 서비스수행및고객대응, IT 서비스관리를위해요구되는내부업무프로세스 전략달성을위한조직구조하에서프로세스수행을위해요구되는역할및책임 대고객및 IT 부서원간 IT 전략달성을위한의사결정과정 Data Governance Architecture 조직및역할시행착오최소화 인력의효과적운영 안정적인정보서비스 IT 전략과제의성공적수행 Data Architecture 관리요건 DA 아키텍처간상호운영성확보 데이터운영고도화 BA AA TA Tools, Metrics and Investment Appraisal Source: Gartner IT 관리체계수행효과성향상을위한자동화도구, 이에따른성과측정지표 Information-as-a-Service (IaaS) : 전사관점의정보서비스의균일성보장 현업이데이터품질관리의 Initiative 를갖도록데이터관리전략및협업체계수립 아키텍처상호간표준및원칙준수에대한통제강화
데이터거버넌스정의 데이터거버넌스기반으로정보활용체계정립 자산으로써데이터와관리체계확보 데이터운영정책및데이터관리원칙마련 핵심정보발굴, 식별, 통합, 관리및활용체계 전사마스터데이터통합관리체계구축 데이터수집 (Collect), 분석모델 (Mart), 검증규칙 (Rule), 구현 (view) 데이터통합분석아키텍처
데이터거버넌스정의 데이터거버넌스의목표기업이제공하는정보활용을극대화하여기업의자산가치창출 데이터거버넌스 (Data Governance) 는기업에서사용하는데이터의가용성, 유용성, 통합성, 보안성을관리하기위한정책과프로세스를다루며관리규정 데이터거버넌스 (Data Governance) 란전사적인차원에서보유하고있는모든데이터의관리에대한정책, 지침, 표준, 전략및방향을수립하고데이터를관리할수있는조직및서비스를구축하는데이터관점에서의 IT 관리체계 조직, 프로세스, 기반기술을효과적으로관리하여, 데이터를기업의비즈니스를위한핵심자산으로최적화하고, 활용을극대화하기위한방안
Data Governance Framework
Structure Roles Responsibilities Decision Rights Accountabilities PROCESS 데이터거버넌스 Framework 프로세스 데이터거버넌스 Framework 정책 Policies 기술 목표 GOALS 절차 Procedures 데이터 정보 규칙 Rules * TDWI(The Data Warehousing Institude): DW(Data Warehousing) 를포함한데이터관리분야의전문기관으로서매년국제컨퍼런스개최, 세미나등사업을수행 [ 참고문헌 ] Data Management International, DMBOK(Data Management Body Of Knowledge), (http://www.dama.org) 조직체계 역할 책임 PEOPLE 사람 의사결정권한 감시
How We Can Set Up Data Governance?
데이터거버넌스체계수립 데이터거버넌스체계수립필수요건 데이터관리체계 / 정책수립과프로세스의일관성있는적용 정보화성숙에따른경쟁환경변화 : 정보활용을통해경쟁우위확보시도 데이터품질유지를위해조직, 권한, 역할, 프로세스정립의중요성인식 데이터서비스관점에서의통합상호운용성필요 데이터를가치창출과자산으로인식하고지속적인유지관리필요성인식 통합데이터관리와활용에대한성과지표와통제기반조성
데이터거버넌스체계수립 데이터거버넌스체계수립을위한근본적인숙제 근본적인문제점 시사점 전사데이터관리체계미흡 데이터를누가만들고, 어떻게사용하는지는파악어려움 특정데이터의변경이다른작업에미치는영향도파악힘듬 전사관점의표준 / 품질및데이터의기획 / 실행 / 통제를위한데이터관리체계수립 전사데이터표준부재 각시스템별로관리되고있는데이터에대한전사적인표준화기준이없음 데이터품질관리정책부재 데이터품질측정기준및모니터링체계부재 데이터의 Ownership 미규정 전사데이터를체계적으로관리할수있는조직및프로세스정의 사용자및운영자의정보활용용이성을위한메타데이터체계구축 전사공용의참조데이터의 single view 를제공하기위한마스터데이터체계구축 정보의이해도 / 활용도부족 원하는데이터의위치및특성파악을위해많은시간소요 비즈니스룰에대한정보부재 품질의지속적측정및향상이가능한데이터품질관리체계구축
데이터거버넌스체계수립 데이터거버넌스체계수립방안 ( 예시 ) 데이터관리영역과대상을선정하여영역별원칙서작성
Strategic Data Governance
전략적데이터거버넌스구축 전략적데이터거버넌스데이터관리체계융합과관제센터구축 데이터거버넌스기반의데이터관리체계융합 데이터거버넌스정책, 통합 view, 워크플로우, 데이터품질성과관리, 보안관리, DB 관리, 모니터링 법, 규정, 지침 통합포털 통합워크플로우 데이터측정 / 평가 데이터관리계획 데이터흐름관리 마스터데이터관리 데이터솔루션 / 툴 표준 / 메타관리 데이터품질 영향도관리 형상관리 흐름관리 툴 / 통합관리 - 표준용어 / 단어 - 표준도메인 - 표준코드 - 마스터데이터 - 품질진단 / 개선 - 품질관리계획 - 품질측정, 평가 - 모니터링 - 기준정보 - DB 영향도 - APP 영향도 - BI 영향도 - DATA CRUD - 데이터표준 - 데이터구조 - 물리 DB - 데이터추출 - 데이터이행 - 데이터배포 - 데이터흐름 - 모델링툴 - 데이터플로우툴 - 그룹웨어 - 레포지터리통합툴 데이터소프트웨어융합 Single Sign On SW Quality SW MetaData SW Impact SW Extract/Transfer/ Loading SW RealTime Extract SW MDM SW Big Data
전략적데이터거버넌스구축 전략적데이터거버넌스구축방안전사통제조직, IT 전담조직, 업무조직간의역할구성원정의 수행방안 역할및조직구성원정의 데이터거버넌스조직설계시중점고려사항 주요시사점및개선방향에근거하여고품질데이터확보를위한데이터전담조직과구성원정의 현황분석을통하여데이터거버넌스프로세스, 조직, 인력운영체계, 규정및지침현황을파악하여주요이슈및시사점을도출함 고품질데이터를유지하기위한데이터관련원활한협업체계유지 데이터분석, 데이터표준및데이터모델통제, 데이터상시감시및사전 / 사후데이터정비등의활동을주관하는데이터전담조직설계 데이터오류에대한핵심현안발생시책임을갖춘의사결정기구도입및역할과임무명시 데이터 거버넌스 체계 1 2 3 통제조직, 전담조직, 업무조직간상호협업데이터분석표준, 품질및정제기반프로세스지원통합, 품질상시감시및모니터링시스템체계 일관성있는데이터표준유지 데이터통합모델관리 모델 -DB 간정합성확보 구조적데이터품질관리 데이터값, 활용품질관리 데이터오류재발방지 데이터오류재발방지
전략적데이터거버넌스구축 전략적데이터거버넌스기대효과 : 데이터관리측면데이터품질향상과지속적유지관리 데이터중복에따른비용을줄이고데이터품질을향상시키며어플리케이션개발및변경시데이터의신속한파악과유연한대응을가능케한다. 데이터통제강화 회사자산으로서전사적인데이터파악능력강화 데이터수집과배포흐름체계강화 데이터품질향상 데이터본질및특성에따른데이터거버넌스 데이터생성및갱신노드의명확화 데이터중복최소화 ODOP(One Data One Placement) 구현 데이터이동의최소화 서비스향상을위한비즈니스지원가능 비즈니스변화에따라서어플리케이션을개발및변경을하고자할때기반이되는데이터의신속한파악과유연한대응이가능함 데이터중복비용감소 데이터중복은스토리지비용을증가시킴중복데이터간의데이터이동을위한프로세스의증가로필요한컴퓨팅용량이증가함 성능측정능력증진 명확한데이터위치및이동방법은정확한성능측정을가능하게함 프로그램개발생산성증진 효율적인데이터의분산및집중은프로그램개발을용이하게함 데이터품질향상 데이터중복감소는데이터의정확성과정합성을향상시킴향상된데이터품질은고객서비스및경영의사결정능력을향상시킴
전략적데이터거버넌스구축 전략적데이터거버넌스기대효과 : 데이터품질측면데이터품질의향상과품질이슈에대한체계적인관리 원천데이터의품질향상데이터품질상시모니터사용자측의데이터품질에대한확신 Source 에서 Target 간의데이터흐름관리를통해상시데이터정합성검증기대 - 원천데이터업무규칙도출가능 - 발견된오류에대해원천데이터를시정조치함으로써데이터의품질이향상됨 대상데이터의주기적인품질모니터링을수행함 ETCL 작업결과에대한 Feedback 후조치를통해 ETCL 작업결과에대한품질 관리효과가기대됨 - ETCL 작업결과검증, SQL, ETL Script, XML 관리 사용자중심의데이터에대한정합성유지관리가능 - 사용자입장에서품질에문제가있다고판단되는데이터에대해관리 / 개선을요구할수있는체계를마련함 품질이슈에대한 체계적인대응과조치 품질이슈발생시정의된조직과프로세스에따라시스템을통해체계적으로 대응하고조치할수있음 - 조직에새로운품질이슈가제기되면대상식별부터진단, 개선방안수립, 사후관리등의일련의프로세스를통해이슈에대한해결방안이제시되고실행
전략적데이터거버넌스구축 전략적데이터거버넌스기대효과 : 데이터활용측면정보자원의가치상승, 자본및운영비용감소, 신뢰성 / 업무생산성 / 객관성확보가능 경영성과측면 데이터의가치제고와비즈니스생산성개선으로전략적활용과고객만족을고취하고고객자산가치증대와비용구조감소로써핵심가치공유 운영효율측면 통합 Single View, 실시간서비스, 연관성공유로업무효율및데이터활용성향상 데이터분석측면 자동매핑정의서관리를통한데이터흐름및추적, 데이터간연간분석, 데이터교차분석, 데이터분석체계화기반마련 데이터품질측면 실시간 / 준실시간데이터품질관리모니터링과정제기반마련
전략적데이터거버넌스구축 데이터스트림즈데이터거버넌스기반의데이터관리 Framework
Q & A