DW/BI 시스템등장배경 v 과거 Computer 의역할은업무처리를지원하는프로세스개선과시간절감의가치를지녔으나이후데이터의축적으로정보활용측면의가치가새롭게부각되면서정보분석관점의새로운아키텍처가개발됨 고객 / 영업사원 서비스 세일즈 마케팅 처리계 정보분석 정보현황 경영정보 사내임직원 구분사무처리계 (OLTP ) 정보분석계 (OLAP) 목적 영업활동 Process 지원중심 - 마케팅, 세일즈, 서비스제공 - 비즈니스운영 ( What 에초점 ) 의사결정지원 data 관계중심 - 데이터분석및통찰력 - 비즈니스방향설정 ( Why 에초점 ) 활용영역 ( 예 ) 전략결과실행 - 캠페인실행 - 세일즈, 서비스실행 전략수립결정 - 캠페인기획 - 고객행동예측 (Data Mining) 주사용자실무자, 영업사원임직원, 분석가 정보처리 영업활동관점 : 어플리케이션 ( 업무영역 ) 별데이터집합 - 데이터생성원천 - 자금, 마감처리 전사적관점 : 주제영역별데이터집합 - 데이터결과분석 - 데이터가공처리 정보축적 거래처리중심의데이터처리, 관리 - 현재까지 ( 최신또는현행데이터 ) - 실시간데이터처리 주제영역중심의데이터통합 - 시계열 : 미래데이터생성 ( 이력데이터 ) - D-1 일기준 ( 필요시실시간분석가능 )
BI (Business Intelligence) 개념 v BI(Business Intelligence) 는데이터를기반으로다양한정보분석을통해의사결정과관련된 Business process 를접목하여필요로하는사용자 (right people) 에게필요한정보 (right Information) 를적시에제공하여 (right time) 보다고도화된서비스 (right action) 를지원해야함 Operational Intelligence collaboration Strategic Intelligence Responding Predicting Gathering Right Action Right Information Analyzing Alert/Reporting
2011 년 BI 통계 v 최근 BI 시장의통계를보면점점더고객은자신의업무프로세스와 BI 기술을접목하기를기대하고있으며 6~50 명정도의 BI 사용자 WorkGroup 규모의요구가증대되고 BI 부문에대한예산을계속확대할전망으로나타남 u BI Market 기술 People 2014 년 144 억달러예상 예산 마켓
Complexity) 부하측면 (Workloa ad DW/BI 진화방향 v DW/BI 는점점더대용량화되고분석의깊이, 데이터구조의복잡성이증대되는반면점점더배치에서실시간에가까운비즈니스반영을요구하고있는추세로발전하고있음 Query 의복잡성증가 Workload 의혼합증가 Data volume 증가 Schema 복잡성증가 History 의 Depth 증가사용자의증가기대치증가 REPORTING WHAT happened? Primarily Batch & Ad Hoc Reports ANALYZING WHY did it happen? Ad Hoc 분석증가 PREDICTING WHAT WILL happen? Analytic 모델링증가 OPERATIONALIZING WHAT IS happening? Data 복잡성 (Sophistication) ACTIVATING MAKE it happen! 지속적인업데이트 & 실시간성질의의중요성증가 Social 고급분석및 Event-Based Triggering Batch Ad Hoc Analytics Continuous Update/Short Queries Event-Based Triggering
국내시장 BI Trend v 국내 DW/BI 시장은이미기구축된대형사이트를중심으로재구축고도화하는추세이며모바일, 규제대응, 분석요구수준증대, 데이터량의증가, BI 솔루션기술의진보를고도화요건으로반영하고있다. 시장환경의변화 데이터의변화 계정계중심의차세대완료에따라정보계시스템부분에비중 금융지주회사체제전환에따른통합정보전략 자본시장통합법시행및규제 (Complience) 강화 모바일환경의급격한확대 분석환경의변화 EDW 고도화 데이터의폭증 (S카드/H카드차세대 BI 규모 170TB ( 압축 ) 예상 ) SNS 가기업의마케팅전략에흡수 과거의미없던데이터의저장및분석요구증가 Big Data (SNS, 이미지, 동영상, Log 분석, RFID, GIS) DW 솔루션의변화 고급분석 (Advanced Analytics) 필요성증가 효율적리포팅도구로서의사용자편의성및시각화중점에서데이터분석에의한과거와현재비즈니스를심도있게비교하고미래상황을예측하여진화된의사결정지원 DW 어플라이언스등장 Vertica, Teradata, GreenPlum, Exadata, Netezza 서버, 스토리지및 DBMS의통합을최적화하여성능극대화 Collabolation 기능확대로메타데이터증가
수행측면도전과고민 v 최근과거의 DW/BI 를재구축하는프로젝트가많아지고있으며고객은한번 DW/BI 의실패를경험하거나운영경험을토대로높은기대수준을안고재구축사업계획을추진하고있으며더불어 IT 환경의급격한변화는수행입장의고민을더욱가중시키고있다. 1. 재구축에대한 Risk 더높아진요구수준 잦은설계변경요건수용 ( 동시변경되는시스템반영등 ) 과거자료 / 공시자료의 History 부정합성대응 높은안정성및품질, 성능요구 고객사특유의보안정책및인프라상황수용 고객 / 시장요구사항의변화 2. 데이터품질 Risk Data Governance 와연계한 DW/BI 개발요구 메타데이터표준및내부체계준수등통제수준강화 Data Quality, Impact Analysis, Master Data management 접목 데이터유지관리방안에대한높은요구 3. 시장변화대응 Big 데이터처리인프라및 Mobile/SNS 연계 기존분석체계및관리수준이감당하기어려운 Big Data처리요구 Mobile/SNS 연계및비정형데이터처리고려 복합적이고고난도분석 (Business Analytics) 수준요구
Issue-1. 재구축 Risk 대응 v 재구축리스크는이미 BI 프로젝트와사용문제점을경험한고객의요구수준이점점높아진상태에서단순한 BI 개발방식으로는문제를해결하기가어려우며좀더 Customized 된수행기법과향상된 UI 통합기술등프로젝트특성을감안하여야함 Risk 대안 동시변경되는소스시스템을고려한개발형태 개발중인소스 ( 원천 ) 시스템의정보획득경로를프로젝트초기혹은사전확보 오픈일정에대한단계별오픈방식고려 재구축 Risk 대응 과거자료 / 공시자료의 History 부정합성대응 분석관점을현재시점과과거시점모두를충족하는단일 History 데이터모델 생성은데이터량및수행로드를감안특정중요테이블에한정 높은안정성및 ETL 성능요구 아키텍처에이중화를 HW 레벨뿐아니라실작업상황고려한 Software 적설계고려 Tuning 전문엔지니어를반드시참여 고객사특유의보안정책및인프라상황고려 고객사특유의보안정책상구현문제점을사전확인 운영인프라개발인프라, 이행테스트인프라에대한고려
COST BI Methodology Trend v Agile DW/BI 개발방법론은최근대두되고있는방법이기는하나근본은과거 RAD/JAD 방법론에근간한프로토타입및인수테스트를결합한방법론을띄고있으며 IT 개발자기반 Cloud Computing 서비스와맞물려최근의 BI 개발해법으로등장하고있다. 주요특징 Processes and tools Individuals and interactions Comprehensive documentation Working software Contract negotiation Following a plan Customer collaboration Responding to change 프로젝트종료시점 Agile benefit Agile 자체비용 Point 전통적방식이득 전통적방식손익분기점 Cost Time
Traditional Waterfall vs Agile method v Agile DW/BI 개발방법론은기존의전통적분석 - 설계 - 개발 - 테스트 - 이행등의순서로진행하는폭포수 Waterfall 방식에비해다음과같은 12 가지특징과차별점을갖고있다. Twelve principles underlie the Agile Manifesto, 1. Customer satisfaction by rapid delivery of useful software : 신속한 Output 2. Welcome changing requirements, even late in development : 즉각적변경요구수용 3. Working software is delivered frequently (weeks rather than months) : 짧은주기의 feedback 4. Working software is the principal measure of progress : 진척도의관리기준은 Software (not 문서 ) 5. Sustainable development, able to maintain a constant pace : 일정한개발속도유지및지속적개발 6. Close, daily co-operation between business people and developers : 사용자와개발자의일일협업 7. Face-to-face conversation is the best form of communication (co-location) : 같은공간에서얼굴대화 8. Projects are built around motivated individuals, who should be trusted : 신뢰와동기부여된팀원 9. Continuous attention to technical excellence and good design : 기술적우수성과좋은설계에지속적인관심 10. Simplicity : 단순함 11. Self-organizing teams : 자발적팀구성 12. Regular adaptation to changing circumstances : 변화상황에상시적응
Agile 과 Platform-as-a-Service v Salesforce.com denodo 등클라우드컴퓨팅기반의 SaaS, PaaS 서비스업체의등장과 Agile DW/BI 방법론이부각되고있으며이는많은제도적인변화와개발형태의변경을요구하고있으며우리나라 IT 업체도준비가필요한부문임 Data Virtualization has doubled the number of BI projects we completed on time; as a DataWarehouse extension Denodo reduces cost and enriches BI with new data across internal and external systems. Server Storage Application Database
Issue-2. 데이터거버넌스와 BI 접목 v 데이터표준, 메타, 품질기반의데이터거버넌스아키텍처를 BI 와접목하여통합리포지토리환경으로구축하는것이 BI 신뢰도와효과를배가시키는방안임 데이터품질 Risk 대응 Operational Sources ETL Enterprise DataWarehouse End User UI DMA 와 BI 의결합효과 Mart Reports 사용자신뢰도 / 만족도향상 Data Stage Area Data Warehouse Database OLAP 데이터정확도및품질향상 Application 형상관리 유연한데이터구조변화관 리 Operational Data Store(ODS) Mining 시스템간통합용이성 적정성능유지관리용이 스케쥴링모니터링용이 Data Management Architecture( Metadata, Data Quality, MDM) 보안성강화
Meta 관점의 BI 통합고려 v 데이터품질리스크를해소하기위한방안으로 Meta 관점의 DW/BI 구축접근이필요하며이는데이터표준, 품질, 흐름등모든데이터의구조와과정, value 에대한 Single Repository 화를목표로한다. 아직도계속수작업으로때우는노력과비용 형상관리 컨텐츠관리 Clear Text / Email / Documents Return-Path: <Vertica@en25.com> Delivered-To: sypark@ids.co.kr Received: (qmail 411 invoked by uid 506); 11 Sep 2008 05:12:59 +0900 SOA ETL,EAI Modeling 리포팅 / 감사 Logs??? Desktop Search Framework RDBMS/Marts/BI B A - X C Z Y - - - - - Legacy / ERP Class myclassx { public String Z = NULL ; public int A = 0;... } <process>billing</process> <invoice><item id=123456> <product name= A >C</product> <product name= B >X</product> </item><invoice> Business Standards 표준 Data Quality BR DQI CTQ Data Modeling ETL/EAI DBMS (scheme) Enterprise Metadata Repository OLAP Application Framework 형상관리 ( 소스코드 ) Model Repository Catalog Repository Repository Repository 유형 Synchronized Data Integration solution Vendor 기반 EDM Suite 등통합개발운영환경기반 Enterprise Metadata repository 기반 Source: Accenture AIMS @ 2006
BI framework 변화 v BI 아키텍처는 UI 부문에대한 End user 접점의분석 Application 영역과 Data Service 를위한데이터통합 (Data integration) 영역으로구성되어최근 BI portal 및데이터표준 / 품질등의관리부문이추가통합되는추세 일반적인 BI 프레임워크 21c 형 DW/BI 관점 경영자고급분석가일반사용자 경영자고급분석가일반사용자 BI Tool OLAP 리포팅데이터마이닝 DW (Data Warehouse) ETCL (Extraction,Transformation,Loading) 수익관리 데이터서비스 DM (Data Mart) 데이터흐름 (Population) BI Application 성과관리 리스크관리 ODS (Operation Data Store) 실시간 NRT (Real time& Data infra : Legacy, ERP, DB, File BI Tool BI Portal BI Application 데이터수익성과리스크 OLAP 리포팅마이닝관리관리관리 DW (Data Warehouse) 데이터서비스 DM (Data Mart) ODS (Operation Data Store) Meta Data Data Quality MDM ETCL (Extraction,Transformation,Loading) 데이터흐름 (Population) 실시간 NRT (Real time& Data infra : Legacy, ERP, DB, File BI : Business Intelligence
Issue-3. 미래변화의대응 v Big 데이터이슈로 Appliance 기반의 DW/BI 전용 DW DBMS 와 Hadoop / mapreduce 분산비정형 Query 기술의지원을통한제품이속속등장하고있어수행입장에서이부문에대한기술준비가필요함 1. 분산처리조회분석기술 2. Appliance 형태의 DW 전용 DBMS Next Generation BI 는 MPP 기술과 Column 기반기술을융합한형태로진화 시장변화대응 MPP-based DW Appliance MPP-based Columnar DBMS Columnar DBMS Exadata OLTP-based DBMS
Issue-3. 미래변화의대응 v 다양한채널의등장에대한유입속도증가로이에대한 BI 차원의준비가필요함 스마트폰 SNS 국내스마트폰 (3G) 가입자수증가 국내 SNS 이용자수증가 1,630 만명 110 만명 25 만명 42 만명 09 년 1 월 11 년 7 월 10 년 1 월 10 년 7 월 Tablet PC Smart TV 국내 Tablet pc 판매수증가 700 만대 국내 Smart TV 가입수증가 351 만명 200 만명 30 만대 10 년 4 월 10 년 12 월 09 년말 10 년말
Big data 와 BI Market v BI Market 은 BI Platform 기술의발전과더불어꾸준한성장을통해다시떠오르는기술로재등장하고있으며이는 Big data 환경의대응기술과고급분석기술이앞으로의시장을견인하리라추측하고있음 (Source: Gartner, 2011)
Big Data 의정의 v Big 데이터란기존의관리및분석체계로는감당하기어려운, 가용자원의한계를벗어난자료량을의미하며이미수년전부터스마트모바일의등장, 저장장치가격의하락, 소셜네트웍서비스등장, Log 데이터및 ClickStream 분석증가, 각종 Complience 에대응을위한 Business Transaction data 분석증가등으로 DW 시작시점부터이미예견된일이었다. Big data is a term applied to data sets whose size is beyond the ability of commonly used software tools to capture, manage, and process the data within a tolerable elapsed time. Big data sizes are a constantly moving target currently ranging from a few dozen terabytes to many petabytes of data in a single data set 2011 - Wikipedia - 오늘날 Gartner 는전신인 2000 년초 MetaGroup 시절애널리스트 Doug Laney 가한말을인용 Big data 의모델로사용함 Data growth challenges (and opportunities) as being three-dimensional, ie increasing volume (amount of data), velocity (speed of data in/out), and variety (range of data types, sources). Gartner continues to use this model for describing "big data." 1990 중반 DW 의원조 Bill. Inmon 은이미 big datawarehouse 등장에대해암시함 A big data warehouse is a data warehouse that is an order of magnitude greater than the one you have today...grasshopper
신규 BI Market Trend v 소비자시장에서개인화된컨텐츠의증가및유비쿼터스의등장으로정보 Access 범위가급격히확대됨에따라디지털컨텐츠의활용은폭발적인추세로가속화되어 Big data 시대는 Memory 기반 DBMS, Cloud 컴퓨팅이라는서비스형태의솔루션과 Appliance 기반의데이터처리기술시장의성장을예견하고있음 정보활용측면의요구에부응하기위한자체전문인력이부족한기업을상태로한중소규모조직을위한 SaaS/PaaS 서비스등장 SaaS: Software as a Service PaaS: Platform as a Service Cloud Service Market 시장혁신을주도하고있는비전통적인 Big Data 영역은컨텐츠 / 텍스트분석, In-Memory DBMS, columnar DBMS 등이지원함 - Gartner, 2011- Appliance Market Netezza, GreenPlum, Vertica, Exadata, Big data Query ( 비정형기반 ) Hadoop, MAPReduce
Big 데이터분석활용분야 v Big 데이터부문 (Area) 의분석활용분야는산업별로다양한분야에서기존방식과는다른고급분석이가능할것으로여겨짐 Big data Analysis 금융 신규고객창출및세분화 고객이익률 / 신용 / 위험관리 개인화 Banking 서비스 각종규제준수 부정방지 (Fraud Detection) 통신 매출관리및분석 고객성향분석및이탈방지 서비스품질및상품라이프사이클 각종규제준수 네트워크트래픽분석예측 의료 (Healthcare) 임상 / 진료데이터분석 (Clinical 분석 ) 질병리스크관리 Healthcare 진단지원 자연어처리 / 음성인식진료 제조유통 GIS기술활용위치기반마케팅 SNS 마케팅 RFID활용추적기능물류관리 심화된공정 / 수율관리
맺음말 Big Data 시대의변화는피할수없으며먼저준비하든가이끌려가든가선택해야할것 - 우리소프트웨어개발자의미래는? - 데이터서비스 DW (Data Warehouse) DM (Data Mart) ODS (Operation Data Store) Meta Data Data Quality MDM