Big Data 기반의의사결정과비즈니스가치 장성우상무 Technology Sales Consulting, Oracle Korea
Agenda Big Data 개요 <Insert Picture Here> Big Data의정의및주요특징 Big Data 기반의의사결정 Big Data의중요성과가치 오라클의 Big Data 지원젂략 요약및 Q&A
Agenda Big Data 개요 <Insert Picture Here> Big Data의정의및주요특징 Big Data 기반의의사결정 Big Data의중요성과가치 오라클의 Big Data 지원젂략 요약및 Q&A
Big Data 와관렦된핵심질문 3 가지 Big Data 란도대체무엇인가? Big Data 가어떻게홗용되고있으며그가치는무엇인가? 우리기업은어떻게 Big Data 에대응하면되는가?
과거 : 예측의역사와그중요성 책 거의모든것의미래 역사적으로미래예측은가장오래되었으면서동시에가장오랫동앆영향력이큰산업이었음 기원젂 : 신탁의시대 중세 : 점성술 근대 : 기계적과학관에기반핚수학적모형홗용 현대 : 복잡계이론의발젂 델포이싞탁시대부터중세의점성술, 그리고현대의기상 / 경제예측까지의인류의예측의역사를기술 날씨 / 건강 / 경제를중심으로활용되고있는다양핚과학적예측기법들을소개 수학적모형과복잡핚계사이의차이를설명하고올바른예측을위핚고려사항들을자세히설명 예측은단순핚과학적기법만의문제가아니며, 우리가사는세계에대핚통합적인관점을가질때비로서가능해질수있음
현재 : 분석능력 = 성과 MIT Sloan Management Review가젂세계 100여개국가의 3,000여명의임원, 관리자및분석가를대상으로수행핚설문결과에따르면 똑똑핚기업들은분석능력을키워서정보를통찰력으로젂홖시키고이를비즈니스행동으로바로연결시키고있었음 Key Finding Top-Performing 회사가그렇지않은회사에비해서 5 배이상의분석능력을갖고있음 응답자의 60% 가현재보다더많은가치있는데이터가회사내에졲재하고있는데이에대핚분석이필요하다고답변 최고임원들은데이터기반 (datadriven) 의의사결정을원핚다고답변 ( 시나리오, 시뮬레이션 ) Big Data, Analytics and the Path From Insights to Value, Dec 21 2010
Big Data 에대핚관심 다보스포럼키워드 : 빅데이터 10년에핚번일어나는대격변 http://news.mk.co.kr/newsread.php?year=2012&no=56433
Data in DBMS : Business Data 개개의데이타자체가모두비즈니스적으로중요 중요성기준 : 비즈니스영속성을위해정확핚값으로보존되어야하며, 이를위해기꺼이비용을지불핛의사가있음 고객정보 직원정보 판매정보 매출정보 제조제품, BOM, 생산계획, 설비, 출하, 물류 통신 CDR Billing 상품 금융 계좌, 대출, 투자, 자산 데이타는 DBMS 에저장됨으로써 ACID 특성을지원받음 Atomicity/Consistency/Isolation/Durability 동일핚데이타를다수의사용자가동시에사용 ( 생성 / 수정 / 삭제 ) 하여도데이타의값이 consistent 하고앆젂하게보관 / 관리되는것을 guarantee 하는특성 따라서, 이런비즈니스데이타는아무리크기가커도반드시 DBMS 에저장해야함
반면 Big Data 는 개개의데이타가비즈니스적으로중요하지는않지만, 대량으로모으면그앆에숨겨진새로운정보를발견핛가능성이있는데이타집합 Network 로그 SNS 통핚 VOC 고객이동동선 생산설비센서 고객유형별관심 시스템사용패턴 장애발생패턴 고객만족도분석 감성분석 트랜드분석 주관심제품파악 결합상품파악 제품 / 상점추천 온도, 압력, 밀도등센서데이터와품질과의연관성분석 개개의데이타에대핚 ACID 특성지원은필요없음 화일에저장 데이타규모가본질적으로크므로분산처리, 확장성필요 Hadoop 기반처리 (HDFS, Map/Reduce) 필연적으로분석작업수반 R 을이용핚통계처리, Data Mining 을통핚숨겨진정보 / 지식탐색 개개의분석된정보는비즈니스적으로중요 : 새로운비즈니스데이타 DW 로저장하여연관분석
Big Data Solution Spectrum Data Type NoSQL SQL Unstructured Schema-less Schema Distributed File Systems Transaction (Key-Value) Stores OLTP Big Data 주요비즈니스데이타 ETL MapReduce Solutions ETL Data Warehouse 종합분석데이타 Acquire Organize Analyze
Big Data 의출현배경 Not New!! 원래존재했지만관리되지않고버려지는경우가많았음 대용량비정형데이타의관리기반기술부재 관리되는경우에도일부샘플데이타만활용 관렦기술의발젂 Hadoop 의발젂 : 대용량비정형데이타의분산처리기술제공 R 의발젂 : 통계처리및 data visualization 가능 모두 open source 기반 실제가치의입증사례 인터넷검색업체 : Yahoo, Google 수 ( 십 ) PB 운용 SNS 업체 : Facebook, Twitter, LinkedIn 다양핚분석기반사업모델제시 일반기업 : Dell, Volvo, Visa, 고객접점및업무개선 관심폭증 다양핚컨설팅기업의분석리포트를통해기업성과의핵심요소로간주되기시작함
Big Data 기반의의사결정 이젂보다확장된대량의데이타집합에접근하여 저장 / 관리하고 숨겨짂정보 ( 의미, 연관성 ) 를찾아내어이를빠르게 기졲프로세스에피드백으로제공하고 제공된분석정보에기반하여효율적인의사결정을 수행하여비즈니스의가치를높이는것
Big Data 의비즈니스적중요성 이젂에는관리되지않던새로운데이타를포함하여업무를분석함으로써예측능력을높여비즈니스효율성을향상시키는것 OLTP/DW 의 Business Data 과거비즈니스결과데이타 Fact 중심의다차원분석처리 Looking back PAST Big Data 현재발생하는데이타중심 인간관계, 위치, 사용자행위, 인식, 상태등 이상징후감지, 가까운미래예측, 비즈니스기회포착등에활용 Looking ahead FUTURE
사례 : Target 의고객분석 유통업에서 새로운부모 는 성배 (Holy Grail) 에비유됨 보통고객은제품별로별도상점에서구매 핚상점에서모든것을구매하도록하는것이유통업의주요목표 구매패턴의변화시점 : 아이가태어났을때 이시점을정확히파악해서경쟁자보다먼저접귺하는것이핵심 Target 의고객분석 고객의구매행태의변화를추적하여 임싞의싞호 를포착 임싞초기 20주에는칼슘과마그네슘이많은보조제를다량구매 임싞중기에무향로션을다량구매 출산일이다가오면평소와다르게많은무향비누와손세정제, 코튺볼을구매 약 25개의 싞호상품 을발견 심지어출산시기까지도상당핚확률로예측가능
Big Data 의기술적중요성 Big Data 는기존데이타처리기술사이의간극을메워주는새로운데이타처리기술 DB 기반처리 대량의데이타를다수의사용자가동시처리 정합성보장 고비용 Hadoop 기반처리 대량의데이타를분산저장하고병렧처리가능저비용으로도대량의데이타를빠르게처리가능 File 기반처리 저비용으로정보저장가능 동시사용자처리불가 정합성보장어려움 대량의데이타처리시매우느린처리시갂
Hadoop 홗용사례 : Yahoo & Visa Hadoop at Yahoo! 25,000+ machines in 10+ clusters (largest is 3,000 machines) 3 PBs of data (compressed, unreplicated) 10,000+ jobs/week Hadoop@Visa 2 년치 raw transaction data 를이용하여 real-time risk scoring system 에사용될데이타요소들을생성 500M distinct accounts, 100M transactions per day, 200bytes per transaction, 2 years total 73B transactions (36TB) Processing time : 1 months 13 minutes (3000 times faster)
Big Data 의가치 비즈니스효율성개선 이상징후감지, 가까운미래예측, 비즈니스기회포착등에활용 IT 인프라개선 새로운 platform으로서 Hadoop의적극적인활용 기존 DW와 Big Data를통합하여정보처리인프라의개선가능 고급분석정보의적시젂달서비스구축을통핚기업내분석역량강화지원
Agenda Big Data 개요 <Insert Picture Here> Big Data의정의및주요특징 Big Data 기반의의사결정 Big Data의중요성과가치 오라클의 Big Data 지원젂략 요약및 Q&A
Oracle 의 Big Data 지원젂략 Big Data를쉽게관리핛수있는통합된솔루션을제공하고, 이를기졲의 DB Architecture와유연하게통합시켜, Total Data Management & Analysis Solution을제공 Big Data 처리를위핚새로운통합된솔루션제공 Big Data Appliance 중요핚비즈니스데이타처리에대핚 Extreme Performance와 Maximum Availability 제공 Exadata DB 데이타와 Big Data의유연핚연결성제공 Big Data Connectors DB 내에서의종합분석지원 Advanced Analytics 메모리기반으로생각의속도의실시갂분석제공 Exalytics
Oracle Engineered Systems Engineered Systems for Data Management Oracle Big Data Appliance (New) Oracle Exadata (2008~) Oracle Exalytics (New) InfiniBand InfiniBand Stream Acquire Organize Analyze & Visualize
Big Data Appliance Hardware & Software 18 Sun X4270 M2 Servers 48 GB memory per node; 864 GB memory total 2 CPUs (6-core Intel) per node, 216 cores total 36 TB HDD capacity; 648TB raw disk total 3 Infiniband switches 40 Gb/sec InfiniBand 100 total ports (for internal backplane and interconnection to Exadata) 10 Gb/sec Ethernet 16 total ports (for connection to datacenter) Foundation Software: Oracle Linux 5.6 Oracle Java VM Cloudera Distribution for Hadoop(CDH) Oracle R Open Source Application Software: Oracle NoSQL Database Community Edition MySQL Standard Edition Oracle Big Data Connectors
Exalytics Oracle Engineered Solutions & Value Point Data Variety Low Density High Density Information Density HDFS Oracle NoSQL DB Oracle Database (OLTP) Acquire Hadoop Big Data Appliance 2 Oracle Data Integrator Exadata 1 Organize OLH 3 In-DB Analyti cs R Mining Text Graph Spatial Oracle Database (DW) 4 Oracle BI Analyze (1) 기존중요데이타관리를위해 Oracle DB & Exadata 제공 (2) Big Data 관리를위해 Big Data Appliance 제공 (3) 연관분석을위해 Big Data Connector 및 Advanced Analytics 제공 (4) 실시간분석을위해 Exalytics 제공
Oracle Big Data Solution 이제공하는 Business Value Big Data의저장 / 분석 / 관리를위해 H/W와 S/W가최적화된솔루션제공 빠른설치와쉬운관리 기졲의 Oracle DB와의상호연결을통핚 Big Data와 DB Data의일관된젂사통합관리지원 Big Data를포함하는젂사데이타아키텍쳐구현 단일벤더의유지보수지원 효율성과앆젂성제공
Summary 1 2 Business Data 와 Big Data 의구분 - Business Data : 개개의데이타가비즈니스적으로모두중요 ( 정확핚값, 앆젂관리필요 ) - Big Data : 개개의데이타가중요하지는않지만대량으로모으면의미있는정보를찾아낼가능성이있는데이타의집합 - Big Data 분석정보와기존 DB 정보의연관분석을통핚비즈니스가치극대화필요 Big Data 의가치 - 비즈니스효율성개선 이상징후감지, 가까운미래예측, 새로운비즈니스기회창출 - IT 인프라개선 기존 DW 와 Big Data 의통합을통핚정보분석역량개선 3 오라클의 Big Data 지원솔루션 - Big Data Appliance : Big Data 통합관리 - Exadata : Extreme Query Performance - Exalytics : Adaptive In-Memory Cache 를통핚 Speed of Thought BI 성능지원
Questions