Business Intelligence 4. BIG DATA 1
Big Data Concept Kilo Mega Giga Tera Peta Exa Zetta Yotta 10 3 10 6 10 9 10 12 10 15 10 18 10 21 10 24 80% data in the world is generated during past 3 years. 2
Big Data Concept Mobile Big Bang 의료 / 건강, 공공 / 행정, 유통 / 소매, 제조업, 개인정보의변화 Social Media Cloud Computing 효율화, 개인화, 지능화된업무 제품 서비스 Big Data Big Bang 기업은새로운이익창출의기회 국가는미래경쟁력확보의원천 3
Big Data Concept Big data is introduced in 2011 Data Mining is well studied and settled. (introduced in1990s) but Big Data is a buzz word these days (introduced in 2011) Nowadays big data attracts attentions not just as IT trend but as solutions to many social and economical problems. 빅데이터동영상 [KBS 시사기획창 ] 빅데이터, 세상을바꾸다 (2012) [KBS 시사기획창 ] 빅데이터, 비즈니스를바꾸다 (2012) [SERI 오디오보고서 ] 빅데이터 : 산업지각변동의진원 (2012) 4
Big Data Concept Big data takes three properties (3V) Volume: 일반회사도 tera~peta 급데이터가축적 Variety: 90% 이상이동영상, SNS 등비구조적이며다양한형태 Velocity: 데이터생성에서유통소비까지의시간이수분, 수초까지단축 Veracity + Visualization + Value 5
Business Value 빅데이터는막대한가치를지닌원석 6
Business Value Growth and Business Value (McKinsey, 2011). 7
Big Data 에유리한기술환경 Smart devices and sensors 스마트폰이나폐쇄회로카메라등이 life log, GPS data, 환경, 상황등미시데이터까지저장 Storage and communication cost 전세계모든음악저장에 $600 어치의하드디스크면충분 LTE 무제한요금제 Processor speed Intel Core i5, Qualcomm Snapdragon 8
효과적인산업분야 9
Gartner 의 Hype Cycle 2013 10
Big Data Strategies Freemium Strategy 핵심서비스를 free 또는저렴한 premium 으로제공하여막대한량의데이터를축적하고활용함 과거의 Big Data 4 대천왕 : Google, Amazon, facebook, Apple 11
Big Data Strategies Platform Strategy IBM, SAS 등의 IT 솔류션기업들과 Google 등의빅데이터 big brother 들은빅데이터축적, 처리, 분석, 제공기능을갖춘빅데이터플랫폼서비스를제공하고있음 Fujitsu 의 SPATIOWL 자동차센서가수집한막대한양의위치데이터를제공하는플렛폼서비스를 2011 년에시작 12
Big Data Strategies M&A Strategy 기업간인수합병, 합종연횡을통하여 Big Data 역량확보 IBM 은검색업체 Vivisimo, 모바일플랫폼업체 worklight 등을인수 HP 는빅데이터분석전문업체 Vertica 를인수 POS 업게 4 위인 Toshiba 는 1 위인 IBM 의 POS 사업부를 $850M 에인수하여유통빅데이터의주도권을확보, IBM 은 POS 사업의범용화를우려하여매도 13
Private Sector Context-based service 상황별맞춤서비스 Location-based service 위치기반서비스 Personalized service 개인화서비스 Nowcast 네비게이터의도착시간예측은 forecast 보다더가까운미래예측 (T-map, Olle navi) Viral marketing 정형 / 비정형데이터를이용하여평판분석입소문분석을수행하고 influencer 파악 Prediction 미국의소비지출예측의경우소비자설문조사보다 Google Trends 가정확한것으로파악됨 Operational efficiency 제조업의개발및조립비용의 50%, 운전자본의 7% 절감기대 14
Private Sector Li & Fung 공급망상의현황을고객에게실시간제공 P&G 200TB 의전사빅데이터를실시간분석하여글로벌시황을즉각적으로파악하고대응 Derwent capital 수백만건의 tweet 을분석하여시장동향을예측하여펀드를운용 Hitachi plant technologies 크레인곳곳에장착된센서데이터로이상기운탐지하는 Crane Doctor Cloud 를운용 Ford 자사차량내부에서수집한센서데이터를스마트폰앱에서이용할수있도록하는 Open XC 프로젝트추진. Walmart SNS 분석을통해 California 의 Mountain View 지역주민들이자전거에관심이많다는사실을파악하여마케팅에활용 ebay 명절에 SNS 를분석하여각사용자들에게적절한선물추천 VISA 카드부정사용패턴탐지, 고객이탈패턴탐지 15
Private Sector Decide.com 블로그리뷰, 뉴스, 가격추이등을분석하여특정제품전자제품을살지 (buy) 가격하락을기다릴지 (wait) 를결정해줌 Wikileaks 그들이소유한데이터를분석하여미국과아프칸연합군의활동파악 Tweeter.com 일본트윗데이터를분석하여 1 일단위로광고슬로건이나매장문안을변경 O 2 ( 영국통신사 ) SNS 와위치정보를실시간으로분석하여고객사 ( 스타벅스등 ) 를위해위치기반프로모션 T-mobile( 미국 ) 이용패턴을분석하여고객이탈을탐지하고추가혜택을제공하여이탈고객을 50% 줄임 Volvo 자동차의운행과정에서수집된빅데이터를분석하여, 자동차의결함발견에소요되는시간을평균 50 만대판매시점에서 1000 대판매시점으로단축 16
Public Sectors Health services 신생아심장질환감지 (Dr. Caroline McGregor at U of Ontario) 지역의검색키워드의분포를보고독감유행예측 (Google) 유전자샘플분석 => 관상동맥질환식별 (CardioDX in CA) 기타각종난치병치료 Crime prediction 8 년간의데이터분석 => 지역별범죄예측 (Santa Cruz, CA) Public transportation 서울시심야버스노선 Election Facebook 좋아요 클릭분석 : 성별, 좌우편향, 성적지향까지예측 Public big data platform http://data.gov, http://www.data.gov.uk, http://www.data.go.kr 17
미래사회와 Big Data 미래사회특징 스마트 (Smart) 융합 (Converg ence) 불확실성 (Uncertai nty) 리스크 (Risk) 경쟁력 (Compe tence) 창조력 (Creativ eness) 통찰력 (Insight) 대응력 (Respo nsivene ss) 빅데이터의역할 - 대규모데이터의분석을통한정확한예측 - 개인화, 지능화서비스 -(SNS 데이터를이용한 ) 평판분석 - 보다정확한트랜드분석및대응 - 분야간융합을통한새로운가치창출 - 융합데이터분석을통한분석정확도개선 - 새로운융합시장및산업창출 - 빅데이터에기반한정확한미래예측 - 높은확률에기반한시나리오시뮬레이션 - 다각적상황과시나리오를고려하는통찰력과대처능력 - 환경, SNS, 센서데이터의패턴분석을통한이상징후조기발견및빠른대응 <2012 강만모등 > 18
한국의 Big Data 역량 엄청난데이터생산국이며소비국 (data guzzler) 이지만데이터활용국은아직아니다. 한국은인도와함께빅데이터최대관심국. 그러나빅데이터활용기업과전문인력은많지않다. 또한빅데이터진흥의최대난제는지나친개인정보보호문제. 19
Big Data Analysis Process & Technologies Big data analysis requires: Exceptional technologies to efficiently process a large amount of data within tolerable time. Acquisition Preprocessing Storage Analysis Visualization SNS data Business data Customer data Web data Log data Sensor data RFID data Science Data Entertainment data ETL Data integration Data cleansing Hadoop MapReduce HDFS In-memory DB Data Mining OLAP Statistical Analysis NoSQL Other business analytics Visualization Digital Dashboards Real time visualization 20
Big Data Technologies Big data technologies: Hadoop: distributed scalable storage (not Relational DB, but file) MapReduce: Map: distribute processing over to many processors Reduce: collect the distributed results into one NoSQL: SQL like but not SQL, working on Hadoop (Ex: Hive) Pig: Apache procedural language R: high level language for statistic analysis and visual programming 21
Big Data Technologies Big data analytics Social network analysis: influencer, cliques Sentiment analysis: reputations Artificial Intelligence: business intelligence Data Mining: finding patterns, rules, exceptions Machine Learning: finding patterns, rules Statistics: trends, outliers, spatial patterns, behavioral patterns Visualization: information delivery, insights, persuasion Others: data fusion and integration, crowd sourcing, simulation, pattern recognition 22
Lab: Big Data Analysis using PowerPivot PowerPivot Free Excel add-in Can contain up to 100M rows in main memory Can import from various sources such as Excel, texts, webs, and various DBMS Excel Texts XLMiner Webs MS Access Import or Integration PowerPivot In memory Analysis Pivot Table Other Analytics Oracle DB 23
Lab: Big Data Analysis using PowerPivot Launch PowerPivot 24
Lab: Big Data Analysis using PowerPivot Import DB file 25
Lab: Big Data Analysis using PowerPivot Select tables from DB 26
Lab: Big Data Analysis using PowerPivot 관계만들기 27
Intelligent Systems and Business Intelligence END OF DOCUMENT 28