Big Data 의분석과활용 김상현전무 Enterprise Architecture Oracle Korea
Agenda Big Data Overview Big Data Analysis <Insert Picture Here> Big Data Usable Cases in Finance Summary
Big data 의출현배경 SNS 의급격한확산과비정형데이터의폭증 Big Data 현상은기업들의고객데이터수집활동및멀티미디어콘텐츠의폭발적증가와스마트폰보급, SNS 활성화및사물통신망 (M2M) 의저변확대로빠르게확산되고있음 기업의고객데이터트래킹 / 수집행위증가 SNS 의빠른확산과비정형데이터의폭증 M2M 확산에따른센서저변확대 멀티미디어콘텐츠와사용정보의증가 ( 출처 : KT 경제경영연구소, Big Data, 미래를여는비밀열쇠 )
데이터는 21 세기의원유 - Gartner
Big Data 에대한관심 다보스포럼키워드 : 빅데이터 10년에한번일어나는대격변 http://news.mk.co.kr/newsread.php?year=2012&no=56433
Big Data 비즈니스기회 McKinsey Big Data 관련보고서 McKinsey 보고서에따르면금융및보험산업의 Big Data 잠재력이매우높은것으로분석됨
빅데이터의추이 문제와기회
Data in DBMS : Business Data 개개의데이타자체가모두비즈니스적으로중요 중요성기준 : 비즈니스영속성을위해정확한값으로보존되어야하며, 이를위해기꺼이비용을지불할의사가있음 고객정보, 직원정보 판매 / 매출정보 제조 : 제품, BOM, 생산계획, 설비, 출하, 물류 통신 : CDR, Billing, 상품 FSI : 계좌, 대출, 투자, 자산 데이타는 DBMS 에저장됨으로써 ACID 특성을지원받음 Atomicity/Consistency/Isolation/Durability 동일한데이타를다수의사용자가동시에사용 ( 생성 / 수정 / 삭제 ) 하여도데이타의값이 consistent 하고안전하게보관 / 관리되는것을 guarantee 하는특성 따라서, 이런비즈니스데이타는아무리크기가커도반드시 DBMS 에저장해야함
반면 Big Data 는 개개의데이타가비즈니스적으로중요하지는않지만, 대량으로모으면그안에숨겨진새로운정보를발견할가능성이있는데이타집합 고객이방문한웹페이지의로그정보 고객유형별관심주제 SNS 를통한 VOC 고객의만족도분석 포탈에서의주요검색키워드 관심트렌드분석 고객의매장내이동동선 주요관심제품, 결합상품파악, 제품 / 상점추천 상품의이동에따른시간별위치정보 이동경로의효율성파악 생산설비의상태 / 센서정보 ( 온도, 압력, 밀도등 ) 품질과의연관성분석 출처 : 매일경제
Big Data 의주요특징 3V : Variety, Volume and Velocity 형태가 다양하고 (Variety) 다량의 (Volume) 정보가 실시간에가까운빠른속도 (Velocity) 로흘러들어온다는의미 개개의데이타에대한 ACID 특성지원은필요없음 화일혹은 NoSQL DB 에저장 데이타규모가본질적으로크므로분산처리, 확장성필요 Hadoop 기반처리 (HDFS, Map/Reduce) 필연적으로분석작업수반 R 을이용한통계처리, Data Mining 을통한패턴분석을통해숨겨진정보 / 지식탐색 개개의분석된정보는비즈니스적으로중요 : 새로운비즈니스데이타 DW 로저장하여연관분석
Agenda Big Data Overview Big Data Analysis <Insert Picture Here> Big Data Usable Cases in Finance Summary
Big Data 분석이란 이전보다확장된대량의데이타집합에접근하여 저장 / 관리하고 숨겨진정보 ( 의미, 연관성 ) 를찾아내어이를빠르게 기존프로세스에피드백으로제공하고 제공된분석정보에기반하여효율적인의사결정을 수행하여비즈니스의가치를높이는것
사례 : 구글검색트렌드와비즈니스의연관관계 연관성의주요원인 : 제품구매전에검색엔진을통해정보조사를수행하는인터넷세대의행동심리 구글에서 포드경차 가검색된횟수 포드의경차판매량 2004 년검색횟수를 100 으로했을때상대적인비교 자료 : 구글트랜드 힐배이런 UC 베클리교수를포드경차가구들에서검색된빈도와판매량의상관관계를비교함
How Companies Learn Your Secrets How Target Figured Out A Teen Girl Was Pregnant Before Her Father Did http://www.nytimes.com/2012/02/19/magazine/shopping-habits.html?pagewanted=1&_r=1&hp
How Companies Learn Your Secrets How Target Figured Out A Teen Girl Was Pregnant Before Her Father Did http://www.nytimes.com/2012/02/19/magazine/shopping-habits.html?pagewanted=1&_r=1&hp
볼보자동차의프로세스개선사례 http://www.i-cio.com/case-studies/volvo-big-data
Agenda Big Data Overview Big Data Analysis <Insert Picture Here> Big Data Usable Cases in Finance Summary
1 Big Data 활용 Banking 파일로저장 / 관리되는채널 (MCA) 로그분석을통한사용자거래패턴도출 현황 채널 (MCA) 로그 - 대고객채널및대외기관으로부터송수신되는모든데이터를저장 - 거래이력, 사용단말화면정보등포함 채널 (MCA) 로그종류 - DB 로그 : 표준전문헤더및기관송수신헤더정보저장 - **File 로그 : 전문헤더외에전문데이터부까지저장 로그관리현황 - 일평균수십 ~ 수백 GB 생성 - 보관주기평균 3 ~ 5 일, 최대 2 주미만 채널로그활용 File 저장채널 (MCA) 로그수집 / 분석 - 대내채널로그, 대외채널로그 - CD/ATM 로그 기타시스템로그수집 / 분석 - 코어뱅킹 TP 로그 - WEB/WAS 로그 - EAI File 로그 사용자거래패턴도출 - 사용단말화면이력분석을통한고객마케팅에이용가능 상시감사대상범위확대및고도화 ** 전문헤더외에데이터부를정형화하여 DB 에저장관리하는것은심각한성능저하를유발함
Big Data 활용 Banking 개념도
Big Data 활용 Banking 구성도 채널 & 계정계 Big Data Appliance 정보계 (ODS & DW) 분석계 MCA 거래이력 단말사용이력 대외전문데이터 File 코어뱅킹 TP log 이미지로그 File EAI File 거래이력 내부시스템간사용이력 Stream Acquire Organize Analyze & Visualize
Big Data 비즈니스기회 - 보험산업 2 Big Data 분석기회 Insurance 1) 콜센터녹취기록데이터분석 ( 생, 손보사 ) - 현행 : 현재대부분보험사에서는콜센터에녹취되는고객의다양한 Voice data 를상담원의주관적판단의영향이강한정형화된코드테이블형태로저장하여이를분석하는수준임 - 이슈 : 다양한고객의목소리에대한심층있는분석에한계가있음 - 향후방향 : 음성인식기술을통한 Voice to Text data 를활용하여고객의다양하고직접적인요구및불만에대한직관적통계분석이가능함 - 적용가능기술 : 음성인식기술, Big Data Appliance, Endeca 등의솔루션
Big Data 비즈니스기회 - 보험산업 2 Big Data 분석기회 Insurance ( 계속 ) 2) 사기방지시스템 ( 생, 손보사 ) - 현행 : 3년전부터삼성생명을비롯해서대형보험사의경우이미룰기반의사기방지시스템을도입함 - 이슈 : 현재큰이슈가있지는않지만거래패턴에의한룰기반형태의사기거래를분석하기때문에날로지능화되어가는보험사기를분석하고대응하기에제한적임 - 향후방향 : 정형화된룰기반의데이터뿐만아니라콜센터녹화기록, 웹방문기록등방대하고다양한히스토리등모든가능한데이터를통해좀더정교하고광범위하게사기를방지함 - 적용가능기술 : Big Data Appliance, Endeca, R 등의솔루션
Big Data 비즈니스기회 - 보험산업 2 Big Data 분석기회 Insurance ( 계속 ) 3) Insurance Pricing ( 손보사 맞춤형자동차요율 ) - 현행 : 대부분사고유무등에따라단순한차등보험료적용 - 이슈 : 최근마일리지보험등고객의운전거리에따른보험료인하상품이나와서고객한테큰호응을얻고있음 - 향후방향 : 운전거리뿐만아니라고객의다양한위치정보및운전정보등을토대로맞춤형보험료적용이가능함 - 적용가능기술 : Telematics, Big Data Appliance, R 등의솔루션
Big Data 시대준비사항 Big Data 의적극적인활용을통한서비스 / 상품혁신을위해서는내, 외부데이터통합수집 / 분석역량, 인프라, 조직분야에서의체계적준비가필요 (source : KT경제경영연구소 ) 현재대부분의기업은기업내외부의데이터가조직별로분산되어빅데이터의효율적운용이어려움 - 각조직별로분산된 Data, 빠르게증가하고있는외부 Data에대한대처등이이루어지지않고있음 Big Data 활용은특정부서의문제가아닌전사적관심사항이므로전사관점의해결노력필요 - 내 / 외부데이터통합방식, 시스템구성, 분석의주체 / 조직구성등에대한빠른내부적협의가시급
Big Data 활용방안제언 제언 1 : SNS 의적극적인활용및분석 고객접점에 SNS 를적극활용하고, 여기서발생되는데이타를분석하여고객만족개선에활용 제언 2 : 업무프로세스의개선점포착에활용 기존업무프로세스중에서개선여지가있는곳에 M2M 도입 위치정보나센서데이타등의 big data 를분석하여업무개선에활용 제언 3 : 빠른정보서비스를위한비즈니스정보서비스센터를고려 기존분석시스템을통합하여전문분석센터를수립 기존 DW 와 Big Data 를통합 / 분석하고이를클라우드서비스형태로제공 기대효과 SNS 기반관계중심네트웍강화를통한고객만족증대 주요업무프로세스개선 고급분석정보의적시전달서비스를통한업무효율성향상
Agenda Big Data Overview Big Data Analysis <Insert Picture Here> Big Data Usable Cases in Finance Summary
Summary 1 2 3 Business Data 와 Big Data 의구분 - Business Data : 개개의데이타가비즈니스적으로모두중요 ( 정확한값, 안전관리필요 ) - Big Data : 개개의데이타가중요하지는않지만대량으로모으면의미있는정보를찾아낼가능성이있는데이타의집합 - Big Data 분석정보와기존 DB 정보의연관분석을통한비즈니스가치극대화필요 Big Data 에대한기업의대응방안 - SNS 와연결된 Front Office Process 설계및데이타분석 - M2M 데이타를활용한 Back Office Process 효율화 : 6 sigma with big data - Operational BI 를지원하는정보분석서비스센터의구축 금융고객을위한제언 - 기존에정형데이타로처리하지못했던다양한비정형정보의수집 / 분석 ( 예 : 채널전문 ) - SNS 와의결합을통한대고객마케팅능력강화 - 지능화된서비스제공능력강화 ( 사기방지, 상품다양화 ) 4 오라클의 Big Data 지원솔루션 - Big Data Appliance : Big Data 통합관리 - Exadata : Extreme Query Performance - Exalytics : Adaptive In-Memory Cache 를통한 Speed of Thought BI 성능지원
Questions