슬라이드 1

Size: px

Start display at page:

Download "슬라이드 1"

광식 군
6 years ago
Views:

1 백승은컨설팅위원 - 0 / 48 -

2 I. 들어가며 II. 빅데이터의이해 1. 경영환경의변화 2. 빅데이터관련용어정리 3. 빅데이터의특징과등장배경 4. 빅데이터기술 III. 빅데이터활용사례 1. 실시간분석 2. 예측분석 3. 패턴분석 IV. 마치며

3 1. 몬티홀문제 직관은생각만큼정확하지않습니다. Ⅰ. 들어가며 다음을생각해봅시다. 2

4 1. 몬티홀문제 직관은생각만큼정확하지않습니다. Ⅰ. 들어가며 다음을생각해봅시다. 3

5 I. 들어가며 II. 빅데이터의이해 1. 경영환경의변화 2. 빅데이터관련용어정리 3. 빅데이터의특징과등장배경 4. 빅데이터기술 III. 빅데이터활용사례 1. 실시간분석 2. 예측분석 3. 패턴분석 IV. 마치며

6 1. 경영환경의변화 Ⅱ. 빅데이터의이해 국내및글로벌시장의저성장기조가지속되고있으며, 금리등경제의변동폭이확대되는리스크상존 5

7 1. 경영환경의변화 Ⅱ. 빅데이터의이해 유래없는저금리기조지속가운데, 단기간자산규모확대를통한금융기업의대규모수익성증대는어려워짐에따라, 소액수수료위주의분석기반영업활동이요구되고있습니다. 초저금리기조로 NIM 지속하락, 비이자수익증대를위한자산관리등다양한수수료사업집중 지속적인 ROE, 주가하락추세, 위탁수수료외타수수료수입증가는여전히미미 6

8 1. 경영환경의변화 Ⅱ. 빅데이터의이해 오늘날기업들은경쟁에서생존하기위해서는원가대비높은가격책정을통한이윤창출보다는가격대비더높은가치를창출하기위해노력해야합니다. 경영환경의변화와기업생존방정식 디지털경제시대도래 사이버온라인공간의활용으로신규시장진입비용이절감 모바일, 인터넷, 공유, 핀테크 불확실성의증가 글로벌저성장, 위기상황발생 제품기술혁신에따른제품라이프사이클의단축등 개별고객중심의시대 고객욕구의다변화 다품종소량시대 제품생산에직접참여하는소비자등장 원가 (C) < 가격 (P) < 가치 (V) 데이터분석을통한원가절감및새로운고객가치창출시도 7

9 2. 빅데이터관련용어정리 Ⅱ. 빅데이터의이해 빅데이터와관련해서고급분석 (Advanced Analytics), 하둡 (Hadoop), 소셜미디어분석 (Social Media Analytics) 등여러관련용어들이있습니다. 하둡 (Hadoop) 고급분석 (Advanced Analytics) 빅데이터 소셜미디어분석 (Social Media Analytics) 8

10 2. 빅데이터관련용어정리 Ⅱ. 빅데이터의이해 하둡은대용량자료를처리하는소프트웨어프레임워크이며, 고급분석은빅데이터를분석하는기법을주로의미하고, 소셜미디어분석은고급분석중하나입니다. 활용 Smart Decision & Optimization 분석기법 실시간분석 예측분석 패턴분석 고급분석 소셜미디어분석은고급분석중하나 대용량자료처리 데이터 규모 (Volume) 다양성 (Variety) 속도 (Velocity) 하둡은대용량처리관련소프트웨어프레임워크임 9

11 3. 빅데이터의특징과등장배경 Ⅱ. 빅데이터의이해 빅데이터는양이많은데이터라생각할수있지만, 단순히양이많은데이터를의미하는것이아니라규모 (Volume), 다양성 (Variety), 속도 (Velocity) 의특징을가진데이터를의미합니다. 규모 (Volume) 테라바이트페타바이트엑사바이트 다양성 (Variety) 속도 (Velocity) 10

12 3. 빅데이터의특징과등장배경 - 규모 Ⅱ. 빅데이터의이해 Sensor 및 Digital Device 보급확산으로인한대규모데이터의축적이빅데이터의규모 (Volume) 와연관이있습니다. 11

13 3. 빅데이터의특징과등장배경 - 다양성 Ⅱ. 빅데이터의이해 비정형데이터의증가및활용이빅데이터의다양성 (Variety) 과연관이있으며, 이를분석하기위한비정형데이터분석기법이나타나고있습니다. 12

14 3. 빅데이터의특징과등장배경 - 속도 Ⅱ. 빅데이터의이해 Social Media 데이터의빠른축적및파급력은빅데이터의속도 (Velocity) 와연관이있으며, 이에대응하기위한분석기법중하나가 CEP(Complex Event Processing) 입니다. 데이터를정적인관점에서바라보는기존의 DBMS ** 와달리데이터를동적으로바라보고, 데이터가발생하는즉시분석처리를하는기법 13

15 4. 빅데이터기술 오픈소스기반의대용량데이터저장, 관리, 활용기술의출현이투자가능성을확대하였습니다. Ⅱ. 빅데이터의이해 오해 : 돈은많이들고, 원하는성능은글쎄... 비용 기존 DB 기술 원하는성능수준 DB 기술로는천문학적투자가필요 ( 고가상용솔루션 ) TB 1) 급의데이터를처리하는데오랜시간소요 High Performance Computing 또한고비용 데이터량 활용의도 투자의향 0 10TB ~ 진실 : 합리적비용수준에서실현가능 Big Data 기술로저비용고성능구현가능 Data 의지속적폭증에도유연하게대응 새로운 Big Data 기술 오픈소스와상용솔루션의조합 활용의도 투자의향 데이터량 10TB ~ 14

16 4. 빅데이터기술 Ⅱ. 빅데이터의이해 Hadoop 은 HDFS 와 Map/Reduce Framework 및공통모듈로구성된분산 / 병렬처리플랫폼으로통상 Hadoop Core 라고칭합니다. : 분산파일시스템 NameNode SecondaryNameNode DataNode Hadoop Core : 분산 / 병렬처리프레임워크 JobTracker TaskTracker 15

17 4. 빅데이터기술 Ⅱ. 빅데이터의이해 Big Data 기술을활용한고급분석의적용영역에따라확산정도및완성도에차이가발생하고있습니다. 16

18 I. 들어가며 II. 빅데이터의이해 1. 경영환경의변화 2. 빅데이터관련용어정리 3. 빅데이터의특징과등장배경 4. 빅데이터기술 III. 빅데이터활용사례 1. 실시간분석 2. 예측분석 3. 패턴분석 IV. 마치며

19 빅데이터활용목적 고급분석을통해알고싶은것은, 데이터의성격! Ⅲ. 빅데이터활용사례 개인화추천불량판별이상탐지 18

20 빅데이터기술의금융서비스적용영역 Ⅲ. 빅데이터활용사례 금융회사별다양한내부업무효율성증대및대고객관련서비스수준제고를위한빅데이터활용사례가증가하고있습니다. 오퍼레이션상품개발마케팅 /CRM 리스크관리고객응대 은행 1 대량센터컷병렬처리 카드 5 청구 / 입금실시간처리 3 전표단위수익성분석 8 부정사용방지목적개인위치정보획득 9 카드깡방지목적 Network 정보분석 보험 13 보험사기예방목적 Network 정보분석 14 기관별 Fraud Score 공유인프라구축 증권 2 매매주문 Queue Routing 11 증권 / 매매 / 호가정보제공 12 파생상품기초자산부가정보제공 공통기타 6 고객이벤트실시간감지및마케팅실행 7 마케팅목적개인부가정보획득 4 멀티채널접촉이력통합관리 10 음성 / 영상형태고객접촉정보획득 19

21 Ⅲ. 빅데이터활용사례 1.1 Social Media 분석방법 1. 실시간분석 소셜미디어분석은 Buzz 수집, 분석, Insight 도출단계로구성되며, Buzz 분석시주로텍스트분석기법이활용됩니다. 1. Buzz 수집 2. Buzz 분석 3. Insight 도출 Cafe Blog 분석엔진 DASHBOARD 외부소셜미디어 BBS News SNS Reply Contents Categorizer Buzz Volume / Sentiment INSIGHT REPORT Duplication Check Buzz 의확산 내부 VOC 텍스트변환기술적용 Text Miner Network Analysis 연관어도출 Influencer / Cluster 도출 업무적용 CONSULTING 20

22 Ⅲ. 빅데이터활용사례 1.2 Social Media 분석의활용사례 1. 실시간분석 Q. 업계에서중심이되는이야기는무엇인가? Q. 각카드사별로중심이되는이야기는무엇인가? Q. 부정적여론은주로어떠한속성에서나타나는가? 경쟁사와대비해서도경쟁력이떨어지는가? Q. 집중해야 Influencer 누구이며이들의최근동향은? 10/25 21

23 1.2 Social Media 분석의활용사례 1. 실시간분석 사례 S 은행의 B2B 영업기회포착을위한뉴스정보분석 Ⅲ. 빅데이터활용사례 22

빅데이터활용사례 금융감독원 이란키워드에대한소셜미디어분석결과 (15.08.30~15.09.

24 1.2 Social Media 분석의활용사례 1. 실시간분석 사례 - D 사의 Social Metrics 서비스 Ⅲ. 빅데이터활용사례 금융감독원 이란키워드에대한소셜미디어분석결과 ( ~ ) 연관어탐색결과 ( 트위터, 블로그 ) 보험 속성 국회 단체 탐색어추이 9/1 SLS 그룹워크아웃과관련한산업은행증거자료의위조주장, 롯데면세점이익금관련및면세점특혜등 9/15 금융감독원국정감사 23

25 1.2 Social Media 분석의활용사례 1. 실시간분석 사례 K 사의고객맞춤형 DM 발송서비스 Ⅲ. 빅데이터활용사례 분석대상 Data 분석결과활용 트위터 태풍 헌터 블로그 페이스북 장마 등의소셜미디어검색 날씨 소셜미디어상 장마 와연관어검색 * 출처 : 조선비즈 [ 미래창조기술 10 선 ]8 매출 700% 껑충 지름신부르는마법, 빅데이터,

26 Ⅲ. 빅데이터활용사례 2.1 예측분석에대한 Needs 발생 2. 예측분석 시장의경쟁이치열해지면서, 여러기업에서유사한상품을출시하고있고, 고객은 contents 의대량화로인해유용한상품을찾아내는일에대한부담이생기고있습니다. [ 현재시장은 ] [ 현재고객은 ] 비슷한상품, 포화된시장 치열한경쟁 시장점유율강화 고객이탈방지 고객들에게동일한상품을홍보하는기존마케팅의한계 경쟁우위를위한차별화된마케팅필요 수많은상품중나에게가장유용한상품은? 지금나에게필요한상품은? 불필요한상품의오퍼는그만.??? 개인의 Needs 와성향을반영한차별화된마케팅필요 25

27 2.2 고객맞춤형서비스제공 - 카드업체 Ⅲ. 빅데이터활용사례 2. 예측분석 사례 1 카드업계에서는신용카드사용내역을활용하여고객맞춤형서비스는물론, 나아가현재트랜드를예측하고있습니다. 분석대상 Data 분석결과활용 회원정보 - 연령 - 성별 - 구매성향.. 카드결제내역 - 가게위치 - 상품종류 - 구매날짜, 시간 - CLO(Card Linked Offer), 빅데이터기반개인별맞춤할인서비스 고객의소비패턴분석에기반한특정가맹점대상실시간구매쿠폰혜택제공 매스마케팅지향하고, 타겟그룹에집중함에따라비용절감가능 2015 년 5 월, 사용고객 950 만명, 가맹점 4000 여곳 26

28 2.2 고객맞춤형서비스제공 인터넷쇼핑몰 2. 예측분석 사례 2 인터넷쇼핑몰에서는고객의클릭을통한흐름을분석하여고객에적합한상품을추천해줌으로써제품구매확률을높여매출을증진시켜주고있습니다. Ⅲ. 빅데이터활용사례 분석대상 Data 분석결과활용 회원정보 - 연령 - 성별 - 상품구매내역 - 유사고객상품구매내역 상품조회흐름분석 - 클릭수 - 클릭순서 27

29 Ⅲ. 빅데이터활용사례 2.2 고객맞춤형서비스제공 은행권 2. 예측분석 사례 3 은행내부에보유하고있는고객금융관련성향및거래정보분석결과에기반한개인별맞춤상품추천서비스제공 28

30 Ⅲ. 빅데이터활용사례 2.3 수요예측분석 유가분석 2. 예측분석 사례 1 한국석유공사는 2008 년 4 월부터개별주유소의리터당가격데이터를수집. 공개하고있으며, 2011 년 12 월부터는해외석유가격등을변수로유가예측서비스를제공하고있습니다. 분석대상 Data 분석결과활용 카드결제정보를활용 * 하여, 개별주유소의리터당가격데이터수집 * 카드결제정보는부가통신 (VAN) 사업자를통해하루 6 번개별주유소의리터당가격데이터를수집. 공개하고있음 29

31 Ⅲ. 빅데이터활용사례 2.3 수요예측분석 유가분석 2. 예측분석 사례 1 한국석유공사는 2008 년 4 월부터개별주유소의리터당가격데이터를수집. 공개하고있으며, 2011 년 12 월부터는해외석유가격등을변수로유가예측서비스를제공하고있습니다. 분석대상 Data 분석결과활용 카드결제정보를활용 * 하여, 개별주유소의리터당가격데이터수집 30

32 Ⅲ. 빅데이터활용사례 2.3 수요예측분석 식품구매분석 2. 예측분석 사례 2 식품회사들은날씨변화에따른식품구매데이터분석을통한제품전시를변경하거나제품의판매계획량을변경하여매출을증가시키고있습니다. 분석대상 Data 분석결과활용 날씨정보 - 기온 - 강수확률 - 날씨에따른제품매출규모분석 G 사 기온에따른매출분석결과 0 ~ 5 : 양주판매증가 6 ~ 10 : 소주판매증가 30 이상 : 맥주판매증가 활용 기온에따라주류물품배치를달리함으로써매출증대 P 사 날씨에따른매출분석결과 활용 비가오면피자빵, 맑은날씨엔샌드위치구입고객이많아짐 본사의 날씨판매지수 를확인하고, 그에따라다음날판매할빵을주문함 찬스로스 (Chance Loss. 판매할제품이없어발생하는손실 ) 를방지하고재고부담이감소함 매출이 30% 증가함 31

33 Ⅲ. 빅데이터활용사례 3.1 패턴분석방법 3. 패턴분석 데이터의시각화를통해데이터가가진특징을일정패턴으로분석하는것이패턴분석이라할수있습니다. 1. Data의시각화 2. 패턴의분석 3. 문제점파악 이상패턴을분석하거나의사결정의최적화가가능해지며 Network 의시각적분석도가능해지고있음 32

34 3.2 이상패턴의분석 3. 패턴분석 데이터패턴분석을통한이상징후탐지를위한다양한이상패턴알고리즘이존재함이상패턴분석 Framework Ⅲ. 빅데이터활용사례 33

35 3.2 이상패턴의분석 3. 패턴분석 사례 - 전자제품 A/S 센터수리에대한패턴분석 Ⅲ. 빅데이터활용사례 시계열패턴분석 A/S 센터 시간의흐름, 패턴유형 전체 A/S 센터대비다른패턴 전체 A/S 센터대비유사패턴 Rules 극단적인변화패턴치우침지속적인증가추세진동패턴 평균에서떨어진패턴변화 34

네트워크분석을이용한이상치탐색 주요특징 1 현상파악용이 2 직관적인패턴파악 :

36 3.2 이상패턴의분석 3. 패턴분석 사례 - Rule Base 방식의 Fraud Detection 은제한된 Rule 및 data 활용으로변화하는부정징후탐색은어려웠으나, Data Discovery 방식은직관적인현상파악및변화하는사실을탐색하기에수월함 Fraud, 이상치탐색 Ⅲ. 빅데이터활용사례 시나리오 #1. 통계데이터를이용한이상치탐색 시나리오 #2. 네트워크분석을이용한이상치탐색 주요특징 1 현상파악용이 2 직관적인패턴파악 : 조직별 USB 다운로드현황정보제공 : 변동계수높은정보추가선택 3 혐의증거제시탁월 : 상세인원별내역정보제공 : 특정대외비문서의사람 ( 부서 ) 간이동현황정보를제공하고, 상세데이터를제공함 35

37 3.3 의사결정의최적화 3. 패턴분석 사례 서울시심야버스노선최적화 Ⅲ. 빅데이터활용사례 분석대상 Data 분석결과활용 유동인구기반노선최적화 통신사와 MOU 를통해수집한심야시간 (0 시 -5 시 ) 통화량 유동인구밀집도분석 유동인구기반배차간격조정 서울시노선, 시간, 요일별이용승객 패턴분석 분석결과를토대로노선을조정하고신규노선을만들어 5% 가량효율성을개선하였다고평가됨 36

38 Ⅲ. 빅데이터활용사례 3.4 Social Network 분석 3. 패턴분석 사례 금융사임직원과여신거래처간의부정대출적발 ( 신상정보, 커뮤니케이션정보, 자금거래정보를활용한관계망분석 ) 분석대상 Data 분석방법및활용 임직원과출신지, 출신학교가동일하거나, 행내전화통화, 이메일송수신이빈번하고, 자금거래가존재하는경우 해당여신거래는특별모니터링대상 원천정보 임직원신상정보출신지, 출신학교 전화통화로그통화상대방, 빈도 이메일로그송 / 수신자, 빈도 입출금내역의뢰인, 수취인, 금액 정보분석결과 임직원 차주관련인 B 회 19 회 100 A C 7 회 15 회 네트워크관계도 심사역 담보제공인 차주 납품업체 공급업체 B 통화이메일학연관계지연관계자금거래 공급업체 A 차주 납품업체 (B) 직원 (A) 직원 (B) 심사역으로의자금흐름이발견, 심사역과직원 (A), 직원 (B) 는학연 / 지연관계이므로특별모니터링필요

분석에적합하도록모델링한후, 혐의자확대및혐의패턴에근거한후보분석 주가조작연계혐의자추적사례 데이터모델링 Seed 기반혐의자확대

39 Ⅲ. 빅데이터활용사례 3.4 Social Network 분석 3. 패턴분석 사례 - 주가조작공모에참여한혐의자추적에 SNA 데이터모델및분석방법적용, 증권매매연계데이터를파악하여 SNA 분석에적합하도록모델링한후, 혐의자확대및혐의패턴에근거한후보분석 주가조작연계혐의자추적사례 데이터모델링 Seed 기반혐의자확대 기존혐의자 (Seed) 기반으로확장된 혐의후보계좌 (IP 매개 ) 공모관계파악을위한 관계데이터모델링 패턴분석 B A 계좌에의한매수직후, B 계 좌로부터공모에 의한추격매수 A 발생감지 38

40 Ⅲ. 빅데이터활용사례 3.4 Social Network 분석 3. 패턴분석 사례 - 보험사기패턴을네트워크데이터로모델링한후, 해당패턴을추출하여혐의후보군도출 보험사기혐의패턴분석사례 자동차손해보험예시 생명보험예시 가해차량당사자및피해차량당사자각각에연계되어있는각종연계개체를파악 의도적인사고여부를파악할수있는패턴을정의하여도출 모집인과병원간의연계혐의를계량화하고 이에따른혐의점수에기반하여후보군도출 39

41 I. 들어가며 II. 빅데이터의이해 1. 경영환경의변화 2. 빅데이터관련용어정리 3. 빅데이터의특징과등장배경 4. 빅데이터기술 III. 빅데이터활용사례 1. 실시간분석 2. 예측분석 3. 패턴분석 IV. 마치며

42 1. 요약및정리 보안 그래도넘어야할산??? Ⅳ. 마치며 데이터의확보 1. 대용량의데이터 2. 비정형화된데이터 3. 축적속도가빠른데이터 1. 여론확인 2. 고객맞춤형서비스제공 데이터의 활용 보안개인정보 데이터 처리및 분석 1. 실시간분석 2. 예측분석 3. 패턴분석 3. 사기방지및의사결정의최적화 41

43 1. 요약및정리 정부 3.0, 공공정보, 금융정보 API.. Ⅳ. 마치며 42

44 1. 요약및정리 Fintech, Robo Advisors, AI.. Ⅳ. 마치며 43

45 Q & A

Cover Story 01 20 Oracle Big Data Vision 01_Big Data의 배경 02_Big Data의 정의 03_Big Data의 활용 방안 04_Big Data의 가치

Oracle Big Data 오라클 빅 데이터 이야기 Cover Story 01 20 Oracle Big Data Vision 01_Big Data의 배경 02_Big Data의 정의 03_Big Data의 활용 방안 04_Big Data의 가치 최근 빅 데이터에 대한 관심이 커지고 있는데, 그 배경이 무엇일까요? 정말 다양한 소스로부터 엄청난 데이터들이 쏟아져