NH 은행빅데이터플랫폼구축사례

Similar documents
김기남_ATDC2016_160620_[키노트].key

Cloudera Toolkit (Dark) 2018

빅데이터_DAY key

Intra_DW_Ch4.PDF

PowerPoint 프레젠테이션

DW 개요.PDF

ETL_project_best_practice1.ppt

Data Industry White Paper

PowerPoint 프레젠테이션

Oracle Apps Day_SEM

Portal_9iAS.ppt [읽기 전용]

歯목차45호.PDF

사회통계포럼

Slide 1

슬라이드 1

PCServerMgmt7

PowerPoint Presentation


160322_ADOP 상품 소개서_1.0

SAS Customer Intelligence SAS Customer Intelligence Suite은 기업이 당면한 다양한 마케팅 과제들을 해결하기 위한 최적의 통합 마케팅 제품군으로 전사적 마케팅 자원관리를 위한 Marketing Operation Manageme

PowerPoint 프레젠테이션

Software Requirrment Analysis를 위한 정보 검색 기술의 응용

ecorp-프로젝트제안서작성실무(양식3)

Intro to Servlet, EJB, JSP, WS

서현수

SchoolNet튜토리얼.PDF

비식별화 기술 활용 안내서-최종수정.indd

untitled

Open Cloud Engine Open Source Big Data Platform Flamingo Project Open Cloud Engine Flamingo Project Leader 김병곤

AGENDA 모바일 산업의 환경변화 모바일 클라우드 서비스의 등장 모바일 클라우드 서비스 융합사례

15인플레이션01-목차1~9

02( ) SAV12-19.hwp

PowerPoint 프레젠테이션

歯CRM개괄_허순영.PDF

DB진흥원 BIG DATA 전문가로 가는 길 발표자료.pptx

<65B7AFB4D7B7CEB5E5BCEEBFEEBFB5B0E1B0FABAB8B0EDBCAD5FC3D6C1BE2E687770>

歯I-3_무선통신기반차세대망-조동호.PDF

<C0CCBCBCBFB52DC1A4B4EBBFF82DBCAEBBE7B3EDB9AE2D D382E687770>

Microsoft Word - 조병호

구로구민체육센터 여성전용 기구필라테스 강좌 신설 구로구시설관리공단은 신도림생활체육관에서 2014년도부터 시행하여 주민의 큰 호응을 얻고있는 기구필라 테스 강좌를 일자로 구로구민체육센터에 확대 시행하게 되었습니다. 구로구 관내 고객들의 니즈를 반영한 기

Service-Oriented Architecture Copyright Tmax Soft 2005

CRM Fair 2004

이제는 쓸모없는 질문들 1. 스마트폰 열기가 과연 계속될까? 2. 언제 스마트폰이 일반 휴대폰을 앞지를까? (2010년 10%, 2012년 33% 예상) 3. 삼성의 스마트폰 OS 바다는 과연 성공할 수 있을까? 지금부터 기업들이 관심 가져야 할 질문들 1. 스마트폰은

untitled

정보기술응용학회 발표

RUCK2015_Gruter_public

13 Who am I? R&D, Product Development Manager / Smart Worker Visualization SW SW KAIST Software Engineering Computer Engineering 3

FMX M JPG 15MB 320x240 30fps, 160Kbps 11MB View operation,, seek seek Random Access Average Read Sequential Read 12 FMX () 2

CONTENTS Volume 테마 즐겨찾기 빅데이터의 현주소 진일보하는 공개 기술, 빅데이터 새 시대를 열다 12 테마 활동 빅데이터 플랫폼 기술의 현황 빅데이터, 하둡 품고 병렬처리 가속화 16 테마 더하기 국내 빅데이터 산 학 연 관

3 Gas Champion : MBB : IBM BCS PO : 2 BBc : : /45


SW¹é¼Ł-³¯°³Æ÷ÇÔÇ¥Áö2013

歯김한석.PDF

example code are examined in this stage The low pressure pressurizer reactor trip module of the Plant Protection System was programmed as subject for

슬라이드 1

PowerPoint Presentation

? Search Search Search Search Long-Tail Long-Tail Long-Tail Long-Tail Media Media Media Media Web2.0 Web2.0 Web2.0 Web2.0 Communication Advertisement

PowerPoint 프레젠테이션

출원국 권 리 구 분 상 태 권리번호 KR 특허 등록

2017 1

PowerPoint 프레젠테이션


슬라이드 1

Microsoft PowerPoint - 3.공영DBM_최동욱_본부장-중소기업의_실용주의_CRM

DIY 챗봇 - LangCon

Artificial Intelligence: Assignment 6 Seung-Hoon Na December 15, Sarsa와 Q-learning Windy Gridworld Windy Gridworld의 원문은 다음 Sutton 교재의 연습문제

PowerPoint Presentation

APOGEE Insight_KR_Base_3P11

_LG히다찌 브로슈어

MS-SQL SERVER 대비 기능


1

2013<C724><B9AC><ACBD><C601><C2E4><CC9C><C0AC><B840><C9D1>(<C6F9><C6A9>).pdf

15_3oracle

[Brochure] KOR_TunA

목 차 Ⅰ. 정보기술의 환경 변화 Ⅱ. 차량-IT Convergence Ⅲ. 차량 센서 연계 서비스 Ⅳ. 차량-IT 융합 발전방향

PowerPoint 프레젠테이션

09오충원(613~623)

<313120C0AFC0FCC0DA5FBECBB0EDB8AEC1F2C0BB5FC0CCBFEBC7D15FB1E8C0BAC5C25FBCF6C1A42E687770>

장기계획-내지4차

정보화 산업의 발전단계 : 정보혁명의 진화 정보화 산업의 발전단계 1세기에 두 번 정도의 큰 기술혁명이 이루어져 경제성장의 원동력으로 작용 uit 시대는 정보혁명 중 인터넷 이후의 새로운 기술혁명인 컨버전스 기술이 핵심이 되는 시대 uit 시대는 정보화의 극대화와 타

Voice Portal using Oracle 9i AS Wireless

Oracle Database 10g: Self-Managing Database DB TSC

thesis

001지식백서_4도


Slide 1

I What is Syrup Store? 1. Syrup Store 2. Syrup Store Component 3.

vm-웨어-01장

Model Investor MANDO Portal Site People Customer BIS Supplier C R M PLM ERP MES HRIS S C M KMS Web -Based

컴퓨터과학과 교육목표 컴퓨터과학과의 컴퓨터과학 프로그램은 해당분야 에서 학문적 기술을 창의적으로 연구하고 산업적 기술을 주도적으로 개발하는 우수한 인력을 양성 함과 동시에 직업적 도덕적 책임의식을 갖는 IT인 육성을 교육목표로 한다. 1. 전공 기본 지식을 체계적으로

Data Scientist Shortage

Cache_cny.ppt [읽기 전용]

SLA QoS

분산처리 프레임워크를 활용한대용량 영상 고속분석 시스템

국내 디지털콘텐츠산업의 Global화 전략

* ~2..

Microsoft PowerPoint - 발표_090513_IBM세미나_IPTV_디디오넷_완료.ppt

IBM SPSS Statistics 제품 소개 (2017 Aug)

이도경, 최덕재 Dokyeong Lee, Deokjai Choi 1. 서론

Transcription:

SAS FORUM NH 농협은행의분석플랫폼구축사례와디지털트랜스포메이션을위한 SAS 플랫폼

NH 은행빅데이터플랫폼구축사례

APPERANCE NH BANK big-data platform TEXT Log EDW/ MART External Data SAS VIYA VDMML ( 16 node / 256 core / 4TB mem ) HADOOP Analytic Process Decision Report Campaign & Promotion independent systems

BACK GROUND # 4 차산업혁명맞는금융서비스개발 # PLATFORM 구축 # ML 분석모형개발 4 차산업혁명기술요소 Big-data Deep Learning AI 2016 POC 수행 (3 months) Big-data 정의및가시성 Model Evaluation 과제선정 Big-Data 분석기술검증 ( 음성, TEXT 등비정형 DATA 활용 ) 정형 / 비정형고객분석니즈 Big Data 기반신규금융서비스개발

JOURNEY Analytic M/L model Nov 2017 Feb 2018 Mar developing model deploy Operation 안정화 July 2017 KICK OFF OCT 2017 Nov 2017 MAY 2018 OPEN New BIZ developing Hadoop DATA 적재관리모니터링 Big Data processing

PERFORMANCE # Platform # Analytics HADOOP : 정형 / 비정형데이터 4TB 적재 데이터전처리 : 151 Batch SAS Viya : 3 천 2 백만건과 8 백만건 Join 처리시 3 분 5 초 4 천 4 백만건원장 MEMORY 이관시 2 분 22 초 # Biz 고객금융니즈에결합된마케팅 360 고객포탈 전행현업부서의의사결정지원 빅데이터 6개과제수행 22개의 M/L 모델수행 Champion Hit Ratio 1.5 배 ~5배 고객금융이벤트감지영역확대 ( 27개빅데이터 EBM 시나리오운영 ) 미인지 SOHO 고객군도출 (129만) 데이터가시성확보 : 고객분석을위한분석변수개발 OLAP 에빅데이터정보제공

FUTURE NH BANK Artificial Intelligence Service Platform Robo-Advisor Customer Recognition KEY SUCCESS POINT : Deep Learning 으로고객의금융포지션, 자산가치및 고객의위치, 자산가치및위험요인의변화, 수익및위험허용목표와같은관련정보에대한지속적인데이터공급 위험요인의변화, 수익과위험허용목표등의정보를끊임없이공급해야... Natural Language Process Streaming Analytics Machine Learning Visualization 의사결정시스템 빅데이터분석결과시각화 Video processing Image Analytics Machine Learning Voice Banking Audio processing Machine Learning

LESSONS LEARNS # Smart Phone # AI Platform Yr 2007 Yr 2018 Yr 2017 비정형 / 정형분석 M/L Model FIRST MOVER 인물별로문자메세지 3G 인터넷 LIFE & Culture Contents

디지털트랜스포메이션과 SAS 플랫폼

디지털트랜스포메이션 DIGITAL TRANSFORMATION

디지털트랜스포메이션 GE 는소프트웨어기업

디지털트랜스포메이션 ALIBABA 는데이터기업

디지털트랜스포메이션 NH 농협은금융플랫폼기업

API 기반의에코시스템 파트너 파트너 금융회사 API API 파트너 API API 파트너

플랫폼이핵심 Buyers 디지털플랫폼 Sellers

플랫폼이핵심 타기관 통신사 Buyers API 디지털플랫폼 API Sellers 소비재 공공

금융사의디지털트랜스포메이션 Road Map 분석플랫폼도입 빅데이터인사이트확보 고객이해제고 ML / AI 역량강화 API 기반에코시스템 병렬 - 분산환경기반의고성능플랫폼 AI- 머신러닝적용이가능한플랫폼 텍스트, 음성, 비디오분석역량 전사빅데이터저장소 데이터부자 인사이트부자 인사이트탐색을통한신사업기회발굴 360 데이터확보를통한고객맥락이해 고객상황 ( 이탈위험, 신규가망 ) 에맞는상품추천 Outside-In 전략 초대용량데이터학습 자동화를통한운영비용최소화 최신알고리즘을업무에반영 ML 을통한 AI 결과설명력 완벽함보다는빠름을추구 내부역량의 API 화 ML/AI 를활용한스마트서비스개발 외부파트너와의적극적협업체계

NH 빅데이터플랫폼 저축 / 대출성향 고객소득추정 상품추천 빅데이터활용 소득 / 소비 고객 Segmentation 이벤트 / 이탈마케팅 캠페인설계 / 실행 접촉성향 개인별니즈등급 Soho 고객발굴 모니터링 / 분석 모델개발 머신러닝분석엔진 (SAS VDMML) 정형분석 (SAS EM) 비정형분석 (SAS CA) Viya 컨트롤러 작업노드 Scoop/Flume /Kafka 하둡 (HDFS, Hive)

Analytics Lifecycle Data, Discovery, Deployment 시스템을모니터링하여결과가 시간경과에따라적절하게 유지되는지확인 다양한소스의데이터를통합 가공하고변수추출 다양한운영환경에서신뢰 할수있는시스템으로전환 트레이닝및테스트를위한 데이터분할 다양한분석을실행하고 최상의알고리즘을선택 데이터속에존재하는의미를 탐색하고패턴을발굴

Analytics Lifecycle modules

SAS Viya 의특장점 편의성 HTML 5 (GUI) Visual & Programmatic 개방성 알고리즘 SAS 9.4, Python, R Java, LUA, Rest API etc. ML / DL / TA / Image Auto-tuning 고성능 인메모리엔진 High Performance 용이성 스코어링패러다임 (Analytic Store) 시스템관리

알고리즘단일플랫폼에서다양한머신러닝분석가능 머신러닝 Machine Learning 딥러닝 Deep Learning 텍스트 분석 Text analytics 이미지 분석 Image analysis 단일플랫폼에서최신머신러닝, 딥러닝, 텍스트분석, 이미지분석등다양한분석가능

알고리즘데이터준비 / 분석 / 모형비교 Supervised and Unsupervised Learning: Logistic/Linear/Nonlinear Regression Generalized Linear Models Ordinary Least Squares Regression Partial Least Squares Regression Quantile Regression K-means / K-modes Clustering Principal Component Analysis Text Mining / Boolean Rules Network Analytics/Community Detection Bayesian network models Decision Trees* Random Forest* Gradient Boosting* Neural Networks (DNN)* Support Vector Machines* Factorization Machines* Compare and Assess models Moving Windows PCA Robust PCA Support Vector Data Description Econometrics: Copula functions Count Regression Panel Data Limited Dependent Variable Models Severity Distribution Models Optimization: Linear Programming Nonlinear Programming Mixed Integer Linear Programming Quadratic Programming Network Solver Deep Learning: Fast knn / Market basket analysis DeepLearn (CNN/RNN/LSTM etc.) Feature Extraction (Auto-encoder / SVD / PCA etc.) Forecasting: ESM (Exponential smoothing) ARIMA UCM (Unobserved components) IDM (Intermittent demand) Automated hierarchical forecasting and reconciliation Data Management: Data Step / DS2 SQL Transpose Variable Binning Variable Cardinality Analysis Sampling and Partitioning Missing Value Imputation Variable Selection Image processing *Auto-tuning 이지원되는알고리즘

알고리즘효율적인자동튜닝 (AUTO-TUNING) y = f x 1 + g(x 2 ) 표준그리드탐색 랜덤탐색 = 개별적인모델훈련과평가 라틴하이퍼큐브 x 2 x 2 x 2 x 1 : 모든 hyper-parameter 에대한모든조합의경우수에대해후보모델을평가 x 1 : hyper-parameter 값을랜덤하게조합하여후보모델을평가 x 1 : hyper-parameter 에서균등분포로표본추출하고조합의경우의수는랜덤하게표본추출하여후보모델평가

편의성사용자의유형및필요에따른다양한인터페이스 Visual I/F SAS Visual Analytics Programmatic I/F SAS Studio Open Source User s I/F R, Python 등 Visual Pipeline Process Flow I/F

편의성 VISUAL INTERFACE 로지스틱회귀분석 뉴럴네트워크 Visual Graph 에서모델링 리포팅 I/F 로모델 export

편의성 VISUAL PIPELINE INTERFACE Modeling Template Class / interval target Basic / Intermediate / Advanced Advanced: Auto-Tuning (Y/N) User Defined Template 오픈소스코드

편의성기존 E-MINER 사용자를위한 PFD 모델링 EM Model Viya Model SAS Enterprise Miner R Model

고성능데이터처리성능의비약적개선 1 데이터로딩성능 Serial Loading : 90 분 ~ Parallel Loading : 2 분 ~ MPP Hadoop/DW 2 MPP 분산병렬프로세싱 2 인메모리 Query 성능 In-memory Analytic Engine 하둡 HiveQL : 120분 ~ SAS FedSQL : 1분 ~ A 사사례, Data 65GB Hadoop 12 / SAS 16 Nodes 1 빠른병렬로딩 A 사사례, Data 40+10GB Hadoop 12 / SAS 16 Nodes

용이성분석플랫폼운영에필요한것 [ 분석 / 머신러닝에사용되는리소스 ] 환경설정 DATA 데이터 데이터수집 DISCOVERY 모델링 머신러닝코드 데이터검증 머신러닝코드 서버자원관리 모델관리 DEPLOY 배포 모델배포인프라 모델성능모니터링 분석변수가공 프로세스관리

용이성새로운스코어링 (DEPLOY) 패러다임 : ANALYTIC STORE (Analytic Store) Astore 분석개체의상태에대한정보를담고있으며, 다양한환경에서실행가능한바이너리 파일로분산환경에서모델스코어링에사용 Proc Astore In-memory 상에서 ASTORE 프로시저를이용하여수행 기존스코어링방법과달리서로다른플랫폼에서사용하는경우에도 Import/Export 가필요없음 (Transportable) 스코어링환경의제약이없음 Self-Learning 의필수요소

용이성새로운스코어링 (DEPLOY) 패러다임 : ANALYTIC STORE DB [SAS 분석플랫폼의 DEPLOY] API 외부 App Streams 모델 Web Service Hadoop 디바이스

개방성 WHAT DOES IT MEAN TO BE OPEN? 1 Interface 2 Analytics Engine SAS Model Studio SAS Open Source code node SAS Model R or Python coding environment SAS Open API (R, Python, etc.) Open source Model

개방성 WHAT DOES IT MEAN TO BE OPEN? proc print data = x.hmeq (obs = 10); run; Workers Controller APIs df = s.castable( hmeq ) df.head(10) CAS Action [table.fetch] table.name = hmeq from = 1 to = 10 df <- defcastable(s, hmeq ) head(df, 10)

End of Document