Insight Korea Big Data Solution
Insight Korea Big Data Solution System Framework 비정형데이터를정형데이터와결합하여빅데이터인프라를통해사용자요구에맞는서비스결과를제공합니다. Customer Call e-mail Web ARS 전화상담 Virtual Agent ( 가상상담원 ) 대화관리 대화생성 음성합성 녹취서버 Batch Realtime STT ( 음성인식 ) 음성인식 음성학습 TA ( 텍스트분석 ) NLP Text Mining Detection Deep Neural Network 빅데이터분석인프라 Analysis Model STT/TA 결과소셜빅데이터정형데이터 Python R Solr Machine Learning Impala/Spark Hadoop 게시판상담채팅상담이메일상담 분석가 사용자 UI 의사결정자 SNS Legacy 고객 DB 상품 DB 거래 DB 사용자주도분석 Dashboard Crawling ( 정보수집 ) Analysis ( 텍스트분석 ) Insight 도출 ( 데이터가공 ) User-Driven Analysis ( 데이터분석 ) 설정 NLP 목적 / 관점 목적 / 관점 수집 저장 Text Mining Issue/Risk Detect 키워드정제 데이터추출 키워드기준 데이터추출 Client 의사결정활용 시각화
Insight Korea Big Data Analysis Process 01 02 03 04 원천 Data 수집 / 전처리분석활용 내부 Data Pre-Processing Text Mining (Unstructured) Risk 대응 자연어처리 (NLU) Keyword 추출 위기감지 불만요인분석 경영층보고서 이슈분석 Contact Center, A/S Center 메일, 제품정보, 고객리뷰등 외부 Data Taxonomy Speech to Text Web Crawling Classification 감성분석 Data Mining (structured) Marketing 활용 제품개선 마케팅효율화 SCM 운영개선 신제품개발 기업이미지개선 Statistics 제공방법 Association Risk Scoring 트위터, 페이스북블로그, 뉴스, 인스타그램 Text Analysis Dashboard Report
Insight Korea Big Data Solution 분야
산업별 Big Data 활용분야? 산업 빅데이터기반광고 소비재산업마케팅 금융기관리스크관리 콜센터효율화빅데이터분석 헬스케어빅데이터 IoT 홈오토메이션 비즈니스활용영역 음성인식자연어처리감성분석이미지분류데이터마이닝빅데이터딥러닝질의응답
마케팅활용분야 의
Insight Deep MininG Services 의 Marketing 활용분야 트랜드변화요인과트랜드방향은? 라이프스타일변화감지 고객의니즈변화및핵심가치분석 새로이부각되는상품 / 서비스탐색 국내 / 해외신상품동향및향후벤치마킹은? 해외 / 국내신상품 / 서비스의동향분석 신상품의핵심경쟁요인분석 새로도입및벤치마킹가능한상품 / 서비스아이디어탐색 신상품의초기반응과대응책은? 자사신상품의수용도및개선점분석 신상품주요고객포지셔닝조사 신상품의핵심성장 / 장애요인분석 커뮤니케이션효과및확대방향분석 기존상품의개선점및 Innovation 방향은? 상품반응및매출증감변화의원인탐지 Renovation 방향분석
Insight Deep MininG Services 의 Marketing 활용분야 경쟁상품의경쟁력및판매전략은? 경쟁상품의강점 / 약점분석 경쟁상품들의온라인채널판매전략조사 온라인유통채널탐색 소재나제품요소들은어떻게소비자효익으로전달해야하는가? Communication 방법분석 PR, Campaign을위한소비자핵심언어조사 광고 / 홍보효과는? 광고 / 홍보효과분석 광고모델의적합성 / 효율성분석 광고로인한상품의포지셔닝변화조사 온라인몰, 홈쇼핑, 소셜커머스등유통에서의성장가능한품목은? Sales 집중품목선정 고객선호품목예상 상담의업무효율화는어떻게할수있는가? 상담사교육방안및역량분석 고객유형별응대방안차별화 상담사성과강화방안모색
Insight Deep MininG Services 의 Marketing 활용분야 TM 의업무효율화와매출증대를위한방법은? 고객유형별대처방안차별화를통한매출증대방안모색 TM의불완전판매원인및개선방안탐색 상담원의시너지기능강화를위한관리시스템탐색 Q/A, TM, A/S 의생산성을높이는방안은? 기록녹취및즉각분류시스템을활용한생산성향상방안모색 상담중주요정보감지및대비시스템구축 수익성증대를위한상담인력감축방안모색 고객들의불만원인을감지하고즉각대처할수있는방안은? 고객이탈가능성감소를위한최적의대처방안모색 고객불만정도예측및원인해결을위한방안모색 고객들의요구와소리를통합해서총괄관리는어떻게해야하나? 다양한고객접점에서접수되는정보통합및일괄관리시스템구축
Deep Learning 기반 Data Minging 을통한활용분야 개별고객맞춤상품 / 서비스추천 이탈 / 유입고객예측및비율추정 상품 / 서비스가입 / 구입율추정 가격시뮬레이션 / Dynamic Pricing Optimal Media Planning Fraud Detection, Customer Retention, Pricing 소비 Trend/ 사용패턴추정 환자초기진단 Early Detection of Impending Physiological Disorder (EDIP) 거시환경변화에따른총수요시장변화추정 Sales Promotion 고객군파악
를 활용한통합 서비스
Integrated VOC Management VOC 관리체계에 Big data 가활용된배경 과거대부분의기업들은수집된 VOC 데이터를제대로활용하지못하고 VOC 해소여부만을모니터링하였으나이제는 Big data 분석, 가공및활용방안을도입하여진정으로고객이원하는것이무엇인지확인할수있게됨 통합 VOC 관리의의미 Ⅰ 콜센터중심 VOC 관리 Social Data 통합 VOC Blog 커뮤니티 SNS 콜센터 VOC Portal 검색 소셜데이터포함, 기업내 외부 VOC 통합관리 SNS Blog 콜센터 VOC 커뮤니티 Portal 검색 홈페이지 Q&A 홈페이지 Q&A 통합 VOC 란 Call Center 등경로로유입된고객의직접적 Voice 뿐만아니라 Social Network 상에서교환되고있는간접적 Voice 까지 통합 관리하는모델을말합니다.
Integrated VOC Management 통합 VOC 관리의성공요소 통합 VOC 관리의성공의열쇠는 Technology 측면의접근만이아닌정보를어디에활용할수있는지명확하게정의하는것 Insight 통합 VOC 추출관리의의미 Ⅱ 신상품개발 마케팅전략 상품 / 서비스개선포인트도출 고객응대개선 조기경보 담당부서로의적극적인피드백및활용프로세스구축 관련부서활용 제품 / 서비스개발 마케팅 고객관리 리스크관리 서비스불만요인및추가필요기능정의 캠페인 ROI 평가체계구축 Customer Experience 체계연계 부정적평판조기대응 통합 관리의두번째측면은 Insight 추출후관련부서로의피드백프로세스까지포함한다는것입니다.
Integrated VOC Management Our Service Category_ 서비스유형 고객사의규모와요구사항, VOC 활용목적에따라통합 VOC 관리체계및데이터분석플랫폼을고객사에직접도입하거나분석서비스형태로제공받는크게두가지방식으로서비스유형을선택하시거나, 두가지방식을결합한하이브리드방식의도입도가능 VOC 분석서비스제공 (Analysis as a Service) + VOC 분석체계도입지원 (Embedding) Deep Mining 이보유하고있는 VOC 분석엔진과 Tool 을활용한분석및인사이트리포트제공서비스 고객사의자체적인 VOC 분석체계구축을지원하는서비스 Deep Mining 이보유하고있는 VOC 분석엔진과 Tool 을활용하여콜데이터또는 SNS 상의데이터를분석하여찾아낸인사이트를리포트로제공하는서비스. 월별또는분기별등다양한주기로정기적인분석서비스를제공 VOC 를수집 / 가공 / 분석 / 활용하는체계를자체적으로구축하고자하는고객사를종합적으로지원하는서비스 진단및마스터플랜, 개별고객사맞춤형통합 VOC 분석체계설계, 분석엔진및툴도입지원, 시스템구축지원
분석
Categorical Continuous Machine Learning Algorithms Machine Learning Algorithms (sample) Unsupervised Supervised Clustering & Dimensionality Reduction - SVD - PCA - K-means Regression - Linear - Polynomial Decision Trees Random Forests Association Analysis - Apriori - FP-Growth Hidden Markov Model Classification - KNN - Trees - Logistic Regression - Naïve-Bayes - SVM
H2O Modeling 과정및 Output
Data & Text Mining Analysis Contents 언어분석 텍스트마이닝 DATA 마이닝 문장분리 어휘중요도분석 고객분석 형태소분석 연관어분석 Risk 탐지 어절단위구문분석 감성 / 속성분석 상품 / 서비스반응분석 개체명인식 이슈군집분석 마케팅효과분석
실시간결과제공 End User-UI Main 화면내용 Activate 고객이탈방지리스크관리서비스개선잠재고객발굴신규상품개발 Analyse CONTEXT EMOTION AUDIENCE ROOT-CAUSE PREDICTIVE Data Processing 음성인식음성인식학습 감성분석 TextMining 자연어처리 산업별트렌드이벤트 / 리스트키워드 / 연관어분석 지도학습비지도학습 Management 사용자사전키워드 TEXONOMY HMD COLLECT CONNECT Voice ( 음성 ) Social (SNS) Web Crawling Log ( 로그 ) Structured Date ( 정형데이터 ) EXTERNAL DATA INTERNAL DATA
빅데이터분석 > Keyword Category 업무유형 해지처리 보상금신청 계약 고객요구사항없음 RC교체 보험 _ 대출 보험 _ 계약 고객불만사항없음불만 고불만 선택한부분만화면에표시됨 - 업무유형은 Default로 1개이상체크되어야함 Period 2016.03.01 ~ 2016.03.07 화살표를이동하여기간조정가능 업무유형 업무유형별키워드비율 고객요구사항 / 불만사항 2 5 문서리스트 1 3 1 5 해지처리 30% 보험금신청 24% Volume of the Calls for the current selection 업무유형클릭시키워드수표시 12 차트 or Count 수를클릭했을때해당문서리스트를표시 Count Category 업무유형별고객요구사항과불만사항표시 - 업무유형클릭시달라짐 키워드기준업무유형별전체 Count, 업무유형별고객요구사항, 업무유형별고객불만사항표시 Calls Count # PID DID Date File 유형 Sentence 1 hli_data2 20160222 20000 11U^KGIQ07811369_CONV RC 교체 3 3 4 5 3 5 7 8 3 4 5 고객요구사항 고객불만사항 해지처리 12 7 2 보상금신청 2 1 1 계약 1 1 1 3 1 3 고객요구사항 1 2 고객불만사항 6 6 7 140104 140105 140106 140107 140108 140109 140110 140111 140112 140113 140114 140115 140116 Volume of the Calls for the current selection 고객요구사항 or 고객불만사항 Count 여보세요. 네여보세요. 네고객님여기아까. 방금전에통화했던한화생명김현정인데요. 네도현진님되실까요. 네네고객님다름이아니고고객님아까. 외환은행으로약관대출이자변경해드렸는데네부분고객님이십오일날까. 구월달이십오일부터이자부분출금이되세요. 그러세지금네확인해보니까. 고객님아까. 가상계좌말씀해주셨는데요. 네약관대출은고객님그가상계좌가있습니다. 우리은행요. 네네예알겠습니다. 고객님근데우리은행계좌번호하구요. 금액도같이문자로좀보내드릴까. 알겠습니다. 네김현정었습니다. 늘건강하세요. 3 8 2 hli_data2 20160222 20001 10UW$TK$10411368_CONV 자동이체 행복을전하는상담원김은영입니다 3 hli_data2 20160222 20002 1-MQL2KA11311371_CONV 카드수납 행복을전하는상담원아라입니다문서리스트를클릭했을때팝업형태로표시 4 hli_data2 20160222 20003 1-G$HH($09911370_CONV 서비스불만 고객과함께하는상담원조희주입니다
빅데이터분석 > Solr 검색 APACHE Solr
QA 효율화 > 이슈 Call 분석 Category 상담그룹 기간별이슈추이 전체 상담원 김상담 1. 김상담 2. 이상담 3. 박상담 4. 5. 6. 7. 8. 9. 10. 유상담 11. 12. 5 3 5 3 5 7 140104 140105 140106 140107 140108 140109 140110 140111 140112 140113 140114 상담원이슈 Call 빈도수 10 7 김상담이상담박상담 날짜별 / 누적 Issue Score 이슈건수 : 10 / 녹취수 : 12 선택상담원이슈건수누적 상담원 : 김상담 상담일 : 2016-03-09 Cumulative Sum: 37:00 6 8 4 140101 140102 140103 140104 140105 140106 5 선택상담원이슈건수 상담일 : 2016-03-09 Day Sum: 15:00 3 6 Period 2016.03.01 ~ 2016.03.07 상담원 TOP 목록 이슈 녹취순위상담그룹상담원명이슈건수녹취수 선택상담원이슈추이 모든상담원이슈평균 선택상담원이슈 1 그룹 1 김상담 10 12 2 그룹 2 이상담 8 10 3 그룹 3 박상담 5 6 140104 140105 140106 140107 140108 140109 140110 140111 140112 140113 140114
Insight Korea Big Data Solution 차별점
Solution 차별점 최고의 STT 인식률음성톤분석통합강력한탐지력을가진다 중탐지사전 딥러닝감성분석및 분류엔진 자동사전보강 프로세스 최신머신러닝분석툴 자연어검색엔진 빅데이터분석 실시간음성인식및 최고성능 H2O 내장 Solr 내장 인프라 텍스트분석 한국어 NLP
인식률 1. 최고의 STT 인식률 현재까지달성한인식률분석결과도메인별분리학습을실시할경우평균인식률이음절단위 85% 이상, 키워드단위 95% 이상도달. DNN 의로직으로볼때인식률의한계선은없으며학습에의해서계속개선. STT 新버전 (DNN) 85% 현재시점키워드최고기록 95% 현재시점음절최고기록 94.78% 평균키워드인식률 95% 이상 평균음절인식률 90% 이상 77.3% STT 키워드기준 STT 음절기준 舊버전 100 시간학습 新버전 100 시간학습 normal 新버전 100 시간학습최고기록 300 시간학습
2. 음성톤분석통합 음성의 Volume / Pitch 분석등을추가해서고정밀감성분석가능 Raw Data (pcm) Pitch 산정위한가공데이터 Pitch & Volume Data by Time Spectrum Analyzer ( 저 / 중 / 고음 ) Volume 최종판정
3. 강력한탐지력을가진다중탐지사전 다중탐지어사전 (HMD) 은 Text Analytics 엔진에의해서지원됩니다. i-voc 를활용한다중탐지어구현 Hierarchical Multiple Dictionary ( 다중탐지어사전 ) 중요어휘도기술 + 세부감성분석 + 내용기반자동분류기술
4. 딥러닝감성분석및분류엔진 기존의알고리즘대비높은성능을보이는딥러닝감성분석엔진과분류엔진을내장 92 SVM Iatent SVM CNN(relu,k3) CNN(relu,k5) Data Set Model Accuracy 91 90 SVM (word feature) 85.58 89 88 87 Mobile Train : 4543 Test : 500 RAE (word feature) + Word Embedding CNN (relu, karnel3, hid50) + Word embedding (word feature) 87.57 91.20 86 CNN (relu, karnel3, hid50) + Random init. 89.00 85 0 50 100 150 200
5. 자동사전보강프로세스 데이터가쌓일수록정확해지는딥러닝 & 탐지사전간자동사전보강프로세스내장됨 3. 딥러닝학습 국민연급 딥러닝 (Deep Learning) 엔진 다중탐지어사전 (HMD) L1 국민연금 국민연금 $ 보험료 국민연금보험료인상시기를놓치면국채발행이라는최후의수단을통해연명할수밖에없다는우려가제기됐다. Classifier Output Input Data, Label Feature Extractor 국민연금 $ 국채발행 인상 @ 시기 @ 놓치 어휘분류체계 (Taxonomy) L1 재해 L2 화산폭발 2. 사전기반탐지 재해 일본화산폭발 ' ' 아소산분화 ' 일본각지에서자연재해가잇따르고있다. 4. 학습이미지획득 종합사전방식과기계학습방식이결합된종합분석결과 국민연금 레저 부과방식 수상스포츠 고갈 한강홀릭 쇼핑 백화점 홈쇼핑 1. 사전 작업 원문 국민연금보험료인상시기를놓치면국채발행이라는최후의수단을통해연명할수밖에없다는우려가제기됐다. 일본화산폭발 ' ' 아소산분화 ' 일본각지에서자연재해가잇따르고있다. 재해 5. 분류엔진실행 일본기상청은 15 일이분화가땅속의마그마에닿은지하수등이수증기가돼폭발하는 ' 마그마수증기폭발 ' 일가능성이높다고발표했다. 6. 엔진실행결과사전반영
6. 최고성능한국어 NLP( 자연어처리 ) NLP 는한국어처리핵심기술로서한국어처리를위한대용량의분석사전과정확성향상을위한기계학습기반의기술이포함되어있음. 대한은행이인터넷을통해중도금대출서류작성을편리하게할수있는서비스를마련했다. 복잡한중도금대출을온라인으로신청 접수할수있는중도금대출온라인신청서비스를시행한다고 25 일밝혔다. 제안 NLP 특장점 01 문장분리 02 형태소분석 03 개체명인식 수집문서를기계학습에기반한문장분리모델을통해문장단위로분리 대한은행이인터넷을통해중도금대출서류작성을편리하게할수있는서비스를마련했다 복잡한중도금대출을온라인으로신청 접수할수있는중도금대출온라인신청서비스를시행한다고 25일밝혔다 수집문서를가장작은의미단위인형태소단위로분할대한 /nc+ 은행 /nc+ 이 /jc 인터넷 /nc+ 을 /jc 통하 /pv+ 어 /ec 중도금 /nc 대출 /nc 서류 /nc 작성 /nc+ 을 /jc 편리 /nc+ 하 /xsm+ 게 /ec 하 /px+ ㄹ /etm 수 /nb 있 /pa+ 는 /etm 서비스 /nc+ 를 /jc 마련 /nc+ 하 /xsv+ 었 /ep+ 다 /ef 문장에포함된인물명, 기업명, 장소, 숫자표현등의개체명 (Named-entity) 인식 <<OGG_Economy: 대한 /nc+ 은행 /nc>>+ 이 /jc 인터넷 /nc+ 을 /jc 통하 /pv+ 어 /ec 중도금 /nc 대출 /nc 서류 /nc 작성 /nc+ 을 /jc 편리 /nc+ 하 /xsm+ 게 /ec 하 /px+ ㄹ /etm 수 /nb 있 /pa+ 는 /etm 서비스 /nc+ 를 /jc 마련 /nc+ 하 /xsv+ 었 /ep+ 다 /ef 170여분류의개체명인식성능제공 ( 개체명분류관련세계최다분류체계구축 ) 각단계에걸쳐, 전처리 / 후처리를위한각종사전, 규칙등이적용가능하여신조어등에효과적으로대응가능 04 구문분석 문장에서주어, 목적어, 서술어등의수식관계문장구조식별 (((((( 대한은행이 /NP_SBJ 인터넷을 /NP_OBJ 통해 )/VP ((( 중도금 /NP 대출 )/NP 서류 )/NP 작성을 )/NP_OBJ 편리하게 /VP_AJT 할 )/VP_MOD 수 )/NP_SBJ 있는 )/VP_MOD 서비스를 )/NP_OBJ 마련했다 )/ROOT
6. 최고성능한국어 NLP( 자연어처리 ) 산업도메인및고객특성에유연한대처가가능하도록대용량기본사전및사용자사전을제공 형태소분석사전 기본사전 30 만어휘 기분석사전 ( 부분어절에대한형태소분석결과를미리구축하고다양한복합명사에대한복합어분해사전포함 ) 160 만어휘 인명및기타분석사전으로약 10 만어휘구축 개체명사전 15 개대분류 : PERSON, STUDY_FIELD, THEORY, ARTIFACTS, ORGANIZATION, LOCATION, CIVILIZATION, DATE, TIME, QUANTITY, EVENT, ANIMAL, PLANT, MATERIAL, TERM 170 여유형에서약 360 만어휘에대하여개체유형을부착한사전을구축 이형태인식사전 축약형 ( 건국대학교 -> 건대 ), 혼용형 ( 국민학교 -> 초등학교 ), 약칭형 ( 미래창조과학부 -> 미창부 ), 별칭형, 이동형, 생략형등다양한이형태표현에대하여원형복원사전을통해일관성있는어휘관리를지원함 약 8 만어휘에대한분석사전구축
7. 실시간음성인식및텍스트분석 실시간 STT 뿐만아니라실시간 TA 까지완벽히지원됨 Real-Time STT-TA : 실시간 Text 전환, Keyword 분석, 패턴분석, 감성분석및콜분류와요약 녹취파일 수집 / 분배서버 음성인식서버 TA 서버 결과처리 분석서버 Web/WAS Dashboard STT NLP 수집 분배 STT STT STT 키워드 패턴 감성분석 콜분류 요약 Impala Solr Hadoop 실시간이슈 Keyword VOC 전사 QA 평가상담요약분류
Cluster Classify Regression Trees Boosting Forests Solvers Gradients 8. 빅데이터분석인프라 비정형 ( 음성 / 텍스트 ) 과정형데이터, 내부와외부 VOC 를아우르는통합플랫폼입니다. 내부 시스템 내부 데이터 I/F 정형 데이터 고객사정형 DW 정형분석 STT/TA 영역 배치분석 외부 시스템 외부 데이터 I/F 비정형 데이터 STT 음성인식결과 언어모델학습 음성모델학습 NLP 구문분석 개체명인식 형태소분석 문장분리 TM 내용기반자동분류 감성분석 연관어분석 어휘중요도분석 H D F S H2O Prediction Engine Rapids Query R-engine In-Mem Map Reduce Distributed fork/join Memory Manager Columnar Compression SDK/API Nano Fast Scoring Engine Deep Learning Ensembles 시 각 화 사용자 Streaming 영역 Impala R Spark 실시간분석
9. System Infra & 자연어검색엔진 Solr 내장
10. 최신머신러닝분석알고리즘제공 통계적분석 선형모델 (GLM) Cox Proportional Hazards Naïve Bayes 앙상블 Random Forest Distributed Trees GBM R 패키지 - Super Learner Ensembles 깊은신경망 Multi-layer Feed -Forward Neural Network Auto Encoder Anomaly Detection Deep Features 군집화 K-Means 차원축소 Principal Component Analysis Generalized Low Rank Models 해결사 & 최적화 Generalized ADMM Solver L-BFGS (Quasi Newton Method) Ordinary Least-Square Solver Stochastic Gradient Descent 데이터먼징 Integrated R-Environment Slice, Log Transform
REVOLUTIONARY, This word pretty much describes data analysis era in which we live. Big data analysis is a do-or-die requirement for today s businesses. You will experience big insights that you have not seen through Deep MininG, which is the big data service of Insight Korea. We are much different from traditional marketing researchers or data scientists who are based on statistics. Our research-based data scientists can turn big data into real big insights! You will get more than you expected from our big data service. www.insightdeepmining.com