마닝

Size: px

Start display at page:

Download "마닝"

영자 양
5 years ago
Views:

4 차산업혁명의핵심데이터경제 2015 EN-CORE. All rights reserved.

2 아는것과그것을행동하는것은다르다 생각하는하는백성이야산다 Contents 1. 4 차산업혁명의본질은? 2. 데이터유통과중개의역할? 3. 한국기업과정부무엇을해야하나? 1

3 4 차산업혁명의핵심데이터경제 1. 4 차산업혁명 2. 데이터유통과경제 3. 한국의데이터시장현황 2

4 데이터활용성공사례

5 산업혁명 4.0 : 데이터의연결화 The invention of microprocessors brought Automaion into plants on a large scale. 3 차산업혁명자동화 (S/W) 4.0 Water and steam power ushered in the era of mechanized production. 1 차산업혁명기계화 차산업혁명데이터의연결화 Ubiquitous sensors and big data analytics connected together into cyber-physical systems 차산업혁명대량화 Era of division of labor and mass production, Epitomized most famously by Henry Ford. What is industry 4.0

6 Internet : WEB 의발전 발신자 웹사이트 수신자 WEB 1.0 I Do 게시 WEB 2.0 You Do 상호작용자동화 발신자 웹사이트 수신자 WEB 3.0 We Do 상호연동사물인터넷스마트시티 WEB 3.0

7 가공한 Clean 데이터의연결들

8 Internet of Everything Internet of Everything is 사람, 프로세스, 사물을연결하는라인으로 데이터와정보가서로교통하는것이다.

9 데이터활용프로세스 기업, 기관의운영속도와효율성높여수익극대화및최적화제공이핵심 정제 가공 신호, 패턴 ( 인사이트 ) 분석모형개발 모형적용 수행프로세스정립 평가 데이터플랫폼통합수행내역 ( 용역측면 ) 조치 (Action) 접근 분석 시각화, 대시보드, 시뮬레이션 (Human Action) 브라우저, 모바일디바이스, 배치작업분석결과데이터베이스모형 (Model) 적용, 수행분석모형, 기계학습개발데이터신호, 패턴선택 대량데이터의최적화접근의사결정을위한비즈니스룰 Score, Decision, Alerts, Curricula (Machine Action) 웹서비스, FTP, Sockets OLAP, RDBMS, Mem/Cashed 분석모형결합 ( Ensembles) SVM, Neural Nets, Regression, K-NN, SVD, Matrix Factorization, GEO- Distance 등등 PCA, Decision tree, Chart, Clustering, 감성분석, Regression, Outlier 등등 숙련된 경험이 있는 신호생성 정제된데이터베이스데이터신호, 패턴구별 데이터접근의최적화신호생성알고리즘들 NOSQL, 인메모리, RDBMS 시계열, 통계, 이벤트, 지리위치등 인력만이 ETL, 가공 데이터저장 (data store) 데이터가공 (Transform) 데이터수집 (Extract) 현업에맞는환경구축데이터에맞는툴사용융통성있는데이터수집인터페이스 Hadoop, 인메모리, RDBMS SAS, Hadoop, 구매 ETL 툴, 자체개발툴웹서비스. 소켓 (Sockets), FTP, SQL., SAP 수행가능 데이터소스 전사운영데이터 : 고객, 오라클,SAP 등 구매데이터 : 실시간구매, 배치구매 웹데이터 : 정형, 비정형데이터 기계, 위치데이터 : 정형, 비정형데이터

10 Data Science vs. Artificial Intelligence vs. Big Data(IOT) 관계 INSPIRES ANALYTICS BUSINESS INTELLIGENCE 데이터과학 STATISTICS DATA VIZ 자동화 DATA 머신러닝 EMPLOYS ENABLES 데이터마이닝 INSIGHT 기계화 인공지능 DNN (Deep Neural Network ) FACILITATES 딥러닝 데이터연결화 빅데이터 PUSHES POST FUTHER Computer vision Natural language processing General models 대량화

11 데이터관련산업의본질파악이최우선 1. 우리가보는성공사례들은 B2C 영역 2. 빅데이터관련산업은 B2B 영역 ( 플랫폼, 데이터유통 ) 3. 빅데이터수요자 ( 중간자 B) 가아직준내부활용미진한상태 ( 기업이나기관 )1

데이터산업구분 기술및인력활용주요벤더 S ervice Management P latform AI, Web service,

.. 공장, 도시, 홈, 쇼핑, 건강, 병원, 엔터테인먼트, 운송등일상의변화주도 활용 A nalytics Management P

.. 데이터활용서비스를위한데이터분석플랫폼서비스 분석 D ata Management P latform Data Scientist,

12 데이터산업구분 기술및인력활용주요벤더 S ervice Management P latform AI, Web service, Smart factory, Mkt service, BI... 공장, 도시, 홈, 쇼핑, 건강, 병원, 엔터테인먼트, 운송등일상의변화주도 활용 A nalytics Management P latform Business analyst, Data Scientist, Analytic tool... 데이터활용서비스를위한데이터분석플랫폼서비스 분석 D ata Management P latform Data Scientist, Data engineer, Data Architecture... 데이터분석을위한데이터가공서비스플랫폼 가공 D ata C ollection IoT, Cloud, Big Data, Mobility... 만물인터넷을통한광범위네트워킹 수집

13 기업의데이터활용 5 단계 기업내데이터활용프레임워크와발전단계 1 단계 2 단계 3 단계 4 단계 5 단계 비전 (Vision) 없음생산성과비전시도각영역별채널의효율성전사내부통합연결된가치부여및인식 전략 (Strategy) 없음 고립적프로젝트, 아래로부터시도 좀더협력적생각, 여전히사일로존재 전사적통합 CRM 프로그램 서로의이익을위해협력하는가치인식 고객경험 (Customer Experience) 협력 (Collaboratio n) 개념없음 내부영역별로집중, 사일로 (Silo) 구조 개념없음 초기편협적고객위주, 사일로적 이해하는사일로수준에서집중 문화나동기의변화, 여전히사일로적 각영역별연결된비즈니스로이해하고집중 한국고객중심, 분야별, 영역별, 재구조조정 좀더넓은영역이해, 협력 고객중심공유, 목표연합적협력 프로세스 (Process) 정보공유 (Information) 내부영역별로집중, 사일로적 기본적정보의산재 초기자동화시기, 사일로적 팀기준, 산재, 최소의인사이트 사일로수준에서비용과가치의최적화 사일로수준정보공유, 인사이트발전과정 전사수준에서비용과가치의최적화 전사관여정보공유및인사이트 초기부터끝까지실제적최적화프로세스미국기업을넘어선인사이트와정보공유, 외부데이터활용 기술 (Technology) 몹시산재되고미미한기술 산재존재, 한정된역할과집중 사일로내에서높은수준의역할 전사통합수준의높은수준의역할 기업을넘어선높은수준의역할 집중영역 (Metrics) 적은내부적집중영역 산재되고한정된집중영역, 운영내부적집중 사일로내에서효율적, 고객집중부족 전사적고객집중 / 균형있는구조 목표공유, 균형있는구조, 잘연결, 정리된 미국 2000 년초빅데이터 (IOT, 외부데이터, 소셜 )

14 데이터생성주체에따른종류 파트너 : 소셜데이터

15 데이터공장 (Data Factory, Data Refinery): 데이터정제, 가공전문회사 2015 EN-CORE EN-CORE. All rights All reserved. rights reserved.

16 데이터생태계 - 개인데이터 + 사물데이터

17 데이터생태계 - 개인데이터 + 사물데이터 INDUSTRIAL 4.0 신용정보 정보브로커 협력사 DATA COLLECTORS 리스트브로커 카달로그 ICBM 미디어자료집 의료분석 DATA BROKERS (Service Platform Area) 광고분석

18 한국데이터가공시장현황 (2016 년 ) 회사이름 주사업형태 보유가공데이터 근황 SK 텔레콤지오비젼 영업조직위주 통신유동인구상권데이터모바일검색어 공공기관 POC 와사업수행 30 여건진행중, 하도업체활용 ( 분석, 데이터가공 ) 신한카드빅데이터센터 분석조직위주 카드, 은행 SK 지오비젼과협력사 BC 카드데이터사업부 데이터가공, 판매업무만 카드소비정보데이터 네이버 + 인터넷포탈다음, 네이버 소셜데이터분석위주 소셜데이터 소셜분석및전략, 트렌드컨설팅위주 KCB 영업, 분석, 데이터가공 부동산, 금융, 국가통계데이터등기본데이터인프라 금융기관위주영업 나이스빅데이터사업부 영업, 분석, 데이터가공 FA 데이터수집, 상권데이터, 시장특성데이터 공공기관, 유통업위주영업주력 LG CNS 데이터와마케팅채널소셜판매데이터, 공공데이터마케팅위주성과

19 외부, 구매데이터의기업설립역사 소비자신용보고, 분석회사에퀴팩스 신용평가서비스회사피코 마케팅서비스회사엡실론 소비자신용보고, 분석회사엑스페리안 하트행크스마케팅서비스회사 머클마케팅서비스회사 메레디스마케팅서비스회사 액시엄마케팅서비스회사 인텔리우스정보거래회사

20 Acxiom( 액시엄 ) Acxiom 은세계최대개인정보 ( 개인 1 인당 1,500 가공정보와 1,000 개의추정정보 : 정형빅데이터 ) 보유하고다국적글로벌회사에데이터판매와컨설팅 현재 Acxiom 최고상품개발담당 (2012 년 4 월입사 ) 전구글최고상품개발담당전마이로소프트상품개발담당

21 미국의데이터가공및브로커산업역할

22 미국의데이터가공및브로커산업역할 미국 DMA 에따르면전체 : 156b, 675,000 고급전문일자리창출캘리포니아 :21b, 90,000 일자리창출 글로벌데이터서비스업체현황 ( 출처 : LUMAScape) 산업분야별한국과미국비교현황 (2015 년기준 ) 마케팅서비스기업 산업구분미국한국비교 GDP( 경제규모 ) $18.1 조 $1.4 조약 13 배 데이터유통플랫폼기업 데이터가공및유통산업 $2,020 억 - - 빅데이터산업 $380 억 0.3 억원약 150 배 마케팅분석기업 - 경제규모비교 : 미국은한국의약 13 배수준 (2015 년 GDP 미국 : 18.1 조 $, 한국 1.4 조 $) 데이터수집 / 가공 / 융합기업 - 빅데이터시장 : 380 억 ( 약 46 조원 ) 수준 한국 ( 약 3 천억원 ) 의약 150 배수준 공공오픈데이터보유기관 빅데이터 H/W, S/W 기업 고객데이터보유기업 검색 / 소셜데이터보유기업 기존전통기업 IBM, 오라클, SAP HP, MS, 테라데이터, 델, SAS 모바일 / 위치보유기업 최신전문기업팔렌티어, 스플렁크, 유시그마, 호튼웍스 - 데이터가공및유통산업에서 2,020 억불경제적효과와 약 97 만개의일자리를창출 * 출처 GDP 2015 GDP 현황 IMF(International Monetary Fund) 제공빅데이터시장 ( 미국 ) Wikibon 2015 데이터가공및유통산업 ( 미국 ) The value of Data 2015, DMA, DDMI 빅데이시장 ( 국내 ) NIA, 2015

23 미국의데이터가공및브로커산업역할

24 활용사례 ( 수요측면 )-IOT

25 미국의데이터가공및브로커산업역할 ( 스마트시티 ) 데이터표준, 가공필요

26 제조에서의데이터활용의역사 (GE 케이스 ) Lean Six Sigma Ford Deming 60 s Toyota Production System Quality Improvement Tools 70 s Toyota Production System Reduce Variation 80 s Just in Time TQM 90 s 00 s Lean Production Six Sigma Lean Sigma 10 s

27 데이터혁명 농업혁명 제조혁명 의료혁명 전통기업의데이터혁명 물류혁명 유통혁명 금융혁명 DNA 데이터분석 이상감지, 데이터분석 데이터가공 / 유통 스타트업기업의데이터혁명 O2O 개인자산관리 트위터뉴스

28 데이터경제시스템 데이터사용자 Purchase market data directly (solid arrows) or indirectly (dashed arrows) Data contributors By sending bids and offers to trading venues Brokers Data consumers Purchase market directly or indirectly Data vendors Data compilers Aggregate and publish data from multiple trading venues Post-trade Data products 오픈데이터 Data consumers 민간데이터 Constructors of pre- and post-trade data Accept, verify, aggregate and match orders to construct market data

29 단계별데이터활용실제로드맵사례 ( 제안요청서정리 ) 1 단계 단계 단계 2018 소비자 빅데이터서비스플랫폼구축 소비자빅데이터분석기반조 성, 시범서비스구축 소비자피해유형별정보큐레이팅체계구축피해유형별 DB구축 & 데이터품질체계구축 데이터분석개방시스템구축및분석서비스확대소비자피해정보활용서비스활성화 XXX 기관 [ 식품분야 ] 예측분석기반구축 / 빅데이터플랫폼구축 VOC 통합관리, 정보공유포탈 [ 의약품, 바이오분야 ] 예측분석서비스확대분석기능, 데이터통합확대 [ 의료기기화장품분야 ] 위해평가서비스, 예측분석서비스고도화 : 위해노출영향평가분석, 연관분석, 대국민서비스, 국민참여소통강화

30 2016 년데이터활용현황사례 소비자 식약처 식품유해 내부데이터 소비자민원 상담 (750 만건 ) 성별, 연령, 지역, 품목, 피해구제 (37 만건 ) 위해정보 (51 만여건 ) 신청이유, 처리결과등 성별, 연령, 지역, 위해품목, 위해부위, 위해 위험원인등 사건명, 사건내용 사건명, 위해경위 통합식품안전정보망 12 개대분류, 78 개중분류, 175 종정보 ( 부처활용 116 종, 식약처 지자체보유정보 59 종 ) * 별첨 - 식품행정통합시스템 - 식품정보활용시스템 게시정보 - 기관홈페이지, 스마트컨슈머, CISS 홈페이지, 어린이안전넷홈페이지 - 식품안전정보포털 외부데이터 소셜 DATA 공공 DATA SNS( 해외직구 ), 커뮤니티 ( 직구관련 ), 쇼핑몰 ( 해외식품 ), 뉴스 / 미디어 / 시민단체등 ( 모니터링 ) 국가기관발표정보관련정보수집식품유통정보, 판매실적 ( 농식품부, 업체 ) 메가서비스모니터링 ( 네이버트랜드등 ) 쇼핑몰의제품등록량모니터링 국가기관발표정보 ( 건보 - 진료내역,, 의약품처방정보, 건보 - 검진정보, 심평원 - 의료정보현황 ) 식품유통정보 ( 망외 DB) 수집기 ( 솔루션 ) 내부연계 식품생산지별기후정보 ( 기후변화대응식품안전관리연구사업단 ) 식품판매실적 ( 농촌경제연구원 ) 메가서비스모니터링 ( 네이버트랜드 ) 외부연계 비정형데이터 상담, 피해구제, 유해정보 - 사건내용, 각부서생산자료 위의외부데이터중수집데이터 (SNS 등 )

31 빅데이터활용대부분의문제 > 통합과가공의문제 DATA Value 1. 데이터통합, 관계, 원인또는분산등의복잡성 2. 빅데이터기술수행하기위한전문가의부족 3. 활용과정의고비용 4. 빅데이터기술의디자인 ( 기획 ) 과적용을위한긴시간 5. 분석전문가의부족 6. 방대한데이터에서활용가능한데이터의선택 7. 낮은데이터품질 8. 기존의분석시스템과의통합의어려움 9. 충분하지않은컴퓨팅자원 ( 분석처리 )

32 빅데이터와 IOT : 가치창출영역 Big Data Revenue by Sub-Type,2013 Professional Services 6148 compute Storage Applications SQL Cloud Infrastructure Software Networking NoSQL (In $US millions)(n=$18,814) Figure3- Source : Wikibon 2014 오픈소스의기술평준화시대에고급인력즉사람이답이다!

33 빅데이터플랫폼생태계 ( 고급기술인력 mapping) 기간계 Operational System Extract, Transform, Load (batch, near real-time, or real-time) Streaming/ CEP Engine 비즈니스분석가영역 SMP Operational System Machine Data DBA 데이터모델러데이터아키텍트 Hadoop Cluster Data Warehouse Virtual Sandboxes DBA 데이터모델러데이터아키텍트 Dept Data Mart BI Server Casual User Top down Architecture Bottom-up Architecture Web Data 데이터과학자영역 In-memory BI Sandbox Audio/Video Data 데이터엔지니어빅데이터엔지니어데이터애널리스트 Free- Standing Sandbox Ad hoc query DMP External Data Documents & Text Analytic platform or Non-relational database Power User AMP

34 한국데이터시장현황 (2016 년 ) 정부 민간 - 데이터유통가공필요성인식 - 데이터유통가공시범사업시행중 ( 정보화진흥원 ) - 각종데이터융합사업추진 ( 인공지능데이터구축 ) - 내부데이터통합및활용모색 - 외부데이터시범활용 - 대기업중심사업모델고민 - 기초융합빅데이터제작및활용지원 ( 데이터진흥원 )

비식별화데이터의합법적연결, 활용사례 국가의료금융마케팅 미국 국립의료기관 (

35 비식별화데이터의합법적연결, 활용사례 국가의료금융마케팅 미국 국립의료기관 ( 연결, 결합식별 ) CB 사 : 신용관리, 마케팅 민간브로커 : 개인식별 영국 국립개별의료기관 ( 연결식별 ) CB 사 : 신용관리, 마케팅 민간브로커 : 개인비식별지역단위, 건물단위 일본익명가공정보사업자 CB 사 : 신용관리익명가공정보사업자 한국 CB 사 : 개인이허락 민간기업 : 지역별시장특성, 지역별유동인구 ( 통신, 카드사 ), 법인단위소득 Target 지역추천

36 성공적데이터경제생태계를위한제언 데이터유통활성화를위한범정부차원의종합적전략수립필요 1. 데이터보안과개인정보활용의분리 ( 데이터폐기및마케팅활용규제관련등 ) 2. 개인식별과비식별이전에개인정보활용을위한공감 ( 민감데이터 VS. 비민감데이터, 불법 VS 합법이슈로 ) 3. 데이터과학을위한민간데이터의통합과정제문제 ( 데이터유통산업의활성화 ) 4. 공공개방데이터의품질의문제 5. 데이터공유및거버넌스관련정책프로세스등 ( 조직과문화의 Silo 극복 )

37 대한민국 21 세기생존전략 : 데이터경제

38 Thank you 본문서는 엔코아가기밀정보및영업비밀을포함하고있으므로, 제공된목적외에무단으로복제되거나배포될수없습니다.

마닝

아는것과그것을행동하는것은다르다 생각하는하는백성이야산다. - 함석헌 4 차산업혁명핵심데이터가공플랫폼 (DMP): 스마트시티사례중심 2015 EN-CORE. All rights reserved. Data Scientist : 엔코아데이터서비스센터장김옥기 Data Driven Strategy Consulting okkim@en-core.com 4 차산업혁명의핵심데이터가공플랫폼