슬라이드 1

Size: px

Start display at page:

Download "슬라이드 1"

복희 남궁
7 years ago
Views:

1 BIG DATA 분석의 성공사례와 DATA SCIENTIST의 미래 전망 구방본 이사 Copyr i g ht 2012, SAS Ins titut e Inc. All rights res er ve d.

2 강의 목적 본 강의는 다음 질문에 대한 답을 찾기 위한 것: 기업에서 활용중인 빅데이터 분석 플랫폼 형태는? 빅데이터 분석의 산업별 활용 유형은? 비즈니스 애널리틱스와 데이터 사이언티스트 (Data Scientists)와의 역할은? 데이터 사이언티스트의 미래 전망은? Copyr i g ht 2013, SAS Ins titut e Inc. All rights res er ve d.

3 Big Data Analytics Framework 내부 데이터 기간계 ( EUA ) End User Analytics Data Add-In Office Integration ODS E-DW EG+RPM 외부 테이더 Data Quality Big Data Farm A-DW Visual Analytics Social Data Service Crawler SNS FDC CDR Packed-Model ABT Analytic Media Workbench Sandbox CEP Visual Analytics Grid In- Database In- Memory

A-DW Visual Analytics Social Data Service Crawler SNS FDC CDR Packed-Model

4 Quiz 아버지께서 방에 들어가셨다. 형태소 분석? => 아버지/께서/방/에/ 들어가다/시/었/다 /. (명사/주격조사/명사/부사격조사/ 동사원형/존칭어미/과거어미/종결어미/)

5 텍스트 분석 오류 Re : 갤럭시s4 vs 아이폰5s 개인적으로 갤럭시S4를 샀는데 화면도 크고 화질도 깨끗하고 너무 좋아요 게임을 하는 데 끊김 없이 너무 좋아요 그런데 제 여친은 아이폰5s를 샀는데 화면이 너무 작아 구리더라구요. 갤럭시S4 화면크기 : 긍정 갤럭시S4 화질 : 긍정 갤럭시S4 속도 : 긍정 아이폰5S 화면크기 : 긍정 아이폰5S X화질 : 긍정 아이폰5S 속도 : 긍정 아이폰4 쓰다가 갤5로 넘어와서 화면이 커서 체감지수가 심히높기도 하고 배터리 겁나 짱짱 하고 인터넷 발열도 잘못느끼겠고 그런데 지문 인식 오류가 잦긴한데 편하긴 하네요 아이폰5S 화면크기 : 부정

갤럭시S4 화면크기 : 긍정 갤럭시S4 화질 : 긍정 갤럭시S4 속도 : 긍정 아이폰5S 화면크기 : 긍정 아이폰5S X화질 : 긍정 아이폰5S

Unstructured 데이터분석? Unstructured Data Refined Information People 관심사항, 성향, 취향, 영향력, 위치, 연령대, 네트웍망 내 위치 HeonSh????: 사람 많지는 안았나요? RT @lh???: 하루 휴가라 우리 가족 롯데월 드를 다녀왔습니다. 삼바 리오 축제 엄청 좋았습니다.

6 Unstructured 데이터분석? Unstructured Data Refined Information People 관심사항, 성향, 취향, 영향력, 위치, 연령대, 네트웍망 내 위치 HeonSh????: 사람 많지는 안았나요? 하루 휴가라 우리 가족 롯데월 드를 다녀왔습니다. 삼바 리오 축제 엄청 좋았습니다. 삼성카드 자유이용권 50% 할인, 롯데카드 입장권 무료. 15,000원에 우리 식구 입... 수집 분류 Contents 관심 주제(브랜드, 서비스, 상품, 품질, ), 긍/부정, 매체, 작성일 분석 (정성/정량) Relation 소속 그룹, 구성원, 그룹 성향, 관계 강도 Search KM, 검색

???: 사람 많지는 안았나요? RT @lh???: 하루 휴가라 우리 가족 롯데월 드를 다녀왔습니다. 삼바 리오 축제 엄청 좋았습니다.

7 텍스트분석 - 의미 기반 정확한 분류 복문의 문장 구조에서 의미가 다른 문장을 의미에 따라 분류

8 텍스트분석 - Target detection & opinion holder 기능 좋아하는 대상 찾기(target). 좋아하는 주체 찾기(holder).

텍스트분석 - 논문 중복 검사 아이뉴스24 애플 "20억 달러 배상" vs 삼성 "피해 과장" 기사입력 2014-04-02 09:03 17 <아이뉴스24> 애플, 특허권 5개 제한 조치에 불만 제기 이날 공판에서 애플 측은 특허권을 다섯 개로 제한한 법원 조치에 대해서도 강한 불만을 제기했다.

9 텍스트분석 - 논문 중복 검사 아이뉴스24 애플 "20억 달러 배상" vs 삼성 "피해 과장" 기사입력 :03 17 <아이뉴스24> 애플, 특허권 5개 제한 조치에 불만 제기 이날 공판에서 애플 측은 특허권을 다섯 개로 제한한 법원 조치에 대해서도 강한 불만을 제기했다. A IT는 아이뉴스24 연예ㆍ스포츠는 조이뉴스24 새로운 시각 즐거운 게임, 아이뉴스24 게임 메일로 보는 뉴스 클리핑, 아이뉴스24 뉴스레터 (Copyright c 아이뉴스24. 무단전재 및 재배포 금지) 애플, 특허권 5개 제한 조치에 불만 제기 B 이번 소송에서 애플은 단어 자동 완성(특허번호 172)을 비롯해 여러 종류 데이터 중 특정 데이터를 구분해서 실행할 수 있는 데이터 태핑 특허(647) 시리 통합 검색(959) 데이터 동기화(414) 밀어서 잠금 해제(721) 등 5개 특허권을 앞세워 공세를 펼칠 전 망이다. 반면 삼성은 이번 특허 소송에선 비표준특허인 디지털 이미지 및 음성 기록 전송 특허 (449) 및 원격 영상 전송 특허(239) 일부 부분만 갖고 싸우게 됐다. 이는 법원이 지난 1월 삼성의 멀티미디어 동기화 관련 특허권 (특허번호 757)에 대해 무 효 판결을 한 때문이다. 삼성은 또 2개월 뒤인 3월초엔 업링크 패킷 데이터 전송 정보 (특허번호 596)와 부정기 데이터 전송(특허번호 087) 등 표준 특허권 두 건을 철회했다. /김익현기자 sini@inews24.com IT는 아이뉴스24 연예ㆍ스포츠는 조이뉴스24 새로운 시각 즐거운 게임, 아이뉴스24 게임 메일로 보는 뉴스 클리핑, 아이뉴스24 뉴스레터 (Copyright c 아이뉴스24. 무단전재 및 재배포 금지) 이날 공판에서 애플 측은 특허권을 다섯 개로 제한한 법원 조치에 대해서도 강한 불만을 제 기했다. 반면 삼성은 이번 특허 소송에선 비표준특허인 디지털 이미지 및 음성 기록 전송 특허(449) 및 원격 영상 전송 특허(239) 일부 부분만 갖고 싸우게 됐다. 이번 소송에서 애플은 단어 자동 완성(특허번호 172)을 비롯해 여러 종류 데이터 중 특 정 데이터를 구분해서 실행할 수 있는 데이터 태핑 특허(647) 시리 통합 검색(959) 데 이터 동기화(414) 밀어서 잠금 해제(721) 등 5개 특허권을 앞세워 공세를 펼칠 전망이다. 이는 법원이 지난 1월 삼성의 멀티미디어 동기화 관련 특허권 (특허번호 757)에 대해 무효 판결을 한 때문이다. 삼성은 또 2개월 뒤인 3월초엔 업링크 패킷 데이터 전송 정보(특허 번호 596)와 부정기 데이터 전송(특허번호 087) 등 표준 특허권 두 건을 철회했다. /김익현기자 sini@inews24.com 아이뉴스24 애플 "20억 달러 배상" vs 삼성 "피해 과장" 기사입력 :03 17 <아이뉴스24> Similarity: 1.000, 1.000

무단전재 및 재배포 금지) 애플, 특허권 5개 제한 조치에 불만 제기 B 이번 소송에서 애플은 단어 자동 완성(특허번호 172)을 비롯해 여러 종류 데이터 중 특정 데이터를 구분해서 실행할 수 있는 데이터 태핑 특허(647) 시리 통합 검색(959) 데이터 동기화(414) 밀어서 잠금 해제(721) 등 5개 특허권을 앞세워 공세를 펼칠 전 망이다.

10 텍스트분석 - 논문 중복 검사 C D "공중촬영 시험용 무인정찰기 추정" 합동조사 종료후 대책 발표 (서울=연힙뉴스) 신지홍 김귀근 김호준 기자 = 군과 정보당국은 백령도와 경기도 파주에서 추락한 무인항공기를 정밀 분석한 결과 북한에서 제작한 것으로 결론을 내린 것으로 알려졌다. 정부의 한 소식통은 2일 "백령도와 파주에서 발견된 무인항공기를 분석한 결과 두 기체가 연관성이 있고 동일하게 제작된 것으로 판단하고 있다"면서 "북한에서 개발한 것으로 결론을 내렸다"고 밝혔다. 이 소식통은 "항공 정찰 능력이 매우 취약한 북한이 공중 촬영을 위해 개발한 시험용 무인정찰기로 분석됐다"면서 "하지만 북한에 정보를 제공할 수 있기 때문에 무인항공기 카메라에 찍힌 사진의 해상도 등은 밝힐 수 없다"고 말했다. 백령도에서 추락한 무인기는 북쪽에서 날아왔고, 파주에서 발견된 무인기는 북한 말을 쓰고 있다는 점에서 모두 북한 제품으로 판단할 수 있다는 것이 정부 당국의 판단이다 오늘 북한 무인정찰기가 나타났다고 하는데 이 사건이 매스컴을 도배하는데 정말 웃기네요. 여기에 떠들어 대는 여러 사람들의 이야기에 한심한 생각도 드네요. 관련기사 참고하세요. "공중촬영 시험용 무인정찰기 추정" 합동조사 종료후 대책 발표 (서울=연힙뉴스) 신지홍 김귀근 김호준 기자 = 군과 정보당국은 백령도와 경기도 파주에서 추락한 무인항공기를 정밀 분석한 결과 북한에서 제작한 것으로 결론을 내린 것으로 알려졌다. 정부의 한 소식통은 2일 "백령도와 파주에서 발견된 무인항공기를 분석한 결과 두 기체가 연관성이 있고 동일하게 제작된 것으로 판단하고 있다"면서 "북한에서 개발한 것으로 결론을 내렸다"고 밝혔다. 이 소식통은 "항공 정찰 능력이 매우 취약한 북한이 공중 촬영을 위해 개발한 시험용 무인정찰기로 분석됐다"면서 "하지만 북한에 정보를 제공할 수 있기 때문에 무인항공기 카메라에 찍힌 사진의 해상도 등은 밝힐 수 없다"고 말했다. 백령도에서 추락한 무인기는 북쪽에서 날아왔고, 파주에서 발견된 무인기는 북한 말을 쓰고 있다는 점에서 모두 북한 제품으로 판단할 수 있다는 것이 정부 당국의 판단이다. 이상입니다. 오늘도 즐거운 하루 되세요. Similarity: 0.842, 1.000

이 소식통은 "항공 정찰 능력이 매우 취약한 북한이 공중 촬영을 위해 개발한 시험용 무인정찰기로 분석됐다"면서 "하지만 북한에 정보를 제공할 수 있기 때문에 무인항공기 카메라에 찍힌 사진의 해상도 등은 밝힐 수 없다"고 말했다.

11 Big Data Analytics Framework 내부 데이터 기간계 ( EUA ) End User Analytics Data Add-In Office Integration ODS E-DW EG+RPM 외부 테이더 Data Quality Big Data Farm A-DW Visual Analytics Social Data Service Crawler SNS FDC CDR Packed-Model ABT Analytic Media Workbench Sandbox CEP Visual Analytics Grid In- Database In- Memory

12 강의 목적 본 강의는 다음 질문에 대한 답을 찾기 위한 것: 기업에서 활용중인 빅데이터 분석 플랫폼 형태는? 빅데이터 분석의 산업별 활용 유형은? 비즈니스 애널리틱스와 데이터 사이언티스트 (Data Scientists)와의 역할은? 데이터 사이언티스트의 미래 전망은? Copyr i g ht 2013, SAS Ins titut e Inc. All rights res er ve d.

13 빅데이터 분석 성공 사례 1. 미국, CATALINA 마케팅 - 미국 가장 큰 소매 슈퍼 체인, 1.9억명 고객 - 2.5페타 바이트 구매데이터, 영수증 쿠폰 마케팅 2. 반도체, 신기술 투자 센싱(P16) - 신기술에 대한 전문 사이트들의 글을 수집/분석하여 신기술 동향 정보 생성 - 기술, 사람, 베처기업, 투자사 등에 대한 정보 추출 및 온톨로지 구축 3. 전자, VOC Hot Risk 조기경보(P23) - 신제품 출시후 리스크 조기 경보 - 제품 반응에 대한 세부적인 텍사노미 설계, 분류 정확도(87%-96%) 4. 병원, 질병예측(P25) - 질병 예측을 위하여 검사 판독 기록과 같은 텍스트 분석 결과 통합 분석 - 문맥기반 정보 추출(95%) + 데이터 마이닝을 통한 질병 발생 예측 5. 화장품, 통합 VOC, Hub 고객 도출(P32) - 화장품 카페 고객의 글을 분석하여 마케팅에 활용 - 신제품 출시를 효과적으로 하기 위한 빅마우스 Hub 고객 도출 6. 소셜미디어 분석, Smart SMA(P44) - 기업 외부 데이터(블로그, 카페, SNS, 뉴스, 등)를 분석 - On-Demand 서비스로 기업 이미지, 제품, 서비스에 대한 모니터링 시스템

전자, VOC Hot Risk 조기경보(P23) - 신제품 출시후 리스크 조기 경보 - 제품 반응에 대한 세부적인 텍사노미 설계, 분류 정확도(87%-96%) 4.

Intelligence SAS High Performance Analytics (HPA) Analytic Services Job Mgmt

14 빅데이터 분석 고객 세분화 Hours 90 Seconds with HPA 맞춤형 Rear Neal-time 마케팅 캠페인 SAS Business Intelligence SAS High Performance Analytics (HPA) Analytic Services Job Mgmt Distributed Compute Nodes In-Memory Billion Purchasing Transactions Distributed Storage Nodes HDFS Copyright 2011, SAS Institute Inc. All rights reserved.

15 HPA In-Memory Analytics로 10억건 데이터에 대해 로지스틱 회귀분석 실행 결과 : proc logistic (약 20시간) proc hplogistic (약 50초) 32개 node의 DW Appliance (32 * 24 = 768 units of parallelism)

16 SAS Visual Analytics로 11억5천만건 데이터에서 상관분석 실행 결과 : 13개 변수 상관분석 2초 8 Blade 서버 (32 * 24 = 768 units of parallelism)

17 보안상 민감한 사례는 제공 자료에서는 제외했습니다

18 Smart SMA On-Demand Service 국내 및 해외 SMA On Demand Service 사업 산업별, 업무 도메인별 SMA 사업 추진 텍스트 분석 엔진 SAS TA 제품 활용

22 강의 목적 본 강의는 다음 질문에 대한 답을 찾기 위한 것: 기업에서 활용중인 빅데이터 분석 플랫폼 형태는? 빅데이터 분석의 산업별 활용 유형은? 비즈니스 애널리틱스와 데이터 사이언티스트 (Data Scientists)와의 역할은? 데이터 사이언티스트의 미래 전망은? Copyr i g ht 2013, SAS Ins titut e Inc. All rights res er ve d.

23 Business Analytics정의 기업 내 데이터와 외부 가용 가능한 모든 데이터를 분석하여 이슈의 본질을 찾고 경영이론과 과학적 의사결정 방식을 통해 새로운 통찰력으로 비즈니스 혁신을 추구하는 작업 Business Analytic components

24 Business Analytics 정의 실질적 액션 을 도출해 가치를 창출하는 것이 핵심 Action 을 구체화 하는 것이 BA의 핵심! 구체적인 액션 도출 인사이트 도출 사실 근거 기반마련 쌓아두고 버려지는 데이터 가치 창출!

25 Data Scientist의 역할 in Business Analytics Data Scientist는 데이터 수집/관리 분석 의사결정에 이르는 데이터 가치 체인의 전과정에 대한 역할 수행 의사결정 지원 Mathematical Modeling Optimization System Design 구체적인 의사결정 지원 인사이트 도출 Data mining Statistical Analysis Data Management 데이터를 통합분석 인사이트 도출 데이터 수집/관리 매장판매정보 스마트정보 재고 및 운영정보 고객정보 새로운 데이터를 적극 발굴하고 기존 데이터와 연계 방식 연구

26 강의 목적 본 강의는 다음 질문에 대한 답을 찾기 위한 것: 기업에서 활용중인 빅데이터 분석 플랫폼 형태는? 빅데이터 분석의 산업별 활용 유형은? 비즈니스 애널리틱스와 데이터 사이언티스트 (Data Scientists)와의 역할은? 데이터 사이언티스트의 미래 전망은? Copyr i g ht 2013, SAS Ins titut e Inc. All rights res er ve d.

27 Data Scientist Job 미국 최대 구인/구직 사이트 Monster.com 비즈니스 애널리틱스 학과가 생긴다? - CRM 학과? - 클라우드 컴퓨팅 학과? - ERP학과? - 식스 시그마 학과? - 기존 경영/IT패러다임과 차이점 지난 2년간 북미/유럽에서 가장 급성장한 구인 광고 키워드 Business Analytics/Data Scientist

28 Big Data 전문가(Data Scientist)채용(헤드헌터 Firm) Job Description 1. Position: Big Data 전문가(Data Scientist) 2. 담당 업무 - Data 분석 - 서비스 데이터 기반 Business Insight도출 (서비스 기획자와 협업) - Context 및 고객 이용패턴 기반 개인화 서비스 강화 지원 3. 요구사항 - 통계적 가설 수립 및 검증 능력 보유자 - 공통 필요 데이터 도출 및 표준화 공유체계 수립 가능자 - 데이터 분석 모델링 가능자 - 데이터 마이닝 및 웹마이팅 가능자 4. 자격 요건 - 전공 무관(경영학, 통계학, 수학, 물리학, 컴퓨터 공학 선호) - 관련 경력 8년 이상 (석사는 6년 이상, 박사는 경력 무관) - 영어로 업무가능한 자 준비 할 스킬 셋 DB/SQL 기초통계 과정 빅데이터 과정 이슈 파악 스킬 Hadoop, Map-R, NoSQL?

29 감사합니다. 구방본 이사

30 강의 초록 일반 기업에서 활용중인 빅데이터 플랫폼의 구조에 대하여 이 해할 수 있으며, 최근 빅데이터 분석의 성공 사례에 대하여 유통, 전자, 유통, 공공 부분의 다양한 활용 형태에 대하여 소개합니다. 또한 일반 기업에서 요구되는 빅데이터 분석 업무 영역인 Business Analytics 의 정의와 구성 요소에 대하여 알아보고, 그 안에서의 데이터 사이언티스트의 역할에 대하여 소개하며, 향후 데이터 사이언티스트의 미래 직업에 대한 전망과 수강생 입장에서 준비할 내용에 대하여 소개합니다. Copyr i g ht 2013, SAS Ins titut e Inc. All rights res er ve d.

PowerPoint 프레젠테이션

PowerPoint 프레젠테이션 Social Media와 Unstructured Data를 활용한 Text Analytics 사례 구방본 부장 SAS Korea NYSE: 1 TB of new trade data per day Facebook: 20+ TB compressed per day. 10 billion photos ~ 2.5 PB of data and growth is accelerating!