Big Data 로여는새로운세상 2014. 10 SK 텔레콤박명순
모바일을통한인터넷사용자증가
교통 GeoVision 복지 실시간유동인구데이터 지역경제 문화 / 관광 치안 행정
교통 GeoVision 복지 실시간유동인구데이터 지역경제 문화 / 관광 치안 행정
경제 : 재래시장활성화 재래시장에대한잠재고객, 방문객, 매출현황파악 인구밀도 낮음높음 중곡시장 업종 매출비율 업소비율 가전가구 9.7 36.8 사무문구 8.7 9 생활잡화 18.6 32.9 소형음식 20.9 8.7 식품정육 28.8 5.7 의류 13.3 7 소매 _ 전체업종 100.0 100 단위 : %
문화 / 관광 : 내외국인동선분석으로관광지추천 외국인선호관광지 서울시민선호관광지 삼청공원 길상사산사체험 서울성곽북악산숙정문 삼청각 훈민정음 간송미술관 홍릉수목원 세종대왕기념관 영휘원 방문지간연계지도를작성하여특정지역방문자가어디를방문하는지파악가능 Raw Data 제공은개인정보보호법문제로불가능하며분석된결과만제공가능
행정 : 시정홍보대상지선정 서울평균 해당지역평균 버스승하차인구가많은지역보육시설취약지역월세가구비율이높은지역 20대많은지역 110 번버스대상노선평가 거주인구 : 68,997 명, 직장인 : 27,316 명, 대학생수 :6 개대학 94,929 명등산로포함비율 : 10% 노출효과가가장높은상위 10 대버스노선 20 대대상노출효과가높은상위 10 개노선 55% 22% 예시 ) 전월세관련정책시정홍보
Big Data 기술 : Hadoop DW 데이터수집 / 저장 / 처리 / 분석서비스 사내 Data -xdr -CDR -DBM Data Collector (100 대 ) Data 수집 & 전처리 ~70 TB/day 저장 / 처리 Cluster (500 대 ) 서비스 Logic Repository 사내서비스 관계사 Data 분석 / 개발 Cluster (200 대 ) 분석데이터 개발 Logic 적용 서비스 Cluster (150 대 ) 사외서비스 -GeoVision, - Smart Insight 사외 Data -Twitter - Web/News - 날씨 신규서비스발굴 / 개발 통합 Monitoring (TiCAT) MLDB V-navi T-GIS Data 기반신규서비스
Big Data 기술 : Tajo ( 고속배치처리 ) 처리속도 : 기존 MR/HIVE 대비 3~5 배이상빠른고속배치처리 응답속도 : 보다빠르게데이터의특성을파악하고가치를찾기위한도구로사용 Tajo 기술을개발하여 Enterprise 적용수준의기능, 성능, 안정성을확보및실제적용 [ 기존처리방식 (MR)] [IA 기반처리방식 ] 처리속도 Hadoop Cluster Hive MapReduce - Partially Distributed -작업간순차처리 처리속도향상 Hadoop Cluster + Tajo Interactive Analysis - Fully Distributed - Vector 처리 처리속도향상으로동일 Cluster 에서더많은데이터처리 HDFS HDFS 응답속도 분석 Query 수분 ~ 수십분 Hadoop Cluster 응답속도향상 분석 Query 수초 ~ 수분 Hadoop Cluster + Tajo 응답속도향상으로보다다양한분석시도가가능하여분석의완성도를높임
Big Data 기술 : T-Spark ( 실시간처리 ) 메모리기반실시간처리기술로 Event 실시간탐지 / 처리에사용 실시간메모리처리기술인 Spark 기술을 Telecom의목적에맞게수정 / 적용 CDR 데이터 (35,000 calls/sec.) 패킷데이터 (1,000,000 transactions/sec.) 5 만개 event/sec/node * 20 대 기존 3 만개 개선 5 만개
Big Data 기술 : T-GIS ( 지리정보시스템 ) Data Partitioning 하둡기반의공간연산을지원하는 GIS 자사위치데이터 (~ 수분 ) 와외부데이터를매쉬업하여공간데이터분석제공 분석된결과를시각화하여직관적으로데이터를볼수있는 UX 제공 Visualization Spatial Analysis Engine GeoJSON / API Server Disaster Prevention Planning Current Population Tile Spatial Function / Geo Computation Crime Map In-memory / No SQL / Spatial Indexer Criminals Tour course POI Attractions Route Optimization Transport 위치데이터 HDFS Hadoop Input Data Storage T- GIS Analysis Results
SKT 의빅데이터기술 SK 텔레콤 - 정진기언론문화상대상 Tajo Apache Top Level Project 등극
Big Data 의미래 Data 의폭발적증가, 다양한형태의 Data 2394570 1940268 0274852 Text Number 5KB/record 500KB/record Image 1,000KB/picture Traditional Data Audio 5,000KB/song Video 5,000,000KB/movie Hi-res 50,000,000KB/object New Data
Big Data 의미래 Data Analysis, Information Extraction, Inference Context Aware Question & Answer Control Face Recognition Motion Detection Kinetic Control
Internet of Things Smartphone Interactive Robot Home CCTV 업무 정보수집, 판단지원 (Sensing) 상황파악및판단 (Intelligence) 방식 Connected Connected, Cloud Thermostat 역할 삶의질향상 White Collar Interaction 하는 동반자 Smart watch 기능 Semi-Intelligence Interaction-centric Game 가치 정보수집, 스마트폰연계 가족, 친구의역할 Car
Intelligence Device Big Data 와 IoT 의결합 Robotics 高 Aibo Humanoid Self-driving Da Vinci Device Roomba Drone Kiva Pepper Jibo Robotics 低 전자밥솥 Nest Game Siri Watson Intelligence 低 Intelligence Intelligence 高
Big Data 의미래 : Intelligence Intelligence (Brain) Device (Body) Interpretation Cognitive Reasoning Video Speech Decision Perception Text Number Robotics Sensor Data Connectivity Expression Intelligence Sensing Responding <Physical World> Human Signal Speech, 얼굴, Gesture 등 Situation Signal 온도, 영상, 거리, 조명등 Presenting Speech, Display, Alarm 등 Action Motion, Operation 등 S/W 기술중심 - 시각 (VA), 청각 (SR), 언어 (NLP), 숫자 (Math) 데이터를분석 / 이해하는 Interpretation - Analytics 결과들을종합하여사고하는 Cognitive H/W 및 Embedded S/W 중심 - Physical Action을수행하는 Robotics - Electronic Device에해당하는 Sensor, Connectivity, Expression(Display 등 )
Global Player 들은 Robotics 와더불어 Intelligence 관련하여전체판세를주도 Watson 에미래를걸고추진 M&A : DeepMind(Cognitive), Emu(NLP), JetPac(VA) 등 Project : Sibyl(Large-Scale Machine Learning) Product : Google Now 조직 : Watson Group (2000 명, $1B 규모 ) M&A : Cogna(Cognitive) Project : SyNAPSE(Chip) Deep Learning 기반 SNS 사업강화에중점 Mobile/B2B 사업에서 Intelligence 기술도입 Mobile Device 및물류중심으로활용 조직 : Intelligence R&D Lab (w/ NYU Yann LeCunn 교수 ) Project : DeepFace(VA) Product : Cortana(SR/NLP), Azure Machine Learning Project : Adam(VA) M&A : Yap, Evi (SR/NLP) Product : Kiva, Drone 에서 Intelligence 적용 Pepper 의 UX 중심으로 R&D 수행 Product : Pepper (w/ ALDEBARAN Robotics) 조직 : A-Lab(SR/NLP, VA, Gesture) Siri 를중심으로사업영역을확장 Product : Mobile 에서자동차, Wearable 등으로 Siri 적용확대 협력 : Wolfram Alpha(Cognitive)
감사합니다.