빅데이터로보는사회 ( 빅데이터의이해와활용 ) 강의 김용대교수 서울대학교통계학과 1
1. What is Big data? 2
빅데이터란? 데이터베이스의규모에초점을맞춘정의 (McKinsey, 2011) 일반적인데이터베이스 SW 가저장, 관리, 분석할수있는범위를초과하는 규모의데이터 데이터베이스가아닌업무수행에초점을맞춘정의 (International Data corporation(idc), 2011) 다양한종류의대규모데이터로부터저렴한비용으로가치를추출하고초고속수집, 발굴, 분석을지원하도록고안된차세대기술및아키텍처 3
빅데이터란? 소셜미디어나위치정보데이터등은자료의양이크다 Volume 데이터의형태가비구조화되어있다 ( 이미지, 음성 ) Variety 데이터가빠르게생산된다 Velocity http://www-01.ibm.com/software/data/bigdata/ 4
Large data vs Big data Large Data era Big Data era 데이터의원천 Internal External 데이터의형태 데이터의취합 분석방법 Nearly Structured vs. Well organized Modeling and Optimization in back-office Unstructured Nearly unorganized Visualization and Exploratory analysis in war room 분석환경 DW+Server Distributed process+cloud 5
Core IT Technologies of Big Data era Big Data era Social + External Unstructured 데이터의원천 데이터의형태 IT Tech. of Big Data era 분산처리기반의데이터가공및컴퓨팅기술 Nearly unorganized Visualization and Exploratory analysis in war room Distributed process+cloud 데이터의취합 분석방법 분석환경 Datacification techniques 통계엔진을활용한분석자동화 Data Visualization 6
2. Why Big data? Why now? 7
빅데이터의출현배경
빅데이터의출현배경 9
빅데이터의출현배경 스마트폰, 태블릿등으로대변되는모바일장치의확산 < 출처 : http://seagulls.kr/smart/3397> 10
빅데이터의출현배경 트위터, 페이스북등의소셜미디어의성장 < 출처 : cafe.naver.com/logoseasng/2202640> 11
빅데이터의출현배경 Radio Frequency Identification(RFID) 와같은정보를감지하는센서장비의이용확대 < 출처 : http://www.karus.or.kr> 12
빅데이터의출현배경 Global Positioning System(GPS) 장치보급확산 < 출처 : http://www.tegmento.org/gpsylon/screenshots.html> 13
빅데이터의출현배경 Internet 이용증가 (Naver, Google 등 ) < 출처 : http://www.weidmanconsulting.com/wcj/webmetrics.asp> 14
빅데이터의출현배경 Bioinformatics 의발전 < 출처 : http://mippi.ornl.gov/areas/bioinfo.shtml > 15
빅데이터의출현배경 메모리비용하락 < 출처 : http://www.saama.com/blog/bid/78289/whylarge-enterprises-and-edw-owners-suddenlycare-about-bigdata> 16
빅데이터의출현배경 정보를저장, 관리하는클라우드컴퓨팅기술의확산 < 출처 :http://yoonka.tistory.com/16> 17
빅데이터의출현배경 하둡파일시스템 (HDFS) 쉽고싸게사용할수있는분산파일시스템 18
빅데이터분석의중요성 데이터로부터얼마나많은부가가치를얻을수있나? 과학기술경쟁이치열 첨단의과학기술이사용자의요구를충족시켰을때부가가치창출 ( 아마존마케팅, 애플등 ) 미래사용자의필요예측이매우중요 빅데이터분석으로미래사용자의필요예측가능 19
빅데이터분석의중요성 자료분석으로부터새롭게얻을수있는지식의양 δ 매우작은새로운지식의양 20
빅데이터분석의중요성 P(Choose Shampoo A)=? P(Choose Shampoo B)=? 21
빅데이터분석의중요성 P(A A)=0.51 시장점유율 P(A)=0.505 P(B)=0.495 P(B B)=0.5 22
빅데이터분석의중요성 P(A A)=0.99 시장점유율 P(A)=0.667 P(B)=0.333 P(B B)=0.98 23
빅데이터분석의중요성 P(A A)=0.999 시장점유율 P(A)=0.909 P(B)=0.091 P(B B)=0.990 24
성공사례 : 빅데이터분석의중요성 실패사례 : 25
빅데이터의시대적흐름 Data warehousing era (1990 년대중반 ~2000 년대중반 ) 고객 Demo 정보 유통사외상품 / 서비스구매정보 고객접촉정보 (Ex. 콜센터, 리서치정보등 ) 유통사상품구매정보 교통정보 26
빅데이터의시대적흐름 Data convergence era (2000 년대중반 ~2010 년대중반 ) Data 의통합관리를통한소비자의입체적이해 27
빅데이터의시대적흐름 Big data era (2010 년대중반이후 ) 28
빅데이터의시대적흐름 Big data era (2010 년대중반이후 ) 이종데이터간의결합 Cloud Computing 데이터마켓의출현 Data is power! 29
3. How does Big data work? 30
빅데이터활용분야 < 자료출처 : McKinsey, 2011> 31
기업의빅데이터활용 자동차산업을선도하는 Data! 32
기업의빅데이터활용 유통업을선도하는 Data! 33
기업의빅데이터활용 Data 를통한의류시장의혁신! 34
공공분야에서의빅데이터활용 미국국세청, 탈세방지시스템통한국가재정강화 < 출처 : Big Data 글로벌 10 대선진사례 (NIA, 2012)> 탈세및사기로인한국가의재정위기가능성증가 35
공공분야에서의빅데이터활용 일본, 센서데이터를활용한지능형교통안내시스템 < 출처 : Big Data 글로벌 10 대선진사례 (NIA, 2012)> GPS 로부터자동차의주행스피드를계산하여교통정보수집 일본노무라연구소는스마트폰형내비게이션서비스를활용하여 2011 년일본대지진시도로교통체증피해최소화 교통체증감소효과및구조차량을위한피해지의실제도로교통상황안내 일본전역지정도시의택시약 11,000 여대와데이터제공에동의한사용자로부터실시간으로교통정보수집 수집된교통정보를바탕으로실시간으로최적의교통안내서비스제공 36
공공분야에서의빅데이터활용 구글, 검색어분석을통한독감예보서비스제공 구글홈페이지에서독감, 인플루엔자등독감과관련된검색어쿼리의빈도를조사, 구글독감동향 (Google Flu Trends) 이라는독감확산조기경보체계마련 미국질병통제예방센터의데이터와비교결과, 검색빈도및실제독감증세를보인환자숫자사이에매우밀접한상관관계가있는것을확인 37
공공부분에서의빅데이터활용 Billion Prices Project @ MIT 인터넷쇼핑회사의상품가격을분석하여실시간물가지수산출 38
4. Examples of Big data projects 39
SNS 를이용한연예인지수개발 40
클릭 탐색적분석화면검색조건설정부가분석옵션 Radian 6 41
토픽의설정 토픽내검색키워드의설정 " 드라마결혼의여신 " 42
소셜네트워크내 1 달간검색량 Brand: 결혼의여신 Competitors: 개그콘서트 + 스캔들 Competitors: 67. 8% Brand : 32.2% 43
소셜네트워크내 1 달간검색량의추이 competitors brand 44
Brand 내점유율비교 남상미 이태란 김지훈 45
이태란 + 패션 ( 원피스 ) vs 남상미 + 패션 ( 원피스 ) 이태란 남상미 46
News Blog Twitter Etc Source 분석 Sources News Blog Twitter Facebook Forum etc Forum Facebook 47
빅데이터기반재난 / 안전지수개발 산업재해와관련한기업환경의변화 언론에노출되는산업재해의빈도증가. 산업재해로인한유형적손실뿐만아니라, 기업이미지를포함한무형자산에도장기적영향을미침. 현재기술의취약성 정기점검, 공정신설, 공정변경시혹은정성적방법에의해필요하다고생각되는시점에서위험성평가가이루어짐. 특정시점, 특정사업장의산업재해위험수준을정량적방법을통해지속적으로모니터링할수있는모형이없음. 48
빅데이터기반재난 / 안전지수개발 아차사고데이터베이스 하인리히재해발생법칙에의하면불안전한상태와행동이사고를발생시키므로그러한유해 / 위험요인을관리할때사고발생빈도를줄일수있음. 현재사고와관련한유해 / 위험요인의측정지표인 ' 아차사고데이터베이스 ' 가구축이되어위험평가모형개발의기반이마련되고있음. 아차사고를통해얻어진유해 / 위험요인과산업재해의발생빈도및강도를모형화하고자함. 49
빅데이터기반재난 / 안전지수개발 아차사고정보 플랜트명등록번호업무구분 무주양수발전처 무주양수발전처 B00000006 6 B00000006 7 발전운영 발전운영 발생일자작업유형사고유형날씨개요원인예방대책 2009-10- 28 2009-10- 02 전기감전맑음 토목 / 건축 추락 맑음 아차사고정보 1. 상황체험자한국에머슨하청업체화랑FA 강인규외 2명은 2009년 10월 28일오후2시경제1,2호기원인주제어설비교체공사의일 1. 관리감독소홀환으로중앙 2. 작업에따른안전수칙제어실판넬철거작업관련미준수으로기존제어전원케이블 3. 반복작업에의한안전철거작업불감증중 380V 전원차단미확인으로인하여감전될뻔한아차사고사례임 1. 상황체험자한국에머슨하청업체미소공간임한수는 2009 년 10월 02 일오후4시경제1,2호기주 2. 원인제어설비교체공사의일환으로중앙제어실인테리어공사작업중천정에어덕트설치작업중안전모미착용상태에서사다리전도로인하여추락추락사고를당할번한아차사고사례임 가. 관리감독소홀나. 고소작업에따른안전수칙미준수다. 반복작업에의한안전모미착용등안전불감증 1. 안전교육및관리감독철저 2. 작업전위험예지훈련실시의생활화를통한안전사고예방 3. 작업전관련차단기전원차단확인철저 2. 원인가. 관리감독철저나. 고소작업에따른안전수칙철저준수다. 반복작업에의한안전모착용등안전보호 구착용철저 50
빅데이터기반재난 / 안전지수개발 아차사고정보분석 아차사고정보 형태소분석 취배수관로안전난간대일부구간미설치로인해낙하사고발생 Text Mining 취배수관, 안전난간, 구간, 미설치, 낙하, 사고, 발생 송전접속부절연부점검 송전, 접속, 절연부, 점검 #3 호기 Steam Blowing 시현장소음에의한순간청력상실 Steam, Blowing, 현장소음, 청력상실 51
빅데이터기반재난 / 안전지수개발 위험성평가표 sample Input 위험요인정보 관리번호 RA-삼운발1-006-운전-I 부서명발전운영1팀평가자평가대상위험성평가표팀장공완식 ATO업무공정 활동명평가전개선후 [4M-Risk Assesment] 평균위험도최근평가일 '13. 05. 15 3.2 3.2 작업내용 발전기보조계통 점검 (K) 평가구분 기 계 적 환 경 적 인 적 위험요인 ( 재해형태 ) 안전조치 현재상태 위험도 빈도강도위험도 개선대책 요구사항 코드번호 빈도 개선후상태 수소누설 ( 질식 ) 수소누설감지기설치 1 2 2 1 2 2 모터의절연 ( 감전 ) 양호 1 2 2 1 2 2 폭발성가스 ( 폭발 ) 고압가스관리요령교육 1 3 3 1 3 3 작업장바닥상태 ( 전도, 충돌 ) 작업장소음상태 ( 청력상실 ) 정리정돈 1 2 2 1 2 2 귀마개착용의무화 2 3 6 2 3 6 건물내분진마스크착용의무화 2 3 6 2 3 6 육체적건강상태 ( 충돌 ) 정신적건강상태악화 ( 오작동, 상태변화 인지부족, 시간차에따른 스트레스 ) 근무시작전발전차장 점검 근무시작전발전차장 점검 output 강도 2 1 2 2 1 2 3 2 6 3 2 6 위험 도 관 리 적 안전표시판마스크및귀마개착용부착여부표시판부착 1 1 1 1 1 1 안전수칙숙지 숙지 1 2 2 1 2 2 작업절차숙지 작업절차숙지전까지숙련자와동행 1 3 3 1 3 3 52
빅데이터기반재난 / 안전지수개발 위험요인분석 위험성평가 - 위험요인 형태소분석 순환수계통점검 Intake 일부구간안전난간미설치 - 소포제주입 Tank 옆 ( 추락 ) Text Mining 순환수, 계통, 점검, Intake, 구간, 안전난간, 미설치, 소포제, Tank, 추락 전기보조계통점검모터의절연 ( 감전 ) 전기보조계통, 점검, 모터, 절연, 감전 압축공기계통점검작업장소음상태 ( 청력상실 ) 압축공기, 계통, 점검, 작업장, 소음, 청력상실 53
빅데이터기반재난 / 안전지수개발 아차사고정보와위험요인정보의연관성측정 아차사고정보형태소분석 위험요인정보형태소분석 취배수관, 안전난간, 구간, 미설치, 낙하, 사고, 발생 순환수, 계통, 점검, Intake, 구간, 안전난간, 미설치, 소포제, Tank, 추락 송전, 접속, 절연부, 점검 전기보조계통, 점검, 모터, 절연, 감전 Steam, Blowing, 현장소음, 청력상실 압축공기, 계통, 점검, 작업장, 소음, 청력상실 54
빅데이터기반재난 / 안전지수개발 아차사고정보와위험요인정보의연관성측정 Jaccard Coefficient 취배수관, 안전난간, 구간, 낙하, 사고, 발생, 순환수, 계통, 점검, Intake, 구간, 미설치, 소포제, Tank 0.214 송전, 접속, 전기보조계통, 점검, 모터, 절연, 감전 0.285 Steam, Blowing, 압축공기, 계통, 점검, 작업장, 소음, 청력상실 0.250 55
빅데이터기반재난 / 안전지수개발 Jaccard coefficient time series plot sample 56
감사합니다. Q&A 57