17-18 전세계대륙별빅데이터도입현황및주요기술요소 아시아 / 퍼시픽빅데이터도입 활용률은 42%, 향후도입은가장높은 51% 아시아 / 퍼시픽기업들이특히빅데이터의중요성을 매우높게평가 Spark, MapReduce를빅데이터인프라기술요소중가장중요하게평가주요기반기술평가 : SparkSQL, Hive/HiveQL, HDFS, Spark MLib,Cloudera 본내용은 DRESNER ADVISORY SERVICES 社가전세계 4,000 개사의자격을갖춘응답자를통해데이터를수집하여 분석한결과로북미 66%, 유럽 / 중동 / 아프리카 24%, 아시아 7%, 기타 2% 의비중으로조사됨. 응답자의직무별로는 IT 관련 종사자 26%, 비즈니스인텔리전스 18%, 운영관리 12% 등으로구성 아시아 / 퍼시픽빅데이터도입 활용률은 42%, 향후도입계획은가장높은 51% 2017 년기준전세계빅데이터도입은 53% 수준으로나타났으며, 지역별로는북미부문이 55% 로가장높고, 유럽및중동, 아프리카지역은 53% 로그뒤를잇는것으로나타남 - 아시아 / 퍼시픽지역은 42% 로북미 / 유럽에비해다소낮은도입 - 활용률을보임 [ 전세계대륙별빅데이터도입 활용비중 ] [ 자료 ] Big Data Analytics Market Study (Dresner Advisory Services, LLC, 2017 년 12 월 ) - 2 -
- 그러나아시아 / 퍼시픽지역은향후에는도입하겠다는의사를보인기업이 51% 로다른지역에비해상대적으로높게나타나고있었으며빅데이터도입을할계획이아예없다는응답은 7% 로가장낮게조사됨 ( 계획이없다는기업은북미 12%, 유럽 / 아프리카 11% 수준 ) 아시아 / 퍼시픽지역은 2018 년도입계획이 56% 로매우높게나타남 - 북미지역은 2017 년하반기조사당시 2017 년내도입하겠다는기업이 13% 로가장높았으나 2018 년이후로미루고있는기업이 65% 로가장높게나타남 - 유럽 / 중동 / 아프리카지역또한도입의사를가진기업중년내도입하겠다는기업은많지 않았으며 2018 년또는 2018 년이후도입을고려하겠다는비중이매우높게나타남 [ 전세계대륙별빅데이터도입예정시기 ] [ 자료 ] Big Data Analytics Market Study (Dresner Advisory Services, LLC, 2017 년 12 월 ) - 3 -
아시아 / 퍼시픽기업들, 빅데이터의중요성을 매우높게평가 Bigdata Monthly Vol 38. February 2018 데이터웨어하우스의최적화는전세계모든지역에서높은중요도를가지는것으로조사되었으며 고객및소셜 (SNS) 분석또한데이터웨어하우스최적화못지않게매우중요하게고려되는 것으로나타남 - 지역별특징을보면, 아시아 / 퍼시픽지역의기업들은다른대륙에있는기업들보다빅데이터의 각분야에서대부분중요도를높게평가하고있었으며, 북미지역은상대적으로낮은중요도를 보여대조를이루고있는것으로조사됨 - 유럽및중동 / 아프리카지역의기업들은대체로비슷한양상을보이고있으나클릭스트림 분석분야에서는다른대륙보다상대적으로더중요한분야라는응답을보여주목을받음 [ 전세계지역별 활용분야별빅데이터의중요성 Score] 1 점 :Not Important 2 점 :Somewhat Important 3 점 :Important 4 점 :Very Important 5 점 :Critical [ 자료 ] Big Data Analytics Market Study (Dresner Advisory Services, LLC, 2017 년 12 월 ) ClickStream : 한사람이인터넷에서보내는시간동안방문한웹사이트를기록한것 - 4 -
Spark, MapReduce는빅데이터인프라기술요소중가장중요하게평가 Spark 및 MapReduce는전세계모든기업들이해당기술의중요성을높게평가하고있으며, 특히아시아 / 퍼시픽지역및유럽 / 중동 / 아프리카지역에서두드러지는것으로나타남 - 3 점 ( 중요함 ) 이상기준으로살펴보면 Spark 와 MapReduce 는빅데이터인프라구성요소중 유일하게자리하고있으며전세계모든대륙에서중요하게평가 - 2 점 ( 다소중요 ) 이상으로는 Spark 와 Mapreduce 외에도 Yarn, Oozie, Tez 가예외 없이위치했으며 Yarn 의경우특히북미지역에서의선전이돋보이는것으로조사됨 [ 전세계지역별 빅데이터인프라구성요소별중요성평가 ] 0 점 :Not Important 1 점 :Somewhat Important 2 점 :Important 3 점 :Very Important 4 점 :Critical [ 자료 ] Big Data Analytics Market Study (Dresner Advisory Services, LLC, 2017 년 12 월 ) - 중요도우선순위의중하위권으로처진요소중에서 Aphache Drill, Atlas, Mesos, Knox Gateway 는아시아퍼시픽의경우중요하다는응답이많이나타나다른대륙에비해 높은관심을받고있는것으로조사됨 - 5 -
전세계빅데이터운용기업, SparkSQL, Hive/HiveQL, HDFS 에높은관심 많은빅데이터활용기업들은데이터액세스기술툴로 Spark SQL, Hive/HiveQl, HDFS 에높은관심을보이는것으로조사됨 - 아시아 / 퍼시픽기업들은 Spark SQL, Hive/HiveQL, HDFS 외에도 Amazon S3, Amazon Redshift 에도높은관심을보여많은종류의데이터액세스기능에높은관심을 가지고있는것으로나타남 - 북미지역기업들도크게다르진않지만, Amazon S3 에대한관심은다른대륙의기업들과 비교하여상대적으로높은관심을보이고있으며 Hive/HiveQL, Amazon Redshift, Amazon DynamoDB 부문에서는유럽 / 중동 / 아프리카에비해높은관심을보임 [ 전세계지역별 데이터액세스기능의중요성평가 ] 0 점 :Not Important 1 점 :Somewhat Important 2 점 :Important 3 점 :Very Important 4 점 :Critical [ 자료 ] Big Data Analytics Market Study (Dresner Advisory Services, LLC, 2017 년 12 월 ) - 6 -
전세계빅데이터운용기업, Spark MLib 기술을높이평가 Bigdata Monthly Vol 38. February 2018 전세계대부분의기업들은데이터분석및기계학습기반기술로 Spark MLib 를선호하고 중요하게생각하는것으로조사됨 - 데이터분석 / 기계학습부문에서는다른기술보다 Spark MLib 를우선적으로선택하였으며 이는전세계지역별차이가거의나타나지않고그다음으로는 scikit-learn, Rhipe 순으로나타남 - Mahout 은아시아 / 퍼시픽지역의기업에서상대적으로높은평가를받았으며, 대부분의 빅데이터및기계학습기반기술이 2 점 ( 중요 ) 이상을기록한것으로조사됨 [ 전세계지역별 데이터분석 / 기계학습구성요소의중요성평가 ] 0 점 :Not Important 1 점 :Somewhat Important 2 점 :Important 3 점 :Very Important 4 점 :Critical [ 자료 ] Big Data Analytics Market Study (Dresner Advisory Services, LLC, 2017 년 12 월 ) - 7 -
전세계빅데이터운용기업, 하둡배포판으로 Cloudera 를높이평가 전세계빅데이터기업들은하둡배포판으로 Cloudera 를가장높이평가하고있음 - Cloudera 에대한중요도평가는아시아 / 퍼시픽및북미지역보다유럽 / 중동 / 아프리카 지역에서가장높게측정되어주목을받음 - 유럽 / 중동 / 아프리카에서강세를보인 Cloudera 를제외하면대부분의대륙에서 Cloudera, Hortonworks, MAP/R 순으로선호 - 관심도가일관되게나타나고있으며 Google Detaproc 및 IBM Biginsights 는상대적으로낮은중요도 / 관심도를보임 [ 전세계지역별 빅데이터 (Hadoop) 배포판의중요성평가 ] 0 점 :Not Important 1 점 :Somewhat Important 2 점 :Important 3 점 :Very Important 4 점 :Critical [ 자료 ] Big Data Analytics Market Study (Dresner Advisory Services, LLC, 2017 년 12 월 ) - 8 -
요약및결론 2017년기준전세계빅데이터도입은 53% 수준으로나타났으며, 지역별로는북미부문이 55% 로가장높고, 유럽및중동, 아프리카지역은 53% 로그뒤를잇는것으로나타났으며아시아 / 퍼시픽지역은 42% 로북미 / 유럽에비해다소낮은도입-활용률을보임 아시아 / 퍼시픽지역은 2018 년도입계획이 56% 로매우높게나타났으며북미지역은 2017 년 하반기조사당시 2017 년내도입하겠다는기업이 13% 로가장높았으나 2018 년이후로 미루고있는기업이 65% 로가장높게나타남 데이터웨어하우스의최적화는전세계모든지역에서높은중요도를가지는것으로조사되었으며 고객및소셜분석또한데이터웨어하우스최적화못지않게매우중요하게고려되는것으로 나타남 Spark 및 MapReduce는전세계모든기업들이해당기술의중요성을높게평가하고있으며, 특히아시아 / 퍼시픽지역및유럽 / 중동 / 아프리카지역에서두드러졌으며 3점 ( 중요함 ) 이상기준으로살펴보면 Spark와 MapReduce는빅데이터인프라구성요소중유일하게자리하고있으며전세계모든대륙에서중요하게평가 전세계대부분의기업들은데이터분석및기계학습기반기술로 Spark MLib 를선호하고 중요하게생각하는것으로조사되었으며그다음으로는 scikit-learn, Rhipe 순 전세계빅데이터기업들은하둡배포판으로 Cloudera 를가장높이평가하고있으며 Cloudera 에대한중요도평가는아시아 / 퍼시픽및북미지역보다유럽 / 중동 / 아프리카 지역에서가장높게측정되어주목을받음 [ 출처 ] 1. Dresner Advisory Services, LLC 2. Big Data Analytics Market Study (2017 Edition) 3. Zoomdata 4. http://dresneradvisory.com/ - 9 -
센터주요뉴스 1. 비식별조치전문교육실시 기업의안전한빅데이터활용을위한개인정보비식별조치가이드라인및비식별기술 ( 이론 실습 ), 적정성평가등기본 심화과정교육 개요 일시 : 2018. 2. 6. ( 화 ) 9:00~17:50 장소 : K-ICT 빅데이터센터오픈랩 ( 판교스타트업캠퍼스 ) 참석자 : 스타트업및중소기업개인정보비식별조치실무자등 14명 내용 ( 기본과정 ) - ( 비식별조치이론 ) 비식별개념및비식별개요 / 비식별조치가이드라인 / 비식별조치기술의이해 /Privacy Model 이해등 - ( 비식별조치기본실습 ) 비식별도구 (ARX) 를활용한비식별조치실습으로 ARX 샘플및통신 금융데이터셋비식별기술적용방법등 ( 수료증발급 ) 기본 / 심화교육과정을이수한수강생대상수료증발급 비식별조치이론 비식별조치기본실습 - 10 -
Bigdata Monthly Vol 38. February 2018 2. K-ICT 빅데이터 분석 인프라 활용 교육 실시 예비창업 중소 대학(원) 등 빅데이터 센터 인프라 사용자 대상 인프라 내에서 Data 처리, 분석, 활용, 비식별 조치 안내, 빅데이터 세미나 등 관련 교육 진행 개요 일시 : 2018. 2. 22. (목) ~ 2. 23. (금), 10:00~17:50 장소 : K-ICT 빅데이터센터 오픈랩(판교 스타트업캠퍼스) 참석자 : 스타트업 및 중소기업, 예비창업자, 개발자 그룹, 대학(원) 등 23명 내용 (1일차) - (Session 1 : 센터소개) KBiG 인프라 소개 및 사용 안내 - (Session 2 : 분석실습) Pig 소개 및 빅데이터 처리 기술 (2일차) - (Session 3 : 빅데이터 세미나) 빅데이터의 이해와 활용 - (Session 4 : 분석실습) Pig을 통한 빅데이터 분석 실습 KBiG 인프라 소개 및 사용 안내 Pig을 통한 빅데이터 분석 실습 - 11 -
연간교육일정 빅데이터센터분석인프라활용교육 일정주제일정내용 2 월 22 일 ( 목 ) R 분석기술 8 월 16 일 ( 목 ) Pig 분석기술 ~23 일 ( 금 ) 소셜데이터분석 ~17 일 ( 금 ) 지하철승하차패턴분석 3월 21일 ( 수 ) ~22일 ( 목 ) 4월 18일 ( 수 ) ~19일 ( 목 ) 5월 16일 ( 수 ) ~17( 목 ) 6월 14일 ( 목 ) ~15일 ( 금 ) 7월 18일 ( 수 ) ~19일 ( 목 ) Pig 분석기술지하철승하차패턴분석 Hive 분석기술농수산물가격예측분석 Python 분석기술교통량예측분석 TensorFlow 이미지및언어자동분류분석 R 분석기술소셜데이터분석 9월 19일 ( 수 ) ~20일 ( 목 ) Hive 분석기술농수산물가격예측분석 10월 17일 ( 수 ) Spark 분석 ~18일 ( 목 ) 관광객유입과관광수입상관관계분석 11월 21일 ( 수 ) Python 분석기술 ~22일 ( 목 ) 교통량예측분석 12월 12일 ( 수 ) TensorFlow ~13일 ( 목 ) 이미지및언어자동분류분석 - - 분석인프라활용교육세부교육내용은교육시작전공지를통해안내예정 상기교육일정은변경될수있습니다. 비식별조치전문교육기본 / 심화과정 월 교육일 월 교육일 2월 6일 ( 화 ) 8월 8일 ( 수 ) 3 월 6 일 ( 화 ) / 20 일 ( 화 ) 9 월 5 일 ( 수 ) / 18 일 ( 화 ) 4 월 4 일 ( 수 ) 10 월 10 일 ( 수 ) 5 월 9 일 ( 수 ) / 23 일 ( 수 ) 11 월 7 일 ( 수 ) / 20 일 ( 화 ) 6 월 4 일 ( 월 ) 12 월 5 일 ( 수 ) 7 월 4 일 ( 수 ) / 17 일 ( 화 ) - - 기본주제 : 비식별조치가이드라인및비식별화기술 실습심화주제 : 적정성평가절차적 기술적방법교육및실습 기본과정이수자에한하여심화과정수강가능 교육일정은담당교수님의일정에의해변경될수있음 기본과정은매월 / 심화과정은격월로운영됨 - 12 -
국내빅데이터활용동향 SK C&C, 클라우드 빅데이터 AI 관련기술지원 DT Labs 서비스 출시 SK C&C는클라우드 ( 클라우드제트 ) 빅데이터 ( 스키테일 ) 인공지능 ( 에이브릴 ) 기술에대해사전검증 (PoC) 하고클라우드전환의기술지원도받을수있는 SK C&C DT Labs 서비스 를출시. 클라우드기반의온디맨드가상환경은물론 PoC를희망하는기업이필요로하는모든유형의분석서비스를망라한빅데이터분석 머신러닝 딥러닝등 DT종합서비스(DT Full Service) 를제공... NH농협은행, AI 빅데이터기반으로금융상담서비스품질향상 NH농협은행은지난해개발한 상담품질전수평가장치 의특허등록을완료. 상담품질전수평가장치 는 AI 빅데이터를기반으로고객과상담한통화자료를실시간수집 분석해고객성향을분류하고, 상담업무의지식수준을진단할수있도록특화. 이를통해효과적인모니터링이가능하며, 금융상담서비스의품질이향상될것으로기대... 롯데, 자기소개서진위여부와인재상 직무적합도분석등신입공채에 AI 활용 롯데그룹은올해상반기신입사원공개채용때 AI가서류를심사하는시스템을도입할예정. 첫활용은오는 3월말접수받는신입사원공개채용입사지원자의자기소개서심사로, AI가 인재상에대한부합도 직무적합도 표절여부 등 3가지측면에서지원서를분석하게될예정. 채용과정에 AI 시스템도입으로더욱공정하고객관적인평가가가능할것으로기대... 웅진씽크빅, 빅데이터와 AI 활용해맞춤학습서비스 웅진씽크빅이인공지능을활용한맞춤학습지원서비스인 ' 북클럽 AI 학습코칭 ' 을개발해서비스를개시. ' 북클럽 AI 학습코칭 ' 은웅진북클럽회원들이학습과정에서보인행동패턴과학습역량을바탕으로오답원인등을분석해주는서비스로습관분석, 문항분석 AI 프로그램으로계산해낸데이터분석결과를이용해학습습관을개선하고맞춤학습솔루션을제공할예정... 네이버-분당서울대병원-대웅제약, 의료빅데이터활용협력 네이버는분당서울대학교병원및대웅제약과헬스케어빅데이터활용을위한연구개발협력을내용으로하는업무협약을체결. 각기관은 헬스케어빅데이터활용연구개발 헬스케어빅데이터분석기술및 AI 기술확산 보유한지식의공유와확산등을위해협력할예정 - 13 -
국내빅데이터기업소개 n 전자정부 3.0, 첨단공항시스템, 교육 / 금융분야, 국방 / 통신 / 제조분야등다양한빅데이터서비스제공 n GS인증을받은 Mesim SW, Mesim IT융합제품군등보유 n URL: http://www.metabuild.co.kr/index.do?lang=kr n 서비스문의 : 02-598-3327, Fax: 02-598-3329 n 서울특별시서초구효령로 208 메타빌드빌딩 기업개요 국내기술의선진화에힘씀은물론우리손으로만든우리의기술로세계와당당히경쟁하는기업 Solution & Service 복합이벤트처리, Mesim CEP 실시간데이터전송, Mesim DDS Ÿ 네트워크트래픽을현격하게감소시키고, 이벤트별 / 상황별 / 시간대별데이터를실시간공유 / 전달 Ÿ 데이터분배를위한데이터중심 Publish/Subscribe 메시지통신미들웨어기술 XML 전용 DB 관리, Mesim EXUS 생산성향상및가치증대, Mesim MSBP Ÿ 국내최초로개발된 XML전용 DBMS로써 XML 처리성능을극대화하고, 개발편리성에초점을맞춰설계된 DBMS Ÿ 효율적인빅데이터수집 / 처리 / 저장 / 분석시스템을구축하고, 분석활용컨설팅을통해가치있는데이터의비즈니스환경을조성 Bigdata Reference Mesim IoT, Mesim ESB, Mesim EAI, Mesim MCI, Mesim MSBP, Mesim UCP 등다양한솔루션을통해최고의서비스제공 산업은행, 한국토지공사, 우리은행, 산림조합, 인천국제공항공사, 세종특별시등다양한고객층확보및프로젝트수행 - 14 -
n n n n n 데이터품질, 데이터아키텍처, DW/BI, SNS비정형데이터분석사업등데이터관련다양한분야에서두각전문기술경쟁력과세계적일류상품으로서잠재력및제품우수성을인정 URL: http://datastreams.co.kr/ 서비스문의 : 02-3473-9084, e-mail: marketing@datastreams.co.kr 서울특별시서초구사임당로28 청호나이스빌딩 2층, 6층 기업개요 2001 년창업이후 16 년을데이터통합과데이터품질분야에서자체기술력으로개발한 솔루션을바탕으로국내시장을선전하고있는기업 Solution & Service One-Stop 데이터처리, TeraONE 데이터통합솔루션, TeraStream Ÿ 대량의전사적빅데이터처리시, 비즈니스이슈와 처리환경구축에대한이슈를동시에해결 Ÿ 다른데이터통합솔루션과비교하여뛰어난성능으로신속한대용량데이터처리, 효율적시스템자원사용, 업무의편리성도모 대용량데이터고속추출, FACT Hadoop 전용솔루션, TeraStream for Hadoop Ÿ DBMS적재스크립트파일자동생성을통하여추출된 SAM-File을편리하게적재할수있도록 Ÿ ETL 의인터페이스를통해 Hadoop 을제어함으로 개발자들의작업공수를줄일수있음 제공 Bigdata Reference 국회, 특허청, 삼성전자, 신한금융투자, 한국거래소, 삼성화재등다양한고객부문확보 Data Governance, Data Integration, DW/BI, Data Lineage Management, Bigdata, Consulting 등다양한프로젝트수행 - 15 -
BigData Monthly Vol 38. February 2018 빅데이터를통해본키워드, 국가대표 * 2018 년 1 월 25 일 ~ 2 월 26 일동안 국가대표 키워드를분석한결과입니다 ( 뉴스 / 블로그 ) 국가대표 키워드트렌드분석결과 국가대표 키워드에대한트렌드분석결과, 2 월초부터언급량이꾸준히증가하는모습을 보이며, 2018 평창동계올림픽이개최되는동안지속적으로높은관심이나타남 연관토픽감성분석 국가대표 키워드연관토픽및감성분석결과 주로 동계올림픽, 선수들, 금메달, 은메달 등이 국가대표 와함께많이언급되며, 2018년평창동계올림픽에서선수들이만들어낸값진결과와다양한경기종목, 선수관련키워드가다수언급 긍부정분석결과 국가대표 키워드는 응원, 지원, 관심, 노력, 인기, 격려 등평창동계올림픽에서활약하고있는국가대표팀을응원하는긍정적인감성어들이 61% 이상차지 - 16 -
BigData Monthly Vol 38. February 2018 투비시스템 스마트허수아비 스마트유해동물퇴치시스템으로농작물피해는줄이고농민의소득을증대 투비시스템, 빅데이터기반스마트시스템을구축하여, 우리나라농민지원서비스구현 2017. 07 투비시스템창업 2017년빅데이터센터오픈랩입주 2017년과학기술정보통신부 K-Global 300 선정 특허출원, 디자인등록, 상표등록완료 ( 주 ) 투비시스템 이추구하는세상 투비시스템은 4차산업혁명에맞춰빅데이터기반농민지원시스템을개발및연구를하고있습니다. 현재유해야생동물로부터농가피해방지및농민이농작물생산에전념함으로써농가의소득을증대하는시스템을구축하였습니다. 부주의한수렵총포로인한인명사고예방과총포사용근절의대안이될것이며, 야생동물의개체수를조절함으로써농작물피해를방지하는데있습니다. 어떤서비스를제공하고있나요? 스마트허수아비는농작물및과수에막대한피해를주는멧돼지, 고라니, 까치및 AI를유발하는조류등을효과적으로퇴치할수있는 IoT기술과빅데이터기술을융합한유해야생동물퇴치시스템입니다. 유해동물및 AI유발조류실시간퇴치효과 동물의학습효과를막는빅데이터 SW알고리즘적용 저전력 HW기술적용및넓은면적퇴치효과 앞으로 투비시스템의행보는? 투비시스템은다가오는 4차산업시대에고객만족에최선을다한다는일념으로적극적인경영혁신과끊임없는연구개발을통해재난방재및농업IT분야를중심으로 IoT 및빅데이터기술을융합하여사업을전개하고있습니다. 투비시스템은고객만족을위한최상의서비스를제공하는기업, 지속적인기술혁신을추구하는기술선도기업으로의비전을가지고최선의노력을다할것입니다. - 17 -
BigData Monthly Vol 38. February 2018 2 월 FEB SUNDAY MONDAY TUESDAY WEDNESDAY THURSDAY FRIDAY SATURDAY 1 2 3 4 5 6 빅데이터센터 비식별조치전문교육 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 빅데이터센터 분석인프라활용교육 25 26 27 28 23 빅데이터센터분석인프라활용교육 24 3 월 MAR SUNDAY MONDAY TUESDAY WEDNESDAY THURSDAY FRIDAY SATURDAY 1 2 3 4 5 6 빅데이터센터 비식별조치전문교육 7 8 9 10 11 12 13 14 15 16 17 18 19 20 빅데이터센터 비식별조치전문교육 21 빅데이터센터분석인프라활용교육 22 빅데이터센터분석인프라활용교육 23 24 25 26 27 28 빅데이터지식자료안내 분석 / 교육 / 개발 / 딥러닝인프라 NIADic( 형태소사전 ) DataCube(800 여종 data) 비식별조치지원 ( 적정성평가 / 컨설팅 ) * KBig 홈페이지 (kbig.kr) 에서확인하실수있습니다 - 18 -