Big Data Treds Top 10 by Datamatio Tred 오픈소스 1 애플리케이션은 : Bigdata와빅데이터를 Ope source 구현하는핵심소프트웨어로평가처리속도를높이기위해가장먼저도입하고활용하는기술로는 I-memory 기술 Apache 기계학습과 Hadoop, 예측분석은스파크미래의등과상황을같은예측하는오픈소스단계로애플리케이션은확대빅데이터를구현하는핵심소프트웨어로 IoT 도입확대평가받고, 앳지컴퓨팅은있으며향후빅데이터빅데이터의영역에서미래가장요소로중요한평가위치에있는것으로나타남 Tred 1 : Bigdata 와 Ope source Apache Hadoop, 스파크등과같은오픈소스애플리케이션은빅데이터를구현하는핵심 소프트웨어로평가받고있으며빅데이터영역에서가장중요한위치에있는것으로나타남 - 오픈소스기반의툴의이용은빅데이터를활용하고있거나고려하는기업중 60% 내외가하 둡클러스터를운영하겠다고응답하고있으며포레스터리서치사에따르면 Hadoop 의활 용은매년 32.9% 씩증가하는것으로조사되기도함 [Hadoop 의활용분야구분 ] [ 자료 ] SAS Big data Isights 2018 빅데이터전문가들은많은기업들이빅데이터처리속도를높일수있는방법을모색할때 Hadoop과 MySQL기술의사용을확대할것으로예측하고있으며실시간으로데이터에액세스하고응답할수있는기술을오픈소스에서찾고있으며이러한추세는지속적으로증가할것이라고예상 - 2 -
Tred 2 : I-Memory Techology의보편화 기업들이빅데이터처리속도를높이기위해가장먼저도입하고활용하는기술로는 I-memory 기술이며관련기술은끊임없이개선되고있으며이를지원하는솔루션이각광받고있음 - 기존데이터베이스에서는데이터는하드드라이브또는 SSD(SolidStateDrive) 가장착된스토리지시스템에저장되는것이일반적이지만, i-memory 기술은데이터를 RAM에저장하며속도는디스크보다수십배빠르게처리되고있으며 Forrester Research 의보고서에따르면메모리내데이터패브릭은매년 29.2% 씩성장할것으로예상 [I-Memory Aalytics Market Size & Share, Idustry Report] [ 자료 ] Grad View Research 2016 전세계 i-memory 분석시장규모는 2014년부터 2025년까지연평균 23.8% 가성장할것으로전망. 이러한성장은셀프서비스비즈니스인텔리전스에대한수요가증가하고, 관련기술의동반성장이 i-memory 분석시장이성장을이끄는핵심요인으로평가되고있으며 i-memory 분석에필요한하드웨어비용의감소또한시스템도입을확대하는중요한요인으로등장 - 3 -
Tred 3 : Machie Learig 시장의확대 빅데이터분석기능이크게발전함에따라일부기업에서는이미머신러닝에투자하기시작하였으며명시적인프로그래밍을하지않고도새로운것을배워나가는시스템의운용을구축해나가고있음 - Garter 에따르면기계학습은상위 10 대전략기술동향중하나였으며오늘날의최첨단 기계학습및인공지능시스템이 " 기존규칙기반알고리즘을넘어서자율적으로작동하고, 학습하고, 예측하고, 예측하는시스템 " 을구축하고있다고평가 Tred 4 : Predictive Aalytics 도입확대 예측분석은기계학습과밀접한관련이있으며기계학습시스템은예측분석소프트웨어의엔진을제공하는경우가일반적. 빅데이터분석의초창기에는조직에서데이터를돌아보고무슨일이일어났는지확인한다음나중에분석툴을사용하여그이유를조사하기시작했으나예측분석은빅데이터분석을통해한단계더나아가미래의상황을예측하는단계로확대되는양상 - PWC 에따르면예측분석을사용하는기업은 2016 년에 29% 에불과하였으나최근수많은 빅데이터관련공급업체가예측분석툴을출시함에따라기업들이예측분석툴의강력한 성능에매료되어향후몇년이내에이숫자가급증할것으로전망 - 4 -
Tred 5 : BigData Itelliget Apps 기업들이기계학습과 AI기술을활용하는또다른방법은지능형앱을만드는것으로이러한애플리케이션은개인화와더나은서비스를제공하기위해사용자의이전행동을분석하여빅데이터분석을통합. 대표적으로전자상거래및엔터테인먼트애플리케이션을지원하는지능형엔진을탑재한앱 - Garter 는 2017 년에이미상위 10 대전략기술동향목록에서지능형애플리케이션을 2 위로선정했으며향후 10 년동안사실상모든애플리케이션, 애플리케이션및서비스에일정 수준의 AI 가통합될것으로예측하고이러한형태의앱들은지속적으로진화할것으로예상 Tred 6 : 보다고도화된보안을위한 Itelliget Security 적용 많은기업이보안전략에빅데이터분석기능을통합하고있으며사이버공격시도에대한귀중한정보를제공하기위해조직의보안로그데이터를분석하고조직이위협적인접근이나시도를예측, 예방및완화하는데사용. 그결과일부조직에서는 SIEM( 보안정보및이벤트관리 ) 소프트웨어를 Hadoop과같은빅데이터플랫폼과통합 - 그결과기업에서는 SIEM( 보안정보및이벤트관리 ) 소프트웨어를 Hadoop 과같은빅데이터 플랫폼과통합 - 5 -
[Big Data Based Security] Bigdata Mothly Vol 41. May 2018 [ 자료 ] Big data Security, Datamatio 2017 Tred 7 : IoT 활용확대에따른시장성장 사물인터넷또한빅데이터에향후기대이상의영향을미칠가능성이대두되고있으며 IDC는기업의 31.4% 가 IoT 솔루션을활용하고있으며 43% 가향후 12개월이내에추가로구축할계획이라고발표 - 모든새로운기기와애플리케이션이온라인으로전환됨에따라기업들은과거보다훨씬더 빠르게데이터증가를경험하게될것으로예측되며많은기업이 IoT 구축으로인한빅데이터의 홍수를처리하고이해하기위해새로운기술과시스템을필요로할것으로전망 [IoT Growth] [ 자료 ] Verizo data - 6 -
Tred 8 : Edge Computig 기업이 IoT 및빅데이터를처리하는데도움을줄수있는새로운기술중하나는에지컴퓨팅. 에지컴퓨팅에서는빅데이터분석이데이터센터나클라우드가아닌 IoT 장치와센서에매우가깝게이루어지며이는네트워크를통한데이터흐름이줄어들어성능이향상되고클라우드컴퓨팅비용이절감 - 제한된시간동안만중요한 IoT 데이터를삭제하여스토리지및인프라비용을절감할수 있으며분석프로세스속도를높여의사결정자가이전보다더빠르게통찰력있는작업을 수행할수있도록지원 [Edge Computig 의구조 ] [ 자료 ] laer Tred 9 : High Salaries IT 관련업계에있어빅데이터분석의증가는빅데이터기술을보유한직원들의높은수요와높은연봉을보장. IDC에따르면 " 미국에서만 2018년에 18만 1천개의심층분석역할이있을것이며데이터관리및해석에관련된기술이필요한직책의 5배가될것 " 으로예측 - 이러한관련인력부족함으로인해데이터과학자에대한평균보상이크게증가할것이며 빅데이터엔지니어들은 5.8% 의임금인상과더불어 2019 년에는 135,000 달러에서 196,000 달러의급여인상이예측됨 - 7 -
[ 데이터과학자의연봉예상추이 ] Bigdata Mothly Vol 41. May 2018 [ 자료 ] The Wall Street Joural 2017 Tred 10 : Self-Service 최근급변하는빅데이터시장환경에서기업의의사결정속도는매우빨라졌으나현업직원들에게는다소어렵고난해한방법론을이용할수밖에없는한계가나타남. 이를해결하기위한전문툴들이등장하면서 IT나통계분석기술에능숙하지않은이들이사용자인터페이스나대시보드, 네비게이션은기존보다편리해지는경향이강하게나타남 - 가트너는이미전문분석툴의구매주체가 IT 부서에서현업으로이동하고있다며향후에는 대부분의현업직원들이데이터분석을위한셀프서비스툴에대한접속권한을갖게될것이 라고예측 - 물론셀프서비스기반의빅데이터툴이대두됐다고하여전문적인분석작업이사라지는것은 아니며전문적인분석기술과기업전체나부서를아우르는대규모분석역량은앞으로더 중요해질것으로전망 - 8 -
요약및결론 Apache Hadoop, 스파크등과같은오픈소스애플리케이션은빅데이터를구현하는핵심 소프트웨어로평가받고있으며빅데이터영역에서가장중요한위치에있는것으로나타남 기업들이빅데이터처리속도를높이기위해가장먼저도입하고활용하는기술로는 I-memory 기술이며관련기술은끊임없이개선되고있으며이를지원하는솔루션이 각광받고있음 일부기업에서는이미머신러닝에투자하기시작하였으며초창기에는조직에서데이터를 돌아보고무슨일이일어났는지확인한다음나중에분석툴을사용하여그이유를조사하기 시작했으나예측분석을통해미래의상황을예측하는단계로확대되는양상 Itelliget Security 는기업이보안전략에빅데이터분석기능을통합하고있으며사이버 공격시도에대한귀중한정보를제공하기위해조직의보안로그데이터를분석하고조직이 위협적인접근이나시도를예측, 예방및완화하는데사용 사물인터넷또한빅데이터에향후기대이상의영향을미칠가능성이대두되고있으며기업이 IoT 및빅데이터를처리하는데도움을줄수있는새로운기술중하나는에지컴퓨팅 IT 관련업계에있어빅데이터분석의증가는빅데이터기술을보유한직원들의높은수요와 높은연봉을보장. IDC 에따르면 " 미국에서만 2018 년에 18 만 1 천개의심층분석역할이있을 것이며데이터관리및해석에관련된기술이필요한직책의 5 배가될것 " 으로예측 [ 출처 ] 1. Big Data Treds, Datamatio 2. SAS Big data Isights 2018 3. Grad View Research 4. Verizo data - 9 -
센터주요뉴스 1. 비식별조치전문교육실시 기업의안전한빅데이터활용을위한개인정보비식별조치가이드라인및비식별기술 ( 이론 실습 ), 적정성평가등기본 심화과정교육 개요 일시 : 2018. 5. 15. ( 화 ) 9:00~17:50 장소 : K-ICT 빅데이터센터오픈랩 ( 판교스타트업캠퍼스 ) 참석대상 : 스타트업및중소기업개인정보비식별조치실무자등 6명참석내용 ( 기본과정 ) - ( 비식별조치이론 ) 비식별개념및비식별개요 / 비식별조치가이드라인 / 비식별조치기술의이해 /Privacy Model 이해등 - ( 비식별조치기본실습 ) 비식별도구 (ARX) 를활용한비식별조치실습으로 ARX 샘플및통신 금융데이터셋비식별기술적용방법등 ( 수료증발급 ) 기본 / 심화교육과정을이수한수강생대상수료증발급 비식별조치이론 비식별조치기본실습 - 10 -
Bigdata Mothly Vol 41. May 2018 2. K-ICT 빅데이터 분석 인프라 활용 교육 실시 예비창업 중소 대학(원) 등 빅데이터 센터 인프라 사용자 대상 인프라 내에서 Data 처리, 분석, 활용, 비식별 조치 안내, 빅데이터 세미나 등 관련 교육 진행 개요 일시 : 2018. 5. 08. (화) ~ 5. 09. (금), 10:00~17:50 장소 : K-ICT 빅데이터센터 오픈랩(판교 스타트업캠퍼스) 참석대상 : 스타트업 및 중소기업, 예비창업자, 개발자 그룹, 대학(원) 등 23명 참석 내용 (1일차) - (Sessio 1 : 센터소개) KBiG 인프라 소개 및 사용 안내 - (Sessio 2 : 분석실습) Pytho 개요 및 기본문법 (2일차) - (Sessio 3 : 빅데이터 세미나) 빅데이터 동향 및 이상 데이터 분석 기술 - (Sessio 4 : 분석실습) Pytho라이브러리를 이용한 데이터분석 KBiG 인프라 소개 및 사용 안내 Pytho라이브러리를 이용한 데이터분석 - 11 -
2. K-ICT 빅데이터분석인프라활용교육실시 비식별조치전문교육기본 / 심화과정 월교육일월교육일 6 월 5 일 ( 화 ) / 19 일 ( 화 ) 10 월 10 일 ( 수 ) 7 월 3 일 ( 화 ) / 17 일 ( 화 ) 11 월 6 일 ( 화 ) / 20 일 ( 화 ) 8 월 7 일 ( 화 ) 12 월 4 일 ( 화 ) 9 월 4 일 ( 화 ) / 18 일 ( 화 ) - - 기본주제 : 비식별조치가이드라인및비식별화기술 실습심화주제 : 적정성평가절차적 기술적방법교육및실습 기본과정이수자에한하여심화과정수강가능 교육일정은담당교수님의일정에의해변경될수있음 기본과정은매월 / 심화과정은격월로운영됨 빅데이터센터분석인프라활용교육 일정주제일정주제 6 월 14 일 ( 목 ) TesorFlow 10 월 17 일 ( 수 ) Spark 분석 ~15 일 ( 금 ) 이미지및언어자동분류분석 ~18 일 ( 목 ) 관광객유입과관광수입상관관계분석 7 월 18 일 ( 수 ) R 분석기술 11 월 21 일 ( 수 ) Pytho 분석기술 ~19 일 ( 목 ) 소셜데이터분석 ~22 일 ( 목 ) 교통량예측분석 8 월 16 일 ( 목 ) Pig 분석기술 12 월 12 일 ( 수 ) TesorFlow ~17 일 ( 금 ) 지하철승하차패턴분석 ~13 일 ( 목 ) 이미지및언어자동분류분석 9 월 19 일 ( 수 ) ~20 일 ( 목 ) Hive 분석기술 농수산물가격예측분석 - - 분석인프라활용교육세부교육내용은교육시작전공지를통해안내예정 상기교육일정은변경될수있습니다. - 12 -
국내빅데이터활용동향 골드링크, 개인별성향분석해총 216,000 종족으로분류하는알고리즘개발 온라인플랫폼골드링크 (goldlik) 가개발한빅데이터시스템 DECA(Decisio Eergy Classificatio Algorithm) 는의사결정체계에따른개인별성향을분석, 예측할수있는시스템과특정표적검색기능이있는 SSA(Sipig Survey Algorithm) 기능을결합한것으로, 개인별성향을총 216,000 종족으로세분화. 추후본인과타인의성향및사회적관계망에대한이해력, 예측력을제고하는데에도움이될것으로기대... LG이노텍, 국립축산과학원과 'AI 스마트팜 ' 기술개발 LG이노텍은농촌진흥청국립축산과학원, 가금연구소와함께양계환경을무인화하는 ' 인공지능스마트팜기술 ' 개발을위한 ' 양계스마트팜기술개발공동연구업무협약 (MOU)' 을체결. 향후양계생산성을높이는무인사양관리를목표로인공지능스마트팜기술을개발하고, 가금류빅데이터를활용한딥러닝기술과카메라센싱기술등을융 복합해추진할예정... 울산대병원, 국내최초빅데이터활용 ' 외상센터레지스트리시스템 ' 구축 울산대학교병원권역외상센터경규혁 이상철교수팀은약 1년간의자체개발을통해 외상센터레지스트리시스템 을개발. 향후외상환자치료와관련된수술기록지, 병리, 영상데이터등의특화된빅데이터활용을통한외상환자에연관된다양한연구는물론치료프로세스개선을통해골든타임확보및생존율향상에도기여할것으로기대... KT-NS홈쇼핑, AI 빅데이터기반고객상담서비스제공 KT는 NS홈쇼핑과 디지털컨택센터구축을위한업무협약 (MOU) 을체결. 이번업무협약을통해양사는 AI 빅데이터분석기술과상담데이터베이스, 서비스운영노하우를접목해한단계진화된디지털컨택센터를구축할계획으로, 향후홈쇼핑고객들이제품문의부터주문, 반품까지전과정에서컨택센터대기시간을단축, 표준화된품질의상담이가능할것으로기대... 서울시-서울연구원, 서울소비경기지수 개발해매월발표 서울시와서울연구원은매월 1억건의카드매출빅데이터를분석해 서울소비경기지수 를개발. 이지수는시민의생활밀착업종인소매업과숙박 음식점업으로구성되며, 서울전체및 5대권역별로지수를산출. 또한, 물가변동분을제거한불변지수중심의해석을통해실질적인소비증감을분석할예정. 향후서울경제의현황을파악하는기초자료로활용될것으로기대 - 13 -
국내빅데이터기업소개 빅데이터기반의수집, 분석플랫폼을제공하는솔루션기업 KT그룹의자회사로빅데이터플랫폼, 빅데이터실시간처리분석솔루션등을다양한산업에제공하는종합빅데이터솔루션회사 URL: http://www.exr.co.kr 서비스문의 : 02-556-0827, e-mail: cotact@exr.com 서울서초구효령로 176 KT방배빌딩 9층 기업개요 2007년 KAIST 경영대학원겸직굣인한재선대표가설립한벤처기업으로하둡기술을이용해아이큐브클라우드 (Icube Cloud) 인프라서비스를출시, 2010년 KT에인수되어 KT 자회사로편입된클라이드컴퓨팅기술개발기업 빅데이터 All-I-Oe 통합플랫폼, 분산병렬처리분석솔루션, 빅데이터기반의분석및기술컨설팅이사업영역 빅데이터 All-I-Oe 통합플랫폼, 분산병렬처리분석솔루션, 빅데이터기반의분석및기술컨설팅이사업영역 Solutio & Service 차세대빅데이터플랫폼, 실시간빅데이터처리분석솔루션, NDAP Lea Stream Ÿ 빅데이터데이터수집 / 처리 / 저장 / 분석등을모두제공하는소프트웨어플랫폼종류의 Social Data를손쉽게모니터링 Ÿ 실시간빅데이터처리를위한각영역별전문컴포넌트로구성하여구축시간을최소화하여데이터처리 Bigdata Referece KT, 세종특별자치시, 미래에셋증권등통신분야, 공공분야, 금융분야, 교통분야등의다양한산업분야에서고객을확보하고있음 솔루션뿐아니라빅데이터를효과적으로활용할수있는환경을구축하기위해 Bigdata 전문가들이효율적인테크니컬컨설팅을함께제공하고있음 - 14 -
데이터를기반으로고객의성공을지원하는 IT업계데이터전문기업검색엔진솔루션기반의비정형데이터처리 분석역량과전문적인정형데이터처리와고급분석및컨설팅역량과결합해빅데이터분석시장선도 URL: http://www.datasolutio.kr 서비스문의 : 02-3467-7200, e-mail: sales@datasolutio.kr 서울강남구언주로 620 현대인텔렉스빌딩 10층 기업개요 1990년설립되었고 1993년부터통계분석 SW인 SPSS 를국내에공급해오던 데이타솔루션 이오픈베이스에서 SI사업부문이물적분할되어 2011년에설립된오픈에스앤에스와 2016년합병한데이터솔루션전문기업 사업부문은데이터수집 / 저장 / 관리중심의인프라사업, 데이터활용을위한다양한솔루션중심의데이터사업, 의사결정을위한맞춤형시스템중심의서비스사업으로구성 Solutio & Service Ÿ 빅데이터통합플랫폼솔루션, BIGstatio 빅데이터기술과다양한분석모델을가지고있어빅데이터에서인사이트를찾아냄 검색엔진및키워드연관성분석솔루션, XTEN 제품군 Ÿ 정확도를높인통합검색엔진에맞춤형관리기, 유사문헌검색, 자동완성검색, 키워드맵등의기능을구현함 시각화분석플랫폼, 지능형정보수집솔루션, Tableau Webot Ÿ 소프트웨어를이용하여쉽고빠르게데이터를 Ÿ 다양하고효율적인방법으로웹문서와 SNS 시각화하고웹에서공유할수있음 데이터를수집하고양질의정보를추출 Bigdata Referece 기상청, 대법원, 국가기술표준원등의공공분야, SK플래닛, KT 등의정보통신분야, 농협상호금융, 한국신용정보원등의금융분야와같은다양한산업에서고객을확보 빅데이터관련프로젝트를계속수행중이며, 특히컨설팅사업에관련된역량을확보하고있는상황 - 15 -
빅데이터를통해본키워드, 국민청원 * 2018 년 4 월 23 일 ~ 5 월 24 일동안 국민청원 키워드를분석한결과입니다 국민청원 키워드트렌드분석결과 국민청원 키워드에대한트렌드분석결과, 4 월말까지언급량이대폭증가하는모습을 보이며, 국민청원을통해사회적인이슈가등장할때마다관심이증가 연관토픽감성분석 국민청원 키워드연관토픽및감성분석결과 주로 청와대, 의약품, 피해자 등이 국민청원 과함께많이언급되며, 식품 의약품등의안전에대하여검사하고결과를공개하는식약처의국민청원안전검사제및최근청와대국민청원게시판에제안되고있는다양한주제의사회적이슈들과관련된키워드가다수언급 긍부정분석결과 국민청원 키워드는 피해, 논란, 피해자, 처벌, 혐의, 범죄 등국민청원에서제안된이슈와관련한부정감성어들이약 87% 이상차지 - 16 -
블랙파인애플 - 남성들을위한인공지능패션추천서비스 빅데이터기반인공지능기술이접목된새로운쇼핑서비스 블랙파인애플, 인공지능으로손쉽고편리하게남성들의패션을책임지는플랫폼 2017.12 2018.02 2018.04 2018.04 2017 앱쇼코리아전시참가및 MVP 테스트경기벤처창업지원센터입주성남스마트창작터 시장검증화지원 선정빅데이터센터 BOLP 오픈랩파트너선정 블랙파인애플 이추구하는세상 인공지능을활용하여쇼핑단계를간소화하고, 고객들이제품을더쉽게찾거나옷을빠르게입을수있게하는것을목표로하고있습니다. 이를통해블랙파인애플은온라인쇼핑의새로운패러다임을가지고오고, 편의성을제공하여인공지능이좀더우리의삶에큰역할을할수있기를바라며일하고있습니다. 어떤서비스를제공하고있나요? 남자들이가진패션에대한고민과쇼핑의귀찮음을덜어드리는서비스를개발하고있습니다. 기존패션관련데이터들과고객의개인데이터를매칭하여최적의옷을찾아무료배송까지해드리는서비스입니다. 고객은서비스를통해집에서직접입어보고쇼핑할수있는기회를받게될것입니다. 앞으로블랙파인애플의행보는? 기존보유한패션데이터와고객의데이터에대한패션코디매칭정확도를높이는데에집중할것입니다. 향후, 남성들이타겟이었던블랙파인애플서비스를여성으로확대하고인공지능분야연구에매진하여, 한국의패션인공지능회사로서한부분을차지하는것을목표로하고있습니다. - 17 -
5 월 MAY SUNDAY MONDAY TUESDAY WEDNESDAY THURSDAY FRIDAY SATURDAY 1 2 3 4 5 6 7 8 빅데이터센터 분석인프라활용교육 9 빅데이터센터분석인프라활용교육 10 11 12 13 14 15 빅데이터센터 비식별조치전문교육 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 6 월 JUNE SUNDAY MONDAY TUESDAY WEDNESDAY THURSDAY FRIDAY SATURDAY 1 2 3 4 5 빅데이터센터 10 11 빅데이터센터분석인프라활용교육 비식별조치전문교육 12 빅데이터센터분석인프라활용교육 17 18 19 빅데이터센터 비식별조치전문교육 6 7 8 9 13 14 15 16 20 21 22 23 24 25 26 27 28 29 30 빅데이터지식자료안내 분석 / 교육 / 개발 / 딥러닝인프라 NIADic( 형태소사전 ) DataCube(800 여종 data) 비식별조치지원 ( 적정성평가 / 컨설팅 ) - 18 - * KBig 홈페이지 (kbig.kr) 에서확인하실수있습니다