Issue Paper NT Nano Technology BT Bio Technology IT Information Technology CS Cognitive Science 융합연구정책센터
[ 융합 ] 빅데이터기술현황및시사점 출처 : 융합연구정책센터 선정사유 ( 경제적측면 ) 다수의글로벌전문기관에따르면, 빅데이터는 20 세기산업 혁명에이어향후우리경제사회의핵심으로부각될것으로전망 Economist : 데이터를자본이나노동력과비슷한경제적투입자본으로높이평가하고있으며, 비즈니스의새로운원자재역할을할것으로전망 Gartner Group : 데이터는 21 세기원유 이며, 데이터가미래경쟁우위를좌우하는데핵심요소가될것으로전망 ( 사회적측면 ) 최근고령화, 건강문제뿐만아니라국가적재난상황이급증 하고있어, 이를극복하기위해빅데이터를활용한융합기술의필요성대두 * 소셜, 모니터링등의빅데이터패턴분석을통해국가재난상황에서위험징후, 이상신호등을빠르게포착하여신속한사고접수및의사결정에활용 < 세월호사건에서살펴본빅데이터활용가능기술 > 텍스트분석기술 : 카카오톡등 SNS 를통해 배가기울고있다, 구명조끼를입었다 등사고관련메시지자동감지 조기에사고접수가능 - 출처 : 매일경제, 한국, 재난빅데이터가없다, 2014. 4. 29 - 개요 ( 기술개념 ) 기존의관리및분석체계로감당하기어려운대규모정형및비정형데이터를효과적으로저장ㆍ관리하고, 새로운가치창출을위해초고속으로결과를분석하여서비스를제공하는기술 ( 미래부, 2012년도기술영향평가결과 ( 안 ), 2013) * 빅데이터기술은 McKinsey, SERI, 국가정보화전략위원회등기관별로다양하게정의 ( 핵심기술 ) 빅데이터시장및기술은크게 1 인프라, 2 소프트웨어, 3 응용서비스로구분 (IDC, 'Big Data technology and services forecast', 2012) - 1 인프라 (HW) : 스토리지, 서버, 네트워크관련기술 ( 서버및스토리지지원 ) - 2 소프트웨어 (SW) : 데이터수집, 분석 예측, 데이터처리자동화기술 - 3 응용서비스 : HW와 SW 관리및컨설팅 교육등응용서비스기술 - 1 -
국내 외정책동향 ( 국외 ) 12 년을전후로국가차원의빅데이터전략발표, 공공데이터개방은 물론이를정부가직접활용하여서비스촉진및정부서비스혁신도모 - ( 미국 ) 빅데이터활용기술개발및인력양성을위해빅데이터 R&D 계획 (Big Data R&D Initiative, 12 년.3 월 ) 발표, 2 억달러예산으로 84 개프로그램지원 - (EU) 공공데이터활용을위해데이터개방전략 (Open Data Strategy, '11 년.5 월 ) 발표, 3 년간 ( 11~ 13 년 ) 1 억유로예산으로관련 R&D 사업지원 - ( 일본 ) 액티브재팬 (Active Japan ICT, 12 년.5 월 ) 발표, 주요전략으로빅데이터 활용정책 (Active Data) 포함, 89 억 3 천엔예산 ( 13 년기준 ) 으로 R&D 지원 ( 국내 ) 그간우리나라는빅데이터마스터플랜 ( 12 년.11 월 ), 빅데이터산업발전 전략 ( 13 년.12 월 ) 등종합육성정책발표, 17 년까지 97 개사업추진 ( 14 년.1 월 ) - 안행부 미래부는국민생활 안전, 일자리창출및국정과제관련 23 개사업 을중점지원과제로선정, 우선적으로예산을지원할계획 - 14 년에는 25 개신규사업을추진하고, 전년도에완료된 위기청소년조기 경보 ( 여가부 ), 일일물가분석 ( 통계청 ) 등주요과제의서비스제공본격화 * 정부예산 : 13 년 360 억 ( 중앙 345 억, 지자체 15 억 ) 14 년 460 억 ( 중앙 400 억, 지방 60 억 ) < 빅데이터관련국내추진과제 > 구분계 13 년 14 년 15 년 16 년 17 년 합계 ( 과제수 ) 97 25 25 26 15 6 중앙부처 61 19 15 12 12 3 지자체 36 6 10 14 3 3 ( 중점과제 ) * (23) (8) (4) (4) (3) (4) 원출처 : 부처합동, 빅데이터활용본격화, 복지 치안 물가등해결사, 2014. 1 * 중점과제는국가전략, 파급효과, 실현가능성등을고려하여중요도가높은과제로구성 < 시사점 > 1 미국등주요국은공공기관의다양한데이터를개방하고공유하는정책을추진함으로써빅데이터의제도적 기술적기반마련 2 우리나라정부는기술연구개발, 법 제도정비등공공및민간활성화방안을종합적으로제시, 미성숙한시장의진흥까지고려 - 2 -
국내 외 R&D 지원현황 ( 미국 ) 국립과학재단 (NSF), 국립보건원 (NIH), 국방부 (DoD) 등 6 개정부기관을 중심으로보건, 국방, 에너지등의분야에서빅데이터활용과제진행 - 국립과학재단 (NSF) 은다량의빅데이터를효율적으로분석 활용하기위해 빅데이터전문인력양성, 클라우드개발등과관련된장기 R&D 전략수립 - 국립보건원 (NIH) 은국민건강향상을위해세포, 분자, 의학, 질병등관련 데이터개발및관리에중점적으로투자 - 국방부 (DoD) 는암호해독, 지형분석등정보戰의기본이되는정보수집기술 外자율의사경정시스템등최신빅데이터기술개발및활용에투자강화 * 특히, 국방부연구 개발부문을담당하는방위고등연구계획국 (DARPA) 은 XDATA, ADAMS' 등최첨단데이터분석컴퓨팅및 SW 개발관련 R&D 기획및투자진행 - 그밖에에너지부 (DoE), 미국지질조사원 (USGS) 이각각에너지, 지질조사에 빅데이터를활용하고있으며, 최근다른부처 기관도추가로사업추진 * 미국항공우주국 (NASA) 은첨단정보시스템기술 (Advanced Information System Technology), 지구과학데이터및정보시스템 (Earth Science Data and Information System) 등 R&D 사업추진 * 미국해양대기관리처 (NOAA) 와국립기상청 (NWS) 은대기, 해양등해당분야에서 1950 년대부터데이터를축적해온기술력을바탕으로빅데이터 R&D 계획에참여 연방부처및기관 ( 영문명 ) 국립과학재단 (NSF) 국립보건원 (NIH) 국방부 (DoD) 방위고등연구계획국 (DARPA) 에너지부 (DoE) < 미국빅데이터주요지원과제현황 > 주요지원과제 정부연구비 ( 달러 ) 컴퓨팅탐험대프로젝트 (Expeditions in Computing) 1,000 만 학부생훈련프로그램 : 복합한데이터도표화및시각화연구 200만 생물학연구그룹의단백질구조및생물학경로연구 140만 뇌신경기능및활동경로의데이터수집 (Human Connectome) 생리학관련데이터스토리지서비스연구 (PhysioBank) - 심혈관공동연구를위한데이터저장 공유 분석툴개발 (CVRG) 자율의사결정시스템구축및상황인식능력개선연구 2억 5,000 만 ( 매년 ) + 국방관련빅데이터기술연구경진대회 6,000만세계의다양한언어및문자로부터정보를추출 분석하는연구 ( 신규 ) 대용량데이터에서특정정보만을탐지하는기술개발 (ADAMS) 3,500 만 분산데이터처리알고리즘및오픈소스소프트웨어연구 (XDATA) 2,500만 ( 매년 ) 데이터암호화관련프로그래밍언어개발 (PROCEED) - 확장형데이터관리 분석및시각화연구소 (SDAVI) 설립 2,500만 중성자연구에서의대용량데이터수집및분석시스템연구 (ADARA) - 미국지질조사원지구시스템과학분야에서의빅데이터활용연구 - (USGS) 원출처 : US Government, 'Big Data R&D Initiative', 2012. 3-3 -
( 국내 ) 범부처차원에서버스노선, 질병예보, 뉴스검색등빅데이터초기시장 구축및사회문제해결을위해다양한 R&D 사업추진 - ( 각부처 ) 13 년중점과제로선정된 8 개과제를추진하기위해서각과제별 관련중앙부처 ( 안행부등 ) 및지자체 ( 서울시등 ) 를중심으로사업추진 - ( 미래부 ) 2012 년부터 2017 년까지 349 억원을투자하여트위터등 SNS 이용 활성화로급증한자연어정보및이미지, 위치정보등센서데이터의자료를 마케팅에활용하는기술개발을지원 (3 개과제 ) <2013 년국내빅데이터중점지원과제현황 > 주관과제명분석데이터연구내용 안행부 복지부 고용부 통계청 교육부 식약처 빅데이터로그분석으로보안사고및장애예방강화국민건강정보 DB를활용한맞춤형건강서비스개발 일자리현황분석을통한고용수급예측 빅데이터를활용한국민체감통계생산 2 만여정보시스템의 Log (6 개월동안 Log 데이터 ) 및작업승인내역 국민건강공단의질병정보및민간 SNS 자료등 경제활동인구조사, 국민계정, 고용노동통계조사, 패널조사데이터, 고용보험등온오프라인병행사이트등으로부터수집한가격정보및비정형데이터 빅데이터활용대량의기사DB에대한스마트뉴스모바일중요도, 관계도등앱개발빅데이터기반의포털, SNS 상의약품부작용의약품안전성정보, 병원환자진료기록조기경보서비스정보등소강공인창업성공률상가인 허가, 부동산가격제고를위한정보, 신용카드거래데이터점포평가서비스유동인구빅데이터를민간이통사 (KT) 통화량및활용한심야버스거주지데이터, 서울시교통노선수립데이터등차세대메모리기반의빅데이터분석 관리소프트웨어원천기술개발 악성위협IP의접근기록탐지및활동흔적추적및장애의패턴을인지하여동일패턴의 Log 발생시담당자경보특정질병에대한위험을예보하고, 개인건강기록및건강나이, 외졸증위험도예측등서비스제공 정형적 비정형데이터융합을통해미래주요산업 ( 직종 ) 트렌드, 이슈등발굴 일일물가지수, 감성지수 ( 물가변동에대한국민정소영향지수 ) 추세분석및물가예측 뉴스기사시간별매체별요약, 의미관계시각화, 전문가식별등을통해신속한지능형뉴스검색서비스제공포털, SNS 상의비정형화된의약품부작용정보를분석하여의약품안전성을사전에 예측하고소비자등에알림서비스제공점포개 폐업이력, 창업아이템별매출중기청추이등을분석하여소상공인성공률제고및 묻지마창업 예방으로과잉진입방지심야시간 KT통화량으로유동인구밀집도를서울시분석하여심야버스노선의배차간경등교통노선의검증 보완빅데이터실시간기본플랫폼을설계하고, 분산 DB 관리기술프로토타입개발차세대네트워크장비및자동차인포초소형 고신뢰 (99.999%) OS와고성능멀티코어테인먼트등차세대임베디드운영을미래부 OS를동시실행하는듀얼운영체제원천기술개발위한듀얼운영체제기술개발빌딩내기기들을웹을통해연동하여사용자가상화기반의임베디드제어기등을맞춤형최적제어 모니터링서비스를제공하는개발함으로써입주자위치등에따른소프트웨어개발다양한맞춤형서비스개발 원출처 : 부처합동, 빅데이터활용본격화, 복지 치안 물가등 해결사, 2014. 1. 7; 국가과학기술지식정보서비스 (NTIS) - 4 -
국내 외기술수준분석 ( 국외 ) 해외주요국가운데서는미국의기술수준이가장높고, 그다음으로 일본 (86.2%), EU(83.5%), 중국 (65.6%) 순으로나타남 - 세부적으로는데이터분산처리시스템기술 (2.3 년 ) 이지식기반빅데이터활용 기술 (2.8 년 ) 에비해국가별기술수준격차가크지않았음 ( 우리나라포함 ) ( 국내 ) 우리나라빅데이터기술수준은최고기술보유국인미국대비 78.0% 정도이며, 기술격차는 3.5 년으로나타남 - 세부적으로는데이터분산처리시스템기술 (79.3%) 이지식기반빅데이터활용 기술 (76.7%) 에비해최고기술국대비기술수준이상대적으로높았음 기술분야 < 빅데이터분야의국 내외기술수준 > 기술수준 ( 최고수준국가대비 00%) 미국 EU 일본중국한국 5개국평균 기술격차 ( 최고수준국가대비 00년 ) 5개국미국 EU 일본중국한국평균 지식기반빅데이터활용기술 100.0 84.6 88.1 61.6 76.7 82.2 0.0 2.4 1.5 6.2 4.0 2.8 데이터분산처리시스템기술 100.0 82.3 84.2 69.5 79.3 83.1 0.0 2.2 2.1 4.2 3.0 2.3 2 개세부분야평균 100.0 83.5 86.2 65.6 78.0 82.7 0.0 2.3 1.8 5.2 3.5 2.6 원출처 : KISTEP, 2012 년기술수준평가 : 120 대국가전략기술, 2013. 2 시장동향및기대효과 ( 적용분야 ) 빅데이터기술은 IT산업에국한되지않고, 국민경제, 복지, 안전, 고령화등거의全범위에적용이가능 - ( 관련제품 ) 상권분석서비스 (SK텔레콤), 민원정보분석시스템 ( 국민권익위원회 ) 등민간과공공부문에서이미빅데이터를활용한제품이다수출시 < 상권분석서비스 (SK 텔레콤 )> < 민원정보분석시스템 ( 국민권익위원회 )> 원출처 : 부처합동, 빅데이터마스터플랜, 2012. 11-5 -
( 시장규모 ) 21세기정보화시대를맞아다양한데이터가폭발적으로증가함에따라이러한정보를체계적으로분석ㆍ활용하는시장도지속적으로성장 - ( 세계 ) 2010년 32억 1천7 백만달러에서 2015년 169억 2천만달러로성장하여 5년간약 5.3배성장할것으로전망 - ( 국내 ) 국내빅데이터시장은 2016년 3억 3천2 백만달러에서 2020년 8억 9천 3백만달러로성장하여 4년간약 2.6배성장 ( 세계대비시장성장률 1/2수준 ) < 세계빅데이터시장규모전망 > < 국내빅데이터시장규모전망 > 원출처 : KISDI, 빅데이터동향및정책시사점, 2013. 6 재인용 ( 사회경제적파급효과 ) 공공및민간부문에서축적된빅데이터를활용하여생산성향상, 기술경쟁력확보, 정부혁신등사회경제적파급효과달성 - (EU) 빅데이터활용으로유럽제조부문은개발 조립비용의 50%, 운전자본의 7% 절감, 공공부문은 GDP의 0.5% 의생산성증가효과기대 * 출처 : McKinsey, Big Data: The next frontier for innovation, competition, and productivity, 2012. 6 - ( 영국 ) 12년부터 17년까지빅데이터가영국산업에미치는경제적효과 ( 사업효율성제고, 新산업창출등 ) 가 2,160억파운드 ( 약 395조원 ) 에달할것으로전망 * 출처 : CEBR, Data equity: Unlocking the value of big data, 2012. 4 - ( 국내 ) 국내공공부문빅데이터활용으로행정효율성제고, 세수증대등을달성하여최대 4조 2천억원 (GDP 의 0.4%) 의부가가치창출 * 출처 : 부처합동, 빅데이터마스터플랜, 2012. 11-6 -
결론및정책적시사점 ( 인식전환 ) 빅데이터는고부가가치를창출하는 황금알을낳는거위 로주목받고있으나, 개인정보유출및낮은인지도에대한문제점내포 - 대형개인정보유출사고로인해정보공개에대해국민이거부반응표출 * ( 대표사례 ) 3개신용카드 ( 농협, 국민, 롯데 ) 는 1억 400만건의개인정보유출 ( 14.1월) - 이를위해금융기관책임강화, 불필요한개인정보삭제등대응체계마련 - 또, 정부기관을포함한민간기업의빅데이터에대한낮은인지도 * 를개선하기위해공익광고등을통해빅데이터활용에대한국민적공감대형성필요 * 240개기업 공공기관을대상으로설문조사한결과, 빅데이터를전혀모르거나이름만들어봤다는응답이 76.7% 차지 ( 한국정보통신진흥협회, 빅데이터산업실태조사, 2012년 ) ( 정보개방 ) 행정 공공기관은 2,194개웹사이트를통해다양한데이터를공개하고있으나, 민간부문의데이터공개는미흡 * ( 예시 ) 실시간버스정보, 공공취업정보등국민생활과밀접한 33개분야의데이터를공유자원포털 (data.go.kr) 을통해민간에개방하고있음 - 기업이보유한대부분의민간데이터는기관별자체활용으로국한된용도로한정되어사실상외부기관의접근이용이하지않는형태임 - 정보공개에상응하는인센티브를제공함으로써필수정보외에제한적범위로민간데이터의외부공개를촉진할수있는방안모색이필요 ( 기술연구개발 ) IBM, 오라클등글로벌기업이이미빅데이터초기시장을선점하여우리나라는해외우수기술을차용하여단순히활용하는수준임 SK텔레콤은오라클의 엑사데이터 (Exadata) 을도입하여요금분석및검증에활용 - 그간서버등인프라 (HW) 분야는어느정도의경험및역량이갖춰졌으나, 데이터분석등소프트웨어 (SW) 및응용서비스분야는여전히부족한실정 - 이를위해, 구글 빅쿼리 (Big Query) 등과같은데이터저장 분석솔루션은물론, 빅데이터미래가치창출을위해 인공지능 (AI) 에활용하는기술개발지원필요 빅데이터를가장잘활용하고있는구글社의임직원의상당수가 AI전문가로, 특히데이터마이닝, 자연어처리, 자동추론등빅데이터기술대부분은 AI에기초하고있음 - 또한, 활용을촉진하기위해클라우드서비스 * 에대한지원도계속강화필요 * 클라우드서비스는영화, 음악등사용자콘텐츠를서버에저장하여스마트폰등외부기기에서실시간이용하는기술로, 빅데이터의他분야활용에크게기여 - 7 -