<352E33302D20B0FAC7D0B1E2BCFAC1A4C3A5B3D7C6AEBFF6C5A9BAD0BCAEB1E2B9DDC0C7BAF2B5A5C0CCC5CDC8B0BFEBB9E6BEC8BFACB1B828B9E8BBF3C5C2292E687770>

Transcription

1 연구보고 과학기술정책네트워크분석기반의 빅데이터활용방안연구 A Study on Using Big Data Based on Network Analysis of S&T Policy 배상태

2

3 제출문 한국과학기술기획평가원원장귀하 본보고서를 과학기술정책네트워크분석기반의빅데이터활용방안 연구 의최종보고서로제출합니다 연구기관명 : 한국과학기술기획평가원 연구책임자 : 배상태 ( 연구위원 )

4

5 요약문 주요선진국들은 2009년이후부터과학기술정책의과학화사업을범부처단위로확산하고있으며과학기술정책의과학화를위한전문가협업및소통을기반으로데이터개방및업무협력기반을강화하고있다. 이에 KISTEP은 2008년부터과학기술기획및정책수립, 미래예측, 사업평가, R&D 예산배분등을수행함에있어증거를기반으로하는신뢰성을확보하기위하여방대한데이터를분석하여활용할수있는 K2Base 시스템을지속적으로개발 구축하고있다. 최근에전세계적으로과학기술과관련된수많은다양한형태의데이터들이인터넷이나소셜미디어등을통해쏟아져나오고있어이를수집하여축적하는것도중요하지만이러한데이터들을어떻게분석하여활용할것인지에대한통합적사고를위한심층분석및해석이보다더중요하다. 따라서빅데이터로부터사용자들이필요로하는가치정보들을찾아내어효율적으로활용하는것이가장중요한이슈로부각되고있다. 이처럼빅데이터는대용량데이터를수집 분석하여추출된가치정보를바탕으로변화를예측하거나이러한변화에능동적으로대응하기위한정보화기술을의미한다. 세계적인컨설팅전문기관인매킨지를포함하여이코노미스트와가트너는빅데이터가국가의성패를좌우하는데이터경제시대 (Data-driven Economy) 가도래할것이라고전망하면서향후에데이터는중요한자산으로인식되어이를통해부가가치와창의적인혁신을이끌어내는정부와기업만이생존할수있다고밝힌바있다. 따라서세계주요선진국들은매일생성되고있는엄청난양의데이터를분석하여선제적인정책과미래전략을수립하는데적극적으로활용하고자빅데이터추진전략및정책을수립하여지속적으로추진해오고있다. 본연구의목표는빅데이터의활용사례가풍부한선진국의빅데이터추진전략및활용사례뿐만아니라과학기술정책의과학화및의사결정에필요한빅데이터관련분석및처리기술에대해살펴보고이를효과적으로활용할수있는시사점을도출하고자한다. 또한, 최근들어이러한빅데이터 - i -

6 분석결과를다양한관점에서직관적으로고찰하고의사결정을신속하게내릴수있는빅데이터시각화기술이주요이슈로부각되고있다. 따라서과학기술정책과학화를실현하기위한필수요건으로방대한데이터의다양한분석결과를쉽게이해할수있도록이미지로표현하는시각화기술및활용형태에대해살펴보고데이터시각화의성공적인활용을위한시사점을제시하고자한다. 우리나라를포함한주요선진국들의빅데이터정책및추진전략에대해살펴보면우리나라는 2013년 6월빅데이터로미래트랜드를분석하고국가의미래전략을과학적으로수립해나간다는내용을담은 정부 3.0 추진기본계획 을발표하였으며이를통해일자리창출및과학적행정구현, 공공데이터개발등을통해경제성장과국민행복을목표로빅데이터를추진하고있다. 미국은정부주도로 빅데이터연구개발이니셔티브 를발표하여핵심기술확보와빅데이터의활용, 인력양성을중점적으로추진하고있다. 이와더불어빅데이터관련부처및기관들은각업무특성에적합한빅데이터관련프로젝트를진행하고있으며이를지속적으로확대해나갈예정이다. 영국은빅데이터를사회와경제를성장시킬 21세기의새로운원자재및연료로정의하고공공부문의정보공유및활용에의한가치를창출하기위하여데이터공개및공유중심의정책을펼치고있다. 영국역사상가장투명한정부를목표로오픈데이터전략을추진하고있는셈이다. 따라서각부처는수집된데이터를토대로 2015년까지의료, 교육, 세금, 고용등을순차적으로확대하여정보를공개할예정이다. 일본은사회현안문제를해결할수있는도구로데이터에대한가치를재평가하고있다. 이에, 액티브제팬 (Active Japan) 전략을발표하고빅데이터를활용하여사회현안해결및경제성장목표를달성하기위한액티브데이터전략을중점목표로정하였다. 맥킨지는미국경제성장의활성화와경기회복을위한 5가지기회요인을분석한보고서에서 GDP 성장과함께 2020년까지상당한일자리를창출할수있는게임체이저 (Game Changer) 를선정한바있다. 그중의하나로빅데이터가선정되었는데미국의인구고령화로인한경제활동인구비중이낮아짐에따라미국이과거와같은속도로 1인당 GDP를증가시키려면생산성을 30% 이상높여야한다. 이를위해빅데이터를활용하면효율성을 - ii -

7 높이고혁신적인서비스창조가가능한데미국은전세계데이터의 32% 를차지하고있어유리한입장에있다고말할수있다. 빅데이터를이용한생산성향상으로소매와제조분야에서 3,250억달러, 의료와정부부문에서 2,850억달러의 GDP가증가할것으로추산하고있다. 영국의경제경영연구소 (Center for Economics and Business Research) 는영국에서빅데이터를도입할경우공공및민간영역에서괄목할만한경제적효과가발생할것이며 2012년부터 2017년까지영국산업전체에서약 2,160억파운드의경제적효과가발생할것으로전망하고있다. 또한, 영국대외정책연구원 (Policy Exchange) 은빅데이터로공공부문에서연간 160억에서 330억파운드가절감될것이며이는영국정부총예산인 7,000억파운드의약 2.5%, 에서 4.5% 에해당하는것이라고밝힌바있다. 일본총무성역시빅데이터도입및활용에따라농업, 도시, 환경, 유통, 의료등다양한분야에서생산성과효율성을높일수있을것으로판단하고있으며 10조엔의부가가치창출과약 12조엔에서 15조엔의사회비용절감이가능할것으로예측하고있다. 따라서주요선진국들은정치및경제, 경영, 의료, 사회, 문화등다양분야에서빅데이터를활용하여가시적인성과를내고있다. 즉, 데이터분석수치에근거한선거전략수립, 예측서비스에의한범죄방지및치안유지, 서울시심야버스최적화, 금융사기를비롯한탈세방지, 행정서비스개선, 소셜네트워크분석에의한질병조기발견및자살예방, 맞춤형광고및의료서비스등으로활용범위및성공사례들이점차증가하고있는추세이다. 이처럼주요선진국들은빅데이터를통해사회 경제적비용절감은물론데이터를기반으로한객관적이고과학적인접근방식을통해국정운영및사회현안등을해결하여보다나은미래사회로의방향을모색할수있다고확신하고있다. 빅데이터는복지및안전 위험등국가사회현안을발굴하여국민이행복한생활을영위할수있도록맞춤형서비스를제공하고이머징신기술기반으로신성장동력발굴및신시장을개척하여양질의일자리도창출할수있을것이다. 이외에도급변하는국내외환경변화의동인을발견하고발생가능한미래를예측하여선제적인대응전략도수립할수있다. - iii -

8 이러한빅데이터의시너지효과를실현하기위하여대량의데이터를빠른속도로분석하여가치정보를도출하는다양한분석기술과처리기술들이지속적으로개발되고있다. 즉, 다양한형태의데이터를분석할수있는데이터마이닝과텍스트마이닝기술을비롯하여 SNS를분석할수있는소셜네트워크분석기술등을통해미래예측및과학적인의사결정을위해활용하고있다. 또한, 다양한형태의데이터가모두저장가능한 NoSQL, 빅데이터를빠른속도로처리할수있는하둡및인-메모리컴퓨팅기술등빅데이터처리기술도주요선진국을중심으로활발하게개발 활용되고있다. 이처럼한동안빅데이터시장은거대한데이터를처리하기위한클라우드기반의분산처리기술들과대용량데이터들을효과적으로분석하기위한기술들이시장을주도하고있다. 실제로짧은기간동안많은기술적진보가이루어져왔으며이후다양한분석결과들을활용하는사례들도증가하고있다. 하지만이러한주도기술들의일반적인딜레마는최종소비자에게어떤가치를줄수있을지에대한배려가부족하다는것이다. 실제로빅데이터분석결과를통해서가치정보를얻는소비자는일반대중이될수도있겠지만대부분의경우중요한의사결정을필요로하는사람들이다. 이의사결정권자들은빅데이터기술이나분석결과에대해서충분한지식을보유하고있지못한경우가더많기때문에아무리좋은정보라하더라도가치있고의미있게전달하지못한다면그효용성이떨어질수밖에없다. 따라서데이터분석결과를보다쉽게이해할수있도록시각적으로표현하고전달하는시각화도구를활용하면더큰가치와통찰력을제공할수있다. KISTEP은 2008년부터과학기술미래예측및중장기계획수립, 기술영향평가, 예비타당성조사, R&D 성과분석및투자전략수립, R&D 예산편성, R&D 조사분석평가등의업무를효율적으로지원하기위해 K2Base 시스템을구축하여국가별혁신정책동향및연구개발투자현황을상시적으로수집하고국내외논문 특허 저널정보를제공하는유료시스템과의연동을통해많은데이터를보유하고있다. 이렇게수집된데이터를활용하여과학기술과관련된변화와문제에대한본질을객관적근거를기반으로신속하게분석하여보다나은대응전략과실행계획을수립하기위한지식정보를제공하고있다. 특히, 2013년부터향후 5년간지식기반의미래가치를창출하기네트워크구현을목표로시스템을구축하고자한다. - iv -

9 [ 정책지식베이스확장및정책서비스발전방향 ] 따라서분석된가치정보를기반으로과학기술의미래예측및정책결정을신속 정확하게할수있도록빅데이터를기반으로시스템을구현하여야한다. 과학기술분야에서빅데이터를효율적으로활용하기위해서는다음과같은전략이필요하다. 첫째, 범부처차원의과학기술정책을수립하기위해서는비정형화된과학기술관련데이터를실시간으로수집 분석할수있는기반을마련하여비정형데이터와데이터베이스에저장된정형화된데이터를동시에분석하여의사결정에용이한신뢰성이높은가치정보를생성해야한다. 둘째, 과학기술분야의빅데이터를신속하게분석하고처리할수있는새로운기술을적극적으로도입해야한다. 셋째, 대규모의데이터속에숨겨진가치정보를발굴하기위해서는데이터과학자 (Data Scientist) 를확보하여야한다. 넷째, 과학기술과관련된데이터에포함된개인정보및기밀정보를보호할수있는보안대책을마련하여보호하여야한다. 마지막으로네트워크분석에의한정보를실시간으로의사결정할수있도록사용자및의사결정자의초점에맞춘정보의시각화가지원되어야한다. 빅데이터처리기술을기반으로분석된결과들이어떻게가치있는정보와지식으로활용될수있을지에대한마지막관문이빅데이터의시각화라고해도지나치지않으며과학기술미래예측및과학기술정책수립을위한의사결정의효율화를위해 K2Base 시스템이나아가야할최종목표이기도하다. - v -

10 앞으로데이터와정보에대한이해뿐만아니라표현방식과그래프형식의선택도이제는 K2Base 시스템의새로운미션이되었다고볼수있다. 즉, 복잡하고다양한분석데이터를시각화도구로단순화하여정확하고신속하게의사결정을할수있는방법을제공하면통찰력과미래가치를창출할수있는생산적인시스템으로발전하게될것이다. [K2Base 의정보시각화모델 ] - vi -

11 목 차 제 1 장서론 1 제 1 절연구배경및필요성 1 제 2 절연구목표및내용 4 제 2 장빅데이터추진전략및현황 5 제 1 절국내추진전략및현황 5 제 2 절국외추진전략및현황 14 제 3 장빅데이터활용사례및시사점 31 제 1 절빅데이터활용사례 31 제 2 절분석및시사점 68 제 4 장과학기술정책의빅데이터활용기술 72 제1절빅데이터분석기술 72 제2절빅데이터처리기술 90 제3절빅데이터시각화기술 102 제 5 장결론 125 제 1 절결론 125 제 2 절시사점 vii -

12 표목차 < 표 1> 빅데이터마스트플랜대상과제 7 < 표 2> 빅데이터활용기반조성대상과제 8 < 표 3> 공공데이터개방개선책 9 < 표 4> 공공데이터활용사례 (10대전략분야 ) 10 < 표 5> 부처별역할분담 ( 안 ) 12 < 표 6> 부처별데이터공개내용 26 < 표 7> 액티브데이터전략을위한 7대추진과제 29 < 표 8> 주요국의빅데이터추진전략및체계 68 < 표 9> 미래사회와빅데이터의역할 70 < 표 10> 12 13년미디어이용률추이 ( 한국 ) 83 < 표 11> 시각적요소의주요속성 117 < 표 12> 분석데이터시각화모델 viii -

13 그림목차 [ 그림 1] 과학기술지식베이스구축성과현황 ( 08 12) 1 [ 그림 2] 빅데이터의특징 (3V) 2 [ 그림 3] 의사결정과비즈니스가치관계 2 [ 그림 4] 과학기술정책 & 빅데이터활용방법연구 4 [ 그림 5] 빅데이터스마트국가비젼과목표 6 [ 그림 6] 정부3.0 운영계획 9 [ 그림 7] 공공데이터와일자리연계프로세스 11 [ 그림 8] 미국 빅데이터 R&D 이니셔티브 세부목표 17 [ 그림 9] 미국빅데이터추진체계 18 [ 그림 10] DID 홈페이지 20 [ 그림 11] 단백질데이터은행웹사이트 21 [ 그림 12] 데이터전략및추진방향 24 [ 그림 13] 영국데이터전략위원회조직구성체계 27 [ 그림 14] Active Japan ICT) 5대추진전략 28 [ 그림 15] 일본빅데이터추진체계 30 [ 그림 16] 빅데이터선거전략 33 [ 그림 17] Nate Silver의대선예측과실제결과비교 34 [ 그림 18] 빅데이터대선전략 35 [ 그림 19] 美대선패러다임변화 36 [ 그림 20] LA 범죄예측서비스 38 [ 그림 21] PredPol vs Crime hotspotting간의예측정확도비교 39 [ 그림 22] 범죄예측시스템도입전후의범죄발생률 39 [ 그림 23] 서울시심야버스노선최적화 42 - ix -

14 [ 그림 24] 국가별헬스케어지출비용 (2011) 43 [ 그림 25] 헬스케어분석플랫폼 44 [ 그림 26] Prediction Results Using Selected Features 45 [ 그림 27] 예측모델링설정 46 [ 그림 28] Prediction Performance on Different Modeling Windows 47 [ 그림 29] 트윗데이터마이닝시스템 48 [ 그림 30] Pillbox 홈페이지화면 50 [ 그림 31] Data-driven learning system 51 [ 그림 32] 자살관련버즈량일별추이 53 [ 그림 33] 소셜빅데이터분석절차및방법 ( 자살 Buzz 사례 ) 54 [ 그림 34] 주요자살원인 54 [ 그림 35] 청소년자살검색예측모형 55 [ 그림 36] 빅데이터를활용한상품추천화면 58 [ 그림 37] 슬램트래커 (SlamTracker) 63 [ 그림 38] 경기선수분석개념도 64 [ 그림 39] 경기승리를위한핵심요인분석 65 [ 그림 40] 텍스트앳감정분석보고서 66 [ 그림 41] 데이터마이닝프로세스 73 [ 그림 42] 정형및비정형데이터구성비 78 [ 그림 43] 텍스트마이닝관련기술 79 [ 그림 44] 텍스트마이닝과정 80 [ 그림 45] 상품평자동분류과정 81 [ 그림 46] 감정분석대시보드 83 [ 그림 47] 소셜네트워크분석 84 [ 그림 48] 개인온라인영향력측정 85 [ 그림 49] 웹사이트방문자군집분석 87 [ 그림 50] 하둡 (Hadoop) 개요 91 - x -

15 [ 그림 51] 하둡 (Hadoop) 활용 93 [ 그림 52] R언어와통계그래프 93 [ 그림 53] Indeed.com의구인자 NoSQL 선호도 97 [ 그림 54] 인-메모리컴퓨팅과디스크기반컴퓨팅개념비교 99 [ 그림 55] 1990년대비 2010년기술발전비교 99 [ 그림 56] 인-메모리분석프로세스와기존분석프로세스비교 101 [ 그림 57] 빅데이터의속성과데이터시각화의역할 103 [ 그림 58] 데이터의중요역량우선순위 104 [ 그림 59] 의사결정나무분석구조 106 [ 그림 60] 상자와수염그림표와체르노프얼굴 106 [ 그림 61] 태그구름 (R&D투자동향) 107 [ 그림 62] 통계기반인포그래픽 110 [ 그림 63] 타임라인기반인포그래픽 110 [ 그림 64] 프로세스기반인포그래픽 111 [ 그림 65] 위치 / 지리기반인포그래픽 111 [ 그림 66] 지식체계 113 [ 그림 67] 빅데이터시각화개념 114 [ 그림 68] 데이터처리단계 115 [ 그림 69] SLIP 데이터분류체계 115 [ 그림 70] 세계인구통계와소득 120 [ 그림 71] 원소주기율표 121 [ 그림 72] 런던지하철노선도 122 [ 그림 73] 포틀랜드시의건축물나이맵 123 [ 그림 74] 사회적주식지수 124 [ 그림 75] 정책지식베이스확장및정책서비스발전방향 129 [ 그림 76] K2Base의정보시각화모델 xi -

16

17 제 1 장서론 1 제 1 장서론 제 1 절연구배경및필요성 주요선진국들은 2009년이후부터과학기술정책의과학화사업을범부처단위로확산하여과학기술정책의과학화를위한전문가협업및소통을기반으로데이터개방및업무협력기반을강화하고있다. 이에 KISTEP은 2008년부터과학기술기획및정책수립, 미래예측, 사업평가, R&D 예산배분등을수행함에있어증거를기반으로하는객관성과신뢰성을확보하고자방대한데이터를분석하여활용할수있는 IT 인프라를지속적으로구축하면서개선해나가고있다. [ 그림 1] 과학기술지식베이스구축성과현황 ( 08 12) 최근에전세계적으로과학기술과관련된수많은형태의다양한데이터들이인터넷이나소셜미디어등을통해쏟아지고있는데이러한데이터들을수집하여축적하는것도중요하지만어떻게분석하고활용할것인지에대한심층분석과해석이더중요한시점에도달하였다. 즉, 빅데이터로부터사용자들이필요로하는가치정보들을찾아내어활용하는것이가장중요한이슈로부각되었다. 이처럼빅데이터는대용량데이터를활용 분석하여가치있는정보를추출하고이러한지식을바탕으로변화를예측하거나변화에능동적으로대응하기위한정보화기술을의미한다. 빅데이터는대체적으로거대한크기 (Volume), 빠른속도 (Velocity), 다양한

18 2 과학기술정책네트워크분석기반의빅데이터활용방안연구 형태 (Variety) 라는속성을지니고있어 3V라고불리는데최근에는여기에가치 (Value) 를더해 4V라고불리기도한다. 즉, 빅데이터는매일전세계에서 250경바이트의데이터가생성되고있으며현존하는전세계데이터의 90% 는최근 2년내생성되었을정도로방대하고생성속도도엄청나게빠르다. IBM은 2020년이되면데이터생성속도가 2009년의 44배에달할전망이라고예측한바가있다.[1] 빅데이터는센서및소셜네트워크서비스등의발전으로기존의정형데이터에비해단문메시지, 동영상, 음성등비정형데이터가증가하여다양한데이터가복합적으로상호존재하게된다. [ 그림 2] 빅데이터의특징 (3V) 출처 : 채승병, 빅데이터의이해와관련이슈진단, 삼성경제연구소또한, 거대한데이터로부터분석작업을통해가치있는정보를추출하여빠른의사결정을진행함으로써비즈니스가치는더욱상승되는효과가발생한다. [ 그림 3] 의사결정과비즈니스가치관계출처 : Big data analytics: Turning insight into action, Teradata(2013.8)

19 제 1 장서론 3 세계적인컨설팅전문기관인매킨지, 이코노미스트, 가트너는국가의성패를좌우하는데이터경제시대 (Data-driven Economy) 가도래할것이라고전망하면서향후빅데이터는조직의중요한자산으로인식되어이를통해부가가치와창의적인혁신을이끌어내는정부와기업만이생존할수있다고발표하여위기감이점차고조되고있다. 이에, 주요선진국들은거대한데이터를분석하여선제적인정책과미래전략을수립하는데적극적으로활용하고자연구를진행하고있다. 특히미국은과학기술정책자문위원회의제안을받아들여빅데이터전략을수립하고 2012년 3월빅데이터연구개발에 2억달러이상을투입하는빅데이터연구개발이니셔니브를발표하였다. 여기에참가하는기관은유전자연구및의료, 교육, 지구과학및국방분야등빅데이터활용효과가뛰어난분야의기관들이우선적으로참여하고있다. 또한, 전세계적으로사회의변화속도가점차빨라지면서위험요소와복잡성이증가하고있는환경변화에정확하고신속하게대응하기위한시스템적대응능력이절실히요구되고있는실정이다. 불확실성이높은위험사회에대비하는것이시급성이높은국가의중요한정책적의제이므로이를위해최근에이슈가되고있는빅데이터를기반으로과학기술분야의정책을수립하고기획하는데활용가능한빅데이터분석및처리기술과이를효율적으로활용할수방안을모색할필요가있다.

20 4 과학기술정책네트워크분석기반의빅데이터활용방안연구 제 2 절연구목표및내용 본연구의목표는빅데이터의활용사례가풍부한선진국의주요추진전략및성공사례를토대로빅데이터의다양한기술들을과학기술정책의과학화및의사결정에반영하기위한사전탐색연구를통해이를효과적으로활용할수있는방안을제시하고자한다. 이를위해먼저우리나라를비롯한주요선진국에서추진하고있는빅데이터와관련된추진전략및방향에대해살펴보고정치, 경제, 사회. 의료, 문화등전분야에서걸쳐다양하게활용되고있는빅데이터활용사례를수집 분석하여시사점을도출하고자한다. 또한, 과학기술정책의과학화를실현하는데필요한빅데이터와관련된다양한기술및동향에대해살펴보고자한다. 특히, 최근에빅데이터의분석결과를다양한관점에서직관적으로고찰하고의사결정을신속하게내릴수있는빅데이터시각화기술이주요이슈로부각되고있다. 따라서과학기술정책과학화를실현하기위한필수요건으로방대한데이터의다양한분석결과를쉽게이해할수있도록이미지로표현하는시각화기술및활용형태에대해살펴보고과학기술데이터시각화의성공적인활용을위한시사점을제시하고자한다. [ 그림 4] 과학기술정책 & 빅데이터활용방법연구

21 제 2 장빅데이터추진전략및현황 5 제 2 장빅데이터추진전략및현황 제 1 절국내추진전략및현황 1. 추진배경및목적 빅데이터가 ICT 분야의새로운패러다임이자신성장동력으로급부상하고있는이유는빅데이터자체로뿐만아니라빅데이터활용을통해사회현안을해결할수있는핵심수단으로각광받고있기때문이다. 즉, 과거에는불가능했던많은일들이빅데이터를통해현실화되고있는추세이다. 이에주요선진국들은빅데이터와관련된추진전략및정책들을마련하여이를적극적으로추진하고있으며글로벌 ICT 기업은빅데이터핵심기술및신규비즈니스모델을개발하여기술경쟁력을확보하고일자리를창출하는데큰몫을하고있다. 우리나라는정보단말기및인터넷보급률이세계적으로가장높아데이터생산량도거의세계적수준에도달했다고볼수있다. 따라서우리나라도빅데이터를통하여사회현안및국민의니즈를파악하여미래전략을수립하고선제적공공서비스를제공하고자한다. 이와더불어민간 공공에서축적되고있는데이터의적극적인활용으로생산성향상과비용절감을실현하고새로운기술에대한경쟁력확보및일자리창출등미래경쟁력의핵심수단으로빅데이터에관심을가지기시작하였다. 또한, 정책결정의투명성확보와기관간의협력을통한국민의불편함을해소하고맞춤형서비스를통해국민의행복지수를향상시키기위하여빅데이터는아주중요한역할을수행할것으로확신하고있다. 이에, 범정부적으로빅데이터를추진하기위한전략과그에따른정책마련이필요하게되었다. 2. 추진전략및정책 대통령소속국가정보화전략위원회는 2012년에 스마트국가구현을위한빅데이터마스트플랜 을발표한바있으며데이터의창조적활용

22 6 과학기술정책네트워크분석기반의빅데이터활용방안연구 을통한스마트강국을실현하기위한 4개의추진목표를제시하였다. 첫번째는데이터를기반으로정책을수립하는등의사결정을지원하여정책프로세스를혁신하고두번째는위험, 위기요인을사전에탐지하고분석하여사회현안에적시대응하여선제적으로사회현안을해결하고세번째는개인의특성과수요에맟춘공감형국민편의서비스를제공하여맞춤형대국민서비스를강화하고네번째는공공부분의선도적활용으로빅데이터시장조기창출및산업경쟁력을강화하여빅데이터기반의신성장동력을창출하는것이다. [ 그림 5] 빅데이터스마트국가비젼과목표출처 : 국가정보화전략위원회 ( ) 빅데이터의비전과목표를달성하기위하여부처별의견을수렴하고해외사례를기반으로총 6개분야의 16개과제를선정하였으며그중에서비교적국민혜택이크다고판단되는과제를중심으로단계적으로확산하고있다. 2012년에는빅데이터마스터플랜을수립하였으며 2014년까지우선추진활용과제및적용가능대상과제를수행하고 2017년까지빅데이터활용을확산하고관련기반기술을고도화할계획이다. 우선

23 제 2 장빅데이터추진전략및현황 7 추진과제로는범죄발생최소화, 자연재해조기감지대응, 교통사고감소체계구축을위한 3개과제를우선선정하여추진하고추후에 16개과제를단계적으로시행하여빅데이터활용을확산할계획으로있다. < 표 1> 빅데이터마스트플랜대상과제 분야 빅데이터대상과제 범죄발생장소및시간예측을통한범죄발생최소화 ( 우선추진 ) 사회안전 예측기반의자연재해조기감지대응 ( 우선추진 ) 음란물유통차단을통한건강한인터넷문화조성 민원데이터분석을통한정책의환류시스템마련 국민복지 복지수요 공급매칭을통한맞춤형서비스제공 일자리현황분석및예측으로고용정책수립지원 국가경제 국가인프라 과세데이터분석으로탈세방지및국가재정확충지원다양한경제관련데이터분석기반의경제정책수립지원주민참여형교통사고감소체계구축 ( 우선추진 ) 실시간네트워크시스템재난관리및대응체계관리 자영업자창업실패예방지원 산업지원 제조공정실시간장애예측을통한생산효율고도화 수급전망에기반을둔농수산물생산관리 국가기후위험요소에대한선제적대응체계구축 과학기술 유전자및의료데이터분석을통한국민건강증진 위성영상데이터분석및활용을통한재난대응 출처 : 국가정보화전략위원회 ( )

24 8 과학기술정책네트워크분석기반의빅데이터활용방안연구 또한, 빅데이터활용기반조성을위해 4개기반조성과제및 12개세부과제를선정하였다. < 표 2> 빅데이터활용기반조성대상과제 번호과제명세부내용 1 빅데이터공유활용인프라구축 행정및공공기관활용플랫폼구축 공공데이터개방 민간대상빅데이터테스트베드구축및운영등 2 기술연구개발 3 전문인력양성 4 법 제도정비 빅데이터기술연구개발로드맵마련 빅데이터기반기술연구개발 빅데이터응용서비스지원등 빅데이터기반기술연구개발인력양성 빅데이터응용서비스인력양성등 데이터관리와기본법령제정추진 개인정보보호대책마련 공공분야빅데이터활용추진 빅데이터역기능방지대책및활용문화확산등 출처 : 국가정보화전략위원회 ( ) 2013년 6월경안정행정부는빅데이터로미래트랜드를분석하고국가의미래전략을과학적으로수립해나간다는내용을담은 정부 3.0 추진기본계획 을발표하였다. 이에따르면, 정부는우선빅데이터를종합 분석하여정책결정에활용하기위하여 국가미래전략센터 구축방안을마련하고산 학 연협력을통해빅데이터처리 저장 분석 활용기술등기초기술을개발하며전문인력을양성하여투자와고용을촉진시킬계획이다.[2] 그리고각부처에서필요한공공데이터를연계 분류하고공유 분석할수있는기반을마련하여부처별간에시스템을중복구축하는것을방지하고각부처가공동으로활용할수있는빅데이터기반시스템을구축할계획이다.[3]

25 제 2 장빅데이터추진전략및현황 9 [ 그림 6] 정부3.0 운영계획출처 : 정부3.0 추진계획발표자료특히, 정부 3.0은기존정보공개청구시에만공개하던정보를사전에원문까지모두공개하겠다는것이다. 이에따라올해 31만건이던공개정보는향후연간 1억건까지늘어난다. 대상기관도정부와정부투자기관에서위원회, 출자, 출연, 보조기관등 1700여곳으로확대된다. 구분현행개선 공개시점청구시공개청구가없어도사전에공개 공개대상 목록만공개, 청구시원문공개 원문까지공개 공개건수 31만건 ( 12년) 매년 1억건 ( 추정 ) 대상기관 < 표 3> 공공데이터개방개선책 국가기관, 지자체, 정부투자기관 위원회, 출자 출연 보조기관추가 ( 약 1,700 개확대 ) 출처 : 정부 3.0, 중앙일보 ( ) 또한, 일자리를창출하기위하여민간수요가많고개방이시급한전략분야로기상정보와교통정보, 지리정보등을선정하여우선개방할계획

26 10 과학기술정책네트워크분석기반의빅데이터활용방안연구 이며전체공공데이터를개방할경우 15만명의일자리가창출되고 24조원의경제적효과가창출된다고한다.[4] < 표 4> 공공데이터활용사례 (10 대전략분야 ) 구분공공데이터활용 기상레이더기상자료, 예보, 일기도등 교통 지리 특허 복지 보건의료 재해안전 교육 공공정책 재정 GPS, GLS 정보, 3D 실내정보, 실시간도로소통정보등 항공사진정보, 건축인허가정보, 건출물대장등 특허, 실용신안정보, 상표정보, 디자인정보등 어린이집정보, 취약계층정보, 복지혜택정보등 병원평가정보, 의약품유통정보, 식품인허가정보, 농축산물유통관리정보등 원전안전운영정보, 전국환경방사선량정보, 홍수예보, 재난징후정보등 대학별공시자료, 진로 진학정보, 학원 교습소정보, 학원비정보등 국가정책정보, 공모제안, 정책토론, 의회활동정보, 법규, 고시등 국가재정정보, 공공사업개찰정보, 낙찰자정보, 계약정보, 국유재산조사관리정보등 세부지역별 ( 주변동네등 ) 맞춤형기상예보, 재해예보, 전략소비예측 GPS, CCTV 기반물류, 유통산업, 실내쇼핑서비스 지역상권분석, 지역상거래안내, GPS, 센서를활용한차량안전서비스 저작권소송지원, 온라인특허거래, 특허금융서비스 취약계층스마트돌봄서비스, 실시간개인복지혜택컨설팅, 맞춤형어린이집찾기 병원별건강위해정보제공 ( 항생제사용, 제왕절개건수등 ), 가짜약품식별, 식품유통원산지파악 원전사고발생위험정보, 지역별방사선경보, 지역별쓰나미 홍수예보 수험생맞춤형대학진학상담, 사교육비비교, 부당과다학원비제공 신규정책안내, 바뀌는법제도안내, 공모접수, 의회활동점검평가 공공사업별낙찰가예측, 공공사업참여, 국유재산공매참여, 국가재정지출예측 출처 : 정부 3.0, 중앙일보 ( ) 이처럼공공데이터의대폭개방을통해공공데이터의민간활용을촉진하기위한기반을마련하기위하여 2013년 6월에 공공데이터제공및이용활성화에관한법률 을제정하였으며이를위해 DB 품질개선사업을확대하여개방형 표준형으로전환하고있으며공공데이터제공창구를

27 제 2 장빅데이터추진전략및현황 11 공공데이터포털 (data.go.kr) 로일원화하고있다. 또한, 국무총리실소속으로 공공데이터전략위원회 를설치하여공공데이터이용활성화기본계획을심의하고개방가능한정보를선정하며공공데이터제공실태를평가하는등공공데이터의활성화를추진한다. 또한, 공공데이터개발로드맵을수립하여 2013년 2260여종을개방하고 2017년까지 6150여종의공공데이터를개방할계획이다. 이러한공공데이터가일자리창출로연계되도록사업계획수립, 창업, 경영등전과정에이르는종합지원대책을마련하고미래창조과학부, 중소기업청, 안전행정부등범정부적협업체계를구축하였다. [ 그림 7] 공공데이터와일자리연계프로세스출처 : 정부 3.0 추진계획보고자료 (2013.6) 3. 추진체계우리나라는정부의조직개편에따라안전행정부내에 창조정부조직실 을신설하여빅데이터와관련된정부 3.0을추진하고있으며공공부분의빅데이터추진전략과국가적우선순위를심의하고조정하기위하여국무총리실산하에 공공데이터전략위원회 를설립하였다. 또한, 안전행정부는미래창조과학부등관계부처와함께빅데이터분석을통한미래전략수립과현안해결을지원할 국가미래전략센터 구축방안을마련하고있다. 이를통해데이터분석 활용기술을개발하고전문인력을양성하여투자와고용을촉진시킬계획이다. 미래창조과학부는산 학 연으로구성된전문가들이관련이슈및정책방향을논의하기위하여 빅데이터

28 12 과학기술정책네트워크분석기반의빅데이터활용방안연구 자문위원회 를구성하였으며빅데이터관련단체들간의공동이익을위해상호협력할수있는 빅데이터전략협의회 ( 가칭 ) 를구성할계획이다.[5] < 표 5> 부처별역할분담 ( 안 ) 구분세부내용관련부처 빅데이터기술의핵심기반획득 전문인력양성및중소기업육성 공공데이터공유및활용지원 법 제도적기반마련 정부지원 R&D 를통해초대규모분산병렬컴퓨팅, 인공지능등빅데이터관련핵심 기반기술의국산화 빅데이터, 관련 H/W 나솔루션 분석서비스등의 S/W 가거래될수있는신뢰성있는빅데이터허브 ( 거래소 ) 구축 운영 빅데이터분석전문인력양성및현장활용인력도육성할수있는프로그램을각각확대개설 정부의공공분야빅데이터사업추진시중소기업을수행주체로서우선참여 현장인력빅데이터교육, 고급분석인력의중소기업파견, 빅데이터사용권및분석툴 하드웨어임대등지원 공공데이터의개방 공유확대및공익적으로중요한분석시데이터 ( 공공부문간, 공공 민간부문간 ) 연동추진 공공부문의정책적의사결정과정에서근거가되는데이터및분석방식공개 공공부문의본격적인빅데이터도입에앞서활용목적 분야 방식, 기술개발, 정보수집등에대한구체적인로드맵수립 빅데이터의관리, 공유, 거래를위한표준화등선제적인법 제도기반마련 빅데이터환경하에서프라이버시, 정보보호 보안을위한법 제도적장치마련 ( 소유권, 활용권, 활용범위, 저장기간, 자기처분권등관련 ) 미래부산업부교육부 산업부안행부 미래부산업부교육부중기청 미래부산업부중기청조달청각부처산업부중기청고용부 각부처 각부처 미래부안행부 안행부법제처권익위

29 제 2 장빅데이터추진전략및현황 13 구분세부내용관련부처 흥보및수용성확보 정부주도로익명화기술, 빅데이터환경에적합한사이버테러 ( 해킹등 ) 대비보안기술개발 국민에게가시적인혜택을줄수있고정부관리가가능한공공분야에서부터시범사업추진 ( 예 : 교육, 건강, 안전등 ) 위험이상대적으로적고높은수준의효율성향상을기대할수있는분야로점차확대 ( 예 : 농 축산업, 유통, 이력관리등 ) 지리 경제 교육문제로소외계층정보가누락되지않도록 IT 인프라제공, 무상교육, 단말기대여, 방문조사등지원 대국민서비스개발및흥보를통해빅데이터정책에대한국민의수용성확보 잠재적사용자인일반인, 비IT 기업들이일상에서빅데이터를쉽게활용할수있도록데이터, 분석툴제공 미래부산업부안행부 각부처 안행부미래부각부처 각부처 미래부산업부각부처 출처 : 2012 년도기술영향평가결과, 미래창조과학부 (2013.7)

30 14 과학기술정책네트워크분석기반의빅데이터활용방안연구 제 2 절국외추진전략및현황 세계주요국들은 90년대이후환경변화에맞추어 IT의역할도변화시키면서정권교체와무관하게지속적으로정보화를추진하였으며 90 년대의 IT 인프라확충에서 2000년대중반의 IT 이용 활용단계를거치면서최근 10년사이에디지털데이터가폭증하게되었다. 세계주요국들은이러한방대한양의빅데이터를처리하고활용할수있는기술을개발하면서과거에는발견하기어려웠던새로운가치창출에대한가능성을인지하고빅데이터를핵심자원으로인정하게되었다. 향후빅데이터는기업의성패뿐만아니라미래국가경쟁력에도큰영향을미칠것이며다양한정보미디어의등장과진화의과정에서새롭게생성되는정보의효율적인분석및활용이국가나기업의경쟁력을좌우할수있다. 이처럼빅데이터환경은민간기업의경영활동뿐만아니라정부를포함한공공부문의혁신을수반하는패러다임의변화를의미한다.[6] IBM, EMC, HP 등민간기업들이 09년부터빅데이터가화두가될것임을인지하고이와관련된이슈에대한준비를가장먼저시작하였으며 1) 이후민간글로벌경제전문지, 컨설팅그룹등이빅데이터를비중있게보도 분석하기시작하였다. 다수의글로벌 IT 컨설팅기업및시장조사기관은 2013년 ICT 산업에영향을미칠핵심기술로빅데이터를선정하였다. 이와더불어빅데이터시장규모가지속적으로확대될것으로전망하는예측치를제시하였는데가트너를비롯한 IDC 등은향후빅데이터시장이지속적으로성장하여많은사회적 경제적효과를창출할것으로전망하고있다. 가트너는 2012년빅데이터시장규모를 280억달러에서 2013년에는 340억달러까지확대될것으로예상하였으며 IDC는글로벌빅데이터기술및서비스시장이연평균 27% 성장하여 2017년에는 324억달러규모에이를것으로전망하였다. 1) IBM 은 09 년 2 월스마트플래닛구상을발표하고 4 월에는비즈니스분석및최적화라불리는기법을적용한컨설팅서비스를시작함.

31 제 2 장빅데이터추진전략및현황 15 이처럼빅데이터시장의발전및확산에따라맥킨지를비롯한여러컨설팅기관들역시빅데이터가사회 경제적가치창출에기여할수있다고전망하고있다. 맥킨지연구소는미국경제성장의활성화와경기회복을위한원동력으로 5가지기회요인을분석한보고서에서 GDP를성장시키면서 2020년까지상당한일자리창출이가능한게임체이저 (Game Changer) 를선정한바있다.[7] 그중의하나로빅데이터에주목하고있는데미국은고령화로인한경제활동인구비중이낮아지고있기때문에과거와같은속도로 1인당 GDP를증가시키려면생산성을 30% 이상높여야한다. 따라서빅데이터를활용하면효율성상승과혁신적인서비스창조가가능한데특히, 미국은전세계데이터의 32% 를차지하고있어다른나라들보다유리한입장에있다. 미국의경우빅데이터를활용하면생산성증가로소매와제조분야에서 3,250억달러, 의료와정부부문에서 2,850억달러의 GDP가증가할것으로추산하고있다.[8] 영국의경제경영연구소 (Center for Economics and Business Research) 는영국에빅데이터를도입할경우공공및민간영역에서괄목할만한경제적효과가발생할것이며 2012년부터 2017년까지영국산업전체에서약 2,160억파운드의경제적효과가발생할것으로전망하고있다. 또한, 영국대외정책연구원 (Policy Exchange) 은빅데이터로공공부문에서연간 160억에서 330억파운드를절감할것이며이는영국정부총예산인 7,000 억파운드의약 2.5%, 에서 4.5% 에해당하는것이라고보고한바가있다. 일본총무성역시빅데이터도입및활용에따라농업, 도시, 환경, 유통, 의료등다양한분야에서생산성과효율성을높일수있을것이며 10 조엔의부가가치창출과약 12조엔에서 15조엔의사회비용절감이가능할것으로예측하고있다. 이처럼주요선진국은빅데이터를통해사회 경제적비용절감은물론데이터를기반으로한새로운국가정보화전략추진으로국정운영및사회현안등을해결하여보다더나은미래사회로의방향을모색하고있다. 빅데이터는복지및안전 위험등국가사회현안을발굴하여국민

32 16 과학기술정책네트워크분석기반의빅데이터활용방안연구 이행복한생활을영위할수있도록맞춤형서비스를제공할수있고이머징신기술을기반으로신성장동력발굴및신시장개척을통하여양질의일자리도창출할수있다. 이외에도급변하는국내외환경변화의동인을발견하고발생가능한미래를예측하여선제적인대응전략도마련할수있다. 이에주요선진국들이추진하고있는빅데이터와관련된추진전략및현황에대해알아보고자한다. 1. 미국 ( 정부주도의빅데이터전략추진및정부서비스혁신 ) 가. 추진배경및목적미국은경제성장및일자리창출, 정부서비스혁신등국가가직면하고있는문제의해결방안으로빅데이터의가능성을인지하고빅데이터의새로운가치정보와데이터를분석 추출 획득할수있는역량확보가시급하다고판단하였다. 이에, 미대통령과학기술자문위원회 (PCAST) 2) 가연방정부수준에서빅데이터관련기술투자필요성을대통령에게건의하였다. 이후 2012년 3월에대통령실내과학기술정책실 (OSTP) 3) 은국가차원의다양한부처가참여하는 2억달러규모의 빅데이터연구개발이니셔티브 (Big Data R&D Initiative) 를발표하였다. 나. 추진전략및체계빅데이터연구개발이니셔티브는빅데이터의핵심기술확보, 사회각영역활용, 인력양성의세가지측면에서중점적으로추진한다. 즉, 기술측면에서방대한데이터의수집 저장 분석 공유를위한핵심기술의최첨단화를추진하고활용측면에서과학기술의가속화와국가안보강화, 교육의변화를위해활용하며마지막으로빅데이터기술의개발및활용에필요한고급전문인력을양성할계획을지니고있다. 2) President s Council of Advisors on Science and Technology. 3) Office of Science and Technology policy.

33 제 2 장빅데이터추진전략및현황 17 [ 그림 8] 미국 빅데이터 R&D 이니셔티브 세부목표출처 : OSTP(2012.3) 스트라베이스재구성과학기술정책실은 NITRD 4) 프로그램의일환으로빅데이터연구개발조정및이니셔티브목표확인등을위해빅데이터협의체인 빅데이터고위운영그룹 (BDSSG) 을구성하였다. 또한, 이그룹을중심으로빅데이터 R&D 이니셔티브대상프로젝트를선정 개발하고투자규모를결정한다. 이그룹은빅데이터기반의과학기술발전및관련기관협조를도모하고서비스를발굴하며연방정부의데이터관리를포함하여인력및인프라개발을추진한다. 이와더불어빅데이터관련부처간연계프로젝트로얻을수있는편익을분석하고실현가능한협업프로젝트를개발하고제안한다. 빅데이터고위운영그룹 은정부기관및소속기관으로구성되어빅데이터계획을주도적으로추진할예정인데유전자연구및 4) Federal Networking and IT R&D 의약자로 2002 년부터추진되고있는연방정부차원의범부처 IT R&D 프로그램으로대규모네트워크, 고성능컴퓨팅시스템, 소프트웨어, 정보관리등기술분야의연구개발은물론신기술이사회와경제및노동에미치는영향을분석하는등다양한연구영역이상호유기적으로연계되어진행됨.( 한국인터넷진흥원, 2012)

34 18 과학기술정책네트워크분석기반의빅데이터활용방안연구 의료, 교육, 지구과학등빅데이터활용효과가뛰어난분야의기관들이우선적으로참여하면서추진하고있다. 현재 8개연방부처및기관 5) 이 빅데이터고위운영그룹 과함께프로젝트를진행하고있으며지속적으로확대할예정으로있다. [ 그림 9] 미국빅데이터추진체계 출처 : 윤미영, 新가치창출을위한주요국의빅데이터추진전략분석, 한국정보화진흥원 다. 부처별빅데이터추진전략 국립과학재단 (NSF) 국립과학재단은국립보건원과공동으로빅데이터과학및공학향상을위한기술을개발하고있으며대규모의분산된데이터를분석하여유용한정보를추출 시각화하는데필요한핵심적인기술개발에초점을맞추고있다. 이러한기술은과학및엔지니어링을포함하여의학분야까지폭넓은범위에서혁신인프라로활용될예정이다. 5) 국립과학재단 (NSF), 국립보건원 (NIH), 국방부 (DoD), 고등방위연구계획국 (DARPA), 에너지부 (DoE), 지질조사원 (USGS), 미국항공우주국 (NASA), 미국해양대기관리처 (NOAA)

35 제 2 장빅데이터추진전략및현황 19 데이터과학및공학연구와교육기능을향상시키기위해활동포트폴리오 CIF21 을구성하여데이터수집및분석용컴퓨터와데이터시각화및모델링등과학및공학분야에서혁신을주도할수있는연구인프라를개발하고국립과학재단의통합인재양성프로그램인 IGERT 6) 와연계하여빅데이터연구인력을육성하고있다. 또한, 인문사회과학, 물리학등다양한분야에서의빅데이터활용을장려하기위한프로그램을운영하고있는데 DID 7) 를통해디지털서적이나신문, 웹서치데이터, 음성기록등다양한종류의대규모데이터를활용할수있는인문학연구방법을개발하고물리학데이터를활용한연구자들간공동실험을지원하는 DASPOS 를운영하고있다. 대학을연계하고지원하는프로그램을통해대용량데이터를저장하고활용하는방안을모색하고자천문학및컴퓨터과학, 신경과학등관련데이터를저장하고분석하는방법을연구하고있는캘리포니아주립대에연구사업을지원하고있다. 그리고빅데이터관련기본연구에관한펀딩을비롯하여데이터로부터지식을도출하는새로운방법론을고안하기위한전략으로캘리포니아대학교의 컴퓨팅탐험대 (Expeditions in Computing) 프로젝트와복잡한데이터의도표화및시각화를연구하는학부생훈련프로그램, 통계및생물학연구자그룹이단백질구조및생물학적경로발견, 지구과학과관련된데이터의접근 분석 공유를가능하게하는 어스큐브 (Earth Cube) 시스템에도연구비를지급할계획이다. 6) Integrative Graduate Education and Research Traineeship. 7) Digging into Data Challenge.

36 20 과학기술정책네트워크분석기반의빅데이터활용방안연구 [ 그림 10] DID 홈페이지출처 : 국립보건원 (NIH) 국립보건원은게놈프로젝트를통해해독된약 200테라바이트의인체유전자데이터를아마존웹서비스를통해누구나접근할수있도록무료로공개하는과정을통해신경과학연구및생리학등다양한빅데이터핵심기술을개발하고있다. 또한, 신경과학청사진 (Neuroscience Blueprint) 프로젝트로뇌신경활동경로와기능에관한수많은데이터를수집하고이를도식화하여전세계신경과학연구데이터에대한검색을도와주는 휴먼커넥톰프로젝트 (The NIH Human Connectome Project) 를진행하고있다. 그리고전세계단백질구조관련데이터저장및유통촉진을위해미국, 영국, 일본이공동운영하는 단백질데이터은행 을만들어현재 8,000여개의단백질구조데이터를저장하고있으며매달 1테라바이트규모의단백질데이터가축적되고있다. 향후국립보건원은국립과학재단과공동으로신경계구조와관련된빅데이터핵심기술로데이터의추출 가시화 분석 관리와관련된기술연구를위해 CRCNS 프로그램을운영할계획을갖고있다.

37 제 2 장빅데이터추진전략및현황 21 [ 그림 11] 단백질데이터은행웹사이트 출처 : 국방부 (DoD) 국방부는군분석가및전투원들의전투수행능력을향상시키기위하여빅데이터기술연구에주력하고있다. 그일환으로대용량데이터를활용한자율의사결정시스템구축및상황인식능력을개선하기위하여 의사결정을위한데이터 프로젝트를수행할예정이다. 또한, 전세계다양한언어와문자로부터정보를추출하고분석하는능력을 100배이상향상시키려는목표도수립하였다. 이를위해국방부는이미군사관련빅데이터프로젝트에연간 2억 5,000만달러를투입했으며향후신규프로그램에 6,000만달러를추가로지원할예정이다. 방위고등연구계획국 (DARPA) 국방부산하기관인방위고등연구계획국은대용량데이터를분석할수있는컴퓨팅기술과소프트웨어개발로영상데이터처리기술, 데이터암호화와관련된프로그래밍언어개발, 국가위협및안보요소를감시할수있는시스템등을개발하고있다. 마음의눈 (The Mind s Eye) 프로그램을통해입력된영상정보를기초로관련정보를추론하고실제및허

38 22 과학기술정책네트워크분석기반의빅데이터활용방안연구 구의사건을예측할수있는기술과방대한군사동영상콘텐츠를빠른속도로검색 분석할수있도록지원하는 VIRAT 8) 를개발하고있다. 또한, 대용량데이터에서특정정보만을탐지하는개발프로젝트로일상적으로발생하는다양한데이터속에서국방위협요소를발견 감시할수있는 ADAMS 9) 시스템개발을추진하고있으며군사네트워크내부의데이터를감시하고사이버공격을사전에차단하기위한 CINDER 10) 프로그램을운영하고있다. 별도의해독절차없이암호화된데이터를그대로사용할수있도록데이터암호화와관련된프로그래밍언어를개발하기위해 PROCEED 11) 프로젝트와자연어로구성된텍스트를해독하고이를토대로의미기반의결과를제시하는 기계독해 (The Machine Reading) 프로그램도진행하고있다. 방위고등연구계획국은향후 4년간매년 2,500만달러씩지원하여빅데이터분석기술및소프트웨어개발프로젝트인 XDTA 를추진하여분산되어있는불완전한데이터를처리하는포괄적인알고리즘을개발하고범주데이터, 메타데이터등준정형데이터와더불어텍스트, 문서와같은비정형데이트등모든데이터를분석하고자한다. 에너지부 (DoE) 에너지부는진보된컴퓨팅파워를통한과학적발견을위한빅데이터연구개발을추진하고있으며 2,500만달러의기금을조성하여확장형데이터관리, 분석및시각화연구소 (SDAVI: Scalable Data Management, Analysis and Visualization Institute) 설립을추진하고있다. 에너지부산하융합에너지과학사무소는고등과학컴퓨터연구사무소와협력프로그램을통해융합에너지관련데이터연산및분석작업을공동으로진행하고데이터입출력시스템과시각화기술은유럽융합에너지전문가로부터큰관심을받고있다. 또한, 생물및환경연구프로그램 (BER) 12) 과대기방사선측정 (ARM) 13) 연구시설을통해대기현상데이터를연구하는연구 8) Video and Image Retrieval and Analysis Tool. 9) The Anomaly Detection at Multiple Scales. 10) Cyber-Insider Threat. 11) Programming Computation on Encrypted Data. 12) The Biological and Environmental Research Program. 13) Atmospheric Radiation Measurement.

39 제 2 장빅데이터추진전략및현황 23 자들에게관련정보를제공하여연간 100개이상의연구논문에서활용되는등에너지관련주요연구인프라로활용되고있다.[9] 지질조사원 (USGS) 지질조사원은지구시스템과학분야에빅데이터를활용하기위하여지난 10년간수집해온수은수치데이터및원격감지센서를통해추가확보된관련데이터를통합해위험요소를사전에감지하고지구단층정보및지진발생정보가저장되어있는 GEM 14) 데이터를근거로지진위협감지모델을개선하여기존데이터를보강하고있다. 또한, 존웰시파월분석종합센터를통해지구과학의혁신을도모하고자대용량데이터를의미있는정보로전환하기위한최첨단컴퓨팅기능과협력도구등을공급하며심층분석을위한연구장소를제공하고있다. 또한, 기후변화나지진발생률, 생태계지표등에대한이해를증진시키고자노력하고있다. 2. 영국 ( 정보공유 활용을위한데이터개발중심정책 ) 가. 추진배경및목적영국정부는데이터를사회와경제성장을위한 21세기의새로운원자재및연료로정의하고빅데이터활용의기반이되는공공부문의정보를공유하고활용에의한가치를창출하기위해데이터공개 공유중심의정책을추진하고있다. 이를통해영국역사상가장투명한정부를목표로오픈데이터전략을추진하고있다. 나. 추진전략및정책기업혁신기술부 (BIS) 는공공정보공개및데이터의가치창출을위해 2012년 3월경데이터전략위원회 (Data Strategy Board) 를설립하였다. 이위원회는내각사무처를비롯한각부처의오픈데이터전략에대한의견을제시하고수정 검토할수도있다. 또한, 데이터의공개여부를결정하고데이터활용을통한비즈니스서비스의발굴가능성을검토하여공개또 14) Global Earthquake Model.

40 24 과학기술정책네트워크분석기반의빅데이터활용방안연구 는활용과관련된사항을제언한다. 그리고공공데이터의접근편리성과효율적인활용을위해일관성있는데이터의제공및접근방식도제시한다. 데이터전략위원회가 2013년 6월에발표한공공데이터와서비스를평가한 정부대응에대한세익스피어검토 (Government response to the Shakespeare review) 보고서에의하면데이터공개및활용으로영국정부는물론기업에게새로운기회를창출할수있다고밝혔다. 영국의빅데이터전략및추진방향은데이터접근성과신뢰성을확보하고이를적극적으로활용하여투명하고신뢰성있는사회를구현하는것이다. 데이터접근성을확보하기위해오픈데이터연구소를설립하여데이터접근 활용을통한비즈니스모델을개발하고데이터생태계구축을지원한다. 또한, 데이터신뢰성을확보하기위하여공개되는모든데이터는개인정보에대한검토및영향평가를실시한다. 이와같이접근성과신뢰성을확보한데이터를적극적으로활용하기위하여부처간데이터공유및협업체계를마련할예정이다. [ 그림 12] 데이터전략및추진방향출처 : 윤미영, 新가치창출을위한주요국의빅데이터추진전략분석, 한국정보화진흥원 ( ) 데이터전략위원회의구성과함께내각사무처 (Cabinet Office) 는데이터접근성강화및데이터개방지침, 향후개방 공개데이터목록등에관한 오픈데이터백서 를발표하였다. 이에, 기업혁신기술부 (BIS) 를비

41 제 2 장빅데이터추진전략및현황 25 롯한총 16개부처는부처별특성에맞는오픈데이터전략 (Open Date Strategy) 을발표하여오픈데이터의정보와서비스일정, 오픈데이터의갱신주기등을수립하여데이터공유플랫폼 15) 을통한데이터접근성강화및서비스활성화방안을모색하고있다. 또한, 검색기능개선, 정보이용방법의단순화, GIS 데이터시각화, 보유목록에대한접근성을확대하고팀버너리스 (Tim Berners-Lee) 가데이터품질과재이용성을평가하기위해개발한평가방법론을기준으로정부가공개하는오픈데이터를평가할계획이다. 각부처는수집된데이터를토대로빅데이터, 개인정보와관련된 My Data, 서비스에대한이용자경험및만족도와관련된데이터로구분하는작업을추진하고있으며 2015년까지의료, 교육, 세금, 고용, 기상및지리데이터등에대해순차적으로정보공개를확대해나갈예정이다. 16) 15) data.gov.uk 16) data.gov.uk 및각부처홈페이지등에서순차적으로데이터를공개하고있음.

42 26 과학기술정책네트워크분석기반의빅데이터활용방안연구 부처데이터구분공개데이터 교통부 국세청 문화매체체육부 기업혁신기술부 노동연금부 보건부 외무부 철도데이터버스데이터도로데이터항공데이터 운전데이터 국세청국가공식통계조달데이터세금데이터수입자데이터 올림픽복권 복권 브로드밴드 지속가능사업모델정부예술품고등교육데이터기업등록소데이터국립지리원데이터워크프로그램건강정보기록일반신용거래의사업무관련일반데이터암치료데이터국민보건서비스영사관 대사관데이터 < 표 6> 부처별데이터공개내용 철도운영, 성능, 철도망지리정보, 요금등버스시간표, 버스출도착알림등 ( 고속 ) 도로정보, 도로보수정보, 도로상태등승객경험데이터수집을통한항공프로그램운전시험불합격데이터, 운전면허정보, 교통과운전자정보에관한요청사항등 100가지이상의국가공식통계데이터 ( 세금, 혜택, 거래데이터등 ) 조달거래관련데이터납부해야할세금과건강보험계산데이터 EU로부터영국으로상품을수입하는 13만명이상의사업자이름과주소가제공되는수입자세부정보자원봉사자, 올림픽으로인한영향력통계, 훈련캠프통계등복권당첨자세부데이터브로드밴드펀드에참가하는프로젝트의총부가가치및고용데이터 문화유산, 스포츠등지속가능한사업재정데이터 예술작품검색가능이미지데이터 학생들의고등교육진학시고려사항 기업명, 기업수, 등록주소, 분류상태및원문코드 (SCI) 무료다운로드 국립지리원의오픈데이터, 국립자연탐방로데이터세트 고용유지지원금, 일자리창출결과등에대한통계근로자건강정보근로자신용관련데이터 의료진의정보를공개, 환자들이병원간치료및생존률비교, 치료관련정보 ( 치료시간, 대기시간, 상담자료등 ) 1차암치료와관련된과정정보및결과정보연도별, 트렌드별로성과비교가가능한국민보건서비스 (NHS) 데이터영국국민에대한통계 ( 외국여행, 외국에서사망, 외국에서체부여부등 ) 출처 : 윤미영, 신가치창출을위한주요국의빅데이터추진전략분석, IT & Future Strategy 제11호, 한국정보화진흥원 ( )

43 제 2 장빅데이터추진전략및현황 27 다. 추진체계데이터전략위원회는오픈데이터사용자그룹, 기상및지리정보사용자그룹으로구분하고공공데이터그룹 (Public Data Group) 과의협력이가능한체계로구성되어있다. 그리고데이터전략위원회의장및데이터재사용자, 기상및지리정보사용자그룹대표, 지역정보협회등총 12명의전문가들로구성되어있다. [ 그림 13] 영국데이터전략위원회조직구성체계출처 : 윤미영, 신가치창출을위한주요국의빅데이터추진전략분석, 한국정보화진흥원 ( )

44 28 과학기술정책네트워크분석기반의빅데이터활용방안연구 3. 일본 ( 사회현안해결을위한데이터가치재평가 ) 가. 추진배경및목적일본정부는동일본대지진을계기로데이터가아주중요하다고인식하고있으며빅데이터가국가경쟁력을강화하는데기여할수있다고판단하고이를전략적자원으로인정하기시작하였다. 수많은데이터를실시간으로수집 전송 분석등을통해문제를해결함으로서수십조엔의데이터활용시장이창출할수있을것으로분석됨에따라일본이지니고있는사회현안을해결하기위한도구로서데이터에대한가치를재평가하고있다. 나. 추진전략및정책 2012년 5월에빅데이터활용특별부회는빅데이터활용을위한정책의기본방향을검토하여빅데이터활용방안을발표하였으며이내용이 액티브제팬 ICT 전략 에최종반영되었다. 2012년 7월에총무성이발표한차기 ICT 전략인액티브제팬 (Active Japan) 전략은 5개의추진전략으로구성되어있으며그중에서액티브데이터전략은빅데이터를활용하여사회 경제성장목표를달성하고자하는계획을갖고있다. [ 그림 14] Active Japan ICT 5대추진전략출처 : 일본총무성 (2012.7)

45 제 2 장빅데이터추진전략및현황 29 액티브데이터전략은궁극적으로민간분야까지포함하여빅데이터의이용및활용을활성화하는것으로이를위해데이터개발, 기반기술연구개발, 표준화, 활용인재확보, 사물간통신촉진, 규제개선, 산 학 관공동추진, 성과평가방법등을추진하고있다. 번호 1 2 과제명 데이터개방및활용가능한환경마련 데이터신뢰성 안정성확보를위한연구개발 과제내용 오픈데이터전략을추진하여공공및민간데이터개방 데이터재활용에관한법제도정비 ( 14) 오픈데이터환경기반마련을위한국제표준화추진 ( 15) 전기통신사업자가보유한데이터등에대해개인정보보호를기반으로활용가능한검토및가인드라인제공 ( 재난재해활용방안모색 ) 데이터의안정성및신뢰성을확보하면서데이터의효율적인수집, 해석등이가능하도록통신프로토콜, 보안대책 ( 익명화기술, 비식별화처리기술등 ), 데이터구조등에관한연구개발추진 일본이기술적으로가능한 M2M, 매쉬 (Mesg), 센서네트워크, 자동차용무선통신형태등에관한연구개발및표준화추진 3 데이터과학자육성 데이터분석을위한데이터과학자육성 4 빅데이터비즈니스창출을위한 M2M 보급촉진 5 법 제도정비 6 추진체계정비 7 글로벌협력강화 < 표 7> 액티브데이터전략을위한 7 대추진과제 M2M 통신제어가가능한기본기술확립 ( 15) 기계간, 사물간정보를교환할수있고자동적으로제어할수있도록안전성 신뢰성높은통신규격개발및국제표준화추진 빅데이터의효율적활용및활성화를위한법제도및규제등에대해 IT 전략본부를중심으로재정비 산학관협업을통해활용이가능한데이터및성공사례공유체계마련 데이터자원수집, 활성화방안마련등을위한인센티브제도등도입 유럽, 미국등빅데이터활용을추진중인국가들과상호협력체계마련 빅데이터의데이터량과활용에따라발생하는경제가치등에대한계측및평가방법확립 ( 13) 출처 : 일본총무성 (2012.7)

46 30 과학기술정책네트워크분석기반의빅데이터활용방안연구 다. 추진체계그동안일본은경제산업성과문부과학성에서독립적으로빅데이터관련 R&D를추진하여왔으나최근에총무성을중심으로산 학 관이참여하는빅데이터추진체계로재구축하였다. 이를위해민간위원으로구성된총무성산하 정보통신심의회 ICT 기본전략위원회 에서 빅데이터활용특별부회 를구성하여빅데이터활용전략을수립하기위한다양한활동들을추진하고있다. 이와같이빅데이터를포함한일본의강력한정보화정책에박차를가하기위하여일본정부는 2013년 6월에 정보통신기술종합전략실 이라는새로운조직을신설하였다. 이조직은내각관방내에설치되어향후일본의효율적인 IT 정책과국민의편의성을향상시킬것이다. [ 그림 15] 일본빅데이터추진체계

47 제 3 장빅데이터활용사례및시사점 31 제 3 장빅데이터활용사례및시사점 제 1 절빅데이터활용사례 빅데이터는다양한기술을기반으로우리사회의여러분야에서활용되고있다. 특히, 빅데이터는정부나기업이오랫동안고민하던어려운문제에대한해결책을제공해줄수있을뿐만아니라업무처리방식과조직, 산업및사회전반에걸쳐변화를일으킬수있는새로운방법까지제시하고있다. 특히, 가장활발하게활용되고있는미국의경우에는연방정부외에각주정부에서도지역에서발생하는각종문제를해결하기위하여빅데이터를활용하고있다. 범죄방지및치안유지등의사회안전, 금융사기를비롯한탈세방지, 행정서비스개선등을위해데이터를분석하여활용하는사례들이점차증가하고있다. 미국국세청 (IRS) 은빅데이터를이용하여새로운세원과미납세금을확인한결과오하이오와오클라호마, 텍사스등 7개주에서 16억달러의세수증가효과를가져왔으며이러한결과를기반으로미국국세청은지속적으로자금세탁및금융사기방지, 신용위험관리, 고객행동분석등에활용하고있다. 정부기관내데이터를통합하고공유하여주민서비스를개선하고예산의효율적배분등정책업무를지원하는데활용하는경우도있다. 미시간주정부는 21개기관의데이터를통합하고의료보장부정수급탐지, 개인별범죄관리등의분석업무에활용하여하루에일백만달러의예산을절감하는효과를가져왔다. 이외에도샌프란시스코, 로스앤젤레스, 산타바버라등캘리포니아주정부와뉴욕시를포함하고있는뉴욕주정부등에서가장활발하게적용하고있는분야는범죄예방, 치안유지등사회안전분야이다. 이를위해정부와민간은정보공유및활용을극대화하여국가안보및국민생활을위협하는요인을사전에감지하고대응하기위하여빅데이터를적극적으로활용하고있다.

48 32 과학기술정책네트워크분석기반의빅데이터활용방안연구 본장에서는위에서언급한바와같이각분야에서나름대로성과를내고있는빅데이터와관련된선진활용사례를연구하고자한다. 사례연구는어떠한상황이나환경에대한구체적인과정을이해하는데효과적으로활용할수있는방법으로현상에대한이해를바탕으로이론을이해하고정립할수있다는장점이있다. 따라서정치, 사회, 보건 의료, 경제 경영, 문화분야별로빅데이터활용사례를심도있게살펴보고자한다. 1. 정치분야가. 미국대통령선거 2012년미국대통령선거는 TV 등과같은기존미디어또는전문가의직감에의존하지않고철저한데이터분석을근거로선거를치렀다. 이를계기로소수선거전문가의경험과직감에의존하는선거전략은막을내리고빅데이터선거전략시대가도래하였다. 각후보들은선거전략을수립하고선거운동을효과적으로치르기위하여각자빅데이터전담조직을설치하여소셜데이터, 상업데이터, 공공데이터등선거와관련된모든데이터를수집하고분석하였다. 오바마당선자의빅데이터팀은구매가능한모든상업용데이터와공공데이터및실무자가직접발로뛰며수집한정보들까지모두취합하여하나의거대한데이터베이스로만들어철저한분석과수치에기반한고도의선거전략을수립하였다. 또한, 선거과정에서모든중요한사안은소수의경험과직감에의존하지않고데이터분석에기반한수치에근거하여의사결정을내렸다. 한예로선거자금을모금하기위하여데이터과학자 (Data Scientist) 17) 의분석결과를활용하였는데헐리우드에서정치헌금디너파티에참가하여돈을지불한가능성이가장높은그룹은 40대여성인것으로조사되었다. 아울러이들에게가장어필할수있는사람은조지클루니라는영화배우라는분석결과를바탕으로이배우를초대하여정치헌금을성공적으로모금할수있었다. 17) 위키피아에따르면데이터과학자는데이터엔지니어링, 과학적방법론, 수학, 통계학, 고급컴퓨팅, 비쥬얼라이제이션 (Visualization) 해커 (Hackers) 적사고방식, 영역별전문지식을종합한학문이며이러한수행이가능한자를데이터과학자로정의함.

49 제 3 장빅데이터활용사례및시사점 33 미대선양진영은정치헌금기부명단, 각종면허, 신용카드정보및 SNS, 블로그, 구독신문, 선호브랜드등다양한빅데이터분석을통해유권자의성향을파악하고그에따른맟춤형선거전략을수립하였다. 18) 특히, 오바마진영은마이크로타켓 (Micro-target) 이라는방식의철저한맞춤형선거운동방법으로부동층을움직이는데중요한역할을수행하였으며빅데이터분석결과를바탕으로경합주에서의부동층유권자들을흡수하는데성공하였다. 즉, 오바마데이터분석팀은페이스북 (Facebook) 19) 에서오바마지지자들을분석하여경합주에친구를둔사람들에게오바마지지를설득해달고부탁하는메시지를보냈다. 20) 즉, 다양하게축적된데이터의철저한분석은유권자들에대한자세한정보를제공하고이는더욱정교한선거전략을수립할수있도록도와주었다. [ 그림 16] 빅데이터선거전략반면에롬니진영은시스템을구축하기위한준비기간이짧았고노하우 (Know-how) 와데이터를분석하고활용할수있는전문인력이절대적으로부족하여효과적인선거운동을제대로할수가없었다. 빅데이터전문가및전문기업들이다양한빅데이터분석을통해대선결과를정확히예측한사례들도있는데통계전문가인네이트실버 (Nate Silver) 는기존선거데이터에기초한통계학적빅데이터분석을통해 50 개주의선거결과예측에서모든주의선거결과를정확하게예측하였다. 18) 민주당은보트빌더 ( VoteBuilder), 공화당은 GOP 데이터센터라는데이터베이스에방대한유권자개인정보를확보, 한국일보, ) 페이스북은미국대학들이새학년이시작되는학기초에나눠주는학생명부를의미하며커다란네트워크안에서이름표 (Tag) 를달고다니며나랑친구를맺은이름표들끼리거미줄같이인맥망을형성하여사람들간의최적화된커뮤니케이션을제공하는소셜네트워크서비스로 2004 년 2 월에주커버그는 thefacebook.com 사이트를처음개설하였음. 그후 2005 년 8 월에회사이름을페이스북이라고공식적으로정함. 20) 빅데이터선거전략빅히트 - 시카고사단의승리, 국민일보,

50 34 과학기술정책네트워크분석기반의빅데이터활용방안연구 [ 그림 17] Nate Silver의대선예측과실제결과비교출처 : twitter.com/cosentino/statuses/ 또한, 데이터스토리지업체인넷앱 (Netapp) 은상품판매데이터를이용하여선거결과를예측하였는데미국내편의점에서판매되는각대선후보의이름이새겨진커피컵판매량의데이터분석을통해대선결과를예측하였다. 이외에도헬로윈용품가게에서판매된각대선후보의얼굴을본뜬고무마스크판매량데이터를비교하여대선후보여론을분석한경우도있었다. 이와더불어일반국민들의음료수, 주류, 자동차등의소비취향을분석하면이들의정치성향도쉽게예측이가능하다. 빅데이터솔류션업체인 EMC는 100만명의트위터 (Twitter) 21) 글을분석하여트윗 22) 에서자주언급되는빈도로통계를내어선호도를분석하였다. 그결과오바마의우세를간접적으로시사하였고긍정적 / 부정적정서분석에서도지지도의변화가잘나타나고있음을확인하였다. 앞으로는기존의전통적미디어나조사분석업체의전화조사, 설문조사, 전문가의견등을통한여론조사는신뢰성부족으로인해점차줄어드는경향을보일것이며반면에인터넷여론조사, 페이스북, 트위터등소셜데이터분석과빅데이터를활용한조사분석이확산될전망이다. 21) 소셜네트워크서비스중의하나로서 2006 년부터서비스되기시작하였음. 140 자이내로자신의생각이나현재일어나고있는일들을글로적어트위터계정에올리면나와팔로워하고있는다른사람들과서로공유하고소통하게됨. 22) 트윗은 짹짹 새가지저귀는의미를지니고있으며트위터의로고가새모양을하고있음. 즉, 트위터에글을쓰거나대화하는행위를트윗이라고표현함.

51 제 3 장빅데이터활용사례및시사점 35 미래빅데이터선거를위한과제로는오랜기간동안오프라인, 온라인등다양한방법으로데이터를수집해야만유의미한데이터축적이가능하다. 따라서얼마나많은데이터를확보하는가가선거결과에큰영향을미친다. 다음으로유권자개개인에대한정보수집행위는개인정보유출및사생활침해우려로인해거부감이있을수있다. 따라서공개된정보만활용하여야한다. 그리고많은데이터를확보하더라도정확하게분석하기가어렵기때문에유능한데이터분석전문가를확보하여야한다. 롬니공화당후보는빅데이터의활용에대한의지, 아이디어, 자원이있었음에도불구하고선거당일단일서버로인한백업불가, 접속에러, 접속폭주로인한서버다운, 잘못전달된 URL에의한접속불가사태등의운영미숙으로빅데이터전략이실패로돌아갔다. 이와더불어인터넷, 스마트폰등신규미디어의확산으로인해선거에서 SNS(Social Network Service) 및모바일앱의활용이증가하는패러다임변화에대한인식을가지고있어야한다. 오바마의페이스북팬은롬니에비해 3배가많았고오바마의트워터팔로우는롬니에비해약 14배가많았다. 23) [ 그림 18] 빅데이터대선전략 출처 : 대선과빅데이터전략, IT&Future Strategy, NIA(2012,11) 23) onlinemarketing-trends.com,

52 36 과학기술정책네트워크분석기반의빅데이터활용방안연구 또한, 과거에는신문, 방송등이선거의중요한요소로작용하였으나향 후에는소셜미디어나빅데이터를어떻게활용하느냐가선거의당락을결정짓는중요한요소가될것이다. [ 그림 19] 美대선패러다임변화출처 : 빅데이터시대의국민공감선거전략, IT&Future Strategy, NIA(2012,11) 나. 우리나라선거대한민국중앙선거관리위원회는제19대총선부터소셜네트워크서비스 (SNS) 등인터넷상의선거운동을허용하였다. 24) 이를반영하듯이소셜미디어상에서선거관련데이터는많이늘어났으며 2010년지방선거및 2011년재보궐선거에서 SNS의중요성을확인한정당들또한 SNS 역량지수를공천심사에반영하는등 25) 소셜네트워크활용에주목하였다. 지난총선에서는데이터분석결과를선거전략으로활용한사례가있었는데휴대전화의통화량데이터를활용해시간대별로통화량이많은지역을골라유세일정을계획하고유권자들의행동과관련된각종데이터를분석하여이전방법과달리과학적으로선거전략을세웠다. 국내통신사가선거를위한데이터분석서비스를내놓아선거캠프에서많이활용하였으 24) 연합뉴스, 선관위인터넷선거운동상시허용결정 ( 종합 2 보 ), ) 한국일보, 새누리당 SNS 역량지수주중공천위전달, 2012,

53 제 3 장빅데이터활용사례및시사점 37 며페이스북과트워터등소설네트워크분석데이터까지결합해자신에대한부정적인여론과긍정적인여론을키워드로추출하여분석한후에공약을만들었다. 또한, 앞에서언급한통화량분석과유사하게 20대가많이모이는지역에서는청년실업문제를강조하고 40대가모이는곳에는집값문제를언급한현수막을내걸었다. 이처럼데이터분석을통해서만이와같이타켓을고려한집중선거유세가가능하다. 하지만아직빅데이터분석이라고하기에는한계가있다. 소셜네트워크서비스를활용하고사람들의행동반경을분석하는것은소셜분석 (Social analysis) 에가깝다라고말할수있다. 즉, 빅데이터분석은비정형데이터에서이전에는파악하기힘들었던비즈니스통찰력을얻는것이다. 또한, 우리나라는지금까지선거결과를예측하기위해가장광범위하게사용한방법이바로전화조사와출구조사이다. 하지만이러한조사결과가실제선거결과와너무달라신뢰도가점점무너지고있는실정이며지난번선거에서도이러한현상이두드러졌다. 정확한결과를예측하기위해서는전통적인여론조사방법에서벗어나 SNS, 인터넷커뮤니티, 이메일등온라인상의각종여론을직접분석해서민심을파악하는방식이필요하며향후에는빠른속도로이러한방식을채택할것으로판단된다. 지금과같은소셜분석은빅데이터분석과달리마케팅수단으로활용될수있지만보다정확한인사이트 (Insight) 를제공하기에는한계가있다. 2. 사회분야가. LA 범죄예측서비스전세계적으로범죄를예방하고치안을강화하기위한국민들의기대치는증가하고있지만대체적으로경찰인력과장비들을확보하기위한예산은한정되어있다. 이러한문제를해결하기위한방안으로 LA 경찰국은범죄와관련된업무를효과적으로지원하는범죄예측서비스 (PredPol) 를개발하였다. LA 범죄예측서비스 (PredPol) 는목표한지역에실시간으로범죄예측정보를제공하는시스템으로 LA의일선경찰관들에의해활용되고있다. 범죄예측서비스의궁극적인목표는범죄발생확률이높은시간과지역을일선경찰관들이순찰할수있도록정보를제공하여범죄발생을사전에차단하는것이다.

54 38 과학기술정책 네트워크 분석 기반의 빅 데이터 활용 방안 연구 [그림 20] LA 범죄예측서비스 출처: 이 서비스는 지진발생 이후 여진을 예측하는 모델을 활용한 기술로 수 년간 범죄 데이터를 분석하고 패턴을 파악하여 범죄 발생 위험이 높은 장 소와 시간을 예측한다. 범죄예측서비스는 일선 경찰관들에게 그 날의 위 험지역을 알려주고 다른 지역보다 순찰을 강화할 것을 요청한다. 범죄예 측서비스의 예측 결과는 새로운 범죄가 발생하고 최신 데이터가 프로그램 에 반영될 때마다 매일 새로이 갱신된다. 범죄예측도구는 일정한 사각 박 스 형태로 범죄발생 지역을 예측하여 경찰관들의 범죄예방 활동에 도움을 준다. 범죄예측서비스는 범죄 데이터에 기반하여 단순하게 지도에 표시하 는 방법과 달리 난이도가 높은 수학과 컴퓨터 학습 기술을 적용하였다. 따라서 기존의 경험과 노하우로 만들어진 시스템에 비하여 예측결과에 대 한 정확도가 두 배정도 향상되었다. 다음 그림은 6개월 동안 확률실험을 통해 기존의 크라임 핫스포팅 (Crime Hotspotting)과 새로 개발된 범죄예측서비스의 정확도를 비교 분 석한 자료이다.

55 제 3 장빅데이터활용사례및시사점 39 [ 그림 21] PredPol vs Crime hotspotting 간의예측정확도비교 실제로 LA에위치한풋힐 (Foothill) 이라는지역에서는범죄예측서비스가작동되기전에는 0.4% 의증가율을보이던범죄율이 4개월만에 13% 정도감소하는현상이나타났으며이범죄예측서비스를시행하는다른지역에서도이와유시한결과들이나타나고있다. [ 그림 22] 범죄예측시스템도입전후의범죄발생률

56 40 과학기술정책네트워크분석기반의빅데이터활용방안연구 나. 보스턴시도로파손자동인식미국보스턴시는수많은도로에서발생하고있는도로파손상태를예측하기힘들어이를직접눈으로확인하면서정보를수집하는데많은인력과예산이소모되었다. 이러한인력과예산을절감하기위하여스마트폰어플리케이션과 GPS 기술, 센서기술등을활용하여자동으로도로파손상태를감지하는시스템을개발하였다. 미국벤처회사에서개발한스트리트범프 (Street Bump) 라는모바일앱을시민들에게무료로제공하여운전자가직접주변환경의데이터를수집하고전송하는인간센서역할을수행하게하였다. 도로가파손된곳을자동차가지나가게되면스트리트범프는스마트폰의 GPS와센서등을활용해진동을감지하게되며이를도로관리국도로정보수집서버에전송하고수집된정보는시청의인터렉티브지도상에파손위치등을알려주게된다. 이를통해시는곧바로도로파손보수를실시하게된다. 실시간으로수집되는막대한양의도로노면정보를기반으로한빅데이터의분석으로신속하게도로를유지보수하는동시에인력과예산을절감할수있었다. 26) 다. 서울시심야버스노선최근에서울시는민간기업과협력하여빅데이터를통해현안문제를해결하려는다양한시도들을이행하고있다. 그중에서가시적인성과를소개하면단연심야버스노선의최적화를위해빅데이터를활용한사례라고할수있다. 심야에대중교통이끊어진상태에서택시를잡기위해고군분투를해본사람이면자정부터새벽 5시까지운행하는심야버스에기대를걸어봄직하다. 하지만문제는내가승차하고자하는곳에심야버스가정차하느냐이다. 즉, 좋은의도에서시작했지만실제시민들의활용도가낮으면무용지물이될수도있다. 따라서가장중요한문제가바로심야버스노선의최적화를결정하는것이다. 2013년 4월19일부터 3개월동안 2개노선이시범적으로운영되고이후 7개노선으로확대하여현재 9개노선이운영되고있다. 심야버스운행노선을어떻게정할것이냐는과제가아주중요한부분인데이는결국밤시간대유동인구가많은구간 26) 세계도시동향, 스마트폰앱을활용한도로포장파손위치자동인식시스템운영및신포장재기술개발지원, 서울연구원, 2012.

57 제 3 장빅데이터활용사례및시사점 41 을묶어서노선을만드는문제로귀결된다. 큰고민없이전형적인방법으로접근한다면아마도버스노선을담당하는전문가들의직관이나예전버스운행데이터를기반으로노선을정할가능성이높다. 이방법이정말정확할까? 여기서우리는빅데이터를활용할수있는접점을찾을수있다. 지역별유동인구를파악할수있는데이터가무엇일까를고민해보는것이다. 신용카드결제데이터, 휴대전화통화이력데이터, 택시스마트카드데이터등좀생각해보면직감에의해서가아닌데이터에의한정량적유동인구분포도를그려낼수있는가능성을찾을수있다. 사실이정도의활용아이디어는아이디어도아니다. 누구나생각할수있는정도지만, 정작중요한것은실제그대로실행해보기는정말쉽지않다는사실이다. 이를위해서울시는 KT와 MOU를맺고, 휴대전화이력데이터에서유동인구통계정보를얻을수있는채널을마련한다. KT 역시휴대전화이력데이터라는매우가치는있지만프라이버시이슈때문에잘활용되고있지않는데이터를공익차원에서분석하고, 통계정보 ( 프라이버시를침해하지않는수준 ) 를제공함으로써데이터활용가치를높일수있는계기가마련된것이다. 결국이런공공과기업의니즈를잘파악하고함께참여할수있는그림을그리면서실행한것이결국성공의핵심열쇠가되었다. 이를간단하게요약하면아래와같다. 첫째로유동인구밀집도분석방법은일단서울시를 1Km 반경의 1,250 개의헥사셀단위로구분한다. 그리고한달치휴대전화이력데이터로심야시간의통화량을분석하여구역별유동인구밀집도를분석하고이를헥사셀단위로시각화한다. 두번째로유동인구기반노선을최적화하기위해기존노선의시간 / 요일별패턴을분석하고노선부근의유동인구통계로가중치를계산하여노선을최적화한다. 세번째는유동인구를기반으로배차간격을조정하기위하여정류장단위로통행량을추정하고통행량을선의굵기로표시하여헥사셀로구분맵에시각화함으로써최종적으로요일별배차간격조정을결정한다.

58 42 과학기술정책네트워크분석기반의빅데이터활용방안연구 [ 그림 23] 서울시심야버스노선최적화출처 : 이렇게나온결과를토대로노선과정류소를결정하였는데이것이야말로데이터기반의사결정의훌륭한본보기라할수있다. 그런데이러한분석과정에서주목해야할점은여기에서활용한모든데이터가대용량이아니라는점이다. 유동인구통계를얻기위한휴대전화이력데이터분석은빅데이터에해당되며이를분석하기위한도구로하둡 (Hadoop) 을활용하였다. 하지만나머지과정들은스몰데이터 (Small data) 로스몰분석도구를활용하였다. 서울시심야버스노선최적화는빅데이터와스몰데이터가함께활용되었을때긍정적인시너지효과를얻을수있음을확인해준대표적인사례이며이런추세는앞으로도점점늘어날것이다. 3. 보건의료서비스가. 미국보건의료미국은모든분야에서빅데이터를가장많이활용하고있는데역시의료분야에서도선도적으로활용하고있다. 이는오바마미국대통령이건강분야에대한투자를적극강조함에따라정부주도의빅데이터가더욱활성화된측면이있다. 2011년에발간된매킨지보고서에따르면빅데이터에의해건강의료분야가더욱발전하게될것이라고강조하면서미국의의료부문은빅데이터의활용으로연간 3,300억달러규모의비용을절감할수있는데이는미국정부의료예산의 8% 에해당된다고밝혔다.

59 제 3 장빅데이터활용사례및시사점 43 질병치료헬스케어 (Healthcare) 산업은환자를치료하는과정에서발생하는의사결정을데이터기반중심으로활성화하기위하여빅데이터분석기술의도입을적극적으로추진하고있다. 의료분야에서의빅데이터분석기술을도입하는주요동기중의하나가의료비지출이증가함에도불구하고기대수명이감소하는것이다. 사실의료관련데이터는복잡성과양적인측면에서엄청난속도로증가하고있다. 아래그림은 2011년에국가별로건강관리를위해 1인당지출한비용은얼마나되는지를보여주고있다. [ 그림 24] 국가별헬스케어지출비용 (2011) 출처 : Hersh, Jacko, Greenes, Tan, Janies, & Embi, Payne, 년헬스케어와관련된데이터양은 500 페타바이트로추정되며 2020년 (EDIFECS, 2012) 까지는 25,000 페타바이트에도달할것으로예상된다. 이처럼데이터가빠르게증가하는이유는주치의가예전에임의적이고주관적인관점에서환자를치료하기위한처방을결정하는대신에증거를기반으로하는헬스케어를활용할수있도록전자건강기록을채택하였기때문이다.

60 44 과학기술정책네트워크분석기반의빅데이터활용방안연구 하지만헬스케어분야에빅데이터를도입하기위해서는전반적으로극복해야할장애가있다. 복잡하고다양한환자정보로부터의미를추론하고환자와데이터와의상관관계를이용할수있어야한다. 즉, 비정형임상기록은적절한맥락에서이해할필요가있으며대용량의임상의료영상데이터로부터유용한정보를추출하기위해서는데이터를효율적으로처리할필요가있다. 표준임상데이터뿐만아니라복잡한지놈데이터도반드시처리해야한다. 따라서환자의행동데이터는개인서비스를제공하기위해활용되며대량의데이터를활용하여적절한시기에적절한치료를위해올바른의사결정을제공함으로써보건의료시스템에획기적인혜택을불러올수있다. 또한, 현대의학은빅데이터시스템의데이터처리능력을높이기위해많은노력을기울이고있다. 효과적으로통합하고효율적으로일정기간동안건강데이터의다양한형태를분석함으로서시간적으로촉박한의료문제에대한해답을즉시제공할수있다. [ 그림 25] 헬스케어분석플랫폼출처 : Sun & Reddy, C.K. Big data analytics for healthcare(2013) 위그림에서나타난바와같이, 대규모의료분석플랫폼은정보추출, 기능선택, 예측모델로구성되어있다. 정보추출과관련된주요한과제는진단코드를임상텍스트에자동으로할당하기위해서사용하는텍스트마이닝프로세스이다. 상황분석은일단환자정보를성공적으로추출할수있게되면그정보의위험인자를결정하기위하여기존데이터와비

61 제 3 장빅데이터활용사례및시사점 45 교분석한다. 모델의정확도를개선하고상관관계를최소화하기위해위험인자들은확장되어질수도있다. 정확한모델은예측의정확도를높여주고상관관계의최소화는부작용없이보다큰그림을더욱쉽게이해할수있도록도와준다. [ 그림 26] Prediction Results Using Selected Features 출처 : Sun, Hu, Luo, Markatou, Wang, Edabollahi, Steinhubl, Daar, & Stewart(2012) 위그림을통해상호보완적인위험인자 / 기능데이터가기존지식베이스의위험인자로추가됨으로서모델링의정확도가상당히높아진다는사실을알수가있다. 이러한정확도는임상검증을통해확인되었는데거의 90% 의정확도를유지한다는사실을알게되었다. 질병조기발견빅데이터는의료분야에서질병의조기발견을위해활용되고있다. 빅데이터세트를통한예측모델은분류 (Classification) 에의해동일한성질을지닌부류나범위를얻을수있고회귀를통해연속적인결과에초점을맞추고있다. 분류는논리적인회귀를통해서얻을수있으며환자의생존결과는데이터세트에콕스비례위험회귀분석 (Cox Proportional

62 46 과학기술정책네트워크분석기반의빅데이터활용방안연구 Hazard Regression) 을적용하여얻을수있다. 환자치료를위해빅데이터를활용하는가장큰장점은환자들사이에유사성을식별할수있기때문이다. 기계학습은예전에존재하던많은데이터를기반으로유사한조건들을구분하고이를통해환자들사이에서유사성을도출할수있다. 이러한예로, Perer & Sun(2012) 은심장마비를사전에감지하기위한연구를수행하였다. 이연구의핵심은심장마비는많은사람들에게발생하고있으며사회에재정적으로부담을주고있기에조기에심장마비를발견하는것이이연구의핵심이다. 조기발견을통한조기치료는비용을절감할수있을뿐만아니라이를통해고통받는환자삶의질을향상시킬수있다. 이연구를위해사용된환자는연령, 성별, 질병이동일한 명을대상으로실시하였으며치료를받고있는 4,644명의환자와치료를받고있지않는 45,981명의환자를조사하였다. [ 그림 27] 예측모델링설정출처 : 예측모델링설정은관찰창 (Observation Window) 과예측창 (Prediction Window) 으로구분하고인덱스데이터와진단데이터를정의하여설계되었다. 관찰창에기초하여생성된특징은예측창에서심장마비의발병을예측할수있도록한다. 이연구는 20,000개가넘는서로다른유형의세트를만들었다. 유형의선택과일반화는예측하기위해이용하는예측유형의집합을모아놓은목록의범위를좁혀나갈수있도록도와준다. 이연구에서보듯이관찰창이증가할수록예측정밀도가향상된것으로나타났다. 아래그림은 720일을나타내는관찰창이예측분석의결과가가장좋다는사실을보여준다.

63 제 3 장빅데이터활용사례및시사점 47 [ 그림 28] Prediction Performance on Different Modeling Windows 출처 : Sun & Reddy(2013) 공개적으로이용가능한대규모의소셜미디어를활용하여 Lee, Agrawal, & Choudhary(2013) 는질병추적시스템을발표하였다. 이시스템은암또는독감과같은관련된트윗을다운로드하는실시간스트리밍 API를구현하여두질환을추적하였다. 트윗은매일수집하고저장하였으며최종데이터세트의크기는다음과같이구성하였다 일이후 5.5개월이상 330만사용자에의해생성된 6백만독감관련트윗을수집하였고 일이후부터지난 3개월동안 130만고유사용자에의해생성된 370만건이상암관련트윗을수집하였다.[10] 아래그림에서데이터수집및데이터전처리과정을통해설정한예비데이터를획득한후연구진은공간적, 시간적, 문자측면에서데이터를분석하는것을목표로삼았다. 지리적분석은미국에서독감및암이발생하였다는사실을실시간으로지도를제공하는데이용하였다. 이지도를생성하기위해미국에서거주하는사용자가제공한트위터데이터와사용자프로파일정보가사용되었고그외지역에서제공된데이터는제외하였다. 연구자들은독감의트윗과관련된각각상태에대한데이터세트는각주의인구를기반으로정규화하여나타냈다.

64 48 과학기술정책네트워크분석기반의빅데이터활용방안연구 [ 그림 29] 트윗데이터마이닝시스템연구팀은일정시간의기간동안암과독감과관련된트위터를추적하기위하여일반적인활동과질병과관련된특성 ( 즉, 질병의종류, 증상및치료 ) 을시간적으로분석하였다. 연구자들이시간적인분석을통해얻은결과는 CDC에서얻은질병정보와상관관계가있다는사실을알게되었다. 하지만그들은시간적인분석이기본키워드가포함된모든트워터를분석했는지아니면미국에서생성된트위터만분석했는지를언급하지는않았다. 텍스트분석 (Textual analysis) 은질병의종류, 증상, 치료에관한정보를제공하는데이터를이용하였다. 또한, 어휘분석은두개키워드와관련된가장자주사용되는단어들을제공하였다. 이러한분석결과를바탕으로연구진들은소셜미디어사이트에서생성된데이터를수집하고분석하는시스템이질병예방통제센터 (CDC) 보다약 1 2주일정도빠르게상황을파악할수있었으며 CDC만큼신뢰할수있는결과를얻었다고발표하였다. 의약품정보미국에서는한해 220만명이상이약물부작용으로입원하고있으며약물부작용은미국인사망원인중에서 4위를차지할정도로심각한상황이다. 미국국립보건원 (NIH) 은이러한현상이발생하는이유로인간의 3 만 5,000개유전자에따라같은질환이라도증상이나약물반응이다르게

65 제 3 장빅데이터활용사례및시사점 49 나타나기때문에유전자데이터와인간의다양한유전자를분석함으로서질병을치료할수있을것이라고예상하고있다. 이에, 국립보건원은 75 개기업및기관들과의파트너십을통해 200테라바이트 (TB) 의유전자데이터를확보했다. 이는 1000 유전체프로젝트 의일환으로시작됐으며이프로젝트를위해전세계에서 2,662명의유전자정보를저장하고질병연구를위해 1% 이상의빈도를나타내는유전적다양성을분석하기시작했다. 또한이러한정보들을쉽게찾아서공유 분석할수있도록공개하여자신의질병과관련된예측이가능하도록하였다. 결국모든사람이자신의개성과장단점 특성 진료기록을유전자정보와함께인터넷에올려타인의정보와비교 분석이가능해짐에따라어떤유전자가질병을발생시키는지에대한데이터베이스가만들어지고이러한데이터를기반으로질병치료에활용될수있다. 미국국립의료원 (NIH) 은필박스 (Pillbox) 라는의약품정보서비스를제공한다. 이서비스는현재사용중인약에대한정보가불분명할때약에대한정확한정보를확인할수있는데알약에새겨진글자 번호 색상 모양 크기등약에대한간단한정보의입력만으로도약의효능과정보를정확하게확인할수있다. 알약의기능과유효기간을확인하는데필요한한건당비용이약 50달러 ( 한해동안 NIH에접수되는알약의기능이나유효기간을문의하는민원수는 100만건이상 ) 정도소요되었으나이서비스를이용함으로써연간 5,000만달러의비용이절감되는것으로추정하고있다. 또한, 새로운약을개발한제약회사는자유롭게새로운약에대한정보를직접입력할수있으며사용자역시직접약에대한정보를공유할수있게함으로써제조사와사용자간의유기적인쌍방향상호작용을통해약에대한정보를실시간으로확인할수있다. 무엇보다도필박스프로젝트를통해수집된빅데이터를활용하면현재유행하고있는질병의발생장소및전염속도, 주요질병의분포도, 연도별증가등에대한통계치를확보하는것이가능하여효율적이고신속하게질병을관리할수도있다.

66 50 과학기술정책네트워크분석기반의빅데이터활용방안연구 [ 그림 30] Pillbox 홈페이지화면출처 : 개인화된의료서비스환자의접근성및개인화된헬스케어는 Chawla & Davis(2013) 가제시한프레임워크에서강조되었다.[11] 그들이제안한프레임워크는개인화된헬스케어플랜을생성하기위해빅데이터를사용하였다. 이프레임워크는건강기록, 가족력, 유전등과같은환자의정보를수집하고환자데이터를유사한배경과특성을지닌다른환자의데이터와비교할수있다. 이를통해프레임워크는사람에게특정질병이발생할수있는위험확률을나타낼수있는질병위험프로파일을생성할수있다. 환자는의료시설을방문하여질병위험목록의정확성을검사할수있다. 따라서개개인의질병을사전에예방할수있으며이를통해의료비도절감할수있다.

67 제 3 장빅데이터활용사례및시사점 51 Celi(2013) 는데이터기반학습시스템을사용하여임상데이터베이스를분석하는방법으로중환자실에유용한정보를제공하는방안을제안하였다.[12] 이러한데이터러닝시스템은불필요한실험을제거하여비용을절감하는데도움이된다. 또한거짓양성반응과의료사고감소에도도움이될수있다. [ 그림 31] Data-driven learning system 출처 : Celi et al, Big Data in the Intensive Care Unit(2013) 질병예방 Barrett, Humblet, Hiatt & Alder(2013) 는빅데이터를이용하여질병을예방할수있는두가지방법을제시하였다.[13] 첫째는인간의건강을결정짓는행동, 사회, 환경을폭넓게이해하고두번째는가장효과적인일부집단을대상으로정밀예방이라불리는가장효과적인질병을예방하기위해노력을하는것이다. 데이터소스 (Source) 는다음과같이환자의몸에부착된센서 (Sensor) 나의료용응용프로그램 (Application), 클라우드소싱 (Crowdsourcing) 또는전자건강기록으로부터가져올수있다. 클라우드소싱은건강추적네트워크와같은웹사이트를통해수집된만성질환과관련된데이터로서이러한데이터를해석하고관리하는데위키형태의웹페이지로가능하다고소개하고있다. 또한, 환경데이터도데이터로서충분한가치가있는데예를들면그지역사람들의걷는능력도그주민들의운동량과무관하지는않기때문이다. 유전자학도연구자들에게는잠재적인데이터라고할수있다.

68 52 과학기술정책네트워크분석기반의빅데이터활용방안연구 Barrett(2013) 는헬스케어에적용될수있는빅데이터응응분야로서두가지사례연구를발표하였다. 이사례들은모두센스로부터데이터를수집한다. 첫번째사례연구에서스마트폰앱센서가신체활동을추적하는데사용가능한방법을보여주었다. 또한, 이센서로부터얻어진데이터는사용자가활발한생활을할수있도록동기를부여하는데도움이되는소셜네트워크에의해활용될수있다. 두번째사례연구는천식흡입기에센서를부착하여환자가호흡을할때마다시간, 위치, 환자의 GPS 좌표를모니터링하는것이다. 이사례연구의전반적인목적은환자가자신의치료처방을준수하는데도움이되는피드백루프를만드는것이다. 센서에서감지된데이터는스마트폰애플리케이션으로전달되고데이터베이스에저장되어간병인, 환자에게분석정보를제공하여환자의건강이지속적으로향상될수있도록도움을준다. 또다른잠재적인애플리케이션은이러한센서들로부터얻은데이터는질병이자주발생하는지역을식별하는데사용될수있다. 즉, 천식흡입기를필요로지역을식별하여대중들에게이와관련된정보를공간적인형태로제공할수도있다. 나. 국내보건의료 자살예방우리나라는급격한사회 경제적변화속에자살률이 2004년부터 OECD 국가중에서가장높은수치를유지하고있으며특히, 청소년계층의자살문제가사회적이슈로제기되면서정부차원에서대책마련이시급한실정이다. 그동안자살에대한연구는국가간자살률비교나패널데이터분석을통하여자살원인을파악하고자했으나데이터수집의제한으로인하여개인과집단의다양한자살원인에대한분석은미흡한실정이었다. 그러나최근에빅데이터분석을통하여다양한자살원인과자살에대한위험징후를예측한사례가국내에서발표되었다. 2011년 1월부터 2013년 3월까지인터넷뉴스, 블로그카페, SNS( 트워터, 미투데이 ) 등의온라인채널에서발생한 청소년자살 관련온라인 Buzz( 본문, 댓글포함 ) 를분석대상으로하였다. 청소년자살, 유명인자살등자살과관련된사회적이슈발생시에자살과관련된커뮤니케이션이급증하는양상을보이고있으며특히, 연예인자살문제가발생하면버즈량이급증하는것으로조사되었다.

69 제 3 장빅데이터활용사례및시사점 53 [ 그림 32] 자살관련버즈량일별추이출처 : 우리나라보건복지빅데이터동향및활용방안, STEPI(2013) 빅데이터의분석절차및방법은아래그림과같이해당버즈 ( 자살 ) 분석모델링을통해수집대상과수집범위를설정한후대상채널 ( 뉴스, 블로그, 카페, SNS 등 ) 에서수집엔진을이용하여정보를수집한다. 이때자살과관련된키워드그룹 ( 원인, 유형, 대상, 성별, 장소, 지역방법등 ) 과자살토픽에대한불용어등을지정하여수집한다. 둘째로수집된비정형데이터를분석한다. 비정형데이터는버즈분석, 키워드분석, 감성분석, 계정분석등으로진행된다. 이러한비정형데이터를연구자가직접분석하기는어렵기때문에텍스터마이닝, 오피니언마이닝, 네트워크분석등을통해비정형데이터를분류하는절차가필요하다. 셋째로비정형데이터를정형데이터로변환한다. 넷째로사회현상과연계해서분석하기위하여정형화된빅데이터는오프라인통계자료와연계하여야한다. 오프라인통계 ( 조사 ) 자료는대부분정부나공공기관에서유료또는무료로제공하고있다. 다섯째로오프라인통계자료와연계된정형화된빅데이터의분석은요인간의인과관계나시간별변화궤적을분석할수있는구조방정식모형이나일별, 지역별사회현상과관련된요인과의관계를분석할수있는다층분석과수집된키워드의분류과정을통해새로운현상을발견할수있는데이터마이닝분석을실시하였다.

70 54 과학기술정책네트워크분석기반의빅데이터활용방안연구 [ 그림 33] 소셜빅데이터분석절차및방법 ( 자살 Buzz 사례 ) 출처 : 송태민, 소셜빅데이터분석을통한자살검색예측모형개발, 한국보건사회연구원 (2013.8) 청소년자살원인의 1위는학업 / 성적 / 진학과관련된스트레스로인한청소년자살이우리나라사회의가장큰이슈가되는것으로분석되었다. [ 그림 34] 주요자살원인출처 : 우리나라보건복지빅데이터동향및활용방안, STEPI(2013) 청소년자살검색의예측모형은아래표와같으며 모델 1 은 2011 년일별청소년 (19세이하 ) 자살률이청소년자살검색에미치는영향을예측한것으로청소년자살자수가많을수록청소년의자살검색은증가

71 제 3 장빅데이터활용사례및시사점 55 하는것으로나타났다. 모델 2 는일별청소년자살률과스트레스검색이자살검색에미치는영향을예측하는것으로자살자수가많을수록또스트레스검색이많을수록청소년의자살검색이증가하는것으로나타났다. 모델 3 은일별청소년자살률, 스트레스검색, 음주검색을 모델 4 는모델 3에미세먼지량의항목을추가하여청소년자살검색에미치는영향을예측하는것으로자살자수가많을수록다른항목은모두증가하는데미세먼지량은적은것으로나타났다. 모델 3 을기반으로청소년의자살검색을예측하는모형그래프는다음그림과같다. [ 그림 35] 청소년자살검색예측모형출처 : 송태민, 소셜빅데이터분석을통한자살검색예측모형개발, 한국보건사회연구원 (2013.8) 청소년버즈확산의위험도를측정하기위한데이터마이닝의의사결정나무분석결과사망이혼요인이가장큰확산위험요인으로나타났으며사망이혼요인의검색이높은집단은우울질병요인, 걱정얼굴요인, 폭력요인순으로위험의영향이높은것으로나타났다. 이처럼빅데이터분석을통해우리나라는자살예방과관련된정책및대책을마련하기위한노력을하고있다. 보건의료와관련된주요사례를통해살펴보았듯이 Green & Rapp(2013) 는광고주가온라인소비자의쇼핑습관을예측할수있는것처럼빅데이터도건강문제를예측할수있는가능성이있다고언급하였다.[14] 또한, 의료분야에서의빅데이터사용은많은장점이있다고인정하였다. 하지만, Green & Rapp(2013) 은의료데이터를의미있게사용하는데여러가지장애가있다고강조하였다. 첫번째장애물은의료건강

72 56 과학기술정책네트워크분석기반의빅데이터활용방안연구 관리데이터가집계되어있지않다는사실이다. 이때문에미국의보건의료시스템에저장된데이터는표준화되지않은형식으로데이터베이스에저장되어있고이러한시도는시간이지남에따라문제를악화시킬가능성이있다. 이것은또한 Barrett(2013) 등이제시한한계와도일치한다.[13] 두번째문제는많은데이터가비정형구조이고이것은기계가데이터를읽는데방해가된다는것이다. 비정형구조데이터를정형화된데이터로변환시키는방법이있지만, 변환하는동안에의미있는데이터가삭제될수있다고지적하고있다. 이또한 Murdoch & Detsky(2013) 과 Barrett, Humblet, Hiatt, & Alder(2013) 가지적하였으며모든의료데이터의 80 % 가구조화되지않은것으로추정하고있다. 하지만, 이러한주장은대부분의의료관리데이터는정형화혹은반정형화되었다고하는 Jee & Kim(2013) 의주장과는상반되고있다.[15] 또다른문제는 Barrett et al(2013) 가지적하였듯이미국의의료기록은개인정보보호법률에의해보호되고있기에본인의동의없이는활용할수가없다. 마지막문제는의료기록이데이터분석가가아닌의사를위해설계되어있다는사실이다. 한편, 우리나라는빅데이터를신가치창출을위한원동력으로판단하고보건복지서비스에새로운패러다임을제공하고자노력하고있다. 국내의보건복지분야에서는기존레거시시스템의안정적인구축으로수많은빅데이터가저장 관리되고있다. 국민건강보험공단은 2002년부터데이터웨어하우스를구축하여본부와지역본부에서운영중인급여관리시스템, 요양급여시스템, 건강검진시스템, 의료보호시스템, 자력및보험료급여시스템, 사후관리시스템에서생성되는데이터를운영하고있다. 이를통해국민건강보험공단은보험료시뮬레이션, 보험료및보험급여비상승추계등의정보를제공하고있다. 건강보험심사평가원에서는 2000년의약분업시행이후청구심사데이터가비약적으로증가하면서 2002년부터데이터웨어하우스를구축하여적시에정보를분석할수있도록각주제영역에대한통계분석, 시계열분석, 다차원분석, 추이분석등과같은다양한분석기법을적용하고있다. 또한데이터의활용목적별로심사분석데이터마트, 평가분석데이터마트, 통계분석데이터마트등을운영하고있다.

73 제 3 장빅데이터활용사례및시사점 57 이처럼보건복지분야는많은정형데이터를저장하여관리 운영하고있으므로비정형데이터와잘연계하여분석하면사회적으로이슈가되는문제를해결할수있는가능성이아주높은분야라고할수가있다. 4. 경제및경영분야가. 맞춤형상품및광고추천개인이나기업등최종이용자관점에서보면빅데이터의편익은개인이나기업이실제활용할수있는서비스를통해구현된다. 장비나소프트웨어의수요는빅데이터를활용한비즈니스모델이증가할수록늘어나며혁신적인빅데이터활용모델개발은빅데이터관련시장전반의성장을위해특히중요하다. 익히알려진바와같이, 아마존과같은인터넷기업들은이미빅데이터관련분석시스템을갖추고개인이나기업에게빅데이터분석에기반한인사이트 (Insight) 로기존서비스들과차별화된서비스를제공하는비즈니스모델을운용하고있다. 아마존닷컴은빅데이터를이용한수익개선, 비용절감, 고객이탈율감소등경쟁력을강화하기위한수단으로빅데이터를활용한다. 소비자구매데이터를분석하여상품추천서비스를제공한다. 자사웹페이지상에서물건을구매한내역을모두데이터베이스화하여저장하고분석한빅데이터를활용하여이용자들의소비패턴을분석하다. 그리고이용자가상품구매시관련상품을추천하는기능을추가함으로써매출을증대시키고있다. 이를협업필터링 (Collaborative filtering) 이라고하는데전체아마존매출의 30% 를기여하고있다. 최근에는페이스북정보와연계하여이용자의지인들이구매또는원하는상품을추천하는기능도제공하고있다. 27) 27) McKinsey Global Institute(2011.6)

74 58 과학기술정책네트워크분석기반의빅데이터활용방안연구 [ 그림 36] 빅데이터를활용한상품추천화면출처 : 아마존홈페이지또한, 빅데이터를활용하여향상된광고효과를얻으려는유형으로이용자들의웹서핑데이터를활용하여이용자의관심분야와관련된광고를제공하고이를통해높은클릭률 (CTR: Click Through Rate) 을유도하는데활용한다. 예를들어, 구글은광고수익증대를위해구글애드센스 (AdSense) 에빅데이터기술을활용하고있다. 애드센스는블로그의키워드와게제광고를연계시키는시스템으로전체구글매출에서 30% 를차지할정도로의존도가높은분야이다. 키워드와게재된광고간의클릭률의상관관계는처음에는높지않지만데이터가축적됨에따라정확도가높아져클릭률이점차높아지는방식이다. 페이스북도페이스북익스체인지 (Facebook Exchange) 라는실시간맞춤형광고서비스를제공하고있다. 이서비스는외부웹사이트를방문한사용자가페이스북에접속하면페이스북익스체이지는해당방문기록을분석해관련광고를사용자의페이스북이용화면에보이게하는방식이다. 광고업체애드롤 (AdRoll) 에따르면페이스북익스체인지를통해노출된광고가기존페이스북광고에비해최대 16배이상비용대비효과가높다고한다. 28) 이처럼빅데이터는마케팅자료로아주유용하게활용되고있다. 28) Facebook Exchange: A new way for adviertisers to target specific users with real-time bid Ads, TechCrunch( )

75 제 3 장빅데이터활용사례및시사점 59 나. 자동차보험료영국자동차보험사는고객의안전운전여부에따라보험료를차등부여하기위하여 BI 29) 를사용한다. 인슈어더박스 (Insurethebox) 라는자동차보험회사는운전자의운전습관을분석하기위하여텔레매틱스라는기기로정보를수집하여운전자가얼마나안전하게운전하는지에따라보험료를책정하는데비즈니스분석어플라이언스를사용한다. 인슈어더박스는안전운전을독려하고자동차보험의비용을줄일수있도록젊은운전자들을대상으로이러한분석을시행하고있다. 이회사는휴대전화보다좀더큰탤레매틱스 (Telematics) 를자동차대시보드아래에장착하고 GPS 및다른센서와연결하였다. 인슈어더박스는언제, 어디서, 어떻게, 어떤목적으로차가운행되고있는지에대한주요정보들을분석하고있다. 제한속도를잘준수하고장거리운전에서휴식을취하는습관을가진고객들은추가로마일리지를쌓을수있고그들의보험료에적용된다 라고이회사 CEO는설명한다. 이회사의자동차보험판매건수는 2009년 12,000건에서 2012년상반기까지 180,000건으로증가하였다.[16] 자동차에장착된기기들로부터수집한운전자습관과관련된데이터는인구통계학적고객데이터와함께실시간으로저장된다. 주행에대한주요통계는온라인포탈에서개별고객들에게전달되기도한다. 고객들은수개월동안얼마나주행했으며운전습관을잘유지하여얻은보너스마일리지가얼마나되는지확인할수있다. 인슈어더박스는거의실시간으로교통사고발생여부를파악하여한시간내에고객에게연락하여사고유형및부상상태등을확인하여응급조치를취하도록도움을제공할수있다. 영국의코오퍼레이티브인슈어런스그룹 (Co-operative Insurance group) 도운전자의운전습관에따라보험료를책정하기위해텔레매틱스솔루션을이용해이와비슷한보험상품을내놓았다. 영국의 SAS 연구기관은미국과유럽에서텔레매틱스자동차보험의비중이커질것으로예 29) 비즈니스인텔리전스 (Business Intelligence) 의줄임말로기업사용자들이의사결정을위해사용하는데이터의접근, 수집, 보관, 분석등의애플리케이션과기술의집합을의미하며축적된데이터를분석하여향후기업의수익구조, 고객등의변화를예측할수있게해줌.

76 60 과학기술정책네트워크분석기반의빅데이터활용방안연구 측하고있으며특히, 영국의경우 2020년에는자동차보험시장의 40% 를차지할것으로예상하고있다. 30) 이처럼텔레매틱스보험판매가증가하게된이유는낮은보험료와보험사기를방지하기위하여감독당국이적극적으로권장하기때문이다. 다. 뉴욕세금재정부빅데이터혁명은세무분야에서도빛을발한다. 세금은곧국가의재원이자사회인프라확충과국방, 복지등국민을위해쓰인다. 하지만탈세와탈루가만연한분야이기도하다. 징세프로세스의허점을노린탈법이지금이순간에도자행되고있다. 현정부가지하경제양성화를부르짖는이유도세원의확대없이는복지재원마련이어렵다는판단에서다. 따라서빅데이터를탈세방지에접목한뉴욕주의사례는시사하는바가크다고할수있다. 2013년 4월 12일미국뉴욕주세금재정부와주검찰은 3명의세무사가연루된세무사기사건을적발했다고밝혔다. 사기범들은지난 2010년부터무려 350 여건, 액수로는 600백만달러에달하는부정환급을시도했다. 이들의수법은아주절묘했으며세무신고를의뢰한고객들에게마치특별환급이가능한것처럼속여서고객의주택을세금환급비율이높은뉴욕시특정지역에소재한것처럼서류를위조했고고객이주택담보대출상환시해당세금환급차액을대신받아챙기려한사건이다. 그러나환급관련수표들이같은주소로배송되고있다는사실이환급신고데이터분석결과드러나결국꼬리가잡혔다. 이들은모두중범죄로기소됐고세무사자격박탈과함께최대 15년형을살게되었다. 세무전문가가연루된이사건은미국사회에적잖은충격을주었다. 신용사회이자자발적인신고로세무처리가이루어지는미국에서이같은사기는과거에상상하기어려웠기때문이다. 뉴욕주세금재정담당자는수년전만하더라도이와같은사기수법을적발하기는불가능했을것이라며아직도드러나지않았을뿐이런사건은비일비재하며갈수록지능화되는탈세나부정환급을막기위해서는 IT기반의빅데이터분석이필수적이라고말했다. 30) SAS, Telematics: How Big Data is Transforming the Auto Insurance Industry.

77 제 3 장빅데이터활용사례및시사점 61 특히, 부정환급방지는뉴욕주세무당국의최대이슈다. 미국의세제는원천징수한뒤환급하는구조다. 이를연방정부와주정부가비율에따라나눈다. 과세부담이엄청난대신환급액이커서대부분납세자들이환급액을한푼이라도더받기위해노력한다. 환급은우리나라의연말정산처럼나이나자녀유무, 사업비용등을신고해돌려받는것이다. 신용사회의특성상모든납세자의환급신고는 ' 성실한것 ' 으로간주한다. 게다가미국은한국과달리주민등록제도가없어사회보장번호와같은간접정보를활용하는데, 사기나불성실신고를잡아내는데한계가있다. 문제는거기서발생한다. 뉴욕주는 CISS(Case Identification & Selection System, 탈세방지시스템 ) 에서해법을찾았다. 2000년도초반구축된 CISS는환급사기적발에가히혁명을일으켰다. 각종세금관련신고데이터를분석해이상패턴을보이는납세자들을감지해이를일선세무조사관들에게통보하는시스템이다. CISS 이후사라진게바로부양가족의허위신고다. 가령과거에는자녀가둘인부부가각각자녀공제를신청해도바로잡아내지못했지만, 지금은부부의총자녀수를실시간확인한뒤환급자체를중단한다는것이다. 판매세허위환급도마찬가지다. 자영업자가매출액과고용한종업원수를허위신고해도원재료납품업체나종업원들의소득세신고를바탕으로허위신고를찾아낸다는것이다. 현금거래가많은소규모자영업자라도매출과매상이훤하게드러날수밖에없다는것이다. 재정담당자는많은나라에서지하경제가창궐해골머리를앓고있는데우리시스템이완벽한것은아니지만상당한벤치마킹사례가될것 이라고자신했다. 뉴욕주 CISS는미국연방국세청 (IRS) 의탈세방지시스템을능가하는수준으로평가받는다. IRS는미국민전체를담당하는만큼데이터를보유하고있는한언젠가는적발과환수가가능하지만주정부의경우주민이타주로옮기거나해외로이주할경우환수할방법이없어진다. 따라서실시간으로환급부정을막아내는게곧주정부세수를높이는척도인셈이다. 비단적발율만높아진게아니다. 과거에는현장세무조사관들이미심쩍은환급신고를확인하기위해경험에근거하여직접데이터를분석해야

78 62 과학기술정책네트워크분석기반의빅데이터활용방안연구 했다. 이과정에서상당한시일이소요되었지만지금은다양한허위신고패턴이이미모델화돼사전에파악할수있게되었고, 현장조사시에는물증만찾으면된다. 그만큼업무집중도가높아진것이다. 2000년대중반조사관 1인당하루처리업무건수는 8건에서 2011년에는 13건으로늘어났다. 수상한환급신고의경우일단환급을중단하고추가증빙을요구하는메일을발송하는데, 2003년 5만 5,700여건에서 2011 년에는그 4배인 23만 1,300여건으로늘어났다. 같은기간환급거절액은 5,600만달러에서 6배가까운 3억달러규모로커졌다. 그만큼주재정이튼실해진것이다. 또한. CISS는납세자에게도이득이된다. 성실한납세자는불필요한조사를받지않아도되기때문이다. 과거에는세무조사가일종의무작위표본조사 ( 랜덤샘플링 ) 방식을취했다. 표본으로선정되면선량한신고자라도조사에응해야한다. 그만큼불필요한낭비와마찰이있었다. 반면 CISS가고도화되면서현재는의심스런신고만조사하고환급절차도단축됐다. 따라서자발적납세자들의만족도도높아졌다. 5. 문화분야가. 스포츠선수및경기분석최근스포츠분야에서눈에띄는현상은데이터분석기술을활용하여해당선수에게일어날일들을사전에예측하는수준까지접근했다는점이다. IT 분석기술이선수들의생체리듬과경기력, 경쟁선수관련데이터등을기반으로미래예측을돕고있는것이다. 사실 IT 분석기술은경기력을향상시킬뿐만아니라스포츠전분야에걸쳐많은변화를일으키고있다. 2012년 6월열린윔블던테니스대회에서는 IBM 슬램트래커 (IBM SlamTracker) 라는예측형분석기술을이용해관람객들에게심층적인정보를제공하였다.

79 제 3 장빅데이터활용사례및시사점 63 [ 그림 37] 슬램트래커 (SlamTracker) 출처 : IBM, A Smarter Planet Blog(2013.7) 지난 8년동안의테니스그랜드슬램데이터를분석하여각선수의스타일과패턴을식별하고경기시작전에해당선수들간의과거경기결과를분석한다.

80 64 과학기술정책네트워크분석기반의빅데이터활용방안연구 [ 그림 38] 경기선수분석개념도출처 : IBM, A Smarter Planet Blog(2013.7) 이러한분석을통해경기당각선수별로승리에필요한상위 3개의요인을식별해내고경기중에는승리요인에대한각성과가측정되어웹사이트를통해보여준다. 이를통해테니스팬들은보다심층적으로경기를이해하고생생하게경기를관람할수있게되었다. 또한, IBM의세컨드사이트 (IBM Second Sight) 라는기술을이용하여빠른속도로움직이는선수의동작을추적하고세트별, 경기별선수들의실력변화의흐름을파악하여선수와코치, 해설자와팬모두에게유익한데이터와새로운차원의팬서비스를제공하기도했다.

81 제 3 장빅데이터활용사례및시사점 65 [ 그림 39] 경기승리를위한핵심요인분석출처 : IBM, A Smarter Planet Blog(2013.7) 또한, IBM과남가주대애넌버그연구소는미국의내셔널리그챔피언시리즈 (NLCS) 기간동안 150만개이상의트윗분석을바탕으로야구팬들의정서지수를분석하였다. 그결과실제로내셔널리그챔피언시리즈의 MVP로선정된세인트루이스카디널스의데이빗프리즈선수가 소셜 MVP 로선정돼야구팬들에게더욱흥미로운팬서비스를제공하기도했다. IT 기술은스포츠경기나경기장의운영을지원하기도한다. 미국마이애미돌핀스팀의홈구장인선라이프스타디움은 IBM의클라우드기반의오퍼레이션센터를통해스타디움주변고속도로의교통상황, 개찰구의관람객흐름, 소셜미디어내용등의정보를모두한곳에모아연관성을분석한다. 그리고관련데이터를경기장임원과관리자에게보내줌으로써관람객들에게어떻게하면더나은서비스를제공할수있을지를판단하는데도움을주고있다.

82 66 과학기술정책네트워크분석기반의빅데이터활용방안연구 나. 채팅감정분석텍스트앳 (Textat) 은서로주고받는카카오톡 (Kakaotalk) 대화를바탕으로상대방의감정을객관적으로분석해주는서비스로빅데이터자체가서비스로이어지는사례라고볼수있다. 텍스트앳이보유하고있는실제대화데이터베이스양은무려 6억개이상이나된다. 이서비스는빅데이터와기계학습 (Machine learning) 기술을기반으로한감정분석알고리즘인 STEAM(Statistics-based Text Emotion Analytic Model) 을사용하여상대방의감정을분석한다. 즉메신저를통해주고받은대화를텍스트앳에넣기만하면 STEAM을통해분석보고서를받아볼수있는데거기에는애정도, 호감도, 친밀도와같은감정들은물론시간이지남에따라그감정들이어떻게변화하는지, 어떤메시지에감정이가장높게나왔는지, 어떤주제로대화를나눴는지, 최근대화의키워드는무엇이었는지등관계에대한다양한정보들이정교하게분석되어있다. [ 그림 40] 텍스트앳감정분석보고서

83 제 3 장빅데이터활용사례및시사점 67 STEAM은기계학습알고리즘을이용해사용자가새로운데이터를입력할경우이를다시학습해업데이트하는방식으로구성되었다. 따라서사용자가많아지고데이터가늘어날수록분석의정확도는높아진다. 감정을분석할때는여러가지변수를고려해야하는데감정에따라변화하는어순, 비표준어, 조사선택, 동사변화, 형태소비율, 대화주제, 말투, 이모티콘, 답장시간등수많은요소들을평가한다. 사용자가대화를서버에보내면형태소분석을한다. 그리고답장시간, 문자길이, 대화량, 대화주제, 어순, 조사말투등의변수를모두분석한다. 그리고각변수들간의상관관계를계산해최종적으로감정을수치로보여준다. 즉, 적은양의데이터로는알아볼수없었던숨은패턴들을빅데이터를바탕으로변수를하나씩찾아가고그런변수들이몇천개모여서감정을알수있는힌트로작용한다. 이제는빅데이터기술이인간관계를서로이해하고해결하는시점까지도달하였다.

84 68 과학기술정책네트워크분석기반의빅데이터활용방안연구 제 2 절분석및시사점 1. 분석결과 주요선진국은빅데이터를사회 경제적비용절감은물론공공서비스효율화및국가경쟁력을강화하기위한중요수단으로인식하고빅데이터활성화를위한다양한정책을마련하여추진하고있다. 미국과일본은경제성장및일자리창출을도모하고정부서비스를혁신하는등국가와사회가안고있는현안문제를해결하고자빅데이터를추진하고있으며우리나라를포함한영국과일본의경우는공공분야에서보유하고있는데이터를공개하고분석하여비용절감및가치정보를활용하기위한빅데이터전략을추진하고있다. < 표 8> 주요국의빅데이터추진전략및체계 구분 미국 영국 일본 의사결정기관 과학기술정책실 내각사무처 총무성 전담기구 국가과학기술위원회 기업혁신기술부 정보통신심의회 추진기구빅데이터협의체데이터전략위원회오픈데이터연구소 빅데이터활용특별부회정보통신기술종합전략실 참여부처 국방부, 방위고등연구계획국, 에너지부, 국립보건원, 국립과학재단, 지질조사원, 항공우주국, 국립해양대기관리처 내부무, 기업혁신기술부, 지역사회지방정부부, 노동연금부, 교육부, 보건부, 국제개발부, 에너지기후변화부, 외무부, 국세청, 국방부, 법무부, 교통부, 문화매체체육부, 환경식품농촌부 내각관방, 총무성, 경제산업성, 문무과학성 정책및전략 빅데이터연구개발이니셔티브 오픈데이터전략 Active Japan ICT 전략전자행정오픈데이터전략

85 제 3 장빅데이터활용사례및시사점 69 특히, 우리나라는창조경제를달성하기위한핵심엔진으로데이터의창조적활용을강조하고있으며정보사회에서데이터를기반으로한새로운창조사회를구현하기위해다양한영역간협력과창의적아이디어의결합을요구하고있다. 이처럼빅데이터를기반으로국가경쟁력을강화하기위해서는미래사회를예측하고변화동인을발굴 진단을위한사회, 기술, 산업, 글로벌트렌드와관련된다양한데이터를확보하고이를활용하는것이중요하다. 또한, 빅데이터는민간기업의경영활동뿐만아니라정부를포함한공공부분의혁신을수반하는패러다임의변화를의미하고있으며재난재해 사회안전, 복지 의료등수많은국가사회현안을해결하기위해활용되고있음을알수가있었다. 2. 시사점빅데이터활용사례를통해사회 경제적비용절감은물론데이터를기반으로한객관적이고과학적인접근방식을통해국정운영및사회현안등을해결하여보다더나은미래사회로의방향을모색할수있다고판단되며미래사회에서빅데이터가가진기회요인은다양하다. 즉, 미래사회가가진불확실성, 리스크, 스마트, 융합이라는네가지키워드에대하여빅데이터가통찰력, 대응력, 경쟁력, 창조력을제공하는기회가될것이다. 예를들면, 미래사회가가진불확실성은현실세계의데이터를기반으로한패턴분석정보를미래전망에활용하고여러가지가능성에대한시나리오시뮬레이션을통해다각적인상황이고려된통찰력을제시하여다수의시나리오상황변화에유연하게대처할수있을것이다.[17]

86 70 과학기술정책네트워크분석기반의빅데이터활용방안연구 < 표 9> 미래사회와빅데이터의역할 미래사회특징 불확실성 리스크 스마트 융합 통찰력대응력경쟁력창조력 빅데이터역할 사회현상, 현실세계의데이터를기반으로한패턴분석과미래전망 여러가지가능성에대한시나리오시뮬레이션 다각적인상황이고려된통찰력제시 환경, 소셜, 모니터링정보의패턴분석을통한위험징후및이상신호포착 이슈를사전에인지 분석하여빠른의사결정과실시간대응지원 기업과국가경영의명성제고및낭비요소절감 대규모데이터분석을통한상황인지, 인공지능서비스등가능 개인화, 지능하서비스제공확대 소셜분석, 평가, 신용, 평판분석을통해최적의선택지원 트렌드변화분석을통한제품경쟁력확보 타분야와의결합을통한새로운가치창출 인과관계, 상관관계가컨버전스분야의데이터분석으로안전성확보, 시행착오최소화 방대한데이터활용을통한새로운융합시장창출 출처 : 빅데이터의분석과활용, 정보과학지제 30 권제 6 호 주요선진국을중심으로빅데이터기술은정치, 사회, 의료, 경제, 문화등다양한분야에서활용되고있으며대부분긍정적인성과를보여주고있다. 이러한활용사례를통해빅데이터를성공적으로활용하기위해우리에게주는시사점은다음과같이정리요약할수있다. 첫째로빅데이터는장기간양질의데이터획득이중요하다. 미국은전화나개별방문또는소셜미디어, 유료정보등을통해수집된유권자정보들을빅데이터분석시스템의도움으로유권자성향을분석하고부동층유권자를선별하여맟춤형선거전략을수립할수있었다. 우리나라는제 19대총선인 2012년 4월 11일부터 SNS 등인터넷상의선거운동을상시허용함에따라소셜미디어상에서선거관련데이터가증가하였다. 이후각정당들은 SNS의중요성을인식하고 SNS 역량지수를공천심사에반영하는등소셜네트워크활용에주목하였으나당시 20 30대 (90.3%) 와 60

87 제 3 장빅데이터활용사례및시사점 71 대이상 (9.5%) 연령층간스마트폰보유율격차가 80.8%p로빅데이터를이용한 SNS 분석은특정계층에한정되어일치하는경향을보였다. 이처럼데이터양이많고분석기술이뛰어나더라도데이터의품질이낮으면가치있는분석정보를얻기가어렵다는사실을말해준다. 둘째는외부로부터확보된데이터의필요성과가치를중시하는공감대를형성하고업무중에생산되는데이터를적극활용하려는자세가중요하다. 서울시는 KT 의협조를받아심야전화이용자의정보를분석하여가장효율적인버스노선을확정할수있었으며미국보스턴시는실시간으로수집되는도로노면정보를기반으로도로유지보수및인력과예산을절감하였다. 셋째는다방면에걸쳐복합적이고고도화된지식과능력을갖춘우수한데이터과학자를확보하여야한다. 지난미국대선에서오바마진영은빅데이터분석전문가에의해유권자의성향을분석하여마이크로타켓이라는방식의철저한맞춤형선거운동으로경합주에서부동층을움직이는데큰역할을하였다. 하지만롬니진영은데이터를분석하고활용할수있는전문인력의절대부족으로효과적인선거운동을제대로할수가없었다. 데이터과학자는수학, 통계학, 컴퓨터공학등다양한분야에걸친심도있는지식이필수적이며기존조직에서데이터를분석하던데이터분석가 (Data Analyst) 와비교하여한층높은수준의전문성과다양성이요구되어진다. 데이터중심관리자들이빅데이터의도입을통해향후 2년내달성될것으로판단되는상황은과거의추세분석및예측이나표준화된보고와같은기초적인데이터분석결과는그중요도가낮아지는반면에데이터의시각화기술이나시뮬레이션및시나리오개발을통한비즈니스프로세스에의분석이점차중요한기능으로부각될것으로전망하고있다. 넷째는개인정보를보호할수있는기반이조성되어야한다. 빅데이터에서많은부분을차지하고있는비정형데이터는스마트폰이나소셜미디어를기반으로생성되기때문에개인의다양한정보들이포함되어있다. 그러므로고객정보를수집하고활용하기에앞서정보제공의권한과책임문제, 소유권, 개인정보보호, 내부정보유출, 보안등에관한내부가이드라인마련이필요하다. 또한개인의프라이버시는충분히보호하면서빅데이터활용을통해생활의편익을증진시킬수있는공감대형성이필요하다.

88 72 과학기술정책네트워크분석기반의빅데이터활용방안연구 제 4 장과학기술정책의빅데이터활용기술 제 1 절빅데이터분석기술 통계또는컴퓨터과학등과같은분야에서데이터를분석하여그결과를평가하고미래를예측하기위해사용되고있는분석기술들은많이있다. 특히, 빅데이터의등장으로비정형데이터를분석하기위한새로운기술들이고안되고있다. 따라서본절에서는현존하는빅데이터분석기술들중에서유용하게활용되고있는분석기법에대해알아보고자한다. 1. 데이터마이닝 (Data Mining) 데이터마이닝은대규모데이터로부터의미있는정보를추출하는기술을말한다. 즉, 의미심장한경향이나규칙을발견하기위하여대량의데이터로부터자동화되거나반자동화된도구로탐색하고분석하는과정이라고정의할수있다. 데이터분석을지하에묻힌광물을찾아낸다는뜻을가진마이닝 (Mining) 이란용어로부르게된것은데이터에서정보를추출하는과정이탄광에서석탄을캐거나대륙붕에서원유를채굴하는작업처럼숨겨진가치를찾아낸다는특징을지녔기때문이다. 또한, 가트너그룹에서통계및수학적기술뿐만아니라패턴인식기술을이용하여데이터저장소에저장된대용량의데이터를분석함으로써의미있는새로운상관관계, 패턴, 추세등을발견하는과정이라고정의한다. 결국데이터마이닝은의사결정을지원하거나미래를예측하기위하여우리가생산하고모으는각종데이터베이스, 각종결재정보또는구매정보, 개인정보등과같은방대한데이터속에숨어있는예전에는알수가없었던유용한관계들을데이터정제및요약, 패턴및규칙발견, 추출등의과정을통해탐색하고모형화하는자동화또는반자동화된기법이라고설명할수있다. 데이터의형태와범위가다양해지고그규모가방대해지는빅데이터의등장으로데이터마이닝의중요성은점차부각되고있으며특히웹에서엄청나게빠른속도로생성되는웹페이지콘텐츠와웹로그, 소셜네트워크서비스의문자정보와영상과같은비정형데이터 (Unstructured data)

89 제 4 장과학기술정책의빅데이터활용기술 73 를분석하기위한다양한방법론이등장하여데이터마이닝의포괄범위는확장되어가고있다. 데이터마이닝은일반적으로다음그림과같은절차를거친다. [ 그림 41] 데이터마이닝프로세스출처 : 삼성경제연구소 ( 1 데이터클리닝 (Cleaning) 과통합데이터소스는서로다른관계형데이터베이스나파일혹은이메일자료등다양하게존재할수있으며그데이터형식또한다양한형태로존재할수있다. 따라서이과정은이러한포맷을통일시키고데이터의일관성유지, 스키마통합, 에러보정등의작업을수행한다. 2 데이터선별과변환데이터웨어하우스와같은통합된데이터저장소로부터분석작업에필요한데이터를선별하고데이터마이닝을수행할수있는형태로데이터를변환한다. 3 데이터마이닝데이터로부터다양한형태의마이닝기법을적용시켜패턴을추출해낸다. 4 패턴평가와표현추출된패턴이얻고자하는지식에필요한것인지를평가해보고궁극적으로사람이이해할수있는방법으로지식을표현한다.

90 74 과학기술정책네트워크분석기반의빅데이터활용방안연구 데이터마이닝의궁극적인목적은예측이며예측데이터마이닝 (Predictive Data Mining) 은많은비즈니스애플리케이션에서적용되고있는데이터마이닝의가장일반적인유형이다. 현재상용데이터마이닝소프트웨어는많이존재한다. 마이크로소프트 (Microsoft) 의 SQL Server Analysis Services(SSAS) 는 Microsoft SQL Server에서사용되는온라인분석프로세싱 (Online Analytical Processing; OLAP) 및데이터마이닝, 보고서생성도구이다. SSAS는여러데이터베이스또는이질적인테이블에분산된정보들을분석하고이해하려고하는조직에서사용한다. 마이크로소프트는비즈니스인텔리전스 (Business Intelligence) 데이터웨어하우징 (Data Warehousing) 과관련하여 SQL 서버에서많은서비스를제공하고있다. 이러한서비스들은통합서비스와분석서비스를포함한다. 31) 오라클데이터마이닝 (ODM: Oracle Data Mining) 은오라클의관계형데이터베이스시스템엔터프라이즈에디션 (RDBMS EE: Relational Database Management System Enterprise Edition) 의선택사항이다. 오라클데이터마이닝은분류 (Classification), 예측 (Prediction), 회귀분석 (Regression), 연관 (Association), 특징선택 (Feature Selection), 특이성식별 (Anomaly Detection), 특징추출 (Feature Extraction), 전문분석 (Specialized Analytics) 을위한다양한데이터마이닝과데이터분석알고리즘들을포함하고있다. 오라클데이터마이닝은데이터베이스환경에서마이닝모델의생성, 관리, 운영, 배치를위한수단을제공한다. 32) IBM SPSS Modeler는 IBM의데이터마이닝소프트웨어애플리케이션으로예측모델 (Predictive Model) 을구축하기위해사용되는데이터마이닝, 텍스트분석도구이다. IBM SPSS Modeler는사용자가통계적, 데이터마이닝알고리즘들을직접프로그래밍하지않고사용할수있도록시각적인터페이스를제공한다. SPSS Modeler는고객분석, 고객관계관리, 위험관리, 생산품질개선, 텔레커뮤니케이션등의산업계에서사용되고있다. 33) 31) MSDN Library SQL Server Analysis Services. Dec. 26, ) Oracle Database advanced analytics Oracle Data Mining. Dec 26, ) IBM Software SPSS Modeler Dec 26, 2012.

91 제 4 장과학기술정책의빅데이터활용기술 75 현재까지데이터마이닝에대한연구및개발은주로수평적시스템을구성하기위한기본연구에치중하였으며그응용영역도확대하여왔다. 앞으로의연구는특정응용분야에한정적수직적 (Vertical) 데이터마이닝으로부터그활용영역을넓혀갈것으로보인다. 예를들면, 웹마이닝 (Web Mining), 바이오정보학마이닝 (Bioinformatics Mining) 은좋은예라할수있다. 또한, 수직적데이터마이닝못지않게더인텔리전트하고효율적으로대용량데이터베이스에서도적용가능한데이터마이닝시스템을만들려는연구개발도당분간지속될것으로보인다. 2. 자연어처리 (Natural Language Processing) 자연어란프로그래밍언어와같은형식언어와는대조되는개념으로인간이일상적으로사용하고있는언어를의미한다. 자연어는다음과같은특징을지니고있다. 1 사회성 : 자연어는인간과인간을연결하는정보전달수단으로써사람을대상으로하는언어이다. 2 다양성과가변성 : 지역별, 시대별로다양한언어가발전한다. 3 직렬성 : 말과글모두직렬적이며일차원적인정보전달수단이다. 4 추상성 : 추상적인정보전달수준으로완벽한느낌이나생각표현이불가능하다. 5 계층성 : 문장생성및분석과정에서다양한층위가존재한다. 6 모호성 : 중의성, 다의성과같은의미로모든층위에모호성이존재한다. 자연어처리를어렵게하는주요요인이다. 7 강건성 : 규칙에대한잦은위반이발생하지만의사소통에는별지장이없다. 8 선천성 : 언어능력은선천적으로타고난다. 자연어처리기술이란인간의언어를이해하고생성하는문제를다루는기술을말한다. 즉인간이발화한언어현상을기계적으로분석하여컴퓨터가이해할수있는형태로만들거나혹은컴퓨터가처리한결과를인간

92 76 과학기술정책네트워크분석기반의빅데이터활용방안연구 이이해할수있는언어로표현하는제반기술을자연어처리기술이라고한다. 자연어처리의핵심기술은형태소분석기술, 구문분석기술, 의미분석기술, 담화분석기술, 단어및문장생성기술이있다. 각언어처리단계별핵심기술들에대해간략하게개념적으로살펴보면다음과같다. 형태소분석 (Morphological Analysis) 형태소란의미기능을부여하는언어의형태론적수준에서의최소단위를말한다. 그래서형태소분석기술은문장을구성하는단어열들로부터최소의미단위인형태소들을분리해내고각형태소들의문법적기능에따라적절한품사를부여하고필요한경우에는단어의원형도복원하는기술이다. 의미분석 (Semantic Analysis) 단편적으로는문장을구성하는단어들의의미를구분하고통합적으로는문장구성성분들사이의의미적관계를논리적으로밝혀내어문장의전체적의미를파악하는기술이다. 담화분석 (Discourse Analysis) 담화분석은주로문서단위로이루어지는것이보편적이며여러문장간의연관관계및전후문맥을고려하여문장간의의미관계를분석하는기술이라고볼수있다. 전후문맥을참조하여해당문장에쓰인대용어들 ( 이것, 그것, this, that, it등 ) 이구체적으로가리키는것을찾아내는것뿐만아니라해당문서내에서문장의의도를파악하는기술을포함한다. 자연어처리를인간이하듯이컴퓨터가처리하도록한다는것은인간의언어학습및인지 / 분석능력을컴퓨터에부여하는것으로상당히어려운일이다. 특히영어나유럽언어들에비해한국어는교착어적특성으로인해단어의생산성이상당히높아형태소분석이복잡하고문장에서의생략이많아문장의의미가애매모호한경우도많다. 또한, 어순이자유로워구문구조및의미구조를밝혀내는분석이아주복잡하고동음이의어 ( 예 : 사과, 배, 눈등 ) 가많아특히의미분석이어렵다.

93 제 4 장과학기술정책의빅데이터활용기술 77 그러나일단자연어처리기술이확보되면웹과 SNS 등에존재하는대용량의텍스트데이터를수집, 형태소분석, 구문분석, 더나아가서는의미분석을수행함으로써오피니언마이닝 (Opinion Mining) 을포함한텍스트마이닝이가능해지며정보검색, 정보추출, 문서요약, 자동번역등과같은인간생활에유용한응용기술의개발이가능하다. 또한, 음성기술과의결합을통해자동차나로봇제어를포함하여자동통역이나의미기반의검색 / 자연어질의응답같은서비스가가능해진다. 오피니언마이닝 (Opinion Mining) 은텍스트마이닝 (Text Mining) 의한분야로리뷰, 포럼, SNS, 블로그등대표되는사용자생성컨텐츠로부터제품이나서비스에대한사용자의견과긍정적 / 부정적평가와같은감정 (Sentiment) 을분석하고그로부터소비자의의견및트랜드를분석하고더나아가서소비자의감성에적합한제품또는서비스를추천하거나사업적인사이트 (insight) 를도출하는기술을말한다. 이러한오피니언마이닝기술은상품구매및정보획득에있어서평판의중요성이더욱증대되고트위트, 페이스북과같은소셜기반서비스와블로깅등을통해사용자가자신의경험을바탕으로작성한이용후기나평가내용을공유하는리뷰관련시장이활성화되면서그가치가더욱높아지고있다. 특히, 온라인쇼핑, 영화 /e-book/ 게임등의디지털컨텐츠소비, 스마트폰을통한모바일웹혹은위치기반지역서비스들이점점다양화되고활성화되면서다양한소스로부터사용자들의리뷰가방대하게생성되고있다. 이에사용자의경험을토대로사용자가직접작성한리뷰를수집하고사용자들의니즈에맞는리뷰만을검색하고요약하여제공함으로사용자들의의사결정을지원하는서비스는사용자관점에서상당히유용한고부가가치서비스에해당된다고볼수있다. 3. 텍스트마이닝 (Text Mining) 대부분기업이나조직에서생성되고저장또는재사용되는정보중에서 10% 만이활용성이높은정형데이터로구성되어있고나머지 90% 는워드프로세스, 이메일, 프리젠테이션, 스프레드시트, PDF와같은복합문서와인터넷페이지등과같이특정한형식이없는비정형텍스트형태로구성되어있다.

94 78 과학기술정책네트워크분석기반의빅데이터활용방안연구 [ 그림 42] 정형및비정형데이터구성비 출처 : Oracle 정형데이터의 SQL 검색으로부터시작한정보검색 (Information Retrieval) 은비정형테이터를위한검색으로발전하게되고다양한검색에이전트 (Agent) 를이용한웹검색으로발전하게된다. 그러나검색엔진들이너무나많은정보를검색해주기시작하면서이러한검색의문제는원하지않는정보들사이에서유용한정보를찾는것으로변화하였다. 이와같은정보검색환경에서유용한정보를효과적으로찾기위하여비정형데이터인문서로부터유용한정보를추출하고가공하는기술이필요하게되었다. 대량의정보를효과적으로다룰수있는방법에대한연구는이미활발히진행되고있다. 데이터베이스에저장된자료와같이정형화된데이터로부터정보를추출, 가공하는데이터마이닝은이미실용성을갖추고많은분야에서널리활용되고있다. 그러나디지털정보의대부분은비정형데이터로서텍스트마이닝은이러한비정형또는반정형데이터에대하여정보검색, 정보추출, 정보체계화, 정보분석을모두아우르는텍스트처리 (Text-processing) 기술및처리과정을의미한다. 문서요약, 특성추출 (feature extraction) 등이텍스트마이닝의핵심연구분야이며그응용분야는매우다양하다.

95 제 4 장과학기술정책의빅데이터활용기술 79 [ 그림 43] 텍스트마이닝관련기술 텍스트마이닝과관련된학문및기술분야는다음과같다. 1 Data Mining: 데이터베이스의데이터를분석하고새로운정보를발견하는기술 2 Web Mining: 웹상의데이터를분석하고새로운정보를발견하는기술 3 Statistic: 통계학문 4 Information Retrieval: 정보검색기술 5 Computational Linguistic & NLP: 자연어를분석 활용하는기술데이터로부터정보를추출하고분석하여정보를재생산하는텍스트마이닝과정은다음과같은단계를거친다. 1 텍스트문서 DB 자료및텍스트기반의문서 2 텍스트전처리 (Text Preprocessing) 문서내에표현되어있는단어 구 절에해당하는내용을언어분석처리과정으로가공할수있는데이터표현 3 의미정보변환 (Feature Generation) 전처리된데이터중의미있는정보를선별하여저장 4 의미정보추출 (Feature Selection) 복잡한의미정보의표현을단순화하고도메인에적합한정보를문서의의미데이터로저장

96 80 과학기술정책네트워크분석기반의빅데이터활용방안연구 5 패턴및경향분석 (Pattern & Trend Discovery) 의미정보를기반으로문서를자동군집하거나자동분류하는등의정보재생산 6 정보표현및평가 (Visualizing & Evaluation) 새롭게생성된정보를사용자에게시각화도구로써효과적으로표현하고평가과정을통해텍스트마이닝의처리과정중문제가되는부분을수정하고보완하여품질및성능을높이는데활용 [ 그림 44] 텍스트마이닝과정출처 : 텍스트마이닝정의, 솔트룩스 (2008) 데이터마이닝관점에서문서로부터구조화된정보를추출하여데이터베이스화시키거나규칙을찾아내는것은가장일반적인응용이며, 사용자가웹상에서문서를찾는것을도와주거나사용자프로파일 (profile) 의생성및분석, 문서에쓰인자연언어식별, 대량 DB에서문서의분류및군집화, 문서분류 (Text Categorization) 정보를이용한문서재해석, 신문 / 논문 / 보고서요약, 문서번역, 시계열 (time series) 정보의획득을통한시장및위험도분석, 문서색인, 문서여과 (filtering) 및추천, 대표적키워드나토픽 (topic) 의추출, 질의응답시스템 (Question Answering System), 대규모문서에서의탐색등이가장대표적인응용분야라할수있다.[18]

97 제 4 장과학기술정책의빅데이터활용기술 감정분석 (Sentiment Analysis) 텍스트내에서특정한감정표현의의미를추출하는텍스트마이닝기술의한영역으로문서를작성한사람의감정을추출해내는기술이다. 즉, 문서의주제가무엇인지추출해내기보다는그문서를작성한사람이주제에대하여어떠한감정을가지고있는가를판단하여분석한다. 이러한분석들은감정이표현된특징, 측면, 제품들을식별하여긍정적인지, 부정적인지, 보통인지에대한극성을결정하고, 표현되고있는감정의정도와강도를결정하는것이주요목적이다. 예를들어, 기업들이블로그, 마이크로블로그, 소셜네트워크와같은소셜미디어를분석하여기업의제품과행동에대해다른고객층과이해당사자들이어떻게반응하는지판단하기위해감정을분석하는것이다. [ 그림 45] 상품평자동분류과정출처 : Automatic Sentiment Analysis for Web User Reviews 어텐시티분석 (Attensity Analyze) 은고객분석애플리케이션으로조직들이고객의목소리를비즈니스자산으로활용할수있게도와준다. 이애플리케이션은산업계에서소셜미디어, 이메일, 설문응답, 텍스트메시지, CRM 노트등과같은다양한다중채널을통한대량의고객소통정보를정확하고사용하기쉽게분석하는것을돕는다. 어텐시티분석은고객이온라인상에남긴거대한정보들을감시하고분석하는것을가능하게한다. 이애플리케이션은리뷰사이트, 블로그,

98 82 과학기술정책네트워크분석기반의빅데이터활용방안연구 포럼, 트위터, 페이스북, 유튜브비디오, 뉴스등의소셜미디어소통을감시하고분석한다. 이애플리케이션은브랜드, 제품, 경쟁사등이소통하고있는정보를추적하고분석하는데도움을주는다양한종류의웹기반보고서를제공한다. 이러한보고서는영향력있는의견을제공하는사람과정보들을식별하고감정과문제들을이해하여산업계트랜드에서선두위치를유지하는것을돕는다. 이애플리케이션은이메일, 설문조사, CRM, 콜센터노트등의텍스트를고객의감정과트랜드를나타내는실행가능한통찰 (Insight) 로변형한다. 이애플리케이션은주요비즈니스통찰을얻기위하여사용하는데이터웨어하우스와비즈니스인텔리전스시스템의가치를확장할수있다. 이애플리케이션은정확하고자동적으로피드백형태로표현되는고객의부정적목소리, 긍정적목소리, 의지등을식별하여고객들의구매의사, 고객의서비스제공자를바꾸려는의지, 고객의요구등의주요이벤트와관계를식별하는데도움을준다. 이애플리케이션의일괄보고서위자드와분석툴이드래그앤드롭방식과특별위젯들을제공하여사용자들이빠르고쉽게고객감정분석, 제품및서비스문제, 고객의서비스제공자를바꾸려는의지, 새로운트렌드등의주요테마에맞춰서즉석보고서를생성할수있게한다. 더나아가, 종합적인특별보고서와대시보드는사용자가매분마다주요사항을인지할수있도록돕는다.

99 제 4 장과학기술정책의빅데이터활용기술 83 [ 그림 46] 감정분석대시보드출처 : 어텐시티데이터그리드 (Attensity Data Grid) 등록데이터저장소는어텐시티분석과연결되어전례없는성능과확장성을제공한다. 이러한솔루션과데이터그리드컴퓨팅시스템의조합은기업들이수백만다중채널고객소통을실행가능한통찰로바꾸어준다. 5. 소셜네트워크분석 (Social Network Analytics) 트위터, 페이스북, 미투데이와같은 SNS(Social Network Service) 의이용률은매년크게증가하고있는추세이며이러한 SNS를면밀히분석하여사회동향과인물들의관계를파악하는소셜네트워크분석서비스가최근들어급부상하고있다. < 표 10> 12 13년미디어이용률추이 ( 한국 ) 2013년 2012년 증감 이메일이용률 59.7% 57.7% 2.0%p 클라우드서비스이용률 7.6% 5.0% 2.6%p SNS 이용률 31.3% 23.5% 7.8%p 출처 : SNS 이용추이분석, KISDISTAT Report ( )

100 84 과학기술정책네트워크분석기반의빅데이터활용방안연구 소셜네트워크분석은기존의통계분석방식으로는알수없었던 관계데이터, 즉사람과사람간의관계, 정보와정보간의관계나흐름등을구조적으로분석하여패턴을파악하고그안에서의다양한파급효과를분석해내는것이다. [ 그림 47] 소셜네트워크분석출처 : Social network analysis approach to social analytics, 사이람 (2012.6) 즉공동체혹은조직에속한개인들간의관련성을분석할수있다. 예를들면, 어떻게정보가전달되는지혹은누가구성원들에게가장큰영향을주는지등을분석할수가있다. 기업은소셜미디어로부터새로운통찰력을얻기위한필요성을느낄때거대한정보가넘쳐나는홍수로부터실행가능한전략을얻을수있는분석전문가를필요로한다. 소셜네트워크분석은기업들이이러한데이터를관리하여고객의패턴과동향을식별하여마케팅캠페인에대한보다나은결정을할수있도록지원하여고객의만족도를향상시킨다. 즉, 소셜미디어로부터고객의데이터를수집하여고객의태도, 의견, 동향등을분석하여온라인평판을관리하고고객의행동을예측하여다음으로좋은행동을추천하여고객만족도를향상시킨다. 그리고소셜미디어참여자들에게반향을불러일으키는개인맞춤형캠페인과흥보활동을가능하게하며특정소셜네트워크채널에서중요한영향력을행사하는사람을식별할수있다.

101 제 4 장과학기술정책의빅데이터활용기술 85 요즘에는소셜미디어를마주하지않고는어느누구도인터넷을활용할수없다. 기업들은점점더이런현상을인지하고그들의제품과서비스를소비자의기호에맞도록광고하기위하여소셜네트워크에의지하고있다. 실제로 Klout 회사는특정인의영향력이얼마나많은사람들에게특정인의포스트와상호작용을하는지를기준으로개인온라인영향력을측정하고있다. 그후에측정된결과를기반으로 1부터 100 사이의개인점수를산출한다. 산출된점수는향후개인의활동에따라증가또는감소하기도하고다른사용자들의추천에의해증가하기도한다. 아래그림은지난 90일동안의개인등급변화를보여주고파이차트를이용하여개인의영향력이어떤사이트들로부터측정되었는지를나타내고있다. [ 그림 48] 개인온라인영향력측정 출처 : fear-not-it-says-most-scores-will-go-up/ 6. 군집분석 (Cluster Analytics) 군집분석은응답자또는상품등과같은대상들이갖고있는특성에기초하여유사한성질을지니고있는대상들을동일한집단으로분류하는기법이다. 군집분석을위한첫번째방법은관측대상간에정해지는유

102 86 과학기술정책네트워크분석기반의빅데이터활용방안연구 사성 ( 또는거리 ) 을기초로비슷한것끼리하나의그룹으로묶어서전체를몇개의그룹으로분할하는것이다. 두번째방법은데이터및그룹내의분산개념을기초로그룹간의분리정도를기준으로분류하는것이다. 군집분석의주요목적은대상들의유사성을근거로특수한특성을지닌두개또는그이상의군집으로분류하는것이다. 군집분석은대상들을탐색적목적으로많이사용되어왔다. 군집분석은다른다변량분석과는달리최종결과에대한유의성을검증할수있는장치가없기때문에변수를선정할때이론적. 개념적. 현실적근거를신중하게고려해야하고항상분석결과를검토해서부적절한변수들을제거할수있도록해야한다. 군집분석에서는어떤특성에대한측정치의차이를비교할것인가의변수선정문제와어떻게유사성의차이를측정할것인가의거리척도문제그리고대상들간의거리가산출되었을때어떻게대상들을묶어나갈것인가의군집방법이주요과제이다. 예를들면, 기업이보유한고객정보를이용하여사용자는유사한구매습관혹은특징을기초로고객들의군집을형성할수있다. 기업은이와같은유사성을이용하여제품을수용할가능성이높은하위그룹을제품홍보의대상으로지정할수있다. 심리학적인설문의점수를기준으로설문자는환자들을유사한반응패턴을가진하위그룹으로군집화할수도있다. 이러한분석결과를토대로의사는적합한치료를선택할수있고더나아가질병유형을연구하는데도움을받을수있다. 아래그림은특정웹사이트의방문자로그를기준으로수입, 나이, 최근방문에관한군집분석의예를보여주고있다.

103 제 4 장과학기술정책의빅데이터활용기술 87 [ 그림 49] 웹사이트방문자군집분석 출처 : Research methods & Statistical Analysis. Cluster Analysis. < 군집분석이란용어는판별해석 (discriminant analysis), 인자분석 (factor analysis), 회귀분석 (regression) 과같은특정통계기법혹은모델을명시하지않는다. 사용자는때때로데이터의기본적분포에대한어떠한가정도하지않는다. 군집분석을이용하여사용자는인자분석에서사용되는것과유사한연관된변수의그룹을형성할수있다. 그룹내에서유형을분류할수있는다양한방식이존재하며군집분석은데이터파일의크기에의존적이다. 작은크기의데이터집합에일반적으로사용되는기법으로수천개의유형이존재하는데이터파일에는실용적이지않다. 사회공학통계패키지 (Statistical Package for the Social Science, SPSS) 는데이터를군집화하기위해계층적군집분석 (hierarchical cluster analysis), K-평균군집분석 (k-means cluster), 이단계군집분석 (two-step cluster) 과같은세가지의절차를가지고있다. 만약에사용자가큰데이터파일이나연속적이고단정적변수 (continuous and categorical variables) 를가지고있다면 SPSS 이단계군집분석을사용하는것이좋다. 사용자가작은데이터집합을가지고있고군집의수가증가함에따라손쉬운해결책을원한다면위계적군집분석을사용하길원할것이다. 또한, 사용자가군집수를알고중간크기의데이터집합을가지고있다면 K-평균군집분석사용이가능하다. 34)

104 88 과학기술정책네트워크분석기반의빅데이터활용방안연구 주어진세가지 SPSS 절차를사용하면세가지의서로다른데이터집합에대한군집화가가능하다. 위계적군집분석은 2002년올림픽에서피겨스케이팅심판들에대한군집화에사용되었다. K-평균군집분석은로마시대도자기의금속조성비를연구하기위해사용되었으며마지막으로이단계군집분석은 2002년종합사회조사의참여자를군집화하는데사용되었다. 군집분석은교육수준과나이, 수입, 성별, 출신국가를기준으로동질의군집들을발견할수있으며인터넷이어떻게사용되고있는지와군집들간의 TV 시청패턴도알수있다. 계층적알고리즘 (Hierarchical algorithm) 군집을형성할수있는다양한방법이존재하는데그중에서계층적군집분석은가장간단한기법중의하나이다. 계층적군집분석은병합적 (Agglomerative) 방법과분할적 (Division) 방법이있다. 병합적군집분석은모든유형 (Case) 이군집자체가되는것에서부터시작하여연속적인단계를거쳐유사한군집이합쳐진다. 이알고리즘은모든노드가하나의군집으로분류되면종료된다. 분할적군집분석은모든노드가하나의군집에서시작하고모든노드가개별적인군집으로분산되면종료된다. 분명히, 첫단계나마지막단계모두두위계적알고리즘의가치있는솔루션은아니다. 병합적계층적군집분석에서일단하나의군집이형성되면다시분리될수없고다른군집들과통합될수있으며군집들에합류한유형들이다시분리되는것을허용하지않는다. 위계적군집분석을이용하여군집을형성하기위해서는다음중반드시하나를선택해야한다. - 유형들간의유사성혹은거리 (Distance) 를결정하기위한기준 - 연속적인단계에서어떤군집들이통합될지결정하기위한기준 - 사용자가데이터를표현하기위해필요한군집의수 34) IBM SPSS STATISTICS GUIDE. Chapter 16 Cluster Analysis. <

105 제 4 장과학기술정책의빅데이터활용기술 89 K-평균군집분석계층적군집분석은모든유형의쌍에대한거리혹은유사성행렬 (Matrix) 을요구한다. 만약수만가지의유형을하나의데이터파일에서가지고있다면너무큰행렬이필요하다. K-평균군집분석은모든가능한거리에대한연산이요구되지않는군집화기법이다. 이것은계층적군집분석과는여러측면에서차이가있으며가장큰차이점은사용자가원하는군집의수를미리알아야하는것이다. 사용자는서로다른군집의수에대한분석을다시수행하지않는한군집의수적범위에대한솔루션을얻을수없다. 해당알고리즘은다양한유형들을군집들에반복적으로할당하고, 분석이진행되는동안동일한유형이군집과군집사이를이동할수있다. 반대로, 병합된계층적군집분석에서유형들은오직존재하는군집들에만할당된다. 할당된유형은영속적으로군집에소속되고, 이웃의범주만확장가능하다. K-평균알고리즘에서 k는사용자가원하는군집의수를나타낸다. 한유형이갖는군집의평균까지의거리가최소값일때해당군집에할당된다. 해당알고리즘은 k개의평균을찾는것에중점을둔다. 알고리즘은평균들의초기집합과함께시작하고유형들을각평균까지의거리를기준으로분류한다. 다음으로해당군집에할당된유형들을포함하여군집의평균을다시연산한다. 그후, 새로운평균집합을기준으로모든유형을다시분류한다. 이러한과정은군집평균이더이상변화되지않을때까지반복한다. 마지막으로각군집의평균을다시연산하고유형들을영속적인군집에할당한다. 군집분석결과도출된각군집들이실무적인판단, 이론적근거또는상식에의해서이해할수있을정도로분류되면각군집의본질을잘나타낼수있는이름을정해야한다. 현재최적의군집결과를도출하기위한표준이나객관적인절차가완전하게개발된것은아니지만군집분석은대상들을분류하기위해사전분류기법을많이사용하며군집의특성을파악하기위해서는판별분석을주로사용한다.

106 90 과학기술정책네트워크분석기반의빅데이터활용방안연구 제 2 절빅데이터처리기술 빅데이터는형식이다양하고빠른생명주기를가져기존기술로는처리하기어려운초대용량데이터로서대용량 (Volume), 다양성 (Variety), 속도 (Velocity) 라는특징을지니고있다. 따라서최근에이러한빅데이터의특징들을만족시키면서처리할수있는기술들이나날이증가하고있다. 본절에서는과학기술정책분야에적용가능한주요한빅데이터처리기술에대해살펴보고자한다. 하지만이절에서나열한기술이외에도다양한기술들이지속적으로개발되고있다. 1. 하둡 (Hadoop) 기존의관계형데이터베이스및데이터웨어하우스제품은구조화된데이터상에서 OLAP 35) 과 OLTP 36) 작업을탁월하게수행하고있다. 하지만비정형데이터의급격한증가로이러한기술들은차세대디지털비즈니스를지원하는데점점더많은한계에부딪치고있는실정이다. 반면에, 하둡은정형데이터와비정형데이터를비롯하여복잡한데이트를빠르고정확하게분석하기위해설계되었다. 37) 전형적으로하둡은두가지의요소로구성되어있는데첫번째요소는구글 (Google) 의파일시스템을대체할수있는 HDFS(Hadoop Distributed File System) 기술을적용하여데이터저장의신뢰성을확보하고두번째요소는구글의맵리듀스 (MapReduce) 38) 라불리는기술로성능이뛰어난병렬 / 분산데이터처리프레임워크를사용한다. 하둡은원래야후에서개발하였으며현재아파치소프트웨어재단 (Apache Software Foundation) 의한프로젝트로관리되고있다.[20] 35) Online analytical processing 의약어로정보위주의분석처리를의미하며다양한비즈니스관점에서쉽고빠르게다차원적인데이터에접근하여의사결정에활용할수있는정보를얻을수있게해주는기술 36) Online transaction processing 의약어로여러단말에서보내온메시지에따라호스트컴퓨터가데이터베이스를액세스하고바로처리결과를돌려보내는형태 37) What is a Hadoop? < 38) MapReduce 라는용어는리스트데이터를처리할때사용하는함수인 map 함수와 reduce 함수에서유래

107 제 4 장과학기술정책의빅데이터활용기술 91 초기에구글이대규모데이터를처리하는방식으로아파치하둡을최초로발표하였으며그이후로수백테라바이트 (Terabytes) 혹은페타바이트 (Petabytes) 의데이터를저장하고처리 분석하기위한표준이되었다. 39) [ 그림 50] 하둡 (Hadoop) 개요출처 : 하둡은누구나무료로사용할수있는오픈소스이며빅데이터를저장하고처리하는새로운방법을개척하였다. 하둡은데이터저장및처리를위한고가의전용시스템에의존하는대신에저렴한표준서버들을이용하여엄청난양의데이터를저장하고처리할수있으며제한없이서버들을확장할수있다. 전세계적으로점점더많은데이터가매일생성되는환경에서하둡은이러한데이터들을처리할수있으며하둡의획기적인장점은기업과조직이가치없는것으로간주된데이터에서가치를창출할수있다는것이다. 하둡은분산된시스템에서정형데이터와비정형데이터에관계없이로그파일, 사진, 오디오, 통신기록, 이메일등모든형식의데이터처리가가능하다. 서로다른유형의데이터가서로관련이없는시스템에저장되 39) Cloudera. Hadoop and Big Data <

108 92 과학기술정책네트워크분석기반의빅데이터활용방안연구 어있는경우에도사전에스키마 40) 없이모든데이터를하둡클러스터 (Cluster) 에서처리할수있다. 즉, 데이터를저장하기전에사용자가데이터를조회하기위한방법을알필요가없다. 하둡은질의문을향후에결정할수있고시간이지난후에누구도생각하지못한질의문을표시할수있도록허용한다. 데이터베이스에저장된것만이아닌모든데이터를유용한상태로만들어이전에는알수가없었던데이터간의연관관계를보여주고과거에는얻을수없었던해답을찾을수있도록한다. 사용자는예감또는직감으로의사결정을하는대신에데이터를기반으로보다많은결정을내릴수가있으며단순한샘플데이터가아닌완전한데이터집합을이용하여신뢰성도확보할수있다. 또한, 기존시스템은특정업무를처리하기에좋은반면빅데이터를염두에두고설계하지않았기때문에빅데이터를처리하기에는비용부담이너무크다. 하지만하둡은내부적으로중복된데이터구조를가지고고가의전문데이터저장소시스템이아닌산업표준의분산된서버의디스크를사용하기때문에경제적으로유리할뿐만아니라사전에실행가능하지않는데이터를저장할여유공간도가질수있다. 40) 데이터베이스에존재하는자료의구조및내용그리고이러한자료들에대한논리적, 물리적특성에대한정보를표현하는데이터베이스의논리적구조를지칭함. 일반적으로데이터베이스에서는자료의독립성을위하여여러계층의스키마를사용하여데이터베이스를표현하고있음.

109 제 4 장과학기술정책의빅데이터활용기술 93 [ 그림 51] 하둡 (Hadoop) 활용 출처 : 2. R 오픈소스프로그래밍언어인 R은통계계산및시각화를위한프로그래밍언어로서개발환경을제공한다. 아래그림은 R 언어와통계그래프화면을보여주고있다. [ 그림 52] R 언어와통계그래프

110 94 과학기술정책네트워크분석기반의빅데이터활용방안연구 R은오픈소스프로젝트를지원하는 GNU 프로젝트의일부로서통계소프트웨어를개발하는통계전문가들사이에서사실상표준으로자리를잡고있으며통계소프트웨어개발및데이터분석에폭넓게사용되고있다. 지난 10년동안학계와산업계에서 R 프로그래밍언어를전산통계및시각화, 데이터과학을위한가장중요한도구로사용하여왔다. 전세계적으로수백만의통계전문가와데이터과학자들이전산생물학에서부터양적마케팅에이르기까지다양한분야에서자신의가장어려운문제를해결하기위해 R을사용한다. 따라서 R은데이터과학분야에서가장인기있는언어가되었고 Java나 C 등의다른프로그래밍언어와연결도용이하며 Mac OS, 윈도우, 리눅스 / 유닉스등대부분의컴퓨팅환경을지원하고하둡환경상에서분산처리를지원하는라이브러리덕분에구글, 페이스북, 아마존등의빅데이터분석이필요한기업에서대용량데이터통계분석및데이터마이닝을위해널리사용되고있다. R은거의모든유형의데이터조작과통계적모델및데이터과학자가필요로하는차트를언제든지제공할수있다. 사용자는쉽게무료로다운로드하여데이터과학의선두연구그룹에서제안한통계학의최첨단사회검토기법 (community-reviewed method) 과예측모델링을사용할수있다. 41) 복잡한데이터를차트와그래프로표현하는것은데이터분석과정의필수적인요소이다. R은전통적인바차트 (Bar Chart) 와라인플롯 (Line Plot) 이상의표현방식을제공한다. Bill Cleveland와 Edward Tufte와같은데이터시각화의선두주자들의영향을받아서 R은쉽게멀티패널차트 (Multi-panel Chart) 와 3-D 표면등을이용하여다차원데이터의의미를그릴수있다. R의사용자지정차트기능은뉴욕타임즈 (New York Times) 와이코노미스트 (The Economist), Flowing Data 블로그에서데이터를멋지게시각적표현한사례를통해확인할수있다. Point-and-click 메뉴혹은유연하지못한 블랙박스 과정대신에 R 은데이터분석을위해명시적으로설계된프로그래밍언어이다. 중급수 41) Revolution Analytics. What is R? <

111 제 4 장과학기술정책의빅데이터활용기술 95 준의 R 프로그래머는기존통계소프트웨어사용자보다신속하게최고의결과를도출하기위해 mix-and-match 모델을사용하여유연성있는데이터분석이가능하다. R 스크립트는쉽게자동화되어재현연구 (Reproducible Research) 와생산배치 (Production Deployments) 를촉진한다. R은활발하게성장하는오픈소스프로젝트로서전세계수천명의개발자들과 2만명이상의사용자커뮤니티로부터지원된다. 사용자가포트폴리오를최적화하거나게놈서열을분석하고컴포넌트실패시간을예측하기위해 R을사용한다면각분야의전문가가만든자원, 애플리케이션, 코드를온라인을통해서무료로사용할수있는장점이있다. 3. NoSQL 예전에컴퓨팅시스템은기업업무를자동화하고효율화하는데그목적이있었다. 기업의복잡한데이터를저장하고그데이터간의관계를정의하고분석하는데최적화되어있었다. 기업의업무시스템은해당기업의생산과판매를대부분지원하고이를통해생성되는데이터양은제한적이었다. 그러나 2000년대에들어서면서인터넷의발전과함께 SNS 서비스가활성화되면서이시스템은특정고객이아닌전세계사람들을대상으로하는형태의서비스로발전되었고이는기존의기업시스템에서볼수없었던대규모데이터를생산해냈다. 또한이데이터들은기존기업데이터에비해매우단순한형태를띠게되었다. 즉데이터의패러다임이한정된규모의복잡성이높은데이터에서단순한대량의데이터로넘어가기시작했다. 이는기존의데이터저장시스템으로는커버할수없는여러가지한계를야기했고결국에는새로운형태의데이터저장기술을요구하게되었다. 이때대표적인인터넷기업이면서이러한대용량단순데이터를가장많이보유하고있어단순한대용량데이터처리에대한요구가가장많은구글과아마존에의해빅테이블 (Bigtable) 과디나모 (Dynamo) 라는논문이발표되었고, 이두논문은새로운데이터저장기술을만들어내는시발점이되었다. 이것은기존의오라클등으로대변되는 RDBMS 중심의데이터저장기술시장에새로운데이터저장기술인 NoSQL이등장하는계기가되었다.

112 96 과학기술정책네트워크분석기반의빅데이터활용방안연구 NoSQL은 Not Only SQL 의줄임말로써기존관계형데이터베이스에서관계형특징 ( 스키마, 테이블간의 JOIN 관계등 ) 을포함하지않고다른특징을가지고있는데이터베이스를일컫는말이다. 이러한 NoSQL은데이터의양이증가하고저장할데이터가지속적으로변화하며데이터의요구가일관적이지않은웹시장의요구를수용하고기존의관계형데이터베이스의수평적확장성의한계를해결하고자대두되었다. RDBMS에서 ACID(Atomicity, Consistency, Isolation, Durability) 42) 를지원하면서수평으로확장하는것은거의불가능에가깝다. 여러장비에데이터를나누어저장해야하고나누어진데이터에대한 ACID를만족하려면복잡한 locking 방식과복잡한복제방식을사용할수밖에없게되고이는결국성능저하로이어지기때문이다. 이러한이유로데이터모델을단순화해서분산의기본이되는 shard를쉽게정의하고분산복제환경에서일관성 (Consistency) 의요건을완화하거나분리 (Isolation) 요건을제약하는형태의새로운저장시스템이나오게되었는데이를통칭해서 NoSQL이라부르고있다. NoSQL은 RDBMS와달리데이터간의관계를정의하지않고 RDBMS에비해훨씬더많은데이터를저장할수있다. 또한, NoSQL은기존의 RDBMS와는다르게하나의고성능머신에데이터를저장하는것이아니라일반적인서버 ( 인텔계열의 CPU를사용하는 Commodity Server) 수십대를연결하여데이터를저장및처리하는구조를갖는다. 즉분산형구조를통해데이터를여러대의서버에분산해저장하고, 분산시에데이터를상호복제해특정서버에장애가발생했을때에도데이터유실이나서비스가중지되는사태가발생하지않는형태의구조다. RDBMS와는다르게테이블의스키마가유동적이다. 즉, 키부분에만타입이동일하고 mandatory( 생략되지않는 ) 필드로지정하면값에해당하는컬럼은타입이나이름에제한이없다. NoSQL 영역에는수많은제품이있기때문에어떤제품을선택할지는매우어려운문제라고할수있다. 제품특성이유사하다하더라도교육은쉬운지, 기술지원은가능한지, 오픈소스일경우지속적인유지보수등 42) 원자성, 일관성, 격리성, 영속성을의미

113 제 4 장과학기술정책의빅데이터활용기술 97 은가능한지를판단해야하는데다른솔루션을선정할때와마찬가지로가장손쉬운판단방법은많이사용되고있는 NoSQL을고려하는것이다. [ 그림 53] Indeed.com의구인자 NoSQL 선호도출처 : 위그림은미국의구인사이트자료를토대로작성한각 NoSQL 제품별구인자수의변화추이를나타내고있다. 이그림에서 MongoDB의구인자수가제일높은것으로나타내고있어가장많이사용되고있는제품이라는사실을알수가있다. 그다음으로 Cassandra나 HBase가그뒤를따른다. MongoDB의경우 RDBMS적인특성을가지고있어서기존 RDBMS 기반의개발자들이쉽게적응할수있고 HBase나 Cassandra의경우대용량데이터저장과성능면에서조금더유리하기때문에이런추이를보이는것으로판단된다. 하지만 NoSQL 사용시반드시고려해야할사항이있다. 첫번째는 NoSQL이정말로필요한지판단해야한다. 새로운기술과제품군을사용하려면그에따르는개발및교육비용이결코만만치않다. 두번째는 NoSQL제품은특성이다양하기때문에기업이나기관은알맞은제품을선정해야한다. 한예로 MongoDB의경우에는 RDBMS와유사한기능을가지고있으므로사용이편리하지만타 NoSQL에비해용량이제한적이다. 세번째는 RDBMS가데이터모델링에서부터시작해서정규화를

114 98 과학기술정책네트워크분석기반의빅데이터활용방안연구 통해중복을제거한후테이블을만들고해당테이블을통해쿼리 (Quary) 를수행해서결과를얻는다고하면 NoSQL은이와정반대의접근이필요하다. 먼저수행할쿼리를정의하고이에맞추어데이터테이블을정의하고성능을높이기위해일부중복을허용하면서테이블을정의해야한다. 사실상 NoSQL은데이터모델링이설계의 90% 을차지한다고해도무방하다. 네번째는 RDBMS와 NoSQL을적절하게혼합해사용하도록설계하는것이좋다. 즉, 인덱스성데이터나복잡한쿼리가필요한데이터는 RDBMS에저장하고실제데이터등은 NoSQL에저장해야한다. 다섯번째는 NoSQL을사용할때는처음부터하드웨어설계를병행하는것이좋다. 디스크 RAID 구성여부와네트워크대역폭, 디스크용량및수량등을고민해야한다. 마지막으로 NoSQL을운영하고관리할수있는관리자를지정하여야한다. 일반적인웹어플리케이션서버 (Web Application Server) 에비해훨씬복잡하고데이터와시스템이분산되어있으므로하드웨어까지운영하고관리해야함으로반드시전문적인지식을갖춘관리자가필요하다. 43) 4. 인-메모리 (In-Memory) 컴퓨팅인-메모리컴퓨팅이란애플리케이션을구동하는컴퓨터의메인메모리에 DB 데이터와같은주요데이터를저장하고처리하는컴퓨팅기술을의미한다. 즉, 연산을위한영역으로만여겨졌던메모리영역을연산뿐만아니라저장을위한공간으로활용하는것이다. 대용량의데이터속에서가치있는정보를발굴하고활용하기위해서는실시간으로데이터를처리할수있는적시성확보가아주중요하다. 이러한문제를해결하기위해고속으로데이터를처리할수있는인-메모리컴퓨팅기술이등장하게되었다. 43) NoSQL 이란무엇인가, 월간마이크로소프트웨어,

115 제 4 장과학기술정책의빅데이터활용기술 99 [ 그림 54] 인-메모리컴퓨팅과디스크기반컴퓨팅개념비교츨처 : Feature Story, In-Memory Computing( ) 이처럼인-메모리컴퓨팅이부각되고있는배경에는다음과같이메모리기술발전및가격하락도한몫을차지하고있다. [ 그림 55] 1990년대비 2010년기술발전비교츨처 : Feature Story, In-Memory Computing( ) 사실하드디스크의기술발전속도는전체컴퓨팅의성능향상발전속도를따라가지못하고있다. 위그림에서보듯이 1990년에비해 2010년도에 CPU의처리성능은약 150배, 메모리는 250배, 네트워크는 100배가향상되었는데하드디스크는 25배수준에그치고있다. 즉, 하드디스크의

116 100 과학기술정책네트워크분석기반의빅데이터활용방안연구 입출력속도를향상시키는기술이상대적으로느려전체컴퓨팅의성능이떨어지는요인로작용하고있다. 그래서전체컴퓨팅속도를향상시키기위하여인-메모리컴퓨팅기술이주목받게되었다. 두번째는메모리가격이지속적으로하락함에따라빅데이터를처리하고자하는기업들이대용량데이터처리속도를개선시키기위하여인-메모리컴퓨팅기술을큰부담없이도입하고있다. 세번째는 64비트컴퓨팅이보편화되어데이터나어플리케이션의크기에상관없이메모리에서처리가가능해진점을들수있다. 32비트컴퓨터는 CPU가메모리에접근하는데 2의 32승비트주소를사용하는데이경우 4GB 이상의데이터를메모리에적재하기어려웠다. 하지만 64비트컴퓨팅에서는 2의 64승개의주소를표현할수있으며이론상 16 엑사바이트 (Exabyte) 의데이터를메모리에적재할수있다. 실제적으로는데이터의크기에상관없이메모리에서처리가가능하다는것을의미한다. 대표적인 IT 리서치기관인가트너 (Gartner) 는인-메모리컴퓨팅기술을크게다섯가지로분류하고있지만그중에서가장많이활용할수있는처리기술에대해간략하게살펴보면다음과같다. 1 In-Memory Data DBMS: 데이터베이스구조전체를컴퓨터메인메모리에저장하고어플리케이션이메모리위에서완전히동작할수있도록메모리상의데이터베이스에직접접근하는 DBMS를말한다. 2 In-Memory Data Grid: 어플리케이션이디스크기반 DBMS에빈번히접속함으로써발생하는병목현상을줄이기위해어플리케이션에서사용하는데이터를메모리에저장하고처리할수있도록저장소를제공하는기술입니다. 3 In-Memory Analytics Platform: 다양한데이터소스들로부터데이터를메모리에적재하여대용량데이터에대한빠른조회및연산기능을제공하는기술로비즈니스데이터를분석하고그결과를보여주는 Business Intelligence 어플리케이션에주로적용된다.

117 제 4 장과학기술정책의빅데이터활용기술 101 [ 그림 56] 인-메모리분석프로세스와기존분석프로세스비교츨처 : Feature Story, In-Memory Computing( ) 기존의분석프로세스에서는분석모델변경시별도의데이터마트 (Data Mart) 에미리모델을반영하고데이터웨어하우스 (Data Warehouse) 에있는데이터를추출하고집계하는과정이필요했지만인-메모리분석을이용하면별도의데이터마트없이메모리에있는데이터를직관적으로빠르게조회하고분석할수있다. 인-메모리컴퓨팅은초기에는증권사의실시간트레이딩, 통신사의로그인세션관리등빠른처리가필수적인 OLTP 데이터처리에주로사용됐으나최근에는분석용 DBMS, 시각화기반데이터탐색도구, 하둡기반빅데이터분석등분석어플리케이션을위한기반기술로활용되고있다.

118 102 과학기술정책네트워크분석기반의빅데이터활용방안연구 제 3 절빅데이터시각화기술 1. 필요성 최근미래창조과학부는빅데이터가국내산업계에서활성화되고창조경제의원동력이되는기반을조성하기위한방안을논의하기위하여산학연각계전문가들로구성된 빅데이터자문위원회 를발족하였다. 이자문위원회에서 ICT 인프라강국의이점과정부 3.0의기회를활용하여조기에빅데이터활용강국으로도약할수있도록수요 공급 생태계전반에걸쳐체계적으로지원하기위한방안을구상하고있다. 그동안수차례정부부처들이빅데이터정책들을발표하였지만대부분빅데이터의처리및분석에국한된내용들이주를이루었다. 하지만최근들어빅데이터를어떻게효율적으로활용할지에관한관심이고조되면서데이터시각화가중요한요소로자리매김하고있다. 인터넷전문가제이콥닐슨 (Jakob Nielsen) 에따르면인간은보통인터넷상에서문자의 20% 도읽지않는다고한다. 또한, 인터넷사용자는동시에여러사이트에접속하여다양한콘텐츠를함께접하면서그만큼주의가분산되어관심의깊이는얕아진다고한다. 44) 이처럼수많은정보로부터한눈에사용자의관심을끌기위하여데이터시각화 (Data visualization) 는정보를효과적으로전달하는중요한표현수단으로자리매김하고있다. 데이터시각화는데이터생산자와수급자, 소비자등데이터에연결된주체들과다양한종류의데이터세트 (Set) 를정확하고, 유용하게그리고의미있게연결해주는시스템디자인을의미한다. 빅데이터를활용하는비즈니스는점차데이터시각화도구에의존하고있으며가트너에따르면 2015년까지연간 30% 씩성장할것으로추정하고있다. 데이터시각화도구는빅데이터의특징인 3V(Volume, Variety, Velocity) 를충족시키면서데이터시각화를통해가치 (Value) 를부여하면서일명 4V라고불리기도한다. 44) Jacob Nielsen s Alerbox, How Little Do Users Read?,

119 제 4 장과학기술정책의빅데이터활용기술 103 대용량 (Volume) 전형적인 BI(Business Inteligence) 시스템과는달리데이터시각화도구는엄청난크기의데이터를처리할수있도록설계되었다. 따라서거대한데이터를단순히관리하는수준에서벗어나풍부한통찰력을얻는방향으로관심이집중되고있다. 다양성 (Variety) 데이터시각화도구는필요한만큼다양한데이터를조합하도록설계되어있다. 즉, 정형데이터뿐만아니라소셜미디어나센서에의해생성되는반정형데이터, 비정형데이터등대부분의데이터들을처리할수있다. 또한, 상호작용이가능한버블차트, 나무지도 (Treemap), 열지도 (Heatmap), 단어구름 (Word cloud) 등많은다양한형태의그래픽을사용하여거대하고복잡한데이터를해석하여상호작용할수있도록도움을준다. 빠른속도 (Velocity) 데이터시각화도구는지속적으로갱신되는실시간데이터를처리할수있다. 정형화된보고서를받아보기위해기다릴필요없이실시간으로분석한데이터결과를볼수있도록지원한다. [ 그림 57] 빅데이터의속성과데이터시각화의역할출처 : Big Data Visualization: Turning Big Data Into Big Insights, Intel IT Center(2013.3) 또한, 데이터시각화도구를통해온라인상에서협업자끼리서로협력할수있으며과거에파악할수없었던트랜드를발견하여새로운아이디어를창출할수있는장점을지니고있다.

120 104 과학기술정책네트워크분석기반의빅데이터활용방안연구 IBM은 2013년빅데이터시장에서차별화된빅데이터요소로시각화기술인 프로젝트네오 를빅데이터포럼에서선보인적이있다. 한동안빅데이터시장은거대데이터를처리하기위한클라우드기반의분산처리기술과대용량데이터들을효과적으로분석하기위한기술들이주를이루었다. 실제로짧은기간동안기술적으로많이발전하여왔으며이후다양한분석결과들을활용하는사례들도증가하고있다. 하지만이러한주도기술들의일반적인딜레마는최종소비자에게어떤가치를줄수있을지에대한배려가부족하다는것이다. 실제로빅데이터분석결과를통해서가치정보를얻는소비자는일반대중이될수도있겠지만대부분의경우중요한의사결정을필요로하는사람들이다. 이소비자들은빅데이터기술이나분석결과에대해서충분한지식을보유하고있지못한경우가더많다. 따라서아무리좋은정보라하더라도가치있고의미있게전달하지못한다면그효용성이떨어질수밖에없다. 데이터시각화는데이터분석결과를전달하는마지막단계로서데이터의문맥화를통한해석작업과정교한모형및시각화도구를활용하면더큰가치와통찰력을제공할수있다. MIT 경영대학원 (Slon) 은전문가를대상으로조직에가치를제공하는데이터의중요한역량의우선순위를조사한결과지금은과거추세분석및예측이중요하지만앞으로는데이터시각화의가치가상승할것으로전망하였다. 그래서최근에는생산된정보를어떻게조직화하고시각적으로이해하기쉽게전달할것인지에대한고민이증가하고있다. [ 그림 58] 데이터의중요역량우선순위출처 : MIT Slon Management Review(2011), Big Data Analytics and the Path From Insights to Value

121 제 4 장과학기술정책의빅데이터활용기술 시각화기술 2.1 통계그래픽프렌들리 (Friendly) 는데이터시각화를 데이터를시각적으로표현하는과학 으로정의하고통계그래픽 (Statistical graphics) 과주제도지도학 (thematic cartography) 으로구분한다. 두분야는데이터를시각적으로표현한다는점에서는유사하지만지향점이서로다르다. 지도학적시각화 (cartographic visualization) 는주로공간과관련된영역의시각화에주안점을두는반면통계그래픽은통계분석과관련된다양한분야의시각화를포괄하는점이특징이다. 통계그래픽은데이터로부터의미있는정보를추출하여효과적으로표현하는통계학의학문적특성으로인해데이터시각화와밀접한관계를맺고있다. 막대기둥그림표 (histogram) 나누적도수분포표 (ogive), 줄기와잎그림표 (stem-leaf plot), 상자와수염그림표 (Box-Whisker's plot) 등은수치정보를효과적으로표현하기위한기술통계학 (descriptive statistics) 의대표적인다양한시도다. 통계학계의피카소라고도불리는튜키 (John Tukey) 교수는통계학에서그래픽의중요성을강조했다. 이론통계학분야에도크게기여한튜키는저서인탐색적데이터분석 (Exploratory Data Analysis) 을통해통계데이터의시각적표현에관한많은업적을남겼다. 상자와수염그림표도그가고안했다. 상자와수염그림표는최소값, 최대값, 사분위수 (Quartile) 와같은데이터가가진특성을간단한상자모양의그림으로간결하게나타내었다. 많은변수가포함된복잡한데이터를다루는다변량통계학 (multivariate statistics) 도분석결과를효과적으로표현하기위한다양한시각적인방법을개발하는데주목하고있는분야다. 다변량분석방법론중하나인군집분석 (clustering analysis) 은비슷한성질의개체가서로묶이는과정을그림 (dendrogram) 으로표현해데이터구조를쉽게파악할수있게해주는방법이다. 나무구조형태로도표를만들어분류와예측에활용하는분석방법인의사결정나무분석 (Decision tree analysis) 도이해하기쉬운시각화방법론중하나다.

122 106 과학기술정책네트워크분석기반의빅데이터활용방안연구 [ 그림 59] 의사결정나무분석구조출처 : 체르노프얼굴 (Chernoff face) 은다차원통계데이터를시각화하는대표적인방법중하나다 (Chernoff, 1973). 이마와턱, 눈과코, 입, 귀등얼굴의각부위를변수로대체해서한눈에데이터의속성을파악할수있게만든다. 45) [ 그림 60] 상자와수염그림표와체르노프얼굴출처 : Wikipidia, Chernoff(1973) 45) 빅데이터, 커뮤니케이션북스, 2012.

123 제 4 장과학기술정책의빅데이터활용기술 단어구름단어구름 (word cloud) 은문서에사용된단어의빈도를계산하여시각적으로표현하는것을말한다. 많이나오는단어는크게표시되기때문에한눈에문서의핵심내용을파악할수있다. 단어구름 (Word cloud) 은태그구름 (Tag cloud) 이라고도부른다. 태그는옷이나물건에소재나취급방법등을설명하기위해붙이는꼬리표다. 웹페이지나소셜네트워크서비스 (SNS) 에서콘텐츠를설명하기위해붙이는키워드를태그라고부른다. 태그구름은웹사이트에서태그의중요도를글자크기나색깔로표시한다. 표현하려는콘텐츠의성격에따라문서구름 (Text cloud) 과데이터구름 (Data cloud) 으로구분하기도한다. 문서구름이문서에포함된단어를시각적으로표현한것이라면데이터구름은단어대신에숫자정보를크기와색깔로표현한것을말한다. 예를들어인구규모에따라국가명의크기나색을달리해서표현하거나주식시장에서주가의등락과거래량을반영해회사명의크기와색을결정한다. [ 그림 61] 태그구름 (R&D 투자동향 ) 출처 : K2Base, KISTEP 단어들간상관관계에주목하는분석방법으로코워드분석 (co-word analysis) 이있다. 코워드분석은문장안에서함께사용되는단어들의규칙을조사해서문서의주제와관련된핵심개념이무엇이고이들의관계가어떤지를식별하는내용분석기법이다 (He, 1999). 이기법은 1980년대에프랑스에서개발되었다. 단어간의관계는함께발생하는빈도수와단

124 108 과학기술정책네트워크분석기반의빅데이터활용방안연구 어간의친밀도를지수로환산하고이지수를기반으로연계관계를나타내고몇개의독립적인그룹으로구분해표현한다. 예를들어학술잡지에게재된빅데이터관련논문을모두찾은후중요한키워드간관계를파악해시각화하면빅데이터관련기술, 빅데이터활용사례, 데이터과학자등과같은세부영역으로구분될수있고각각의세부영역을대표하는키워드의빈도와키워드간의연계를표현할수있다. 이를통해연구분야의동향을쉽게파악할수있다. 46) 2.3 데이터시각화데이터시각화 (Data visualizaton) 는데이터분석결과를쉽게이해할수있도록시각적으로표현하고전달하는과정을말한다. 데이터시각화의목적은도표 (Graph) 라는수단을통해정보를명확하고효과적으로전달하는것이다.[21] 프리드만 (Friedman) 은데이터시각화가지나치게기능적인측면을강조하거나아름답게표현하는데만매달려서는안된다고설명한다. 의미를효과적으로전달하기위해서는심미적인형태와기능적인요소가조화를이루어야하기때문이다. 이상적인시각화란단지명확하게의사를전달하는데만머물러서는안되고보는사람을집중하게하고참여하게만들어야한다. 47) 데이터시각화와연관된개념으로는정보시각화 (Information visualization), 과학적시각화 (Scientific visualization), 시각디자인 (Visual design), 정보그래픽 (Information graphics) 등이있다 48) 정보시각화는일반적으로소프트웨어시스템의파일이나프로그램코드, 도서관의서지데이터베이스, 인터넷의관계네트워크등과같은대규모비수량정보를시각적으로표현하는것을의미한다. 과학적시각화는주로건축학, 기상학, 의학, 생물학분야에서시간의흐름에따른변화를입체적으로표현하는것을말한다. 과학분야의연구결과를일반인이쉽게이해하도록그림으로표현하는사람을시각화사이언티스트 (Visualization scientist) 라고한다. 49) 46) 빅데이터, 커뮤니케이션북스, ) 위키피디아 (Wikipidia) 48) Friendly, ) 데이터시각화 (

125 제 4 장과학기술정책의빅데이터활용기술 109 정보그래픽은인포그래픽 50) 이라고도불리는데이미대중화가되어다양한분야에서사용되고있다. 인포그래픽은특정데이터혹은정보의집합을시각적인표나그림, 그래픽등으로전환하여사용자가감각적이고직관적으로이해할수있도록표현한것을의미한다. 전통적으로다이어그램, 아이콘, 지도, 그래프, 일러스트레이션, 픽토그램, 도표등이여기에포함된다. 현재는 IT의발전으로이같은다양한시각요소를종합적으로활용한그래픽디자인을인포그래픽이라고통칭한다. 요즘은시각디자인분야에서주로진행을하고있으며미술과디자인의영역에서작업이이루어진다. 온라인에서소비되는정보의양이증가할수록인포그래픽의중요성역시증가한다. 인포그래픽을데이터시각화에활용하면다음과같은장점을가지게된다. 첫째, 인포그래픽은문자와달리정보를직관적으로이해할수있다. 이는인간이문자를지각해의미를해석하는과정보다직관적인습득이가능하며문자와달리필요한요점만제공하기에이해하기수월하여빠른시간내에의미를파악할수있기에효율적이다. 둘째, 정보를감성적으로가공해사용자의흥미를유발한다. 훌륭한인포그래픽은정보를일목요연하게전달할뿐만아니라감성을활용해사용자의관심을유도하고사용자의공감을이끌어낸다. 셋째, 어린이나문맹자와같이정보취약계층에게효과적으로정보를전달할수있다. 일례로비행기의 응급상황대처매뉴얼 은누구나알아보기쉬운삽화로구성되어있다. 넷째, 기존과다른새로운시각에서정보를파악할수있도록도와준다. 선형적인행과열로배치되는문자 와달리인포그래픽은정보를입체적으로배치하여다양한해석이가능하다. 사용자는이를통해기존과다른새로운해법을모색할수있다. 인포그래픽은어떻게설계하느냐에따라사물을보는프레임이바뀔수있다. 50) 인포메이션 (Information) 과그래프 (Graphics) 의합성어로정보를구체적, 표면적, 실용적으로전달한다는점에서일반적인그림이나사진등과는구별됨.

126 110 과학기술정책네트워크분석기반의빅데이터활용방안연구 인포그래픽의유형은일반적으로통계기반인포그래픽, 타인라인기반인포그래픽, 프로세스기반인포그래픽, 위치 / 지리기반인포그래픽으로구분할수있다. [ 그림 62] 통계기반인포그래픽출처 : columnfivemedia.com [ 그림 63] 타임라인기반인포그래픽 출처 : awesome.good.js

127 제 4 장과학기술정책의빅데이터활용기술 111 [ 그림 64] 프로세스기반인포그래픽 출처 : [ 그림 65] 위치 / 지리기반인포그래픽출처 : 하지만데이터를시각화하는목적은그림을보여주는것이아니라데이터를조직화해서정보를전달하는것이다. 인포그래픽을가장많이활용하는곳이신문사, 방송국과같은미디어매체들이다. 이런미디어에속해있는비주얼저널리즘종사자의경우그래픽디자이너출신의아트디렉트가결정권자인경우가많다. 기술적인이해보다는디자인적인감성이

128 112 과학기술정책네트워크분석기반의빅데이터활용방안연구 더중요하다는의미이기도하다. 이에반해, 데이터시각화는실용적인가치에중점을두어야한다. 미적가치보다데이터에대한이해가우선이다. 우선데이터와정보에대해서명확하게구분할필요가있다. 데이터는디지털기기가처리하기위한단위를말하며일반적으로기호, 문자, 숫자로이루어져있으며특별한의미를가지고있기보다는단순한사실에불과하다. 이에반해, 정보는데이터를기반으로다양한가공및처리를통해서완성된결과를의미한다. 우리가컴퓨터를사용하는가장큰이유중에하나가데이터를가공하여정보를얻기위함이다. 따라서데이터시각화와정보시각화는개념상차이가있다. 물론위에서언급한시각화차원에서바라보는정보시각화와여기서말하는정보시각화는의미가서로다르다고말할수있다. 데이터시각화에가장많이사용되는형태가그래프이다. 과거우리가사용했던그래프들은단순히데이터를도식화하여표현하는용도였지만최근에는그래프자체에많은의미를부여하여정보의최종형태로사용되고있다. 사실에근거하지않는편견들은잘못된정책과판단으로이어질수있기때문에데이터에근거한정확한정보전달이매우중요하다. 하지만데이터를아무리조직화하여정보의형태로제공된다고하더라도일반인에게의미를전달하기는어려운일이다. 그래서정보의시각화가매우중요하다. 정보의시각화는추상적인정보를사람이이해하기쉽도록시각적으로명확하게표현하는방법론을말한다. 이것은통계학, 전산학, HCI(Human Computing Ingerface), CG(Computer Graphics), 시각디자인, 심리학등다양한분야에걸쳐있는종합적인분야이다. 정보의시각화에관심이증대되는계기는소위말하는빅데이터때문이다. 빅데이터의다양한기술들 ( 수집, 저장, 가공, 분석, 검색등 ) 의마지막단계는결국어떻게시각화할것인가에달려있다고볼수있다. 하지만정보의시각화는학문적역사가매우짧고충분한사례와정보가부족하다. 기존정보그래픽과의차이점은정보그래픽은분석이끝난정적데이터를요약하여스토리텔링을담아서독립적으로디자인한결과물을말한다.

129 제 4 장과학기술정책의빅데이터활용기술 113 정보시각화는정보그래픽을포함한개념이며동적인데이터를실시간으로처리하면서도효과적인결과를보여줄수있어야한다. 효과적이란의미는정보를지적이고감각적으로표현할수있어야한다는내용을포함하고있다. 분명우리는정보그래픽이그래프에미적인품질이높아졌을때대중에게어떤가치를줄수있는지충분히확인하였다. 오히려많은정보를감추고중요한정보를단순화하는것이더효과적으로메시지를전달할수있다는사실도알게되었다. 하지만최근에정보그래픽은정보의전달력보다는미적가치에더집중하는경향이있다. 디자인능력을활용하여더예쁜그래프를만드는것이정보의표현력보다우선된다면정보그래픽의원래목적은퇴색하게된다. 그래서우리는시각화의핵심요소들에대해서검토할필요가있다. 3. 빅데이터시각화핵심요소오늘날다양한형태의데이터가생성되고축적되며소멸하는가운데정보디자인은실생활에서많이적용되어왔다. 앞서논의한적이있었지만데이터, 정보, 지식간의관계는데이터를기점으로단계적으로진행된다. 즉, 맨하단에는원시자료라할수있는데이터가있고그위에정보가위치하고있으며맨상위에지식이자리잡고있는계층적구조를지니고있다. 이구조는위로올라갈수록인간에의존하는처리가많고아래로내려갈수록컴퓨터나기계에의존하는처리가많다. [ 그림 66] 지식체계출처 : 지식의시각화재구성, 비즈앤비즈 (2013.4)

130 114 과학기술정책네트워크분석기반의빅데이터활용방안연구 우리는종종어떤현상이나사물을보는관점또는사용하는목적에따라지식으로보기도하고정보로도보기도한다. 그래서사실지식과정보를엄밀하게구분하기가어려울때가더많다. 따라서본연구에서는빅데이터시각화영역을데이터시각화와정보시각화그리고정보시각화와유사한인포그래픽분야를모두포함하고자한다. [ 그림 67] 빅데이터시각화개념이러한가운데정보시각화는각시스템영역에서더욱쉽고편리한정보전달을돕는역할로, 정보의원리와방법, 인간관계. 비교및분석등을통해표현된다. 정부부처및공공기관의효과적인빅데이터방향을제시하기위해서는효과적인시각커뮤니케이션의기준요소를도출할필요가있다. 에드워드더프티교수에의하면 한페이지에담긴정보의양은그페이지에인쇄된잉크의양과비례해야한다 라고말했다. 이는정보를효과적으로전달하기위해서는정밀한시각적요소가뒷받침되어야한다는의미이다. 수많은정보들이범람하는시대에모든정보를전달하는것은의미가없다. 정보를필요로하는사용자들에게원하는정보를전달해야지만가치가있는것이다. 앞서언급한바와같이데이터는정보로서이용될수있는단계는아니다. 정보를효율적으로이해하기위해서는많은데이터내용을서로관계가있는것, 유사한것등으로분류하여야한다. 이러한작업을통해서데이터의상태를정보로바꾸어야한다. 사용자에게정보가잘전달되려면어떤기준에따라분류되어논리적으로전달되어야한다. 분류란의미단위가같은것끼리서로묶는것이기본이다. 특정목적에따라선택하고기준에따라계층적으로분류한다. 이어서어떤목적이나속성에따라정리한다. 정리된것에서또다른구

131 제 4 장과학기술정책의빅데이터활용기술 115 분과재배치를할수도있다. 이와같이분류된것을토대로계통, 계열, 계보등을정리하여정보의대표이름을붙이는작업을라벨링이라고한다. [ 그림 68] 데이터처리단계리처드솔워먼 (Richard Saul Wurman) 은나단셰드로프 (Nathan Shedroff) 의데이터분류방법을기반으로정보를분류하는구체적인방법을제시하였다. 그는위치, 문자, 시간, 카테고리, 위계라는다섯가지의기존영문이니셜을따서 LATCH 51) 라고했다. 데이터를분리하는것은그안에다양한변형을통해서로다른방법으로지식을이해할수있게하므로목적에맞는적절한기준을잡는것이필요하다. 한편존마에다 (John Maeda) 는어떤분류방법에의해먼저분류한후이름을정하고통합해서우선순위를정하는과정으로각각의영문이니셜을따서 SLIP 라고명명했다. SLIP는무엇과무엇을묶을것인가에대한방법중하나이다. 그러나이것은옳고그름이없으며지식에따라가장적합한형태로활용하면된다. [ 그림 69] SLIP 데이터분류체계출처 : 지식의시각화, 비즈앤비즈 (2013.4) 51) LATCH: Location-Alphabet-Time-Category-Hierarchy 의영문이니셜

132 116 과학기술정책네트워크분석기반의빅데이터활용방안연구 데이터단위는최소한이러한기준에의해분류할수있으며좀더다양한측면에서조직화하기위해서는별도의기준을만들어야한다. 이러한작업을통해데이터가정보로변하고단순해보이도록노력해야만한다. 정보를단순하게만들어야하는이유는인간의정보처리능력에한계가있기때문이다. 터프티교수는훌륭한시각디자인은시각적으로표현된명쾌한생각이라고말했다. 보는이의인지적인과업과디자인원칙을깊이이해할때만훌륭한시각디자인을할수있다고주장했다. 터프티교수는다음과같이시각정보디자인에서준수해야할 7가지원칙을제시하였다. 첫째, 시각적비교를강화하라. 연관된변수와트랜드를서로비교할수있는도구를제공해야한다. 정보는비교를통해사용자에게더욱가치가있다. 둘째, 인과관계를보여라. 정보그래픽을디자인할때원인과결과를명쾌하게보여주어야한다. 셋째, 다중변수를표시하라. 여러개의연관된변수를활용해정보를표현하는데이터도존재할수있기때문이다. 넷째, 컨텐츠의질과연관성, 진실성을확실히보여주어야한다. 보여주고자하는정보가과연사용자가특정목적을달성하는데도움이되는지심사숙고해야한다. 다섯째, 텍스트, 그래픽, 데이터를한화면에조화롭게배치해라. 레이블과범례가도표내에녹아들어가있는다이어그램이더욱효과적이다. 여섯째, 데이터및정보를시간에따라나열하지말고공간에따라나열해라. 일곱째, 정량적자료의정량성을제거해서는안된다. 트랜드를나타내기위해정량적자료를그래프나도표로표현할수있다. 이를통해정량적인정보를한눈에파악할수있기때문이다.

133 제 4 장과학기술정책의빅데이터활용기술 117 정보의시각화는시각적인요소로시선을유도하며정보들간의관계를보여주고정보에감성을넣어친근감을느끼게한다. 또한, 단순함의법칙으로조직화된정보를시각적표현요소를통하여정보의의미가드러나도록시각화해야한다. 우선정보시각화에사용되는시각언어의기본요소는점, 선, 면과같은형태및크기와색상, 명도, 채도와같은색채그리고공간에서시선의흐름을결정하는위치와방향으로나눌수있다. 이러한시각적요소가정보의의미에맞도록적절하게매핑되는것이중요하며이들의주요속성을살펴보면아래표와같다. < 표 11> 시각적요소의주요속성 요소색상형태위치크기 주요속성 문화적환경에따라다른의미를지닌다. 크기나명암과달리수치로표현하기힘들다. 본질적으로정량적인속성이아니기때문이다. 순서를매기기에적합하지않다. 정보를전달할때색상에만의존해서는안된다. 사람들은외곽선을보고대상을인식한다. 하지만형태를구분하는능력은색상이나크기를인지하는능력보다고도의기술이다. 형태만으로는큰대비효과를기대할수가없다. 특정요소의상대적인위치를확인한다. 주변의여타요소와관계를비교할수있다. 크기와마찬가지로수치로표현할수있다. 정보의상하구조를효과적전달할수있다. 가장중요한정보나자주쓰이는기능은좌측상단에배치한다. 클수록사람들의시선을모은다. 크기는수치로표현할수있고순서도구분할수있다. 따라서양과중요도를인지할수있다. 정보시각화의표현양식은데이터를재가공한것으로이를해석하려면지적능력이요구된다. 지도를해석하기위해독도법이필요한것과같은원리이다. 시각화의심미성은무엇보다내용을명확히전달하는것이며사용자가관심과흥미를갖게하여시각화된지식으로부터새로운통찰력을얻는것이라고했다. 이를위해구조화및시각적매핑, 지각심리, 이미지표현방법에대한고려가필요하다.

134 118 과학기술정책네트워크분석기반의빅데이터활용방안연구 지식을사용하는사용자콘텍스트 (Context) 를고려하지않거나오히려시각화된것이지식전달을방해하거나어렵게한다면시각화의진정한의미는퇴색된다. 따라서성공적인시각화를위한필요조건은아래와같이요약할수있다. 첫째는정보시각화를접하는사용자를파악해야한다. 비주얼리터러시 (Visual literacy) 는이미지를쓰고읽는능력의문제이다. 비주얼리터러시는지식의생산자와사용자모두에게이미지에대한이해와해석에관한문제뿐아니라그것을적용하고활용하는데도관계된다. 즉, 글쓰기와같이이미지를사용하여지식전달이나소통을한다. 따라서시각화의효과는리터러시능력에따라좌우된다고할수있다. 이를위해가장우선적으로해야할일은다양한사용자에대한현황을파악하는것이다. 사용자들은서로다른요구와사회성, 문화와교육등의차이가있을수있다. 지각과인지능력이다르면모두다른방식으로문제를생각하고이해하게된다. 사용자개인뿐만아니라그룹, 조직, 그들간에관계에대해서도사전에파악하는것이중요하다. 둘째는전달하고자하는내용의구조와시각화방법을찾아야한다. 정보시각화에서가장중요한요소가정보의전달력이다. 시각화를표현하는방식에서아름다운요소가아무리뛰어나더라도정보의전달력이떨어진다면실패한시각화이다. 시각화를통해전달해야하는내용에대해우선적인것과부차적인것, 전체적인전개등을명확하게파악하고있어야한다. 지식상호간의관계와구조를어떻게보여줄수있는지와어떻게그내용들을신뢰감있게보여줄수있을지에대한적절한내용의구조화와시각화방법을찾아야한다. 만약에사용자에게전달하고자하는메시지가분명하지않다면무의미한그래프들의나열이되고말것이다. 셋째는정보의선택과집중이다. 가장범하기쉬운오류중에하나가많은정보를전달하고자하는욕심이다. 복잡도가증가할수록정보의전달력은떨어질수밖에없다. 지식이나정보의과부하를방지하고그질을높이기위해서는내용의양보다는품질에집중하는것이필요하다. 따라서이것저것모두표현하려하지말고주어진공간내에서핵심만을정확히전달하고자하는노력이필요하다.

135 제 4 장과학기술정책의빅데이터활용기술 119 넷째는잘못된이해를방지해야한다. 시각화가사용자로하여금잘못 된사용을유도하거나오해되지않도록사전에방지해야한다. 그래프를사용할경우단순히아름다움을추구하고자레이아웃, 형태, 선, 색등을과도하게사용하거나심하게변형을가할경우참신함보다는왜곡된정보를전달할수도있다. 사용자가어떻게내용을해석해야되는지전체적인맥락이나요약을제시하는것이중요하다. 이를위해서는시각적이미지뿐만아니라문자를적절히혼용하는것이필요하다. 다섯째는정보의시각화에서가장오용되거나무시되는도구로색의사용을꼽을수있다. 특히어떤정보를그래프로표현하고자할때챠트요소들을구분하는목적으로색을사용하는것이아니라색자체가의미를가지고있어야한다. 대부분의개발자들은그래프를만들때주로 RGB 52) 만으로색을표현하는경우가많다. 디자이너입장에서도크게다르지않다. 데이터의의미를파악하지못한채예쁘게그리고자하기때문에정보를전달하고자하는의미와상관없는색들로표현하게된다. 색은어떤그래프를 2차원으로표현할수있는가장좋은도구가된다. 색에의미를담지못한다면 1차원그래프와다를바가없다. 특히, 중첩시계열의경우정보의함축적의미를많이가지고있다. 따라서성공적으로정보를시각화한다는자체가아주어려운분야이다. 이러한경우에는색의활용이가장좋은해결책이될수있다. 4. 시각화활용사례 4.1 세계각국의인구통계 공개된데이터를그래픽화하는소프트웨어를제작하는스웨덴의비영리단체인갭마인더 (Gapminder) 의경우 UN이보유한공개데이터를바탕으로데이터를조직화하고재가공하여인구예측, 부의이동등에관한연구논문과통계정보를생산하여공유한다. 갭마인더공동설립자한스로스링 (Hans Rosling) 교수는데이터를근거로한통계와그래프를통해서일반인이가지고있는편견과싸우고있는데이터저널리즘의전형으로꼽힌다. 아래그래프는 UN이보유한세계각국의인구통계와관련된빅 52) 빛의삼원색인빨강 (Red), 초록 (Green), 파랑 (Blue) 세종류의광원을이용하여색을표현하는방식임.

136 120 과학기술정책네트워크분석기반의빅데이터활용방안연구 데이터를분석하여향후각국의인구전망과소득문제를그래프로표현한것이다. [ 그림 70] 세계인구통계와소득이처럼시각화된데이터는각국의언론인과정부에서도적극도입하여정책결정에중요한정보로활용하고있다. 아무리좋은데이터를 UN이보유하고있다고하더라도어떻게정보를조직화하고시각화하느냐에따라그가치는완전히달라지게된다. 4.2 원소주기율표정보의시각화에대한가장성공적인사례로많은전문가들이멘델레프 (Mendeleev) 의원소주기율표를꼽는다. 원소주기율표가정보시각화관점에서성공사례로꼽힌핵심은바로원데이터 (Row data) 에대한정확한이해를기반으로작성되었다는것이다. 데이터에대한이해가없다면아무리훌륭한디자이너가그래프를만든다고하더라도정보의전달력은떨어질수밖에없다. 따라서정보의시각화는우리가알고있는잘못된편견인디자이너나아트디렉트의영역이라고볼수없다.

137 제 4 장과학기술정책의빅데이터활용기술 121 [ 그림 71] 원소주기율표 4.3 런던지하철노선도지금은전세계도시지하철노선도의표준이된핸리백의런던지하철노선도의경우도기존노선도가추구하는실제지도위에도식화하려는노력을포기하고본인의전공인회로구조에서착안하여 45도 /90도의각도만을이용하여단순화하려고노력한끝에이루어낸결과물이다. 즉, 소비자에게전달하고자하는정보의핵심을정확히파악하고있기때문에가능한일이었다.

138 122 과학기술정책네트워크분석기반의빅데이터활용방안연구 [ 그림 72] 런던지하철노선도 출처 : 포틀랜드시의건축물나이 이지도는예술작품처럼보이지만실제로는포틀랜드 (Portland) 지역건 물들의나이를보여주고있다. 약 54 만 4,000 여개의건물들이표현되어 있으며약 4,500개의건물이 1800년대에건축되었고 1만 265개의빌딩이 1978년도에만들어졌음을알수가있다. 저스틴팔머가포틀랜드에서공개한데이터를기반으로이지도를제작하였다. 네델란드의 1,000만개가까운빌딩을포함한비슷한지도도존재한다. 이지도에따르면암스테르담중심의어떤건물은천년이지난것도있다. 이지도는지방단체에서어떤구조물이보수가필요한지집중적으로판단할수있게도와준다. 이와같은히트맵 53) 은색상으로표현할수있는다양한정보를일정한이미지위에열분포형태의비쥬얼한그래픽으로나타내는것이특징이다. 54) 53) 히트맵 (Heat map) 은열을의미하는히트 (Heap) 와지도를뜻하는맵 9Map) 의합성어로주로웹사이트의방문자를분석하는웹로그분석에서많이사용하는기법임.

139 제 4 장과학기술정책의빅데이터활용기술 123 [ 그림 73] 포틀랜드시의건축물나이맵 4.5 마켓프로핏 (Market Prophit) 사의사회적주식지수온라인상에서증권시장과관련된대화량은엄청난규모로증가하는추세이며투자자들이그속도를따라잡으며모든정보를해독하는데어려움을겪고있다. 더군다나실시간으로정보를분석하는것은더욱어려운현실이다. 따라서마켓프로핏은시장분위기와센티먼트 (sentiment) 가증권시장에영향을미친다고믿고증권시장의목소리를전달해줄수있는편리한도구를제공하게되었다. 마켓프로핏은주식과관련된빅데이터를판매하는회사로증권관련대화의센티먼트시그널을실시간으로분석하여웹사이트를통해소매상이나기업투자자들에게제공한다. 아래그림은마켓프로핏에서제작한히트맵으로큰블록들은트워터에서이주식에대해더많은논의가이루어지고있음을나타낸다. 색상은전망을 54) 빅데이터시각화에유용한히트맵 8 선, IT World,

140 124 과학기술정책네트워크분석기반의빅데이터활용방안연구 나타내는데빨간블록은부정적인의견을나타내며녹색은긍정적인의견을나타낸다. 따라서금융설계사들은소셜미디어를기반으로주식들에대한전반적인흐름을한눈에볼수가있다. [ 그림 74] 사회적주식지수출처 :

141 제 5 장결론 125 제 5 장결론 제 1 절결론 최근에전세계적으로수많은데이터 ( 정형데이터와비정형데이터 ) 들이인터넷이나소셜미디어등을통해쏟아져나오고있다. 또한, 사회의변화속도는점차빨라지고이로인한위험요소와복잡성이증가하면서미래를정확하게예측하고현안문제를신속하게해결하며경제성장을도모하면서일자리를창출할수있는돌파구를마련하기위하여주요선진국들은일찍부터빅데이터에관심을가지고이를적극적으로활용하기위한추진전략및정책들을마련하여가시적인성과를내고있다. 매킨지, 가트너등세계적인컨설팅전문기관들은빅데이터가국가의성패를좌우하는데이터경제시대가도래할것이라고전망하면서향후에는데이터가중요한자산이되면서이를통해부가가치와창의적인혁신을이끌어내는정부와기업만이생존할수있다고밝혔다. 미국은정부주도로 빅데이터연구개발이니셔티브 를발표하여핵심기술확보와빅데이터활용, 인력양성을중점적으로추진하고있다. 이와더불어빅데이터관련부처및기관들은각업무특성에맞는빅데이터관련프로젝트를진행하고있으며이를지속적으로확대해나갈예정이다. 영국은빅데이터를사회와경제를성장시킬 21세기의새로운원자재및연료로정의하고공공부문의정보를공유하고활용에의한가치를창출하기위하여데이터공개및공유중심의정책을펼치고있다. 영국역사상가장투명한정부를목표로오픈데이터전략을추진하고있는셈이다. 따라서각부처는수집된데이터를토대로 2015년까지의료, 교육, 세금, 고용등순차적으로확대하여정보를공개할예정이다. 일본은사회현안문제를해결할수있는도구로데이터에대한가치를재평가하고있다. 이에, 액티브제팬 전략을발표하고빅데이터를활용하여사회현안해결및경제성장목표를달성하기위하여액티브데이터전략을중점목표로정했다. 우리나라도정부 3.0 추진계획을마련하여일자리창출및과학적행정구현, 공공데이터개발등을통해경제성장과국민행복을목표로빅데이터를추진하고있다. 이처럼빅데이터는각나라의주어진환경과

142 126 과학기술정책네트워크분석기반의빅데이터활용방안연구 여건에따라각국가별로다양한추진전략및정책을수립하여시행하고있다는사실을알수가있었다. 또한, 주요선진국의빅데이터활용사례를통해빅데이터가사회적이슈로등장하게된배경과과학기술정책의사결정모델구축에활용가능하다는긍정적인해답을얻을수있었다. 첫번째로빅데이터분석정보를활용하여의사결정의정확도를높일수있다. 미대선을통해알수있듯이과거소수전문가의경험과직감에의존하기보다는빅데이터의철저한분석과수치를근거로선거전략을수립하고모든중요한사안을결정하여성공적으로선거에승리할수있었다. 두번째는빅데이터분석을통해미래예측이가능하다. 특히, 예측과관련된많은사례들을볼수있었는데미대선에서기존선거데이터를근거로통계학적빅데이터분석을통해 50개주별선거결과를정확히예측하였다. 또한, 미국 LA는수년간의범죄데이터를패턴분석하여범죄발생예측을통해사전에범죄발생률이높은시간과지역을순찰함으로범죄발생률을현저하게감소시킬수있었으며소셜네트워크분석을통해암과독감과같은질병발생지역을사전에예측하여예방이가능하였다. 세번째는빅데이터분석을통해부가가치가높은정보를생성할수있다. 최근스포츠분야에서데이터분석기술을활용하여관람객에서심층적인정보를제공하고있다. 즉, 지난 8년동안의테니스그랜드슬램데이터를분석하여각선수의스타일과패턴을식별하고과거경기기록을분석하여각선수가승리할수있는상위 3개요인을도출하였다. 그리고경기중에승리요인에대한각각의성과를측정하여제공함으로써관람객들은심층적으로경기를이해하면서생생하게경기를관람할수있게되었다. 즉, 과거의단순한데이터들을조합 분석하여보다부가가치가높은정보를생성하여제공할수있다. 네번째는비용을절감할수있다. 영국자동차보험회사는자동차에장착된기기로부터고객의운전습관데이터를수집 분석하여보험료를차등부여하였다. 이로써안전운전을유도하여교통사고가현격하게줄어들고보험사기도예방할수있어회사와고객모두가보험료를절감한좋은사례라고할수있다. 또한, 소셜네트워크분석에의한질병출몰지

143 제 5 장결론 127 역을미리예측하여예방활동을함으로써사회간접비용도줄이는효과가있었다. 다섯번째는경제성장및일자리를창출할수있다. 빅데이터를처리하고분석할수있는핵심기술과신규비즈니스모델을개발하여기술경쟁력을확보하고일자리를창출하는데큰몫을할수있다. 장비나소프트웨어수요는빅데이터를활용한비즈니스모델이증가할수록늘어나며혁신적인빅데이터활용모델개발은관련시장이성장하는데도움이된다. 아마존닷컴은고객들의소비패턴을분석하는모델을구축하여매출이 30% 정도증대했으며텍스트앳은카카오톡서비스를기반으로채팅감정을분석하는새로운비즈니스모델을구현하여일자리와수익창출에부응하고있다. 여섯번째는투명성과신뢰성을확보할수있다. 뉴욕주는탈세, 탈루, 부정환급을방지하기위하여 IT 기반의빅데이터분석을실시하여환급을중단하고증빙을요구하는메일이 2003년 5만 5,700여건에서 2011년에는그 4배인 23만 1,300여건으로증가하였으며환급거절액은 5,600만달러에서 6배가까운 3억달러규모로커졌다. 이처럼투명성과신뢰성을확보하여자발적납세자들로부터만족도가높아졌다. 특히, 빅데이터는미래를예측하고현안문제를해결하는데아주많은사례와경험을가지고있으며이를통해빅데이터는미래예측및현안문제를해결하는데아주유용하다는사실을알수가있다. 과학기술기획및정책수립시빅데이터를활용하면보다더신속하고정확한의사결정기반을제공할수있으며과학기술미래예측및적절한예산배분업무등에도효과적으로활용할수있을것으로기대된다. 또한, 과거와달리과학기술과관련된데이터들도비정형데이터형태로생성되는속도가급격하게증가하고있다. 이처럼다양한대용량데이터를빠른속도로분석하여가치있는정보로생성하기위하여다양한분석및처리기술이개발되고있다. 데이터의형태와분석하고자하는목적에따라데이터마이닝과텍스터마이닝, 소셜네트워크분석등이활용되고있으며비정형데이터의저장및처리가가능한 NoSQL 대용량데

144 128 과학기술정책네트워크분석기반의빅데이터활용방안연구 이터를빠른속도로처리할수있는하둡및인-메모리컴퓨팅기술등이선진국을중심으로활발하게개발 활용되고있음을알수가있었다. 한동안빅데이터시장은거대한데이터를처리하기위한클라우드기반의분산처리기술들과대용량데이터들을효과적으로분석하기위한기술들이시장을주도하였다. 하지만이러한주도기술들의일반적인딜레마는최종소비자에게어떤가치를줄수있을지에대한배려가부족하다는것이다. 실제로빅데이터분석결과를통해서가치정보를얻는소비자는일반대중이될수도있겠지만대부분의경우중요한의사결정을필요로하는사람들이다. 이의사결정권자들은빅데이터기술이나분석결과에대해서충분한지식을보유하고있지못한경우가더많기때문에아무리좋은정보라하더라도가치있고의미있게전달하지못하면그효용성은떨어질수밖에없다. 최근에빅데이터분석결과를보다쉽게이해할수있도록시각적으로표현하고전달하는시각화도구에관심이쏠리면서이러한시각화제품의시장점유율은점점증가하고있으며새로운기술들이속속개발되고있다. 이러한시각화도구를활용하면더큰가치와통찰력을정보수요자및의사결정자들에게제공할수있다. 따라서과학기술미래예측및중장기계획수립, 기술영향평가, 예비타당성조사, R&D 성과분석및투자전략수립, R&D 예산편성등 KISTEP이수행하는대부분의업무는방대한양의데이터분석을필요로하며현재 K2Base 55) 시스템을통하여의사결정에필요한다양한분석정보를제공하고있다. 따라서복잡하고다양한분석데이터를시각화도구로단순화하여정확하고신속하게의사결정을할수있는환경을제공하면통찰력과미래가치를창출할수있는생산적인시스템으로발전할것으로기대된다. 55) KISTEP Knowdedge Base 의약어로과학기술정책의과학화실현을위한통합지식베이스를의미

145 제 5 장결론 129 제 2 절시사점 KISTEP은 2008년부터과학기술기획및정책수립, 기술예측, 기술영향평가, 미래예측, 연구개발예산편성지원등의업무를지원하기위해 K2Base 시스템을구축하여국가별혁신정책동향및연구개발투자현황을상시적으로수집하고국내외논문 특허 저널정보를제공하는유료시스템과의연동을통해많은데이터를보유하고있으며지금도최신데이터를수집해오고있다. 이렇게수집된데이터를활용하여과학기술과관련된변화와문제에대한본질을객관적증거기반으로신속하게분석하여보다나은대응전략과실행계획을수립하기위하여분석정보를제공하고있다. 즉, 국가차원에서과학기술정책의생산성및연구개발투자의효율성을증대하기위하여과학기술미래를예측하고이를토대로정책기획및사업평가, 예산편성, 조사분석등전주기적인연계기반을제공하여적시에합리적인의사결정이가능하도록지속적으로시스템을고도화하고있다. 특히, 2013년부터향후 5년간지식기반의미래가치를창출하기위한목표를기반으로시스템을지속적으로개발할계획이다. [ 그림 75] 정책지식베이스확장및정책서비스발전방향현재 K2Base 시스템은과학기술기획및정책의과학화를위하여수집된대용량데이터를네트워크분석도구를사용하여의사결정자가요구하는다양한분석정보를제공하고있다. 하지만, 앞서언급한바와같이분석된정보를기반으로신속하고정확한의사결정을할수있도록사용

146 130 과학기술정책네트워크분석기반의빅데이터활용방안연구 자및의사결정자의초점에맞춘정보의시각화가지원되어야한다. 이는의사결정의과학화및효율화를위해 K2Base 시스템이나아가야할방향이다. 이를위해우선데이터로부터정보를추출하여인사이트 (Insight) 를담을수있는데이터과학자가필요하다. 그리고데이터를분석하고조직화하기위한소프트웨어엔지니어가필요하다. 마지막으로정보를시각적으로아름답게표현할수있는그래픽디자이너가필요하다. 소프트웨어엔지니어와그래픽디자이너는동일한인력이지속적으로정보의시각화에대한경험을축적할수있지만데이터과학자는분야마다전문영역이달라진다. 예를들면, 경제분야에서는회계, 증권, 세무등금융전문가의데이터분석능력이필요하다. 인터넷서비스분야에서는사용자접속로그를분석하는능력이필요하다. 로그분석솔류션은이미많이존재하지만자신들의서비스와로그의상관관계를분석하여도출할수있는사람은많지않다. 기존의엔지니어가단순히기계적으로로그를그래프로옮기고있는행위로는데이터의의미를충분히파악할수가없다. 따라서인터넷서비스에서데이터과학자는통계학에충분한지식을보유한서비스기획자가그역할을해야할것이다. 의료분야에서는기존의진료기록들을구조화할수있어야한다. 의사마다진료기록의표현방식이일치하지않고심지어는진료기록이디지털화되어있지않고단순스캔본으로저장되어있는경우도허다하다. 의료분야에서정보시각화를위해서는최소한진료기록을이해하고분석할수있는전문가가필요한셈이다. 이렇게데이터분석은각분야에서전문적인지식과통계에대한이해가수반되어야한다. 현실적으로정보의시각화분야에서가장부족한자원이데이터과학자이다. 그래서정부에서도데이터과학자를양성해야한다는얘기를하고있지만단기간에충분한경험을가진인력을양성하는것은쉽지않은일이다. 데이터과학자가갖추어야될또따른역량은소통능력이다. 데이터의의미를읽을수있는사람은분야마다다르지만엔지니어와디자이너와의소통은필수적이다. 그래프를아름답게만들고컴퓨터상에서그래프를구현하기위해서는그들과의공감이매우중요하다.

147 제 5 장결론 131 데이터과학자를쉽게구할수없다면사업분야별전문가가정보를소비하는사용자와어떻게소통해야할지를고민하는과정을통해서스스로전문가가되어야한다. 정보를시각화하기위해서는프로세스를익히는것이중요하며먼저데이터를어떻게분석할것인가에대한고민이필요하다. 데이터의활용목적을분명히명시하고수집된데이터를조직화해야한다. 조직화를통해서데이터는의미있는정보로바뀌게된다. 정보의가치를표현하기위해서는다양한표현기법에대한이해와디자이너의도움을필요로한다. 그래프를통해서표현하고자한다면해당정보를가장잘표현할수있는그래프의선정이필요하다. 그래프선정이완료된이후에는스토리보딩이나디자인작업이진행되어야한다. 가장위험한접근은디자인부터시작하는방식으로소비자에게어떤정보를어떤목적으로전달할지에대한이해없이단순히예쁜그래프만만들겠다는기존의방식은아주위험하다. 따라서초기에는스타일보다는구현에대한이해가우선되어야한다. [ 그림 76] K2Base 의정보시각화모델 스티브잡스가자주얘기했던 디자인은어떻게보이고느끼는지가아니라어떻게기능하냐 의문제라는말을기억해야할필요가있다. 모든

148 132 과학기술정책네트워크분석기반의빅데이터활용방안연구 그래프는사용자의사용목적에맞추어디자인해야한다. 사용자에대한이해는컨설턴트나기획자만의역할은아니다. 데이터의의미를이해하는디자이너와그렇지않은디자이너중에서누가더좋은결과를만들수있을지는자명한일이다. 대표적인사례로원그래프와막대그래프의왜곡된정보전달을들수있다. 어떤정보의양을비교하는시각화에서는가급적막대그래프가원그래프보다정보의왜곡이덜하다. 그이유는많은사람들이면적보다길이에대해서더정확히인지하기때문이다. 원그래프의경우면적을기반으로양을측정해야하는데중요한숫자들을비교해야하는그래프라면당연히막대그래프로표현하는것이효과적이다. 원그래프의경우는모수가처음부터결정되어있고분표에대한비교가필요한경우에많이사용된다. 정량적판단이중요한데이터는막대그래프를이용하고정성적인전달이필요한경우에는원그래프가효과적이라는것이다. 이러한그래프의선택은데이터전문가와디자이너가함께고민해야할부분이다. 반면에컬러정보를잘결정해야하는경우가열지도 (Heat-map) 챠트와같은유형으로보통은지도위에지역별산포도를표현하고자할때많이사용하는방식이다. 열지도의경우색을통해서 2차원정보를제공하는형태이다. 색상의종류가많은것보다 2종류이하의컬러를이용하되명도와채도를활용하는것이정보의전달력을향상시킨다. 단순히미적인접근을원한다면많은색상을사용하게될가능성이높고이런경우정보왜곡이발생하거나정보전달력에문제가발생할수도있다. 데이터전문가가데이터의형태에따른그래프를선정하는것도중요하지만디자이너가그래프를표현하는기법에대해스스로학습해야하는부분이많다는것을의미한다. 넘쳐나는거대한정보홍수로부터많은양의정보를분석하는것도중요하지만이제는분석된결과를가지고이용자와어떻게소통할것인지가더욱중요한시대가되었다. 그동안인포그래픽을통해서시각화에대한인식이높아졌다면이제는실시간으로변하는데이터들을기반으로의미있는정보를추출하고인사이트가반영된그래프또는시각화의결과물들에대한가치를전달할수있어야한다. 앞으로 UX 56) 분야에서엔지니어

149 제 5 장결론 133 링이결합되어야할분야가바로정보시각화분야가될것이다. 통계및데이터분석과학자의도움없이디자이너와 UX 컨설턴트만으로효과적인정보시각화를구현할수가없다. 최근에빅데이터에서가장많이사용하고있는 SNS 데이터의경우많은데이터를수집하여정보를추출하고있지만정보들간의상관관계에대한분석능력은상대적으로떨어진다. 키워드분석수준에서정보를추출하고있을뿐 Social Graph 또는 Interest Graph에기반한분석은충분히활용되고있지않다. 이러한사례에서보듯이기존에는기술주도로정보의시각화가이루어졌다면이제는데이터과학자주도로정보의시각화가이루어져야한다. 그래서 UX 분야에서데이터과학자를보유하고있어야만정보시각화에대한효과가커질수있다. 빅데이터처리기술을기반으로분석된결과물들이어떻게가치있는정보와지식으로활용될수있을지에대한마지막관문이빅데이터시각화라고해도지나치지않다. 데이터와정보에대한이해뿐만아니라표현방식과그래프형식의선택도이제는 K2Base 시스템의새로운미션이되었다고볼수있다. 현재 K2Base 시스템에서서비스하고있는분석정보들을토대로가장이해하기쉽게표현하고전달할수있도록시각화한대표적인모델을소개하면다음과같이표현할수있다. 56) User experience 의약어로소비자가제품이나서비스등을선택또는사용할때발생하는제품과의상호작용을제품디자인의주요소로고려하는것임. 사용자경험디자인은소비자의요구를벗어나는요소를최소화하고사용자관찰을통해사업과마케팅의목표를달성할수있다는장점이있음.

150 134 과학기술정책네트워크분석기반의빅데이터활용방안연구 < 표 12> 분석데이터시각화모델 서비스명 시각화모델 연구개발사업구조분석 사업연계이력분석 네트워크분석 유사사업군분석 정책분야별연계분석 이와같이정보시각화의궁극적인목적을달성하고이를활성화하기위한전제조건은빅데이터를기반으로시스템을구현해야한다. 다행히 K2Base 시스템은앞서언급한바와같이내부및외부연계를통해확보