2011. 2. 10. ( 제 91 호 ) 정보홍수속에서金脈찾기 : ' 빅데이터 (Big Data)' 분석과활용 목차 1. ' 빅데이터 (Big Data)' 의시대 1 2. 빅데이터분석의활용효과 4 3. 시사점 9 작성 : 채승병수석연구원 (3780-8523) seanchae@seri.org
요약 디지털공간에서의활동일상화와모바일기기의사용확대로개인과조직의활동기록이축적되면서경영에유용한정보도폭발적으로증가하고있다. 웹사이트의방문기록, 온라인서비스의이용기록, 검색사이트의검색통계, 소셜미디어의소통기록등막대한데이터는기존의관리및분석체계로는감당할수없어 ' 빅데이터 (Big Data)' 분석이필요하다. 빅데이터분석은정제되지않은막대한양의정보를분석하는기법으로최신통계기법과인공지능기법등을망라하고있다. 글로벌선진기업들은이미빅데이터의잠재적가치에대해관심을갖고이를효과적으로분석 활용하는역량확보에주력하고있다. 빅데이터분석을통해기업은경쟁환경을보다잘이해하고효과적으로전략을실행할수있는기반을강화할수있다. 또한기업은빅데이터분석을통해 1 고객간정보전달의통로가되는소셜네트워크의구조를파악하고잠재적소비자군을도출해낼수있으며, 그들이커뮤니티내에서수행하는역할과의사소통방식및경로를이해할수있다. 2 검색엔진이제공하는통계와소셜미디어에떠다니는메시지를통해중요사건에대한징후와경과를파악할수있다. 구글은자사검색통계를기반으로시간ㆍ지역별로독감유행정보를제공하는데이것은미국보건당국의공식적인발표보다훨씬빠르다. 3 경영자의직관을보완하여효과적인의사결정을촉진한다. 종래경영자들이직관에의존하여의사결정할수밖에없었던사항들에대해서도객관적인분석과검증결과를제공할수있다. 4 정보의수집및분석을체계화하여현황파악에걸리는시간을단축하고전략실행효과의예측모형과시나리오를도출할수있다. 일기예보, 교통정보, 판매정보, 인기뉴스와같은다양한데이터를조합하여실시간수요예측모형을구축하는것이가능하다. 5 감지하기어려웠던소비자의의견을빠르게수렴함으로써리스크를최소화하고기업평판을개선할수있다. 나아가기업에유용한지식과정보를지닌고객을발견하여새로운가치창출이가능하도록지원할수있다. 트위터사용인구가많은일본에서는트위터에서의반응을모니터링한후빠른주기로마케팅방법을변경하는사례도늘고있다. 빅데이터분석은정보의홍수시대를살아가는기업에지혜를제공한다. 따라서빅데이터가잠재가치가높은자산임을인식하고체계적으로활용하는방안을강구해야한다. 빅데이터를특성에따라분류하고심도있게분석하며자사의실정에맞도록활용하기위해서는통찰력과분석력을고루갖춘인재를육성ㆍ확보해야한다.
1 1. ' 빅데이터 (Big Data)' 의시대 기하급수적으로쌓여가는경영관련정보 IT 기술의발전과모바일환경확대로인해생활주변에서새롭게창출되거나유통되는정보의양이폭발적으로증가 - 인터넷을기반으로한디지털공간에서의활동이일상화되고, 개인과조직의활동기록이축적되면서천문학적인규모의데이터가형성ㆍ2010년디지털공간에축적된정보의규모는 12억 TB 1) 에육박하는것으로추정 2) ㆍ세계최대의소매체인월마트에서는시간당 100만건이상의거래기록이저장되며, 2008년까지약 2,500TB의정보를축적 3) - 스마트폰을위시한모바일기기보급이급속도로확대되면서정보의 확산과축적이더욱가속화 ㆍ트위터에서는 2011 년 1 월현재 매일약 1 억 1,000 만개의트위트가 발신 4) 일간발신되는트위트양 (2006 년 1 월 ~ 2010 년 9 월 ) - 기존의관리및분석체계로는 감당하기어려운정도의막대한 데이터를 ' 빅데이터 ' 라고지칭 5) 자료 : Twitter (2010). Tweets per day. (Rao, L. (2010). Twitter Seeing 90 Million Tweets Per Day, 25 Percent Contain Links. TechCrunch. 에서재인용 ) 1) 1TB = 1,000GB = 1,000,000MB 로서, 미국국회도서관소장도서의전체정보량이약 15TB 에상당 2) Gantz, J. & Reinsel, D.(2010). The Digital Universe Decade - Are You Ready? IDC.<http://www.emc.com/collateral/analyst-reports/idc-digital-universe-201005.pdf> 3) Data, data everywhere. (2010. 2. 27.). The Economist. <http://www.economist.com/node/15557443> 4) Chiang, O. (2011). Twitter Hits Nearly 200M Accounts, 110M Tweets Per Day, Focuses On Global Expansion. Forbes. <http://blogs.forbes.com/oliverchiang/2011/01/19/twitterhits-nearly-200m-users-110m-tweets-per-day-focuses-on-global-expansion/> 5) 빅데이터는당초수십 ~ 수천 TB 에달하는거대한데이터집합자체만을지칭하던말이었으나, 점차관련도구, 플랫폼, 분석기법까지포괄하는용어로변화하는추세
2 기업경쟁력의중요요소로부상하는빅데이터분석력 환경변화를신속하게감지하고대응하는역량이중요해지면서, 기업 내 외부에축적된빅데이터의중요성이부각 - 기존에도경영정보의중요성은강조되어왔으나, 대부분기업활동과관련된내부정보에집중ㆍ신용정보회사와금융회사가개인금융거래기록을분석해신용등급을산정하고마케팅과리스크관리에활용하는것이대표적사례ㆍ제조업에서도경리, 영업, 재고, 고객관리등을위해전사적자원관리 (ERP), 고객관계관리 (CRM) 시스템등을활용 6) - 웹사이트방문기록, 온라인검색통계, 소셜미디어소통기록등의빅데이터에는기존의데이터로는파악하기어려운환경변화와소비자의니즈를반영하는잠재적정보들이散在ㆍ검색및포털사이트, 소셜미디어에는실시간으로각종이슈가등장하고있으며, 소비자들의선호와행동정보가여과없이노출빅데이터분석과기존경영정보분석의차이점 기존의경영정보분석은일정한양식에따라정제된데이터를주로취급 웹사이트의방문기록, 소셜미디어의소통정보를망라한빅데이터는양식이제각기다르고구조화된수준도낮음 데이터크기 大 小 빅데이터분석대상 기존정보분석대상 빅데이터분석은구조화수준이낮고매우방대한데이터를다루므로진보된분산처리기술과통계적기법이필요 低구조화高수준자료 : Gruman, G. (2010). Tapping into power of Big Data. Technology Forecast, 2010(3), 4-13. 6) ERP = Enterprise Resource Planning, CRM = Customer Relationship Management
3 2011년 IT 기술트렌드를예측한대부분의전망에서도빅데이터를주요대상으로한비즈니스분석기술발전이핫이슈로지목 - 가트너는최근발표한 2011년 10대전략기술에빅데이터분석에필요한차세대분석기법과소셜분석기법을포함 7) 글로벌기업들은빅데이터에서차별화된정보를추출하고이를경영활동에접목시킬수있는비즈니스분석기술과역량강화에주력 - 분석능력이없는기업에게빅데이터는불필요한부산물에불과하지만, 적절한역량을갖춘기업에게는새로운가치창출의기회 - 오라클 (Oracle), MS, HP, 시스코 (Cisco), IBM, SAP 등글로벌 IT 솔루션업체들은빅데이터분석을위한핵심기술확보를위해 M&A를확대ㆍ2010년 9월 IBM이고성능데이터관리업체네티자 (Netezza) 를 17억달러에, 11월에는 EMC가네트워크저장장치업체아이실론 (Isilon) 을 22.5억달러에인수빅데이터로운명이엇갈린 IBM과구글의자동번역프로젝트 자동번역의경우언어마다변칙이많고미묘한어감의차이가있기때문에결과가부자연스럽거나의미가왜곡되는경우가종종발생 IBM, 구글은인간이번역한문서를통계적으로비교해의미가비슷한문장과어구 ( 語句 ) 를대응시키는방법을사용하여자동번역을시도했으나, 투입한데이터양의차이로인해상반된결과에도달 - 1990년대초, IBM은영어와프랑스어로작성된문서수백만장을이용해자동번역서비스를시도했으나실패 - 2000년대들어구글은유럽 20여개언어로작성된문서와도서수십억장을활용해현재의구글번역서비스체제구축 ( 자료 : Clicking for gold. (2010. 2. 27.). The Economist.) 7) Gartner (2010. 10. 19.). Gartner identifies the top 10 strategic technologies for 2011. Press Release.
4 2. 빅데이터분석의활용효과 기업은빅데이터의분석을통해경쟁환경을이해하고효과적으로 전략을실행할수있는기반을강화 1 소셜네트워크의구조와정보전달패턴파악 소비활동에영향을주고받는소비자들의소셜네트워크구조를파악하여 효과적인마케팅을위한기반정보를확보 - 소비자들은기업이제공하는정보보다프로슈머 (prosumer), 커뮤니티의 동료등이제공하는정보를더욱신뢰 - 소셜미디어에나타나는정보의경로를분석하면잠재적소비자군과 이들이소속되어있는다양한커뮤니티구조를파악하는것이가능 ㆍ매우복잡해보이는소셜네트워크구조내부에는정보를보다긴밀하게주고받는많은커뮤니티가중첩ㆍ각커뮤니티의성격과결속유형에대한정보가중요 소셜네트워크의커뮤니티 ( 원안 ) 구조 자료 : Ahn, Y. Y., et al. (2010.8.5.). Link communities reveal multiscale complexity in networks. Nature, 466, 761-754.
5 커뮤니티의결속형태와활용포인트 결속유형구조적특성사례핵심포인트 집단형 공통의활동이나목표, 가치관으로강하게연결되어있으나멤버간교류는적음 애플의충성고객철인 3종경기참가자 공통가치에호소 그물형 동일한니즈또는보완관계의니즈를가진멤버끼리 1:1로직접교류 페이스북회원 개인간의입소문, 추천강조 허브형 카리스마가있는핵심인물을중심으로결속되고개별멤버간교류는적음 오프라윈프리팬클럽 핵심인물 ( 허브 ) 영향력이용 자료 : Fournier, S. & Lee, L. (2009. 4.). Getting Brand Communities Right. Harvard Business Review, 2009(4), 105-111. - 정보의발신력이우수한오피니언리더및커뮤니티와이들이활용하는 정보발신채널에마케팅노력을집중함으로써효과를극대화 ㆍ최근유행하고있는소셜커머스 (social commerce) 8) 업체들은소셜 미디어의전파력을마케팅에적극활용 ㆍ소셜미디어광고시장규모도 2011 년 60 억달러규모로성장할전망 소셜미디어의정보분석방법분류 기술 ( 記述 ) 통계 : 트위터팔로어의변화, 페이스북리뷰의개수등소셜미디어에서일어나는활동과트렌드를보여주는여러통계량을산출해제공 네트워크분석 : 소셜미디어에서활동하는사람들사이의연결관계를보여주고상호영향의강도를측정하여정보의흐름을구조적으로파악 텍스트분석 : 통상의방법으로는파악하기어려운소셜미디어콘텐츠의주제, 내용, 긍정 / 부정의어조등을판별 ( 자료 : Brogan, C. (2010). Acting on Customer Intelligence from Social Media (SAS White Paper). SAS.) 8) 소셜커머스는기존전자상거래 (e-commerce) 의연장선상에있으나상품관련정보와플랫폼이소셜미디어와결합된형태를의미. 현재는특정상품을내걸고소셜미디어를통해구매자를모집하고저렴한가격에공동구매를성사시키는그루폰, 티켓몬스터등의소셜공동구매사이트가큰인기
6 2 사건의징후와전개과정감지 검색엔진이제공하는통계와소셜미디어에노출되는메시지등을이용해중요한사건에대한징후와경과를파악 - 매스미디어를통해공론화되지못한정보라도검색엔진의검색 질의기록의형태로남아있거나소셜미디어를통해여론화되는경우빈번 - 기업에대한검색통계와소셜미디어에서의언급빈도등을모니터링하여종래고객소통에서감지할수없었던정보를획득하는것도가능ㆍ실시간검색어순위등의기초정보를비롯해최근에는여러검색엔진들이검색통계, 웹로그분석등의서비스를제공ㆍ소셜미디어에올라오는관련정보를실시간으로수집하는버즈모니터링 (Buzz monitoring) 방법도활발히이용 독감유행정보를감지하는검색엔진 기존에는특정국가나지역을담당하는보건기구가의료기관이보고하는정보를이용하여독감감시체계를운영 구글이검색통계로추정한독감유행지수변화 ( 上 ) 와미국각주별현황 ( 下 ) 구글은독감증상이있는사람들이늘어나면관련된주제를검색하는빈도도함께늘어난다는사실을발견하고, 시간 / 지역별검색기반독감유행정보를 Google.org를통해제공 주단위로갱신되는보건당국의발표와달리구글의독감유행정보는매일갱신되므로독감유행징후를빠르게감지하고대응책을마련하는데유용한보완정보로기능 자료 : Google Flu Trends <http://www.google.org/ flutrends/us/> ( 자료 : Ginsberg, J., et al. (2009). Detecting influenza epidemics using search engine query data. Nature, 457, 1012-1014.)
7 3 경영자의직관을보완하여효과적의사결정촉진 의사결정과정에투영되는경영자의직관을데이터를이용해객관적으로검증함으로써의사결정의정확성을제고 - 복잡하고불확실한환경, 지나치게많거나적은정보가야기하는혼란속에서경영자는많은의사결정을직관에의지 9) ㆍ오랜경험에의해다듬어진경영자의직관적의사결정은모호한데이터에기반한의사결정보다신속하고우수한성과를보이는경우가많으나독선의함정에빠질위험도존재ㆍ과거의경험을절대시하여변화하는환경을감지하지못하는것이많은경영자의실패원인 - 빅데이터로뒷받침되는비즈니스분석은경영자의직관을보다엄격하고합리적인수준에서검증ㆍ다양한분석기법을이용해도출한모형의결과와경영자의직관적판단결과를비교하면서양자의약점을보완가능빅데이터와인공지능기법의결합 인간이많은경험과학습을통해통찰력을다듬듯이, 많은데이터를이용해컴퓨터모형의판단능력을강화시키는다양한인공지능기법들이발전 인공신경망 (neural network) 기법은인간두뇌에서신경세포 ( 뉴런 ) 들이학습을반복하면서결합강도를조정하여문제해결능력을획득하는과정을이용 다중지성 (swarm intelligence) 기법은개미, 꿀벌등지능이낮은개체들이상호소통하면서집단적으로고도의문제를해결하는과정을응용 ( 자료 : North, M. & Macal, C. (2007). Managing Business Complexity. New York, NY: Oxford University Press.) 9) 액센추어가실시한미국기업대상설문조사에서주요의사결정의약 40% 가직관에의해이뤄지는것으로판명 (Accenture (2008. 12. 11.). Most U.S. Companies Say Business Analytics Still Future Goal, Not Present Reality. News Releases. <http://newsroom.accenture.com/article_ display.cfm?article_id=4777>)
8 4 전략실행효과의최적화 빅데이터의수집및분석을체계화하여현황파악에걸리는시간을 단축하고전략실행효과의예측모형과시나리오를도출 - 빅데이터에서관찰되는다양한요인이성과에미치는영향을파악하고, 이들요인을변화시켜가며여러시나리오와기대성과를보다신속하게계산가능ㆍ일기예보, 교통정보, 판매정보, 인기뉴스와같은다양한데이터를조합하여실시간수요예측모형을구축하는것이일례 - 시나리오별성과를비교하여각각의장단점을분석하고전략적목표에 가장부합하는최적의대안을실행 일본의트위터활용효과분석확산 기존의시장조사와효과분석활동은많은인력과비용투자에도불구하고결과도출에비교적긴시간이소요 트위터에서는기업활동이대상소비자에미치는 1차적인영향과다른소비자들이이를 2차적으로확산시키는효과를빠르고폭넓게파악가능 트위터가인기를끌고있는일본에서는트위터에서의반응을성과지표로활용하여 1일단위로광고슬로건이나매장문안을변경하는사례가점차증가 NEC 빅로브 (Biglobe) 가조사한자료에의하면트위터를업무에활용하는기업가운데관련데이터를분석하여효과를측정한기업은전체의 0.9% 에불과하지만 40% 가결과에만족하고 80% 가재이용희망 ( 자료 : " 企業ツイッターにおける 効果測定の重要性."(2010. 10. 26.). RBB Today. <http://www.rbbtoday.com/article/2010/10/26/71528.html>)
9 5 소비자와공동가치창출 소비자가소셜미디어와검색활동, 제품사용을통해유발한정보를 기업경영활동에반영함으로써새로운가치창출의접점으로활용 - 기존에는쉽게감지되지않던관련정보를체계적으로수집하고반영하는 행동이가시화되면리스크를최소화하고기업평판을점진적으로 개선하는것이가능 - 기업의고위경영진이직접소셜미디어등을활용하여소통채널을운영하고이를반영하는것은긍정적측면도있지만위험도상당ㆍ소프트뱅크의손정의회장은직접트위터의의견을수렴하고반영결과를공개하는 ' やりましょう( 합시다 ) 진척상황' 페이지 10) 를운영하고있으나, 리더십특성이다른기업은모방하기곤란 기업에유용한지식과활동상을가진소비자들을발견하여보다적극적으로 활동하고커뮤니티를만들어갈수있도록지원 - 빅데이터분석결과는기업과고객의관계뿐아니라, 궁극적으로는고객과고객의관계형성을촉진하는데활용할필요ㆍ쌍방향 (two-way) 소통을넘어다방향 (multi-way) 소통을유발하고지속적인빅데이터분석을통해성과를관리 3. 시사점 기업과관련된빅데이터가잠재가치가높은자산임을인식하고, 이를 체계적으로수집하는활동을시작 10) SoftBank やりましょう 進捗状況 <http://do.softbank.jp>
10 - 빅데이터의활용가치를인지한글로벌선진기업들은다양한데이터유통환경발전을모색ㆍMS, 인포침스 (InfoChimps) 등은각기업이확보한데이터와데이터분석방안을공모및거래할수있는온라인마켓플레이스를활성화 11) - 서비스업은물론제조업에서도체계적인빅데이터수집및분석은 비용절감과고객만족제고를위한중요한기반 볼보의빅데이터활용 최근의자동차는전자기술이집약되어정교한운전제어를위한많은센서와 CPU가내장되어있음 볼보는소비자의자동차운전과정에서수집된데이터를본사의분석시스템에자동전송하도록하여빅데이터를축적하고, 이를이용해제품개발단계에서알기어려운다양한결함과소비자의잠재니즈를파악하여빠르게대응 종래에는 50만대의차가팔린뒤에나제기되었을결함을이제는 1,000대의판매시점에서포착하여사후관리비용이크게경감 ( 자료 : I-CIO (2011. 1. 24.). Converting Data into Business Value at Volvo. <http://www.i-cio.com/case-studies/volvo-big-data>) 빅데이터분석에필요한종합적인역량을배양하는데주력 - 미래 IT 환경의끊임없는진화와새로운비즈니스모델의출현은앞으로도 다양한매체에서폭발적인데이터증가추세가지속될것임을예고 - 경영지식및경험에기반한통찰력과수리적인분석력이고루조화를이루는인재와분석팀을기업내부에체계적으로육성 - 以上 - 11) MS Windows Azure Marketplace <http://www.microsoft.com/windowsazure/marketplace/>; Infochimps <http://infochimps.com/>