< D C3D6BDC5B9FDB7C9C1A4BAB82E687770>

Size: px

Start display at page:

Download "< D C3D6BDC5B9FDB7C9C1A4BAB82E687770>"

태우 범
5 years ago
Views:

논단 Big Data 가열어가는 Business 외미래 빅데이터란? 지난 10 년동안가장주목받았던인터넷기업중하나로구글 (Google) 을꼽는것에크게 이의를제기하는사람은많지않을것이다.

빅데이터는 Very Large Databases, Extremely Large Databases, Extreme Data Total Data 등으로불리기도하며, 일반적인데이터베이스소프트웨어가저장.

규모는앞에서이야기한것처럼전통적기술로다룰수있는규모를넘는크기를말하고복잡성은숫자중심의정형적데이터뿐아니라 SNS에서유통되는텍스트정보와같은비정형데이터, 나아가 M2M 등에서발생하는센서데이터까지묶어분석하는데서발생하는어려움을지칭하며,

1 논단 Big Data 가열어가는 Business 외미래 빅데이터란? 지난 10 년동안가장주목받았던인터넷기업중하나로구글 (Google) 을꼽는것에크게 이의를제기하는사람은많지않을것이다. 그만큼구글의성장은많은인터넷기업들에게 이성춘연구위원 KT 경제경영연구소 희망을불어넣어주는신화와같은위상을점하고있다. 그렇다면구글의성장비결은어디에있을까? 많은기업전문가, 시장애널리스트들이제시하는구글의성장기반중하나는 빅데이터 (Big Data) 역량이다. 빅데이터는 Very Large Databases, Extremely Large Databases, Extreme Data Total Data 등으로불리기도하며, 일반적인데이터베이스소프트웨어가저장. 관리 분석할수있는범위를초과하는규모의데이터 라고정의되기도한다. 빅데이터가기존의데이터세트와구별되는점은그규모와복잡성, 실시간성이라고할수있다. 규모는앞에서이야기한것처럼전통적기술로다룰수있는규모를넘는크기를말하고복잡성은숫자중심의정형적데이터뿐아니라 SNS에서유통되는텍스트정보와같은비정형데이터, 나아가 M2M 등에서발생하는센서데이터까지묶어분석하는데서발생하는어려움을지칭하며, 실시간성은데이터의분석처리뿐아니라분석결과의적용까지모두실시간중심으로이루어지는점을강조한것이다. 이러한빅데이터는클라우드컴퓨팅과결합하여 BI(Business Intelligence) 에새로운에너지를제공하며비즈니스지형뿐아니라정부의공공서비스, 나아가일반인의일상적소비방식까지갈미래의변화핵심적추동요인으로급부상하고있다. 빅데이터는그안에경제적으로매우큰가치를가진 정보 를내장하고있으며, 그정보를추출하여사업화하는역량을보유한구글, 아마존, 넷플릭스등에게전례가없을만큼빠른성장기회를제공하고있다. 32 상장 월호

빅데이터에숨겨진 정보 를추출하여제품개발, 마케팅및제품사후관리에활용하려는기업들의움직임이활발해지면서기존의비즈니스관행에일대혁신이일어나고있으며클라우드컴퓨팅이가시화되면서빅데이터서비스를전문적으로제공하는업체들도우후죽순처럼나타나고있다. 바야흐로빅데이터가제반경제활동의근간을구성하는새로운혁신의시대가도래하고있는것이다. 빅데이터출현배경빅데이터는어디에서어떻게만들어지고있는것일까?

월스트리트저널이미국상위 50대사이트를대상으로쿠키, 비콘 (Beacons) 등방문객들의컴퓨터에인스톨된트래커의수와추적능력 (CapaMity) 을조사한결과에 ᅵ 따르면 50대사이트가 3,180 개의트래킹파일을컴퓨터에인스톨하고평균 64개파일을설치하여사용자정보를취득하고있는것으로나타났다. 둘째, 멀티미디어콘텐츠와콘텐츠사용에관한정보의증가이다.

2 빅데이터에숨겨진 정보 를추출하여제품개발, 마케팅및제품사후관리에활용하려는기업들의움직임이활발해지면서기존의비즈니스관행에일대혁신이일어나고있으며클라우드컴퓨팅이가시화되면서빅데이터서비스를전문적으로제공하는업체들도우후죽순처럼나타나고있다. 바야흐로빅데이터가제반경제활동의근간을구성하는새로운혁신의시대가도래하고있는것이다. 빅데이터출현배경빅데이터는어디에서어떻게만들어지고있는것일까? 그에대한답은다음네가지로요약해볼수있다. 첫째, 기업들의고객데이터트래킹및수집행위의증가이다. 기업들은온 오프라인모두에서사용자. 소비자의행동방식에대한정보를집요하게수집하고있다. 영국의유통업체인테스코 (Tesco) 는매달 15 억건이상의고객데이터를수집하고있다. 온라인기업들은고객정보취득에더욱적극적이다. 월스트리트저널이미국상위 50대사이트를대상으로쿠키, 비콘 (Beacons) 등방문객들의컴퓨터에인스톨된트래커의수와추적능력 (CapaMity) 을조사한결과에 ᅵ 따르면 50대사이트가 3,180 개의트래킹파일을컴퓨터에인스톨하고평균 64개파일을설치하여사용자정보를취득하고있는것으로나타났다. 둘째, 멀티미디어콘텐츠와콘텐츠사용에관한정보의증가이다. CT 스캔,CC 카메라등다양한부분에서대용량멀티미디어콘덴츠가생산증가하고있고, 고화질동영상은이미인터넷전체트래픽의 50% 이상을차지하고있으며 2013 년에는 70% 로증가할전망이다. 나아가오리지널콘텐츠뿐아니라사용자정보나사용자의선호도같은콘덴츠소비에관한정보도대량생산되고있다. 셋째,SNS 의급격한확산과비정형데이터의폭증이다. SNS는스마트폰의확산과더불어젊은층에서중장년층으로까지빠르게확산되고있다. Facebook에서만매월이용 자당평균 90개이상의콘덴츠가업로드되고,300 억개의콘덴츠가공유되며 YouTube에서는 1분마다 24시간분량의비디오가업로드된다. SNS에서유통되는정보는숫자로되어있지않은비정형데이터로서이의처리를위해서는추가적인데이터처리가필요하여데이터의복잡성을증가시킨다. 넷째,M2M 의확산에따른센서의저변확대를들수있다. 현재약 3천만개이상의사물인터넷센서가설치되어있고이는향후 5년동안연평균 35% 씩증가할것으로전망된다. 환자의상태를체크하기위한원격헬스모니터링센서,RFID 를이용한소매업, 스마트미터기술을활용한유틸리티사업에서도데이터발생량이급증할것으로전망되고있다. 이렇게온 오프라인에서기업들이취득한사용자정보, SNS에서발생하는복잡한비정형데이터,M2M 의확산에따른센서정보, 대용량고품질콘덴츠등이빅데이터현상을빠르게확산시키고있다. 빅데이터의중요성앞에서살펴본것처럼도처에서생산되고축적된거대한데이터양이마침내양질전환을일으키는임계 (C ritical Mass) 점에도달했다는것이 IDC,Gartner,McKinsey 와같은전문분석기관들의공통적인평가이다. 미국의경우거의모든기업이 100 terrabyte 이상의정보를보유중이며, 상당수는 1 petabyte 이상을보유하고있다. 이제중요한것은 누가먼저거대데이터에내장된가치를추출해내느냐가되었고, 이것이향후기업의성패를좌우하는시대로들어서고있는것이다. 빅데이터가만들어내는양질전환의마술을보여주는대표적사례로는구글의?! 동번역프로그램개발프로젝트를들수있다. 빅데이터의가치를평가하기해서는먼저 IBM 의실패사례를살펴볼필요가있다. IBM은 1990 년대초 한국상장회사협의회 33

논단 Big Data 가열어가는 Business 의미래 새로운방식의자동번역시스템개발에착수한다. 기존의번 역시스템은컴퓨터에게명사와동사같은언어의구조와 문법을이해하는시스템을개발하는것이일반적인접근법 성능을발휘하는성공적프로젝트가되었다. 애플의앱스토 어 (App Store) 에올라와있는구글의자동번역앱은음성까 지지원한다.

기업들은빅데이터를투입요소로활 용하여소비자행동과시장변동예즉을통하여 Business 약 10 여년뒤구글은동일한방법으로 동번역시스템을 Model 을혁신할수있으며, 원가절감 제품차별화 투명 개발하는프로젝트에착수한다. 달라진것은데이터베이스의규모였다.

3 논단 Big Data 가열어가는 Business 의미래 새로운방식의자동번역시스템개발에착수한다. 기존의번 역시스템은컴퓨터에게명사와동사같은언어의구조와 문법을이해하는시스템을개발하는것이일반적인접근법 성능을발휘하는성공적프로젝트가되었다. 애플의앱스토 어 (App Store) 에올라와있는구글의자동번역앱은음성까 지지원한다. 이었지만,IBM 은전문가들이번역한문건을데이터베이스 화한다음비슷한문장과어구를대응시키는통계적기법을 빅데이터의경제적활용성 활용하는접근법을취한다. 이를위해 IBM 은캐나다의회 에보관중이던수백만건 의문서를활용하여영어 - 불어 자동번역시스템을개발한다. 그러나 IBM 의번역시스템 프로젝트는실패로끝을맺게된다. 빅데이터는산업혁명에서석탄과철이했던역할을수행 할것으로기대된다. 기업들은빅데이터를투입요소로활 용하여소비자행동과시장변동예즉을통하여 Business 약 10 여년뒤구글은동일한방법으로 동번역시스템을 Model 을혁신할수있으며, 원가절감 제품차별화 투명 개발하는프로젝트에착수한다. 달라진것은데이터베이스의규모였다. IBM과달리구글은 20여개언어로번역된 EC의문건을데이터베이스화하고자체적으로수행하고있었던수천만권분량의책디지털화작업의내용을데이터베이스에추가한다. 이렇게데이터베이스의양이수백만건 의참조에서 수억건 규모의참조로증가하자구글의자동번역시스템은일상적목적으로사용하기에 충분한 성증가를통하여경쟁력을강화할수있고, 나아가산업분문전반의생산성을향상시켜 GDP 증가에기여할수있다. 빅데이터를활용하여 Business Model을혁신한사례로는 2008년네델란드에서창업한스파크드 (Sparked) 를들수있다. 이회사는소에센서를부착해소에대한정보를실시간으로수집한다. 이렇게축적된연간약 200MB의정보를이용하여축산업자가소에대한움직임, 건강등을수 < 의료부분에서발생하는빅데이터의가치 > 의료산업분야와개선방법예시 R&D Big Data 는통계활용, 모델링을가능하게하여 $250 억비용감소와 $1,000 억으 1 산업효과유발 임상분야 의료기관별진료방법, 효능, 비용데이터를분석하여보다효과적인진료방법을파악 165 가격 / 회계 투약효능을기록한데이터에근거, 가격결정 환자는고비용저효능약물구매리스트감소 New BM 환자데이터의온라인플랫폼화 - 의료협회간데이터공유로치료효과제고 직접적효과 부수적효과 9 공중보건 전국의의료데이터暑연계하여전염병발생과같은긴박한순간에빠른의사결정 5 합계 : 자료 : Mckinsey( ) 34 상장 20Ί Ί. Ί2 월호

특히, L i & Fung 사의경우 40개국 12,000여공급자와해외의류브랜드를실시간 IT 시스템을구축해중개함으로써프로세스효율성을개선하고있으며클라이언트가주문, 생산, 선적전과정을실시간으로모니터링하면서발생 7) 능한리스크를최소화할수있도록도와준다. 생산성향상을위해빅데이터가활용되어야할분야로서가장많이언급되는것이의료산업이다.

4 시로확인가능케해주며기후변화등외부빅데이터와결합하여소의사육밀도를높여더많은소를건강하게키울수있도록지원한다. 나아가이러한시스템덕분에축산업자들은소한마리당세계최고수준의우유생산량을기록하고있다. 빅데이터를활용한경쟁력강화의사례로는월마트 (Walmart) 의실시간재고분석시스템 Retail Link와 Li & Fung 사의실시간관리시스템 SRM(Supplier R elationship Management) 을들수있다. 이두회사는내부의빅데이터분석결과를외부협력업체에공개하여공급사슬망의효율적관리를도모한다. 특히, L i & Fung 사의경우 40개국 12,000여공급자와해외의류브랜드를실시간 IT 시스템을구축해중개함으로써프로세스효율성을개선하고있으며클라이언트가주문, 생산, 선적전과정을실시간으로모니터링하면서발생 7) 능한리스크를최소화할수있도록도와준다. 생산성향상을위해빅데이터가활용되어야할분야로서가장많이언급되는것이의료산업이다. 매킨지보고서 (2011) 에따르면미국의의료부문에빅데이터가활용될경우직간접적비용개선효과가약 $ 3,300억에이를것으로추정된다. 이는미국정부의총의료예산의 8% 에해당하는 ^모이다. 직접적빅데이터활용효과는임상분야에서가장크게발생하는데그효과는약 $ 1,650억에이르며간접적효과는 R&D 분야에서가장크게발생하는데그효과가 $ 820 억에이르고의료계전체에서는약 $1,000억정도가발생하는것으로보고되고있다. 빅데이터활용에필요한 3대요소빅데이터의활용을위해서는데이터수집부터분석, 적용에이르는전과정에걸쳐다양한인프라와역량이필요하다. 데이터의규모와복잡성, 실시간분석속도가기업의 경쟁력에결정적차이를유발한다는점에서빅데이터의활용에서는클라우드컴퓨팅과네트워크환경, 그리고실시간활용성을 3대핵심요소로볼수있다. 먼저빅데이터는그규모가기존의분석도구로처리가어려울만큼크기때문에클라우드기술이대거활용된다. 회귀분석이나시뮬레이션, 클러스터분석같은것도 Big table이나 MapReduce,Hadoop,Hbase 와같은클라우드기술을적용하여데이터를분석, 처리해야만한다. 빅데이터의저장, 보관, 처리속도와관련된비용은기업들에게새로운과제를던져주고있는데클라우드컴퓨팅은기존의 IT 환경에비해신속성과유연성, 규모의경제를제공한다. 예를들어 Hadoop 기술은분산소프트웨어플랫폼으로서대량데이터처리어플리케이션제작을지원한다. 거대한데이터베이스를페타바이트단위로저장하며컴퓨터클러스터간데이터분산및처리를가능하게하고데이터를보관노드에서병렬처리함으로써고속처리도 7가능하게해준다. 나아가대용량데이터를 7자동백업하며복원및 7자동배치도수행한다. 둘째, 클라우드컴퓨팅기술을이용한실시간분석결과의즉각적인집행을위해서는네트워크인프라구축도중요해진다. 기존의유무선네트워크및주파수인프라관리또한복잡다난한빅데이터의수집, 분석, 적용에맞도록재정립할필요성이증가한다. 이와같은맥락에서미국의대통령과학기술자문위원회가 2010 년 12 월에오바마대통령에게디지털미래의디자인 (Designing a D igital Future) 이라는보고서를통해미연방정부기관들에게빅데이터전략이필요하다는요지의보고서를제출한바있다. 셋째, 실시간활용성은모바일라이프의확산과도밀접히연계되어있다. 사용자의위치정보가실시간으로모니터링되고스마트폰을사용한 SNS가활성화되면서위치정보와사용자의선호를반영한마케팅이실시간으로집행될수있는환경이이미조성되어있다. 특정지역에서특정시간대 한국상장회사협의회 35

논단 Big Data 가열어는 Business 의미래 에발생하는소비자의수요를충족시킬수있는능력이바 로실시간성이며이러한역량이기업비즈니스의성패를좌 우하는시대가도래하고있는것이다. 공사는엑시엄의 DBS} 개인정보를맞춰보고탑승자가누 구이고무엇을좋아하는지를파악한후최적의맞춤형광고 를내보내는것이다.

구글은검색관련매출이전체매출의 95% 를차지하는기업이지만광고효과에대한이론이나운용경험도전무한회사였다. 그런데구글은블로그의키워드와게재광고를매칭시키는 AdSense를통하여전체매출의 30% 를올리고있다. 키워드와게재광고간의클릭률상관관계는처음에는클릭률이낮지만데이터가쌓이면서점점더정교해지고결과적으로클릭률이높아지게된다.

이렇게추천을통한추가구매가아마존매출을 30% 를차지하고있다. 빅데이터의마케팅측면의활용성은개인별맞춤화라고할수있다. 미국의사우스웨스트 (Southwest) 항공사는 Axiom이라는회사와협력하여특별한기내광고를제공한다. 즉, 모든손님이좌석앞자리에부착된모니터를통하여광고에노출되는데모니터마다재생되는광고가다르다.

5 논단 Big Data 가열어는 Business 의미래 에발생하는소비자의수요를충족시킬수있는능력이바 로실시간성이며이러한역량이기업비즈니스의성패를좌 우하는시대가도래하고있는것이다. 공사는엑시엄의 DBS} 개인정보를맞춰보고탑승자가누 구이고무엇을좋아하는지를파악한후최적의맞춤형광고 를내보내는것이다. 빅데이터가가져올비즈니스변화 비즈니스방식의변화 빅데이터는비즈니스영역에새로운사업방식들을도입하며변화를초래할것으로보인다. 데이터에서추출한상관관계만으로도하나의산업계를평정할수도있으며프로그래밍된의사결정방식과방대한정보를기반으로하는개인맞춤형서비스7가일반화될것으로보인다. 나아가기업의상품개발, 마케팅, 사후관리방식도크게변할것이다. 구글은검색관련매출이전체매출의 95% 를차지하는기업이지만광고효과에대한이론이나운용경험도전무한회사였다. 그런데구글은블로그의키워드와게재광고를매칭시키는 AdSense를통하여전체매출의 30% 를올리고있다. 키워드와게재광고간의클릭률상관관계는처음에는클릭률이낮지만데이터가쌓이면서점점더정교해지고결과적으로클릭률이높아지게된다. 단순한상관관계도데이터규모가커지면엄청난파괴력을갖게됨을보여주는사례라고할수있다. 빅데이터를실시간으로다루어비즈니스에적용하기위해서는기계적인의사결정이필수적인요소로부상한다. 이러한의사결정문제를해결해주는것이바로알고리즘이다. 아마존역시추천알고리즘으로유명한회사이다. 특정책이나제품을구입하면동일한제품을구입한사람들이어떤물건을추가로구매했는지를보여준다. 이렇게추천을통한추가구매가아마존매출을 30% 를차지하고있다. 빅데이터의마케팅측면의활용성은개인별맞춤화라고할수있다. 미국의사우스웨스트 (Southwest) 항공사는 Axiom이라는회사와협력하여특별한기내광고를제공한다. 즉, 모든손님이좌석앞자리에부착된모니터를통하여광고에노출되는데모니터마다재생되는광고가다르다. 항 빅데이터가클라우드컴퓨팅과결합하면그자체만으로도비즈니스패러다임을바꿀수있는중요한도구가된다. 인터넷게시판과페이스북, 트위터등과같은소셜네트워크에떠다니는의견 정보와사용자들을활용하면상품의개발과정부터크라우드소싱을통하여다양한집단의다양한아이디어를제품개발에반영할수있는 분산형공동개발 (Distributed Co- creation) 이가능하게된다. 제품의마케팅과사후관리에도 SNS를적극활용할수있다. 모바일기기의확산에따라폭발적으로증가하고있는 SNS에는고객의행동패턴, 고객경험을파악하게해주는상황인지 (Context Awareness), 사용자의감정까지반영된정보가담겨져있다. 이러한SNS의비정형데이터를분석하기위해서텍스트마이닝 (Text Mining), 소셜네트워크분석, 군집분석등이더욱정교해지고있으며이를전문으로하는기업들도속출하고있다. 우리나라에서도 Daumsoft가 SOCIALmetrics라는서비스를이미제공하고있다. 빅데이터가클라우드와결합되어나타나는현상은비단여기에서그치지않는다. 협업환경이글로벌단위로확대되며조직자체가네트워크형태로진화해가게될것이다. 나아가비즈니스의성격도크게변화하게된다. 제례미리프킨 (Jeremy Rifkin) 이그의저서 소유의종말 (The Age of Access) 에서묘사한것처럼전세계소비자가클라우드에접속하여거래가이루어지고이데이터를실시간으로처리하여각각의소비자에게최적화된프로모션이다시제시되는비즈니스가일반화되게될것이다. 모든소비자가동시에소비하지만모두다른소비경험을하는시대가도래하게되는것이다. 36 상장 월호

빅데이터시대의고제빅데이터가경제전반과정부의공공서비스, 개인의소비행태에게까지폭넓게영향력을넓혀가는것이거스를수없는흐름이되고있다는점에서미래비즈니스환경변화를전망해보는것은기업의미래대응전략수립이라는측면에서중요한의미를갖는다.

네트워크측면에서는현재인터넷외에도센서들로연결된사물통신망의확산이필요하며클라우드컴퓨팅이보편화되어대규모의정보가클라우드에집적되어용이한접근과분석이 7가능해져야하며,SNS 와같은소비자의감정까지포함된데이터가더욱더많이제공되어야한다.

가정착되어야진정한빅데이터인프라가구축되었다고할수있을것이다. 빅데이터가미래국가의경쟁력까지좌우한다는측면에서정부는이러한환경이구축되는데필요한정책적지원을아끼지않 아야할것이다.

구글의 CEO였던에릭슈미트 (Eric Schmidt) 는 2010 년월스트리트저널이주최한 Allthings Digital에참석하여구글이보유한정보를가지고특정개인이한시간뒤에할일을예측할수있다고말한적이있다.

6 빅데이터시대의고제빅데이터가경제전반과정부의공공서비스, 개인의소비행태에게까지폭넓게영향력을넓혀가는것이거스를수없는흐름이되고있다는점에서미래비즈니스환경변화를전망해보는것은기업의미래대응전략수립이라는측면에서중요한의미를갖는다. 빅데이터가만들어가는미래를위해서는네트워크의진화, 클라우드컴퓨팅의보편화,SNS 의확산, Data as a Service 등과같은물리적환경이구축되어야한다. 네트워크측면에서는현재인터넷외에도센서들로연결된사물통신망의확산이필요하며클라우드컴퓨팅이보편화되어대규모의정보가클라우드에집적되어용이한접근과분석이 7가능해져야하며,SNS 와같은소비자의감정까지포함된데이터가더욱더많이제공되어야한다. 그러나이러한빅데이터분석시스템을분석하여실제비즈니스에적용할수있는경제적자원을가진기업은많지않기때문에데이터수집과분석을전문으로해주는전문기업이다수출현해야하며이러한기업들이빅데이터서비스를사용량에따라과금하는구조 (Data as a Service) 가정착되어야진정한빅데이터인프라가구축되었다고할수있을것이다. 빅데이터가미래국가의경쟁력까지좌우한다는측면에서정부는이러한환경이구축되는데필요한정책적지원을아끼지않 아야할것이다. 빅데이터활용이일반화된미래의모습은다양한혜택을소비자에게제공할것으로보이지만긍정적효과만발생하는것은아니다. 무엇보다개인정보의과도한남용 이불러올수있는부정적측면은반드시정부의역할이필요한부분이다. 구글의 CEO였던에릭슈미트 (Eric Schmidt) 는 2010 년월스트리트저널이주최한 Allthings Digital에참석하여구글이보유한정보를가지고특정개인이한시간뒤에할일을예측할수있다고말한적이있다. 그리고사진 16 장만있으면그사진의인물이누구인지식별이 7) 능하다고하였다. 페이스북사용자한사람이평균 135 장의사진을보유하고있다는점을상기하면페이스북과구글의정보를결합하면길을걷고있는당신이한시간뒤에무슨일을할지구글이예측할수있다는말이된다. 동일한맥락에서 IBM 의연구원인제프조나스역시기업들이보유한빅데이터를활용하면특정인물이다음주목요일오후 5시 35 분에어디에위치해있을지를 87% 의정확도로예측할수있다고주장한바있다. 따라서, 개인정보의활용이주는혜택과폐해사이의가장적절한균형점에서프라이버시가보호될수있도록시급히정부가가이드라인을제시해주어야사생활침해에서발생할폐해를사전에방지할수있을것이다. 0 한국상장회사협의회 3

Cover Story 01 20 Oracle Big Data Vision 01_Big Data의 배경 02_Big Data의 정의 03_Big Data의 활용 방안 04_Big Data의 가치

Oracle Big Data 오라클 빅 데이터 이야기 Cover Story 01 20 Oracle Big Data Vision 01_Big Data의 배경 02_Big Data의 정의 03_Big Data의 활용 방안 04_Big Data의 가치 최근 빅 데이터에 대한 관심이 커지고 있는데, 그 배경이 무엇일까요? 정말 다양한 소스로부터 엄청난 데이터들이 쏟아져