제 25 권 13호 통권 558호 빅데이터 산업 생태계 분석 동향 7) 김 사 혁 * 1. 개 요 ICT 분야에서 생태계 이론의 도입은 비즈니스 생태계(business ecosystem)의 개념 을 접목시킨 디지털 생태계(digital ecosystem)의 논의에서 출발하였다. ICT 산업 전 반의 디지털 컨버전스의 확산은 기업의 사회적 관계를 확대하고, 복잡성을 증대시킨 다. 이는 산업 경영 리스크의 증대를 가져오고, 이에 따라 경영환경 및 기업의 생존조 건에 대한 근본적인 재인식이 요구된다. 이러한 맥락에서 디지털 생태계 이론이 등장 하게 되었다. 디지털 생태계 개념은 가치창출 개념의 변화를 반영하고 있다. 고객은 공동창조자 (co-creator)와 프로슈머(prosumer)로, 가치사슬(value chain)은 가치 네트워크(value network)로, 제품가치(product value)는 네트워크 가치(network value)로, 단순 협 력 및 경쟁은 복잡한 협력적 경쟁(co-opetition)과 공진화(co-evolution)로, 개별 기업 전략은 전체적인 가치 생태계(value ecology)를 고려한 전략으로의 변화를 의 미한다. 디지털 생태계 개념은 네트워크/웹(network/web) 형태의 관계를 강조하고, 정적 * 정보통신정책연구원 미래융합연구실 부연구위원, (02)570-4418, kimsh@kisdi.re.kr 77
선형 관점이 아닌 종합적인 동태적 시각(holistic dynamic view)을 제공한다. 가치 가 제품에만 내재된 것이 아니라 전체 네트워크 가치가 중요함을 주장하며, 환경적 변수를 포괄하고 진화의 개념을 내포하고 있다. 이는 과거 이론으로는 설명이 불가 능했던 공진화, 협력적 경쟁과 같은 새로운 현상을 반영하고 있어 더욱 주목을 받고 있다. 본고에서는 이러한 디지털 생태계의 개념을 기초로 하여 최근 주목을 받고 있는 빅 데이터 분야의 생태계에 대한 연구 동향을 살펴본다. 2. 빅데이터 생태계 분석 동향 (1) 빅데이터 생태계에 대한 기존 연구 빅데이터 생태계와 관련된 연구로는 2012년 1월 25일부터 29일까지 열린 세계경 제포럼(WEF)에서 발표된 빅데이터 영향: 국제 개발을 위한 새로운 가능성(Big Data, Big Impact: New Possibilities for International Development) 보고서에서 논의된 바 있다. 세계경제포럼의 빅데이터 보고서는 빅데이터를 전체 데이터 생태계 구조로 고찰하 고 공공자원으로서 빅데이터의 중요성과 활용성을 강조하고 있다. 또한 공공자원으로 서 빅데이터 활성화 안정화를 위한 정부의 촉매 역할을 기대하고 있다. 보고서는 구 체적으로 빅데이터가 공공자원으로서 활용될 수 있도록 정부 영역, 민간영역, 개인영 역의 데이터 수집 및 분석을 지원하고, 그에 앞서 혁신을 제약하지 않으면서 개인의 프라이버시 및 보안을 보호할 수 있는 균형적인 제도 개선 추진을 제안하였다. 경제개발 도구로서 빅데이터는 새로운 데이터 생태계를 구성하며, 생태계의 여러 주체들에 의해서 데이터를 생산 축적 활용한다. [그림 1]은 WEF가 새로운 데이터 생태계에서 행위 주체별 데이터 유형과 이익, 그리고 요구사항 등을 정리한 것이다. 78
빅데이터 산업 생태계 분석 동향 [그림 1] 빅데이터 생태계의 행위주체와 공공자원 자료: WEF(2012) 세계경제포럼에서는 빅데이터를 공유하기 위한 환경을 만들어 상호이익을 실현하 려면 모든 생태계 주체들이 모두 적극적이고 개방적으로 참여해야 함을 강조하였다. 정부는 개인을 보호하고 데이터 공개원칙 및 법적 프레임워크 등을 설정한다. 민간 영역은 대중이 혜택을 받을 수 있도록 데이터 공유를 위한 메커니즘을 바르게 작동시 켜야 한다. 그리고 개발기구는 데이터 사회 공헌에 대한 정부 지원과 공익 및 비즈니 스 가치가 원활하게 공유될 수 있도록 환경을 조성한다. WEF는 데이터 생태계의 공공자원을 활용하기 위해서는 몇 가지 생태계 요건들이 마련되어 있어야 한다고 주장했다. 즉 협력적인 데이터 공유를 위해서는 먼저 개인에 의해 생산되는 데이터에 대한 합법적인 활용 방안을 모색해야 한다. 이러한 내용으로 는 프라이버시와 보안, 데이터 개인화, 데이터 공유에 대한 보상, 인적 자원 확보 이슈 가 있다. 국내의 경우 빅데이터를 생태계 차원에서 연구한 보고서로는 한국정보화진흥원의 빅데이터 시대: 에코시스템을 둘러싼 시장경쟁과 전략분석(2002) 자료가 대표적이 다. 보고서는 빅데이터를 구성하고 있는 인프라, 소프트웨어, 분석 툴 등을 중심으로 79
한 생태계가 전개되면서, 생태계의 의미, 다양한 서비스 종류 및 서비스 조합 방식을 이해하는 것이 중요하다고 주장하였다. 특히 빅데이터와 관련된 비즈니스를 이해하 고, 공공분야 내부에 빅데이터를 활용하고자 하는 경우 생태계 전체 프로세스를 포괄 적으로 이해하는 것이 필요하다고 주장하였다. [그림 2] 빅데이터 에코시스템의 개요(한국정보화진흥원) 자료: 한국정보화진흥원(2012) 한국정보화진흥원의 빅데이터 생태계에 대한 논의를 정리하면 다음과 같다. 빅데이 터 에코시스템은 크게 서비스 공급자, 빅데이터 사용자, 애플리케이션 공급자로 구성 된다. 빅데이터 에코시스템은 단순히 데이터의 수집, 생성, 분석, 가공, 활용하는 것으 로 이야기하는 것에서 탈피할 필요가 있다. 스마트폰과 클라우드 시장에서 경험한 것 처럼 시스템 자체만으로 전체 에코시스템을 설명할 수 없으며, 각각을 둘러싼 플랫폼, 소프트웨어 등으로 확대해야 시장을 이해할 수 있다. 즉 빅데이터 서비스를 제공하고, 제공받고, 이를 연결하는 주체들 간의 상호작용으로 확대해 에코시스템 주체들 간의 전략과 전체 빅데이터 시장에 대한 흐름을 살펴볼 필요가 있다. 빅데이터를 구성하는 많은 요소들이 있으나, 서비스 공급자, 사용자, 이를 연결하는 애플리케이션 공급자로 구분이 가능하다. 빅데이터 서비스 공급자들이 제공하는 하드웨어/소프트웨어, 그리 80
빅데이터 산업 생태계 분석 동향 고 다양한 플랫폼을 통해 서비스가 제공되며, 이러한 서비스는 애플리케이션을 통해 가치와 활용성이 순환된다. 다만 세계경제포럼과 한국정보화진흥원의 연구는 빅데이터 행위주체의 역할에 중 점을 맞추어 논의를 진행한 개념적인 것으로 시장이나 산업을 직접 분석한 연구는 아 니다. 본고에서는 이를 보완하기 위해 시장 중심의 생태계 동향을 파악해 본다. (2) 빅데이터 산업 생태계 빅데이터 시장 또는 산업과 관련된 생태계 구조에 대해서는 최근 몇 가지 연구와 분석이 제시되고 있다. 본고에서는 빅데이터 산업 생태계를 분석한 Dave Feinleib (2012), Matt Turck & ShivonZilis(2013), Vitria(2012), Sqrrl(2013)의 연구를 공개 하고 이를 분류하여 공통점을 비교해 본다. Dave Feinleib(2012)는 빅데이터와 관련된 글로벌 시장의 모습을 [그림 3]과 같이 요약하였다. 그는 [그림 3]에서 기업, 제품 또는 서비스, 기술들로 구성된 빅데이터 시장과 생태계를 조망하였으며, 11개의 시장 분류를 제시하였다. [그림 3] 빅데이터 시장과 생태계의 모습(Dave Feinleib) 81
시장 분류 대표 기업 및 서비스 1 Technologies Hadoop, Hadoop mapreduce, HBASE, Cassandra 2 Analytics Infrastructure Hortonworks, EMC, clouera, NETEZZA 3 Operational Infrastructure TERADATA, HADAPT, Couchbase, Informatica 4 Infrastructure As A Service Amazon, Windows Azure, Google BigQuery 5 Structured Databases Oracle, SQL Server, MYSQL, IBM, Sybase 6 Data As A Service kaggle, factual, GTNIP, INRIX 7 Log Data Apps splunk, looggly, sumologic 8 Vertical Apps bloomreach, MYRRIX 9 Ad/Media Apps Media Science, TURA, collective 10 Business Intelligence Oracle, IBM, Microsoft, SAP, Cognos 11 Analytics and Visualization TERADATA, SAS, Palantir, Opera 자료: Dave Feinleib(2012) 또 다른 분석으로는 Matt Turck & ShivonZilis(2013)의 빅데이터 생태계 관련 지 형도가 존재한다. 본 지형도는 인프라(Infrastructure), 분석(Analytics), 애플리케이션 [그림 4] 빅데이터 생태계 지형도(Matt Turck & ShivonZilis) 82
빅데이터 산업 생태계 분석 동향 (Application), 데이터 원천(Data Sources), Cross Infrastructure/Analytics, 오픈소스 프로젝트(Open Source Projects)로 산업 및 시장을 구분하고 대표적인 기업과 제품, 서비스를 제시하였다. 한편 엔터프라이즈 애플리케이션 통합(EAI) 전문업체인 Vitria사(2012)가 조망한 빅데이터 지형도는 다음의 [그림 5]와 같다. Vitria사가 제시한 빅데이터 생태계의 모 습은 Dave Feinleib(2012)가 제시한 생태계와 매우 유사한 형태이며, Fienleib의 연구 자료를 근간으로 자사의 시각을 포함시킨 자료로 판단된다. Vitria사는 크게 빅데이터 산업 생태계를 기술(Technologies), 인프라(Infrastructure), 앱(Apps)으로 구분하였다. [그림 5] 빅데이터 생태계 지형도(Vitria) The Big Data Landscape 자료: Vitria(2012) 마지막으로 Feinleib(2012)와 유사한 형태의 분류로 Sqrrl(2013)의 빅데이터 에코 시스템 분석이 존재한다. Sqrrl은 Feinleib의 분석 자료를 토대로 자신의 시각에서 생 83
태계의 모습을 11개의 분류로 정리하였다. Sqrrl의 분류는 기술적인 면을 강조하고, 플랫폼을 구분하여 포함시키는 특성을 가지고 있다. [그림 6] 빅데이터 시장과 생태계의 모습(Sqrrl) Big Data Ecosystem 자료: Sqrrl(2013) 빅데이터의 생태계에 대한 연구 및 분석은 Feinleib의 연구 이후 최근 들어 지속적 으로 분석이 이루어지고 있다. 국내에서도 빅데이터 산업에 대한 분류체계 및 생태계 에 대한 관심이 높아지고 있는 가운데 본고에서 제시한 여러 분석을 살펴볼 때 빅데 이터 생태계 분석 모델은 크게 인프라, 소프트웨어, 서비스로 구분하는 것이 대분류 상 포괄성이 있는 것으로 판단된다. <표 1>은 빅데이터 산업 생태계를 비교 분석한 자료이다. 대분류로 묶을 때 다소 어려운 점은 시장분류 카테고리에 포함된 기업과 제품이 인프라와 소프트웨어 양쪽에 포함되는 경우도 존재하고, 소프트웨어와 서비스 양쪽에 포함되는 경우도 존재하는 등 정확한 구분에 난점이 있다. 다만 단순화를 위 해 양쪽에 포함되어 있는 경우에도 더 근접한 분류에 포함시켜 분류를 하였다. Matt Turck(2013)의 지형도는 다른 분석과 다르게 데이터 원천(data sources)이 포함되어 있어 이를 기타로 분석하였으나 실제로 데이터 제공이라는 측면에서 보면 서비스로 분류하여도 무방할 것으로 생각된다. 84
빅데이터 산업 생태계 분석 동향 <표 1> 빅데이터 산업 생태계 비교 분석 분류 Feinleib(2012) Matt Turck(2013) Vitria(2012) Sqrrl(2013) 인프라 Technologies Analytics Infra. Operational Infra. IAAS Infra. Open Source Project. Analytics Infra. Operational Infra. IAAS Hardware Cloud Providers Security Hardoop 소프트 웨어 Structured DB DAAS Log Data Apps Vertical Apps Ad/Media Apps Applications Cross Infra/ Analytics Structured DB DAAS Vertical Apps Ad/Media Apps Data Integration EDW/SQL LoSQL/NewSQL Horizontal Platforms Vertical Platforms 서비스 Business Intelligence Analytics and Visualization Analytics Business Intelligence Analytics and Visualization BI/Analytics Tools Services 기타 - Data Sources - - 3. 결 론 빅데이터 생태계 구축의 자연발생적 동인으로는 시장견인(market-pull) 동인과 기 술주도(technology-push) 동인을 들 수 있다. 시장견인 동인으로는 최근 스마트폰 등 모바일 기기의 확산, 소셜 미디어의 확장 등으로 인한 소비자 수요의 다양화 및 고도 화, 빅데이터 분석을 통한 기존 비즈니스 효율화, 개인화 그리고 미래 예측력을 통한 혁신 욕구 증대를 들 수 있다. 기술주도 동인으로는 향상된 데이터 저장 처리 능력, 분석기술을 통해 이제까지 찾아내지 못했던 방대한 규모의 데이터를 분석하는 기술 서 비스 제공이 가능해졌고, 특히 모바일 및 스마트 생태계의 진화는 이러한 융합을 가속 화하고 있다는 점을 들 수 있다. 따라서 기업들은 위의 두 가지 동인에 의해, 즉 소비 자들의 수요를 충족시키고, 기술적 혁신의 가능성을 효과적으로 활용하기 위해 다양 한 유형의 비즈니스 모델을 시도한다. 궁극적으로 빅데이터 생태계는 이를 효율적으 85
로 추진하기 위한 추진방법으로 이해될 수 있다. 이는 비용, 위험, 자원, 역할을 공유 하고 나누는 개념이며, 가치의 교환, 가치의 생성, 가치의 공유를 포함한 개념이다. 이러한 빅데이터 생태계 성공의 핵심 요인은 스마트 미디어 환경 하에서 빅데이터 생태계 구성자간의 선순환의 상생구도 구축이다. 빅데이터 생태계 내에서의 산업 간 성장 이슈는 신규 사업모델의 개발 및 신규 시장의 창출이며, 궁극적으로 경쟁과 협력 을 통해 동반성장하는 것이다. 특히 빅데이터 생태계 내에서의 기업 간 분배 이슈는 생태계 협력기업들 간 공감할 수 있는 인센티브 및 이익 공유 메커니즘(incentive/ profit-sharing mechanisms)의 구현이 핵심이다. 본 글에서는 산업과 시장 관점에서 빅데이터 생태계에 관한 최근의 연구를 소개하 고 이를 비교 분석하여 빅데이터 생태계 분류에 대한 시사점을 도출하였다. 각각의 분류별 생태계의 모습과 플레이어간 연계 관계에 대한 상세한 연구는 향후 중요한 연 구주제로 부각될 것으로 예상된다. 참고문헌 김사혁 (2012), 인터넷 생태계 진화에 따른 정책 시사점, 방송통신정책, 정보통신 정책연구원, 제 24권 1호 통권 523호. 손상영 김사혁 (2012), 빅데이터 시대의 새로운 정책 이슈와 이용자 중심의 활용 방안 연구, 방송통신정책연구 12-진흥-097, 방송통신위원회. 유지연 (2012), 세계경제포럼(WEF)을 통해 본 빅데이터 논의 동향과 함의, 방송 통신정책, 정보통신정책연구원, 제24권 4호 통권 526호. 한국정보화진흥원 (2012a), 빅데이터 시대: 에코시스템을 둘러싼 시장경쟁과 전 략분석, IT & Future Strategy 보고서, 제4호(2012. 4). Dave Feinleib (2012). The Big Data Landscape. Forbes. Matt Turck & ShivonZilis (2013). The Big Data Landscape(Version 2.0). Sqrrl (2013). Sqrrl s Task on the Big Data Ecosystem. 86
빅데이터 산업 생태계 분석 동향 Vitria (2012). Vitria Added To The Big Data Landscape. Vitria Homepage News. WEF (2012). Big Data, Big Impact: New Possibilities for International Development. 87