I D G C a s e S t u d y KT 가입자분석시스템 NDAP 구축 KT, 하둡기반의빅데이터플랫폼 구축으로비용절감 olleh EDW 와빅데이터간의전략적결합을통한전사데이터에대한듀얼인프라전략 증폭하는대용량데이터에대한인프라의효율성및비용절감의절대적효과 Sponsor

Size: px

Start display at page:

Download "I D G C a s e S t u d y KT 가입자분석시스템 NDAP 구축 KT, 하둡기반의빅데이터플랫폼 구축으로비용절감 olleh EDW 와빅데이터간의전략적결합을통한전사데이터에대한듀얼인프라전략 증폭하는대용량데이터에대한인프라의효율성및비용절감의절대적효과 Sponsor"

규철 돈
5 years ago
Views:

1 서울서초구서초동 동아타워 4층

2 I D G C a s e S t u d y KT 가입자분석시스템 NDAP 구축 KT, 하둡기반의빅데이터플랫폼 구축으로비용절감 olleh EDW 와빅데이터간의전략적결합을통한전사데이터에대한듀얼인프라전략 증폭하는대용량데이터에대한인프라의효율성및비용절감의절대적효과 Sponsored by

3 KT, 하둡기반의빅데이터플랫폼구축으로비용절감 olleh EDW 와빅데이터간의전략적결합을통한전사데이터에대한듀얼인프라전략 증폭하는대용량데이터에대한인프라의효율성및비용절감의절대적효과 빅데이터는이미전문가뿐만아니라일반인도쉽게듣는용어가됐으며, 기업들에게는새로운기회임과동시에풀기힘든과제로급부상했다. 빅데이터를어떻게활용할것이냐가바로기업의미래를좌우하기때문이다. IDC 아태지역빅데이터및분석부문크레이그스터스이사는현재빅데이터를대비한기업은그렇지않은기업보다 12~18개월정도앞서경쟁우위를확보하게될것이라고말했다. 반면빅데이터가기존 CRM처럼마케팅용어에불과할것이라는시각도만만치않다. 빅데이터투자비용이생각보다훨씬많이들어가고또한빅데이터분석결과가주는이익이나효과를가늠하기힘들다는주장이다. 가트너는포춘 500대기업의 85% 가빅데이터활용에실패할것이라고예상하고있다. 찬반양론이대립하고있는가운데이미빅데이터를통해커다란효과와가치를창출하는기업들이등장하고있으며, 무궁무진한기회를제시하는다양한빅데이터활용영역이기업의관심을끌고있다. 통신업계, 이미빅데이터급데이터분석중기업이빅데이터를도입하려는목적은보통신규비즈니스창출과기존비즈니스효율화및고도화등으로나눌수있다. 빅데이터의활용처가가장많은산업을따진다면, 통신업계를빼놓을수없다. 수많은고객의통화정보, 위치정보, 과금정보등현재보유, 처리하는데이터양과질자체 가방대한통신업체들이처리하는데이터규모를보면가히빅데이터라고할만하다. 특히스마트폰의대중적인보급으로인해무수히많은종류의데이터가폭발적으로증가하고있는상황이다. 모바일시대의대표적인기기로자리잡은스마트폰은휴대폰이아니라 PC 에가까우며, 통화기능은이미보조기능으로변모했다. 스마트폰을통해발생하는모바일데이터는이동성과위치기반, 고객차별성등의성격을지녔다. 또한통신시장의점유율경쟁은국내뿐만아니라전세계적으로도전쟁을방불케한다. 이처럼통신업계에서의빅데이터는신규비즈니스에대한기회임과동시에현재비즈니스의효율화및고도화를동시에이뤄야하는과제를안고있다. KT 데이터전략, 듀얼데이터인프라 KT는이미오래전부터빅데이터활용에대한고민을해왔다. KT의초대형비즈니스혁신프로젝트인 BIT 추진단이제단장은 빅데이터는새로등장한것이아니라기존부터있었던데이터다. 다만기존데이터베이스라이선스가비싸고, 저장비용측면에서부담이많았으며, 특히확장성측면에서부족한점이많아제대로활용하지못했을뿐 이라고말했다. 특히빅데이터솔루션에대해 빅데이터를분석해야한다는생각을해본적은없다. 회사에분석해야할데이터가있고이를효과적으로분석할플랫폼을찾은것 이라고설명했다. IT World 1

4 이제단장의말에따르면, KT는빅데이터를규정하고저장하려는것이아니라기존데이터가운데비용이나기술부족등으로활용하지못하던데이터를저장, 분석할수있는플랫폼을구축하기위한수단이바로빅데이터솔루션이다. 기술적으로는듀얼데이터인프라스트럭처전략을채택했다. KT는기간계시스템에서나오는데이터는 EDW 에저장, 분석할수있게끔하고, 그간저장기술및성능부족으로분석하지못했던통화기록이나인터넷등에서생성되는데이터에대해또하나의플랫폼으로가져간다는전략이다. CDR 시스템에 NDAP 도입, 비용절감효과확실 2010년부터차근차근준비해온 KT 는기간계시스템가운데서도고성능서버에상용 RDBMS를기반으로한 CDR 분석시스템을 kt NexR 의빅데이터솔루션인 NDAP(NexR Data Analytic Platform) 소프트웨어로대체, 도입하기로했다. CDR(Call Data Record) 은유무선전화통화에대한로그데이터다. 일반적으로통신업체교환장비에서생성되는이데이터는전화사용자의모든통화마다한건씩발생하므로 1일발생량수억건정도의데이터가발생하는셈이다. 무엇보다 CDR 데이터는통신업체가보유한가장중요한고객원천데이터로, 고객의통화품질불만에대한실시간대처에사용되거나일월단위의통화품질통계를통해각통신업체의운영, 경영의기반자료에활용된다. 약 3,000여개의배치쿼리및 200여개의결과테이블로구성된 KT의기존 CDR 시스템은낮에는고객장애대응을위한실시간로그검색을수행하다가밤에는통화품질분석을위한데이터집계작업을수행해왔다. 그러나지난몇년간스마트폰사용량의급증으로인해 CDR 데이터수집과배치처리에병목현상이발생하고, 저장공간의포화로인해장기간데이터를저장할수없었다. 특히시스템성능의포화로가입자행태분석과같은추가적인분석업무가불가능했던것이다. KT 는 CDR 이향후 5년내로약 1PB 이상의데이터가 쌓일것으로예상됐으며, 향후좀더다양한소스의데이터가쌓일것으로파악했다. KT가빅데이터를도입할당시, 글로벌포털업체들이비정형데이터를저장용도로사용하는경우는있었지만, 기간계시스템에서제대로활용하는기업은드물었다. KT가 CDR 시스템을하둡기반의 NDAP으로구축하면서고민했던점은두가지측면이었다. 하나는원하는성능을제대로낼것이냐는것과이를통해 TCO를획기적으로줄일수있냐는것이었다. 이를위해지난해부터 CDR 시스템의데이터수집에서저장, 처리, 분석까지의기본계획을수립했다. KT는기존방식의고성능서버 / 스토리지, RDBMS 기반아키텍처와 NDAP 기반아키텍처의비용절감효과를비교계산했을때, 5년 TCO를기준으로최소약 567억원의비용절감효과가있을것이라는평가결과가나왔다. 하둡은고가의유닉스서버대신 x86 서버를사용함으로써, 하드웨어비용을현격히낮추고, 데이터나성능이부족할때서버를추가해손쉽게확장및선형적성능증가를할수있다. KT는하둡을통해비용대비효율성과확장성이라는두마리토끼를한번에잡을수있다고판단했다. 이제단장은 야후가하둡을사용한지이미 8, 9년이지났는데, KT라고이를활용하지못할이유가없었다 고말했다. 그리고 KT는이시스템을플랫폼화할계획으로, kt NexR 과하둡기반의플랫폼구축프로젝트를진행했다. KT는환경과분석등의기본적인환경및현업의지식을제공하고, kt NexR은하둡소프트웨어생태계에대한이해를바탕으로한빅데이터기술을갖고공동으로작업했다. 그렇다고 KT가하둡만을고집하는것은아니다. No-SQL, In-Memory 기술등과같은다양한빅데이터기술들을고려하고있다. 이제단장은 빅데이터요소마다훌륭한솔루션들이있는데, 이런솔루션들을모두가져다쓸수있는것이바로오픈소스기반플랫폼의강점이다. 이렇게통합된큰청사진을토대로데이터를어떻게할것인지최 2 IT World

NDAP 적용후 KT 가입자분석시스템형상 선의솔루션을찾아가는전략을취할것 이라고밝혔다. 이제단장은 비정형데이터웨어하우스로서의빅데이터플랫폼을만드는작업이끝났다. 이를얼마나잘활용하느냐는상당히다른의미 라고말했다. 빅데이터진정한위력, 현업에서의통찰력 KT가빅데이터를활용하는방법은다양하다.

5 NDAP 적용후 KT 가입자분석시스템형상 선의솔루션을찾아가는전략을취할것 이라고밝혔다. 이제단장은 비정형데이터웨어하우스로서의빅데이터플랫폼을만드는작업이끝났다. 이를얼마나잘활용하느냐는상당히다른의미 라고말했다. 빅데이터진정한위력, 현업에서의통찰력 KT가빅데이터를활용하는방법은다양하다. KT는이미외부데이터와결합한융합데이터를이용해새로운비즈니스모델을창출하는것에서부터올레닷컴사이트나 CDR 시스템, 클라우드서비스까지비정형데이터분석뿐만아니라대용량데이터분석부문등곳곳에서활용하고있다. 이제단장은 KT는자체적인데이터활용계획이있는데, 용도가없는데이터를저장하지않는다. 구체적으로활용계획이나오지않은부문은속도조절을하고있다 고설명했다. CDR 시스템에도입한 NDAP은콜센터에서통화내역, 통화패턴분석등으로활용하고있다. 물론기존에도같은분석을하고있었지만, 좀더값싸고오랫동안저장하고활용할수있는플랫폼이필요했던것이다. KT는인프라이슈가기본적인문제이긴하지만결국빅데이터의핵심과제는이를통해얻는통 찰력이었다고판단했다. 현업에서자신의업무상문제점들을빅데이터를활용해해법을찾는사례가많이등장한다면상승작용이일어난다는것이다. 예를들어 KT뿐만아니라대부분기업들이회계, 관리결산마감이있는데, 데이터베이스를분석해수익성도계산하는작업들이매년진행된다. KT만하더라도이런데이터가엄청나다. 전국지점과대리점등에서나오는데이터를모두모아두고분석을해야하는것인데, 데이터오류를수정하다보면, 대체로 3, 4일은기본이다. 이를하루만에끝낼수있다면이또한빅데이터효과라고할수있다. 빅데이터의성공적인활용을위해서는시스템뿐만아니라전문가육성도절실하다. 올해 KT에는빅데이터플랫폼에저장되는데이터를계획하는팀인빅데이터전담조직이생겼다. 이조직에서사내데이터맵을만들고있다. BIT 쪽에서는데이터플랫폼을제공하고, 이조직에서플랫폼에저장될데이터에대한지도를그리고, 어떻게활용할것인지에대해과제를제시하는역할을맡고있다. 이제단장은 이렇게데이터모델을정확하게이해하고, 현업에대한통찰력을갖고있는전문가들을많이발굴해야한다 고말했다. 뿐만아니라기본적으로비정형데이터뿐만아니라정형데이터도제대로저장돼야하는데, KT의 EDW 가구축이완료되는 2013년에는빅데이터활용이좀더활발해질전망이다. IT World 3

Mini Interview 빅데이터활용해법, 스스로찾아라 이제상무 KT BIT 추진단단장 빅데이터솔루션도입에있어서 kt NexR NDAP 소프트웨어를선택한이유는? kt NexR NDAP의빅데이터기술은이미검증된빅데이터오픈소스를상업화하는데장점을갖고있었다. KT 가원했던것은쓰기좋고편하게, 그리고적극적인기술지원이었다.

빅데이터플랫폼에대한논의가나오는것은자연스러운것이지만, 빅데이터분석이무슨대단한가치가있는것으로선전하는것은조금지양해야할것이다. 빅데이터분석은기본적으로기존의 OLTP 에서나오는데이터들을 DW나데이터마트에저장해 OLAP 도구로분석하는기존분석관행이조금다르게, 기술적으로발달함에따라좀더유연성을갖게됐다는것이다. 그런데이런유연성이주는장점이생각보다크더라는것이다.

6 Mini Interview 빅데이터활용해법, 스스로찾아라 이제상무 KT BIT 추진단단장 빅데이터솔루션도입에있어서 kt NexR NDAP 소프트웨어를선택한이유는? kt NexR NDAP의빅데이터기술은이미검증된빅데이터오픈소스를상업화하는데장점을갖고있었다. KT 가원했던것은쓰기좋고편하게, 그리고적극적인기술지원이었다. KT 로봐서는낮은 TCO 로효과적인데이터분석환경을확보하는것이었고, kt NexR로봐서는경쟁력있는빅데이터플랫폼이국내시장에선보이게되는것이었다. kt NexR처럼훌륭한빅데이터솔루션업체들이많이생겨서국내에좋은인프라를제공할수있는터전이마련돼야한다. 빅데이터솔루션을도입하려는기업들은그효과에대해기대가많다. 빅데이터분석으로예측할수있다는것은다거짓말인듯하다. 빅데이터플랫폼에대한논의가나오는것은자연스러운것이지만, 빅데이터분석이무슨대단한가치가있는것으로선전하는것은조금지양해야할것이다. 빅데이터분석은기본적으로기존의 OLTP 에서나오는데이터들을 DW나데이터마트에저장해 OLAP 도구로분석하는기존분석관행이조금다르게, 기술적으로발달함에따라좀더유연성을갖게됐다는것이다. 그런데이런유연성이주는장점이생각보다크더라는것이다. 이는산업군마다, 기업마다다다를것이며, 이빅데이터활용해법은결국스스로가찾아야할것이다. 컨설팅업체나솔루션업체가해결해줄수있는문제가아니다. 그렇다면빅데이터의진정한효과는무엇인가? 빅데이터의진정한위력은예측분석과같은획기적인기능에있는것들이아니라데이터와데이터가엮이면서생기는통찰력을바탕으로재고비용을줄이거나고객지원시간을단축하는등업무내에서의혁신에서나온다. 이런효과들이외부에서보기에는미미한것처럼보일수있으나 KT 처럼비용이조단위가넘어가는기업에서 2, 3% 만비용절감을하더라도그효과는가히엄청나다. 빅데이터솔루션을도입하려는책임자에게조언을한다면? 기업에서임직원들이빅데이터가뭔지물으면대부분플랫폼하둡얘기를할것이다. 그러나이렇게접근해서는설득하기가힘들다. 접근하는방식은여러가지가있지만, 사내에흩어져있는데이터들을모아서활용할수있는방법을설명해주면잘이해할수있다. 기존에데이터를모으는방식인 DW 방식으로맞춘다면굉장히어렵다. 물론하둡또한어렵다. 다만기존방식보다는상대적으로훨씬쉽고유연성이있다는것이다. NDAP 시스템과관련, KT의향후계획은? 하둡을회사표준으로결정하고하둡기반의 NDAP을전사적인빅데이터데이터웨어하우스로사용할계획이다. 빅데이터를잘활용하려면, 소위말하는비정형데이터뿐만아니라정형데이터도제대로갖춰놔야한다. KT는 2010년부터내부데이터, 이질적인비즈니스시스템을통합하고있으며, 2013년에는 EDW 가완성된다. 4 IT World

통신회사에서가장중요한데이터자원이라고하면뭐니뭐니해도고객들의통화기록이라할수있다. 이를 Call Detail Record(CDR) 라고하며, 고객들이유선전화나휴대폰을사용하여통화할때마다통화위치, 통화대상, 통화시간등이로그데이터로기록된다. 매통화마다기록되므로 1일발생량은수억건에

White Paper Big Data Case Study 통신회사에서가장중요한데이터자원이라고하면뭐니뭐니해도고객들의통화기록이라할수있다. 이를 Call Detail Record(CDR) 라고하며, 고객들이유선전화나휴대폰을사용하여통화할때마다통화위치, 통화대상, 통화시간등이로그데이터로기록된다. 매통화마다기록되므로 1일발생량은수억건에달하는그야말로대표적인빅데이터라고할수있다.