빅데이터의더강력한파워 본보고서에서는빅데이터와엔터프라이즈애널리틱스부문을자세히살펴보고, 애널리틱스사용모델을비교하여차이점을알아보면서, 몇가지정의를제시하고자합니다. 또한, 비용및성능면에서 x86보다뛰어나다는 IBM의새로운플랫폼도자세히알아보겠습니다. IBM은 POWER 기반시스

Similar documents
아이콘의 정의 본 사용자 설명서에서는 다음 아이콘을 사용합니다. 참고 참고는 발생할 수 있는 상황에 대처하는 방법을 알려 주거나 다른 기능과 함께 작동하는 방법에 대한 요령을 제공합니다. 상표 Brother 로고는 Brother Industries, Ltd.의 등록 상

Microsoft PowerPoint - 권장 사양

Office 365, FastTrack 4 FastTrack. Tony Striefel FastTrack FastTrack

슬라이드 1

View Licenses and Services (customer)

라우터

Microsoft Word - IBM이 POWER9 칩 대신 AI 플랫폼을 출시한 이유_2018.doc

소규모 비즈니스를 위한 플레이북 여기서 다룰 내용은 다음과 같습니다. 1. YouTube 소개 2. YouTube에서 비즈니스를 위한 채널 만들기 3. 눈길을 끄는 동영상 만들기 4. 고객의 액션 유도하기 5. 비즈니스에 중요한 잠재고객에게 더 많이 도달하기

consulting

[Brochure] KOR_TunA

비디오 / 그래픽 아답터 네트워크 만약에 ArcGolbe를 사용하는 경우, 추가적인 디스크 공간 필요. ArcGlobe는 캐시파일을 생성하여 사용 24 비트 그래픽 가속기 Oepn GL 2.0 이상을 지원하는 비디오카드 최소 64 MB 이고 256 MB 이상을 메모리

810 & 는 소기업 및 지사 애 플리케이션용으로 설계되었으며, 독립 실행형 장치로 구성하거 나 HA(고가용성)로 구성할 수 있습니다. 810은 표준 운영 체제를 실행하는 범용 서버에 비해 가격 프리미엄이 거의 또는 전혀 없기 때문에 화이트박스 장벽 을

Master presentation template three line maximum — First Lastname Job Title

RamSan은 [병목현상]을 완전히 제거했습니다. 이제 모든 작업이 원활하게 진행되고 있습니다. Mike Saindon UFC의 프로덕션 엔지니어 UFC는 소비자를 위한 자사의 웹 및 모바일 플랫폼 이외에도 Hulu, itunes, Xbox, PlayStation 및

IBM Power Systems Accelerated Compute(AC922) Server IB IBM Power Systems Accelerated Compute(AC922) Server는엔터프라이즈급 AI 환경을위한최강의가속화솔루션입니다. 170GB/s CPU P

gcp

DBMS & SQL Server Installation Database Laboratory

Appendix B

4th-KOR-SANGFOR HCI(CC)

Windows 8에서 BioStar 1 설치하기

경우 1) 80GB( 원본 ) => 2TB( 복사본 ), 원본 80GB 는 MBR 로디스크초기화하고 NTFS 로포맷한경우 복사본 HDD 도 MBR 로디스크초기화되고 80GB 만큼포맷되고나머지영역 (80GB~ 나머지부분 ) 은할당되지않음 으로나온다. A. Window P

이베이를 활용한 B2C 마케팅_한국무역

Dell과 함께라면 가능합니다. 처음 도입하는 서버 또는 두 번째로 도입하는 서버이거나 네트워크를 확장시키거나 관리 기능을 강화하는 등의 모든 요구 사항을 Dell은 지원할 수 있습니다. Dell은 특성이 각기 다른 모든 조직과 회사마다 서로 다른 시점에 서로 다른 요

슬라이드 1

Storage_for_Megapixel_Video01

Cisco FirePOWER 호환성 가이드

통합 서버용으로서 보면, Power 740 Express의 성능, 용량, 구성 유연성에 업계 최강의 PowerVM TM 가상화(AIX, IBM i, Linux용)기능이 결합되어 있으 므로 기업은 비용 및 에너지 사용을 더욱 절약할 수 있습니다. Power 740 Exp

Microsoft PowerPoint - chap01-C언어개요.pptx

이도경, 최덕재 Dokyeong Lee, Deokjai Choi 1. 서론

vRealize Automation용 VMware Remote Console - VMware

Microsoft Word _whitepaper_latency_throughput_v1.0.1_for_

Æí¶÷4-¼Ö·ç¼Çc03ÖÁ¾š

Copyright IBM Corporation 2017 한국아이비엠주식회사 (07326) 서울시영등포구국제금융로 10 서울국제금융센터 (Three IFC) TEL : (02) 년 7 월 Printed in Korea

?

Straight Through Communication

슬라이드 1


Integ

RHEV 2.2 인증서 만료 확인 및 갱신

aws

IRISCard Anywhere 5

메뉴얼41페이지-2

오토10. 8/9월호 내지8/5

PowerPoint Presentation

SECTION TITLE A PURE PRIMER (AI), // 1

PowerPoint Presentation

Best of the Best Benchmark Adobe Digital Index | APAC | 2015

W7_Business_ 제품설계

Win7°í°´¿ë

슬라이드 1

SIGIL 완벽입문

PowerPoint 프레젠테이션

Microsoft Word - src.doc

IT.,...,, IoT( ),,.,. 99%,,, IoT 90%. 95%..., (PIPA). 디지털트랜스포메이션은데이터보안에대한새로운접근방식필요 멀티클라우드사용으로인해추가적인리스크발생 높은수준의도입률로복잡성가중 95% 는민감데이터에디지털트랜스포메이션기술을사용하고있음

Art & Technology #5: 3D 프린팅 - Art World | 현대자동차

Cover Story Oracle Big Data Vision 01_Big Data의 배경 02_Big Data의 정의 03_Big Data의 활용 방안 04_Big Data의 가치

Microsoft 을 열면 깔끔한 사용자 중심의 메뉴 및 레이아웃이 제일 먼저 눈에 띕니다. 또한 은 스마트폰, 테블릿 및 클라우드는 물론 가 설치되어 있지 않은 PC 에서도 사용할 수 있습니다. 따라서 장소와 디바이스에 관계 없이 언제, 어디서나 문서를 확인하고 편집

User Guide

X86 Customer, BP, and Sales Enablement Organization

목 차 < 요약 > Ⅰ. 검토배경 1 Ⅱ. 반도체산업이경기지역경제에서차지하는위상 2 Ⅲ. 반도체산업이경기지역경제에미치는영향 7 Ⅳ. 최근반도체산업의여건변화 15 Ⅴ. 정책적시사점 26 < 참고 1> 반도체산업개관 30 < 참고 2> 반도체산업현황 31

PowerPoint Template

Agenda 오픈소스 트렌드 전망 Red Hat Enterprise Virtualization Red Hat Enterprise Linux OpenStack Platform Open Hybrid Cloud

Windows Server 2012

Microsoft PowerPoint - MonthlyInsighT-2018_9월%20v1[1]

© Rohde & Schwarz; R&S®CDS Campus Dashboard Software

Microsoft Word - DELL_PowerEdge_TM_ R710 서버 성능분석보고서.doc

DB진흥원 BIG DATA 전문가로 가는 길 발표자료.pptx

<4D F736F F D F5357BAB05FC5EBC7D5C7D8BCAEBDC3BDBAC5DB5FBCBAB4C920BAD0BCAE20B0E1B0FABAB8B0EDBCAD F444C F767

No Slide Title

2017 년 6 월한국소프트웨어감정평가학회논문지제 13 권제 1 호 Abstract

USC HIPAA AUTHORIZATION FOR

vostro2월CDM4.0


ITFGc03ÖÁ¾š

_¸ñÂ÷(02¿ù)

Microsoft PowerPoint - eSlim SV [ ]

Microsoft PowerPoint - 발표_090513_IBM세미나_IPTV_디디오넷_완료.ppt

Microsoft Word - s.doc

A SQL Server 2012 설치 A.1 소개 Relational DataBase Management System SQL Server 2012는마이크로소프트사에서제공하는 RDBMS 다. 마이크로소프트사는스탠다드 standard 버전이상의상업용에디션과익스프레스 exp

슬라이드 1

Microsoft PowerPoint - 02_Linux_Fedora_Core_8_Vmware_Installation [호환 모드]


3.Bladesystem

이제까지 경험해보지 못한 방식으로 공동 작업하고 상호작용하십시오. 여러분은 얼마나 연결되어 있습니까? 이것이 바로 기업이 직원과 사업 파트너, 클라이언트 간의 일관적인 통신을 추구하는, 오늘날의 가상 모바일 기업 환경에서 경험하는 어려움입니다. 원격 재택 근무를 하는

슬라이드 1

자동화된 소프트웨어 정의 데이터센터

6_5상 스테핑 모터_ _OK.indd

Microsoft Word - How to make a ZigBee Network_kr

VNX 성능 및 경쟁사 제품 포지셔닝

도약종합 강의목표 -토익 700점이상의점수를목표로합니다. -토익점수 500점정도의학생들이 6주동안의수업으로 점향상시킵니다. 강의대상다음과같은분들에게가장적합합니다. -현재토익점수 500점에서 600점대이신분들에게가장좋습니다. -정기토익을 2-3번본적이있으신분

Microsoft PowerPoint - 6.pptx

Beyond Relational SQL Server, Windows Server 에디션비교 씨앤토트 SW 기술팀장세원

Microsoft Word - zfs-storage-family_ko.doc

<4D F736F F F696E74202D203137C0E55FBFACBDC0B9AEC1A6BCD6B7E7BCC72E707074>

Microsoft PowerPoint - eSlim SV [080116]

HLS(HTTP Live Streaming) 이용가이드 1. HLS 소개 Apple iphone, ipad, ipod의운영체제인 ios에서사용하는표준 HTTP 기반스트리밍프로토콜입니다. 2. HLS 지원대상 - 디바이스 : iphone/ipad/ipod - 운영체제 :

Microsoft Word - windows server 2003 수동설치_non pro support_.doc

PERFORMANCE technology the all-new bmw 5 series. dynamic 06 business 14 comfort 20 safety 22 model LineuP 24 TecHnicaL data 26 bmw service 28 bmw kore

3월2일자.hwp

항목

Transcription:

본보고서에서는빅데이터와엔터프라이즈애널리틱스부문을자세히살펴보고, 애널리틱스사용모델을비교하여차이점을알아보면서, 몇가지정의를제시하고자합니다. 또한, 비용및성능면에서 x86보다뛰어나다는 IBM의새로운플랫폼도자세히알아보겠습니다. IBM은 POWER 기반시스템으로경쟁제품인 x86을능가할수있을까요? 일반적으로 빅데이터 로알려진엔터프라이즈애널리틱스가경제혁명을일으키고있습니다. 엔터프라이즈애널리틱스는빠르게확산되어비즈니스에서경쟁사를압도할수있는가장중요한무기가되고있습니다. 빅데이터를통해조직은어떤것을잘하는지, 더잘하려면무엇이필요한지, 어떻게고객을좀더효과적으로지원할수있는지, 미래를준비하려면어떻게해야하는지를이해할수있습니다. 빅데이터 를활용할수없는조직은결국차세대경제성장및경쟁에서뒤처지게될것입니다. 한마디로빅데이터는너무나도중요합니다. 그런데빅데이터가정확히무엇일까요? 간단히말하자면 빅데이터 구현이란대량의데이터를수집하고분석하여직관적이지않은관계를찾아내고새로운기회와위협을발견하는능력을설명하는일반용어가되었습니다. 월스트리트에서는거래알고리즘및모델을개발하는데이를사용하며, 체인소매업체에서는적절한시점의적절한장소에적절한재고를확보해두는데사용합니다. 고객과경쟁사에대한정보를수집하는것은전혀새로운일이아닙니다. 지금까지늘정보를모으고, 이를분석하여, 유용한통찰력을도출해왔습니다. 다만충분하지않았을뿐입니다. 정보가충분하지않았고, 분석성능이충분하지않았고, 통찰력이충분히정확하지않았습니다. 빅데이터가 새로운 점은폭발적인양의정보에액세스할수있다는것입니다. 센서, 신용카드, 전화, 컴퓨터, 소셜미디어, 네트워크에연결된디바이스등모든곳에서정보가전달됩니다. 그양은놀라울정도로많습니다. 어떤조사에따르면전세계데이터의 90% 가지난 2년간생성된데이터라고합니다. 빅데이터의중요한고려사항 이러한데이터홍수속에어떤데이터는의미가있고유용하며어떤데이터는그저 잡음 (noise) 에불과합니다. 자주인용되는 빅데이터의 4개 V 에하나를추가해보겠습니다.

볼륨 (Volume) 얼마나많이속도 (Velocity) 얼마나빠르게신뢰성 (Veracity) 얼마나안정적으로다양성 (Variety) 어떤형태로 추가해야할하나는가치 (Value) 입니다. 모든데이터가가치있는것은아닙니다. 하지만잡음 (noise) 속에서도꼭필요한결정적인데이터가있습니다. 찾을수만있다면통찰력, 전략및목표를바꿀수있는데이터말입니다. 어디를찾고있습니까? 많은데이터과학자가아주작은수의변수 ( 아마도 5% 정도 ) 를완벽하게만들면비즈니스매출에 90% 이상의효과를얻을수있다고말합니다. 다시말해제품 / 서비스의일부특성이 최적점 (sweet spot) 에적중하면, 100% 를적중하는것과거의같은효과를낼수있다는것입니다. 예를들어, 자동차제조사가고객요구에맞추도록특정모델의항목 100개를조정하거나변경할수있다고가정해보겠습니다. 고객과시장에대한광범위하고철저한조사를통해제조사는 5~10개항목만을변경하여 100개항목모두를변경하는것과거의동일한효과를거둘수있는 마법의데이터 를발견할수있을지도모릅니다. 이러한 마법의데이터 를파악하고수량화하는것이새로운분석목표입니다. 고객에게가장중요한핵심특성은산업및제품마다다릅니다. 마법의데이터관계또한시장이성숙해지면서달라집니다. 마법의데이터를발견한기업은많지않으며, 이미발견한기업은이를공개하지않습니다. 대부분은고객이경쟁제품대신자사의제품을선택한이유를정확히알지못합니다. 분석은짐작이나추측을대신하여조직의가장중요한자산인고객과의관계에서진정한통찰력을제공할수있습니다. 빅데이터유형 : 정형대비정형 수집하고, 처리하고, 분석해야하는빅데이터에는크게두가지유형이있습니다. 첫번째는 정형데이터 로서우리에게친숙한유형입니다. 고객이웹사이트에서입력하는이름, 청구주소, 배송주소등은정형데이터입니다. 도로주소와우편번호같은정보는모두일정한형식으로정리되어있으므로운영또는분석목적으로사용하는기존관계형데이터베이스의필드에깔끔하게들어갑니다. 2

그러면 비정형데이터 는무엇일까요? 기본적으로그외의모든것이라고보면됩니다. 관계형데이터베이스테이블에적합하지않은모든디지털데이터입니다. 비정형데이터는 전혀다른유형으로분석을상당히어렵게만드는장본인입니다. 이메일이비정형데이터의좋은예가될수있습니다. 표준형식없이문장으로구성되어있지만, 매우중요한정보를담고있습니다. 웹트래픽, Facebook 게시물, Twitter 피드및블로그또한비정형데이터이면서중요한데이터소스입니다. 비정형데이터는분석하기어렵습니다. 이유는정형화되지않았기때문입니다. 유용한정보를추출하는것은일반적으로텍스트의패턴을분석하여맥락을이해하고그뒤에숨겨진의미를찾아내는작업입니다. 이를지원하기위해많은도구가개발되었고, 본문서의뒷부분에서도이러한도구를살펴보겠습니다. 정형데이터와비정형데이터모두폭발적으로증가하고있습니다. 관련통계는너무나도많지만매년생성되는디지털데이터의양이 40~50% 증가하고있다고보면됩니다. 즉, 전세계의데이터가 2년마다약두배씩증가하고있습니다. IDC에서는 2020년이면 1년에생성, 복제및사용되는전체데이터가 40제타바이트 (40조기가바이트에해당 ) 에이를것으로예상합니다. 빅데이터분석 그렇다면지금까지이야기한중요하고혁신적인데이터는모두어디에있을까요? 어디에나있습니다. 여러분의회사내부에서도상당한데이터를생성합니다. 아마도조직의데이터웨어하우스사일로에저장되어있을것입니다. 다른유용한데이터는센서, 웹크롤러, 타사데이터브로커, 소셜미디어네트워크등을통해조직외부에서유입됩니다. 하지만한가하게이모든데이터를저장하고분석할수는없습니다. 먼저스토리지및컴퓨팅능력이충분하지않습니다. 또한, 엔터프라이즈에서는적시에 ( 대부분거의실시간 ) 의사결정을내리도록빅데이터의통찰력을사용할수있어야합니다. 의사결정을내리기전에모든데이터를철저히분석할시간여유가있는회사는거의없습니다. 데이터분석모델은크게 데이터호수 (lake) 와 데이터강 (river) 두가지로나눌수있습니다. 데이터호수는일반적인엔터프라이즈데이터웨어하우스에보관되는정형데이터입니다. 이데이터는보통 저장데이터 (data at rest) 라고부르며, 장기간 ( 몇개월또는몇년 ) 저장되고, 다양한분석프로세스에사용됩니다. 3

하지만많은엔터프라이즈에서실시간에가까운운영이나전략적의사결정을내리려면데이터스트림즉, 빠르게흐르는데이터강 (river) 도분석해야합니다. 이러한분석유형의가장좋은예는신용카드처리일것입니다. 고객이매장에서신용카드나체크카드를긁으면, 트랜잭션을처리하는금융기관에서는많은분석루틴을수행해야합니다. 이러한프로세스를통해해당카드가유효하고, 고객이한도를넘지않았으며, 부정하게사용된것이아님을확인합니다. 1~2초만에완료되어야하는매우복잡한프로세스입니다. 대부분비즈니스는저장데이터 ( 데이터호수 ) 및전송데이터 ( 스트리밍데이터또는데이터강 ) 를처리해야합니다. 이러한두가지유형의데이터는숨겨져있거나직관적이지않은트렌드에대한통찰력을확보하기위해결합되어있을때가많습니다. 지난몇년간이러한작업으로인해발생하는거대한양의데이터를처리하기위해많은도구가설계되었습니다. 현재빅데이터처리의경우하둡이아마도가장익숙한이름일것입니다 ( 하둡은뒷부분에서자세히다루겠습니다 ). 현재데이터분석시장 이러한트렌드를주도하는공급업체의시장규모는매우커졌습니다. 모든조직이이미이와관련해무언가를하고있습니다. 데이터분석시장은 2017년까지연평균 58% 성장하여 500억달러규모에이를것으로예측됩니다. 빅데이터시장에서가장두각을나타내는업체는 IBM입니다. 지난 10년간 IBM은전체빅데이터솔루션개발에 150억달러이상을투자했습니다. 투자에는 Watson Lab, IBM Global Services business advisory 및 Systems &Technology Group을통한유기적인기능및기술개발도포함됩니다. 또한, IBM은빅데이터포트폴리오를구성하기위해다수의주요업체를인수하기도했습니다. 서비스부문으로는컨설팅회사인 Price Waterhouse를, 하드웨어 / 소프트웨어회사로는 SPSS, Cognos, Netezza, Platform Computing, SoftLayer 등다수업체를인수했습니다. IBM은이러한회사들의 비밀소스 를 IBM의빅데이터오퍼링에통합하여다양하고심층적인빅데이터솔루션포트폴리오를구성했습니다. 4

IBM 의빅데이터전략 : 자세히살펴보기 물론업계의모든공급업체가어느정도빅데이터를지원한다고주장합니다. IBM은빅데이터솔루션을구축하기위한서비스, 소프트웨어및시스템을갖추고있을뿐아니라대부분공급업체에서따라올수없는경험을보유하고있다는점에서다른업체와차별화됩니다. IBM은 10년가까이 HPC( 슈퍼컴퓨팅 ) 부문에서독보적인위치를유지해왔으며, 전세계에서가장크고빠른컴퓨터상위 500개중 40% 이상이 IBM 컴퓨터입니다. 대량의복잡한컴퓨팅요구사항의경우, HPC 워크로드보다큰경우는없습니다. 이러한고객은일기예보, 지진처리, 원자규모의상호작용모델링과같은작업을수행합니다. 이러한유형은처리가매우까다롭고짧은시간에결과를제공하도록시스템을확장할수있어야합니다 ( 예 : 허리케인모델링 ). 그뿐만아니라분자프로세스를모델링하도록몇일또는몇달동안안정적으로실행할수있어야합니다. 정교한소프트웨어, 뛰어난성능 앞에서트렌드에대한통찰력을얻고기회를활용하려면 저장데이터 (data at rest) 와 전송데이터 (data in motion) 모두분석해야한다는점을설명했습니다. 빅데이터의특성중하나는대부분비정형데이터이며, 일반적인관계형데이터베이스에저장하여처리하기가불가능하거나비현실적인대량볼륨으로전달된다는것입니다. 하둡은현재빅데이터워크로드처리에가장많이사용되는도구입니다. 하둡과기존데이터웨어하우스의가장큰차이점은아키텍처입니다. 기존데이터웨어하우스는사용자및다른애플리케이션을위한중앙데이터저장소로사용되는관계형데이터베이스의단일인스턴스상에배포됩니다. 쿼리는호스트서버에서만데이터베이스를대상으로실행됩니다. 하둡은원래대량의비정형데이터를수집하고신속하게분석하기위해설계되었습니다. 단일시스템에서는대량의데이터를감당하지못할것이므로하둡은여러시스템 ( 경우에따라수천개 ) 에서실행되도록구축되었습니다. HDFS(Hadoop Distributed File System) 는클러스터의여러시스템 ( 또는노드 ) 에데이터를분산하여스토리지작업을처리합니다. 하둡이작업을처리할때, 관련데이터를가지고있는노드로작업을분산합니다. 노드에서작업이완료되면, 네임노드 (NameNode) 로결과를보고하고, 네임노드에서결과를사용자에게전달합니다. 5

하둡이유용한도구이지만문제점도있습니다. 가용성을확보하기위해서는 3 개의데이터 복사본이유지되어야합니다. 또한, 하둡은좀더정교한스케줄러와효과적인데이터배치를 활용할수있습니다. IBM의 InfoSphere BigInsights는하둡의오픈소스버전을훨씬더빠르고리소스사용이더효율적이도록개선했습니다. 같은하드웨어에서테스트했을때, BigInsight 버전하둡 (Platform Symphony 스케줄러사용 ) 이표준 Apache 하둡보다 300% 이상뛰어난성능을보였습니다. IBM의 InfoSphere BigInsights를활용하고있는고객중하나가네덜란드국립전파천문대인 ASTRON입니다. ASTRON의 SKA(Square Kilometer Array) 는지구에서가장크고가장강력한망원경입니다. 또한, ASTRON은지구에서가장큰데이터스트리밍문제를안고있습니다. SKA를구성하는 3,000개의접시는매일 1엑사바이트이상을출력합니다. 이는 24시간동안전세계인터넷에서생성하는데이터의 2배에해당합니다. ASTRON은 IBM BigInsights를사용하여빗발치는스트리밍데이터를며칠이아니라몇분만에천문학자가사용할수있도록처리하고있습니다. 이는다른솔루션대비 99% 의가속도입니다. 또한, IBM 솔루션은데이터를꼼꼼히검토하여, 추가분석을위해다양한위치로이를전달하고필요없는데이터는폐기합니다. 대량의스트리밍데이터로드를처리하는성능은 IBM의아키텍처접근방식과소프트웨어포트폴리오가성공적임을보여줍니다. 좀더실제적인예로는온라인채팅과영화박스오피스매출의관계를이해하기위해 BigInsights와 IBM InfoSphere Streams를사용하는서던캘리포니아대학교의 Annenberg Lab을들수있습니다. 구체적으로설명하자면, 이연구소에서는예를들어 TV의영화광고로소셜미디어활동이증가하는경우, 소셜미디어활동이박스오피스매출로이어지는지를파악하기위해 IBM 분석시스템을사용하고있습니다. 또한, 아카데미어워드방송같은생방송이벤트 PD에게거의실시간피드백을제공하는데도사용합니다. 쇼가청중에게어떻게받아들여지는지측정할수있습니다. 6

이를위해 Annenberg 팀은수백만개의트윗과다른소셜미디어언급을추적하고, 분석한다음, 가능한한빠르게결과를보고합니다. 사용자가시스템에게자연어의뉘앙스를평가하는방법을가르칠수있어야하므로소프트웨어패키지는유연해야합니다. 소셜미디어게시물의큰부분을차지하는풍자적표현을구분할수있도록시스템을가르칠수있습니다. Annenberg 팀은 IBM 하드웨어및소프트웨어스택과함께 BigInsights 도구상자를사용하여소셜네트워크를분석함으로써어떤이벤트에대한피드백도안정적으로아주빠르게제공할수있습니다. 새로운프로세서는크게도약하는디딤돌이됩니다. IBM 빅데이터역사상가장흥미로운개발제품은최근에출시된 POWER8 프로세서를탑재한서버제품군일것입니다. 새로운프로세스는 IBM으로서는커다란도약이며어떤면에서는이전프로세서와완전히차별화된다고할수있습니다. 지난몇년간 IBM은 Power Linux Scale-out 시스템이특히빅데이터와분석워크로드부분에서 x86 기반시스템을대체한다고홍보해왔습니다. 이러한시스템이표준 Linux에서실행되긴하지만 (POWER 프로세서용으로컴파일된버전일지라도 ) 고객과 ISV에게는여전히전혀다른제품으로여겨졌습니다. 가장큰차이점은 POWER 프로세서는 빅엔디언 이고 x86 프로세서는 리틀엔디언 이라는것입니다. 이러한 엔디언 은바이트가메모리에저장되는순서를말합니다. 빅엔디언시스템은가장큰바이트를가장작은주소공간에저장하고리틀엔디언시스템은가장작은바이트를가장작은주소공간에저장합니다. 고객은알수없는작업이며개발자와 ISV 외에는의식하지못하는부분입니다. 빅엔디언과리틀엔디언시스템간의코드를변환하는것은가능한일일뿐아니라그다지어려운일이아니지만, 이를위해서는 ISV와개발자가추가작업을해야합니다. 일부에서는 x86의대안으로서 POWER 기반시스템을제안하는 IBM의노력을무산시킬만큼이문제가큰이슈라고생각합니다. 하지만 POWER8 프로세서의등장으로이문제는말끔히해결되었습니다. 새로운 POWER8 프로세서는리틀엔디언을지원합니다. 즉, x86 표준과호환되어 POWER8 기반시스템에서구동되는소프트웨어에새로운세상을열어줍니다. Java, Pearl, PHP, Python 등의스크립팅언어또는해석 (interpretative) 언어로작성된 Linux 애플리케이션은 POWER8 시스템에서추가작업없이실행할수있습니다. C 또는 C++ 로 7

작성된애플리케이션은소스코드의변경없이간단히다시컴파일만하면됩니다. 이는 Power 시스템에있어커다란진전이며이기능하나만으로도 x86 의확실한대안이될수 있습니다. 하지만이기능이전부가아닙니다. 그전에잠시과거를되짚어보겠습니다. 21세기로접어든이후로고성능서버프로세서분야에서 IBM과 Intel은후발주자였습니다. AMD는 64비트및멀티코어프로세스를출시했을때잠시각광을받았지만그리오래가지못했습니다. 약 2년마다 IBM은 Intel의서버프로세서보다훨씬뛰어나고새로운기능이추가된 POWER 프로세서를출시했습니다. 이후몇년동안 Intel은 IBM의선두와접근방식을조금씩따라오거나동등한위치를지켜왔습니다. 그러나 IBM이또다른 Power 버전을출시하면서상황은새롭게바뀌었습니다. POWER8의출시로 IBM은다시한번 Intel을뛰어넘었습니다. IBM POWER8과 Intel Xeon(Ivy Bridge) 의최상위제품군을비교해보겠습니다. Intel E7-8890 v2 Intel E7-8893 v2 IBM POWER8 출시일 2014년 1분기 2014년 1분기 2014년 2분기 최대코어 / 스레드 15개코어 30개스레드 6개코어 12개스레드 12개코어 96개스레드 주파수 모든 2.8 3.4 3.02 4.0 코어 (GHz) 최대주파수 3.4, 터보 3.7, 터보 일부코어에서최대약 5.0 ( 일부코어유휴상태 ) ( 일부코어유휴상태 ) 온칩캐시 37.5MB 37.5MB 100 MB (128MB 오프칩추가 ) I/O PCIe Gen 3.0 PCIe Gen 3.0 PCIe Gen 3.0 최대메모리 1,536GB 1,536GB 1,000GB 메모리대역폭 초당 85GB 초당 85GB 초당 230GB 위의표에서굵은글씨는사양별로가장뛰어난프로세스를나타냅니다. IBM의새로운 POWER8 프로세서가최대메모리를제외하고거의모든항목에서 Intel보다뛰어나다는것을볼수있습니다. 하지만머지않은시점에프로세서당 1TB라는 POWER8의 RAM 크기제한이 2TB로상향조정될것이라는소문에따르면최대메모리조차도 Intel을앞서게될것입니다. 8

CAPI 소개 IBM은 POWER8에빅데이터및분석워크로드에적합한새로운인터페이스를적용했습니다. CAPI(Coherent Accelerator Processor Interface) 라고불리는인터페이스로서 CPU 및 PCIe 디바이스가메모리를공유하도록해줍니다. PCI 기반액셀러레이터와 CPU는공유된메모리를사용하여더적은시간에훨씬더많은데이터를처리할수있습니다. IBM의초기테스트는플래시메모리와 CAPI를사용하여수행되었으며, 매우인상적인결과를보였습니다. IBM에따르면, 24개의분산 x86 시스템을사용하는 NoSQL 데이터베이스를 40TB CAPI 지원플래시메모리어레이가장착된단일 POWER8 노드에담을수있습니다. POWER8 솔루션은 80% 저렴한비용으로같은성능을제공할수있습니다. 플래시메모리로의초고속연결성을제공하는 CAPI는많은엔터프라이즈와 HPC 애플리케이션에매력적인사용사례가됩니다. 또한, CAPI는 GPU 액셀러레이터로의빠른공유메모리액세스를제공하며, 향후 FPGA도지원예정입니다. POWER8 과 x86 비교 : 시스템수준성능 칩사양비교도흥미롭지만, IBM의최신프로세서와최첨단 x86 시스템간의시스템수준의비교가매우궁금합니다. 아직 1대1 비교벤치마크가많지않지만, 살펴본결과는 POWER8 시스템의장점을확인하기에충분했습니다. 처음소개된 POWER8 벤치마크중하나는자주사용되는 SPECint_rate와 SPECfp_rate입니다. IBM 시스템은 4개의 6코어 CPU와 512GB RAM이탑재된 2개의듀얼소켓노드로구성되었습니다. SPECint2006_rate SPECfp2006_rate 프로세서 프로세서수 코어 스레드 메모리 결과와벤치마크날짜 Power8 결과비교 Power8 4 24 192 512GB 1,750 5월 14일 100% Intel Xeon E7-8892 v2 4 24 48 1TB 1,200 5월 14일 -46% Intel Xeon E5-4607 v2 4 24 48 512 905 4월 14일 -93% POWER8 4 24 192 512GB 1,370 5월 14일 100% Intel E7-8893 v2 4 24 48 1TB 1,060 5월 14일 -29% Intel E5-4607 v2 4 24 48 1TB 766 4월 14일 -79% 9

POWER8과 x86 프로세서의최고성능을비교하기위해표에서유사하게구성된 Intel E7 시스템의결과를선택했습니다. POWER8 기반시스템이 Xeon E7 기반시스템보다정수 (integer) 워크로드에서 46% 그리고부동소수점테스트에서 30% 앞선것을볼수있습니다. POWER8과 Intel 서버칩의대부분을차지하는 Intel E5 프로세서를비교하면그차이는더욱극명해집니다. E5 프로세서는 E7 칩처럼고가는아니지만좋은성능을제공합니다. Power 시스템과같이 4개의프로세서 (24코어) 로구성된 E5 프로세서를지원하는시스템에서가장높은결과를선택했습니다. 이렇게벤치마크를선정하여도 POWER8 시스템의점수가가장높은 E5 정수 (integer) 점수의두배그리고부동소수점결과에서는 79% 높은성능을나타냈습니다. 이러한벤치마크가흥미롭고의미가있지만, POWER8이빅데이터및분석워크로드에서얼마나뛰어난성능을보이는지를나타내는것은아닙니다. 안타깝게도아직은시스템의일반적인분석기능에대한산업표준벤치마크가수립되지않았습니다. 또한, 현재빅데이터 / 분석벤치마크의경우일반적으로사용할수있는결과가많지않습니다. IBM이새로운 POWER8 시스템을최적의빅데이터 / 분석솔루션으로포지셔닝하고있으므로, POWER8 성능을뒷받침하기위해 IBM이제공한첫번째벤치마크중일부가빅데이터 / 분석과관련된기준임은당연한일일것입니다. 24 코어 POWER8 시스템은 Intel Ivy Bridge 기반시스템과비교하여 67% 빠른성능을 관련시스템성능 제공합니다. 두시스템모두 24코어, 384GB 메모리및같은 Linux/DB2/Cognos 10.2 소프트웨어스택으로구성되었습니다. 또한, IBM은하둡의경우상당히많은투자를했습니다. IBM의 POWER8 출시이벤트에서다음과같은결과와왼쪽의도표를공개했습니다. * POWER8 S822L 은최고사양의 x86 시스템보다 2.5 배뛰어난성능을제공할것이며계속해서훨씬탁월한 RAS 를제공할것입니다. 10

이는 POWER8 TeraSort 벤치마크가오퍼링에있다는의미입니다. TeraSort 는시스템이분석을 위해대용량 (10TB) 데이터를생성, 정렬및확인하는데걸리는시간을측정하는하둡기반 벤치마크입니다. 몇몇주요공급업체에서자사시스템의 TeraSort 점수를공개했습니다. 가장최신보고서중하나는 Cisco의 2013년 8월보고서로 HP의 2012년 TeraSort 결과를앞질렀습니다. IBM이 POWER8과 TeraSort로 Cisco와 HP를모두누를것으로보입니다. 경제성 : POWER8 과 x86 비교 IBM의새로운 Linux 구동 POWER9 기반시스템은구성이비슷한 x86 시스템보다비용우위를유지할것입니다. 예, 비용우위 라는말이맞습니다. 2012년초 Power Linux 시스템을처음출시하면서 IBM은같은급의 x86 솔루션보다구매비용이낮고, 운영비용도낮지만, 성능은뛰어난시스템을제공하겠다고약속했습니다. 실제로 IBM POWER8 하드웨어가격은 HP 또는 Dell이비슷한구성의 x86 시스템에책정한가격과큰차이가없습니다. 그러나고객은 Linux 지원에비용을더적게지불하고가상화같은시스템도구 (VMware가아니라 KVM 사용 ) 에는더적은비용을지불하게될것입니다. 이러한부분과 POWER8의 x86 대비뛰어난성능이합쳐지면고객은 x86 시스템에지불한비용과같은비용으로최소 20% 이상의성능을확보할수있습니다. 일부애플리케이션에서는 POWER8의 x86 대비가격 / 성능이점이 20% 보다훨씬클것입니다. POWER8 개방성강화 IBM은 POWER8을소개할때칩과박스에대해언급하지않았습니다. 대부분대화와뉴스가 POWER8 플랫폼상에서개발하는업계참가자의그룹인새로운오픈파워파운데이션에집중되었습니다 (http://openpowerfoundation.org/). 이러한컨소시엄은누구나아는기술기업 (Google, 삼성, NVIDIA, Micron, Mellanox 등 ) 과그보다는잘알려지지않은기업 (Inspur, ZTE, Xilinx 등 ) 으로다양하게구성되었습니다. 11

IBM의 POWER8 프로세서가지원하는진정한새로운개방형플랫폼을위한에코시스템을구축할기회가다양한파트너를함께모이게했습니다. 흥미로운점은 IBM이아니라 Google이의장직을맡고있고 IBM이사장직을맡았다는것입니다. 나머지이사진은 NVIDIA, Mellanox, Altera, Tyan 및다른파트너의대표로구성되어있습니다. 가장큰서버고객인 Google은시스템성능, 가격 / 성능, 효율성등의부문을더발전시키는데관심이매우높습니다. Mellanox와 NVIDIA는다른파트너와함께각각 I/O와컴퓨팅효율성을극대화하는작업을진행하고있습니다. 지난 3월 NVIDIA가고속 NVLink( 현재기술보다 5~12배빠르게상호연결하는시스템 ) 를출시했을때, IBM의 Power Systems에서이를조기에도입했다고발표했습니다. 컨소시엄에는 Inspur, ZTE, Servergy 같은시스템공급업체도있습니다. 이러한업체는 x86 시스템및심지어 IBM 브랜드인 Power Systems의대안으로서자체적인 POWER8 기반시스템을개발, 생산및판매할수있을것입니다. 경쟁이치열한시장은최종사용자에게더많은선택권을주고공급업체는고객의선택을받기위해지속적으로제품및가격을개선하게합니다. 오픈파워파운데이션에합류한파트너는모두자신만의이유가있지만, 이러한개별적인목표추구를통해플랫폼은더빠른속도로발전할것입니다. 요약및추천 새로운 POWER8 프로세서와관련시스템은단순히새로운칩이아닙니다. POWER8의기술변화 ( 기본적으로 리틀엔디언 메모리순서로의전환 ) 는사용자에게많은 Linux 애플리케이션을수정없이사용하거나간단히다시컴파일하여사용할수있게해줍니다. 새로운 POWER8 프로세서를통해플랫폼에서실행될수있는 Linux 애플리케이션이획기적으로증가했습니다. 이렇게많은애플리케이션이 IBM의 POWER8 플랫폼요금과결합되었을때 x86을상대로시장에서경쟁할수있을것입니다. 공급업체가고객에게더큰가치를제공하기위해경쟁함에따라이러한경쟁의진정한수혜자는고객이될것입니다. 오픈파워파운데이션은 IBM에게새로운장을열어줍니다. IBM이파트너에게전체하드웨어플랫폼을모두개방한것은 POWER8이처음입니다. 지금의치열한하드웨어시장을감안하면매우적절한행보입니다. 12

POL03195-KRKO-00 오픈파워파운데이션은 POWER8 플랫폼을경쟁우위를확보할수있게해줄도구로보는매우의욕적인기업을한데모았습니다. 컨소시엄참가회사는뒤쳐지는업체가아닙니다. 참가한기업은각자의분야에서선도업체이며 Google의경우전세계에서가장큰 IT 소비자입니다. POWER8 시스템이성장하고오픈파워파운데이션이물살을타기시작하면서서버구매자의마음을사로잡기위한경쟁을목격하게될것입니다. IBM은새로운하드웨어, 개방적인태도및컨소시엄파트너를통해상당한시장점유율을확보하기에좋은포지션을형성했습니다. 하지만쉽지는않을것입니다. 데이터센터근무자의대부분이 x86 시스템이외에는익숙하지않으므로 POWER8이검토해볼충분한가치가있음을설득해야할것입니다. Intel과 AMD 같은기존의 x86 업체도손을놓고만있지않고주도권을빼앗기지않기위해최선을다할것입니다. 이는 IBM에게그리고 POWER8과한배를탄모든이에게어려운과제가될것입니다. 물론 IBM과오픈파워파운데이션에유리한요소도있습니다. 먼저, 많은고객이빅데이터 / 비즈니스분석목표가시설과예산제한이라는벽에부딪히는시점이곧올것입니다. x86과비교하여뛰어난 POWER8의성능은이러한고객의관심을끌게될것이며, 특히기존데이터센터공간의일부에얼마나더강력한프로세싱파워를설치할수있는지알게되면더욱큰주목을받게될것입니다. 이제 POWER8 시스템은사실상어떤 Linux 패키지든지실행 ( 수정없이또는다시컴파일해서 ) 할수있다는점이이러한 Linux 시스템을사용하려고계획하고있는고객에게큰이점으로작용할것입니다. 경쟁모델인 x86 솔루션보다 20~30% 저렴한서버구매비용은많은고객에게최소한데이터센터에서테스트할기회를주게할것입니다. 컨설팅회사로서당사는새로운 POWER8 시스템이 x86 서버시장을뒤흔들어놓을것을예상하고있습니다. 새로운 POWER8 시스템의성능, 애플리케이션가용성및가격은컴퓨팅집약적애플리케이션을위해더큰성능이필요한고객에게획기적인전환점이될수있을것입니다. 본문서는발행자의사전서면허가없이는어떠한형태로도복제또는전송할수없습니다. 언급된제품및회사의모든상표와등록상표는해당소유자의재산입니다. 이책에포함된정보는신뢰할만한출처로부터제공된것입니다. Gabriel Consulting Group은본보고서의완전성, 정확성또는적합성을보장하지않으며이보고서에포함된정보의오류, 누락, 부적합성또는번역본에대해책임을지지않습니다. 본문서의의견은발행당시 Gabriel Consulting Group의판단을반영하는것이며통지없이변경될수있습니다 13