클라우드데이터가상화솔루션 CDV(Cloud Data Virtualization)
스토리지의기하급수적팽창 카피데이터 $44B 문제 전체디스크용량의 60% 소비 스토리지소프트웨어비용의 65%, 하드웨어비용의 85% 차지 Analytics Test & Dev BC/DR Snapshot Backup Production *IDC Insight document (#239875)
Data is Locked In PRODUCTION DATA BU/SNAPSHOT BC/DR DEV & TEST COMPLIANCE ANALYTICS Physical IT Virtual IT IT Manager Silo 1 Silo 2 Silo 3 Silo 4 Silo 5 EXCESS REDUNDANCY, COST, COMPLEXITY, INFLEXIBILITY, AND TIME
Virtualizing The Stack SERVER VIRTUALIZATION NETWORK VIRTUALIZATION COPY DATA VIRTUALIZATION 2010+ 2012+ 2014+ COMPUTE NETWORK STORAGE Commoditization of Hardware & Service Virtualization Through Software
어플리케이션데이터구조 - 데이터가상화플랫폼 : CDV(Cloud Data Virtualization) IP NETWORK DISCOVERED APPS 데이터보호 개발 / 테스트 복제본생성스토리지이중화 재해복구 SNAPSHOT POOL SNAPSHOT POOL Production SAN NAS DAS DEDUP POOL VIRTUAL DATA PIPELINE DEDUP POOL VIRTUAL DATA PIPELINE PRODUCTION DATA VIRTUALIZATION PLATFORM
Radical Simplification Development / Test SLA Management WAN Optimization H/W Independence Backup Dedup Networker Avamar Disk Library IBM CDV (Cloud Data Virtualization) Avamar DataDomain Data Protector StoreOnce SnapVault CommVault SyncSort ASIS CommVault S I M P L I F Y FalconStor VTL NetBackup Backup Exec Veritas Storage Foundation NetBackup Appliance TSM FilesX ProtecTier Replication AppSync RecoverPoint VPLEX SRDF RM Remote Copy Continuous Access SnapMirror InMage True Copy Dynamic Replicator VVR ApplicationH A MetroMirror GlobalMirror GlobalCopy Snapshot TimeFinder SnapView Virtual Copy EVA Snapshot SnapShot Shadow Image CoW Snapshot Veritas Storage Foundation FlashCopy
전체 4U 시스템 IBM CDV 구성 (Physical Appliance) Node 1, 2 와 Cache Battery 로구성되어있으며, 데이터저장을위한 SAN 스위치와스토리지로 구성되어있습니다. Node 1(1U) IBM CDV Cache Battery(1U) Node 2(1U) 범례 1Gbps NIC 10Gbps NIC 8Gbps FC SAN SAN 스위치 (1U) CDV 스토리지 V3700(2U)
Sky (Virtual Appliance) 분산된엔터프라이즈환경을위한카피데이터가상화솔루션 소프트웨어기반데이터가상화솔루션 원격사무소, 클라우드및데이터센터까지확장가능한옵션기능제공 광범위한애플리케이션및다양한 O/S 플랫폼지원 수분이내프로비저닝 네트워크에최적화된데이터복제 비즈니스요건에맞춘 SLA 기반으로애플리케이션중심데이터관리 SKY SPECIFICATIONS VMware ready for data protection Used in conjunction with CDV Dedup replication Supports out-of-band integration Multiple lower capacity packages to begin
획기적인스토리지비용절감 CDV는카피스토리지 (PROD를제외한 ) 복제용량, 백업비용을획기적으로줄일수있습니다. CDV 적용전 원본데이타 10 TB 복제본 1개 10TB Snap 7개 3TB 일백업 5일 50TB 주백업 4주 40TB 필요용량 : 103TB 백업소산 4주 40TB DR 10TB 필요용량 : 153TB CDV 적용후 원본데이타 10 TB 1. 복제본 : 8개 2. 일백업 : 14일 3. 주백업 : 12주 4. 월백업 : 6개월 필요용량 25TB 1. DR본 : 1개 2. DR본제본 : 8개 3. 일백업 : 14일 4. 주백업 : 12주 5. 월백업 : 6개월 필요용량 25TB 153TB vs. 50TB(33%)
아키텍처개념 : 새로운접근방법 Production Data SAN NAS DAS 1 처음 1 회만전체데이터를조회이후, 변경된블럭만조회 2 중복제거된데이터만을저장 / 전송 4 통합관리정책기반그룹, APP 단위로관리 COPY DATA 백업 복제본 BC/DR 개발 / 테스트 ARCHIVING 3 다양한용도로복제본을즉시사용가능 ( 읽기 / 쓰기 )
핵심기술 : 변경된부분만저장 / 전송 변경된블록만을읽어서처리 (zero backup window) 백업을즉시마운트하여즉시업무복구 (zero restore window) Incremental restore for BC DR 을즉시마운트하여복구가능 (zero restore window) 중복제거된블록만을전송 (80% less bandwidth) 원하는즉시백업을복제본으로사용가능 ( 읽기 / 쓰기모두가능 ) 원하는즉시 DR 을복제본으로사용가능 ( 읽기 / 쓰기모두가능 ) 중복제거하여저장 (90% less storage) Site A 백업및복구시간최소화 Site B 네트워크대역폭최대 80% 절감 스토리지비용최대 95% 절감
One Solution : 카피데이터가상화 CAPTURE SLA 기반에따라블럭레벨로, 원래포맷 (Native Format) 의데이터 MANAGE 한번만의이동으로물리적카피를생성하여어디든저장 USE 즉시액세스와보호를위한무제한의가상카피 DATA PROTECTION DATA INSIGHTS Virtual Data Pipeline BUSINESS CONTINUITY DATA MOBILITY GOLDEN COPY OF PRODUCTION DEV & TEST OTHER
C A P T U R E M A N A G E U S E NATIVE FORMAT CHANGE BLOCKS INCREMENTAL MERGE GLOBAL DEDUPE 즉시마운트활용 데이터변형을위한성능불이익제거 첫번째카피이후변경된블록만카피 변경된데이터를모아가상의포인트인타임카피제공 즉시액세스가능 스토리지절감 중복된데이터이동최소화 스토리지절감
C A P T U R E M A N A G E U S E SINGLE PANE OF GLASS D A T A C E N T E R E D G E P R I V A T E C L O U D P U B L I C C L O U D SLA ARCHITECT SLA 기반의관리 데이터라이프사이클관리 WORKFLOWS 테스트, 개발, QA 등을위한데이터관리자동화 GLOBAL MANAGER 데이터센터, 지역, 클라우드를통합관리
C A P T U R E M A N A G E U S E PROD COPY DATA VIRTUALIZATION PLATFORM LIVECLONE INSTANT MOUNT 읽기 / 쓰기가능한가상의데이터카피제공 불필요한데이터이동제거및신속한액세스 LIVECLONE 스케줄기반으로변경분만적용하여클론리프레시 DEDUP ASYNC 중복제거된데이터만전송 네트웍대역폭절감
기존백업방식과의차별성 IBM CDV 는기존의재래식솔루션의문제점인백업소프트웨어연동, 데이터리스토어시간의초과, 서비스재개등의해결을위한플랫폼을제공합니다. 구분 테이프라이브러리 중복제거 VTL IBM CDV 백업속도 빠름 빠름 매우빠름 중복제거 X O O 백업소프트웨어연동 O O X 백업시, 업무영향 O O X 데이터리스토어 아주느림 아주느림 수분 ~ 수십분 서비스재개시간 최소 4시간이상 최소 4시간이상 즉시업무재개 백업본활용 X X O
카피데이터활용 ( 신규프로젝트, 개발 / 테스트 ) CDV 는기존스토리지솔루션의기술적한계를넘어이기종지원과다양한업무에복제본활용을극대화 할수있습니다. CDV 적용전 CDV 적용후 BCV#1 개발 1 팀 소스 BCV#1 BCV#2 개발 1 팀 개발 2 팀 BCV#2 BCV#N... 개발 2 팀 개발 N 팀 BCV#3 개발 3 팀 IBM CDV 동일벤더 / 등급의스토리지에서만구현 용량확보를위한스토리지용량증설이필요 용량증설에따른라이선스추가도필요 이기종스토리지지원 적은용량으로다양한서비스활용가능 이미구매하였다면복제를위한추가라이선스불필요
개발프로세스 Code Check In, Frequent Builds SANDBOX DEV AQA QA UAT / STAGING Quick Iterations Compute Provisioning 예 : Vmware Application Configuration 예 : Puppet/Chef Data :???
Speed Problem DBA Creates copies & masks data Prototype DEV AQA QA UAT Dev requests copy. Tickets opened. Compute & storage is provisioned Change Management Request SLA 1 2 weeks SLA 1 week SLA 1 week Ex: The initial copy + 5 physical copies of 5 TB over 1 Gbps will take 5 days The same process and time is needed every time data refresh needs to be done Developer gets a masked copy Production Data First Copy
Quality Problem : Inconsistent Data Unit Testing Works Great!! Automated Integration Testing Works! Manual QA Testing Works It Does Not Work!!!!!! Prototype DEV AQA QA UAT Production 더미 (dummy) 데이터사용의문제 Can t test scalability early Can t test boundary conditions early Bugs surface too late in DEV cycles 결과 Poor Quality Delayed Releases CRITICAL STAGES Dev vs Ops Blame Game
신속하고비용효율적개발환경적용방안 적용배경 : 시장경쟁력강화를위해신속한데이터리프레쉬 / 용도에따른개별개발본제공 / 스토리지비용절감 Before CDV After CDV PROD Backup Server Tape Test/Dev PROD Backup Server CDV Test/Dev Restore Instant Mount 50TB SRDF 50TB 50TB 50TB SRDF 50TB 분기별로데이터리프레쉬 4 개의개발팀에오직하나의테스트 / 개발환경제공 카피데이터 요청시즉각적인데이터리프레쉬 개발자들에게 4 개이상의테스트 / 개발환경제공 적용효과 Before After 개선점 테스트개발환경구축시간 8일 0.5일 16배신속 스토리지절감 200TB 90TB 55% 절감 비용절감 하이엔드스토리지 미드레인지스토리지 업무프로세스개선 여러인프라담당자협조필요 즉시구성가능 생산성향상
유연하고비용효율적인 DR 적용방안 주센터 RPO 0 RPO 수시간 RPO 수일 적용방식 : 다양한복제방식지원으로 RPO/RTO에따라투자가능 RPO RTO 구성방식 비용 0 ~ 수초 수분 Sync/Async 고 수시간 ~ 장기수분 Dedup Async 저 SAN 기존방식대비차별성및적용효과 차별성기존방식액티피오방식 WAN Sync Async Dedup Async RPO 0 RPO 수시간 SAN DR 센터 RPO 수일 테스트 / 개발환경구축 즉각적인서비스재개 내장디스크복제 DR 볼륨의활용 통신회선비용절감 손쉬운재해복구훈련 복잡한하드웨어재구성 불가능 Data Query(Read Only) 용도로만가능 ( 이경우추가적으로 DR 볼륨의 BCV 필요 ) 고가의통신장비및큰네트웍대역폭필요 기존운영환경에영향을주고복잡한절차필요 즉시마운트기능활용 가능 개발 / 테스트 (Read/Writeable) 등의실제업무에활용 IP 네트웍과 DedupAsync 기술활용 독립적인훈련및단순한데이터정합성검증절차
Executive Summary CDV 는카피데이터가상화를통해 TCO 절감을위한데이터보호환경을위한최적의솔루션으로비용절감, 즉시백업 / 복구및 DR, 관리단순화, 카피데이터활용을극대화할수있습니다. 추진목표 추진내역 기대효과 1 스토리지비용절감 사일로 (silo) 된기존솔루션을통합솔루션으로대체하여스토리지용량절감 중복제거기술을통한용량최적화 스토리지관련비용 (H/W, S/W) 약 70% 절감 데이터장기간보관가능 2 즉시백업 / 복구및비용효율적 DR 장시간의백업시간개선 복구시간최소화하여업무연속성제고 복제데이터최소화하여업무데이터 DR 즉시백업 즉시복구및즉작적인서비스재개 DR 비용 80% 절감 ( 통신회선, 통신장비비용 ) 3 관리단순화 복제, 백업, 가상화를하나로통합 운영관리프로세스단일화 별도의백업서버없이백업및복구 하나의솔루션으로관리단일화 4 카피데이터활용 신규업무개발및테스트에필요한데이터로활용 어플리케이션또는 DB 업그레이드사전테스트로활용 추가적인스토리지불필요 운영데이터를활용한실질적인테스트가능
24
비용절감효과 IBM CDV는재래식스토리지솔루션과비교하여불필요한백업에이전트비용, 백업용량에따른라이선스비용추가, 스토리지내부 / 원격복제솔루션비용, 회선비용등을절감할수있습니다. A Agent Agent 비용 마스터비용 C Capacity No Agent 비용 No 마스터비용 A A A M Master A A A. M. 추가비용비용절감 C C C C C PTL 또는 VTL VTL/PTL 백업용량라이선스 SAN Fabric 백업수행 C C PROD 내부복제 BCV Main 스토리지 C 전용회선 원격복제 C 내부 / 원격복제용량라이선스 BCV 비용 DR DR 스토리지 동일벤더 / 동일기종 스토리지도입 / 증설 PROD No 내부복제 Main 스토리지 SAN Fabric 낮은회선대역폭 No 내부 / 원격복제라이선스 No 백업용량라이선스 DR DR 스토리지 이기종스토리지적용
기존백업방식과의차별성 : 편리한 DB 로그백업및복구 LogSmart TM Powerful SLA management for Oracle and SQL 데이터베이스와로그백업정책을하나의 SLA 에서정의함으로써편리하게관리 로그관리의자동화 ( 백업후정책에따라삭제 ) GUI 를통해손쉽게시점 (Point-In-Time) 복구자동화및원하는시점의테스트 / 개발본 Bring-Up 가능 (log roll forward)
기존백업방식과의차별성 : 일부 table 장애시복구방안 운영 DB 데이터중일부 table 장애시 CDV 백업본을별도의 Bring Up 서버에즉시마운트하여 Clone DB 를실행후장애발생한 table 을 export 백업후운영서버로 copy 후 import 하여장애복구 운영 Oracle DB 서버 Bring Up 서버 DB 즉시재시작 번호 복구절차 Table 장애 Export 백업본 백업본즉시마운트 1 복구할시점의백업본선택 2 백업본 Bring Up 서버마운트 SAN Fabric 시점백업본 3 CDV 에서제공하는 customer Clone 스크립트이용하여백업본을 Clone DB 구동시킴 운영볼륨 IBM CDV Copy Data 백업볼륨 4 Clone DB 에서장애난 table 을 export 백업받아운영서버로 ftp 및 rcp 이용파일 copy 5 해당 table export 백업 file 을운영서버에서 import 함 6 장애난 table 을복구시킴 7 DB 에서 table 정상유무확인
데이터보호및다양한업무에데이터활용 백업본즉시마운트 활용사례 상세내용 DB 서버 개발서버 Clone DB 제공 DB 암호화테스트 판촉 DB 업무용 Clone DB 서버 데이터보호 전사데이터통합백업 백업 할당 별도의스토리지용량필요없음 할당 오라클 DB 암호화테스트활용 오라클 DB 암호화테스트를위한별도의테스트 DB 를액티피오백업본이용하여운영및개발서버에업무연속성증가 IBM CDV Copy Storage 판촉 DB 업무분리 고객판촉업무 DB 에서하는 SMS 업무관련하여운영 DB 서버의리소스부하를줄여가용성을확보 운영스토리지 SNAP 백업 DEDUP 백업 개발 DB 본즉시업무재개 액티피오백업본을이용한개발볼륨을생성 스케줄에의한최신데이터를반영