데이터중복제거기술기반의 차세대백업구현사례 최성재차장 (choi_sung@emc.com) EMC Korea 1
발표순서 1. 백업환경의현실 2. Avamar 기능개요 3. 각사례별구성방식및효과 4. Why EMC Avamar 5. 질의응답 2
백업환경의현실 막대한데이터증가추세백업소요시간의증가테이프의빈약한성능과신뢰성이백업환경의저해요소로작용원격지사에서관리하는데이터의증가백업데이터의활용방안부재 3
Global Data -lication 구성및 Architecture 백업데이터복제및활용 4
솔루션개요 Commonality Factoring Technology 백업데이터의획기적인절감 모든백업데이터의분석을통해반복되는동일데이터를소거 (Elimination of duplicate data) 백업데이터의압축 Incremental Forever + -duplication + Compression = Commonality Factoring Data Application Server with AVAMAR Plig-Ins 주기적인 Full Backup 에서해방 Incremental forever 방식 한번 Full 백업과매일 Incremental 백업이가능하며, 복구시복구미디어의혁신적인감소 백업데이터복제를통해백업서비스의가용성증대 백업데이터의가용성증대 AVAMAR Filesystem 을통해백업데이터에대한직접적인검색 / 공유 / 아카이빙 /Remote 복제등이가능 Commonality Factored Application Server with AVAMAR Plug-Ins Compression -duplication Incremental Backups AVAMAR Servers 검색 LAN 5
-duplication 개념 (1) Within a System & Within a File Kick-off 자료 기존백업 S/W 1st Full Avamar 1st Full 과거 2005_Kickoff.ppt 23MB All 2007_Kickoff.ppt 25MB All 2006_Kickoff_v2.ppt 27MB All 2008 2007_Kickoff.ppt 25MB All 100 40 단일서버에서의중복제거로인한백업데이터절감효과확인 6
-duplication 개념 (2) Within a System & Within a File + Time 기존백업 S/W Avamar 2005_Kickoff.ppt 25MB 1st Full All 2nd Inc 3rd Inc 4th Full All 1st Full 2nd Full 3rd Full 4th Full 2007_Kickoff.ppt 23MB All All 2006_Kickoff_v2.ppt 27MB All All 2007_Kickoff.ppt 2008_Kickoff.ppt( 이름 ) 25MB 25MB All All All All 2008_Kickoff.ppt( 내용 ) 25MB 100 25 25 100 40 0 5 0 250 45 시간의흐름에따라 -dup 의효과가커짐 x5 배 7
-duplication 개념 중복제거로인한백업데이터절감효과 - 시간 Primary Data Storage: 50TB Daily Cumulative: 8TB Weekly Cumulative: 48TB Weekly Full Backups: 50TB 98TB Primary Data Storage: 50TB Avamar Daily Backup: 5TB Avamar Weekly Backups: 3.5TB Weekly Full Backups: N/A 3.5TB 95+% Less 8
Cumulative TB -duplication 개념 중복제거로인한백업데이터절감효과 - 시간 250 전통적인백업 vs. EMC Avamar 시간의흐름에따른백업저장용량의비교 200 150 100 50 0 192 176 160 144 128 112 96 96 88 80 80 72 64 64 56 48 48 40 32 32 24 16 16 3.2 8 3.4 3.6 3.8 4 4.2 4.4 4.7 4.9 5.1 5.3 5.5 WK1 WK2 WK3 WK4 WK5 WK6 WK7 WK8 WK9 WK10 WK11 WK12 EMC Avamar Traditional Backup w/compression(2:1) Traditional Backup 12 주기준으로 95% 이상의백업데이터절감효과 Total Cumulative Storage : 10TB MS office file data (Traditional = Weekly Full's + Daily Incremental vs EMC Avamar = Daily Full's) 9
-duplication 개념 서버들간의중복제거 Global 네트워크상에서로다른클라이언트에동일문서파일이존재한경우 네트워크상에서로다른클라이언트에동일문서파일이존재한경우 문서 A 문서 A 문서 A 문서 A 문서 A 문서 A문서A 문서A 문서A 문서 A 문서 A 문서 A 문서 A 문서 A 문서 A Backup device 전형적인백업 : 기존백업장비에복수개의동일파일을백업함 문서 A Backup device Commonality Factoring generates Single-Instance Store 10
중복제거동작원리 1. Sticky Byte Factoring Chunk 생성 (variable length size) 2. Compression 압축된 Chunk 생성 (50% 효율 ) 3-a. Hash Atomic Hash 생성 (20byte) 3-b. Composite Hash Composite Hash 생성 ( 반복 ) 3-c. Commonality Root Hash 생성 4. 존재여부확인 Avamar 저장여부결정 11
Commonality Factoring 동작원리 US 특허 No. 6,810,398 시작 파일스캔 Step1 Sticky-byte Factoring 기술에의한 Chunk 생성 Step2 Simple 압축 50% 01000101010101010000101110101010001010101010101010010101001010100001001100100010 10001010100001010001111001010010001001101001000010100000100101 10100100001010000010100101010010100000010100101111100101101000010011110 3k 8k 25k 9k 6k 17k 12k 2k 4k 13k 5k 3k 9k 6k Step3a 각 Chunk 에대한 Atomic Hashes 12
Commonality Factoring 동작원리 Step3a Atomic Hashes Step3b Hash 들을적당한개수만큼조합 Step3c Root hash 가생성될때까지반복작업수행 Root Hash 13
Commonality Factoring 동작원리 Step4 Avamar 서버로 Hash 의존재유무를질의하고있을경우 Hash 및백업정보만저장하고종료 Present? Yes 14
백업시스템기본구성도 Application Server With AVAMAR Plug-Ins Windows AVAMAR Server Utility Node Network Linux Storage Node Unix AVAMAR Console 15
혁신적인아키텍처 RAIN (Redundant Array of Independent Nodes) 아키텍처 서버노드페일오버및내결함능력제공 온라인확장성 특허방식 AVAMAR 서버노드 (2U) 각각디스크스토리지와 CPU 내장 온라인확장및성능향상을위한그리드아키텍처 스토리지노드간패리티 US 특허 No. 6,826,711 AVAMAR 서버 확인된체크포인트 SAN 또는내부디스크스토리지지원 매일의무결성점검 디스크장애에대한 RAID 보호 유틸리티및예비용노드 16
복제및암호화 고효율 : WAN을통한효율적인복제 (~300:1) Local Backup 장애시리소스이동으로즉각서비스정상화 128비트 AES 암호화유연성 : 단방향, 양방향, 일대다, 다대일설정가능비동기식, 스케줄가능 Application Server With AVAMAR Plug-Ins Application Server With AVAMAR Plug-Ins Windows Linux Network AVAMAR Server Utility Node Storage Node WAN AVAMAR Server Utility Node Network Storage Node Windows Linux Unix Unix AVAMAR Console AVAMAR Console Datacenter DR/Remote Center 17
백업데이터의활용 AVAMAR FileSystem 일반파일시스템과동일한 View 제공 데이터불러오기 / 탐색하기 백업된데이터를 Restore 하지않고, 빠르게정보를 access 할수있다. 메타데이터를이용한검색 사용자는종종파일이름이나저장된곳을잊어버린다. 사용자는데이터의위치를모르더라도빠르게찾을수있기를기대한다. File Systems Directories Files Over Time Even Load Balancing and Distribution US 특허 No. 6,704,730 Storage Node1 Storage Node2 Storage Node3 18
Meta data 검색 ( 검색기능활용사례 ) 잠재적내부정보거래위반 J smith( 스미스 ) 과장은사외제 3 자와내부정보거래에대해의심을받고있다 *.doc, *.txt, *.xls jsmith 06/01/2005 06/30/2005 회사는다음조건으로모든문서를검색할수있다 스미스과장이작성한문서 file 확장자가 doc,.txt,.xls 인문서 2005 년 06 월 1 일부터 2005 년 06 월 30 일까지수정된내용 Search Results acme_corp_info.doc 548 K 06/21/2005 02:42 pm jsmith js1108 zulu_pricing.doc 454 K 06/07/2005 08:47 am jsmith js1108 info.doc 174 K 06/01/2005 01:45 pm jsmith js1108 memo_612.doc 345 K 06/12/2005 11:00 am jsmith js1108 memo_627.doc 375 K 06/27/2005 01:56 pm jsmith js1108 price_gap.txt 38 K 06/18/2005 03:15 pm jsmith js1108 spread.txt 25 K 06/28/2005 09:20 am jsmith js1108 trading.xls 324 K 06/16/2005 06:11 pm jsmith js1108 September Copyright 15, 2008 2005 EMC Corporation. All rights reserved. 19
지원되는클라이언트플랫폼과애플리케이션 운영체제 Windows, Linux Solaris, AIX, HP-UX Mac OS X 애플리케이션 : Microsoft Exchange Server Microsoft SQL Server Oracle DB2 NDMP for NAS filters (EMC Celerra 및 NetApp) VMware ( 게스트레벨및 VCB 지원 ) 20
21
Avamar 구축사례 #1 데이터복제 L 사 Oracle DB 복제사례 ( 도입전 ) 도입전 - 로컬센터 운용서버 백업서버 백업환경 : 단일 Network 백업환경구성 일일백업용량 : 500GB Oracle DB 백업방법 : DAS 형태백업 + Network백업 백업데이터의소산은 Tape의물리적인이동을통해재난대비 대상 : SAP Oracle DB (500GB) 데이터중복제거기술기반의차세대백업 / 복구솔루션 22
Avamar 구축사례 #1 데이터복제 L 사 Oracle DB 복제사례 ( 도입후 ) 로컬센터 ( 아셈타워 ) 원격센터 ( 이천센터 ) 운용서버 Avamar 원격백업 대상 : SAP Oracle DB(500GB) 거리 : 약 100Km 전송대역폭 : T1 전송회선 : 1ea 복구 DR 서버 Oracle Recovery manager를이용백업및복구 Archive Log 백업및복구방식 단순압축및복제 Solution과의차별 복제 / 압축솔루션의효과 : ~50% 의전송 Data 절감효과 필요에따라 Database 전체혹은추가 Datafile/Tablespace 복제 23
Avamar 구축사례 #2 백업개선및 DR S 산업대학교 ( 도입전 ) 백업환경 : 학사행정및 email 자료에대한백업을 Symantec 를통해백업진행 일일백업용량 : 500GB 이메일, 웹서버 학사행정 백업방법 : DAS 형태백업 + Network 백업 백업시간 : DB 6 시간파일 12 시간 복구예상시간 : 12 시간내 Incremental Forever + -duplication + Compression = Commonality Factoring Symantec NetBackup Data Application Server with AVAMAR Plig-Ins 24
Avamar 구축사례 #2 백업개선및 DR S 산업대학교 ( 도입후 ) 백업환경 : Avamar 를통한 1 차백업후원격지 Avamar 서버에 2 차복제, 복제된 Data 중소산에필요한데이터를 Tape 으로생성하는 3 차백업 백업방법 : 1,2,3 차에걸친백업 DR 구현 백업시간 : Oracle, SQL DB 백업 3 시간이내, 파일백업 3 시간이내 복구시간 : 6 시간이내복구 Avamar 를통한 N/W 백업을수행하지만, -duplication을통해최소변동분만백업 Avamar 서버간주기적인원격지백업데이터복제 로컬 Avamar 백업서버장애시 Remote 서버로백업 / 복구가가능 원격센터에서 Avamar 파일시스템을 Mount하여 NetWorker로 Tape 소산 Oracle 무중단백업환경구현 25
Avamar 구축사례 #3 PC 백업환경 T 제조사 ( 도입전 ) 주요업무서버및 130 여대의 PC 백업 ERP Server Application Server 자동화된 PC 백업 Local 환경뿐아니라, 출장에따른 Internet 환경에서백업 업무관련데이터에대한 Auditing Backup Server Commonality Factored Application Server with AVAMAR Plug-Ins LAN PC User Compression -duplication Incremental Backups AVAMAR Servers 26
Avamar 구축사례 #3 PC 백업환경 T 제조사 ( 도입후 ) 백업환경 : Avamar 를통한 PC 및주요업무의 효율적백업환경구축 Avamar 파일시스템적용으로백업 Data 의 ERP Server Application Server Intern et 다양한활용 ( 검색 ) 복구환경 : 단순복구환경의경우단몇분이내의 Offline Use 복구환경제공 Client s Avamar Server Avamar Filesystem 을통해백업데이터에 대한직접적인검색 / 공유 / 아카이빙 / 원격복제등이가능 항상 Full Backup 수행, Incremental Backup 이없음 27
Avamar 구축사례 #4 Many file, Large filesystem S 사 ( 도입전 ) Windows Clients 백업현황 : Veritas NetbackupExec 을통해 Network 백업, 천만개이상의잔파일에대한 Issue Backup Svr 일일백업용량 : 일일 2TB, 주말 5TB, Network/Direct Backup LAN Exchange, SQL 시간 : 주중 18 시간이상, Full 백업은 DB 경우 6 시간, 파일경우 3 일이상소요 백업방법 : 주중 Incremental, 주말 full 백업, SQL DB Hot backup 복구예상시간 : 목표 24 시간이내, 실제거의실패 28
Avamar 구축사례 #4 Many file, Large filesystem S 사 ( 도입후 ) Windows Clients 백업현황 : Avamar 를통한 Daily Full 백업 백업방법 : 매일 Full 백업, 백업시간 8시간이내 복구예상시간 : 12 시간내풀복구 디스크백업환경구축 LAN Exchange, SQL, Oracle Avamar Server Total 1000 만개이상의데이터에대한 백업및 SQL /Oracle DB 백업 주 Issue 는잔파일에대한백업 백업시간 : 5TB 데이터에대한매일 Full 백업이 8 시간이내 29
Why EMC Avamar 중복기술을통해기존백업의문제점을해결 백업량, 백업시간의획기적인절감 백업및복구의신뢰성및안정성 다양한환경에서의효과적인백업구축 Many File 환경 ( 수백만 ~ 수천만 ) Vmware 환경 Internet을통한백업환경 Remote office(wan) 환경등 Beyond Backup 자동화된백업데이터의소산 혁신적인복제기술을통한백업서비스의고가용성을증대 TCO 절감 기존백업 Infra변경없이백업구축이가능 3년간전통적인백업을사용할경우와비교하면 50% 이상의 TCO절감 30
31