EMC Avamar 소개 CAD/CAM 데이터의획기적인중복제거백업및즉시복구솔루션 1
발표순서 백업환경의현실 Avamar 기능개요 CAD/CAM환경에서의 Avamar 적용사례질의응답 2
3
백업환경의현실 막대한데이터증가추세 백업소요시간의증가 테이프의빈약한성능과신뢰성이백업환경의저해요소로작용 원격지사에서관리하는데이터의증가 백업데이터의활용방안부재 4
Global Data -DuplicationDuplication 구성및 Architecture 백업데이터복제및활용
솔루션개요 백업데이터의획기적인절감 모든백업데이터의분석을통해반복되는동일데이터를소거 (Elimination of duplicate data) 백업데이터의압축 주기적인 Full Backup 에서해방 Incremental forever 방식 한번 Full 백업과매일 Incremental 백업이가능하며, 복구시복구미디어의혁신적인감소 백업데이터복제를통해백업서비스의가용성증대 백업데이터의가용성증대 AVAMAR Filesystem 을통해백업데이터에대한직접적인검색 / 공유 / 아카이빙 /Remote 복제등이가능 Commonality Factoring Technology Incremental Forever + -duplication + Compression = Commonality Factoring Data Application Server with AVAMAR Plig-Ins Commonality Factored Application Server with AVAMAR Plug-Ins AVAMAR Servers Compression -duplication Incremental Backups 검색 LAN 6
차세대데이터보호기술 - -duplication 백업데이터를획기적으로줄이는 -duplication 기술 글로벌데이터중복제거기술 문서 A 문서 A 1 X X X X X X X X X X X X X X X X X X X X X X X X 2 X X X X X X X X X X X X X X X X X X X X X X X X X 3 X X X X X X X X X X X X X X X X X X X X X X X X X 문서 A 문서 A_v2 4 X X X X X X X X X X X X X X X X X X X X X X X X X 5 X X X X X X X X X X X X X X X X X X X X X X X X X 6 X X X X X X X X X X X X X X X X X X X X X X X X X 문서 A 한파일내에서 한서버의여러파일내에서 한서버내에서 멀티서버내에서 데이터최초생성시점이후중복제거 7
-duplication 개념 Kick-off 자료 (1) Within a System & Within a File 기존백업 S/W 1st Full Avamar 1st Full 과거 2006_Kickoff.ppt 23MB All Dup 2008_Kickoff.ppt 25MB All Dup 2007_Kickoff_v2.ppt 27MB All Dup 2009 2008_Kickoff.ppt 25MB All Dup 100 40 단일서버에서의중복제거로인한백업데이터절감효과확인 8
-duplication 개념 (2) Within a System & Within a File + Time 기존백업 S/W Avamar 2007_Kickoff.ppt 25MB 1st Full All 2nd Inc 3rd Inc 4th Full All 1st Full Dup 2nd Full 3rd Full 4th Full Dup Dup Dup 2008_Kickoff.ppt 23MB All All Dup Dup Dup Dup 2007_Kickoff_v2.ppt 27MB All All Dup Dup Dup Dup 2008_Kickoff.ppt 25MB All All All All 2009_Kickoff.ppt( 이름 ) 25MB 2009_Kickoff.ppt( 내용 ) 25MB Dup Dup Dup 100 25 25 100 40 0 5 Dup 0 250 45 시간의흐름에따라 -dup 의효과가커짐 x5 배 9
EMC Avamar 의중복제거효과 - 백업용량절감 12 주기준으로 97% 이상의백업데이터절감효과 (10TB 파일시스템백업 ) 250 200 150 100 50 176 160 16TB 144 3.2TB 128 112 96 80 64 48 32 16 32 34 36 38 4.7 4.9 5.1 5.3 5.5 3.2 3.4 3.6 3.8 4 4.2 4.4 192 0 WK1 WK2 WK3 WK4 WK5 WK6 WK7 WK8 WK9 WK10 WK11 WK12 EMC Avamar Traditional Backup 10
중복제거동작원리 1. Sticky Byte Factoring Chunk 생성 (variable length size) 2. Compression 압축된 Chunk 생성 (50% 효율 ) 3-a. Hash Atomic Hash 생성 (20byte) 3-b. Composite Hash Composite Hash 생성 ( 반복 ) 3-c. Commonality Root Hash 생성 4. 존재여부확인 Avamar 저장여부결정 11
Commonality Factoring 동작원리 US 특허 No. 6,810,398 시작 파일스캔 010001010101010100001011101010100010101010101010100101010010101000010011001000101000 1010100001010001111001010010001001101001000010100000100101 10100100001010000010100101010010100000010100101111100101101000010011110 Step1-Sticky-byte Factoring 기술에의한 Chunk생성 Step2- Simple 압축 50% 3k 8k 25k 9k 6k 17k 12k 2k 4k 13k 5k 3k 9k 6k Step3a- 각 Chunk 에대한 Atomic Hashes 12
20 byte hash 13 20 byte hash 20 byte hash 20 byte hash 20 byte hash Commonality Factoring 동작원리 20 byte hash 20 byte hash 20 byte hash Step3a-Atomic Hashes Step3b- Hash 들을적당한개수만큼조합 Step3c- Root hash 가생성될때까지반복작업수행 Root Hash
Commonality Factoring 동작원리 14 Step4: Avamar 서버로 Hash 의존재유무를질의하고있을경우 Hash 및백업정보만저장하고종료 Present? Yes 20 byte hash 20 byte hash
Commonality Factoring 동작원리 파일변경시 시작 파일스캔 Step1-Sticky-byte Factoring 기술에의한 Chunk 생성 Step2- Simple 압축 50% 10101 010001010101010100001011101010100010101010101010100101010010101000010011001000101000 1010100001010001111001010010001001101001000010100000100101 01101 10100100001010000010100101010010100000010100101111100101101000010011110 11001 3k 8k 20k 9k 6k 17k 12k 2k 4k 10k 5k 3k 9k 6k Step3a- 각 Chunk에대한 Atomic Hashes 20 byte hash 20 byte hash 20 byte hash 20 byt e hash 20 byt e hash 20 byte hash 20 byte hash 15
20 byte hash 16 Commonality Factoring 동작원리 파일변경시 20 byte hash 20 byte hash 20 byte hash 20 byte hash 20 byte hash 20 byte hash Step3a-Atomic Hashes Step3b- Hash 들을적당한개수만큼조합 Step3c- Root hash 가생성될때까지반복작업 20 byte hash 수행 Root Hash
Commonality Factoring 동작원리 파일변경시 Step4: Avamar 서버로 Hash 의존재유무를질의하고없을경우상위 Hash 를계속비교 새로생성된 Chunk 백업 17 3k 8k 20k 9k 6k 17k 12k 2k 4k 10k 5k 3k 9k 6k Save Data Present? Yes No
백업시스템기본구성도 Application Server With AVAMAR Plug-Ins Windows AVAMAR Server Utility ty Node Linux Network Storage Node Unix AVAMAR Console 18
혁신적인아키텍처 RAIN (Redundant Array of Independent Nodes) 아키텍처 서버노드페일오버및내결함능력제공 온라인확장성 특허방식 AVAMAR 서버노드 (2U) 각각디스크스토리지와 CPU 내장 온라인확장및성능향상을위한그리드아키텍처 SAN 또는내부디스크스토리지지원 매일의무결성점검 디스크장애에대한 RAID 보호 스토리지노드간패리티 유틸리티및예비용노드 US 특허 No. 6,826,711 AVAMAR 서버 확인된체크포인트 19
복제및암호화 고효율 :WAN 을통한효율적인복제 (~300:1) Local Backup 장애시리소스이동으로즉각서비스정상화 128비트 AES 암호화 유연성 : 단방향, 양방향, 일대다, 다대일설정가능 비동기식, 스케줄가능 Application Server With AVAMAR Plug-Ins Application Server With AVAMAR Plug-Ins Windows Linux Network AVAMAR Server Utility Node Storage Node WAN AVAMAR Server Utility Node Network Storage Node Windows Linux Unix Unix AVAMAR Console AVAMAR Console Datacenter DR/Remote Center 20
백업데이터의활용 AVAMAR FileSystem 일반파일시스템과동일한 View제공데이터불러오기 / 탐색하기 백업된데이터를 Restore하지않고, 빠르게정보를 access 할수있다. 메타데이터를이용한검색 사용자는종종파일이름이나저장된곳을잊어버린다. File Systems Directories Files OverTime 사용자는데이터의위치를 Even Load Balancing and Distribution 모르더라도빠르게찾을수있기를 Storage Node1 Storage Node2 Storage Node3 기대한다. US 특허 No. 6,704,730 21
백업데이터의활용 AVAMAR FileSystem 별도의복구과정없이데이터의직접조회로활용가치향상일반네트워크파일시스템처럼데이터의직접적인액세스 백업된데이터를복구하지않고즉각활용 데이터의검색기능 필요시 Copy & Paste로즉시복구 Search Results acme_corp_info.doccorp 548 K 06/21/2005 02:42 pm jsmith js1108 zulu_pricing.doc 454 K 06/07/2005 08:47 am jsmith js1108 info.doc 174 K 06/01/2005 01:45 pm jsmith js1108 memo_612.doc 345 K 06/12/2005 11:00 am jsmith js1108 memo_627.doc 375 K 06/27/2005 01:56 pm jsmith js1108 price_gap.txt 38 K 06/18/2005 03:15 pm jsmith js1108 spread.txt 25 K 06/28/2005 09:20 am jsmith js1108 trading.xls 324 K 06/16/2005 06:11 pm jsmith js1108 22
지원되는클라이언트플랫폼과애플리케이션 플랫폼 버전 Microsoft Windows XP, NT 4.0, 2000, 2003 Microsoft Exchange 5.5, 2000, 2003 Microsoft SQL Server 7.0, 2000, 2005 Oracle NDMP 9i, 10g EMC Celerra, NetApp Filer Sun Solaris 2.6, 7, 8, 9, 10 AIX 5.1, 5.2, 5.3 HP-UX 11.0, 11iV2, 11iV2 Red Hat Linux EE 2.1, 3.0, 4.0, 8.0 9.0 MacOS 10.4, 10.5 SUSE Linux Enterprise Server 8, 9 VMware 지원되는게스트의모든버전 IBM UDB DB2 8.2 23
국내외사례 해외 Morgan Stanley Qualcomm Adaptec 외 1500 여고객 국내 삼성중공업등총 54 개고객사 24
삼성중공업소개 삼성중공업주식회사 11,567 명 ( 08 년 02 월말기준 ) 10 조 5,606 억원 (07 년말기준 ) 8 조 5,191 억원 (07 년말기준 ) 거제조선소, 건설사업부, 수업사업장, 대덕연구센터 중국영파, 영성법인외해외지점 9 개소 조선, 해양, 건설, 디지털시스템선진화된건조기술로선박과해양플랜트의수주호조로빠른성장세가지속 26
프로젝트배경 / 목적 CAD 데이터 6개월보관 복구요청시신속한복구 -기존½ ~ 1일소요 -장애시복구요청 - 과거데이터참조 백업인프라의한계 - 지속적으로증가하는 NAS 데이터 예측할수없는백업윈도우연장 - 구백업시스템을이용한 NDMP 백업수행 빈번한백업실패 - CAD 파일의소형다량의파일특성 - Catalog DB 의무한증가 조선관 5개 NAS - NS700 (1 대 ) - NS80 (2대) - NetApp (2대) 해양관 NAS - NS700 (1대) 27
프로젝트추진경과 기타솔루션검토및테스트 D 사 VTL 테스트 백업 TIME 기존백업시스템과동일및증가 Networker + NAS NDMP 백업 NDMP 특성상 Incremental 백업구현이미흡 EMC 개선방안제안 1안 ) EMC Avamar를이용한중복제거백업 (-Duplication) 방안 : 세미나를통해중복제거기술의우수성은이해하였으나검증되지않은솔루션 2안 ) 센터별이중화용 NAS 설치후복제및시점백업 (Snap) : 이중화용신규 NAS 도입으로인한관리 NAS 증가및복제로인한성능영향우려 3안 ) VTL 및볼륨기반고속백업 (VBB) 옵션을이용하여백업시간단축 : 백업시간은단축가능하나 6개월보관으로인한 VTL 용량의과도한증가 진행방향 1 안 Avamar 의중복제거기술검증후판단 Pilot 구성을통한 PoC 요청 : 실제중복제거율검증, 백업소요시간, EMC, NetApp 이기종 NAS 지원여부등 문제점분석 개선계획 선정및프로젝트수행 종료 현업업무요건 솔루션검토 백업인프라구축 테스트및프로젝트완료 현재인프라의한계분석 PoC 수행 소산백업을위한 DR 구축 결재시스템연동 UI 개발 28
Key Success Factor (PoC 를통한검증 ) 조선관 GigE LAN 해양관 GigE 1 차복구 1 1100GB 17GB 183GB 차 982GB 복구 1차백업 1차백업 2차복구 1차백업 쌍방향복제 테스트항목백업대상백업용량중복제거율 (%) 백업소요시간 조선 NAS#1 1,100GB 47% 7 시간 12 분 ( 주말 ) 초기백업 조선 NAS#2 17GB 59% 24 분 조선 NETAPP#1 183GB 50% 1 시간 50 분 해양 NAS#1 982GB 55% 8 시간 30 분 스케줄백업 ( 일일백업 ) 복제 조선 NAS#1 1,100GB 99.8% 35분23초 조선 NAS#2 17GB 100% 6분 조선 NETAPP#1 183GB 100% 5분 초기 1,100GB 47% 5시간 스케줄 1,100GB100GB 99.6% 8 분 31 초 복구일부디렉토리 / 특정파일복구성공 ( 용량 :111MB, 14 초 ) / 성공 (AvFS 이용 ) 29
시스템구성 조선관 LAN (GigE) 해양관 조선 NAS#1 조선 NAS#2 조선 NAS#3 조선 G/W#1 조선 G/W#2 (EMC NS700) (EMC NS80) (EMC NS80) (Netapp) (Netapp) 해양 NAS#1 (EMC NS700) ACC #1 ACC #2 ACC #3 ACC #4 ACC #5 트렁킹트렁킹트렁킹 Avamar#1 (15 node) Local 백업용 40TB 원격복제용 3TB Avamar#2 (8 node) DataStore #1 : 1(Utility),15(Data) Node DataStore #2 : 1(Utility),8(Data) Node DataStore #3 : 1(Utility),8(Data) Node NAS백업용 Accelerator 5 Node DR 전용네트웍 Local 백업용 7.5TB 원격복제용 16.5TB Avamar#3 (8 node) 30
EMC Avamar 실구축결과 스케줄백업 ( 일일백업 ): 백업단위별 1~2 시간내백업수행완료 초기백업은설치시 1 회만수행, 일일스케줄백업은 Incremental forever 방식 일일백업은 Incr. 백업시간에매일 Full 백업을수행하는효과임 (12 개월 Full 백업 ) 조선관해양관상호원격지복제 (DR) 구축 양소간일평균약 20G 정도의중복제거된데이터전송, 소산백업적용 구분호스트볼륨수일일백업시간비고 4 2시간 31분조선 NAS#1 4 1시간 46분 4 2시간 2분조선 NAS#2 4 1 시간 48 분조선관 4 1시간 19분조선 NAS#3 3 2시간 8분조선 NetApp#1 3 31 분조선 NetApp#2 해양관해양 NAS#1 4 2시간13분 31
EMC Avamar 구축효과 백업 / 복구시간 풀백업시간대폭단축 ( 월초 8 시간, 월말 1~2 일 ) 약 2 시간이내로개선 복구요청시반나절 ~ 1 일후복구 수분내즉시복구처리 백업량 / 미디어절감, 미디어장애대비 백업 6 개월보유시다량의 Tape 소요 99.5% 이상중복제거 ( 백업량감소 ) 간간히발생하던 Tape 미디어에러 Disk 기반백업, 자체노드복구 (RAIN) 복구요청및복구수행과정의자동화 결제시스템과 Avamar 파일시스템을연동하여현업에서복구요청및복구백업정보조회 > 전체볼륨 Restore > 요청파일추출 AvFS 로즉시복구 Avamar 서버장애시원격지백업을이용한상시백업 / 복구체제구축 로컬 6 개월을보유 + 원격지최근 1 주일간의데이터를상호중복해서보유 어떠한장애상황에서도사용자데이터의복구가능한백업고도화 백업데이터소산 기존에적용되지않은백업소산정책신규적용 양소전산실간중복제거된데이터전송으로비용효율적인 DR 구성 32
33