Microsoft PowerPoint - EDM_6140_qfs_samfs_zfs_세미나_조재구_v3.ppt [호환 모드]

대용량데이터관리 ( Storage, QFS, SAMFS, ZFS ) 조재구차장 SUN Learning Service

Storage 6140 4Gbps 최고대역폭제공 전단및후미 4Gbps 데이터경로 스위치루프아키텍처 보다빠른성능 최대 4GB 캐시지원 120,000 IOPS 및 1,500MB/sec 최신의 CSM II (Common Storage Module II) 채택 CSM II 당 16 드라이브모듈 최대 6 CSM II 확장 최대 112 개드라이브확장 ( Controller 1 개 + CSMII 6 개 ) StorageTek 6000 공통의 Common Array Manager 모든스토리지모듈의단일인터페이스관리 최신의 SATA II 디스크드라이브지원 1Tbyte SATA II Copyright 2009 Sun Microsystems, Inc. 3

SUN StorageTek 6140 Array Controller Cache Host Port HBA RAID 0,1,3,5, 1+0 Expansion (10/100 Ethernet,Battery 72 시간 ) x 2 개 2GB 또는 4GB cache model 중선택 4 개 (2GB Cache) 또는 8 개 (4GB Cache) FC 2Gb, 4Gb Fibre Channel FC or SATA Type Tray x 3 개 (2GB cache) 또는 6 개 (4GB Cache) Drive FC : 146GB 4Gb/s, 300GB 4Gb/s, 400GB SATAII : 750GB 3GB/s, 1Tbyte 총 112개사용가능 Capacity Volume, Hot spare Performance 365GB ~ 112TB 최대 1024 개 / 15 개 120,000 IOPS, 1.5GBps Integrated data Sun StorageTek Data Snapshot, Sun StorageTek Data Volume services (optional) Copy, Sun StorageTek Data Replicator software,sun StorageTek Storage Domain (4, 8, 16, 64) Manage Software Sun StorageTek Common Array Manager (CAM) power 400Watt AC, DC x 2 (1+1) Copyright 2009 Sun Microsystems, Inc. 4

Sun StorageTek 6540 4Gbps 최고대역폭제공 전단및후미 4Gbps 데이터경로 스위치루프아키텍처 보다빠른성능 최대 16GB 캐시지원 575,000 IOPS 및 3,200MB/sec 최신의 CSM II (Common Storage Module II) 채택 CSM II 당 16 드라이브모듈 최대 14 CSM II 확장 최대 224 드라이브확장 StorageTek 6000 공통의 Common Array Manager 모든스토리지모듈의단일인터페이스관리 최신의 SATA II 디스크드라이브지원 1Tbyte SATA II Copyright 2009 Sun Microsystems, Inc. 5

SUN StorageTek 6540 Array Controller Cache Host Port HBA (10/100 Ethernet,Battery 7 day ) x 2 개 4GB, 8GB,16GB with ECC 8 개 RAID 0,1,1+0,3,5 FC 2Gb, 4Gb Fibre Channel Expansion tray CSMII x 14 개 (Cabinet 추가 ) Drive FC : 146GB 4Gb/s, 300GB 4Gb/s, 400G SATAII : 500GB 3GB/s, 1TB 총 224개사용가능 Capacity 365GB ~ 224TB Volume, Hot spare 2,048 / 15 Performance Integrated data services (optional) Manage Software 575,000 IOPS 1,724MBps Sun StorageTek Data Snapshot, Sun StorageTek Data Volume Copy, Sun StorageTek Data Replicator software,sun StorageTek Storage Domain (4, 8, 16, 64) Sun StorageTek Common Array Manager (CAM) SANtricity Storage Manager v9.16 (optional) Copyright 2009 Sun Microsystems, Inc. 7

StorageTek 6000 어레이성능 성능 Sun StorageTek 6540 Sun StorageTek 6140- Sun StorageTek 6140- A B Maximum burst I/O rate cache reads 575,000 IOPS 120,000 IOPS 120,000 IOPS Maximum sustained I/O rate disk rea ds Maximum sustained I/O rate disk writ es Maximum sustained throughput disk read Maximum sustained throughput disk write 86,000 IOPS 44,000 IOPS 28,000 IOPS 22,000 IOPS 9,000 IOPS 5,600 IOPS 1,680 MB/s 990 MB/s 745 MB/s 1,320 MB/s 850 MB/s 685 MB/s Note : Results achieved under ideal circumstances in a benchmark test environment. Actual customer results will vary based on configuration and infrastructure components. Copyright 2009 Sun Microsystems, Inc. 8 8

Storage Domains 4, 8, 16 또는 64 개의옵션형스토리지도메인지원 단일 Sun StorageTek 6140Array 를 64 개까지논리적가상 Array 로파티셔닝이가능 Host A Host B Host Group C 하나의스토리지도메인은단일호스트또는그룹호스트로부터액세스가가능한 1개이상의스토리지시스템볼륨으로구성 스토리지파티션은단일호스트또는그룹호스트를정의할때생성되고볼륨과 LUN 매핑도정의가가능 LUN 매핑은호스트와스토리지시스템안에있는어떤볼륨을액세스할지를정의하고 LUN 매핑을통하여만데이터액세스가가능 Storage Domain A LUN 0 LUN 1 Storage Domain B LUN 0 LUN 2 Storage Domain C LUN 1 LUN 3 이기종 (heterogeneous) 호스트지원 호스트포트, 호스트종류 (Type) 세팅 Solaris 와 Windows 2000 과같은완전히다른 O/S 도가능 클러스터드또는 Non- 클러스터드동종 O/S 도가능 각스토리지에여러개의호스트포트구성이가능한유연성과가용성제공 LUN 2 Unmapped Volumes Copyright 2009 Sun Microsystems, Inc. 10 10

Data Snapshot Sun StorageTek Data Snapshot 소프트웨어를이용한강력한데이터보호 Point-in-time 볼륨이미지생성 볼륨당 4개의스냅까지지원 디스크스페이스절약 백업 (backup), 복원 (restore), 체크포인트에이상적임 D B C E Base Volume Sales LUN1 Sales LUN2 Sales BU A B C Snapshot Volume Sales BU A C Snapshot Repository Physical Logical Copyright 2009 Sun Microsystems, Inc. 11 11

Volume Copy Production Server Analysis Server Sun StorageTek Volume Copy 소프트웨어를이용한데이터이중화 (Duplicating) 완전한볼륨복제 소스 (source) 볼륨당동시8개의 Active 복사가능 분석, 테스팅, 마이닝, 백업강화에이상적 같은층사이의데이터이관이가능 A B C Source Volume Orders A B C Data Clone Orders OLTP DW FC FC SATA SATA Copyright 2009 Sun Microsystems, Inc. Point-in-Time Copy 20

Remote Replication 동기식복제 (Synchronous replication) 비동기식복제 (Asynchronous replication) 비동기식복제에서쓰기순서일관성그룹 (Write-order consistency groups) 옵션제공 동적모드전환으로 mirror 깨짐없이동기식및비동기식전환 손상되거나보류된 mirror 의재동기화 mirror 활성화중에원격볼륨접근 복제중에 mirror 의스냅및복사 복수의 mirror 지원 StorageTek 6140 서브시스템당 32 mirror 지원 Copyright 2009 Sun Microsystems, Inc. 22

SAM-FS 완전한정책기반의스토리지파일시스템 항상온라인상태로지속적으로데이터를보호 어플리케이션과사용자와완벽하게투명하며독립적 디스크와테이프를논리적으로하나의파일시스템처럼사용 신속한재해 (Disaster) 복구 모든정보는각파일의 inode에저장 전체데이터를복구할필요없이단지메타데이타만복구하면서비스지속가능 (~10만/ 분 ) 최대 4개의복사본을동시에여러종류의디바이스, 미디어그리고원격지에저장 모든데이터는 SAM-FS 없이도복구가능 ( 산업표준 tar 포맷 ) 지속적인아카이빙프로세스로인해, 별도의백업윈도우 (Backup Window) 가필요없음 대용량파일의경우여러개의미디어에분할저장가능 (File Spanning) Copyright 2009 Sun Microsystems, Inc. 26

SAM-FS ( 계속 ) SAM-FS = Storage & Archive Manager - File System Media Manager + Vl Volume Manager + File System 광 / 테이프라이브러리매니저 볼륨매니저 완전한정책기반의파일시스템 SAM-FS Software /sam1 /sam2 FC or SCSI Local Tape Library Sun Solaris Platform /sam3 TCP/IP Remote Tape Library Copyright 2009 Sun Microsystems, Inc. 27

SAM-FS ( 기능 ) Archive 디스크에저장된파일을테이프라이브러리또는 2 차디스크로복사 Release 디스크공간이부족하면 Archive 완료된파일의 MetaData 만남기고삭제 Stage Release 된파일에접근하면자동으로테이프또는 2차디스크에서디스크로복원 Recycle 테이프미디어를재사용하기위해재할당 Copyright 2009 Sun Microsystems, Inc. 28

SAM-FS ( 라이브러리및미디어관리 ) 모든라이브러리와완벽호환 모든테이프및광드라이브와완벽호환 동시에여러대의라이브러리, 여러종류의드라이브및미디어를지원 Online 및 Off-site 미디어관리를위한카다로그관리 대용량파일의경우여러개의미디어에분할저장가능 (File Spanning) 상용모든디스크스토리지를아카이빙저장장치로활용가능 Copyright 2009 Sun Microsystems, Inc. 33

SAM-FS ( 정책및속성 ) 다양한방법으로스토리지정책관리 By owner, group, minsize, maxsize, directory, file, and wildcard Archive/Release 를통해항상디스크공간을최적으로유지 Read-behind stage Offline 데이터의경우 Stage 가끝나지않아도데이터는즉시사용가능 Read files with Never Stage 필요에따라디스크로 Stage 하지않고미디어에서직접 Read/Write 가능 Copyright 2009 Sun Microsystems, Inc. 34

SAM-FS ( 세그먼트 ) 대용량파일을필요한크기만큼분할가능 ( 세그먼트 ) 물리적인디스크보다더큰파일저장가능 대용량파일의필요한부분 ( 세그먼트 ) 만디스크에저장가능 대용량파일이변경된경우파일전체가아닌오직변경된세그먼트만아카이브하면됨 Release 된대용량파일에접근하는경우파일전체가아닌필요한세그먼트만 Stage 하면됨 대용량파일하나를동시에여러개의테이프드라이브로 Read/Write 하여전송시간을단축 Copyright 2009 Sun Microsystems, Inc. 36

WORM-FS ( 한번쓰고많이읽음 ) 데이터에대한보유기간을설정하여관리하는기능으로한번기록하면설정된기간이만료되기전까지파일에대한제거가불가능한기능 파일의승인된법적허용성으로인해많은응용프로그램에서사용하고있음. 강력한 WORM 설정 - 어떤사용자든강력한 WORM 을설정하면제거가되지않는다. 또한 File system 을실수로재구성하려고하여도강력한 WORM 이설정되어있으면재구성이불가능하다. 약한 WORM 설정 - root 사용자외일반사용자는한번생성된파일을특정기간동안제거를할수없다 - 강력한 WORM 대비약한 WORM 은 File system 재구성이가능하다. jaekoo[/] # chmod 4000 passwd jaekoo[/] # sls -D passwd passwd: mode: r Sr r S links: 1 owner: root group: root length: 673 admin id: 0 inode: 1029.1 access: Nov 23 15:21 modification: Nov 23 15:21 changed: Nov 23 15:22 retention end: Nov 23 15:32 2008 creation: Nov 23 15:21 residence: Nov 23 15:21 retention: active retention period: 0y, 0d, 0h, 10m 파일의보유기간설정 Copyright 2009 Sun Microsystems, Inc. 37

Filesystem 비교 QFS SAM-FS Quick Filesystem 의약자 성능을고려한파일시스템 SAN 상에서완벽한파일시스템공유 고성능, 고확장성, 저널링 Storage & Archive Manager - File System 의약자 완벽한정책기반의아카이빙파일시스템 무한대의확장성, 완벽한스토리지관리 획기적인데이터보호 신속한복구 ILM (Information Lifecycle Management) 구현 Copyright 2009 Sun Microsystems, Inc. 39

QFS ( Quick File System ) SAN 상에서파일시스템공유 볼륨관리기능자체내장 ( 별도볼륨매니저없이 JBOD 를자유자재로파일시스템생성 ) 기존파일시스템을훨씬능가하는고성능과확장성 초대용량파일시스템을수초내에생성 비정상리부팅시 fsck 가필요없는 Q-Start 기능 dump/restore 없이간편하게파일시스템확장 극도로낮은 CPU 점유율 메타데이타분리 다양한스트라이핑옵션 자동으로 Paged I/O 와 Direct I/O 전환 파일단위로 I/O 패턴지정 디스크블록미리할당 Copyright 2009 Sun Microsystems, Inc. 40

QFS ( Filesystem 공유 ) SAN 상에서여러대의서버가동시에파일시스템을공유 ( 동시 mount ) Multiple Reader/Single Writer 및 Multiple Reader/Multiple Writer 구성모두지원 고가용성및 Failover 환경에서매우유용 웹서비스, 로드밸런싱등에적합 /qfs/data1 Copyright 2009 Sun Microsystems, Inc. 41

QFS (Volume 관리기능 ) Volume 관리기능자체내장 ( 볼륨매니저없이 JBOD 를사용가능 ) 디스크일부또는전체, Hardware RAID LDEV/LUN, VxVM 볼륨, SVM 메타디바이스 등으로파일시스템생성 초대용량파일시스템을수초내에생성 단지 device 를추가함으로써파일시스템확장 (dump/restore 필요없음 ) Meta Data Copyright 2009 Sun Microsystems, Inc. 45

ZFS 추가기능 Volume : Block Device 또는 Raw Device 제공 Quota : Filesystem 별최대사이즈제공 Reservation : 특정 Filesystem 의사이즈미리할당. Snapshot : 특정시점의 Data 를보관하는기능 Rollback : Snapshot 시점으로모든 Data 를복원하는기능 Clone : Snapshot 을이용하여복제파일시스템영역을생성 Remote Replication : 네트워크를이용한원격서버에 Data 복제 파일시스템압축 : gzip2 level 의압축제공 SSD Disk 지원 : L2ARC ( Read Cache), ZIL (Write Log buffer ),Opensolaris 에서 Copyright 2009 Sun Microsystems, Inc. 68

ZFS 추가기능 - 계속 ISCSI share: Network 을통한 block scsi 기술로 volume 단위로제공 NFS share : Network 을통해 NFSv3, v4 지원 SMB share : CIFS Service 설정 Virus scan : Filesystem 내의 Virus 점검 Xattr : Window 형식의파일접근권한 ZFS Root : ZFS 를이용한 Root filesystem 지원 Copyright 2009 Sun Microsystems, Inc. 69

SUN Fire X4140 Process Cache Memory AMD 2389 (2.9GHz, 75W,quard Core) x 2 개 Core 당 2MB L2, 6MB L3 DDR2DIMM (CPU 당 8 개 ) x 16 개, (DIMM 당 2G,4G,8G), 4GB ~128GB PCI PCI-e 16lane x 1, 8 lane x 2 Disk RAID 73GB, 146GB SAS 10K x 8 ( 최대 1.1TB) 0,1,5(raidz),0+1,6(raidz2) With Solaris10 ZFS Network 10/100/1000 x 4, 10/100 Mgt x 1 (Service) DVD USB / Video EIDE DVD RW Power 650W x 2 (1+1) OS 높이 관리도구 2.0 X 5 개 (front,rear, Internal ) / Video Port x 1 개 OpenSolaris, Solaris10, RHEL, Suse Linux, Windows 1RU IPMI2.0, ILOM, ssh,web ssl, snmp v1,2,3, RKVM (keyboard..) Copyright 2009 Sun Microsystems, Inc. 71

SUN Fire X4150 Process Quad-Core Intel Xeon X5470 (3.33 GHz, 1333 MHz FSB, 120W) x 2 Cache Memory 2x6MB L2 Fully Buffered DDR2 x 16 개, (DIMM 당 2G,4G), 4GB ~64GB PCI PCI-e 8 lane x 3 Disk RAID Network DVD USB / Video 73GB,146GB SAS 10K x 8 ( 최대 1.1TB) 32 GB SATA solid-state drives (SSD) x 4 015(raidz) 0,1,5(raidz),0+1,6(raidz2) 0+1 With Solaris10 ZFS 10/100/1000 x 4, 10/100 Mgt x 1 (Service) EIDE DVD RW Power 650W x 2 (1+1) OS 높이 관리도구 2.0 X 5 개 (front,rear, Internal ) / Video Port x 1 개 OpenSolaris, Solaris10, RHEL, Suse Linux, Windows 1 RU IPMI2.0, ILOM, ssh,web ssl, snmp v1,2,3, RKVM (keyboard..) Copyright 2009 Sun Microsystems, Inc. 73

SUN Fire X4240 Process Cache Memory PCI Disk RAID AMD 2389 (2.9GHz, 75W,quard Core) x 2 개 Core 당 2MB L2, 6MB L3 DDR2DIMM (CPU 당 8 개 ) x 16 개, (DIMM 당 2G,4G,8G), 4GB ~128GB PCI-e 16lane x 1, 8 lane x 4, 4 lane x1 73GB, 146GB SAS 10K x 16 ( 최대 2.3TB) 0,1,5(raidz),0+1,6(raidz2) With Solaris10 ZFS Network 10/100/1000 x 4, 10/100 Mgt x 1 (Service) DVD USB / Video EIDE DVD RW 2.0 X 5 개 (front,rear, Internal ) / Video Port x 1 개 Power 1.050W x 2 (1+1) OS 높이 관리도구 OpenSolaris, Solaris10, RHEL, Suse Linux, Windows 2RU IPMI2.0, ILOM, ssh,web ssl, snmp v1,2,3, RKVM (keyboard..) Copyright 2009 Sun Microsystems, Inc. 75

SUN Fire X4540 Process Cache Memory AMD 2356 (2.3GHz, 95W,quard Core) x 2 개 Core 당 512K L2, 2MB L3 DDR2/675 DIMM (CPU 당 8 개 ) x 16 개, DIMM 당 2GB, 64GB Bus Type Hyper Transport (8GB/sec, process 와 memory 간 6.4GB/sec) PCI Disk PCI-X 64bit 133MHz x 2 개 1TB/7200RPM SATAII x 48 ( 최대 48TB) RAID 015( 0,1,5(raidz),0+1,6(raidz2) )0 16( 2)WithS Solaris10 10ZFS Network DVD USB / Video 10/100/1000 x 4, 10/100 Mgt x 1 (Service) EIDE DVD ROM 2.0 X 4 개 (front & rear) / Video Port x 1 개 Power 1500W x 2 (1+1) OS OpenSolaris, Solaris10, RHEL, Suse Linux, Windows 높이 관리도구 4 RU IPMI2.0, ILOM, ssh,web ssl, snmp v1,2,3, RKVM (keyboard..) Copyright 2009 Sun Microsystems, Inc. 77

ST7110 Storage Server Process Cache Memory PCI Disk RAID AMD 2389 (2.9GHz, 75W,quard Core) x 2 개 Core 당 2MB L2, 6MB L3 DDR2DIMM (CPU 당 8 개 ) x 16 개, (DIMM 당 2G,4G,8G), 4GB ~128GB PCI-e 16lane x 1, 8 lane x 4, 4 lane x1 73GB, 146GB SAS 10K x 16 ( 최대 2.3TB) 0,1,5(raidz),0+1,6(raidz2) With Solaris ZFS Network 10/100/1000 x 4, 10/100 Mgt x 1 (Service) USB / Video 2.0 X 5 개 (front,rear, Internal ) / Video Port x 1 개 Power 1.050W x 2 (1+1) OS 높이 OpenSolaris 2 RU Protocol NFS, CIFS, HTTP, WebDAV, FTP, ISCSI, NDMPv3 v4 관리도구 Appliance Kit, IPMI2.0, ILOM, ssh,web ssl, snmp v1,2,3, RKVM (keyboard..) Copyright 2009 Sun Microsystems, Inc. 80

ST7210 Storage Server Process Cache Memory PCI Disk AMD 2356 (2.3GHz, 95W,quard Core) x 2 개 Core 당 512K L2, 2MB L3 DDR2/675 DIMM (CPU 당 8 개 ) x 16 개, DIMM 당 2GB, 64GB PCI-X 64bit 133MHz x 2 개 1TB/7200RPM SATAII x 48 ( 최대 48TB) SSD Disk 16G ~ 18G x2 ZIL ( write log buffer ) RAID 015( 0,1,5(raidz),0+1,6(raidz2) )0 16( 2)WithS Solaris ZFS Network USB / Video 10/100/1000 x 4, 10/100 Mgt x 1 (Service) 2.0 X 4 개 (front & rear) / Video Port x 1 개 Power 1500W x 2 (1+1) OS OpenSolaris Protocol NFS, CIFS, HTTP, WebDAV, FTP, ISCSI, NDMPv3 v4 높이 관리도구 4 RU Appliance Kit, IPMI2.0, ILOM, ssh,web ssl, snmp v1,2,3, RKVM (keyboard..) Copyright 2009 Sun Microsystems, Inc. 82

ST7410 Storage Server 구성방식 Process Cache Memory PCI Cluster 구성 AMD 2389 (2.9GHz, 75W, quard Core) x 4 개 Core당 2MB L2, 6MB L3 DDR2DIMM (CPU당 8개 ) x 16개, (DIMM당 2G,4G,8G), 4GB ~128GB PCI-e 16lane x 1, 8 lane x 4, 4 lane x1 Disk 73GB, 146GB SAS 10K x 2 (Internal OS) + J4400 ( 1TB x 288 ) SSD Disk 100GB x 6 L2ARC (Read Cache, Internal Disk ) 18G x 1 ZIL ( write log buffer ) RAID Network USB / Video 0,1,5(raidz),0+1,6(raidz2) With Solaris ZFS 10/100/1000 x 4, 10/100 Mgt x 1 (Service) 2.0 X 5 개 (front,rear, Internal ) / Video Port x 1 개 Power 650W x 2(1+1) OS Protocol 관리도구 OpenSolaris NFS, CIFS, HTTP, WebDAV, FTP, ISCSI, NDMPv3 v4 Appliance Kit, IPMI2.0, ILOM, ssh,web ssl, snmp v1,2,3, RKVM (keyboard..) Copyright 2009 Sun Microsystems, Inc. 84