백서 EMC VPLEX, Enginuity 운영환경의 EMC Symmetrix VMAX 10K 시리즈고가용성및무중단업무운영을위한간소화된관리복구성능이뛰어난미션크리티컬 SAP 구축 Active-Active 데이터센터 EMC Solutions Group 요약 이백서는기존의 SAP 구축을 Active-Active 데이터센터에기반한미션 크리티컬무중단업무운영솔루션으로혁신하는방식에대해설명합니다. 이 솔루션은 EMC VPLEX Metro, EMC Symmetrix VMAX, VMware vsphere High Availability, Oracle RAC, Brocade Networking, SUSE Linux Enterprise Server for SAP Applications 를통해지원됩니다. 2012 년 11 월
Copyright 2012 EMC Corporation. All Rights Reserved. 본문서의정보는발행일현재정확한것으로간주됩니다. 모든정보는예고없이변경될수있습니다. 본문서의정보는 " 있는그대로 " 제공됩니다. EMC Corporation 은본문서의정보와관련하여어떠한진술이나보증도하지않으며, 특히상품성이나특정목적을위한적합성에대하여어떠한묵시적인보증도부인합니다. 본문서에설명된 EMC 소프트웨어를사용, 복사및배포하려면해당소프트웨어라이센스가필요합니다. EMC 제품에대한최신목록은 korea.emc.com 의 EMC Corporation 상표정보부분을참조하십시오. VMware, VMware vsphere, ESXi, vcenter 및 vmotion 은미국및기타국가에서 VMware, Inc. 의등록상표또는상표입니다. Brocade, DCX, MLX, VCS 및 VDX 는미국및 / 또는다른국가에서 Brocade Communications Systems, Inc. 의상표또는등록상표입니다. 본문서에사용된기타모든상표는해당소유주의자산입니다. Part Number H11069 2
목차 요약... 6 비즈니스사례... 6 솔루션개요... 6 주요이점... 7 소개... 9 목적... 9 범위... 9 대상... 9 용어... 9 솔루션개요... 11 소개... 11 솔루션아키텍처... 12 보호계층... 16 데이터베이스및워크로드프로파일... 17 하드웨어리소스... 17 소프트웨어리소스... 18 EMC 스토리지인프라스트럭처... 19 소개... 19 EMC Symmetrix VMAX 10K... 19 Enginuity... 20 EMC Symmetrix VMAX 20K... 20 EMC Unisphere for VMAX... 20 VMAX 구성... 21 EMC VPLEX Metro 인프라스트럭처... 23 소개... 23 VPLEX 데이터이동성... 26 VPLEX Metro 솔루션구성... 30 VPLEX Witness 구성... 33 VPLEX 성능모니터링... 34 3
VMware 가상인프라스트럭처... 35 소개... 35 VPLEX Metro 기반 VMware 구축... 36 VMware 확장클러스터구성... 38 VMware vsphere HA 구성... 40 VMware vsphere DRS 구성... 42 EMC Virtual Storage Integrator 및 VPLEX... 42 SAP 시스템아키텍처... 44 소개... 44 SAP 시스템구성... 45 SUSE Linux Enterprise High Availability Extension... 47 Oracle 데이터베이스아키텍처... 55 소개... 55 Oracle RAC 및 VPLEX... 57 Oracle ACFS 구성... 57 VPLEX Metro 기반 Oracle RAC 확장구성... 58 Oracle ASM 디스크그룹구성... 58 Brocade 네트워크인프라스트럭처... 60 소개... 60 IP 네트워크구성... 62 SAN 네트워크구성... 63 고가용성및무중단업무운영테스트및검증... 64 소개... 64 SAP 인큐서비스프로세스장애... 64 SAP ASCS 인스턴스가상머신장애... 66 Oracle RAC 노드장애... 68 사이트장애... 69 VPLEX 클러스터격리... 71 결론... 74 요약... 74 결과... 75 4
참고자료... 76 EMC... 76 Oracle... 76 VMware... 76 SUSE... 77 SAP... 77 부록 : 샘플구성... 78 CRM 샘플구성... 78 ASCS 샘플인스턴스프로파일... 78 ERS 샘플인스턴스프로파일... 79 ERS 샘플 START 프로파일... 79 DI 샘플인스턴스프로파일... 80 5
요약 비즈니스사례 글로벌기업은경쟁력을유지하기위해무중단애플리케이션및정보가용성을 필요로합니다. 이백서에서설명된 EMC 솔루션은 SAP ERP 와같은미션크리티컬 애플리케이션을위한무중단업무운영및고가용성전략을제공합니다. 미션크리티컬무중단업무운영전략을계획할때핵심이되는지표는 RPO( 복구시점목표 ) 와 RTO( 복구시간목표 ) 입니다. 이러한지표는기업이재해또는장애발생에따른잠재적영향을고려할때제시하는다음과같은두가지기본적인질문에대한답을제공합니다. 감당할수있는데이터손실량은어느정도인가 (RPO)? 시스템또는애플리케이션을얼마나신속하게복구해야하는가 (RTO)? SAP 환경에미션크리티컬무중단업무운영전략을구현할경우데이터손실과복구시간을최소화하기위해서는 RPO 및 RTO 수준을엄격하게설정해야합니다. 이러한전략을구상중인기업은다음과같은주요당면과제를고려해야합니다. RPO 및 RTO 최소화단일장애지점 (SPOF) 제거 : 기술, 인력, 프로세스리소스활용도극대화인프라스트럭처비용절감여러포인트솔루션을통합, 유지관리및테스트하는데따른복잡성관리이백서는 Oracle RAC(Real Application Cluster) 11g 데이터베이스계층을사용하는 SAP ERP 애플리케이션과관련하여이와같은모든당면과제를해결하는 ECM 솔루션에대해소개합니다. EMC 솔루션은최대 100km 떨어진데이터센터간에혁신적인 Active-Active 구축모델을구현합니다. EMC 솔루션을사용하면기존의 Active-Passive 재해복구모델을무중단애플리케이션가용성, 완벽한이중화, 거의 0에가까운 RTO 및 RPO를실현하는고가용성무중단업무운영솔루션으로전환할수있습니다. 솔루션개요 EMC VPLEX Metro는이솔루션을위한주요지원기술입니다. VPLEX Metro는 SAN 기반연합솔루션으로서로컬및분산형스토리지연합기능을제공합니다. 혁신적인 VPLEX 기술인 AccessAnywhere TM 를사용하면지리적으로분산된두사이트에동일한데이터를배치하고두사이트에서동시에데이터를액세스및업데이트할수있습니다. 이솔루션에추가된 VPLEX Witness를사용하면특정한데이터센터의운영이중단되는경우에도운영중단이나다운타임없이애플리케이션가용성이보장됩니다. 6
이백서는다음과같은기술을통해이러한혁신적인무중단업무운영솔루션을생성하는방식에대해설명합니다. EMC VPLEX Metro는 Active-Active Metro 데이터센터를지원하는가상스토리지계층을제공합니다. VPLEX 데이터이동성은스토리지계층에서무중단데이터이동을지원합니다. EMC VPLEX Witness를사용하면특정한데이터센터의운영이중단되는경우에도무중단애플리케이션가용성이보장됩니다. 99.999% 의탁월한가용성과 FAST(Fully Automated Storage Tiering) 지원, 복제기술옵션을제공하는 Enginuity 스토리지시스템기반 EMC Symmetrix VMAX 10K 시리즈가이러한솔루션을위한엔터프라이즈급스토리지플랫폼을제공합니다. 단일인스턴스데이터베이스를원격사이트간 Oracle RAC로마이그레이션하여원격사이트간의데이터베이스계층에서단일장애지점을제거합니다. VMware vsphere 는 SAP 애플리케이션구성요소를가상화하고단일장애지점을제거합니다. VMware HA(High Availability) 는물리적서버및운영체제장애발생시가상머신을보호합니다. SUSE Linux Enterprise High Availability Extension 및 SAP ERS(Enqueue Replication Server) 가지원되는 SUSE Linux Enterprise Server for SAP Applications는두개의클러스터노드에서 SAP 중앙서비스 ( 메시지서버및인큐서버 ) 를보호하고단일장애지점을제거합니다. Brocade 이더넷 Fabric 및 MLXe 코어라우터는사이트간의원활한네트워킹및 Layer2 확장을지원합니다. Brocade DCX 8510 백본은이중화된 SAN 인프라스트럭처를제공하며, 여기에는 Fabric 확장이포함됩니다. 주요이점 이솔루션은다음을통해 SAP 애플리케이션의가용성을향상시킵니다. 운영환경의모든계층에서단일장애지점을제거하여가용성이뛰어난분산형 SAP 시스템구축 0에가까운 RPO 및 RTO와미션크리티컬무중단업무운영을지원하는 Active- Active 데이터센터제공 7
그밖에도다음과같은이점을제공합니다. Symmetrix VMAX 10K를통해 SAP 환경을위한신뢰할수있는검증된스토리지환경제공완벽한자동장애처리하드웨어및소프트웨어자산활용도향상 : 두데이터센터모두를 Active-Active 방식으로사용 데이터센터간에자동로드밸런싱 다운타임없는유지보수간소화된 SAP 고가용성관리원격사이트간 Oracle RAC 클러스터구축간소화자동화및인프라스트럭처활용도를향상시켜비용절감스토리지시스템간의간단한데이터이동 8
소개 목적 이백서는지리적으로분산된위치에 Active-Active 데이터센터를생성하고운영 환경의모든계층에서단일장애지점을제거하여 SAP 애플리케이션의가용성을 증대하는솔루션에대해설명합니다. SAP 환경에서는기술적, 물리적또는논리적장애가업무중단의원인이될수 있습니다. 이솔루션은기술적인측면에서무중단업무운영을지원합니다. 범위 본백서에서는다음과같은내용을다룹니다. 핵심지원기술소개솔루션아키텍처및설계에대한설명핵심구성요소의구성방식에대한설명수행된테스트의결과를표시해운영환경에서의단일장애지점제거시연솔루션이제공하는주요비즈니스이점파악 대상 이백서는 24/7 환경에서미션크리티컬 SAP 애플리케이션을설계, 생성및 관리하는기술관리자, IT 설계자, 스토리지관리자, Oracle DBA 및 SAP 기본 관리자를대상으로합니다. 용어 이백서는 표 1 의용어를포함합니다. 표 1. 용어 용어 AAS ABAP ACFS ASCS ASM CIFS CNA CRM DI DPS DRS dvswitch DWDM ERP ERS FAST VP FCoE 설명 SAP Additional Application Server SAP Advanced Business Application Programming Oracle ASM Cluster File System ABAP SAP Central Services Oracle Automatic Storage Management Common Internet File System Converged Network Adapter Cluster Resource Manager Dialog Instance Dynamic Path Selection VMware vsphere Distributed Resource Scheduler vsphere Distributed Switch Dense Wavelength Division Multiplexing Enterprise Resource Planning Enqueue Replication Server Fully Automated Storage Tiering for Virtual Pools Fibre Channel over Ethernet 9
용어 FEC FRA HA HAIP HBA IDES ISL LACP LAG LLDP LUW MCT MPLS MPP NAS NFS NL-SAS OCR Oracle RAC 확장 RAC RFC RPO RTO SAN SBD SFP SLES SLE HAE SMT SPOF STONITH TAF ToR VCS vlag vlan VMDK VMFS VMware HA VPLS VPN VRF VSI 설명 Forward Error Correction Flash Recovery Area High Availability Highly Available Virtual IP Host Bus Adapters SAP Internet Demonstration and Evaluation System Inter-Switch Link Link Aggregation Control Protocol Link Aggregation Group Link Layer Discovery Protocol LOGICAL UNIT NUMBER Multi-Chassis Trunking Multi-Protocol Label Switching Multipathing Plug-in Network Attached Storage Network File System Nearline SAS(Serial Attached SCSI) Oracle Cluster Registry 원격사이트간 Oracle RAC 클러스터 Real Application Clusters Remote Function Call 복구시점목표복구시간목표 Storage Area Network STONITH Block Device Small Form-Factor Pluggable SUSE Linux Enterprise Server SUSE Linux Enterprise High Availability Extension Subscription Management Tool 단일장애지점 Shoot The Other Node In The Head Transparent Application Failover Top-of-Rack Virtual Cluster Switch Virtual Link Aggregation Group 가상 LAN 가상디스크 Virtual Machine File System VMware High Availability Virtual Private LAN Service Virtual Private Network Virtual Routing and Forwarding Virtual Storage Integrator 10
솔루션개요 소개 SAP 구축 : 당면과제및솔루션 기존 SAP 구축은다음을포함한몇가지단일장애지점을갖습니다. 중앙서비스 인큐서버 * 메시지서버 * 데이터베이스서버 단일사이트구축 로컬디스크스토리지 * 이솔루션에서는인큐및메시지서버가 ASCS(ABAP SAP Central Services) 인스턴스내에서비스로구축됩니다. 이백서는 SAP 애플리케이션가용성향상을위한솔루션에대해소개합니다. 이러한솔루션의아키텍처및구성요소는전체 SAP 스택에대한 Active-Active 클러스터솔루션을생성해신뢰성및가용성을향상시키고 SAP 환경구축및관리를간소화합니다. 이솔루션은다음과같은이점을제공합니다. 운영환경의모든계층에서단일장애지점을제거해가용성이뛰어난 SAP 시스템구축미션크리티컬무중단업무운영을지원하기위한 Active-Active 데이터센터제공 그림 1 은 SAP 환경의단일장애지점과이를해결하는데사용하는솔루션구성요소를나타냅니다. 그림 1. SAP 구축 : 당면과제및솔루션 11
솔루션아키텍처 다음섹션에서는 그림 2 와같이고가용성및무중단업무운영을지원하기위해운영 환경의각계층에구축된솔루션에대해설명합니다. 그림 2. 고가용성혁신 - 논리적뷰 스토리지계층고가용성운영환경의각서버에필요한모든스토리지가엔터프라이즈급스토리지시스템 VMAX 10K 및 VMAX 20K로이동했습니다. 스토리지액세스를위한이중화된 SAN Fabric을제공하기위해 Brocade 8510 백본이구축되었습니다. 이솔루션은고급관리용이성및무중단업무운영기능을포함하여스토리지및 SAN 백본을통해제공되는 99.999% 의검증된가동시간을활용합니다. 그림 3. 스토리지 HA 데이터베이스고가용성데이터베이스서버는 SAP 애플리케이션을위한데이터저장소입니다. 이솔루션을위해백엔드데이터베이스가 Oracle 단일인스턴스데이터베이스에서 4노드 Oracle RAC 클러스터로전환되었습니다. 따라서데이터베이스서버에서단일장애지점이제거됩니다. 그림 4. 데이터베이스 HA 12
SAP 애플리케이션고가용성 SAP 애플리케이션서버가 VMware ESXi TM 5.0을통해완전히가상화되었습니다. SUSE Linux Enterprise Server for SAP Applications 11 SP1을게스트운영체제로사용하여각 SAP 가상머신이구축되었습니다. 또한 SAP 메시지서버및인큐서버모두를보호하기위해 SUSE Linux Enterprise High Availability Extension 및 SAP ERS(Enqueue Replication Server) 가구축되었습니다. 따라서 ASCS(ABAP SAP Central Services) 에서단일장애지점이제거됩니다. 그림 5. SAP 애플리케이션 HA 데이터센터고가용성위에설명된이고가용성클러스터솔루션은데이터센터내의 SAP를보호합니다. 이솔루션은데이터센터간의고가용성을위해과같이 EMC VPLEX Metro 스토리지가상화기술을사용합니다 그림 6. 이고유한 VPLEX Metro AccessAnywhere Active- Active 클러스터링기술을사용하면동기식으로원격연결된사이트에걸쳐분산된볼륨에읽기 / 쓰기액세스할수있습니다. VPLEX는여러위치에서데이터를미러링하므로서로다른위치에있는사용자가동일한정보에동시에액세스할수있습니다. 그림 6. 데이터센터 HA 이솔루션은 VPLEX Metro를운영체제계층에서는 SUSE Linux Enterprise High Availability Extension과통합시키고데이터베이스계층에서는 Oracle RAC와통합시켜데이터센터에서단일장애지점을제거하고미션크리티컬애플리케이션을위한강력한무중단업무운영전략을제공합니다. 13
VPLEX 기반원격사이트간 Oracle RAC는다음과같은이점을제공합니다. VPLEX를사용하면사이트전체에서고가용성이인프라스트럭처레벨로구축되므로 Oracle RAC 확장의관리가간소화됩니다. Oracle DBA의경우, 설치, 구성및유지보수절차가 Oracle RAC의단일사이트를구축한경우와동일합니다. VPLEX를사용하면 ASM 디스크의호스트기반미러링및해당호스트 CPU 리소스사용이필요하지않습니다. VPLEX를사용하면 ASM 디스크그룹이외부수준의이중화로구성되며 VPLEX 분산미러링을통해보호됩니다. 호스트는해당로컬 VPLEX 클러스터에만연결하면되며 I/O는해당노드에서만전송됩니다. 하지만호스트는두사이트모두에서동일한데이터베이스에대한전체읽기 / 쓰기액세스권한을보유합니다. ASM 디스크그룹의호스크기반미러링을통해각쓰기 I/O는각각의미러로한번씩모두두번전송되어야합니다. 애플리케이션레벨에서쿼럼디바이스역할을하도록 Oracle 보팅디스크를 3차사이트에구축할필요가없습니다. VPLEX를사용하면여러데이터베이스및 / 또는애플리케이션을하나의단위로보호하는정합성보장그룹을생성할수있습니다. 이솔루션은 VPLEX Witness를사용해두 VPLEX 클러스터간접속구성을모니터링하고클러스터간네트워크파티션장애또는클러스터장애가발생하는경우무중단가용성을보장합니다. VPLEX Witness는별도의 3차장애도메인 ( 사이트 C) 의가상머신에구축됩니다. 네트워크고가용성각데이터센터에는 Brocade VCS(Virtual Cluster Switch) 기술을통해이더넷 Fabric이구축되며, 이이더넷 Fabric은모든링크포워딩을지원하며자가복구기능및복구성능이뛰어난액세스계층을제공합니다. vlag(virtual Link Aggregation Group) 는두개의데이터센터간에 Layer 2 네트워크를확장하는 Brocade MLXe 코어라우터에 VCS Fabric을연결합니다. 그림 7 은네트워크구성요소를포함하여이솔루션의모든계층에대한물리적아키텍처를나타냅니다. 14
그림 7. 솔루션아키텍처 15
보호계층 표 2 는단일장애지점을제거하기위해이솔루션이사용하는 HA(High Availability) 계층을요약합니다. 표 2. 로컬고가용성 로컬고가용성 보호사이트보호되는구성요소 VMware HA 및 VMware DRS A 및 B SAP 가상머신 SUSE Linux Enterprise HAE 및 SAP Enqueue Replication Server A 및 B SAP 인큐서버, SAP 메시지서버 여러 SAP 다이얼로그인스턴스 A 및 B SAP 작업프로세스 (DIA, UPD, UP2, SPO) VMware A, B 및 C 서버가상화 Oracle RAC A 및 B Oracle 데이터베이스 Oracle Clusterware A 및 B SAP 공유파일시스템 Oracle ACFS A 및 B SAP Oracle Home, SAP 글로벌디렉토리, SAP 전송디렉토리, SAP ASCS 디렉토리 EMC Symmetrix VMAX 20K A 로컬스토리지, RAID, multipath EMC Symmetrix VMAX 10K B 로컬스토리지, RAID, multipath 그다음 VPLEX Metro는데이터센터의한계를극복하고여러데이터센터의서버가공유블록스토리지디바이스에읽기 / 쓰기액세스할수있도록지원하는클러스터링아키텍처를통해고가용성을확장합니다. 이러한데이터센터혁신에따라기존의고가용성이새로운차원의미션크리티컬무중단업무운영으로혁신됩니다. 그림 8 은최고의복구성능을제공하기위해구축된 VPLEX Witness 및클러스터간접속에기반하는이러한고가용성설계를나타냅니다. 그림 8. 원격무중단업무운영을지원하는 VPLEX 기반로컬 HA 16
그림 8 에나타난각기술은이백서의해당섹션에서보다자세히설명합니다. 데이터베이스및워크로드프로파일 표 3 에는이솔루션의데이터베이스와워크로드프로파일이자세히정리되어 있습니다. 표 3. 데이터베이스및워크로드프로파일 프로파일특성 세부정보 데이터베이스수 1 데이터베이스유형데이터베이스크기데이터베이스이름 Oracle RAC 워크로드프로파일 SAP OLTP 500GB VSE 물리적노드 4개 SAP 맞춤형오더및지불프로세스 하드웨어리소스 표 4 에는솔루션의하드웨어리소스가자세히정리되어있습니다. 표 4. 솔루션의하드웨어환경 용도 수량 구성 스토리지 ( 사이트 A) 1 Enginuity 운영환경의 Symmetrix VMAX 20K 시리즈엔진 2개 450GB FC 드라이브 171개 2TB SATA 드라이브 52개 스토리지 ( 사이트 B) 1 Enginuity 운영환경의 Symmetrix VMAX 10K 시리즈엔진 1개 2TB NL-SAS 드라이브 30개 600GB SAS 드라이브 79개 분산형스토리지연합 2 VPLEX Metro 클러스터 VS2 엔진 2개 Oracle RAC 데이터베이스서버 4 8코어 CPU 4개, 128GB RAM SAP용 VMware ESXi 서버 4 4코어 CPU 2개, 128GB RAM VPLEX Witness 용 VMware ESXi 서버 2 2 코어 CPU 2 개, 48GB RAM 17
용도수량구성 네트워크스위칭및라우팅 플랫폼 2 Brocade DCX 8510 백본 Fx8-24 FC 확장카드 16Gb FC 회선속도가지원되는 48포트 FC 블레이드 2개 Brocade MLXe 라우터 4 VCS 모드의 Brocade VDX 6720 소프트웨어리소스 표 5 에는이솔루션의소프트웨어리소스가자세히정리되어있습니다. 표 5. 솔루션의소프트웨어환경 소프트웨어버전용도 EMC Enginuity Enginuity 5876 2012 년 4 분기 서비스릴리즈 Symmetrix VMAX 운영환경 EMC VPLEX GeoSynchrony 5.1 패치 2 VPLEX 운영환경 EMC VPLEX Witness 5.1 패치 2 VPLEX 클러스터장애및클러스터간통신장애해결을위한모니터링및중재구성요소 EMC Unisphere TM 5.1 VPLEX 관리소프트웨어 EMC Unisphere T1.5.0.151 VMAX 관리소프트웨어 EMC VSI(Virtual Storage Integrator) 5.0.0.95 VMware 스토리지통합 EMC PowerPath/VE 5.7 P01( 빌드 2) 경로다중화소프트웨어 SUSE Linux Enterprise High Availability Extension 을 포함한 SUSE Linux Enterprise Server for SAP Applications 11 SP1 운영환경의모든서버에대한운영 체제 VMware vsphere 5.0 업데이트 1 모든가상머신을호스팅하는 하이퍼바이저 Oracle Database 11g(Oracle RAC 및 Oracle Grid 인프라스트럭처기반 ) Enterprise Edition 11.2.0.3 Oracle 데이터베이스및클러스터 소프트웨어 SAP ERP 6.04 SAP ERP IDES 시스템 18
EMC 스토리지인프라스트럭처 소개 개요 이섹션에서는이솔루션을위한스토리지인프라스트럭처에대해설명합니다. Symmetrix VMAX 20K 스토리지는사이트 A에서스토리지플랫폼제공 Symmetrix VMAX 10K 스토리지는사이트 B에서스토리지플랫폼제공이두개의스토리지시스템은해당 LUN 구성을통해구축됩니다. EMC Symmetrix VMAX 10K Symmetrix 10K 는점점더많은 IT 조직과서비스공급업체가까다로운스토리지요구 사항과리소스제약으로어려움을겪는것을고려하여업계최고의하이엔드가상 스토리지기능을제공할수있도록설계된새로운엔터프라이즈스토리지입니다. VMAX 10K는간단하게설치, 설정및사용할수있도록설계되었습니다. VMAX 10K는장애모드성능향상이필요한고객에게적합하며 Symmetrix 기반스토리지인프라스트럭처를이용하려는고객이가장쉽게접근할수있는엔트리레벨제품입니다. Virtual Matrix Architecture를활용하는 VMAX 10K는엔터프라이즈급신뢰성, 가용성및서비스기능을제공합니다. VMAX 10K에는스토리지를받는즉시간편하게설치할수있도록사전구성이포함되어있기때문에 4시간이내에설치를완료할수있습니다. VMAX 10K는 100% 가상프로비저닝된시스템입니다. Virtual Provisioning 을사용하면호스트, 애플리케이션또는파일시스템에서물리적으로할당받은스토리지용량보다더많은용량을할당받은것으로인식합니다. 물리적인용량은애플리케이션이처음구성될때가아닌데이터가기록될때만할당됩니다. 따라서수동으로계산을수행할필요가없으며스토리지시스템내에서사용되지않는스토리지양이감소하므로전력과냉각비용이절감됩니다. Fully Automated Tiered Storage용 FAST VP를추가함으로써 IT 리소스및인력이제한된 IT 조직도설치및일상적인작업을보다쉽게수행할수있습니다. EMC의업계최고수준의 VMware 통합에기반한 VMAX 10K는이제 VMware vsphere 5 클라우드인프라스트럭처플랫폼과의새로운통합을통해더욱효율적인엔터프라이즈스토리지를제공합니다. VMware용 EMC VSI(Virtual Storage Integrator) 를사용하면 EMC 스토리지를가상화된환경에통합하는프로세스가간소화됩니다. EMC Enginuity 운영환경에서는 VMAX 10K 스토리지의모든구성요소가지능적으로제어됩니다. 19
Enginuity Enginuity 5876 Q4 2012 SR 운영환경에서는 EMC Symmetrix 스토리지시스템의모든구성요소가지능적으로제어됩니다. Enginuity는스토리지의데이터흐름을제어하는사전예방적이며지능형인멀티태스킹스토리지운영환경 (SOE) 으로서스토리지운영을위해특별히설계되었으며하이엔드환경의서비스수준요건에최적화된제품입니다. 이번 Enginuity 릴리즈는다음에중점을둡니다. 간편한사용및관리멀티테넌시최적화 VMAX 10K EMC Symmetrix VMAX 20K VMAX 20K는멀티컨트롤러스토리지설계를필요로하는소규모엔터프라이즈및상위미드레인지고객의사용편의성, 성능, 고가용성및가격에대한요구를완벽하게충족합니다. VMAX 20K는요구사항이까다로운고객의위해보다높은수준의확장성, 용량및성능을제공합니다. 모든 VMAX 시스템은업계최고수준의 Virtual Matrix Architecture에구축되며동일한 Enginuity 코드를실행하고중앙집중식관리를위한단일인터페이스인 EMC Unisphere for VMAX를공유합니다. EMC Unisphere for VMAX Unisphere for VMAX 는스토리지플랫폼전반에서공통의 EMC 사용자환경을 제공하는고급 GUI 입니다. Unisphere for VMAX 를사용하면 그림 9 와같이 VMAX 환경을간단하게프로비저닝, 관리및모니터링할수있습니다 그림 9. Unisphere for VMAX 20
VMAX 구성 스토리지레이아웃 이솔루션의경우 VPLEX Metro, Oracle RAC 확장및 SAP 볼륨이가상프로비저닝을통해배치됩니다. 이러한구성을통해 Oracle 데이터파일및로그파일이개별적인씬풀에배치되므로각파일은고유한 RAID 보호를사용할수있습니다. 데이터파일은 RAID 5 보호풀에상주하며 redo 로그는 RAID 1의보호풀에상주합니다. 스토리지는 Oracle REDO 로그디바이스를제외한어떠한디바이스에도사전할당되지않습니다. EMC는이러한디바이스생성시영구적인할당을통해해당디바이스를완전하게사전할당할것을권장합니다. 그렇게하면해당스토리지를미리사용할수있습니다. 또한사용되지않는공간재확보가특정단계의풀에서실행되는경우사전할당된용량이풀의사용가능한용량으로반환되지않습니다. 그림 10 은 Oracle ASM 디스크그룹에해당하는스토리지레이아웃을논리적으로표시한것입니다. 그림 10. 스토리지그룹및 ASM 디스크그룹 디바이스테이블 표 6 은각 ASM 디스크그룹에대해구성된디바이스의크기및수를나타냅니다. 표 6. 디바이스크기 스토리지그룹 디바이스수 디바이스크기 (GB) OCR 5 8 FRA 4 16 REDO 8 16 DATA 16 128 ACFS 4 16 21
표 7 은 VPLEX Metro 에대해구성된디바이스의크기및수를나타냅니다. 표 7. VPLEX Metro 에대해구성된디바이스의크기및수 VPLEX 디바이스 디바이스수 디바이스크기 (GB) VPLEX 메타데이터 2 80 VPLEX 로그볼륨 2 20 VPLEX 메타데이터백업 2 80 22
EMC VPLEX Metro 인프라스트럭처 소개 개요 이섹션에서는이솔루션을위한 VPLEX Metro 인프라스트럭처에대해설명하며이인프라스트럭처는다음과같은구성요소로이루어집니다. 각데이터센터 ( 사이트 A 및사이트 B) 의 EMC VPLEX Metro 클러스터개별적인장애도메인 ( 사이트 C) 의 EMC VPLEX Witness EMC VPLEX EMC VPLEX는 EMC와타사스토리지시스템모두를위한스토리지가상화솔루션입니다. EMC는고가용성및데이터이동성에대한고객의요구사항을해결하기위해 그림 11과같이세가지 VPLEX 구성을제공합니다. VPLEX Local VPLEX Metro VPLEX Geo 그림 11. VPLEX 토폴로지 이러한 VPLEX 구성에대한자세한설명은참고자료76페이지에나와있는문서를참조하십시오. EMC VPLEX Metro 이솔루션은고유한클러스터링아키텍처를통해데이터센터의물리적한계를극복하고여러데이터센터의서버에서공유블록스토리지디바이스에읽기 / 쓰기액세스할수있도록지원하는 VPLEX Metro를사용합니다. VPLEX Metro를사용하면동기식으로원격연결된두사이트의데이터에 5ms의라운드트립시간으로 Active- Active 및블록레벨액세스가가능합니다. EMC VPLEX Witness VPLEX Witness는 VPLEX 클러스터에대한개별적인장애도메인에가상머신으로설치된선택적외부서버입니다. VPLEX Witness는관리 IP 네트워크에서 VPN(Virtual 23
Private Network) 을통해두개의 VPLEX 클러스터모두에접속합니다. 여기에는 1초이하의라운드트립시간이필요합니다. VPLEX Witness는클러스터에의해정기적으로보고되는정보를관찰및종합하므로클러스터가클러스터간네트워크파티션장애및클러스터장애를구분하고해당사이트에서 I/O를자동으로재시작할수있습니다. VPLEX Witness 장애처리방식은정합성보장그룹내의분산형볼륨에만그리고분리규칙이정합성보장그룹에대해정적인기본클러스터를식별할때에만적용됩니다 ( 자세한내용은VPLEX 정합성보장그룹 26페이지에서참조 ). EMC Unisphere for VPLEX Unisphere for VPLEX 웹기반 GUI를통해 VPLEX 환경을관리하거나 ( 그림 12 참조 ) 관리서버에직접접속해 VPlexcli 세션을시작할수있습니다 (VPLEX 명령줄인터페이스 ). 그림 12. EMC Unisphere for VPLEX EMC VPLEX 고가용성 VPLEX Metro는애플리케이션및데이터이동성을지원합니다. 또한 PLEX Witness를통해구성되는경우 Oracle RAC와같은클러스터애플리케이션을위한고가용성인프라스트럭처를제공합니다. VPLEX Metro를사용하면확장클러스터를마치로컬클러스터처럼구축할수있으며데이터센터에서단일장애지점을제거할수있습니다. 또한데이터와애플리케이션이두개의사이트모두에서활성상태이므로이솔루션을통해간단한무중단업무운영전략을제공할수있습니다. 24
VPLEX 클러스터간접속구성을통해더욱높은수준의가용성을실현할수있습니다. 이경우각호스트가두개의사이트모두의 VPLEX 클러스터에접속됩니다. 이를통해전체 VPLEX 클러스터장애가드물게발생하는경우라도남은 VPLEX 클러스터에대한대체경로가호스트에제공됩니다. VPLEX의논리적스토리지구조 VPLEX는기존의물리적스토리지시스템디바이스를캡슐화하고 그림 13과같이내보낸 LUN에논리적추상화계층을적용합니다. 가상볼륨 디바이스 디바이스 익스텐트 스토리지 볼륨 그림 13. VPLEX 의논리적스토리지구조 스토리지볼륨은스토리지에서내보내기되고 VPLEX에의해캡슐화된 LUN입니다. 익스텐트는 VPLEX에의해스토리지볼륨을분할하는데사용되며기본스토리지볼륨용량의전체또는일부를사용할수있는메커니즘입니다. 디바이스는익스텐트를캡슐화하거나여러익스텐트또는기타디바이스를특정한 RAID 유형으로된하나의대형디바이스로통합합니다. 분산형디바이스는두개의개별적인 VPLEX 클러스터에서다른디바이스를캡슐화하는디바이스입니다. VPLEX 스토리지구조의최상위계층에는가상볼륨이있습니다. 이러한볼륨은상위수준디바이스 ( 디바이스또는분산형디바이스 ) 에서생성되며항상상위수준디바이스의전체용량을사용합니다. 가상볼륨은 VPLEX가프런트엔드포트를사용해호스트에표시하는구성요소입니다. VPLEX는스토리지뷰를통해가상볼륨을호스트에표시합니다. VPLEX 는가상프로비저닝된씬디바이스및기존의 LUN 을포함한이기종스토리지 시스템전반에서디바이스를캡슐화합니다. 25
VPLEX 정합성보장그룹정합성보장그룹은동일한분리규칙및기타속성이그룹의모든볼륨에적용될수있도록가상볼륨을함께통합합니다. 정합성보장그룹의유형은다음과같이두가지가있습니다. 동기식정합성보장그룹 : 동기식정합성보장그룹은 VPLEX Local 및 VPLEX Metro에서동일한분리규칙및기타속성을특정한구성의특정한볼륨그룹에적용하기위해사용됩니다. 따라서대형시스템에서구성및관리가간소화됩니다. 동기식정합성보장그룹은 Write-through 캐시 ( 동기식캐시모드 ) 를사용하며 VPLEX Metro를통해최대 5ms의지연시간으로구분되는클러스터에서지원됩니다. VPLEX Metro는쓰기를백엔드스토리지볼륨으로전송하고두클러스터의백엔드스토리지볼륨이쓰기를확인하면애플리케이션에만쓰기를확인해줍니다. 비동기식정합성보장그룹 : 비동기식정합성보장그룹은클러스터를최대 50ms의지연시간으로구분할수있는 VPLEX Geo의분산형볼륨에사용됩니다. 분리규칙분리규칙은네트워크파티셔닝또는원격클러스터장애등이발생한경우원격클러스터와의접속이끊어졌을때정합성보장그룹에대한 I/O 처리방식을결정하는사전정의된규칙입니다. 동기식정합성보장그룹은다음과같은분리규칙을지원하여장애발생시클러스터동작을파악합니다. 기본클러스터를식별하는정적인기본설정규칙두개의클러스터모두에서 I/O를일시중지하는중립적규칙클러스터간접속이끊어진경우구성된분리규칙이자동으로호출됩니다. 하지만기본클러스터에장애가발생한경우정적인기본설정규칙을무시하고비기본클러스터를활성상태로유지하도록 VPLEX Witness를구축할수있습니다. VPLEX 데이터이동성 개요 VPLEX 데이터이동성기능을통해익스텐트또는디바이스와같은스토리지구성요소를클러스터내에서또는클러스터간에무중단으로마이그레이션할수있습니다. 데이터이동성은다음과같은이점을제공합니다. 데이터센터통합 데이터센터간에신속한데이터마이그레이션 원격사이트간에애플리케이션및데이터이동및재배치 26
이기종스토리지시스템간에데이터를마이그레이션하는목적은다음과같습니다. " 사용빈도가높은 " 디바이스를저속스토리지에서고속스토리지로재배치 " 사용빈도가낮은 " 디바이스를고속스토리지에서저속스토리지로재배치 스토리지볼륨또는스토리지시스템의사용중지익스텐트마이그레이션익스텐트마이그레이션을통해동일한클러스터에서익스텐트간에데이터를이동시킵니다. 스토리지볼륨을동일한스토리지또는서로다른스토리지에배치할수잇습니다. 그림 14는익스텐트마이그레이션을나타냅니다. 그림 14. VPLEX 클러스터에서의익스텐트마이그레이션 디바이스마이그레이션 RAID 0, RAID 1 또는 RAID C 유형의비분산형디바이스는디바이스마이그레이션을통해동일한클러스터나서로다른클러스터에서디바이스간에데이터를이동시킬수있습니다. 디바이스는단일또는여러익스텐트나디바이스에서구축할수있습니다. 그림 15는디바이스마이그레이션을나타냅니다. 그림 15. VPLEX 클러스터내또는 VPLEX 클러스터간의디바이스마이그레이션 27
이솔루션은분산형디바이스를사용합니다. 이러한유형의디바이스경우디바이스의각구간에있는기본익스텐트를마이그레이션하는데익스텐트마이그레이션이사용됩니다. 분산형디바이스간의디바이스마이그레이션은지원되지않습니다. 데이터이동성구성타겟디바이스또는익스텐트에대한사전요구사항은다음과같습니다. 타겟이소스디바이스또는익스텐트와같은크기이거나그보다더커야합니다. 타겟이소스보다큰경우추가공간을사용할수없습니다. 타겟에어떠한볼륨도존재하지않아야합니다. 익스텐트또는디바이스이동성작업은다음을통해생성, 실행및모니터링할수있습니다. VPLEX CLI: 마이그레이션을 1회성작업으로실행할수도있고재사용가능한마이그레이션계획파일을통해배치작업으로실행할수도있습니다. 자세한내용은 EMC VPLEX 가이드를참조하십시오. Unisphere for VPLEX GUI: GUI는배치이동성작업을지원하지않습니다. 하지만마법사를통해여러익스텐트 / 디바이스를마이그레이션할수있습니다. VPLEX 클러스터에서는최대 25개의로컬마이그레이션과최대 25개의분산형마이그레이션을동시에진행할수있습니다. 마이그레이션수가이제한을초과하는경우후속마이그레이션은기존마이그레이션이완료될때까지대기합니다. 28
그림 16 은 Unisphere for VPLEX 의익스텐트이동성마법사를통한여러익스텐트 이동성작업생성을나타냅니다. 또한실행되는작업및작업상태를나타냅니다. 그림 16. 익스텐트이동성작업생성및모니터링 이솔루션의데이터이동성이솔루션은기존의 VPLEX Metro 인프라스트럭처를활용합니다. 이백엔드스토리지시스템은제품교체의일환으로스왑되고 VMAX 스토리지로교체되었습니다. VPLEX 데이터이동성작업은원래스토리지에서최신스토리지로의무중단데이터마이그레이션에이용되었습니다. 이경우이러한시스템은 ESXi 서버및가상머신이고 그림 17과같이마이그레이션전반에걸쳐전원이켜지며사용이가능합니다. 29
그림 17. 마이그레이션시사용가능한 ESXi 서버, 가상머신및데이터저장소 VPLEX Metro 솔루션구성 스토리지구조 그림 18 은이솔루션에서 VPLEX Metro 에의해사용되는물리적스토리지구조와 논리적스토리지구조를나타냅니다. 각사이트의스토리지볼륨, 익스텐트및디바이스간에일대일매핑이이루어집니다. 분산형 RAID 1 구성의모든클러스터-1 디바이스가클러스터-2에서원격으로미러링되어분산형디바이스를생성합니다. 이러한분산형디바이스는가상볼륨에의해캡슐화된후스토리지뷰를통해호스트에표시됩니다. 그림 18. 이솔루션을위한 VPLEX 물리적스토리지구조및논리적스토리지구조 30
정합성보장그룹정합성보장그룹은데이터베이스및데이터베이스애플리케이션에있어특히중요합니다. 예를들면다음과같습니다. 쓰기순서정확성 : 데이터무결성을유지하기위해모든 Oracle 데이터베이스 LUN( 예 : 데이터파일, 제어파일및로그파일 ) 이단일정합성보장그룹에함께배치되어야합니다. 트랜잭션종속성 : 애플리케이션이여러데이터베이스에트랜잭션을발행하고해당데이터베이스정합성이상호유지하기를기대하는경우와같이여러데이터베이스에트랜잭션종속성이존재하는경우가많습니다. I/O 종속성유지를필요로하는모든 LUN은단일정합성보장그룹에상주해야합니다. 애플리케이션종속성 : Oracle RAC는데이터베이스가용성을유지하기위해액세스해야하는디스크세트내에 OCR(Oracle Cluster Registry) 및보팅파일을유지합니다. 데이터베이스및 OCR 디스크는단일정합성보장그룹에상주해야합니다. 이솔루션의경우동기식단일정합성보장그룹인 Extended_Oracle_RAC_CG가 Oracle 11g 데이터베이스바이너리, Oracle ASM 디스크그룹, OCR 및보팅파일을저장하는모든가상볼륨을포함합니다. 정합성보장그룹에대한분리규칙의기본클러스터는클러스터-1입니다. 구성프로세스이솔루션을위한 VPLEX Metro의논리적스토리지구조는다음과같이구성되었습니다 ( 그림 19~ 그림 23은 VPLEX 관리콘솔이제공하는구성마법사에서추출한내용임 ). 스토리지볼륨 : 스토리지볼륨은스토리지에서내보내기되고 VPLEX에의해캡슐화된 LUN입니다. 그림 19는 VPLEX 관리콘솔에표시된것처럼사이트 A에서생성된여러스토리지볼륨을나타냅니다. 그림 19. EMC VPLEX 스토리지볼륨 ( 사이트 A) 31
익스텐트 : 이솔루션에서는 그림 19 및 그림 20 과같이익스텐트와스토리지 볼륨간에일대일매핑이이루어집니다. 그림 20. EMC VPLEX 익스텐트생성마법사 디바이스 : 이솔루션에서는디바이스와익스텐트간에일대일매핑이 이루어집니다. 그림 21 은이러한일대일매핑을구성하는데사용된옵션은 나타냅니다. 그림 21. EMC VPLEX 디바이스생성마법사 분산디바이스 : 이솔루션에서는 그림 22 와같이디바이스를분산된 RAID 1 구성에서미러링하여분산디바이스가생성되었습니다. 그림 22. EMC VPLEX 디바이스생성마법사 가상볼륨 : 이솔루션에서는모든상위수준디바이스가분산디바이스입니다. 이러한디바이스는 VPLEX가스토리지뷰를통해호스트에표시하는가상볼륨에의해캡슐화됩니다. 스토리지뷰는호스트, 호스팅되는가상볼륨및호스팅이수행되는 VPLEX 포트를정의합니다. 정합성보장그룹 : 그림 23은이솔루션에대해생성된정합성보장그룹 Extended_Oracle_RAC_CG를나타냅니다. 32
그림 23. EMC VPLEX 정합성보장그룹생성마법사 VPLEX Witness 구성 이솔루션은 VPLEX Witness를사용해두 VPLEX 클러스터간접속구성을모니터링하고클러스터간네트워크파티션장애또는클러스터장애가발생하는경우무중단가용성을보장합니다. 이는정상적으로운영되는사이트에서스토리지가용성이보장되므로 VPLEX Metro HA 구성으로간주됩니다. VPLEX Witness는별도의 3차장애도메인 ( 사이트 C) 에구축되고사이트 A와 B의 VPLEX 클러스터에연결됩니다. 사이트 C는사이트 A와 B에서지연시간이 1초미만인거리에배치됩니다. VPLEX Witness가설치및구성되면 VPLEX 관리콘솔이 그림 24와같이클러스터 Witness 구성요소상태를표시합니다. 그림 24. EMC VPLEX Witness 구성요소및상태 33
VPLEX 성능모니터링 VPLEX 5.1은성능모니터링대시보드를통해향상된성능모니터링기능을제공합니다. 이대시보드는 VPLEX 시스템에대해맞춤구성가능한보기를제공하므로시스템성능의다양한측면을디렉터레벨에서확인및비교할수있습니다. 다음을포함한여러다양한메트릭이제공됩니다. 프런트엔드지연시간차트프런트엔드대역폭차트프런트엔드처리성능차트 CPU 사용률차트재구축상태차트 WAN 링크성능차트백엔드지연시간차트 그림 25는 Oracle 통계가 SAP VSE 데이터베이스에서수집되었을때의클러스터- 1( 사이트 A VPLEX) 의프런트엔드및 CPU 성능을나타냅니다. 그림 25. VPLEX 성능모니터링대시보드 34
VMware 가상인프라스트럭처 소개 개요 이솔루션에서 SAP 애플리케이션서버는 VMware vsphere 5를통해완전히가상화되었습니다. 이섹션에서는다음과같은구성요소및옵션을사용하는가상화인프라스트럭처에대해설명합니다. VMware vsphere 5.0 업데이트 1 VMware Center TM Server VMware vsphere vmotion VMware vsphere HA(High Availability) VMware vsphere DRSTM(Distributed Resource Scheduler) VMware vsphere 버전 5.7용 EMC PowerPath /VE VMware vsphere 버전 5.1용 EMC Virtual Storage Integrator VMware vsphere 5 VMware vsphere 5는 IT 하드웨어를고성능공유컴퓨팅으로혁신하는인프라스트럭처서비스및 IT 조직에서최고수준의가용성, 보안및확장성을제공하도록지원하는애플리케이션서비스를제공하는가장완벽하고확장성이뛰어나며강력한가상화플랫폼입니다. VMware vcenter Server VMware vcenter는 vsphere 환경을위한중앙집중식관리플랫폼으로서모든가상인프라스트럭처레벨에서파악기능과제어기능을지원합니다. VMware vsphere vmotion VMware vsphere vmotion은사용자의운영을중단시키거나서비스에지장을주지않으면서서버전반에서가상머신라이브마이그레이션을지원하는 VMware 기술입니다. Storage vmotion은가상머신의가용성에영향을미치지않으면서가상머신스토리지라이브마이그레이션을지원하는 VMware 기술입니다. 이를통해라이브상태의가상머신을새로운데이터저장소로재배치할수있습니다. VMware vsphere HA(High Availability) VMware vsphere HA(High Availability) 는운영체제또는기본하드웨어구성과상관없이가상머신에서실행되는모든애플리케이션을위한고가용성을제공하는 vsphere 구성요소입니다. 35
VMware vsphere Distributed Resource Scheduler VMware vsphere DRS(Distributed Resource Scheduler) 는여러 ESXi 서버에서로드분산및가상머신배치를동적으로자동조정합니다. EMC PowerPath/VE EMC PowerPath/VE for VMware vsphere는 PowerPath Multipathing 기능을통해 VMware vsphere 가상화환경을최적화합니다. PowerPath/VE는 ESXi 호스트에커널모듈로서설치되며 ESXi 호스트에고급경로관리기능을제공하는 MPP(Multipathing Plug-in) 역할을합니다. VMware vsphere용 EMC Virtual Storage Integrator VMware vsphere용 EMC VSI(Virtual Storage Integrator) 는 vsphere Client의플러그인으로, vsphere 환경내에서 EMC 스토리지를관리하는데사용되는단일관리인터페이스를제공합니다. VSI는각각의기능을따로업데이트할수있고변화하는고객요구사항에따라새로운기능을신속하게도입할수있는유연한통합사용자환경을제공합니다. PowerPath/VE가 ESXi 호스트에설치되면 VSI는로드밸런싱정책, 활성경로수및비활성경로수와같이디바이스에대한중요한경로다중화세부정보를표시합니다. VPLEX Metro 기반 VMware 구축 EMC VPLEX Metro는두개의지리적으로분산된위치에서동일디바이스세트에대한동시액세스를제공함으로써 VMware vsphere 기반의지리적으로확장된클러스터를지원하는 Active-Active 인프라스트럭처를제공합니다. Brocade vlag(virtual Link Aggregation Group) 기술을통해여러물리적데이터센터전반에서 VLAN과서브넷을확장할수있습니다. VMware vsphere 기능및구성요소를 VPLEX Metro와함께구축하여다음과같은기능을실현할수있습니다. vmotion: 하드웨어유지보수와같은예정된이벤트가있는경우사이트간에가상머신을라이브마이그레이션하는기능입니다. Storage vmotion: 가상머신의가용성에영향을미치지않고가상머신스토리지를마이그레이션하는기능입니다. 이를통해라이브상태의가상머신을새로운데이터저장소로재배치할수있습니다. VMware DRS: DRS 그룹및유사성규칙을통해사이트전반에서자동로드분산및가상머신배치를수행합니다. VMware HA: VPLEX Witness를통해구성된 VPLEX Metro 환경은사이트레벨장애시정상적으로운영되는사이트에서스토리지가용성을보장하므로 VPLEX Metro HA 구성으로간주됩니다. VPLEX Metro HA를 VMware HA와같은 36
호스트페일오버클러스터링기술과통합하여사이트레벨장애발생시 애플리케이션을자동으로재시작할수있습니다. 그림 26 은이러한 HA 아키텍처를나타냅니다. 그림 26. VPLEX Witness 기반 VMware HA - 논리적뷰 VPLEX Metro HA 클러스터간접속 : 로컬 VMware ESXi 서버와원격사이트 VPLEX 클러스터간에클러스터간접속을추가해 VMware HA 클러스터보호기능을더욱향상시킬수있습니다. 전체사이트운영중단이발생하지않은경우 VMware vsphere 5.0이인식하지못하는로컬데이터가용성손실이벤트가발생할수있습니다. vsphere 환경을 VPLEX 클러스터에교차접속하면이러한상황을방지하고장애가발생한가상머신을정상적으로운영되는사이트로자동으로이동시킬수있습니다. VPLEX 클러스터간접속은거리에따른지연시간이최대 1ms일경우까지사용할수있습니다. 이솔루션은 그림 27과같이클러스터간접속기반 VPLEX Metro HA를통해 VMware 가상머신의가용성을극대화합니다. 1 1 자세한내용은 EMC TechBook: EMC VPLEX Metro Witness Technology and High Availability 를참조하십시오. 37
그림 27. VPLEX Witness 및클러스터간접속기반 VMware HA - 논리적보기 VMware 확장클러스터구성 VMware와 EMC는여러사이트의 ESXi 호스트를포함하는확장클러스터구성을지원합니다 2. 이솔루션에서는하나의 vsphere 클러스터가 VMware HA 및 VMware DRS 기반의분산된 VPLEX 가상볼륨을통해사이트 A와사이트 B 사이에서확장됩니다. 클러스터에는각사이트에두개씩 4개의호스트가있습니다. VPLEX Metro HA 클러스터간접속은이러한구성의복구성능을향상시킵니다. vcenter 에서는 그림 28 과같이이러한클러스터구성사이트 A 와사이트 B 및이 구성에서사용할수있는기능을간단하게확인할수있습니다. 이러한뷰는또한 클러스터에서사용할수있는메모리, CPU 및스토리지리소스를나타냅니다. 그림 28. HA 및 DRS 가지원되는 vsphere 클러스터 2 요구사항및시나리오에대한자세한내용은 VMware 기술자료문서 1026692: Using VPLEX Metro with VMware HA 를참조하십시오. 38
각 ESXi 서버는네트워크페일오버및고성능을제공하기위해두개의 10GbE 물리적어댑터로구성됩니다. vds(vsphere Distributed Switch) 3 는모든호스트에서공통의단일스위치를제공합니다. 업링크어댑터라고도하는 10GbE 물리적어댑터가 dvswitch에할당됩니다. 다음과같은두개의분산된포트그룹이 dvswitch에할당됩니다. dvportgroupsiteab: 가상머신네트워크트래픽용 Management Network: VMkernel 트래픽, 특히 vmotion 트래픽용 그림 29는 dvswitch 구성을나타냅니다. vsphere 5.0 분산형스위치와 Brocade VCS 스위치는모두 LLDP(Link Layer Discovery Protocol) 를지원하며관련된물리적스위치의속성은 vcenter에서쉽게확인할수있습니다. 그림 29. dvswitch 구성및 LLDP 세부정보 데이터저장소 EXT_SAP_VPLEX_DS01이 1TB VPLEX 분산형볼륨에서생성되고확장클러스터의 ESXi 호스트에표시되었습니다. 모든가상머신은가상디스크를공유하거나사이트간에 vmotion을사용할수있어야하므로 Storage vmotion을통해이데이터저장소로마이그레이션됩니다. 그림 30은이데이터저장소의구성세부정보를나타냅니다. 3 dvswitch 는모든구성원호스트에적용되는네트워크구성을제공하며가상머신이호스트 간에마이그레이션할때일관된네트워크구성을유지할수있도록지원합니다. 자세한 내용은 VMware vsphere Networking ESXi 5.0 문서를참조하십시오. 39
그림 30. 데이터저장소 EXT_SAP_VPLEX_DS01 및관련호스트와가상머신 VMware vsphere HA 구성 VMware vsphere HA 및 VMware vsphere DRS 지원 vsphere HA는클러스터로구성된여러 ESXi 호스트를활용해운영중단으로부터신속하게복구할수있는기능과가상머신에서실행되는애플리케이션을위한경제적인고가용성을제공합니다. 4 vsphere HA는다음과같은방식으로애플리케이션가용성을보호합니다. 가상머신을클러스터내의다른 ESXi 서버에서재시작하여서버장애로부터가용성을보호합니다. 가상머신을무중단으로모니터링하고게스트 OS 장애시재설정하여애플리케이션장애로부터가용성을보호합니다. 이솔루션에서는 그림 31과같이 vsphere HA와 DRS가지원됩니다. 그림 31. vsphere HA 마법사 4 vsphere HA 에대한자세한내용은 VMware vsphere Availability ESXi 5.0 문서를 참조하십시오. 40
VM 모니터링가상머신하트비트가 60초이내에수신되지않는경우개별가상머신을재시작하기위해 VM 모니터링이구성되었습니다. 가상머신재시작옵션 4개의 SAP 가상머신에대한 VM 재시작우선순위옵션이높음으로설정되었습니다. 따라서운영중단발생시이러한가상머신의전원이먼저켜집니다. 그림 32는이러한설정및호스트분리응답설정 ( 기본값 ) 을나타냅니다. 그림 32. VM 재시작우선순위및호스트분리응답설정 데이터저장소하트비트 vsphere HA 클러스터생성시단일호스트가자동으로마스터호스트로선정됩니다. 이마스터호스트는보호되는모든가상머신및슬레이브호스트의상태를모니터링합니다. 마스터호스트가슬레이브호스트와통신할수없는경우이호스트는데이터저장소하트비트를통해슬레이브호스트에장애가발생했는지, 슬레이브호스트가네트워크파티션에있는지또는네트워크분리되었는지를확인합니다. 데이터저장소하트비트에대한 vsphere HA 요구사항을충족하기위해 그림 33과같이두번째데이터저장소인 EXT_SAP_VPLEX_HA_HB가 20GB VPLEX 분산형볼륨에서생성되었으며모든 ESXi 호스트에표시되었습니다. 운영환경에서 vcenter는이러한목적을위해호스트가시성에기반해두개이상의데이터저장소를자동으로선택합니다. 그림 33. vsphere HA 클러스터상태 - 하트비트데이터저장소 41
VMware vsphere DRS 구성 VMware DRS 호스트그룹및가상머신그룹 DRS 호스트그룹및가상머신그룹은 ESXi 호스트리소스관리를간소화합니다. 이러한기능은이솔루션의필수구성요소는아닙니다. VMware DRS 유사성규칙 DRS는유사성규칙을통해클러스터내호스트에서의가상머신배치를제어합니다. DRS는두가지유형의유사성규칙을제공합니다. VM-호스트유사성규칙은가상머신그룹과호스트그룹간의유사성관계를지정합니다. VM-VM 유사성규칙은특정한가상머신이동일한호스트에서실행될지또는별도의호스트에상주할지여부를지정합니다. 표 8 및 그림 34는이솔루션에사용되는 VM-VM 유사성규칙을나타냅니다. 표 8. VMware DRS 유사성규칙 VM-VM 유사성규칙 개별 SAPASCS 가상머신 SAPASCS2 와 SAPASCS3 이별도의호스트에 상주합니다. 그림 34. vplex_esxi_metro_ha 클러스터에대한 DRS VM-VM 유사성규칙 EMC Virtual Storage Integrator 및 VPLEX EMC VSI(Virtual Storage Integrator) 는 vcenter GUI 를통해직접적인방식으로 VPLEX 에대한향상된파악기능을제공합니다. 그림 35 와같이 EMC VSI 탭에서 Storage Viewer 및경로관리기능에액세스할수있습니다. 이솔루션에서 VPLEX 분산형볼륨은 EXT_SAP_VPLEX_DS01 VMFS(Virtual Machine File System) 데이터저장소를호스팅하며 Storage Viewer는데이터저장소가상볼륨, 스토리지볼륨및경로에대한세부정보를제공합니다. 그림 35와같이데이터저장소를구성하는 LUN은 4개의 256GB 분산형 RAID 1 VPLEX Metro 볼륨으로서 PowerPath를통해액세스할수있습니다. 42
그림 35. VSI Storage Viewer - 데이터저장소 43
SAP 시스템아키텍처 소개 개요 이섹션에서는두데이터센터의솔루션을위해구축된 SAP 시스템아키텍처에대해 설명합니다. SAP 애플리케이션계층은다음과같은 SAP 및 SUSE 구성요소를 사용합니다. SAP 애플리케이션 SAP Enhancement Package 4 for SAP ERP 6.0 IDES SAP NetWeaver Application Server for ABAP 7.01 SAP Enqueue Replication Server 운영체제 SUSE Linux Enterprise Server for SAP Applications 11 SP1 SUSE Linux Enterprise High Availability Extension SAP 시스템은가상머신의 SAP 서비스및물리적서버의데이터베이스를통해하이브리드환경에서실행됩니다. 모든 SAP 인스턴스는 SUSE Linux Enterprise Server for SAP Applications를운영체제로하여 VMware vsphere 가상머신에설치됩니다. 기본데이터베이스는 ASM 기반물리적 Oracle RAC 데이터베이스입니다. VMware 및 Oracle 환경은이백서에있는별도의섹션에서설명됩니다 (VMware 가상인프라스트럭처VMware 가상화된인프라스트럭처및 Oracle 데이터베이스참조 ). SAP ERP 6.0 SAP NetWeaver 기술플랫폼에기반한 SAP ERP 6.0은완벽하게통합된세계최고수준의 ERP(Enterprise Resource Planning) 애플리케이션으로서모든업종및시장부문에걸쳐중간규모기업과대규모엔터프라이즈의핵심적인비즈니스요구사항을충족합니다. SAP ERP 6.0은여러부문에걸친폭넓은통합비즈니스프로세스를제공하며지속적인성장, 혁신및운영효율성향상을지원하는강력한비즈니스프로세스플랫폼역할을수행할수있습니다. SAP IDES(Internet Demonstration and Evaluation System) 는사전구성된데이터및클라이언트에기반한데모, 테스트및기능평가를지원합니다. IDES는실제비즈니스요구사항을반영하고실제적인특성에액세스할수있도록설계된비즈니스프로세스가내재된다양한비즈니스시나리오에대한애플리케이션데이터를포함합니다. 이솔루션은 IDES를통해테스트목적의모델기업을표시합니다. SUSE Linux Enterprise Server for SAP Applications SUSE Linux Enterprise Server는물리적애플리케이션, 가상애플리케이션및클라우드애플리케이션을지원하기위해구축된신뢰성과확장성이뛰어난안전한서버운영체제입니다. SUSE Linux Enterprise Server는 SAP 환경을위한기본 Linux 플랫폼입니다. 44
최신 SUSE Linux Enterprise Server 기술에기반한 SSUSE Linux Enterprise Server for SAP Applications는모든미션크리티컬 SAP NetWeaver 소프트웨어솔루션및어플라이언스에최적화되었습니다. SAP 및 SUSE는 SUSE Linux Enterprise Server for SAP Applications를공동으로검사및인증하여잠재적인소프트웨어호환성문제를해결합니다. 이러한파트너십에따라애플리케이션워크로드가운영체제와긴밀하게통합되며애플리케이션이나운영체제에적용시잠재적인호환성문제가해결됩니다. SUSE Linux Enterprise High Availability Extension SUSE Linux Enterprise Server for SAP Applications는고가용성서비스및애플리케이션클러스터링, 시스템및클러스터링파일시스템, NAS(Network- Attached Storage), 네트워크파일시스템, 볼륨관리자, SAN 및드라이버그리고이러한모든구성요소를함께관리하는방법을제공하는 SUSE Linux Enterprise High Availability Extension을포함합니다. SUSE Linux Enterprise High Availability Extension은물리적 Linux 구축및가상 Linux 구축을위한통합클러스터링솔루션을제공하여, 고가용성 Linux 클러스터구축을지원하고단일장애지점을제거합니다. SAP 시스템구성 SAP 시스템아키텍처 이솔루션은 그림 36 과같이고가용성 SAP 시스템아키텍처를구축합니다. 그림 36. SAP 시스템아키텍처 45
인큐서버및메시지서버는중앙인스턴스에서분리되고 ASCS 인스턴스내에서비스로구축됩니다 5. SAP ERS는 HA 아키텍처의일환으로설치되어애플리케이션잠금손실을방지하고인큐서버보호를강화합니다 6. 두개의다이얼로그인스턴스설치되어다이얼로그 (DIA), 백그라운드 (BGD), 업데이트 (UPD), 스풀 (SPO) 및게이트웨이와같은이중화된워크프로세스를제공합니다. 주요설계고려사항이솔루션을위해구축된 SAP 시스템은다음과같은주요설계기능을구현합니다. ASCS 인스턴스가상호스트이름 (SAPVIPE) 으로설치되어이러한이름을가상머신호스트이름에서분리합니다. ERS 인스턴스는다른인스턴스번호 (01) 로설치되어 ASCS 및 ERS 모두가클러스터제어아래에있는경우에발생할수있는충돌을방지합니다. SAP 패치, 매개변수, 기본설정및로드밸런싱설정은모두 SAP 설치가이드및페이지 76에있는 SAP 참고사항에따라설치및구성됩니다 SAP 환경을위한 VMware Best Practice가이솔루션에채택되었습니다 7. SAP 업데이트프로세스 (UPD/UP2) 는추가적인애플리케이션서버인스턴스에구성됩니다. SAP ASCS 인스턴스프로파일, ERS 인스턴스및시작프로파일, 다이얼로그인스턴스프로파일은 ERS 구성을통해업데이트됩니다. 샘플구성에대한내용은부록 : 샘플구성을부록 : 샘플구성참조하십시오. /sapmnt/<sid>( 모든 SAP 인스턴스에사용가능 ) 및 /usr/sap/<sid>/ascs00(sap 클러스터노드, ASCS 인스턴스및 ERS 인스턴스에사용가능 ) 를포함한 SAP 공유파일시스템은 Oracle ACFS(ASM Cluster File System) 에저장되고 NFS(Network File System) 공유로서 SAP 가상머신에마운트됩니다. 이러한공유파일시스템은 Oracle Clusterware 에의해관리되는고가용성 NFS 리소스로표시됩니다. 5 인큐서버는데이터베이스잠금시간을최소화하기위해논리적잠금을관리합니다. 데이터베이스잠금과달리 SAP 잠금은여러데이터베이스 LUW 에걸쳐존재할수있습니다. 메시지서버는 SAP 시스템의모든서버 ( 인스턴스 ) 에다른서버의존재를알립니다. 또한다른클라이언트 ( 예 : 로드밸런싱을사용하는 SAPlogon 및 RFC 클라이언트 ) 도로드밸런싱에대한정보를수집하기위해이러한서버에접속할수있습니다. 6 SAP ERS 는공유메모리세그먼트내에잠금테이블복제본을포함함으로써인큐서버에대한복제메커니즘을제공합니다. Linux 를위한 ERS 설치는표준 SAPInst 프로세스에포함되지않습니다. 설치지침에대한내용은 help.sap.com 의 SAP Enqueue Replication Server 도움말포털을참조하십시오. 7 자세한내용은 VMware 기반 SAP 솔루션 : Best Practice 가이드를참조하십시오. 46
이솔루션범위밖에있는불필요한외부인터페이스를제외하기위해외부 GTS 시스템과의동기화와같은일부 IDES 기능이해제됩니다. 전체 SAP 환경을위한스토리지가이솔루션을위해캡슐화및가상화되었습니다. 이스토리지는두개의사이트로분산되고 VPLEX Metro를통해 SAP 서버에제공됩니다. SUSE Linux Enterprise High Availability Extension SUSE Linux Enterprise High Availability Extension 기반 SAP 가상머신아키텍처이솔루션은 SUSE Linux Enterprise High Availability Extension을통해 VMware 가상머신에구축된두개의클러스터노드에서중앙서비스 ( 메시지서버및인큐서버 ) 를보호합니다. VMware HA(VMware High Availability) 는 ASCS 및추가적인애플리케이션서버 (AAS) 를포함해모든 SAP 가상머신을보호합니다. 그림 37은이러한아키텍처를나타냅니다. 그림 37. SUSE Linux Enterprise HAE 기반 SAP ASCS 클러스터아키텍처 이솔루션에서구축된 SUSE Linux Enterprise High Availability Extension의주요구성요소는다음을포함합니다. 다중노드페일오버를지원하는고가용성클러스터관리자인 OpenAIS 8 / Corosync 9 8 OpenAIS 는 SA Forum(Service Availability Forum) 에의해제공되는 AIS(Application Interface Specification) 가개방적으로구현된것입니다. 47
리소스가용성모니터링및제어를위한리소스에이전트 ( 가상 IP 주소, 마스터 / 슬레이브, SAPInstance) 고가용성 GUI 및다양한명령줄툴 표 9 는 SAP 가상머신의구성을나타냅니다. 표 9. SAP 가상머신 VM 역할수량 vcpu 메모리 (GB) OS 부팅 디스크 (GB) VM 이름 SAP ASCS 1 2 4 32 SAPASCS2 SAP ERS 1 2 4 32 SAPASCS3 SAP AAS 2 2 4 32 SAPDI1 2 4 32 SAPDI2 설치및구성프로세스 SUSE 백서 SUSE Linux Enterprise Server with High Availability에서 SAP NetWeaver 실행 간소화된스택은 SUSE 소프트웨어및 SAP NetWeaver 설치와구성방법에대해설명합니다. 부록 : 샘플구성은이솔루션에의해검증된특징및기능을지원하는샘플구성 파일을제공합니다. 특정한환경을위해 초기 값을세부조정및최적화해야하므로 시간초과, 간격등의시간값을고려해야합니다. 이솔루션에서 SUSE Linux Enterprise High Availability Extension은 YaST와 Pacemaker GUI를통해설치및구성되었습니다. 설치및구성프로세스는다음과같이요약할수있습니다. 1. 보안용도의내부 SMT 서버를설정해모든소프트웨어패키지를최신버전으로업데이트합니다. 2. 그림 38과같이 YaST 소프트웨어관리모듈에서패턴 > High Availability을선택해 High Availability Extension을설치합니다. 9 Corosync Cluster Engine 은애플리케이션내에서고가용성을구축하기위한추가기능이 지원되는그룹통신시스템입니다. 48
그림 38..SUSE Linux Enterprise High Availability Extension 설치 3. 그림 39 와같이 YaST Cluster 모듈에서클러스터기본설정을구성합니다. 그림 39. 클러스터기본설정구성 49
4. 그림 40 과같이 Pacemaker GUI 에서글로벌클러스터설정을구성합니다. 그림 40. 글로벌클러스터설정구성 5. 그림 41 과같이 Pacemaker GUI 에서리소스범주를열고 IPaddr2, 마스터 / 슬레이브및 SAPInstance 리소스를구성합니다. 그림 41. 리소스구성 50
6. 그림 42 와같이 Pacemaker GUI 에서리소스종속성을구성합니다. 그림 42. 리소스종속성구성 7. 그림 43 과같이 Pacemaker GUI 에서클러스터를실행하고클러스터및모든 리소스에이전트가정상적으로작동하는지확인합니다. 그림 43. 클러스터상태확인 51
주요설계고려사항 STONITH 디바이스구성 SBD(STONITH 블록 ) 및 STONITH(Shoot The Other Node In The Head) 는공유스토리지를통해클러스터에서펜싱 ( 노드격리 ) 을지원합니다. 이솔루션은가상디스크 (VMDK) 파티션을 SBD STONITH 디바이스로서사용합니다. 10 따라서두개의클러스터노드모두가이가상디스크에동시에액세스할수있어야합니다. 이가상디스크는 SAP 가상머신과동일한데이터저장소에저장됩니다. 이디스크는 VPLEX에의해프로비저닝및보호되며두개의사이트모두에서사용할수있습니다. VMFS는기본적으로여러가상머신이동일한 VMDK에액세스하거나기록하는것을허용하지않습니다. 하지만 그림 44와같이멀티작성기옵션을 11 구성해공유기능을설정할수있습니다. 그림 44. 멀티작성기옵션 SBD 디바이스는 VPLEX에의해보호되며 EMC PowerPath/VE 경로다중화소프트웨어를통해액세스할수있습니다. 기본 Oracle RAC 클러스터시간초과를고려해 SBD 디바이스에대한시간초과매개변수와 VLEX 격리프로세스를적절하게구성해야합니다. 그림 45는이솔루션에사용된구성을나타냅니다. 10 SBD 는클러스터의스플릿브레인 (split-brain) 시나리오처리를위해매우중요합니다. 단일 SBD 디바이스가이솔루션을위해구성되었습니다. 이러한단일 SBD 디바이스는테스트목적으로만사용됩니다. 운영구성에대한내용은 SUSE Linux Enterprise Server with High Availability 에서 SAP NetWeaver 실행 간소화된스택을참조하십시오. 11 자세한내용은 VMware 기술자료문서 1034165: 멀티작성기플래그를통해 VMFS 의 동시쓰기보호기능해제를참조하십시오. 52
그림 45. SBD 디바이스구성 마스터 / 슬레이브구성 SAPInstance 리소스에이전트는 ASCS 인스턴스및해당 ERS 인스턴스를제어합니다. 이는리소스역할을시작및중지에서마스터및슬레이브로확대하는마스터 / 슬레이브리소스로서구성됩니다. 상향이동된마스터인스턴스는 SAP ASCS 인스턴스를실행합니다. 하향이동된슬레이브인스턴스는 ERS 인스턴스를실행합니다. 마스터 / 슬레이브노드는 ASCS 인스턴스가 ERS와동일한노드에서실행되지않도록지정합니다. 그림 46은 SAPInstance 리소스에이전트구성을나타냅니다. 그림 46. SAPInstance 리소스에이전트구성 그림 47 은마스터 / 슬레이브리소스에이전트구성을나타냅니다. 그림 47. 마스터 / 슬레이브리소스에이전트구성 53
리소스제한 ASCS 인스턴스및이인스턴스의가상 IP가적절한순서및공동배치제한을통해바인딩됩니다. 그림 48은리소스공동배치및리소스순서제한의구성을나타냅니다. 그림 48. 리소스공동배치및리소스순서제한의구성 폴링개념 SUSE Linux Enterprise High Availability Extension은각클러스터노드의 SAP 프로세스상태를무중단으로모니터링하고각 ASCS 인스턴스및 ERS 인스턴스의상향이동 / 하향이동을결정할수있습니다. SAP 폴링개념을구축할필요가없습니다. 이기능을 ERS 인스턴스프로파일에서설정하지마십시오. 샘플 ERS 인스턴스프로파일에대한내용은ERS 샘플인스턴스프로파일페이지에서 79을참조하십시오. 54
Oracle 데이터베이스아키텍처 소개 개요 이섹션에서는이솔루션에서 SAP 애플리케이션의기반이되는그리드및 데이터베이스에대해설명합니다. 이데이터베이스는물리적인 Oracle Database 11g 단일인스턴스에서생성되었습니다. 데이터베이스서버에서단일장애지점을 제거하기위해이단일인스턴스데이터베이스는 ASM 에상주하는 Oracle 데이터베이스와함께물리적인 4 노드 Oracle RAC 11g 클러스터로 마이그레이션되었습니다. 이솔루션은다음과같은 Oracle 구성요소및옵션을사용합니다. Oracle Database 11g Release 2 Enterprise Edition Oracle ASM(Automatic Storage Management) 및 Oracle ACFS(ASM Cluster File System) Oracle Clusterware 원격사이트간 Oracle RAC(Real Applications Clusters) 11g Oracle Database 11g R2 Oracle Database 11g Release 2 Enterprise Edition 은업계최고수준의성능, 확장성, 보안및신뢰성을제공하며 Windows, Linux 또는 UNIX 를실행하는클러스터링또는 단일서버옵션을지원합니다. 또한트랜잭션처리, 비즈니스인텔리전스및컨텐츠 관리애플리케이션을위한폭넓은기능을제공합니다. Oracle ASM 및 ACFS Oracle ASM 은클러스터인식이가능한통합데이터베이스파일시스템및디스크 관리자입니다. ASM 파일시스템및볼륨관리기능이 Oracle 데이터베이스커널과 통합되었습니다. Oracle Database 11g R2 의 Oracle ASM 은또한 OCR 지원을 포함하고보팅파일이 ASM 디스크그룹내에배치되도록확장되었습니다. Oracle Database 11g 의 ASM 내의기능인 Oracle ACFS 는범용클러스터파일시스템 역할을수행하도록 ASM 기능을확대합니다. Oracle 데이터베이스바이너리는추적 및경고로그와같은지원파일, SAP ERP 와같은비 Oracle 애플리케이션파일로서 ACFS 에상주할수있습니다. 비 Oracle 서버는 NFS 및 CIFS(Common Internet File System) 와같은업계표준 NAS 프로토콜을통해 ACFS 볼륨에액세스할수있습니다. Oracle Clusterware Oracle Clusterware 는 Oracle 데이터베이스와통합된휴대용클러스터관리 솔루션입니다. Oracle Clusterware 는클러스터관리서비스및고가용성서비스와 같이 Oracle RAC 실행에필요한인프라스트럭처를제공합니다. 또한 Oracle Clusterware 를통해클러스터전체에서비 Oracle 애플리케이션의가용성을 향상시킬수있습니다. 55
Oracle GRID 인프라스트럭처 Oracle Database 11g R2의 Oracle Grid 인프라스트럭처는 Oracle ASM과 Oracle Clusterware를데이터베이스소프트웨어에서분리된단일바이너리세트에통합합니다. 이인프라스트럭처는이제 Oracle RAC 데이터베이스실행에필요한모든클러스터및스토리지서비스를제공합니다. Oracle Real Application Clusters 11g Oracle RAC는데이터센터내의 Oracle 데이터베이스애플리케이션을위한고가용성솔루션역할을수행합니다. Oracle RAC는여러 Oracle 인스턴스가단일데이터베이스에액세스하도록지원합니다. 이클러스터는단일시스템으로서함께운영되며동일한스토리지디스크세트를공유하는개별서버그룹으로구성됩니다. 각인스턴스는클러스터의개별서버에서실행됩니다. RAC는고가용성, 확장성, 내결함성, 로드밸런싱및성능이점을제공하며데이터베이스솔루션에서단일장애지점을제거합니다. 원격사이트간 Oracle RAC 클러스터원격사이트간 Oracle RAC 클러스터 (Oracle RAC 확장구성 ) 는클러스터에있는서버가지리적으로분산된위치에상주할수있도록지원하는아키텍처입니다. 따라서데이터센터에서단일장애지점이제거됩니다. Oracle RAC 확장구성은위치와상관없이클러스터내의모든노드를활성상태로지원합니다. 사이트또는네트워크장애발생시다음과같이고가용성및무중단업무운영기능을제공합니다. 정상적으로운영되는사이트에서스토리지및데이터의가용성과활성상태가유지됩니다. Oracle 서비스가정상적으로운영되는사이트의 Oracle RAC 노드로로드밸런싱및페일오버됩니다. Oracle TAF(Transparent Application Failover) 를통해세션을정상적으로운영되는사이트의 Oracle RAC 노드로자동으로페일오버할수있습니다. Oracle Clusterware 제어아래에배치된타사애플리케이션을 NFS 또는 Apache httpd와같이정상적으로운영되는사이트의 Oracle RAC 노드로로드밸런싱및페일오버할수있습니다. 정상적으로운영되는사이트의 Oracle RAC 노드가트랜잭션을계속처리합니다. Oracle은두데이터센터간의거리가비교적가까운경우 (100 km 이하 ) 12 Oracle RAC 확장아키텍처를구축할것을권장합니다. 12 Oracle 백서 : 원격사이트간 Oracle RAC(Real Applications Clusters) 를참조하십시오. 56
Oracle RAC 및 VPLEX Oracle RAC 는거리에따른지연시간으로인해발생할수있는영향과 Oracle ASM 을 사용한호스트기반미러링을통해데이터센터전체에서 Oracle RAC 를확장하는데 따른복잡성및오버헤드때문에일반적으로로컬데이터센터에서실행됩니다. 하지만 EMC VPLEX Metro 를사용하면 Oracle DBA 가 Oracle RAC 설치및구성 표준 13 과같이 Oracle RAC 확장구성을구축할수있습니다. Oracle ACFS 구성 이솔루션은 표 10 과같이 Oracle RAC 전반에서 4 개의마운트된 ACFS 볼륨을 사용합니다. 이중 3 개의볼륨인 SAPMNT, USRSAPTRANS 및 ASCS00 은가상 IP 주소 및 Oracle Clusterware 제어아래에있는고가용성 NFS 리소스를통해 NFS 공유로서 SAP 서버로내보내기됩니다. 표 10. Oracle ACFS 볼륨및마운트지점 ACFS 볼륨 크기 (GB) 마운트지점 설명 SAP_O_HOME 16 /oracle/vse/112 데이터베이스 VSE용 ORACLE_HOME - 모든 Oracle RAC 노드에서공유됨 SAPMNT 16 /sapmnt/vse kernel 및프로파일이저장되는 SAP 글로벌디렉토리 - 모든 SAP 가상머신에서공유됨 USRSAPTRANS 16 /usr/sap/trans 전송파일이저장되는 SAP 전송 디렉토리 - 모든 SAP 다이얼로그 인스턴스가상머신에서공유됨 ASCS00 16 /usr/sap/vse/ascs00 인스턴스관련파일이저장되는 SAP ASCS 인스턴스디렉토리 - SUSE Linux Enterprise High Availability Extension 클러스터 노드에서공유됨 13 EMC 백서 : EMC VPLEX Metro 를통한 Oracle RAC 확장구성 Best Practice 계획을 참조하십시오. 57
VPLEX Metro 기반 Oracle RAC 확장구성 그림 49 는이솔루션을위한 VPLEX Metro 기반 Oracle RAC 확장구성을논리적으로 표시한것입니다. 그림 49. EMC VPLEX Metro VPLEX Metro 기반 Oracle RAC 확장구성 Oracle ASM 디스크그룹구성 표 11 은 ASM 디스크그룹의레이아웃및구성을나타냅니다. 표 11. Oracle ASM 디스크그룹의크기및구성 ASM 디스크그룹 * 디스크수 디스크그룹크기 (GB) 이중화 OCR 5 40 일반 EA_SAP_ACFS 4 64 외부 EA_SAP_DATA 16 2,048 외부 EA_SAP_REDO 4 64 외부 EA_SAP_REDOM 4 64 외부 EA_SAP_FRA 4 256 외부 * 접두사 EA_SAP_ 는 Oracle RAC 확장구성의 SAP 애플리케이션과관련된 ASM 디스크 그룹을고유하게식별하는데사용됩니다. 58
SAP 의 Oracle RAC 로의접속 SAP 가 Oracle RAC 데이터베이스에접속하도록지원하기위해 그림 50 과같이 tnsnames.ora 가각 SAP 가상머신 (SAPDI1 및 SAPDI2) 에배치되었습니다. VSE.WORLD= (DESCRIPTION = (LOAD_BALANCE = OFF) (FAILOVER = ON) (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP) (HOST = sse-ea-erac-scan-c01.sse.ea.emc.com) (PORT = 1521) ) ) (CONNECT_DATA = ) ) 그림 50. (SERVICE_NAME = VSE.sse.ea.emc.com) (FAILOVER_MODE = (TYPE = SELECT) (METHOD = BASIC)) Oracle RAC 데이터베이스용샘플 tnsnames.ora 파일엔트리 TAF(Transparent Application Failover) 는데이터베이스인스턴스장애발생시 클라이언트가정상적으로작동하는인스턴스에재접속하도록지원하는클라이언트 측기능입니다. TAF 는클라이언트측이지정된접속문자열이나서버측서비스 속성을통해구성할수있습니다. 이솔루션에서데이터베이스서비스 VSE.sse.ea.emc.com 은 Oracle RAC 의 TAF 에 대해구성되었습니다. 또한 SAP 가 TAF 를사용하도록지원하기위해클라이언트 측에도구성되었습니다. TAF 는페일오버시간에접속을구축하고선택된작업에 장애가발생한경우개방커서를사용하는사용자가이러한접속을가져올수있도록 설정됩니다. 59
Brocade 네트워크인프라스트럭처 소개 개요 이섹션에서는두데이터센터의솔루션을위해구축된 IP 및 SAN 네트워크와데이터 센터간의 Layer 2 확장에대해설명합니다. 이네트워크인프라스트럭처는다음과 같은 Brocade 구성요소를통해구축되었습니다. IP 네트워크 1. Brocade VDX 6720 데이터센터스위치 Brocade MLX 시리즈라우터 Brocade 1020 CNA SAN Brocade DCX 8510 백본 Brocade 825 HBA Brocade VDX 6720 Brocade VDX 6720 데이터센터스위치는지연시간이매우짧은회선속도 10GbE의고성능고정포트스위치입니다. 이스위치는네트워크활용도를높이고애플리케이션가용성을극대화하며확장성을향상시키고가상화된데이터센터의네트워크아키텍처를대폭간소화하기위해특별히설계되었습니다. 다양한 Layer 2 기능을제공하는 Brocade VDX 6720은기존의 TOR(Top-of-Rack) 스위치구축에적합한플랫폼입니다. Brocade VDX 6720은 Brocade VCS Fabric 기술을제공하므로데이터센터이더넷 Fabric을구축하여 Layer 2 네트워크의설계를혁신하고클라우드에최적화된데이터센터를위한지능적인기반을갖출수있습니다. Brocade MLX 시리즈 Brocade MLX 시리즈라우터는업계최고수준인 100GbE, 10GbE, 1 GbE 회선속도의집적도, IPv4, IPv6, 멀티 VRF, MPLS(Multiprotocol Label Switching), 캐리어이더넷기능, 고급 Layer 2 스위칭을제공하여클라우드에최적화된네트워크를지원하도록설계되었습니다. Brocade MLX 시리즈를활용하면미션크리티컬데이터센터를통해더많은트래픽을지원하며더욱뛰어난가상화를실현하고높은가치의클라우드기반서비스를제공하면서도인프라스트럭처를절약할수있으므로운영이간소화되고비용이절감됩니다. 또한 Brocade MLX 시리즈는핵심계층과취합계층을축소하고 MPLS/VPLS를통해사이트간접속기능을제공하여대규모캠퍼스네트워크의복잡성을줄일수있습니다. Brocade MLX 시리즈라우터는동급제품과대비해전력소비와발열량이최소화되었으므로전력및냉각비용을절감할수있습니다. 60
무중단네트워킹을위해설계된 Brocade MLX 시리즈의 MCT(Multi-Chassis Trunking) 기능은 30TB/s 이상의이중섀시대역폭및완전한 Active-Active 라우팅링크를제공하며노드페일오버시무중단트래픽흐름을지원합니다. 완전히이중화된스위치 Fabrics, 관리모듈, 전원공급장치및냉각시스템을통해뛰어난복구성능을실현할수있습니다. Brocade IronWare 운영체제는네트워크및애플리케이션가용성을더욱확실하게보장하기위해히트리스관리페일오버및소프트웨어업그레이드기능을제공합니다. Brocade DCX 8510 백본고도로가상화된환경및프라이빗클라우드아키텍처의점점증가하는요구사항을지원하기위해서는네트워크가발전해야합니다. 오늘날 Fibre Channel(FC) 는데이터센터의스토리지네트워킹을위한사실상의표준이되었습니다. 16Gb/s Fibre Channel이도입되면서이런강력하고신뢰할수있는고성능기술의수명이확장되었습니다. 이에따라기존의 IT 투자를지속적으로활용하면서가장까다로운비즈니스과제를해결할수있게되었습니다. Brocade DCX 8510 백본은업계에서가장강력한 16GB/s Fibre Channel 스위칭인프라스트럭처로서프라이빗클라우드스토리지와고도로가상화된환경을위한최고수준의신뢰성, 확장성및성능을제공합니다. 또한비즈니스대응능력을높이고정보에대한무중단액세스기능을제공하며인프라스트럭처및관리비용을절감할수있도록설계되었습니다. Brocade DCX 8510의 16GB FC 기능은데이터센터간 SAN Metro 접속에대해다음과같은커다란이점을제공합니다. 데이터센터간 Fibre 접속을활용한구축을수행할때 16Gb 성능을통해 FC의처리성능이극대화되고지연시간이최소화됩니다. DWDM 네트워크가사이트간에구축된경우최적의회선활용을위해 10Gb FC 회선속도옵션이지원됩니다. 이기능을사용하려면라이센스가필요합니다. 프레임레벨 ISL(Inter-Switch Link) 트렁킹옵션을통해표준 DPS 트렁킹에비해활용도가향상됩니다. 이기능을사용하려면라이센스가필요합니다. 데이터센터간 ISL에대한압축옵션이지원됩니다. 이에따라사이트간접속수가제한된구축의경우추가대역폭이지원됩니다. 데이터보안요구사항이매우높은구축의경우데이터센터간 ISL에대한전송시데이터암호화옵션이지원됩니다. 크레딧손실감지및복구정보를버퍼링합니다. 자동 FEC(Forward Error Correction: 정방향오류수정 ) 기능으로 2112비트 FC 프레임당최대 11비트의오류를사전예방적으로수정합니다. 61
데이터센터간 ISL 포트에대한진단모드를모든오프라인 ISL 포트에서이용할수있으며이는다음과같은기능을제공합니다. 전기 / 광루프백테스트 링크포화상태테스트 링크거리측정정확도는 8Gb SFP+ 에서사용시에는 5m 이내이며 10GbE SFP+ 에서사용시에는 50m 이내 IP 네트워크구성 이솔루션에서각데이터센터의 IP 네트워크는두개의 Brocade VDX 6720 스위치를 통해 VCS 구성에서구축됩니다. 모든서버는 Brocade 1020 CNA 가제공하는 이중화된 10GbE 접속을통해네트워크에접속됩니다. 각사이트에있는두개의 Brocade VDX 스위치는 vlag(virtual Link Aggregation Group) 를통해 Brocade MLX 시리즈라우터에접속됩니다. Brocade MLX 시리즈 라우터는두개의데이터센터사이에서 Layer 2 네트워크를확장합니다. 참고 vlag는여러 Brocade VDX 스위치에서 LAG(Link Aggregation Group) 를생성하도록지원하는 Fabric 서비스입니다. vlag는표준 LAG와같은방식으로 LACP(Link Aggregation Control Protocol) 를사용하여단일논리적채널생성을위한여러물리적인포트의번들링을제어합니다. Oracle RAC는전용네트워크통신을위해고가용성가상 IP(HAIP 또는 RAC 상호연결 ) 를사용합니다. 상호연결트래픽은전용네트워크로서식별된인터페이스전반에서 HAIP를통해로드밸런싱됩니다. 이솔루션에서는개별 VLAN인 VLAN 10이상호연결에사용되었습니다. VLAN 20이모든공용트래픽을처리했습니다. 사이트 A와사이트 B간의모든트래픽은 LAG로구성된여러포트를사용하는 Brocade MLX 라우터를통해라우팅됩니다. 그림 51은 IP 네트워크인프라스트럭처를나타냅니다. 그림 51. 솔루션 IP 네트워크 62
SAN 네트워크구성 각데이터센터의 SAN 은 그림 52 와같이 Brocade DCX 8510 백본을통해구축됩니다 모든서버는 Brocade 825 HBA 가제공하는이중화된 8GB 접속을통해 SAN 에 접속됩니다. 데이터센터간의 VPLEX 간접속에는 Brocade DCX 8510 백본간의여러 FC 접속이 사용됩니다. 이러한접속은페일오버가지원되는 Active-Active 모드에서사용됩니다. 그림 52. 솔루션 SAN 네트워크 63
고가용성및무중단업무운영테스트및검증 소개 EMC 검증팀은초기에는고가용성또는무중단업무운영보호체계없이이러한환경을설치및검증했습니다. 그후이환경을이백서에설명된미션크리티컬무중단업무운영솔루션으로혁신했습니다. EMC 는다음과같은테스트를수행하여이솔루션을검증하고이환경에서의단일장애지점제거를시연했습니다. SAP 인큐서비스프로세스장애 SAP ASCS 인스턴스가상머신장애 Oracle RAC 노드장애사이트장애 VPLEX 클러스터격리 SAP 인큐서비스프로세스장애 테스트시나리오 이테스트시나리오는인큐서비스프로세스장애발생시 SUSE Linux Enterprise High Availability Extension 클러스터가최종사용자작업을중단시키지않고 SAP ERS 인스턴스를완벽하게작동하는 ASCS 인스턴스로상향이동시키고잠금테이블을인계하는지검증합니다. 이러한장애시나리오를테스트하기위해다음과같은 kill 명령을실행해액티브 ASCS 노드에서인큐프로세스를종료했습니다. kill -9 <process id> 시스템동작 시스템은인큐서비스프로세스장애에다음과같이응답합니다. 1. 그림 53 과같이 SAPInstance 리소스에이전트가장애를감지및보고합니다. 그림 53. SAPInstance 리소스에이전트가장애를감지및보고 64
2. 마스터 / 슬레이브리소스에이전트가이전의슬레이브노드 (SAPASCS2) 를, ASCS 서비스를호스팅하는마스터노드로상향이동시키고 ERS를클러스터에다시연결된다른노드 (SAPASCS3) 에서슬레이브로서실행합니다 ( 그림 54 참조 ). 그림 54. 마스터 / 슬레이브리소스에이전트가마스터및슬레이브노드를스위칭 3. 그림 55 와같이복제된잠금테이블이복구됩니다. 그림 55. 복제된잠금테이블복구 결과인큐작업이실행되지않는한최종사용자는인큐프로세스장애를인식하지못합니다. 이경우스위치오버시최종사용자환경에서트랜잭션응답시간이증가합니다. 메시지서버스위치오버후새로운사용자가시스템에즉시로그인할수있습니다. 관리자의개입이필요하지않습니다. 65
SAP ASCS 인스턴스가상머신장애 테스트시나리오이테스트시나리오는예기치않은 ESXi 서버운영중단 ( 가상머신장애와동일 ) 발생시 High Availability Extension 클러스터가최종사용자작업을중단시키지않고 SAP ERS 인스턴스를완벽하게작동하는 ASCS 인스턴스로상향이동시키고잠금테이블을인계하는지검증합니다. 이러한장애시나리오를테스트하기위해원격물리적콘솔을사용하여 SAP ASCS 인스턴스가상머신을호스팅하는 ESXi 서버의전원을껐습니다. 그다음유지보수모드를실행하지않고서버를재부팅했습니다. 시스템동작시스템은가상머신장애에다음과같이응답합니다. 1. SAPASCS2는 vsphere Client에서사용할수없게됩니다 ( 그림 56 참조 ). 그림 56. 가상머신장애 66
2. SAPInstance 리소스에이전트가장애를감지및보고합니다 ( 그림 57 참조 ). 그림 57. SAPInstance 리소스에이전트가장애를감지및보고 3. 그림 58 과같이 VMware HA 가장애가발생한가상머신 SAPASCS2 를 정상적으로운영되는 ESXi 호스트에서재시작합니다. 그림 58. VMware HA 가장애가발생한가상머신재시작 4. 마스터 / 슬레이브리소스에이전트가이전의슬레이브노드 (SAPASCS3) 를, ASCS 서비스를호스팅하는마스터노드로상향이동시키고 ERS를클러스터에다시연결된다른노드 (SAPASCS2) 에서슬레이브로서실행합니다 ( 그림 59 참조 ). 67
그림 59. 마스터 / 슬레이브리소스에이전트가마스터및슬레이브노드를스위칭 5. 복제된잠금테이블이복구됩니다 ( 그림 60 참조 ). 그림 60. 복제된잠금테이블복구 결과인큐작업이실행되지않는한최종사용자는인큐프로세스장애를인식하지못합니다. 이경우스위치오버시최종사용자환경에서트랜잭션응답시간이증가합니다. 메시지서버스위치오버후새로운사용자가시스템에즉시로그인할수있습니다. 관리자의개입이필요하지않습니다. Oracle RAC 노드장애 테스트시나리오이테스트시나리오는예기치못한 RAC 노드장애발생시 SAP 인스턴스가다른 RAC 노드로자동으로접속되는지검증합니다. 커밋되지않은트랜잭션 ( 데이터베이스레벨 ) 이장애가발생한 RAC 노드에서실행되지않는한최종사용자는트랜잭션을무중단으로실행할수있습니다. 이러한장애시나리오를테스트하기위해서버를재부팅하여 Oracle 노드장애를 유도했습니다. 68
시스템동작이시스템은 RAC 노드장애에다음과같이응답합니다. 1. 그림 61과같이 RAC 노드가오프라인상태가되고인스턴스 VSE003이사용할수없게됩니다. 그림 61. oracle@sse-ea-erac-n01:~> srvctl status database -d VSE Instance VSE001 is running on node sse-ea-erac-n01 Instance VSE002 is running on node sse-ea-erac-n02 Instance VSE004 is running on node sse-ea-erac-n03 Instance VSE003 is not running on node sse-ea-erac-n04 RAC 노드오프라인상태 2. 그림 62 와같이 SAP 인스턴스작업프로세스가다른 RAC 인스턴스에 접속됩니다.. 그림 62. SAP 인스턴스가다른 RAC 노드에접속됨 결과다이얼로그인스턴스작업프로세스가다른 RAC 노드에접속될때최종사용자환경에더이상트랜잭션응답시간이발생하지않습니다. 커밋되지않은트랜잭션이데이터베이스레벨에서롤백되어데이터정합성이보장됩니다. 최종사용자가시스템오류메시지 (short dump) 를수신하며트랜잭션을재시작해야합니다. 관리자의개입이필요하지않습니다. 사이트장애 테스트시나리오 이테스트시나리오는전체사이트장애발생시정상적으로작동하는 RAC 노드에서데이터베이스작업이지속되는지검증합니다. 이장애시나리오를테스트하기위해 VPLEX 클러스터, ESXi 서버, 네트워크및 Oracle RAC 노드구성요소를포함해사이트 A의전체장애를시뮬레이션했습니다. VPLEX Witness는사이트 C에서계속사용할수있습니다. 사이트 B에서는 VPLEX 클러스터 2와 VPLEX Witness와의통신이지속됩니다. 69
그림 63 은사이트장애발생전환경상태를나타냅니다. 그림 63. 사이트 A 장애발생전환경상태 시스템동작시스템은사이트장애에다음과같이응답합니다. 사이트 A 장애발생시 VPLEX Witness는클러스터 1을기본클러스터로지정하는정합성보장그룹의분리규칙을무시하고사이트 B에서 VPLEX 클러스터 2에의해사용되는스토리지를계속사용할수있도록설정합니다. 사이트 B의 RAC 노드 sse-ea-erac-n03 및 sse-ea-erac-n04를계속사용할수있습니다. 사이트 A의 ESXi 서버장애시 VMware HA는 SAPASCS3 및 SAPDI1을사이트 B에서재시작합니다. SAPASCS3은정의된 VM-VM 유사성규칙에의해지정된대로다른 ESXi 호스트에서 SAPASCS2로재시작됩니다. SUSE Linux Enterprise High Availability Extension은클러스터노드 SAPASCS3의장애를감지합니다. ERS가이노드에서실행되므로클러스터는 SAPASCS3이클러스터에다시연결되었을때 ERS를재시작하는경우를제외한작업은실행하지않습니다. 잠금테이블이보존되며항상작동가능합니다. ESXi 서버장애로인해 SAPDI1 최종사용자세션이종료됩니다. 재시작프로세스시신규사용자가 SAPDI2로연결됩니다. SAPDI1이사이트 B에서재시작되면사용자가 SAPDI1에다시로그인할수있습니다. 그림 64는사이트장애발생후환경상태를나타냅니다. 그림 64. 사이트 A 장애발생후의환경상태 70
결과 표 12 는사이트 A 장애발생시예상및관찰된시스템동작을나타냅니다. 표 12. 예상및관찰된동작 시스템테스트전상태예상되는동작관찰된동작 Oracle RAC 노드 ( 데이터베이스 VSE) sse-ea-erac-n01( 사이트 A) sse-ea-erac-n02( 사이트 A) 모두사용가능 꺼내짐꺼내짐 꺼내짐꺼내짐 sse-ea-erac-n03( 사이트 B) 사용가능 사용가능 sse-ea-erac-n04( 사이트 B) 사용가능 사용가능 ESXi 서버 sse-ea-r710a( 사이트 A) 사용할수없음 사용할수없음 가상머신 SAPASCS3 sse-ea-r710b( 사이트 A) SAPDI1 sse-ea-r710c( 사이트 B) SAPDI2 sse-ea-r710d( 사이트 B) SAPASCS2 모두사용가능 VMware HA가사이트 B 재시작사용할수없음 VMware HA가사이트 B 재시작사용가능사용가능 VMware HA가사이트 B 재시작사용할수없음 VMware HA가사이트 B 재시작사용가능사용가능 사용가능 사용가능 사용가능 사용가능 VPLEX 클러스터 VPLEX1 Site A cluster-1 VPLEX2 Site B cluster-2 모두사용가능 사용할수없음사용가능 사용할수없음사용가능 SAP 서비스 인큐복제서버 사용할수없음 사용할수없음 SLE HAE 가사이트 SLE HAE 가사이트 인큐 / 메시지서버 모두사용가능 B에서재부팅된후재시작됨 B에서재부팅된후재시작됨 사용가능 사용가능 VPLEX 클러스터격리 테스트시나리오 이테스트시나리오는 VPLEX 클러스터가격리될때 SAP 애플리케이션및 데이터베이스가정상적으로운영되는사이트에서중단없이작동하는지검증합니다. 이장애시나리오를테스트하기위해외부관리 IP 네트워크및파티셔닝된 VPLEX WAN 통신네트워크모두를통해사이트 A에서기본클러스터격리를시뮬레이션했습니다. LAG 네트워크는계속사용할수있습니다. VPLEX 클러스터 2와 VPLEX Witness와의통신이지속됩니다. 71
시스템동작시스템은 VPLEX 클러스터격리에다음과같이응답합니다. 사이트 A에서 VPLEX 격리시 VPLEX Witness는클러스터 1을기본클러스터로지정하는정합성보장그룹의분리규칙을무시하고사이트 B에서 VPLEX 클러스터 2에의해사용되는스토리지를계속사용할수있도록설정합니다. 사이트 B의 RAC 노드 sse-ea-erac-n03 및 sse-ea-erac-n04는계속사용할수있으며사이트 A의 RAC 노드 sse-ea-erac-n01 및 sse-ea-erac-n02는꺼내집니다. 사이트 A의 ESXi 서버는계속사용할수있으며 VPLEX Metro HA 클러스터간접속에따라가상머신 SAPASCS2 및 SAPDI1은활성상태로유지됩니다. 그림 65는사이트 A에서 VPLEX 격리후의환경상태를나타냅니다. 그림 65. 사이트 A 에서 VPLEX 격리후의환경상태 72
결과 표 13은사이트 A에서 VPLEX가격리되었을때시스템의예상및관찰된동작을나타냅니다. 표 13. 예상및관찰된동작시스템테스트전상태예상되는동작관찰된동작 Oracle RAC 노드 ( 데이터베이스 VSE) sse-ea-erac-n01( 사이트 A) sse-ea-erac-n02( 사이트 A) sse-ea-erac-n03( 사이트 B) 모두사용가능 꺼내짐꺼내짐사용가능 꺼내짐꺼내짐사용가능 sse-ea-erac-n04( 사이트 B) 사용가능 사용가능 ESXi 서버 가상머신 sse-ea-r710a( 사이트 A) SAPASCS2 sse-ea-r710b( 사이트 A) SAPDI1 sse-ea-r710c( 사이트 B) SAPDI2 sse-ea-r710d( 사이트 B) SAPASCS3 모두사용가능모두사용가능모두사용가능 VPLEX 클러스터 VPLEX1 Site A cluster-1 VPLEX2 Site B cluster-2 모두사용가능 사용할수없음 사용가능 사용할수없음 사용가능 SAP 서비스 인큐복제서버 인큐 / 메시지서버 모두사용가능모두사용가능모두사용가능 73
결론 요약 이솔루션은기존의 Active-Passive SAP 구축에서 Active-Active 데이터센터및 무중단애플리케이션가용성에기반한고가용성무중단업무운영솔루션으로의 혁신을보여줍니다. 솔루션은다음을위해 EMC, VMware, Oracle, SUSE 및 Brocade 고가용성구성요소를통합합니다. 운영환경의모든계층에서단일장애지점제거거의 0에가까운 RPO 및 RTO를지원하는 Active-Active 데이터센터제공 SAP 애플리케이션을위한미션크리티컬무중단업무운영지원내결함성구성요소및고가용성클러스터링기술을통해각단일장애지점이식별및해결되었습니다. Active-Active 데이터액세스를지원함으로써리소스활용도가향상되었습니다. 아키텍처중최종적이면서가장예측하기어려운 SPOF인인력과프로세스를해결하기위해장애처리가완전히자동화되었습니다. Enginuity 엔터프라이즈급스토리지플랫폼기반 EMC Symmetrix VMAX 10K 시리즈가솔루션을위한기반을제공합니다. 또한 vsphere Client, EMC Virtual Storage Integrator, VPLEX 성능툴과같은관리및모니터링툴을통해운영관리를간소화하고인프라스트럭처스택을모니터링및매핑할수있습니다. VPLEX 기반원격사이트간 Oracle RAC는다음과같은이점을제공합니다. 구축관리간소화설치, 구성및유지보수가단일사이트 RAC를구축할때와동일함호스트는해당로컬 VPLEX 클러스터에만접속되지만두개의사이트모두에서동일한데이터베이스에대한완벽한읽기 / 쓰기액세스가능 3차사이트에 Oracle 보팅디스크와 Clusterware를구축할필요가없음 ASM 미러링에필요한많은비용이드는호스트 CPU 리소스가필요없음 - I/O가호스트에서로컬 VPLEX로한번만전송됨여러데이터베이스및 / 또는애플리케이션을하나의단위로보호하는정합성보장그룹생성 74
결과 이솔루션을검증하기위해 EMC 검증팀은다음과같은테스트를실행하고표시된 동작을기록했습니다. SAP 인큐서비스프로세스장애시뮬레이션 중단없이애플리케이션실행가능 SAP ASCS 인스턴스가상머신장애시뮬레이션 중단없이애플리케이션실행가능 Oracle RAC 노드장애시뮬레이션 중단없이애플리케이션실행가능전체사이트장애시뮬레이션 중단없이애플리케이션실행가능 VPLEX 클러스터격리시뮬레이션시 VPLEX Witness 기능검증 중단없이애플리케이션실행가능 이테스트는 VMware, SAP, SUSE 및 Oracle 고가용성솔루션이로컬레벨에서단일장애지점을제거하는방식을보여줍니다. 또한 SUSE Linux Enterprise High Availability Extension, Oracle RAC 확장구성및 Brocade 네트워킹과통합된 VPLEX Metro가이러한고가용성을확장해데이터센터의한계를극복하고여러데이터센터의서버가공유블록스토리지디바이스에읽기 / 쓰기액세스하도록지원하는방식을보여줍니다. VPLEX Witness 및클러스터간접속은더욱뛰어난복구성능을제공합니다. 이러한기술의통합에따라기존의 Active-Passive 데이터센터구축을 Active- Active 데이터센터, 24/7 애플리케이션고가용성, 완벽한이중화, 거의 0에가까운 RTO 및 RPO가지원되는미션크리티컬무중단업무운영솔루션으로혁신할수있습니다. 75
참고자료 EMC 추가정보는 korea.emc.com 및 EMC 온라인지원웹사이트에서다음과같은 EMC 문서를참조하십시오. EMC VPLEX Metro Witness 기술및고가용성 EMC VPLEX를통해 VMware vsphere 사용 Best Practice 계획 MC VPLEX Metro에서확장형호스트클러스터를지원하기위한조건 EMC VPLEX Metro를통한 Oracle RAC 확장구성 Best Practice 계획 GeoSynchrony 5.0 운영환경의 EMC VPLEX 구성가이드 EMC VPLEX 구축및 Best Practice 계획 - 기술노트 GeoSynchrony 5.0 및 Point Releases 운영환경의 EMC VPLEX CLI 가이드 EMC VPLEX 및 GeoSynchrony용 EMC Simple Support Matrix EMC VPLEX를통한호스트기반경로다중화검증 -기술노트 EMC VPLEX CLI 가이드 Oracle 추가정보는다음과같은 Oracle 문서를참조하십시오. SAP 데이터베이스를 Oracle Automatic Storage Management 11g Release 2로이동 : Best Practice 가이드 Oracle Real Application Clusters 11g Release 2 및 Oracle Automatic Storage Management 11g Release 2 기반 SAP: 고급구성및기술 Oracle Grid Infrastructure 11.2.0.2 및 Oracle Real Application Clusters 11g Release 2용 SAP NetWeaver 구성 : Best Practice 가이드원격사이트간 Oracle RAC(Real Applications Clusters) Oracle 데이터베이스업그레이드가이드, Oracle Database 11g Release 2(11.2) 로업그레이드 : Oracle Patch Set Release 11.2.0.2 및 11.2.0.3용 UNIX VMware 추가정보는다음과같은 VMware 문서를참조하십시오. VMware vsphere Networking ESXi 5.0 VMware vsphere Availability ESXi 5.0 VMware 기술자료문서 1026692: Using VPLEX Metro with VMware HA VMware 기술자료문서 1034165: 멀티작성기플래그를통해 VMFS의동시쓰기보호기능해제 76