백서 원격사이트클러스터의 Oracle RAC(Real Application Clusters) 및 EMC VPLEX Best Practice 계획 요약 이백서에서는 Oracle RAC(Real Application Clusters) 및데이터베이스와기능적으로관련된 EMC VPLEX 의특징에대해설명합니다. 또한 EMC VPLEX 를가장효과적으로활용할수있도록 Oracle Extended RAC 를구성하기위한 Best Practice 를제시합니다. 2012 년 5 월
Copyright 2012 EMC Corporation. All Rights Reserved. 본문서의정보는발행일현재정확한것으로간주되며모든정보는예고없이변경될수있습니다. 본문서의정보는 " 있는그대로 " 제공됩니다. EMC Corporation 은본문서의정보와관련하여어떠한진술이나보증도하지않으며, 특히상품성이나특정목적을위한적합성에대하여어떠한묵시적인보증도부인합니다. 본문서에설명된 EMC 소프트웨어를사용, 복사및배포하려면해당소프트웨어라이센스가필요합니다. EMC 제품에대한최신목록은 korea.emc.com 의 EMC Corporation 상표정보부분을참조하십시오. P/N h8930.1 2
목차 내용요약...4 대상...5 소개...6 제품및기능개요...6 VPLEX...6 VPLEX 제품오퍼링...7 VPLEX 아키텍처의주요특징...10 VPLEX 정합성보장그룹, 분리규칙및 Witness...12 Oracle RAC(Real Application Clusters)...14 Oracle ASM(Automatic Storage Management)...14 원격사이트클러스터의 Oracle RAC...14 Symmetrix VMAX 시리즈...15 Symmetrix VMAX TimeFinder 제품군...15 Symmetrix VMAX 가상프로비저닝...16 VPLEX 와 Oracle Extended RAC 구축...17 VPLEX 환경의 Oracle Extended RAC 구축고려사항...17 Oracle Extended RAC 및 VPLEX 구축지침...17 예상치못한다운타임으로부터 Oracle Extended RAC 및 VPLEX 보호...19 VPLEX 및 Oracle Extended RAC 실험구성및테스트...24 실험구성및설치...24 물리적환경...24 스토리지설정및디바이스할당계획...26 VPLEX 설정...30 호스트및 Oracle 설정...36 OLTP 데이터베이스워크로드테스트...40 장애상태테스트...41 결론...42 참고자료...42 3
내용요약 EMC VPLEX 는데이터센터내부또는여러데이터센터간에 FC(Fibre Channel) 에연결된스토리지의풀을통합하여관리하는엔터프라이즈급스토리지연합기술입니다. VPLEX 는서버와 FC 스토리지사이에상주하며호스트에로컬볼륨과분산형볼륨을제공합니다. VPLEX 스토리지집합을통해호스트 LUN 을변경하지않고온라인스토리지마이그레이션및업그레이드를수행할수있습니다. VPLEX AccessAnywhere 클러스터링기술을사용하면원격사이트사이에서볼륨의 SCSI LUN ID 가정확히동일한분산형볼륨에읽기 / 쓰기액세스가가능합니다. 하이퍼바이저는이기술을통해원격사이트간에 VM( 가상머신 ) 을마이그레이션할수있고, 데이터센터간에 Oracle Extended RAC(Real Application Clusters) 를간편하게구축할수있습니다. VPLEX 제품군에는 VPLEX Local( 단일사이트 SAN 연합 ), VPLEX ( 최대 5ms 의라운드트립지연시간으로동기식분산형볼륨지원 ) 및 VPLEX Geo( 최대 50ms 의라운드트립시간으로비동기식분산형볼륨지원 ) 가포함됩니다. 이백서에서는 Oracle Extended RAC( 원격사이트클러스터의 Oracle RAC) 와 VPLEX 를함께사용하여 SAN 인프라스트럭처를단순화하고 Extended RAC 구축모델에따르는스토리지관리의복잡성을줄이는방법을중점적으로살펴봅니다. Oracle RAC 는서버클러스터간에운영중단없이단일데이터베이스를구축하는기능을지원하며내결함성, 고가용성및확장성을제공합니다. 원격사이트클러스터의 Oracle RAC 란클러스터의서버가물리적으로떨어진여러장소에상주하는구축모델을말합니다. 원격사이트클러스터의 Oracle RAC 는성능을스케일아웃하고여러사이트의스토리지와서버리소스를활용할수있는수단을제공할뿐아니라, 전체사이트장애시나리오에서단일사이트 Oracle RAC 설치보다복구성능이우수하고애플리케이션다운타임없이데이터센터유지보수작업을수행할수있습니다. Oracle Extended RAC 에서 VPLEX 의주요장점은다음과같습니다. 네트워크, 서버, 스토리지및사이트장애가발생할경우에도무중단데이터베이스가용성유지 스케일아웃아키텍처및두사이트에서동일한데이터베이스에대한완벽한읽기 / 쓰기액세스 ( 유휴하드웨어없음 ) 원격사이트간에 Oracle RAC 를간편하게구축 o 클러스터노드를로컬 VPLEX 클러스터에만연결하면됩니다. 사이트간접속은필요하지않습니다. o 분산형볼륨및 VPLEX Witness 를사용하여 Oracle 보팅디스크를구축하므로인프라스트럭처요구사항이단순화됩니다. 4
o Oracle 클러스터노드의 CPU 리소스사용량이줄고호스트기반미러링관련작업이감소합니다. VPLEX 가제공하는하드웨어 RAID 및물리적기반스토리지가이기능을대신제공합니다. o 정합성보장그룹을생성하여여러데이터베이스또는애플리케이션파일을하나의유닛으로보호할수있습니다. o 스토리지하드웨어교체및마이그레이션시 VPLEX 볼륨에애플리케이션다운타임이나 LUN ID 변경이불필요합니다. o Oracle Extended RAC 모델에서는두사이트가능동적으로워크로드에참여할수있으므로단일사이트구축모델보다쉽게재해복구테스트및검증을수행할수있습니다. 이백서에서는 VPLEX 클러스터의기반을이루는스토리지로 EMC Symmetrix VMAX 시리즈를사용했습니다. Symmetrix VMAX 시리즈는차세대고가용성가상데이터센터및미션크리티컬애플리케이션을위한업계최고의기능을갖춘광범위한오퍼링을제공합니다. 탁월한데이터보호및복제기능을포함하는 Symmetrix VMAX 시스템은최첨단엔터프라이즈 SAN(Storage Area Network) 기술을구현합니다. 또한 FAST VP 기술을적용한 Symmetrix VMAX 시리즈는운영중단없이스토리지계층을최적화함으로써호스트애플리케이션에지장을주지않으면서성능을개선하고비용을절감해줍니다. IT 조직에서는하드웨어장애및재해로인한예상치못한다운타임은물론하드웨어교체및마이그레이션과같은정상적인데이터센터운영에따라발생하는계획된다운타임을줄이거나완전히배제할수있도록데이터베이스환경을여러데이터센터로확장할방법을모색하고있습니다. 이러한조직은 EMC VPLEX 를통해스토리지인프라스트럭처를훨씬더유연하게변경하고, 재해복구성능을강화하고, 협업및스케일아웃아키텍처를개선할수있습니다. 이와같이 EMC VPLEX 시스템과 Oracle RAC 기술은이러한차세대환경을위한자연스러운선택입니다. 스토리지시스템을연합하여물리적인데이터센터경계에관계없이글로벌고유디바이스를제공할수있는 EMC VPLEX 의기능은고가용성및확장가능한데이터베이스액세스를제공하는 Oracle RAC 의고유기능과훌륭하게조화됩니다. Oracle RAC 와 EMC VPLEX 및 Symmetrix VMAX 시리즈의조합은신뢰성이높은클라우드컴퓨팅환경을구축하는데이상적인선택으로서 IT 비용을낮추는동시에인프라스트럭처의효율성을높여줍니다. 대상 본백서는고가용성에중점을두고 Oracle 데이터베이스, VPLEX 기술및 Symmetrix VMAX 시리즈스토리지를활용하는 IT 환경을설계하고, 구축하고, 관리하고, 사용하는 Oracle 데이터베이스관리자, 스토리지관리자및 IT 설계자를대상으로합니다. 본백서는독자가 Oracle RAC, Oracle 데이터베이스기술, EMC VPLEX 및 Symmetrix 스토리지에어느정도익숙하다는가정하에작성되었습니다. 5
소개 Oracle Extended RAC 는성능을스케일아웃하고여러사이트의스토리지와서버리소스를활용할수있는수단을제공할뿐아니라장애시나리오에서복구성능이향상되고애플리케이션다운타임없이유지보수작업을수행할수있으므로, 전체사이트에서장애가발생하더라도조직에서데이터베이스다운타임없이무중단으로비즈니스처리를계속할수있습니다. Oracle RAC 는확장클러스터구축모델에서단일데이터베이스에대한고가용성을제공하지만 RecoverPoint, SRDF, Oracle Data Guard 또는유사솔루션이제공하는기술을통해원격사이트간에 DR( 재해복구 ) 솔루션을구축할필요성은여전히있습니다. 이러한원격복제본은파일오류, LUN 삭제, 블록손상등의데이터베이스장애가발생할때도움이됩니다. 또한테이프또는 VTL 을사용한백업전략을구현하고클론 / 스냅샷기술을사용하여백업프로세스를운영환경에서오프로드하는것이좋습니다. 본백서에서는 EMC VPLEX 제품군, VPLEX 클러스터아키텍처및 Oracle Extended RAC 구축과관련된기능을소개합니다. 또한다양한장애상태에대한 Oracle Extended RAC 솔루션의복구성능에대해설명합니다. 이외에도 Oracle Extended RAC 플랫폼에 VPLEX 및 Symmetrix VMAX 시리즈스토리지를프로비저닝하는방법및 VPLEX 및 Symmetrix VMAX 기술을사용한 4 노드 Oracle Extended RAC 에서 OLTP 워크로드를실행하는방법을설명합니다. 제품및기능개요 VPLEX EMC VPLEX 는그림 1 과같이 EMC 스토리지와타사스토리지를포괄하는스토리지가상화솔루션입니다. VPLEX 는 EMC 스토리지는물론 NetApp, HDS, HP 및 IBM 과같은여타스토리지공급업체의일반적인스토리지를포함한이기종스토리지를지원할수있습니다. 6
그림 1. EMC VPLEX Local 로이기종스토리지연합 VPLEX 를지리적으로분산된여러데이터센터로확장하면 VPLEX 분산형가상볼륨을생성하여스토리지디바이스에동시에액세스할수있습니다. VPLEX 기술은이기종스토리지간의무중단데이터이동및볼륨관리기능을제공합니다. 이러한기능을갖춘 VPLEX 은다음과같은세가지요구사항을해결하는차별화된독특한가치를구현합니다. 데이터센터내부또는데이터센터간에서로다른컴퓨팅및스토리지인프라스트럭처사이에서애플리케이션과데이터를동적으로이동할수있어야합니다. 지리적으로분산된스토리지및컴퓨팅인프라스트럭처의가용성과복구성능을강화해야합니다. 원격사이트간에효율적인실시간데이터협업을지원해야합니다. VPLEX 제품오퍼링 EMC 에서는고가용성및데이터이동성에대한고객의요구사항을해결하기위해그림 2 와같은세가지 VPLEX 구성을제공합니다. VPLEX Local VPLEX VPLEX Geo( 현재 Oracle RAC 에서지원되지않음 ) 7
그림 2. VPLEX 토폴로지 VPLEX Local VPLEX Local 은원활한무중단데이터이동을지원하고데이터센터내단일인터페이스에서여러이기종스토리지를관리하는기능을제공합니다. VPLEX Local 로가용성을높이고, 관리를간소화하고, 여러스토리지의활용도를높일수있습니다. AccessAnywhere 를포함한 VPLEX AccessAnywhere 를포함한 VPLEX 는최대 5ms 의 RTT(Round-Trip Time) 로동기식으로원격연결된두사이트간의 Active-Active 블록레벨데이터액세스를지원합니다. 다음은데이터이동성및고가용성을위해 VPLEX 와 Oracle 을사용하는두가지예입니다. 애플리케이션및데이터이동성 하이퍼바이저자체에는물리적서버간에애플리케이션다운타임없이 VM 을이동하는기능이있습니다. VPLEX 분산형볼륨을서버가상화솔루션과함께사용하면원격사이트간에 VM 과해당애플리케이션및데이터를운영중단없이이동하고재배치할수있습니다. 따라서사용자가사이트간에인프라스트럭처리소스를재배치, 공유및조정할수있는독보적인기능이제공됩니다. VPLEX 를사용한 Oracle VM Live Migration 이동성예제는백서 : Oracle VM Server for x86 Live Migration with EMC VPLEX and Symmetrix VMAX Series 및그림 3 을참조하십시오. 8
그림 3. VPLEX 를사용한 Oracle VM Live Migration 고가용성인프라스트럭처 RTO( 복구시간목표 ) 를단축합니다. 고가용성을통해핵심애플리케이션의가동시간을완전무중단에가깝게유지하고, 장애가발생하더라도애플리케이션을자동으로재시작하여관리자의개입을최소화할수있습니다. 그림 4 에서는 VPLEX 를사용한 Oracle Extended RAC 의예를보여줍니다. 본백서에서는이솔루션에중점을둡니다. 그림 4. VPLEX 를사용한 Oracle Extended RAC 9
AccessAnywhere 를포함한 VPLEX Geo AccessAnywhere 를포함한 VPLEX Geo 는최대 50ms 의 RTT 지연시간으로비동기식으로원격연결된두사이트간의 Active-Active 블록레벨데이터액세스를지원합니다. VPLEX Geo 는현재 Oracle RAC 또는 Oracle Extended RAC 에서지원되지않으며본문서에서자세히다루지않습니다. VPLEX Geo 에대한자세한내용을확인하려면 http://powerlink.emc.com 에서 VPLEX Geo 키워드로검색하십시오. VPLEX 아키텍처의주요특징 1 VPLEX 제품군은독보적인클러스터링아키텍처를통해고객이데이터센터의경계를극복하고여러데이터센터의서버에서공유블록스토리지디바이스를액세스하여읽기 / 쓰기작업을수행하도록지원합니다. VPLEX Local 에는하나의클러스터가, VPLEX 에는 2 개의클러스터가포함됩니다. VPLEX 클러스터하나는표 1 과같이 1 개, 2 개또는 4 개의엔진으로구성됩니다. 각 VPLEX 엔진은이중화된두개의디렉터로 SAN/WAN 접속, 캐시및처리성능을제공합니다. 표 1. VPLEX 하드웨어구성요소 특징 설명 VPLEX 클러스터 VPLEX 엔진 VPLEX 디렉터 1개, 2개또는 4개의엔진포함 2개의디렉터, 관리모듈, 전원공급장치, 배터리전원및팬포함일부입출력모듈, SSD, CPU 및 RAM 포함 VPLEX Local 에서는 Write-through 캐싱을사용하여쓰기작업을즉시전달하고 VPLEX 볼륨의기반스토리지에서발생하는작업을우선인식한후호스트에통보합니다. Symmetrix VMAX 시리즈및 VNX 시리즈와같은 EMC 스토리지를사용하면쓰기작업을스토리지영구캐시에만등록하면되므로애플리케이션의쓰기응답시간이최적화됩니다. 또한 VPLEX 는 Write-through 캐시를사용하지만로컬스토리지와원격스토리지에모두등록된쓰기작업만애플리케이션에통보합니다. 읽기작업은모든 VPLEX 구축환경에서 VPLEX 캐시의혜택을누릴수있으며 VPLEX 의경우로컬 VPLEX 클러스터캐시에서읽기작업을처리합니다. 1 이섹션에서는 VPLEX 릴리즈 5.1 을기준으로설명하며, 세부적인내용은릴리즈에따라다를수있습니다. VPLEX 제품가이드에서정확한버전정보를확인할수있습니다. 10
VPLEX 의논리적스토리지구조 VPLEX 는기존의물리적스토리지디바이스를캡슐화하여그림 5 와같이스토리지볼륨을 3 개의논리적계층으로추상화합니다. 익스텐트는 VPLEX 가스토리지볼륨을분할할때사용하는메커니즘입니다. 익스텐트는기본스토리지볼륨의전부가될수도있고일부가될수도있습니다. EMC VPLEX 는익스텐트를취합하고디바이스계층에서 RAID 보호기술을적용합니다. 디바이스는하나이상의익스텐트를사용하여구성되며, 필요한경우더복잡한 RAID 체계나디바이스구조로결합할수있습니다. VPLEX 스토리지구조의최상위계층에는가상볼륨 (virtual volume) 이있습니다. 가상볼륨은디바이스로부터생성되며기본디바이스의크기를그대로상속합니다. VPLEX 는 FE( 프런트엔드 ) 포트를사용하여가상볼륨을호스트에제공합니다. 스토리지뷰를사용하여가상볼륨에대한액세스를제어하며, 스토리지뷰는 EMC Symmetrix 의자동프로비저닝그룹또는 EMC CLARiX 의스토리지그룹과비슷한역할을합니다. 호스트이니시에이터의 VPLEX FE 포트및가상볼륨액세스를결정하는논리컨테이너로서의역할을수행합니다. 그림 5. EMC VPLEX 의논리적스토리지구조 VPLEX 는스토리지디바이스를 WWN 에따라식별하고, 사용자정의구성및보호레벨을적용한 VPLEX 가상볼륨세트로패키징한후, 가상볼륨을호스트에제공하는방법으로 SAN(Storage Area Network) 볼륨을캡슐화합니다. VPLEX 는기존스토리지디바이스의데이터를그대로유지하면서캡슐화하거나캡슐화를해제할수있을뿐아니라기존스토리지볼륨을분할하고취합하여가상볼륨에사용할수있습니다. 또한 VPLEX 캡슐화를통해호스트에제공된가상스토리지를백엔드스토리지내부또는백엔드스토리지간에운영중단없이이동할수있습니다. VPLEX 에서 VMAX 시리즈및 VNX 시리즈와같은스토리지를캡슐화하는경우스토리지에 RAID 보호를적용하는것이좋습니다. 이렇게하면스토리지와 VPLEX 간의매핑이단순하게유지되고스냅샷생성, 클론생성및추가 DR 등의스토리지기능을사용할수있습니다. 11
VPLEX 정합성보장그룹, 분리규칙및 Witness 정합성보장그룹 VPLEX Local 및 용 GeoSynchrony 5.0 부터는정합성보장그룹을사용하여가상볼륨을구성하고사이트손실또는 WAN 파티션이발생할경우쓰기순서의일관성및안정적인입출력연속동작을보장합니다. 정합성보장그룹은여러볼륨을하나로취합하여전체그룹에공통속성세트를제공합니다. 또한필요한경우클러스터간에정합성보장그룹을이동할수있습니다. 정합성보장그룹은데이터베이스및애플리케이션에특히중요합니다. 모든데이터베이스 LUN( 예 : Oracle 데이터, 제어및로그파일 ) 은데이터무결성을위해쓰기순서의일관성이유지되어야하므로항상하나의정합성보장그룹에함께배치되어야합니다. 여러데이터베이스가데이터베이스링크로연결되거나애플리케이션에서여러데이터베이스에트랜잭션을전송하고데이터베이스간의일관성을유지하려는경우와같이여러데이터베이스에트랜잭션종속성이있는경우가많습니다. 이러한경우정합성보장그룹은입출력종속성 ( 쓰기순서일관성 ) 이유지되어야하는모든 LUN 을포함해야합니다. Oracle RAC 의경우 VPLEX Local 및 만지원됩니다. Local 및 에서는동기식정합성보장그룹 (Write-through 캐시모드 ) 만제공합니다. 동기식정합성보장그룹의정의는다음과같습니다. 동기식정합성보장그룹 VPLEX Local 또는 VPLEX 구성에포함된볼륨그룹에동일한 VPLEX 클러스터분리규칙및기타속성을간편하게적용할수있으므로대규모시스템의구성및관리가쉬워집니다. 동기식그룹에속한볼륨은글로벌또는로컬가시성을갖습니다. 동기식정합성보장그룹은 Write-through 캐싱 (VPLEX 사용자인터페이스에서는동기식캐시모드로표시 ) 을사용하며, VPLEX 사용시최대 5ms 의지연시간으로분산된클러스터에서지원됩니다. 즉, VPLEX 는백엔드스토리지볼륨에쓰기작업을전송하고두클러스터의백엔드스토리지볼륨에서쓰기작업이인식되는즉시애플리케이션에쓰기작업을통보합니다. 분리규칙 분리규칙은네트워크파티셔닝또는원격클러스터장애등으로인해원격클러스터와의접속이끊어질때마다정합성보장그룹의입출력처리방식을결정하는기본제공된규칙입니다. 이러한경우통신이복구될때까지대부분의워크로드에서는특정가상볼륨세트의클러스터중하나에서입출력을계속하고다른클러스터에서는입출력을일시중단해야합니다. VPLEX 구성에서분리규칙으로선호되는고정클러스터를지정하는설정은 2 winner:cluster-1, winner:cluster-2 또는 No Automatic Winner( 선호클러스터가지정되지않음 ) 입니다. 다음섹션에서설명할 VPLEX Witness 없이시스템을구축한경우 2 관리 GUI 옵션기준입니다. CLI 에서는같은규칙을지정할때약간다른용어를사용합니다. 12
정합성보장그룹디바이스에대한입출력이선호클러스터에서진행되고비선호클러스터에서는일시중단됩니다. VPLEX Witness GeoSynchrony 5.0 에서도입된 VPLEX Witness 는 Oracle Extended RAC 구축시필수구성요소입니다. VPLEX Witness 는관리 IP 네트워크를통해두 VPLEX 클러스터에접속합니다. VPLEX Witness 는자체관찰결과와클러스터에서정기적으로보고하는정보를종합하여클러스터에서클러스터간네트워크파티션장애와클러스터장애를구분하고해당상황이발생할때적절한사이트에서자동으로입출력을계속할수있도록지원합니다. VPLEX Witness 는 VPLEX 구성에서동기식정합성보장그룹에속하는가상볼륨에만영향을주며, 분리규칙에따라클러스터 -1 또는클러스터 -2 가정합성보장그룹의선호클러스터로지정된경우에만작동합니다. 즉, No Automatic Winner 규칙이설정된경우 VPLEX Witness 는정합성보장그룹에영향을주지않습니다. VPLEX Witness 가없으면두 VPLEX 클러스터의접속이끊어질때앞에서설명한것처럼정합성보장그룹에적용된분리규칙에따라작업을계속할클러스터와입출력을일시중단할클러스터가결정됩니다. 분리규칙만사용하여선호사이트를제어하면사이트장애시관리자가수동으로개입하여정상적으로운영되는사이트에서입출력을재개해야하므로불필요한복잡성이가중될수있습니다. VPLEX Witness 는이러한이벤트를상황에따라자동으로처리해주므로 Oracle Extended RAC 구축시필수적인구성요소라고할수있습니다. 제공하는기능은다음과같습니다. 데이터센터간에자동로드밸런싱 두데이터센터모두를 Active-Active 방식으로사용 스토리지계층에서완벽한자동장애처리 VPLEX Witness 가장애상태를정확하게구분할수있도록두클러스터와다른네트워크인터페이스를사용하여두클러스터에서독립된장애도메인에 VPLEX Witness 를설치해야합니다. 이렇게하면하나의장애가두클러스터와 VPLEX Witness 모두에영향을주는상황이방지됩니다. 예를들어 VPLEX 구성에포함된두클러스터가같은데이터센터의다른층에구축된경우 VPLEX Witness 를또다른층에구축해야합니다. 또한 VPLEX 구성에포함된두클러스터가서로다른두데이터센터에구축된경우 VPLEX Witness 를세번째데이터센터에구축해야합니다. 캐시볼트 Write-back 캐싱을사용하는경우긴급상황에서메타데이터또는데이터의손실을방지하기위해 VPLEX 는캐시볼팅이라는메커니즘을사용하여캐시정보를영구적인로컬스토리지에안전하게보관합니다. 13
Oracle RAC(Real Application Clusters) Oracle RAC(Real Application Clusters) 는우수성을널리인정받은 Oracle Database Enterprise Edition 에포함된옵션입니다. Oracle RAC 는공유캐시아키텍처를도입한클러스터데이터베이스로서, 기존의비공유 (shared-nothing) 및디스크공유접근방식에서드러나는한계를극복하여모든비즈니스애플리케이션에적합한확장성과가용성이뛰어난데이터베이스솔루션을제공합니다. Oracle RAC 는모든종류의주요비즈니스애플리케이션을지원합니다. 여기에는 OLTP(Online Transaction Processing) 및 DSS(Decision Support System) 가포함됩니다. Oracle ASM(Automatic Storage Management) Oracle ASM(Automatic Storage Management) 은 Oracle 데이터베이스를위한통합파일시스템및볼륨관리자입니다. Oracle ASM 으로데이터베이스스토리지를간편하게관리할수있습니다. Oracle ASM 은뛰어난성능과신뢰성을제공할뿐아니라 ASM 디스크를온라인상태로추가하거나제거할수있으므로데이터베이스가용성도향상됩니다. Oracle ASM 은디스크가추가또는제거된후 ASM 디스크그룹에속하는디스크사이에서데이터분산을자동으로재조정합니다. Oracle Database 11g Release 2 에서는 Oracle ASM 과 Oracle Clusterware 가 Oracle Grid Infrastructure 라는패키지에번들로포함되었습니다. 이패키지는 Oracle RAC 데이터베이스를운영하는데필요한모든클러스터및스토리지관리서비스를제공합니다. 또한 Oracle ASM 이확장되어 OCR(Oracle Cluster Registry) 및 ASM 디스크그룹내에배치할보팅파일이지원됩니다. 원격사이트클러스터의 Oracle RAC 원격사이트클러스터의 Oracle RAC 란클러스터의서버가물리적으로떨어진여러장소에상주하는구축모델입니다. 원격사이트클러스터의 Oracle RAC 는로컬 Oracle RAC 보다뛰어난가용성을제공합니다. 원격사이트클러스터의 Oracle RAC 는사이트장애를매우빠르게복구할수있으며모든사이트의모든서버에서단일데이터베이스클러스터에속하는트랜잭션을능동적으로처리하도록해줍니다. 이아키텍처는널리각광받는방식으로서성공적으로구축되었지만, 특히사이트간거리, 지연시간및제공되는보호수준이라는관점에서이아키텍처가가장적합할수있는환경을이해하는것이중요합니다. 지연시간, 즉거리라는요소로인해이아키텍처를구축할수있는환경이실제적으로제한됩니다. 이아키텍처는두데이터센터가비교적가까이위치해있으며사이트간에직접전용채널을설치하는투자가이미이루어진경우에가장적합합니다. 14
Symmetrix VMAX 시리즈 Symmetrix VMAX 시리즈는간소화, 지능화, 모듈식스토리지라는전략에따라설계되었으며, 새로운 Virtual Matrix 상호연결기술을통해모든노드의리소스를연결하고공유함으로써스토리지를엔트리레벨구성에서세계최대급스토리지시스템에이르기까지원활하게확장할수있도록지원합니다. 이제품은그림 6 에표시된것과같은새로운하드웨어기능을지원하여최고수준의성능과가용성을제공합니다. 2 16 개의디렉터보드 최대가용용량 2.1PB 최대 128 개의 FC FE 포트 최대 64 개의 FICON FE 포트 최대 64 개의 GigE / iscsi FE 포트 최대 1TB 의글로벌메모리 ( 가용용량 512GB) 그림 6. Symmetrix VMAX 시리즈 Symmetrix VMAX 시리즈는궁극적인스케일아웃플랫폼을제공합니다. 처리모듈 ( 노드 ) 및스토리지베이를추가하여프런트엔드및백엔드성능을점진적으로확장할수있습니다. 각처리모듈은추가적인프런트엔드, 메모리및백엔드접속을제공합니다. 또한 Symmetrix VMAX 시리즈는최대하이퍼크기를 240GB(Symmetrix DMX 에서는 64GB) 로높여줍니다. 따라서스토리지계획및디바이스할당이쉬워지며, 특히씬스토리지풀이이미스트라이핑되어대규모하이퍼를쉽게사용할수있는 Virtual Provisioning 을사용할때유리합니다. Symmetrix VMAX TimeFinder 제품군 로컬복제기술을구현하는 EMC TimeFinder 제품군으로데이터베이스및애플리케이션데이터의읽기 / 쓰기가가능한여러스토리지기반복제본을무중단방식으로생성할수있습니다. 이제품군은데이터베이스크기에관계없이애플리케이션에대한영향을최소화하면서뛰어난속도, 확장성및효율적스토리지활용을통해고객의폭넓은데이터복제요구사항을해결합니다. TimeFinder 는여러 Symmetrix VMAX 를대상으로하는경우에도운영데이터베이스및애플리케이션을백업, 재시작및복구하는솔루션을제공합니다. TimeFinder 는 SRDF 등의여타 EMC 15
제품과원활하게통합되며동기식또는비동기식복제를중단하지않으면서원격타겟에복제본을생성할수있습니다. 원격복제본을이용하여복구해야하는경우 TimeFinder 와 SRDF 는데이터를점진적으로병렬복구하여가용성과보호기능을극대화합니다. TimeFinder 제품군은 EMC 정합성보장기술을사용한종속쓰기정합성복제본및 Oracle 백업 / 복구작업에사용가능한복제본을생성할수있습니다. 이러한방법은뒷부분의활용사례에서자세히설명합니다. Symmetrix VMAX 시리즈는 TimeFinder 이외에도 RecoverPoint 로컬및원격데이터보호기술을제공하는통합 RecoverPoint write splitter 를제공합니다. Symmetrix VMAX 시리즈의 RecoverPoint 3.5 통합에대한자세한내용은 http://korea.emc.com 및 http://powerlink.emc.com 을참조하십시오. Symmetrix VMAX 가상프로비저닝 Symmetrix 씬디바이스는기존에 Symmetrix 디바이스를사용하던방식과동일한방식으로사용할수있는논리디바이스입니다. 기존의 Symmetrix 디바이스와는달리씬디바이스는디바이스가생성되어호스트에제공되는시점에물리적스토리지를미리할당하지않아도됩니다. 그러나고객이씬풀 (Thin Pool) 와이드스트라이핑 (Wide striping) 과관리용이성에중점을두는경우에는씬디바이스를완전히사전할당할수도있습니다. 씬디바이스를사용하려면우선씬풀에바인딩해야합니다. 여러씬디바이스를특정씬풀하나에바인딩할수있습니다. 씬풀은씬디바이스할당을지원하기위해실제물리적스토리지를제공하는데이터디바이스라고하는여러디바이스로구성됩니다. 표 2 에서는가상프로비저닝과관련된기본적인정의를보여줍니다. 표 2. 가상프로비저닝디바이스의정의 디바이스 씬디바이스 데이터디바이스 설명 직접연결된스토리지는없지만호스트액세스가가능한디바이스입니다. 씬풀에배치되어씬디바이스가사용할스토리지용량을제공하는내부디바이스입니다. 씬풀씬디바이스에스토리지용량을제공하는데이터디바이스모음입니다. 16
VPLEX 와 Oracle Extended RAC 구축 VPLEX 환경의 Oracle Extended RAC 구축고려사항 EMC VPLEX 는데이터센터의물리적경계를뛰어넘어여러지역에분산된사용자들이데이터를동시에액세스할수있게해줍니다. VPLEX 와 Oracle Extended RAC 를사용하면단일데이터베이스에액세스하는여러사이트간에성능저하없이워크로드를공유할수있으며, 하드웨어유지보수와같은예정된이벤트에대비하여사이트간에워크로드를유연하게마이그레이션할수있습니다. 뿐만아니라예상치못한상황이발생하여데이터센터중하나의서비스가중단될경우 Oracle TAF(Transparent Application Failover) 를통해실패한클라이언트접속을정상운영사이트에서실행되는 Oracle RAC 노드로자동으로리디렉션할수있습니다. Oracle Extended RAC 및 VPLEX 구축지침 구축과관련된주요지침은다음과같습니다. Oracle Clusterware 및 VPLEX Witness 구축 Oracle Extended RAC 구축시 Oracle Clusterware 보팅파일 (NFS 기반일수있음 ) 중하나를세번째사이트에구축해야하는경우가많습니다. VPLEX 를사용한원격사이트클러스터의 Oracle RAC 에서도 Oracle Clusterware 보팅디스크를사용해야합니다. 그러나클러스터보팅디스크자체는 VPLEX 가상볼륨에상주합니다. 따라서 Oracle 보팅디스크액세스 /Oracle RAC 동작과 VPLEX 의페일오버동작이항상조율됩니다. VPLEX 를사용하는경우앞부분의 VPLEX Witness 섹션에서설명한것처럼 VPLEX Witness 만독립적인장애도메인 ( 멀티사이트구축시세번째사이트 ) 에구축하면됩니다. 실제사이트장애가아니며 VPLEX 상호연결에영향을주지않는 Oracle 상호연결파티셔닝만발생한경우 Oracle Clusterware 는노드수및보팅디스크에대한액세스를기준으로재구성을수행합니다. VPLEX 상호연결파티셔닝또는실제사이트장애가발생한경우 VPLEX 는사이트선호규칙및 Cluster Witness 의지시에따라클러스터중하나에서즉시입출력을계속하도록허용합니다. 따라서 Oracle 클러스터노드는 VPLEX 가입출력을계속하는보팅디스크만액세스할수있으므로 Oracle Clusterware 는이에맞게클러스터를재구성합니다. 보팅디스크는여전히필요하지만, VPLEX Witness 가분할브레인을방지하고 와 Oracle Clusterware 의동작을조율하므로보팅디스크를독립적인세번째사이트에구축할필요는없습니다. 또한 VPLEX Witness 가보팅파일에대한액세스를제어하므로독립적인 Oracle RAC 구축환경및종속된업스트림사용자애플리케이션간에안정적이고일관된동작을보장할수있습니다. 17
Oracle Clusterware 구축 Oracle Clusterware 는이전섹션에서설명한것처럼세번째사이트가아닌 VPLEX 분산형볼륨에구축됩니다. Oracle Database 11g Release 2 에서 Oracle Clusterware 는 Oracle ASM 과통합되어 Oracle Grid Infrastructure 를구성합니다. 따라서 Oracle Grid Infrastructure 를설치할때첫번째 ASM 디스크그룹이생성됩니다. Oracle Database 11g Release 2 부터는 Oracle ASM 을사용하여 Oracle Clusterware 파일 (OCR 및보팅파일 ) 을호스팅하는경우 Oracle Clusterware 파일만포함할 +GRID 와같은고유디스크그룹을생성하는것이좋습니다. 즉, 로그파일이나데이터파일과같은데이터베이스컨텐츠는이그룹에배치되지않습니다. +GRID 디스크그룹에는보통또는높은수준의이중화를사용하는것이좋습니다. +GRID ASM 디스크그룹에외부수준의이중화 3 를사용하면보팅디스크가하나만생성되지만이렇게하면 Oracle 에서여러보팅디스크를생성합니다. 데이터베이스컨텐츠가포함되지않으므로이디스크그룹에사용되는분산형 VPLEX 디바이스의크기는상대적으로매우작을수있습니다. VPLEX 의기반으로 Symmetrix VMAX 시리즈또는 VNX 시리즈와같은 EMC 스토리지를사용하는경우또는 VPLEX RAID 보호를사용하는경우다른모든 ASM 디스크그룹은외부수준의이중화로설정하는것이좋습니다. 이렇게하면 ASM 멤버가 VPLEX 또는 EMC 스토리지 RAID 에의해적절히보호됩니다. 모든 Oracle 클러스터노드는모든 Oracle Clusterware 및데이터베이스디바이스에액세스해야하므로 Oracle Clusterware 와 Oracle 데이터베이스는 ASM, 원시디바이스또는클러스터파일시스템중무엇이사용되는지에관계없이 VPLEX 분산형볼륨만사용해야합니다. 추가설명 x86 기반서버플랫폼에서는파티션을정렬해야합니다. VPLEX 의경우 4KB 오프셋으로정렬해야하지만 Symmetrix 를사용하는경우 64KB(128 개블록 ) 오프셋으로정렬해야합니다. 이오프셋도기본적으로 4KB 경계로정렬됩니다. Windows 에서는 diskpar 또는 diskpart 를사용할수있습니다. Linux 에서는 fdisk 또는 parted 를사용할수있습니다. 이섹션의뒷부분 (PowerPath 디바이스에파티션생성 ) 에서는 fdisk 를사용하여 64KB 오프셋으로파티션을정렬하는예제를보여줍니다. 3 Oracle 11g Release 2 부터 Oracle Clusterware 보팅파일의수는 ASM 이중화수준에따라자동으로결정됩니다. 예를들어외부수준의이중화는보팅디스크 1 개, 보통수준의이중화는보팅디스크 3 개, 높은수준의이중화는보팅디스크 5 개를생성합니다. 18
예상치못한다운타임으로부터 Oracle Extended RAC 및 VPLEX 보호 Oracle Extended RAC 와 VPLEX 를결합하면다양한장애상태에서가용성과복구성능을강화하여미션크리티컬데이터베이스및애플리케이션의가용성을높일수있습니다. 표 3 에서는여러가지장애시나리오및이러한상황에서데이터베이스의지속적인운영을위한 Best Practice 를보여줍니다. Oracle Data Guard, RecoverPoint, SRDF 등의대기시스템에대한페일오버는이목록에포함되지않았습니다. VPLEX 접속구성에대한 Best Practice 는 EMC VPLEX with GeoSynchrony 5.0.1 및 5.1 제품가이드를참조하십시오. 표 3. VPLEX, Oracle RAC 및 Oracle Extended RAC 의복구성능요약 호스트및사이트장애시나리오에대한복구성능 장애 Oracle 데이터베이스단일서버 (RAC 미사용 ) Oracle RAC ( 비확장 ) Oracle Extended RAC 및 VPLEX 호스트 HBA 포트장애 각호스트에 2 개이상의스토리지경로가있어야합니다. 여러 HBA 포트 ( 이니시에이터 ) 를사용합니다. 단일서버의경우와동일 단일서버의경우와동일 자동경로페일오버및로드밸런싱을위해 EMC PowerPath 등의경로다중화소프트웨어를사용합니다. 이상적인 SAN 접속구성에서는 HBA 포트 ( 이니시에이터 ) 가분산된이중화스위치를사용합니다. 호스트하드웨어장애또는충돌 호스트및애플리케이션의작동을재개할수있을때까지다운타임이불가피합니다. Oracle RAC 는자동인스턴스복구를수행하고다른클러스터노드를사용자접속용으로준비하여 N-1 개노드 (N 은클러스터의노드수 ) 의장애에대비한데이터베이스복구성능을제공합니다. Oracle RAC 와동일 Oracle TAF(Transparent Application Failover) 를사용하여정상운영되는 RAC 클러스터노드로세션을자동으로페일오버할수있습니다. 19
연구실 / 건물 / 사이트장애 호스트및애플리케이션의작동을재개할수있을때까지다운타임이불가피합니다. 호스트및애플리케이션의작동을재개할수있을때까지다운타임이불가피합니다. 다른건물이나사이트와같은독립적인장애도메인에 VPLEX 클러스터와 Witness 를설치하여연구실, 건물또는사이트의장애에대비할수있습니다. 장애도메인의 VPLEX 클러스터는재해에영향을받지않으며애플리케이션의입출력을계속처리합니다. Oracle TAF(Transparent Application Failover) 를사용하여정상운영되는클러스터노드로사용자접속을자동으로페일오버할수있습니다. 데이터베이스 / 네트워크관련장애시나리오에대한복구성능 장애 Oracle 데이터베이스단일서버 (RAC 미사용 ) Oracle RAC ( 비확장 ) Oracle Extended RAC 및 VPLEX 데이터베이스인스턴스충돌또는공용네트워크연결해제 인스턴스가재가동되거나공용네트워크가다시연결될때까지다운타임이불가피합니다. Oracle RAC 는자동인스턴스복구를수행하고다른클러스터노드를사용자접속용으로준비하여 N-1 개노드 (N 은클러스터의노드수 ) 의장애에대비한데이터베이스복구성능을제공합니다. Oracle RAC 와동일 Oracle TAF(Transparent Application Failover) 를사용하여정상운영되는클러스터노드로세션을자동으로페일오버할수있습니다. Oracle RAC 상호연결파티셔닝 해당없음 기본적으로 Oracle RAC 에서클러스터재구성을통해이러한장애상황을자동으로처리합니다. Oracle RAC 와동일 20
스토리지장애시나리오에대한복구성능 장애 Oracle 데이터베이스단일서버 (RAC 미사용 ) Oracle RAC ( 비확장 / 확장 ) Oracle Extended RAC 및 VPLEX 프런트엔드포트장애 SAN 접속구성에여러스토리지프런트엔드포트가포함되어야하며이상적으로는 Symmetrix 디렉터를망라해야합니다. 여러엔진이포함된 Symmetrix 를사용하는경우다른엔진의포트에도접속하여보호기능을더욱강화할수있습니다. 단일서버의경우와동일 단일서버의경우와동일 물리적드라이브장애 스토리지 RAID 보호를사용합니다. Symmetrix 스토리지는 RAID 보호를사용하며, 여기에서 RAID1 및 RAID5 는 RAID 그룹에속한단일디스크의장애에대비하고 RAID6 은 RAID 그룹에속한디스크 2 개의장애에대비합니다. 두경우모두애플리케이션이중단없이계속실행됩니다. 단일서버의경우와동일 단일서버의경우와동일 드라이브에서장애가발생하기시작하면 Symmetrix 핫스페어드라이브가데이터를복사하고 EMC Enginuity 는 Call Home 을실행하여 EMC 지원팀에이사실을즉시통보합니다. 디렉터보드 ( 캐시, 입출력 ) 를비롯한스토리지구성요소 Symmetrix 구성요소는완전히이중화되어있습니다. 예를들어미러링캐시도영구적으로보존되며 ( 정전이오래지속될경우볼팅사용 ) 이중화된디렉터및전원공급장치를갖추고있습니다. 단일서버의경우와동일 단일서버의경우와동일 Symmetrix 데이터에는스토리지에진입한시점부터스토리지를벗어나는시점까지 T10 DIF 보호가적용됩니다. 21
스토리지접속끊김 스토리지접속이복구될때까지다운타임이불가피합니다. 스토리지전체에호스트기반 (ASM) 미러링이구성되지않은경우스토리지접속이복구될때까지다운타임이불가피합니다. 스토리지중하나의가동이중단되어도 VPLEX 의동기식정합성보장그룹이두사이트에서입출력을계속처리합니다. VPLEX 클러스터가모든입출력을계속처리하므로 Oracle Clusterware 에서는스토리지가용성손실이인식되지않습니다. VPLEX 장애시나리오에대한복구성능 장애 Oracle 데이터베이스단일서버 (RAC 미사용 ) Oracle RAC ( 비확장 / 확장 ) Oracle Extended RAC 및 VPLEX 프런트엔드포트 SAN 접속구성에여러스토리지프런트엔드포트가포함되어야하며이상적으로는 Symmetrix 디렉터를망라해야합니다. 여러엔진이포함된 VPLEX 를사용하는경우다른엔진의포트에도접속하여보호기능을더욱강화할수있습니다. 단일서버의경우와동일 단일서버의경우와동일 자동경로페일오버및로드밸런싱을위해 PowerPath 등의경로다중화소프트웨어를사용합니다. 이상적인 SAN 접속구성에서는여러 VPLEX 프런트엔드포트에접속된이중화스위치를사용합니다. 백엔드포트 VPLEX 프런트엔드포트와마찬가지로스토리지에접속되는 VPLEX 백엔드포트에이중화스위치접속구성을사용합니다. 단일서버의경우와동일 단일서버의경우와동일 VPLEX 하드웨어구성요소 VPLEX 구성요소는완전히이중화되어있습니다. 예를들어영구캐시 ( 정전이오래지속될경우볼팅사용 ), 이중화된디렉터및전원공급장치를갖추고있습니다. 단일서버의경우와동일 단일서버의경우와동일 22
VPLEX 상호연결파티션 VPLEX 클러스터가용성손실 해당없음 해당없음 두사이트가여전히가동중인경우 VPLEX 선호클러스터분리규칙에따라입출력을재개할클러스터와입출력을일시중단할클러스터가결정되며, 정상가동되는클러스터에접속된호스트는다운타임을경험하지않습니다. 해당없음 해당없음 VPLEX Witness 가정상가동되는 VPLEX 클러스터에서입출력을재개합니다. 해당 VPLEX 클러스터에접속된 Oracle RAC 노드는 RTO 없이계속작동합니다. Oracle TAF(Transparent Application Failover) 를사용하면정상가동되는 VPLEX 클러스터에접속된 Oracle RAC 노드로클라이언트를자동으로다시접속할수있습니다. VPLEX 의아키텍처는여러위치에서의동시액세스를지원하도록설계되었지만, 최신버전의제품은사이트간에최대 5ms 의라운드트립지연시간으로동기식으로연결된 2 개사이트구성을지원합니다. 또한 Oracle Extended RAC 및 VPLEX 에서는여러물리적데이터센터로 VLAN 을확장하여클라이언트접속및 Oracle RAC 노드상호연결을지원해야할수있습니다. Brocade 의 VPLS 및 Cisco 의 OTV(Overlay Transport Virtualization) 와같은기술을통해이러한서비스를제공할수있습니다. EMC VPLEX Architecture and Deployment: Enabling the Journey to the Private Cloud TechBook(EMC Powerlink ) 에서 EMC VPLEX 구성에대한자세한내용을확인할수있습니다. 23
VPLEX 및 Oracle Extended RAC 실험구성및테스트 실험구성및설치 다음섹션에서는이문서에서설명하는테스트사례에사용된기술과구성요소에대해설명합니다. 물리적환경 그림 7 에서는이문서에서제시하는테스트에사용된 Oracle Extended RAC 구성환경의전반적인물리적아키텍처를보여줍니다. Oracle Extended RAC 는시뮬레이션된각테스트센터 ( 사이트 A 및사이트 B) 에 2 개씩총 4 개의 Oracle RAC 노드로구성되었습니다. 그림 7. Oracle Extended RAC 의 VPLEX 구성 하드웨어설치과정에서는호스트, VPLEX 클러스터및 Symmetrix VMAX 시리즈스토리지와이중화스위치간에 Fibre Channel 접속을설정했습니다. 각사이트의호스트는로컬 VPLEX 클러스터프런트엔드포트에조닝 (Zoning) 되었고스토리지는 VPLEX 클러스터백엔드포트에조닝되었습니다. VPLEX 클러스터는이경우원격사이트시뮬레이터를통해서로에게조닝되었습니다. 사이트간의 Oracle RAC 상호연결에도같은원격사이트시뮬레이터가사용되어 VPLEX 상호접속과동일한지연시간오버헤드를적용했습니다. 원격사이트시뮬레이터에는 WAN 압축을사용한 2 x 1 GigE 링크및프로토콜변경을위한 Ciena 스위치가사용되었습니다. 24
표 4 에서는 VPLEX, 호스트및 Symmetrix 스토리지하드웨어를자세히보여줍니다. 여기에는 구성의 2 x 2 엔진 VPLEX 클러스터설정및각 VPLEX 클러스터에로컬스토리지를제공하는 2 x 1 엔진 Symmetrix VMAX 시리즈기술이포함되었습니다. 4 x RAC 노드는 16GB 캐시가설치된 Dell 2950 듀얼코어서버로구성되었습니다. 테스트에서는많은양의 RAM 을사용하여수치상의트랜잭션속도를높이는것이아니라 OAST(Oracle Automated Stress Tool) 를사용하여높은입출력워크로드를생성하는데중점을두었습니다. VPLEX Witness 를설정하여각 VPLEX 클러스터에접속했습니다. 표 5 에서는원격사이트시뮬레이션하드웨어를보여줍니다. Gigabit IP 네트워크를 Fibre Channel 네트워크로변환하는 Dell PowerConnect 6224F Fiber Ethernet Switch 가포함되었습니다. Ciena CN 2000 Network Manager 는 Fibre Channel, FICON 또는 GbE 입력을통해가상광네트워크를제공합니다. 이하드웨어는데이터압축과 DBA(Dynamic Bandwidth Allocation) 를모두지원하여클라이언트접속에포트레벨의서비스품질을제공합니다. Empirix PacketSphere Network Emulator 는전이중 Gigabit 회선속도네트워크트래픽에대해통제된방식으로네트워크지연시간등의 IP 네트워크성능문제를에뮬레이션합니다. 표 4. Oracle Extended RAC 하드웨어환경 하드웨어 수량 릴리즈및구성 EMC VPLEX 2 VPLEX 및 GeoSynchrony 5.0.1 클러스터당엔진 2 개, 디렉터 4 개 VPLEX Witness 1 VPLEX Witness VM( 가상머신 ) 을실행하는 Dell R900 Symmetrix VMAX 시리즈 2 단일엔진 VMAX 및 Enginuity 5875, 가상프로비저닝을사용한 112 x 450GB/15k FC 드라이브 Dell 2950 서버 (RAC 노드 ) 4 2 x 듀얼코어, 16GB RAM Emulex Express( 서버당 HBA 포트 2 개사용 ) 4 접속구성단계의기본지침은하드웨어이중화를극대화하는것입니다. 예를들어 2 개의스위치, 2 개이상의 HBA, 동적경로페일오버를위한다중경로및로드밸런싱을사용할수있습니다. 25
표 5. 원격사이트시뮬레이션하드웨어환경 하드웨어 수량 릴리즈및구성 Dell PowerConnect 6224F Fiber Ethernet Switch 1 최대 4 x 10 Gigabit Fiber 및 2 x 10GBase-T Copper Ethernet 업링크지원 Ciena CN 2000 Network 1 Ciena ON-Center CN 2000 Network Manager Empirix PacketSphere Network Emulator Manager 5.0.1 1 Empirix Network Emulator NE XG 1.0B8, 2 1-GbE 네트워크에뮬레이터 Dell 2950 서버 4 2 x 듀얼코어, 16GB RAM 표 6 에서는사용된호스트소프트웨어를보여줍니다. 표 6. 호스트소프트웨어 소프트웨어서버 OS EMC PowerPath Oracle 릴리즈 Oracle Linux Release 5 Update 4 x86_64 Linux x86_64 용버전 5.5 for Linux x86-64 용 Oracle Clusterware 11g R2(11.2.02) 및 Oracle Database 11g R2(11.2.0.2) 스토리지설정및디바이스할당계획 Symmetrix VMAX Virtual Provisioning 및스토리지디바이스구성 표 7 에서는스토리지가상프로비저닝을사용한 Symmetrix VMAX 디바이스구성및 VPLEX 와 Oracle Extended RAC 테스트환경의볼륨레이아웃을보여줍니다. 이구성에서는 Oracle 데이터와로그파일을별도의씬풀에배치하여각각서로다른 RAID 보호를적용했습니다. 이구성에서데이터파일은 RAID5 보호씬풀에, redo 로그는 RAID1 보호씬풀에배치되었습니다. Symmetrix RAID5 보호씬풀은최적화된쓰기및순환패리티를통해데이터파일의보호수준, 성능및용량활용도를골고루높여주므로데이터파일에사용하기에적합합니다. RAID1 보호씬풀은경우에따라 RAID5 보다약간높은가용성과성능을제공할수있으므로로그파일에사용되었습니다. 동일한물리적디스크그룹을두씬풀에서공유하여물리적리소스를완전히공유했습니다. 순수한스토리지성능 / 가용성최적화보다단순성에중점을두려는경우에는데이터파일과로그파일이같은씬풀과 RAID 보호 ( 예 : RAID1, RAID5 또는 RAID6) 를공유하는다른구성으로스토리지를구축할수있습니다. 26
이구성에서는여러 ASM 디스크그룹을사용했습니다. +GRID: 앞부분의 Oracle Clusterware 구축섹션에서설명한것처럼 Oracle Database 11g Release 2 부터는 Oracle Clusterware 에 ASM 을사용하는경우 CRS 전용으로고유디스크그룹 ( 예 : +GRID) 을생성하는것이좋습니다. 이와같이 Clusterware LUN 을데이터베이스와분리하는방법은용도변경, 백업등을위해복제또는스냅샷등의스토리지기술을사용하여추가데이터베이스복사본을생성하려는경우에유용합니다. 이러한복사본에는 Oracle Clusterware LUN 이포함되지않습니다. 이방법은 RecoverPoint 및 SRDF 등의 DR 솔루션에도도움이되는데, 이는복제된 ASM 디스크그룹에서 Oracle Clusterware LUN 이제외되며 DR 타겟사이트에이미구성된 Oracle Clusterware 스택에해당디스크그룹이마운트되기때문입니다. +DATA, +LOG 및 +FRA ASM 디스크그룹을분리하면스토리지기술을사용하여백업을운영으로부터오프로드할수있습니다. 핫백업중에는 +DATA 와 +FRA 디스크그룹이서로다른시점에복제됩니다. 또한 RecoverPoint 및 SRDF 등의원격복제기능에서는기본적으로다시시작가능한데이터베이스복제본을생성합니다. 다시시작가능한복제본은충돌또는인스턴스복구시에아카이브로그를액세스하지않으므로아카이브로그 (+FRA 디스크그룹 ) 는복제에포함할필요가없습니다. 임시파일이 +DATA 디스크그룹에포함되는경우가많습니다. 테스트에서는모니터링을위해별도의 ASM 디스크그룹을사용했지만이는구축시권장되는방법이아닙니다. 27
표 7. 스토리지및데이터베이스디바이스구성및할당 ASM 디스크그룹및 LUN 할당 씬디바이스 (LUN) 씬풀바인딩 씬디바이스 데이터디바이스 Oracle RAC Grid/ASM 인스턴스 +Grid ASM 디스크그룹 +REDO ASM 디스크그룹 Redo_Pool Redo_Pool 5 x 20GB 씬 LUN(15F:163) 5 x 20GB 씬 LUN(164:168) 56 x 30GB RAID1 데이터베이스 : 이름 : ERPFINDB 크기 : 1TB LUN 개수 : 38 +DATA: ASM 디스크그룹 +TEMP: ASM 디스크그룹 Data_Pool 25 x 60GB 씬 LUN(1A5:1B4) 6 x 50GB 씬 LUN(17D:182) 56 x 230GB RAID5(3+1) (C5:FC) VPLEX +FRA: ASM 디스크그룹 VPLEX 메타디바이스 VPLEX 로그 Temp_Pool 2 x 50GB 가상 LUN 2 x 2 x 80GB 씬 LUN(2E5:2E8) 2 x 50GB 씬 LUN(2E9:2EA) 56 x 60GB RAID 5(3+1) (8D:C4) VPLEX 시스템의 Symmetrix VMAX 시리즈스토리지프로비저닝 다음단계에따라 Symmetrix VMAX 시스템의스토리지를 VPLEX 가상스토리지환경으로프로비저닝했습니다. 이단계는기본적으로물리적서버또는가상서버에스토리지를프로비저닝하는방법과같습니다. 여기에서설명하는절차에서는 Symmetrix VMAX 스토리지에서 VPLEX 시스템으로스토리지를최초로프로비저닝하는것으로가정합니다. 또한 VPLEX 가 Symmetrix VMAX 스토리지의프런트엔드포트로조닝되었다고가정합니다. 게이트키퍼를통해 Symmetrix 에접속된관리호스트를사용하거나 Symmetrix Management Console 클라이언트를사용하여 Symmetrix 작업을실행해야합니다. 다음목록은 CLI 에중점을둔설정작업이지만 Symmetrix Management Console 로도손쉽게같은작업을실행할수있습니다. 28
단계작업 1 Symmetrix Management Console 또는 Solutions Enabler CLI( 명령줄인터페이스 ) 를사용하여로컬스토리지와원격스토리지에 Symmetrix 디바이스를생성합니다. 2 다음명령을실행하여 Symmetrix 스토리지그룹을생성합니다. symaccess sid <symm_id> name <group name> type storage devs create 다음명령을예로들수있습니다. symaccess sid 191 name VPLEX1_Storage_Group type storage devs 15F:168 create 위명령은 Storage_Group_Test 라는스토리지그룹을생성합니다. 3 Symmetrix 포트그룹을생성합니다. 명령은다음과같습니다. symaccess sid 191 -name VPLEX1_Port_Group -type port dirport <Dir>:<Port> create 다음명령을예로들수있습니다. symaccess sid 191 -name VPLEX1_Port_Group -type port dirport 7E:1 create 위명령은 Port_Group_Test 라는포트그룹을생성합니다. 4 Symmetrix 이니시에이터그룹을생성합니다. 여기에서 VPLEX 백엔드포트의 WWN 은 Symmetrix 이니시에이터그룹에대한 " 호스트 " 이니시에이터입니다. 다음명령을실행하여 Initiator_Group_Test 라는이니시에이터그룹을생성할수있습니다. symaccess sid 191 name VPLEX1_Initiator_Group type init wwn <WWN> create 다음명령을예로들수있습니다. symaccess sid 191 name VPLEX1_Initiator_Group type init wwn 500014426011ee10 create 5 Symmetrix 마스킹뷰를생성하여스토리지, 포트및이니시에이터그룹을정리합니다. symaccess sid 191 create view name VPLEX1_View storgrp VPLEX1_Storage_Group portgrp VPLEX1_Port_Group initgrp VPLEX1_Initiator_Group 6 1-5 단계를반복하여두번째 VPLEX 시스템 (VPLEX2) 의스토리지를두번째 VMAX(sid 219) 에프로비저닝합니다. 29
VPLEX 설정 VPLEX 클러스터설정단계 그림 8 에서는 VPLEX 설정에필요한주요작업을보여줍니다. 그림 8. VPLEX 설정작업개요 참고 : 설명과같이두 VPLEX 클러스터를모두설정해야합니다. 각클러스터를개별적으로설정한후연결할수는없습니다. 30
VPLEX 클러스터접속설정 VPLEX 사이트간통신의두가지주요구성요소는 FC 와 IP 입니다. 에서는 Fibre Channel 또는 10 기가비트이더넷을사용하여각클러스터의디렉터를접속합니다. 각클러스터의 VPLEX 관리서버는보안 VPN 터널을통해접속됩니다. VPLEX 를설정할때는이중 Fabric 을통한이중화를구현해야하며클러스터간에완전히독립된 Fibre Channel 또는 10 기가비트이더넷네트워크로디렉터간통신을지원해야합니다. 이렇게하면극대화된성능, 장애격리, 내결함성및가용성이제공됩니다. 그림 9 는클러스터간 WAN 접속을조닝한예입니다. 그림 9. VPLEX 클러스터간 WAN 접속조닝의예클러스터접속확인 WAN 접속을확인하려면 VPLEX CLI 에로그인하고다음명령을실행합니다. ll **/hardware/ports/ 예를들면다음과같습니다. VPlexcli:/> ll **/hardware/ports/ /engines/engine-1-1/directors/director-1-1-a/hardware/ports: Name Address Role Port Status ------- ------------------ --------- ----------- A2-FC00 0x500014426011ee20 wan-com A2-FC01 0x500014426011ee21 wan-com A2-FC02 0x500014426011ee22 wan-com A2-FC03 0x500014426011ee23 wan-com up up up up /engines/engine-1-1/directors/director-1-1-b/hardware/ports: Name Address Role Port Status ------- ------------------ --------- ----------- B2-FC00 0x500014427011ee20 wan-com B2-FC01 0x500014427011ee21 wan-com up up 31
B2-FC02 0x500014427011ee22 wan-com B2-FC03 0x500014427011ee23 wan-com up up /engines/engine-2-1/directors/director-2-1-a/hardware/ports: Name Address Role Port Status ------- ------------------ --------- ----------- A2-FC00 0x5000144260168220 wan-com A2-FC01 0x5000144260168221 wan-com A2-FC02 0x5000144260168222 wan-com A2-FC03 0x5000144260168223 wan-com up up up up /engines/engine-2-1/directors/director-2-1-b/hardware/ports: Name Address Role Port Status ------- ------------------ --------- ----------- B2-FC00 0x5000144270168220 wan-com B2-FC01 0x5000144270168221 wan-com B2-FC02 0x5000144270168222 wan-com B2-FC03 0x5000144270168223 wan-com up up up up FC MAN 링크상태를확인하려면 cluster summary 명령을실행합니다. 예를들면다음과같습니다. VPlexcli:/> cluster summary Clusters: Name Cluster ID Connected Expelled Operational Status Health State --------- ---------- --------- -------- ------------------ ------------ cluster-1 1 true false ok ok cluster-2 2 true false ok ok Islands: Island ID Clusters --------- -------------------- 1 cluster-1, cluster-2 VPLEX 호스트접속 Oracle RAC 서버를 EMC VPLEX 에접속하는비정상운영중에도 Oracle Extended RAC 의접속상태와가용성을최상으로유지하기위해 Oracle Extended RAC 구축모델의각 Oracle RAC 서버에는최소 2 개의물리적 HBA 가있어야하고, 각 HBA 는 EMC VPLEX 의서로다른디렉터에있는프런트엔드포트에접속되어야합니다. 이렇게구성하면계획된유지보수이벤트또는예상치못한운영중단으로인해 EMC VPLEX 의프런트엔드포트중하나가오프라인상태가되는경우에도 Oracle RAC 노드를계속사용할수있습니다. 32
Oracle Extended RAC 노드에단일 VPLEX 엔진구성이접속되는경우각 HBA 가 VPLEX 엔진내에서디렉터 A 및디렉터 B 모두의프런트엔드포트에접속되어야합니다. VPLEX 프런트엔드포트에접속할때는먼저프런트엔드디렉터를에뮬레이트하여각입출력모듈의포트 0 에고유한호스트를접속한후해당입출력모듈의나머지포트에추가호스트를접속해야합니다. 여러 VPLEX 엔진을사용할수있는경우 Oracle RAC 서버의 HBA 를서로다른엔진에접속해야합니다. VPLEX 엔진과스토리지간의접속구성은해당스토리지에대한 Best Practice 권장사항을따라야합니다. 백엔드스토리지접속 Best Practice 에대한자세한내용은본백서에서다루지않습니다. 자세한내용은 EMC VPLEX Architecture and Deployment: Enabling the Journey to the Private Cloud TechBook 을참조하십시오. VPLEX 관리 EMC Unisphere for VPLEX 관리콘솔을사용하여 Geosynchrony 5.1 를실행하는 VPLEX 를관리할수있습니다. VPLEX CLI 를사용하면몇가지고급기능이추가로제공됩니다. 보안웹기반 GUI 에인증한사용자에게는완료순서에따라일련의화면구성옵션이표시됩니다. 워크플로우의각단계에대한자세한내용은 EMC Unisphere for VPLEX 관리콘솔의온라인도움말을참조하십시오. 다음표에서는스토리지를검색하는단계에서호스트에스토리지를인식시키는단계까지수행해야하는작업을요약하여보여줍니다. 단계 작업 1 사용가능한스토리지검색 VPLEX 는백엔드포트에접속된스토리지를자동으로검색합니다. 클러스터의각디렉터에접속된모든스토리지가 Storage Arrays 뷰에나열됩니다. 2 스토리지볼륨확보 스토리지볼륨을클러스터에사용하기전에우선확보해야합니다. 예외적으로메타데이터볼륨은미확보된스토리지볼륨에서생성됩니다. 확보된스토리지볼륨만익스텐트, 디바이스및가상볼륨을생성하는데사용할수있습니다. 3 익스텐트생성 선택한스토리지볼륨의익스텐트를생성하고용량을지정합니다. 4 익스텐트에서디바이스생성 하나의익스텐트에서단순디바이스를생성합니다. 이디바이스는클러스터 1 개분량의스토리지만사용합니다. 5 가상볼륨생성 이전단계에서생성한디바이스를사용하여가상볼륨을생성합니다. 33
6 이니시에이터등록 VPLEX 는직접접속되거나 Fibre Channel Fabric 을통해접속된이니시에이터 ( 스토리지를액세스하는호스트 ) 를자동으로검색하여 Initiators 뷰를채웁니다. 검색된이니시에이터를 VPLEX 에등록해야스토리지뷰에이니시에이터를추가하여스토리지를액세스할수있습니다. 이니시에이터를등록할때는포트의 WWN 에의미있는이름을지정합니다. 일반적으로는호스트를쉽게구분할수있도록서버의 DNS 이름을사용합니다. 7 스토리지뷰생성 스토리지를호스트에인식시키려면우선스토리지뷰를생성한다음 VPLEX 프런트엔드포트및가상볼륨을뷰에추가합니다. 가상볼륨은스토리지뷰에포함되고포트및이니시에이터와연결될때까지호스트에인식되지않습니다. 8 정합성보장그룹생성 두 VPLEX 시스템에정합성보장그룹을생성하고쓰기순서정합성이요구되는 Oracle Database 의그리드및 ASM 디바이스를비롯한 Oracle Extended RAC ASM 디바이스에할당된모든가상볼륨을정합성보장그룹에추가합니다. 그림 10 에서는 EMC VPLEX 의논리적레이아웃및스토리지프로비저닝에대한온라인도움말을보여줍니다. 그림 10. EMC Unisphere for VPLEX 관리인터페이스 34
그림 10 과같이브라우저기반관리인터페이스에는프로세스에포함된다양한구성요소가체계적으로표시됩니다. EMC VPLEX 의스토리지는 " 등록된이니시에이터 ", "VPLEX 포트 " 및 " 가상볼륨 " 이라는객체를종합한 " 스토리지뷰 " 라는논리적인구조를통해제공됩니다. " 등록된이니시에이터 " 객체는스토리지를액세스해야하는이니시에이터의 WWPN 을나열합니다. Oracle VM 서버환경에서는 " 등록된이니시에이터 " 엔터티에 EMC VPLEX 에접속된 Oracle VM 서버에있는 HBA 의 WWPN 이포함됩니다. "VPLEX 포트 " 객체는 " 등록된이니시에이터 " 가가상볼륨을액세스할때경유하는 VPLEX 스토리지의프런트엔드포트를포함합니다. " 가상볼륨 " 객체는백엔드스토리지가 EMC VPLEX 에제공한스토리지볼륨으로부터구성된볼륨의집합입니다. 그림 10 의왼쪽하단을보면가상볼륨은 " 디바이스 " 로부터구성되었고, 디바이스는 " 익스텐트 " 라는추상적인엔터티를기반으로이루어진여러디바이스의조합일수있습니다. 또한 " 익스텐트 " 는 EMC VPLEX 에제공된 " 스토리지볼륨 " 에서생성됩니다. 그러나스토리지기반복제기술을활용하려면전체 ( 일대일매핑 ) 패스스루구성 ( 디바이스용량 = 익스텐트용량 = 스토리지볼륨용량 ) 을적용한 VMAX 의각스토리지디바이스를 VPLEX 에매핑하고 RAID 0( 단일익스텐트전용 ) VPLEX 디바이스구조를사용해야합니다. 이렇게하면기반스토리지디바이스는 VPLEX 의영향을받지않으며 TimeFinder/Clone 및 TimeFinder/Snap 과같은백엔드스토리지 LUN 복제기술이계속정상적으로작동합니다. 그림 10 의오른쪽하단에는 EMC VPLEX 에서스토리지를프로비저닝하는데필요한 7 단계가정리되어있습니다. EMC VPLEX 의경우여러클러스터구성요소에스토리지용량을중앙집중식으로할당할수있도록지원하는마법사가제공됩니다. EMC VPLEX 에서스토리지용량을할당하는첫번째단계는 VPLEX 에접속되어있는스토리지시스템을검색하는것인데, EMC VPLEX 는스토리지환경에대한변경사항을사전에자동으로모니터링하므로이단계가필요한경우는매우드뭅니다. 프로세스의두번째단계는 EMC VPLEX 에제공된스토리지를 " 확보 " 하는것입니다. 스토리지를확보하는과정을통해그림 10 에나와있는객체의 " 스토리지볼륨 " 이생성됩니다. Create Storage View 마법사를사용하여스토리지뷰를생성하고이니시에이터, 포트및가상볼륨을뷰에추가할수있습니다. 모든구성요소가뷰에추가되면뷰가자동으로활성화됩니다. 스토리지뷰가활성화되면호스트는스토리지를인식하고가상볼륨에대한입출력을시작할수있습니다. 스토리지뷰를생성한후에는 GUI 를통해가상볼륨만추가하거나제거할수있습니다. 포트및이니시에이터를추가하거나제거하려면 CLI 를사용해야합니다. VPLEX 명령에대한자세한내용은 EMC VPLEX CLI Guide 를참조하십시오. VPLEX Witness 를포함한 VPLEX VPLEX Witness 는두 VPLEX 클러스터와분리된장애도메인에구축되는폐쇄형가상머신으로설치되는데, 이는하나의장애가두클러스터와 VPLEX Witness 모두에영향을줄가능성을배제하기위한조치입니다. VPLEX Witness 는관리 IP 네트워크를통해두 VPLEX 클러스터에접속합니다. VPLEX Witness 는자체관찰결과와클러스터에서주기적으로보고하는정보를종합하여클러스터에서클러스터간네트워 35
크파티션장애와클러스터장애를구분하고해당상황이발생할때자동으로입출력을재개할수있도록지원합니다. 호스트및 Oracle 설정 경로다중화소프트웨어설정 Oracle RAC 서버와 VPLEX 의접속에대한 Best Practice 중하나로서, 각 Oracle RAC 서버에는 2 개의 HBA 포트가있어야하고각포트를서로다른 FC 스위치에접속하여가용성을높여야합니다. 이러한구성에서호스트는경로다중화솔루션으로같은스토리지디바이스로연결되는여러경로를관리하여고가용성, 로드밸런싱및실시간마이그레이션을제공해야합니다. Oracle RAC 서버에 EMC PowerPath 를경로다중화솔루션으로설치할수도있고, Linux 의기본다중경로솔루션 ( 디바이스매퍼 ) 을사용할수도있습니다. 본백서에서설명하는 EMC VPLEX 구성의 Oracle Extended RAC 에서는 4 개의물리적서버에 EMC PowerPath 5.5 를설치했습니다. 각호스트에 PowerPath rpm 설치 [root@ RAC NODE 1: licoc039 ]rpm -i EMCpower.LINUX-5.5.0.00.00-275.RHEL5.x86_64.rpm PowerPath 를처음설치한후에는호스트가 /dev/emcpower 유사디바이스를등록하도록재부팅이필요할수있습니다. 각호스트에 PowerPath 라이센스설치 [root@ RAC NODE 1: licoc039 ]emcpreg add <key> 각호스트에서 PowerPath 구성 [root@ RAC NODE 1: licoc039 ] powermt config [root@ RAC NODE 1: licoe039 ] powermt display Pseudo name=emcpowerk Invista ID=FNM00100600231 Logical device ID=6000144000000010A002636D3C679C6A state=alive; policy=adaptive; priority=0; queued-ios=0 ============================================================================== ---------------- Host --------------- - Stor - -- I/O Path - -- Stats --- ### HW Path I/O Paths Interf. Mode State Q-IOs Errors ============================================================================== 1 lpfc sdaq 08 active alive 0 0 2 lpfc sdbu 00 active alive 0 0 2 lpfc sdcy 08 active alive 0 0 1 lpfc sdm 00 active alive 0 0 36
Oracle RAC 서버노드전체에서 PowerPath 유사디바이스이름일치 Oracle RAC 서버노드전체에서 PowerPath 유사디바이스이름이일치하도록하려면 PowerPath 유틸리티인 emcpadm 을사용하는것이좋습니다. 이유틸리티로호스트하나의매핑을내보낸후다른호스트로가져올수있습니다. 필요한경우유사디바이스의이름을한번에하나씩바꿀수도있습니다. <source host> emcpadm export_mapping -f <mapping_file_name> 이제해당파일을다른호스트로복사합니다. 스토리지디바이스를사용하는모든애플리케이션을종료하거나, 파일시스템을마운트해제하거나, 모든 LVM 볼륨을내보낸후다음명령을실행합니다. <target host> emcpadm check_mapping [-v] -f <mapping_file_name> <target host> emcpadm import_mapping -f <mapping_file_name> PowerPath 디바이스에파티션생성 Symmetrix 를사용하는경우 x86 기반서버플랫폼파티션을 64KB 오프셋으로정렬하는것이좋습니다. 다른스토리지를사용하는경우에는요구사항이다를수있지만, VPLEX 블록크기와일치하도록크기를항상 4KB 오프셋으로정렬해야합니다. 그림 11 에서는 64KB 정렬을보여줍니다. PowerPath 디바이스에파티션을생성하려면아래와같이 fdisk 를시작합니다. 파티션이생성된후 "x" 를입력하면전문가모드가시작됩니다. "p" 를입력하면블록단위오프셋을포함하는현재파티션테이블이표시 ( 인쇄 ) 됩니다. 파티션오프셋을변경하려면 "b" 를입력합니다. 예를들어파티션 1 을기본오프셋인 32 개블록에서 128 개블록으로이동할수있습니다. 각블록은 512 바이트이므로 128 x 512 바이트 = 64KB 오프셋입니다. LUN 에파티션을두개이상생성한경우나머지파티션의정렬을확인하거나비슷한단계에따라오프셋을변경하여 128 개블록 (64KB) 으로정렬합니다. M B R 예약됨 (63 개블록 ) 파티션기본시작 파티션새로시작 64 KB 64 KB 그림 11. Symmetrix 트랙크기경계 (64KB) 에따른파티션정렬 이예제에서는 Oracle ASM 디바이스로사용할 PowerPath 디바이스에파티션하나를생성합니다. [root@licoc091 ~]# fdisk /dev/emcpowerd Command (m for help): n Command action e extended p primary partition (1-4) p 37
Partition number (1-4): 1 First cylinder (1-52218, default 1): [ENTER] Using default value 1 Last cylinder or +size or +sizem or +sizek (1-52218, default 52218): [ENTER] Command (m for help): p Disk /dev/emcpowerd: 54.7 GB, 54755328000 bytes 64 heads, 32 sectors/track, 52218 cylinders Units = cylinders of 2048 * 512 = 1048576 bytes Device Boot Start End Blocks Id System /dev/emcpowerd1 1 52218 53471168 83 Linux 파티션을 64KB 경계 (128 개블록 ) 로정렬합니다. Command (m for help): x (going into export mode) Expert command (m for help): p (print partition table) Note that partition 1 starts at 32 blocks Disk /dev/emcpowerk: 64 heads, 32 sectors, 52218 cylinders Nr AF Hd Sec Cyl Hd Sec Cyl Start Size ID 1 00 1 1 0 63 32 1023 32 106942336 83 2 00 0 0 0 0 0 0 0 0 00 3 00 0 0 0 0 0 0 0 0 00 4 00 0 0 0 0 0 0 0 0 00 Expert command (m for help): b (move partition start) Partition number (1-4): 1 New beginning of data (32-2002943, default 32): 128 Expert command (m for help): p Disk /dev/emcpowerk: 64 heads, 32 sectors, 52218 cylinders Nr AF Hd Sec Cyl Hd Sec Cyl Start Size ID 1 00 1 1 0 63 32 1023 128 106942336 83 2 00 0 0 0 0 0 0 0 0 00 3 00 0 0 0 0 0 0 0 0 00 4 00 0 0 0 0 0 0 0 0 00 Expert command (m for help): w The partition table has been altered! Calling ioctl() to re-read partition table. Syncing disks. [root@licoc091 ~]# 파티션이생성된후다른노드에서파티션을인식하는지확인합니다. 다른각노드에서 fdisk 명령을실행하고파티션테이블을기록 ("w") 해야할수있습니다. 또는 SCSI 버스를다시스캔하거나다른노드를재부팅하여정보를새로고칠수도있습니다. 38
Oracle 설치및 Oracle RAC Database 설정 다음표에서는 Oracle Grid Infrastructure 및 ASM 데이터베이스설치를위해 Oracle 서버노드를구성하는데필요한단계를요약하여보여줍니다. 이내용은 Oracle 11g Release 2 (11.2.0.2) Grid Infrastructure Installation Guide for Linux and 11g Release 2 (11.2.0.2) Database Installation Guide for Linux 를따른것입니다. 자세한내용은 Oracle RAC 설치가이드를참조하십시오. 자세한 Oracle 설치가이드는다음웹사이트에서제공됩니다. http://www.oracle.com/technetwork/documentation/index.html#database 개략적인단계는다음과같습니다. 단계작업 1 서버노드전용네트워크, OS /etc/hosts 파일, OS 커널매개변수를구성하고 /etc/sysctl.conf 파일을편집합니다. 2 각 RAC 노드에 Oracle 11gR2를설치하고유지보수하는작업을담당할 Oracle 사용자그룹및계정을생성합니다. 3 부팅스크립트 (/etc/rc.d/rc.local) 를업데이트하여 Oracle Clusterware 및 Oracle ASM용으로지정된디바이스에 Oracle 권한을설정합니다. 4 Oracle RAC 노드에 Oracle 사용자를위한 ssh를설정합니다. 5 /etc/security/limits.conf 파일에서 Oracle 사용자의셸제한을설정합니다. 6 /etc/pam.d/login 파일및 /etc/profile 파일을적절히수정합니다. 7 Oracle 설치시추가로필요한 OS 패키지를설치합니다. 8 Oracle 11g Release 2(11.2.0.2) Database 소프트웨어를설치합니다. 9 Oracle Database에사용할추가 Oracle ASM 디스크그룹을생성합니다. 10 필요한데이터베이스워크로드및성능요구사항에맞는 size 및 init 매개변수를사용하여 Oracle 데이터베이스를생성합니다. Oracle Database에사용할추가 Oracle ASM 디스크그룹을생성합니다. 39
OLTP 데이터베이스워크로드테스트 VPLEX 클러스터가 100km 의 급거리에서 Oracle Extended RAC 에우수한성능과워크로드복구성능을제공한다는점을입증하기위해표준 Oracle OLTP 워크로드 ( 각각 70/30 의무작위읽기 / 쓰기비율 ) 를사용했습니다. 본백서의구축섹션에서언급한것처럼 Oracle Extended RAC 및 VPLEX 테스트환경은 2 개의로컬 Oracle RAC 노드와 2 개의원격 Oracle RAC 노드로구성되었습니다. 네트워크지연시간을적용하는 Empirix PacketSphere Network Emulator 를사용하여 VPLEX 클러스터및 Oracle RAC 노드간의 WAN 상호연결을최대 5ms RTT 의 급거리로시뮬레이션했습니다. 그림 12 및그림 13 에서볼수있듯이각 Oracle RAC 노드에 16 개드라이버워크로드를적용하고 1 개노드, 2 개노드, 3 개노드, 4 개노드워크로드의 OLTP 워크로드트랜잭션속도 ( 분당트랜잭션수 ) 를기록했습니다. Oracle RAC 의우수한확장성을입증하기위해각노드를추가하면서워크로드를높였습니다. 트랜잭션속도는 Oracle RAC 노드추가와함께워크로드가증가함에따라비례적으로증가했습니다 (1-4 개노드에서각각 16, 32, 48, 64 워크로드드라이버 ). VPLEX 및 Oracle RAC 의거리가 0km 인경우와 급거리인 100km 인경우에유사한트랜잭션속도증가가나타났습니다. 뿐만아니라 VPLEX 는 급거리인 100km 에서도 0km 거리에서측정한트랜잭션속도기준치의약 85 90% 에이르는놀라운성능을 Oracle Extended RAC 에제공했습니다. 또한 VPLEX 는 50km 이하의 급거리에서 Oracle Extended RAC 에 90% 이상의워크로드성능을제공할수있습니다 ( 데이터미표시 ). 따라서 VPLEX 는두데이터센터가 급거리인 100km 만큼떨어져있는경우 Oracle Extended RAC 에높은입출력성능과 OLTP 워크로드복구성능을제공합니다. 500km 거리 (5ms RTT) 로도테스트를실시했으며, 그결과지연시간증가로인해트랜잭션속도는다소저하되었지만비슷한수준의확장성이나타났습니다. 종합해보면애플리케이션의성능과가용성을동시에높여주는 VPLEX 와 Oracle RAC 솔루션의능력이입증된것으로볼수있습니다. OLTP 벤치마크는완전히무작위로수행되었으므로블록경합 (contention) 은발생하지않았습니다. 실제고객워크로드를처리하는구축환경에서 DBA 는클러스터노드간에블록경합이발생할가능성이있는지를주시해야합니다. 특히원격노드간에블록경합이발생하면전체적인트랜잭션속도가저하될수있습니다. 40
그림 12. 0km 거리에서의트랜잭션속도 그림 13. 100km 거리에서의트랜잭션속도 장애상태테스트 테스트결과이환경은 Oracle RAC 엔지니어링팀이제공한테스트계획에따라 E-Lab TM (EMC quality and qualification organization) 프로젝트팀에서유도한다양한장애시나리오에성공적으로대처했습니다. 모든테스트가정상적인결과와함께성공적으로완료되었습니다. 모든테스트는가능한경우트랜잭션워크로드가실행중인상태에서실시되었습니다. 실시된테스트중극히일부를나열하면다음과같습니다. 41
VPLEX 인프라스트럭처가정상가동되는중에 RAC 상호연결파티셔닝 (' 분할브레인 ') Oracle RAC 상호연결및 VPLEX 상호연결파티셔닝 애플리케이션다운타임없이단일스토리지시스템연결해제 정상운영사이트에서워크로드를계속실행하는사이트장애시뮬레이션 나머지클러스터에영향을주지않고여러 Oracle RAC 노드의호스트접속끊기 Oracle ASM 재조정, 스토리지및 VPLEX 구성변경 / 소프트웨어업데이트 결론 GeoSynchrony 운영체제를실행하는 EMC VPLEX 는엔터프라이즈급 SAN 기반연합기술을통해 Fibre Channel 에연결된스토리지풀을통합하여관리합니다. 이러한스토리지는단일데이터센터에함께위치할수도있고 급거리만큼떨어진여러데이터센터에분산될수도있습니다. 또한독보적인스케일업 / 스케일아웃아키텍처를기반으로하는 EMC VPLEX 는보다향상된데이터캐싱및분산환경의캐시정합성을보장하는기술을통해워크로드복구, 스토리지도메인의자동공유, 밸런싱및페일오버를지원할뿐아니라로컬및원격데이터에액세스할때예측가능한서비스수준을보장합니다. 급거리내에서두데이터센터에분산된 Oracle Extended RAC 에 EMC VPLEX 의기능을결합하면구축토폴로지및스토리지관리가단순화되고무중단스토리지확장및제품교체가가능해집니다. 또한 EMC VPLEX 는동기식으로연결된원격사이트간에운영중단없이이기종데이터를이동하고볼륨을관리하는기능을제공하므로고객은여러물리적사이트를포괄하는민첩하고효율적이며경제적인클라우드서비스를제공할수있습니다. 참고자료 VPLEX 및 Oracle Extended RAC 에대해자세히설명하는다음과같은문서가 korea.emc.com, Docs.Oracle.com 및 Powerlink 에게시되어있습니다. EMC VPLEX 구축및계획 Best Practice 기술노트 EMC VPLEX Witness 기술및고가용성 TechBook Conditions for stretched hosts cluster support on EMC VPLEX EMC VPLEX with GeoSynchrony 5.0 및 5.1 제품가이드 http://www.oracle.com/goto/rac Oracle Database, 11g Release 2(11.2) Oracle Database 11g Interactive Quick Reference 42