MCCS 3.6 (Mantech Continuous Cluster Server) 운영자매뉴얼 맨텍서비스사업본부 02-2136-6900 se@mantech.co.kr http://www.mantech.co.kr Copyright 2014 Man Technology Inc. All rights reserved. - 1 -
2014 Man Technologies, Inc. 저작권소유. 이문서의정보는사전통보없이변경될수있습니다. 본한글문서는 맨텍에서제작배포되며, 서면승인없이어떠한방식으로든본자료를무단복제하는행위는엄격히금지됩니다. Copyright 2014 Man Technology Inc. All rights reserved. - 2 -
목 차 1. MCCS 개요 이중화개념 운영환경 리소스 리소스그룹 2. MCCS 운영 콘솔접속 그룹시작 그룹종료 그룹수동페일오버 그룹잠금 장애표시제거 명령초기화 서포트추출 로그확인 3. 장애대응 노드장애시조치방법 네트워크장애시조치방법 응용프로그램장애시조치방법 한노드만정상부팅될경우조치방법 MCCS Console이실행되지않는경우조치방법 MCCS Console에접속되지않는경우조치방법 OS 및응용프로그램패치작업절차 Copyright 2014 Man Technology Inc. All rights reserved. - 3 -
1. MCCS 개요 이중화개념이중화목적은장애발생시서비스중단을최소화하는것입니다. MCCS는운영체제, 네트워크, 디스크, 응용프로그램등의상태를항상감시하고장애발생시자동으로 Recovery / Failover를수행하여서비스중단을최소화해줍니다. Copyright 2014 Man Technology Inc. All rights reserved. - 4 -
Copyright 2014 Man Technology Inc. All rights reserved. - 5 -
운영환경 1 운영체제환경 - 최소 1GHz 이상의 CPU / 200MB 이상의 Memory 여유공간 / 300MB 이상의 HDD 여유공간. - Windows 2003 Standard/Enterprise Edition x86/x64 (R2 포함 ) 지원. - Windows 2008 Standard/Enterprise Edition x86/x64 (R2 포함 ) 지원. - Windows 2012 Standard/Datacenter Edition x64 (R2 포함 ) 지원. - Windows XP Professional x86/x64 (Service Pack 3 이상 ) 지원. - Windows 7 Enterprise x86/x64 (Service Pack 1 이상 ) 지원. - 양서버의 OS version, SP & Windows update 동일하게구성. - Workgroup / Domain 환경동일하게구성. - MCCS 실행계정은 Administrator 권한소유. - 양서버의계정 / 패스워드동일. - 백신사용시 MCCS, DK 폴더검사예외영역설정.exe file들신뢰 Process로등록필요. 2 미러디스크환경 - Array Controller/ Disk 는 Vender 사권장최신 Firmware 및 Driver 로 Update 권장. - 미러디스크로사용될 Volume은 LUN 단위로구성되있어야함. - 미러디스크로사용될 Volume 을양서버에서동일 letter 로할당. - 미러디스크로사용될 Volume 크기는 Byte 단위까지양서버에서동일해야함. - 디스크형식 : 기본과동적 / 파티션형식 : MBR 과 GPT / 파일시스템 : NTFS / 파티션타입 : 주파티션. 3 공유디스크환경 - Array Controller/ Disk 는 Vender 사권장최신 Firmware 및 Driver 로 Update 권장. - 공유디스크로사용될 Volume은 LUN 단위로구성되있어야함. - 공유디스크로사용될 Volume 은양서버에서동일 letter 로할당. - 디스크형식 : 기본 / 파티션형식 : MBR 과 GPT / 파일시스템 : NTFS / 파티션타입 : 주파티션. - Cluster Mode 를지원하는 Storage 사용. - NAS, DAS, SAN, iscsi 형태의 Storage 지원. 4 네트워크환경 - NIC 은 Vender 사권장최신 Firmware 및 Driver 로 Update 권장. - IP 최소수량은서비스대역 IP 3 개이상필요 (Resource Group 1 개구성시 ). - NIC Port 최소수량은미러디스크구성 : 3 개 / 공유디스크구성 : 2 개필요. - Cross Cable 최소수량은미러디스크구성 : 2 개 / 공유디스크구성 : 1 개필요. - Heartbea/Mirror NIC 와 Cross Cable 은 Gigabit 이상권장. 5 데이터베이스환경 - DB Engine 은 Local Disk C: 영역에위치하도록설치권장. - DB Data(System DB / User DB) 는미러 / 공유디스크영역에위치하도록설치필수. - DB instance name 은양서버에서동일하도록설치. - MS-SQL "Linked Server" 사용시별도의 Setting 필요. Copyright 2014 Man Technology Inc. All rights reserved. - 6 -
6 MCCS Service Service Description MCCS Agent 이중화동작을위해양서버에서는 MCCS Agent 서비스가시작돼있어야합니다. SteelEye DataKeeper 양서버간로컬디스크복제를위해 SteelEye DataKeeper 서비스가시작돼있어야합니다. 7 MCCS Process Process MccsServer.exe MccsAgentService.exe MccsConsole.exe ExtMirrSvc.exe Description 이중화동작을위한노드 / 리소스모니터링과리소스를제어하는엔진 Process MccsServer.exe 의실행여부를모니터링하는관리 Process MCCS 관리하고리소스를제어할수있는 MCCS Console 양서버간의로컬디스크를실시간으로복제하는 Process 8 MCCS Port Port Description 4321 Primary Heartbeat Port 4322 Config Information Management Port 4323 RMI Port 4324 MCCS Console Listening Port 4325 MCCS Server Console Communication Port 137 NetBIOS Name Resolution services Port 138 NetBIOS Datagram Service Port 139 NetBIOS Session Service Port 445 SMB (Direct Host) Port 9999 DK Dispatch Port 10000-10025 Disk Port Copyright 2014 Man Technology Inc. All rights reserved. - 7 -
리소스리소스는 MCCS에의해시작 / 종료 / 감시되는하드웨어 / 소프트웨어적요소입니다. MCCS는등록된리소스를일정시간간격으로감시 ( 정상실행여부확인 ) 하며, 문제확인시자동으로 Failover ( 운영서버에장애발생시, 대기서버에서업무가가동되도록하는행위 ) 를수행합니다. 네트워크카드 네트워크장치 (NIC) 의장애감시를위해사용되는리소스 네트워크주소 네트워크장치 (NIC) 에가상 IP 주소를구성하고감시하기위해사용되는리소스 공유디스크 공유디스크를운영노드에서만접근이가능하도록구성하고감시하기위해사용되는리소스 미러디스크 미러링모듈을이용해양서버간의로컬디스크를실시간복제하고감시하기위해사용되는리소스 기본응용 프로세스 (.exe 형태의파일 ) 를시작 / 종료 / 감시하기위해사용되는리소스 복합응용 시작 / 종료 / 감시스크립트를사용하여프로세스나서비스를포함한다양한형태의리소스를관리하기위해 사용되는리소스 윈도우즈서비스 서비스관리자 (Service Control Management) 에서관리되는서비스를선택하여시작 / 종료 / 감시하기위해 사용되는리소스 가상이름 가상 IP 주소에가상컴퓨터이름 (NetBIOS) 을추가로생성하고감시하기위해사용되는리소스 스카시예약 Split-brain 상황에서두노드의공유디스크동시접속을방지하기위해사용되는리소스 공유디스크환경에서선택적으로사용되는리소스 리소스그룹하나의업무를서비스하기위해필요한리소스들의집합이며, Failover가이루어지는단위입니다. 각리소스는그룹내의상호의존성관계에따라시작 / 종료순서를갖습니다. 예 ) MS-SQL DB를서비스하기위해네트워크카드, 네트워크주소, 미러디스크, 윈도우서비스가하나의리소스그룹으로구성합니다. Copyright 2014 Man Technology Inc. All rights reserved. - 8 -
2. MCCS 운영 콘솔접속 MCCS Console 은 MCCS 관리를위해제공되는관리콘솔이며, 실행하면아래그림과같은창이뜹니다. - 서버 IP : 서버 IP : MCCS Console 로접속할 IP 입력창으로, 기본적으로 127.0.0.1 을입력합니다. - 포트번호 : MCCS Console 로접속할 Port 입력창으로, 기본적으로 4324 을입력합니다. - 사용자 ID : admin 과 guest 중선택하여접속이가능하며, guest 로접속시제한적인기능만을사용할수있습니다. - 비밀번호 : admin 의초기비밀번호는 password 이며, guest 는비밀번호입력없이접속이가능합니다. - 비밀번호저장 : 비밀번호저장 체크상태로비밀번호를입력후접속하면, 이후에는비밀번호입력없이접속가능 - 접속 : 입력된 IP/ 포트번호 /ID/ 비밀번호를이용하여 Console 접속을시도합니다. MCCS Console 접속에성공하면, 아래와같이현재업무의상태를확인할수있습니다. 각리소스는그룹내의상호의존성관계에따라시작 / 종료순서를갖습니다. 업무시작순서 : 아래 -> 위 / 업무종료순서 : 위 -> 아래 Copyright 2014 Man Technology Inc. All rights reserved. - 9 -
그룹시작 그룹시작 은그룹의모든리소스들을선택한노드에시작시키는명령입니다. 업무시작순서 : 10.110.80.21 -> Mirror_D -> Oracle_Server -> Oracle_Listener -> Tomcat_Service -> Mosv_Service -> SMS_Service <Oracle_RG 가 CTCTL1 에서시작돼있는상태 > 그룹시작이완료되면, 미러디스크와공유디스크 는운영노드에서만접근이가능합니다. Copyright 2014 Man Technology Inc. All rights reserved. - 10 -
그룹종료 그룹종료 는그룹의모든리소스들을종료시키는명령입니다. 업무종료순서 : SMS_Service -> Mosv_Service -> Tomcat_Service -> Oracle_Listener -> Oracle_Server -> Mirror_D -> 10.110.80.21 <Oracle_RG 가 CTCTL1 / CTCTL2 모두에서종료되있는상태 > 그룹종료가완료되면, 미러디스크와공유디스크 는양노드에서모두접근불가능합니다. Copyright 2014 Man Technology Inc. All rights reserved. - 11 -
그룹수동페일오버 그룹수동페일오버 는현재운영노드에서그룹의모든리소스들을종료한후대기노드에서시작해주는명령입니다. <Oracle_RG 가 CTCTL1 에서종료되는과정 > Copyright 2014 Man Technology Inc. All rights reserved. - 12 -
<Oracle_RG 가 CTCTL2 에서시작되는과정 > < 수동페일오버명령이완료되어 Oracle_RG 가 CTCTL2 에서시작돼있는상태 > Copyright 2014 Man Technology Inc. All rights reserved. - 13 -
그룹잠금 그룹잠금 을사용하면, 그룹에포함된모든리소스들의상태는계속감시하지만, 장애발생시자동 Recovery / Failover 를수행하지않습니다. MCCS 리소스로등록돼있는응용프로그램의패치작업등에사용됩니다. - 임시잠금 : 양서버의재부팅 / 양서버의 MCCS Agent 가재시작되면잠금이자동으로해제됩니다. - 잠금 ( 영구잠금 ) : MCCS Console 의 잠금해제 명령을통해서만잠금이해제됩니다. 그룹잠금 상태가되면리소스그룹이자물쇠모양으로바뀝니다. Copyright 2014 Man Technology Inc. All rights reserved. - 14 -
잠금해제 그룹잠금 을해제할때사용합니다. 그룹잠금 이해제되면리소스그룹이원래모습으로되돌아옵니다. Copyright 2014 Man Technology Inc. All rights reserved. - 15 -
장애표시제거 운영서버에장애발생하면대기서버로자동페일오버되며, 장애가발생된리소스에붉은색 장애표시 가생깁니다. <CTCTL1 의 Tomcat_Service 에장애가발생하여 CTCTL2 로페일오버된상태 > 장애표시 가남아있는노드로 그룹수동페일오버 가불가능하며, 실제장애때도자동페일오버가되지않습니다. Copyright 2014 Man Technology Inc. All rights reserved. - 16 -
장애표시 가남아있는노드로 시작 이불가능합니다. 운영자는장애가발생된리소스의상태확인 ( 원인파악을위한로그점검등 ) 후 장애표시제거 명령을내려붉은색체 크를해제해야합니다. Copyright 2014 Man Technology Inc. All rights reserved. - 17 -
명령초기화 리소스의시작 / 종료진행중알수없는이유로처리가지연되거나, 무응답상태가된것을초기화할때사용합니다. " 명령초기화 " 를실행하면명령큐에쌓여있는대기명령들을모두초기화합니다. Copyright 2014 Man Technology Inc. All rights reserved. - 18 -
서포트파일생성 MCCS 분석에필요한각종파일 (O/S 및 MCCS 의구성정보파일과각종로그등 ) 을수집하는명령입니다. < 수집된서포트파일 > Copyright 2014 Man Technology Inc. All rights reserved. - 19 -
로그확인 MCCS 로그창에서실시간으로기록되는 Log 를확인할수있습니다. 로그창윗부분을더블클릭하여로그창을확대할수있습니다. "C:\Program Files\MCCS\logs" 경로에서도 mccs.log 를확인할수있습니다. Copyright 2014 Man Technology Inc. All rights reserved. - 20 -
3. 장애대처 노드장애시조치방법 운영노드의시스템장애 ( 운영서버전원꺼짐 ) 가발생시 MCCS 에의해대기서버로자동페일오버됩니다. <CTCTL1 의노드장애로리소스그룹이 CTCTL2 로자동페일오버중인모습 > < 페일오버완료및양노드모두정상운영중인모습 > 운영노드를다시 CTCTL1 로돌리고자하면그룹수동페일오버명령을사용하면됩니다. Copyright 2014 Man Technology Inc. All rights reserved. - 21 -
네트워크장애시조치방법 운영노드의네트워크장애발생시 MCCS 에의해대기서버로자동페일오버됩니다. <CTCTL1 의네트워크장애로리소스그룹이 CTCTL2 로자동페일오버되는모습 > < 페일오버완료후모습 > Copyright 2014 Man Technology Inc. All rights reserved. - 22 -
네트워크카드리소스의상태확인 ( 원인파악을위한점검등 ) 후 장애표시제거 명령을내려붉은색체크를해제합니다. 운영노드를다시 CTCTL1 로돌리고자하면그룹수동페일오버명령을사용하면됩니다. Copyright 2014 Man Technology Inc. All rights reserved. - 23 -
응용프로그램장애시조치방법 운영노드의응용프로그램장애발생시 MCCS 에의해대기서버로자동페일오버됩니다. <CTCTL1 의응용프로그램장애로리소스그룹이 CTCTL2 로자동페일오버되는모습 > < 페일오버완료후모습 > Copyright 2014 Man Technology Inc. All rights reserved. - 24 -
응용프로그램리소스의상태확인 ( 원인파악을위한점검등 ) 후 장애표시제거 명령을내려붉은색체크를해제합니다. 운영노드를다시 CTCTL1 로돌리고자하면그룹수동페일오버명령을사용하면됩니다. Copyright 2014 Man Technology Inc. All rights reserved. - 25 -
한노드만정상부팅될경우조치방법 MCCS는 Engine Process가시작되면, 노드상호간의상태를확인하는과정을거친후이중화기능이활성화됩니다. 두노드가모두꺼진후한노드만정상부팅되는상황에서는반대편노드의상태를확인할수없으므로이중화기능이비활성화되며, 그룹시작을위해서는운영자의개입이필요합니다. < 두노드가모두꺼진후 CTCTL1 노드만정상부팅된상태 > < 그룹은종료돼있으며, 그룹시작이불가능한모습 > Copyright 2014 Man Technology Inc. All rights reserved. - 26 -
< 그룹이 CTCTL1 노드에서정상적으로시작된모습 > Copyright 2014 Man Technology Inc. All rights reserved. - 27 -
MCCS Console 이실행되지않는경우조치방법 MCCS 는한노드에서 MCCS Console 1 개만실행될수있도록설계돼있습니다. 위화면이출력되면서콘솔이실행되지않는경우아래와같이해결할수있습니다. MCCS Console 접속 Copyright 2014 Man Technology Inc. All rights reserved. - 28 -
MCCS Console 에접속되지않는경우조치방법 위화면이출력되면서콘솔이접속되지않는경우아래와같이해결할수있습니다. 양노드모두아래와같이수행합니다. MCCS Console 접속 Copyright 2014 Man Technology Inc. All rights reserved. - 29 -
OS 및응용프로그램패치작업절차 O/S 및응용프로그램패치시 MCCS 리소스로등록된응용프로그램이외부요인으로인해시작 <-> 중지되는경우가발생할수있습니다. 운영자입장에서는정상동작이지만, MCCS 입장에서는장애상황으로응용프로그램 Recovery 혹은 Failover 를수행하며, 각종작업에문제가발생될수있습니다. 문제가발생되지않도록아래절차로작업을진행하면됩니다. 1 현재운영노드를확인합니다. < 리소스그룹이 CTCTL1 에서시작중인상태 > 2 그룹잠금 을수행합니다. Copyright 2014 Man Technology Inc. All rights reserved. - 30 -
3 현재대기노드 (CTCTL2) 에서 OS Update/ 응용프로그램패치 / 재부팅을포함한각종관리작업을수행합니다. 4 잠금해제 를수행합니다. 5 그룹수동페일오버 명령을수행하여리소스그룹을 CTCTL2 로이관시킵니다. Copyright 2014 Man Technology Inc. All rights reserved. - 31 -
6 CTCTL2 에서리소스그룹이정상적으로시작되었는지확인합니다. 7 그룹잠금 을수행합니다. 8 현재대기노드 (CTCTL1) 에서 OS Update/ 응용프로그램패치 / 재부팅을포함한각종관리작업을수행합니다. 9 잠금해제 를수행합니다. 10 완료. 11 ( 운영노드를다시 CTCTL1 로돌리고자하면 그룹수동페일오버 명령을수행하여리소스그룹을이관시킵니다.) Copyright 2014 Man Technology Inc. All rights reserved. - 32 -