BMC Workload Automation for 서버계획정지 ( IPL) Automation 발표자 : Sr. Software Consulting 김천재
얼마나자주시스템 Restart 하십니까? 2 Copyright 9/13/2013 BMC Software, Inc Copyright 9/13/2013 BMC Software, Inc 2
Restart 하실때, 몇명의인원이참여하여업무를하십니까? 3 Copyright 9/13/2013 BMC Software, Inc Copyright 9/13/2013 BMC Software, Inc 3
OS 기동상태확인 Cluster 기동 JEUS 기동 오라클 DB 기동확인 ETL 기동 Web_Service FileSystem 확인 Cluster 기동확인 Cluster 가동테스트 JEUS 기동확인테스트 프레임웍기동확인 ETL 기동확인 ERP_process MF_process Snapshot 베이스라인 WEBTOB 기동 Perfmon 기동 JEUS 상태확인 DW 업무테스트 Java_process Win.bat Config 파일 Shapshot 환경파일저장 WEBTOB, 기동확인 Perfmon Agent 기동확인 Sysmon 기동 Java_process 확인 UNIX_Script DB_Backup DB_Backup 오라클 DB 기동확인 Process 확인 Web_Service 오라클 DB 테스트 Win.bat SYSTEM Database DBA Application 4 Copyright 9/13/2013 BMC Software, Inc Copyright 9/13/2013 BMC Software, Inc 4
서버계획정지 ( IPL ) 자동화 1. IPL 워크플로우분석 / 설계 서버 IPL 자동화흐름도 IPL 절차분석및시트작성 업무별상호연관관계에분석 업무분석서 Application Service Stop WAS/DBMS Stop 2. IPL 워크플로우구현 1 IPL 상세실행절차서정의 Cluster Stop/Switching System Restart Cluster Start/Switching IPL 작업에대한표준스크립트작성 스크립트결과에따른작업진행조건정의 CTM Agent BMC Control-M Workload Automation WAS/DBMS Start Application Service Start 3. IPL 워크플로우실행 2 IPL 작업등록 IPL 대상업무별최초작업승인 IPL 수행여건에따른작업수행조건설정 Target Servers 3 IPL 작업실행 4 IPL 작업결과 4. IPL 진행상황모니터링 Dashboard 작업실행로그확인 GUI / 대시보드통한 IPL 진행과정에대한모니터링 대시보드 DB 5 Copyright 9/13/2013 BMC Software, Inc Copyright 9/13/2013 BMC Software, Inc 5
서버계획정지 ( IPL ) 자동화 (1) 1. IPL 워크플로우분석 / 설계 업무별 IPL 상세실행절차서정의 업무또는인프라정지 / 기동관련상세명령어 명령어실행계정정의 명령어실행결과정의 ( 리턴코드또는특정메시지 ) 반복작업정의 ( 예 : 1 분주기로 5 회반복 ) 2. IPL 워크플로우구현 3. IPL 워크플로우실행 4. IPL 진행상황모니터링 6 Copyright 9/13/2013 BMC Software, Inc Copyright 9/13/2013 BMC Software, Inc 6
서버계획정지 ( IPL ) 자동화 (2) 1. IPL 워크플로우분석 / 설계 IPL 작업등록 2. IPL 워크플로우구현 작업명령어등록확인 작업선 / 후행관계등록확인 작업실행계정등록확인 작업실행결과에따른정상 / 비정상상태정의 ( 리턴코드또는특정메시지기반 ) 3. IPL 워크플로우실행 4. IPL 진행상황모니터링 7 Copyright 9/13/2013 BMC Software, Inc Copyright 9/13/2013 BMC Software, Inc 7
서버계획정지 ( IPL ) 자동화 (3) 1. IPL 워크플로우분석 / 설계 업무별서버 IPL 실행 2. IPL 워크플로우구현 3. IPL 워크플로우실행 자동 / 반자동모드로운영 ( 하드웨어작업, 패치작업 ) 최초작업은사용자 Confirm 필요 JOB Output 을통한작업오류확인 작업상태에따라 Force OK, Rerun, 건너뛰기작업수행 4. IPL 진행상황모니터링 8 Copyright 9/13/2013 BMC Software, Inc Copyright 9/13/2013 BMC Software, Inc 8
서버계획정지 ( IPL ) 자동화 (4) 1. IPL 워크플로우분석 / 설계 GUI 를통한 IPL 진행사항모니터링 2. IPL 워크플로우구현 3. IPL 워크플로우실행 4. IPL 진행상황모니터링 Control-M/EM GUI 를통한서버별 / 업무별 IPL 진행상황모니터링 - 색상에따른진행상태모니터링 대시보드와연계한전체업무별 IPL 진행상황모니터링 9 Copyright 9/13/2013 BMC Software, Inc Copyright 9/13/2013 BMC Software, Inc 9
서버 IPL 상세실행절차서 1 2. 서버IPL 상세절차서 업무 순서 절차 담당자 서버 계정 command 예상소요시간 Timeout bmc_ap02 ecu000 cd /fsecubeapp/ecubeserver1/bin;./servershutdownall.sh 1 ACRM ecube 정지 bmc_ap02 ecu000 ps -ef grep ecube.home 2 G-CRM 정지 이홍 bmc_ap02 map000 cd /fsmapapp;./imap_shutdown.sh bmc_ap02 ecu000b cd /fsmfbapp/ecubeserver1/bin;./servershutdownall.sh 3 CORPORATE/SOHO 정지 이홍 bmc_ap02 ecu000b ps -ef grepe ecu000b grep java bmc_ap02 root /opt/hpws/apache/bin/apachectl stop 4 Apache 정지 천정철 bmc_ap02 root ps -ef grep httpd 5 시스템재시작 임선희 bmc_ap02 root shutdown ry 0 6 G-CRM 기동 이홍 bmc_ap02 map000 cd /fsmapapp;./imap_startup.sh bmc_ap02 ecu000 cd /fsecubeapp/ecubeserver1/bin;./serverstartupall.sh 7 ACRM ecube 기동 bmc_ap02 ecu000 ps -ef grep ecube.home bmc_ap02 ecu000b cd /fsmfbapp/ecubeserver1/bin;./serverstartupall.sh 8 CORPORATE/SOHO 기동 이홍 bmc_ap02 ecu000b ps -ef grepe ecu000b grep java 천정철 bmc_ap02 root /opt/hpws/apache/bin/apachectl start 9 Apache 기동 천정철 bmc_ap02 root ps -ef grep httpd bmc_ap03 ecu000 cd /fsecubeapp/ecubeserver1/bin;./servershutdownall.sh 1 ACRM ecube 정지 bmc_ap03 ecu000 ps -ef grep ecube.home 2 G-CRM 정지 이홍 bmc_ap03 map000 cd /fsmapapp;./imap_shutdown.sh bmc_ap03 ecu000b cd /fsmfbapp/ecubeserver1/bin;./servershutdownall.sh 3 CORPORATE/SOHO 정지 이홍 bmc_ap03 ecu000b ps -ef grepe ecu000b grep java 4 시스템재시작 임선희 bmc_ap03 root shutdown ry 0 5 G-CRM 기동 이홍 bmc_ap03 map000 cd /fsmapapp;./imap_startup.sh 6 ACRM ecube 기동 bmc_ap03 ecu000 cd /fsecubeapp/ecubeserver1/bin;./serverstartupall.sh bmc_ap03 ecu000 ps -ef grep ecube.home ACRM AP 7 CORPORATE/SOHO 기동 이홍 bmc_ap03 ecu000b cd /fsmfbapp/ecubeserver1/bin;./serverstartupall.sh bmc_ap03 ecu000b ps -ef grepe ecu000b grep java 1 ACRM ecube 정지 bmc_ap04 ecu000 cd /fsecubeapp/ecubeserver1/bin;./servershutdownall.sh bmc_ap04 ecu000 cd /fsecubeapp/ecubeserver1/bin;./jid 2 ecrm ecube 정지 bmc_ap04 ecu000a cd /fsecrmapp/ecubeserver1/bin;./servershutdownall.sh bmc_ap04 ecu000a ps -ef grep ecube.home grep ecu000a 3 G-CRM 정지이홍 bmc_ap04 map000 cd /fsmapapp;./imap_shutdown.sh 4 시스템재시작임선희 bmc_ap04 root shutdown ry 0 5 G-CRM 기동이홍 bmc_ap04 map000 cd /fsmapapp;./imap_startup.sh 6 ACRM ecube 기동 7 ecrm ecube 기동 bmc_ap04 ecu000 cd /fsecubeapp/ecubeserver1/bin;./serverstartupall.sh bmc_ap04 ecu000 ps -ef grep ecube.home bmc_ap04 ecu000a cd /fsecrmapp/ecubeserver1/bin;./serverstartupall.sh bmc_ap04 ecu000a ps -ef grep ecube.home grep ecu000a 1 ACRM ecube 정지 bmc_ap05 ecu000 cd /fsecubeapp/ecubeserver1/bin;./servershutdownall.sh bmc_ap05 ecu000 ps -ef grep ecube.home Copyright 9/13/2013 BMC Software, Inc 10
서버 IPL 상세실행절차서 2 순서구분수행내용담당자수행계정 COMMAND 또는 Script 경로결과값 1 백업 NetWorker Agent 종료임찬미 root /opt/networker/bin/nsr_shutdown Return Code = 0 2 백업 NetWorker Agent 종료확인임찬미 root ps -ef grep nsr Process 없음 3 통합관제 Perfmon Agent 종료이순신 perfmon /SMT/perfmon/perf/script/perfmon_ctl.sh stop PerfMON controller stopped 4 통합관제 Perfmon Agent 종료확인이순신 sysmon ps -ef grep perfmon Process 없음 5 통합관제 Sysmon 종료이순신 sysmon /SMT/sysmon/bin/sysmon_ctl.sh Return Code = 0 6 통합관제 Sysmon 종료확인이순신 sysmon ps -ef grep sysfmon Process 없음 7 JEUS JEUS - FWPR 종료박은경 jeusfwpr /usr/local/jeusfwpr/bin/jdown echo $? 결과값이 0 이면정상, 아니면비정상 8 JEUS JEUS - FWPR 종료확인박은경 jeusfwpr ps -ef grep java grep jeusfwpr grep -v grep Process 없음 9 JEUS JEUS - NBPR 종료박은경 jeusfwpr /usr/local/jeusnbpr/bin/jdown echo $? 결과값이 0 이면정상, 아니면비정상 10 JEUS JEUS 종료박은경 jeusfwpr ps -ef grep java grep jeusnbpr grep -v grep Process 없음 11 JEUS JEUS - NBQA 종료박은경 jeusfwpr /usr/local/jeusnbqa/bin/jdown echo $? 결과값이 0 이면정상, 아니면비정상 12 JEUS JEUS 종료박은경 jeusfwpr ps -ef grep java grep jeusnbqa grep -v grep Process 없음 13 WEB WEBTOB - WEBFWPR 관리종료박근네 webfwpr /usr/local/webtobfwpr/bin/wsdown echo $? 결과값이 0 이면정상, 아니면비정상 14 WEB WEBTOB - WEBFWPR 관리종료확인박근네 webfwpr ps -ef grep wsm grep webfwpr grep -v grep Process 없음 15 WEB WEBTOB - WEBNBPR 관리종료박근네 webnbpr /usr/local/webtobnbpr/bin/wsdown echo $? 결과값이 0 이면정상, 아니면비정상 16 WEB WEBTOB - WEBNBPR 관리종료확인박근네 webnbpr ps -ef grep wsm grep webnbpr grep -v grep Process 없음 17 WEB WEBTOB - WEBNBTM 관리종료박근네 webnbtm /usr/local/webtobnbtm/bin/wsdown echo $? 결과값이 0 이면정상, 아니면비정상 18 WEB WEBTOB - WEBNBTM 관리종료확인박근네 webnbtm ps -ef grep wsm grep webnbtm grep -v grep Process 없음 19 WEB WEBTOB - WEBSCM 관리종료박근네 webscm /userdir/webscm/bin/wsdown echo $? 결과값이 0 이면정상, 아니면비정상 20 WEB WEBTOB - WEBSCM 관리종료확인박근네 webscm ps -ef grep wsm grep webscm grep -v grep Process 없음 21 WEB 프레임웍 - TDLRM 종료김천재 proframe /aplog/tdlcall/bin/tdlrm echo $? 결과값이 0 이면정상, 아니면비정상 22 WEB 프레임웍종료확인김천재 proframe /nbsdev/package/proframe/pfm/shl/logserver_down.sh Process 없음 23 WEB 프레임웍 TDLSHM 종료김천재 proframe /aplog/tdlcall/bin/tdlshm echo $? 결과값이 0 이면정상, 아니면비정상 24 WEB 프레임웍종료확인김천재 proframe ps -ef grep logserver.jar grep proframe grep -v grep Process 없음 25 DBMS EMB LISTENER 종료김승혁 oracle export ORACLE_SID=NVEMBT1 export DB_NAME=NVEMBT 26 DBMS EMB LISTENER 종료확인김승혁 oracle ps -ef grep LISTENER_EMBTDB01 27 DBMS FWMP LISTENER 종료김승혁 oracle export ORACLE_SID=FWMPT1 export DB_NAME=FWMPT 28 DBMS EMB LISTENER 종료확인김승혁 oracle ps -ef grep LISTENER_EMBTDB01 29 DBMS EMB DBMS 종료김승혁 oracle 30 DBMS FWMP DBMS 종료김승혁 oracle export ORACLE_SID=NVEMBT1 export DB_NAME=NVEMBT export ORACLE_SID=FWMPT1 export DB_NAME=FWMPT Copyright 9/13/2013 BMC Software, Inc 11 결과값없음 결과값없음 결과값없음 결과값없음 ORACLE instance shut down. ORACLE instance shut down.
기대효과 IT 운영측면 운영프로세스의자동화 서버 IPL 작업시발생가능한휴먼에러에의한운영리스크제거 단순반복업무에대한자동화 / 고도화필요 수작업시누락될수있거나, 발생가능한휴먼에러에대한발생가능성최소화 IPL 자동화로인한작업수행인원의효율적운영 자동화시스템에의한일괄작업관리및처리절차의효율화 생산성 / 효율성증가및서비스품질보증 서버구성현황에대한이력관리강화필요 서버구성변경에대한컴플라이언스강화 지속적인사내표준및보안컴플라이언스강제 12 Copyright 9/13/2013 BMC Software, Inc Copyright 9/13/2013 BMC Software, Inc 12
Learn more at www.bmc.com Copyright 9/13/2013 BMC Software, Inc 13