장애 유형별 사례
Ⅰ Ⅱ General JEUS Ⅲ WebtoB
Ⅰ General 1. license expired 2. Too many open files
license expired 현상 : JEUS/WebtoB 기동 시, 2개월 Demo license 가 만료되어 license expired 발생 해결 : license 발급방법 - Demo license - http://technet.tmaxsoft.com 사이트 로그인 후, 다운로드>데모라이선스 신청 메뉴 - 기술서비스센터(1544-8629)로 발급요청 - Real license - 기술서비스센터(1544-8629)로 발급요청 - 담당 영업대표 또는, 제품 설치 엔지니어로 발급요청 license 적용방법 - JEUS : JEUS설치경로/license 디렉터리에 license 파일명으로 저장 - jeusadmin licenseinfo 명령어로 적용되었는지 확인 === EDITION : Enterprise (Demo License) Demo license 일 경우 === DUE-DAY : 2014/6/2 license 만료일 - WebtoB : WebtoB설치경로/license 디렉터리에 license.dat 파일명으로 저장 - wscfl i 환경파일.m 으로 컴파일(Ex : wscfl i http.m) - WebtoB기동 후, wsadmin > wi 명령어로 적용되었는지 확인 $$1 Tmax-PC (wsadm) [2014/04/02:09:38:49]: wi License: DEMO Enterprise edition Demo license 일 경우 Version=WebtoB 4.1 SP 4 Fix #0 Windows_x64 FD2048 B120 2011/10/24 expiration date = 2014/6/2 license 만료일 3
Too many open files 현상 : 서비스 중 Too many open files 에러 발생 해결 : 하나의 프로세스가 오픈 할 수 있는 File Descriptor 값을 초과한 경우 발생하며, OS에 따라 FD설정이 다를 수 있습니다. ulimit a 로 값이 default(1024)로 설정 되어 있지 않은지 확인합니다. (8192 이상으로 설정 권고) lsof -p [PID] wc l 로 특정 프로세스가 오픈 한 파일 개수 확인이 가능합니다. 4
Ⅱ JEUS 1. HTTP 에러코드(404, 500, 503) 2. Xml Parsing 에러 3. Duplicate ContextPath 에러 4. WebtoB 연동 에러 5. BindException 6. JEUS기동 시 Permission denied 에러 7. TMException 발생하면서 컨테이너 기동실패 8. Authentication failed
Ⅱ JEUS 9. NoClassDefFoundError 10. ClassNotFoundException 11. The Network Adapter could not establish the connection 12. WaitTimeoutException 13. OutOfMemoryError 14. Thread hang 현상 15. 컨테이너 비정상 종료 16. Windows 환경에서 콘솔 lock
HTTP 에러코드(404)(1) 현상 : 페이지 접속 시 404 Not Found 에러 발생 해결 : JEUS콘솔관리자(jeusadmin)에서 applist 명령어로 Application 이 deploy 되었는지 확인합니다. stech>applist name : exploded type : WebModule EngineContainer : stech_container1 node : stech state : running state가 running일 경우 정상적으로 deploy 된 상태 요청한 파일이 없을 경우에도 발생할 수 있으므로 서버의 설정과 파일의 존재 유무를 확인합니다. 7
HTTP 에러코드(404)(2) JEUS콘솔관리자(jeusadmin)에서 cfg (JEUS5의 경우 webadmin > cfg)명령어로 요청하고자 하는 Context path 가 올바르게 설정되어 있는지 확인합니다. stech>cfg <<< Context [exploded] Information >>> - context path : / - document base : /home/exploded Context path 설정파일 및 우선순위는 다음과 같습니다. 1. JEUS환경파일(JEUSMain.xml)의 application 설정 내 context-root JEUS6 버전만 해당됨 2. WEB Application Deployment Descriptors파일(소스/WEB-INF/jeus-web-dd.xml)의 context-path 3. 위 두 파일에 설정이 없을 경우, JEUSMain.xml의 application 설정 내 name 이 Context path가 됨 8
HTTP 에러코드(500) 현상 : 페이지 접속 시 500 Internal Server Error 에러 발생 해결 : Application 이나 서버 내부의 문제로 발생된 메시지로 JEUS Server log 또는, Container log 파일을 참조하여 원인을 분석합니다. 9
HTTP 에러코드(503) 현상 : 페이지 접속 시 503 Service Temporarily Unavailable 에러 발생 WebtoB콘솔관리자(wsadmin)에서 si 명령어로 확인 시 JEUS서버의 status 가 NRDY 로 보여짐 $$1 stech (wsadm) [2014/03/29:18:07:31]: si -------------------------------------------------------------------------------- hth svrname (svri) status count cqcnt aqcnt qpcnt emcnt rscnt rbcnt -------------------------------------------------------------------------------- 0 html ( 0) RDY 0 0 0 0 0 0 0 0 MyGroup ( 3) NRDY 0 0 0 0 0 0 0 해결 : JEUS가 다운되었거나 또는, 기동은 되어있으나 WebtoB와 연동이 안된 상태입니다. JEUS서버의 과부하로 인해 발생할 수 있으므로 thread 상태를 확인합니다. 10
Xml Parsing 에러 현상 : JEUS기동 시 SAXParseException 에러 발생 jeus.xml.binding.jeusjaxbexception at jeus.xml.binding.bindinghelper.getdescriptor(bindinghelper.java:91) at jeus.xml.binding.bindinghelper.getdescriptor(bindinghelper.java:133) Caused by: org.xml.sax.saxparseexception: The element type "engine-container" must be terminated by the matching end-tag "</engine-container>". at com.tmax.org.apache.xerces.parsers.domparser.parse(domparser.java:263) at com.tmax.org.apache.xerces.jaxp.documentbuilderimpl.parse(documentbuilderimpl.java:216) 해결 : JEUS환경파일은 xml 기반이기 때문에, 오타나 특수문자가 있을 경우 정상적으로 기동되지 않습니다. 로그를 토대로 환경 파일을 수정하거나, 정상적으로 기동 되었을 때와 비교하여 바뀐 내용을 원복 합니다. xml 작업 전 반드시 환경파일을 백업해야 합니다. 11
Duplicate ContextPath 에러 현상 : Application deploy 시 duplicate ContextPath 에러 발생 [2012.03.22 14:35:01][1][b288] [container1-27] (MyGroup) Failed to deploy context(edu_test) << Exception >> jeus.servlet.deployment.startingexception: VirtualHost( DEFAULT_HOST ) has duplicate ContextPath : / at jeus.servlet.engine.virtualhost.addcontext(virtualhost.java:301) at jeus.servlet.engine.virtualhost.addcontext(virtualhost.java:171) at jeus.servlet.engine.contextgroup.deploycontext(contextgroup.java:1179) 해결 : 한 컨테이너에서 동일한 Context path 사용 시 발생하는 에러로, Container 를 분리 하거나 또는 Context Group 을 분리합니다. 12
WebtoB 연동 에러(1) 현상 : JEUS기동 시 또는 운영 중에 fail to reconnect 에러가 계속적으로 발생 [2014.03.30 10:40:51][1][0_576] [container1-15] [WEB-3346] worker(webtob1- hth0(192.168.x.x:9900)-w0:null) : fail to reconnect << Exception >> java.net.connectexception: Connection refused: connect at java.net.plainsocketimpl.socketconnect(native Method) at java.net.plainsocketimpl.doconnect(plainsocketimpl.java:333) at java.net.plainsocketimpl.connecttoaddress(plainsocketimpl.java:195) at java.net.plainsocketimpl.connect(plainsocketimpl.java:182) 해결 : JEUS가 WebtoB와 연동되지 않을 때 발생하며, WebtoB가 정상적으로 기동 되어있는지 확인합니다. WebtoB가 기동되어 있는 상태로 JEUS서버에서 telnet [WebtoB IP] [연동포트]로 확인 시 Connect가 되지 않을 경우 네트워크 상태를 확인합니다. (Ex : telnet 192.168.X.X 9900) 13
WebtoB 연동 에러(2) JEUS환경파일(WEBMain.xml)과 WebtoB환경파일(http.m)에서 연동설정이 올바른지 확인합니다. <webtob-listener> <listener-id>webtob1</listener-id> <port>9900</port> <hth-count>1</hth-count> <thread-pool> <min>30</min> <max>30</max> <step>1</step> <max-idle-time>30000</max-idle-time> </thread-pool> <webtob-address>192.168.x.x</webtob-address> <registration-id>mygroup</registration-id> </webtob-listener> *NODE stech WEBTOBDIR="/home/webtob", JSVPORT = 9900, HTH = 1, *SVRGROUP htmlg SVRTYPE = HTML jsvg SVRTYPE = JSV *SERVER html SVGNAME = htmlg, MinProc = 20, MaxProc = 20 MyGroup SVGNAME = jsvg, MinProc = 30, MaxProc = 30 14
BindException 현상 : JEUS기동 시 java.net.bindexception: Address already in use 에러 발생 Caused by: java.net.bindexception: Address already in use: JVM_Bind at java.net.plainsocketimpl.socketbind(native Method) at java.net.plainsocketimpl.bind(plainsocketimpl.java:359) at java.net.serversocket.bind(serversocket.java:319) at java.net.serversocket.<init>(serversocket.java:185) at java.net.serversocket.<init>(serversocket.java:141) 해결 : JEUS PORT 가 사용중인 상태에서 엔진을 기동할 때 발생하며, JEUS관련 프로세스를 완전히 종료 후 기동해야 합니다. Unix 환경에서 netstat an grep PORT 로 포트가 사용 중인지 확인하고, ps ef grep java grep jeus 로 JEUS 프로세스 확인 후, Kill -9 [PID] 로 강제 종료합니다. Windows 환경에서 netstat an find PORT 로 포트가 사용 중인지 확인하고, 작업관리자에서 java 프로세스를 강제 종료합니다. 15
JEUS기동 시 Permission denied 에러 현상 : JEUS기동 시 Permission denied 에러 발생 [ERROR] SERVER STARTUP FAILED; please see the following exception: jeus.server.jeusserverexception: failed to init jeus logger at jeus.server.jeusserver.start(jeusserver.java:151) Caused by: java.io.filenotfoundexception: /home/jeus6/logs/stech/jeusserver_20140609.log (Permission denied) at java.io.fileoutputstream.openappend(native Method) at java.io.fileoutputstream.<init>(fileoutputstream.java:192) 해결 : JEUS로그경로에서 해당날짜의 JEUS로그파일 권한이 다른 사용자일 경우, 파일을 move 시킨 후 JEUS 설치계정으로 기동합니다. 16
TMException 발생하면서 컨테이너 기동실패 현상 : JEUS기동 시 jeus.transaction.tmexception: LogException 에러 발생 [2012.05.07 22:02:40][0][0_563] [container1-10] [MGR-0079] container stech_container1 failed to boot << Exception >> jeus.server.enginecontainer.enginecontainerexception: container stech_container1 failed to boot at jeus.server.enginecontainer.enginecontainer.init(enginecontainer.java:438) Caused by: jeus.transaction.tmexception: exception occurred while initializing transaction manager at jeus.transaction.tmserver.init(tmserver.java:187) Caused by: jeus.transaction.tmexception: LogException occured in xalog.open() at jeus.transaction.logging.howllogmanager.howlopenlog(howllogmanager.java:193) 해결 : JEUS는 정상/비정상종료 시 Transaction log를 남기고 재 기동시점에 이 로그를 참조하여 Transaction recovery 를 수행하는데, 로그의 내용에 따라 위 에러가 발생할 수 있습니다. JEUS설치경로/logs/TM 디렉터리를 move 시킨 후 기동합니다. (관련 로그분석은 기술서비스센터로 요청) 17
Authentication failed 현상 : JEUS기동/종료/관리자 접속 시 Authentication failed 에러 발생 jeus.security.base.securityexception: Authentication failed: incorrect username and/or credentials presented at jeus.security.impl.atn.defaultauthenticationservice.doauthenticate(defaultauthenticationservice.java:112) at jeus.security.spi.authenticationservice.authenticate(authenticationservice.java:84) at jeus.security.impl.login.serverloginservice.dologin(serverloginservice.java:27) at jeus.security.spi.loginservice.login(loginservice.java:592) 해결 : JEUS기동/종료/관리자 접속 스크립트에 설정한 user/password 가 JEUS설치경로/config/호스트명/ security/system_domain 디렉터리의 accounts.xml파일의 정보와 상이한 경우에 발생합니다. JEUS 패스워드를 변경하고자 한다면, JEUS설치경로/bin/encryption 스크립트를 사용합니다. jeus@stech:/home/jeus>encryption base64 jeuspasswd encryption [암호화 알고리즘] [패스워드] [base64] : [ jeuspasswd] --> [encode:amv1c3bhc3n3za==] [base64] : [amv1c3bhc3n3za==] --> [decode:jeuspasswd] - accounts.xml <name>administrator</name> <password>{base64}amv1c3bhc3n3za==</password> 18
NoClassDefFoundError(1) 현상 : 서비스 호출 시 NoClassDefFoundError 에러 발생 java.lang.noclassdeffounderror: db/dbsource at java.lang.class.getdeclaredconstructors0(native Method) at java.lang.class.privategetdeclaredconstructors(class.java:1618) at java.lang.class.getconstructor0(class.java:1930) jeus.servlet.jsp.jspservletwrapper.executeservlet(jspservletwrapper.java:72) at jeus.servlet.servlets.jspservlet.execute(jspservlet.java:359) 해결 : CLASSPATH에 해당 클래스가 존재하지 않아 발생되는 에러로 컴파일 시에는 있었다가 런타임 시에 없는 경우입니다. CLASSPATH에 클래스가 있는지 확인합니다. 로딩된 클래스의 클래스 로더 보다, 하위 클래스 로더에 로딩된 클래스를 사용하고자 할 때 발생하며, 클래스 로더의 상/하 관계를 체크해야 합니다. - JEUS의 클래스 로더 계층구조는 다음과 같습니다. Boot Strap Class Loader <- Extensions Class Loader <- System Class Loader <- JEUS Root Class Loader <- Servlet Class Loader <- JSP Class Loader 19
NoClassDefFoundError(2) 아래 JSP 소스를 실행하면, 특정 클래스의 클래스 로더 및 로딩된 위치 확인이 가능합니다. <% %> ClassLoader loader = Thread.currentThread().getContextClassLoader(); try { java.net.url url = loader.getresource("com/tmax/testsample.class"); out.print("<h3>location</h3>" + url.tostring()); Class cls = Class.forName("com.tmax.TestSample"); loader = cls.getclassloader(); out.println("<p><p>used ClassLoader : "+ loader.getclass().getname()); } catch(exception e) { out.println("exception : "+e); e.printstacktrace(); } 20
ClassNotFoundException 현상 : 서비스 호출 시 ClassNotFoundException 에러 발생 java.lang.classnotfoundexception: com.tmax.testsamples at java.lang.classloader.findclass(classloader.java:359) at java.lang.classloader.loadclass(classloader.java:307) at java.lang.classloader.loadclass(classloader.java:252) at jeus.servlet.loader.privateclassloader.loadclass(privateclassloader.java:23) at jeus.servlet.loader.privatereloader.initinstance(privatereloader.java:153) 해결 : CLASSPATH에 클래스가 존재하지 않은 경우로 일반적으로 아래 CLASSPATH에 클래스를 위치시킵니다. 1. JEUS설치경로/lib/application 모든 컨테이너에서 참조 2. JEUS환경파일(JEUSMain.xml) 컨테이너의 user-class-path 컨테이너에 deploy 된 모든 Application 에서 참조 3. 소스/WEB-INF/classes Application 내에서 참조 호출하고자 하는 서블릿 클래스가 WEB Application Descriptors파일(소스/WEB-INF/web.xml)에 올바르게 등록되어 있는지 확인합니다. 21
The Network Adapter could not establish the connection 현상 DB 연동 시 The Network Adapter could not establish the connection 에러 발생 jeus.jdbc.connectionpool.connectionpoolexception: fail to initialize pool : ; nested exception is: jeus.jdbc.connectionpool.connectionpoolexception: [ConnectionPool] failed to make a connection pool : IO 예외상황: The Network Adapter could not establish the connection 17002 java.sql.sqlexception: IO 예외상황: The Network Adapter could not establish the connection at oracle.jdbc.driver.databaseerror.throwsqlexception(databaseerror.java:111) at oracle.jdbc.driver.databaseerror.throwsqlexception(databaseerror.java:145) at oracle.jdbc.driver.databaseerror.throwsqlexception(databaseerror.java:254) at oracle.jdbc.driver.t4cconnection.logon(t4cconnection.java:386) 해결 JEUS환경파일(JEUSMain.xml)의 database설정(db IP, PORT, SID)이 올바른지, DB가 정상적으로 기동 되어있는지 확인합니다. DB가 기동되어 있는 상태로 JEUS서버에서 telnet [DB IP] [DB PORT]로 확인 시 Connect가 되지 않을 경우 네트워크 상태를 확인합니다. 22
WaitTimeoutException(1) 현상 페이지 호출 시 DB접속이 안 되는 현상 JEUS콘솔관리자(jeusadmin)에서 dsinfo (JEUS5의 경우, dbpooladmin > info)명령어로 확인 시 idle 컨넥션이 0인 상태 << Exception >> jeus.jdbc.connectionpool.waittimeoutexception: enable-wait timeout occurred during waiting for a connection, throw exception at jeus.jdbc.connectionpool.connectionstore.getobject(connectionstore.java:172) at jeus.jdbc.connectionpool.connectionstore.getconnection(connectionstore.java:230) at jeus.jdbc.connectionpool.connectionpool.innergetconnection(connectionpool.java:806) stech>dsinfo Connection pool information for engine container 'stech_container1 ----------------------------------------------------------------------------------- id jndi min max act idle disp tot wait work ----------------------------------------------------------------------------------- datasource1 datasource1 10 30 30 0 0 30 true true ----------------------------------------------------------------------------------- 23
WaitTimeoutException(2) 해결 사용 가능한 DB Pool 이 없는 상태에서 Pool 이 반납되기를 대기하다가 JEUS환경파일(JEUSMain.xml)의 database설정 중, wait-time 이 초과한 경우입니다. 갑작스러운 과부하나 DB응답지연으로 발생할 수 있는데, DB상태 점검 및 Thread dump 를 생성하여 원인을 분석해야 합니다. Thread 수 대비 DB Pool 수가 적게 잡혀있는 경우라면 DB Pool 수를 증가시킵니다. Active thread 가 없는데 DB Connection Idle 이 0인 경우, Connection 누수를 의심해야 합니다. - JEUS환경파일(JEUSMain.xml)에서 컨테이너의 invocation-manager-action 옵션을 Warning 으로 설정하면 JEUS Server log 또는, Container log 에 getconnection 후 close 하지 않은 소스 확인이 가능합니다. <invocation-manager-action>warning</invocation-manager-action> [2008.04.04 14:27:28][1][0_492] [container1-29] [MGR-0396] Resources are not closed after use :[JeusConnection[ID=datasource1-2,actual=oracle.jdbc.driver.LogicalConnection@16e3f87]] [2008.04.04 14:27:28][0][0_492] [container1-29] [MGR-0107] RequestURI : /dbloss.jsp - invocation-manager-action옵션을 AutoClose 로 설정하면 JEUS에서 메소드가 종료하는 시점에 close 하지만, 모든 경우에 적용되는 것은 아니므로 소스에서 close 하는 것을 권고합니다. 24
OutOfMemoryError(1) 현상 : JEUS콘솔관리자에서 명령어가 실행되지 않거나, 페이지 접속 불가능 JEUS로그 확인 시 OutOfMemoryError 에러 발생 [2012.03.22 14:39:51][0][b288] [container1-11] [Network-0210] : Dispatch[/SptFineLevy] to method 'selectsptfinelevytable' returned an exception java.lang.reflect.invocationtargetexception at sun.reflect.nativemethodaccessorimpl.invoke0(native Method) at sun.reflect.nativemethodaccessorimpl.invoke(nativemethodaccessorimpl.java:39) at sun.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl.java:25) at java.lang.reflect.method.invoke(method.java:324) java.lang.outofmemoryerror 해결 : JVM Heap영역으로 설정한 메모리 사이즈가 부족하거나 GC가 정상적으로 일어나지 않을 때 발생합니다. 원인분석을 위해 JEUS환경파일(JEUSMain.xml)의 컨테이너 command-option 에 OutOfMemory 발생시 자동으로 HeapDump가 발생하도록 Dump 및 GC log 옵션을 설정합니다. 발생된 HeapDump는 MemoryAnalyzer, IBM HeapAnalyzer 등의 툴로 분석이 가능합니다. 25
OutOfMemoryError(2) HotSpot JVM 옵션설정 Ex : <command-option> -Xms512m -Xmx1024m -XX:PermSize=128m -XX:MaxPermSize=256m -XX:+DisableExplicitGC -verbose:gc -Xloggc:/home/jeus6/logs/gclog/con1_gc.log GC 로그 경로 -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintHeapAtGC -XX:+HeapDumpOnOutOfMemoryError OutOfMemory 발생시 HeapDump 생성 -XX:HeapDumpPath=/home/jeus6/logs/dump/ HeapDump 경로 </command-option> - -XX:+HeapDumpOnOutOfMemoryError 옵션 - SUN JDK : 1.4.2_12, 1.5.0_07 이상 버전부터 지원 - HP JDK : 1.4.2_11, 5.0.04 이상 버전부터 지원 26
OutOfMemoryError(3) IBM JVM 옵션설정 Ex : <command-option> -Xms1024m -Xmx1024m -Xdisableexplicitgc -verbose:gc -Xverbosegclog:/home/jeus6/logs/gclog/con1_gc.log GC 로그 경로 </command-option> - 사용자 프로파일 export IBM_HEAPDUMP=true export IBM_HEAP_DUMP=true export IBM_HEAPDUMP_OUTOFMEMORY=true OutOfMemory 발생시 HeapDump 생성 export IBM_JAVADUMP_OUTOFMEMORY=true OutOfMemory 발생시 JavaCore 생성 export IBM_HEAPDUMPDIR=/home/jeus6/logs/dump HeapDump 경로 export IBM_JAVACOREDIR=/home/jeus6/logs/dump JavaCore 경로 27
Thread hang 현상(1) 현상 : 페이지 호출 시 장시간 로딩 되지 않음 JEUS콘솔관리자(jeusadmin)에서 ti (JEUS5의 경우 webadmin > ti)명령어로 확인 시 장시간 active 인 thread 가 보여짐 stech_con1>ti Thread information for [stech_con1] container ============================================================ servlet threads for 'http1' listener ------------------------------------------------------------ tid name state elapsed uri ------------------------------------------------------------ 65 http1-w00 waiting 175356 Idle 한 thread 66 http1-w01 waiting 175355 Idle 한 thread 67 http1-w02 active 17037 /exploded/test.jsp 17초 동안 /exploded/test.jsp 페이지 수행 68 http1-w03 waiting 175354 Idle 한 thread 해결 : Thread 가 어떤 작업을 수행 중인지 원인분석을 위해, 컨테이너의 Thread dump 를 생성해야 합니다. 28
Thread hang 현상(2) Thread dump 발생 방법1 : JEUS콘솔관리자(jeusadmin)에서 생성 stech>conlist 현재 기동되어있는 컨테이너 확인 [1] stech_container1 : READY stech>dump stech_container1 dump 명령어를 3초 간격으로 3번 정도 실행 dump the container stech_container1 successfully stech>dump stech_container1 dump the container stech_container1 successfully Thread dump 발생 방법2 : ps ef grep java 로 해당 컨테이너의 PID를 찾아 kill -3 [PID] 로 생성 [jeus@stech:/home/jeus]$ps -ef grep java jeus 4723 4637 0 11:01 pts/1 00:00:24 /usr/java/jdk1.6.0_30/jre/bin/java -Dcontainer1 -Xms256m - Xmx512m -XX:MaxPermSize=128m -server - Xbootclasspath/p:/home/jeus/jeus6008/lib/system/extension.jar... [jeus@stech:/home/jeus]$kill -3 4723 명령어를 3초 간격으로 3번 정도 실행 [jeus@stech:/home/jeus]$kill -3 4723 Thread dump는 HotSpot JVM 의 경우 금일날짜의 JEUS Server log 에 남고, IBM JVM 은 javacore 파일형태로 생성됩니다. 29
컨테이너 비정상 종료 현상 특정 컨테이너 비정상 종료 [2009.10.23 11:35:13][0][0_540] [stech-105] [MGR-0337] EOF detected << Exception >> jeus.server.jeusserverexception: EOF detected at jeus.server.virtualterminal.writeterminalrunning(virtualterminal.java:246) at jeus.server.virtualterminal.run(virtualterminal.java:119) <<!Exception >> [2009.10.23 11:35:13][0][0_540] [stech-105] [MGR-0307] Container stech_container1 is dead unexpectedly. Restarting it... 해결 컨테이너가 비정상 종료되는 경우는, OS Signal에 의해, OutOfMemory발생, OS비정상 종료 등 외부적 요인으로 발생할 수 있으며 전/후 상황의 JEUS Server log 를 분석하여 원인을 찾아야 합니다. Application에서 System.exit를 호출한 부분은 없는지 확인해야 합니다. JEUS환경파일(JEUSMain.xml)의 컨테이너 command-option에 -Djeus.security.enable.default.manager=true로 설정 시 System.exit 호출을 무력화 시킬 수 있으나 성능에 영향을 줄 수 있으므로 소스를 수정합니다. 30
Windows 환경에서 콘솔 lock 현상 JEUS콘솔관리자 및 페이지 접속 불가능 jboot 를 실행한 cmd 창에서 아래와 같이 콘솔 lock 이 발생한 경우 해결 cmd>속성>빠른 편집 모드 옵션을 해지하거나 JEUS를 윈도우서비스로 등록하여 기동합니다. 윈도우 서비스 등록 Ex : C:\TmaxSoft\JEUS5027\bin>svcinstall.exe jeus.ini administrator jeusadmin hotspot JEUS Windows service installer Ver. 3.1.1 JEUS Service[ jeusservice-jeus] installed svcinstall.exe jeus.ini 계정 패스워드 hotspot 31
Ⅲ WebtoB 1. 포트 기동 에러 2. SSL 접속 에러 3. Shared Memory 에러 4. 페이지를 표시할 수 없습니다 5. 한글URL 요청 시 404 에러 발생 6. 간헐적으로 404 에러 발생 7. 서비스 지연(BRUN) 현상 8. 변경된 파일이 적용되지 않는 현상 9. Windows 환경에서 Caught Close event 발생
포트 기동 에러 현상 : WebtoB 기동 시 listen port(80) in use, we'll retry after 10 seconds 발생 Current WebtoB Configuration: Number of client handler(hth) = 1 Supported maximum user per node = 8133 Supported maximum user per handler = 8133 WSBOOT: SVR(htmls) is starting: Thu Jan 25 13:46:24 2007 HTL0017: listen port(80) in use, we'll retry after 10 seconds WSBOOT: SVR(htmls) is starting: Thu Jan 25 13:46:24 2007 해결 : netstat an grep 80 grep LISTEN 으로 80포트가 사용 중인지 확인합니다. 1024 이하 포트는 root계정에서 사용이 가능하므로 root로 WebtoB를 기동합니다. 일반 계정에서 1024 이하 포트를 사용하고자 할 경우, WebtoB환경파일 *NODE절에 IPCPERM = 0777 설정 및 WebtoB설치경로/bin 디렉터리에서 htl 프로세스에 아래와 같이 root 권한을 줍니다. WebtoB환경파일 변경 후 반드시 컴파일을 해야 합니다. (Ex : wscfl i http.m) root@stech:/root> cd /home/webtob/bin root@stech:/home/webtob/bin> chown -R root:sys htl root@stech:/home/webtob/bin> chmod +s htl 33
SSL 접속 에러 현상 : SSL 접속 에러 발생 해결 : netstat an grep [SSL PORT] grep LISTEN 으로 SSL 포트가 정상적으로 떠 있는지 확인합니다. WebtoB가 기동되어 있는 상태로 Client PC에서 telnet [서비스URL] [SSL PORT]로 확인 시 Connect 가 되지 않을 경우 네트워크 상태를 확인합니다. (Ex : telnet www.url.com 443) WebtoB Syslog 에 unable to set private key 발생 시, 설정한 private key를 사용할 수 없다는 메시지로 인증서 파일이 정상적이지 않는 경우입니다. HTH.28831.174143:HTHS3553: unable to set private key HTH.28831.174143:HTHS3556: wbsslsetcertstuff failed 34
Shared Memory 에러 현상 : WebtoB 기동 시 Failed to create shared memory 발생 [2014/04/01:15:03:20] WSM-15631 F WSM0056: Failed to create shared memory (shmget). SHMKEY=54000, shmsize=168568, type=1 해결 : WebtoB는 기본적으로 SHMKEY, SHMKEY+1, SHMKEY+2 총 3개의 key를 사용하는데, ipcs 로 확인 시 다른 프로세스에서 SHMKEY 를 사용 중일 때 발생합니다. [stech:/home/svn]ipcs key 필드 Hex 코드를 Dec 로 변환 key shmid owner perms bytes nattch status 0x0000d2f0 4358152 svn 700 247748 6 54000 0x0000d2f1 4390921 svn 700 1778212 6 54001 0x0000d2f2 4423690 svn 700 49664 6 54002 WebtoB환경파일(http.m) *NODE절의 SHMKEY = 54000 값을 변경하거나 사용 중인 Shared Memory 를 삭제 후 기동합니다. Shared Memory 삭제 Ex : Key가 D2F0 일 경우, 해당 Key의 shmid 를 찾아 ipcrm -m 4358152 하거나 ipcrm -M D2F0 로 삭제 35
페이지를 표시할 수 없습니다 현상 : 페이지 접속 시 페이지를 표시할 수 없습니다 발생 해결 : WebtoB가 정상적으로 기동되어 있는지 확인합니다. - Unix 환경 - ps ef grep wsm 으로 프로세스가 떠 있는지 확인합니다. - netstat an grep [서비스PORT] grep LISTEN 으로 포트가 정상적으로 떠 있는지 확인합니다. - Windows 환경 - 작업관리자를 실행하여 wsm 프로세스가 떠 있는지 확인합니다. - netstat na find "[서비스PORT] find "LISTEN" 으로 포트가 정상적으로 떠 있는지 확인합니다. WebtoB가 기동되어 있는 상태로 Client PC에서 telnet [서비스URL] [서비스PORT]로 확인 시 Connect가 되지 않을 경우 네트워크 상태를 확인합니다. (Ex : telnet www.url.com 80) 36
한글URL 요청 시 404 에러 발생 현상 : 한글URL 요청 시 404 에러 발생 해결 : 한글 URL 의 경우, WebtoB환경파일(http.m) *NODE절에 CheckURL 을 설정하여 처리가 가능합니다. - 해당 옵션은 WebtoB4.1 SP3 Fix#0 이상 버전에서 지원한다. (wsadmin v 명령어로 버전 확인) *NODE stech WEBTOBDIR="/home/webtob",... CheckURL = Y, UTF-8과 EUC-KR 가능 CheckURLTo = "euc-kr", CheckURLFrom = "utf-8" - WebtoB4.1 SP2 Fix#0 이전 버전의 경우, technet 사이트에서 제공하는 UTF-8 Filter를 설정해야 합니다. 37
간헐적으로 404 에러 발생 현상 파일이 서버에 있음에도 페이지 호출 시 간헐적으로 404 에러 발생 Syslog 에 HTH에서 처리할 수 있는 max user 수를 초과했다는 메시지 발생 [2011/03/08:22:36:26] HTH-5105 W HTH0078: Reached the maximum number of client connections. licensed maxuser=-1, allocated maxuser for node=1948, HTH maxuser=974, client count=974 (message repeated 38 times) 해결 WebtoB환경파일(http.m) *NODE절의 KeepAliveTimeout(default : 60초)의 값을 줄이거나 HTH수를 늘려서 동시접속 세션 수를 증가시킬 수 있습니다. 단, WebtoB Light Edition (wsadmin > wi 로 확인)은 HTH수를 늘릴 수 없습니다. *NODE stech WEBTOBDIR="/home/webtob", HTH = 2, KeepAliveTimeout = 30 HTH가 처리할 수 있는 세션 수는 OS의 FD값에 의해 결정되므로, FD값이 적게 설정되어 있지 않은지 확인합니다. WebtoB콘솔관리자(wsadmin)에서 cfg -n 명령어로 세션 수(MaxUser 항목)를 확인할 수 있습니다. 38
서비스 지연(BRUN) 현상 현상 서비스 지연 현상이 발생하여, WebtoB콘솔관리자(wsadmin)에서 st p 명령어로 확인 시 html 서버의 status 가 BRUN 으로 보여짐 $$1 stech(wsadm) [2012/05/02:18:04:55]: st -p HTH 0(12976286): RDY --------------------------------------------------------------------------------- svr_name svgname spr_no(pid) status count avg(rt) clid svc --------------------------------------------------------------------------------- html htmlg 0(10879172) BRUN 514 4.4039( 3) 234 uri3 html htmlg 1(12320828) BRUN 533 4.0903( 1) 196 uri3 html htmlg 2(8716396) RDY 445 6.1172( 0) -1 - 해결 Client 요청을 처리하는 서버프로세스가 응답을 보내는 도중 BlockRun(BRUN)인 상태로, Client 가 응답을 받는 속도가 느리거나 응답을 받아가지 않는 경우입니다. Client 와 WebtoB 사이의 네트워크 상태를 확인해야 합니다. 39
변경된 파일이 적용되지 않는 현상 현상 변경된 파일이 적용되지 않는 문제 해결 변경된 파일 적용방법1 : WebtoB콘솔관리자(wsadmin)에서 cr -a 명령어로 Cache된 파일을 삭제합니다. $$12 stech (wsadm) [2014/04/03:11:46:18]: cr -a cache ( DIR HTML IMAGE ) is refreshed 변경된 파일 적용방법2 : WebtoB환경파일(http.m) *NODE절의 CacheRefresh 의 값을 줄입니다. - WebtoB4.1 SP3 Fix#2 버전부터 CacheRefresh의 default가 0 에서 3600초로 변경되었습니다. (wsadmin v 명령어로 버전 확인) CacheRefreshImage = 1800, CacheRefreshHtml = 1800, CacheRefreshDir = 1800, # (sec.), # (sec.), # (sec.), 40
Windows 환경에서 Caught Close event 발생 현상 페이지 호출 시 웹 페이지를 표시할 수 없습니다 발생 wsboot 를 실행한 cmd 창을 닫거나 또는, logoff 할 경우 Syslog 에 아래 메시지 발생 [2014/03/28:13:57:24] HTL-5756 W COM0172: Caught Close event. Shutting down server. [2014/03/28:13:57:24] WSM-7944 W COM0172: Caught Close event. Shutting down server. 해결 WebtoB를 윈도우서비스로 등록하여 기동합니다. 윈도우 서비스 등록 Ex : C:\TmaxSoft\WebtoB4\bin>webtob_service create 버전 별로 명령어가 상이할 수 있음 WebtoB path="c:\tmaxsoft\webtob4" Successfully installed service WebtoB 41