weblogic中间件通用应急预案.docVIP

Weblogic中间件（含业务应用）通用应急预案 应急处置原则与工作流程 国网信息系统中间件主要采用weblogic集群方式部署，通过中间件控制台对各应用节点进行统一管理和监控，本次中间件应急预案以“先抢通、后抢修”为处理原则，首先恢复业务应用，保存相关日志，后期再根据日志进行详细分析和故障定位。 weblogic中间件是应用程序的发布平台，相对比较稳定。业务应用均通过weblogic中间件进行发布，通过weblogic中间件的JDBC等配置，实现前端应用和后台数据库之间的交互。因此不管是程序代码问题、硬件问题、数据库问题均有可能体现在weblogic中间件节点异常；并且由于程序代码效率低下、参数配置不当，也会导致weblogic中间件节点异常。这种情况下，重启异常weblogic节点，释放资源，是最快的恢复业务的应急手段。具体原因可以通过备份日志，事后进行分析排查。 本应急预案中涉及到的程序包路径，均是根据信通公司weblogic中间件安装规范中指定的路径。如果未按照规范安装的中间件，请电话咨询对应系统专责协助处理。 二、weblogic中间件故障应急场景 故障应急处理步骤6步： 使用IE浏览器访问节点应用确认节点可用性。 登陆weblogic控制台确认节点状态。 收集故障点日志，备份节点日志。 查看节点日志，根据报错信息确定故障原因。 根据故障原因，执行应急操作。 组织人员进行具体原因分析并整改。 三、故障场景 Weblogic中间件日志文件中常见错误如下： 序号 错误信息 原因 出现时机 执行步骤 1 java.lang.OutOfMemoryError 内存溢出 节点运行过程中 1,2,3,4,5 java.lang.OutOfMemoryError 内存溢出 节点启动过程中 9,12 2 more than the configured time (StuckThreadMaxTime) of 600 seconds 线程阻塞 节点运行过程中 1,2,3,4,5 3 error occured:weblogic.jdbc.extensions.PoolLimitSQLException: mon.resourcepool.ResourceLimitException: No resources currently available in pool dgNonPool to allocate to applications, please increase the size of the pool and retry.. JDBC连接池满 节点启动过程中 6,12 4 BEA-000627 Reachedmaximum capacity of pool “JDB-HQGL” make 0 new resource instances BEA-000628 Created 1 resources for pool JDBC Data Source-0, out of which 0 are available and 1 are unavailable. JDBC连接池满 节点运行过程中 1,2,3,4,5,6 5 Too many open files 打开文件超过系统限制 节点运行过程中 1,2,3,4,5,7,11,12 6 BEA-000386 Server subsystem failed. Reason: weblogic.security.SecurityInitializationException: Authentication for user weblogic denied weblogic.security.SecurityInitializationException: Authentication for user weblogic denied weblogic密码错误 节点启动过程中 8,12 7 /home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/bin/startWebLogic.sh:?line?180:?64034?Killed??????????????????${JAVA_HOME}/bin/java?${JAVA_VM}?${MEM_ARGS}?-Dweblogic.Name=${SERVER_NAME}?-Djava.security.policy=${WL_HOME}/server/lib/weblogic.policy?${JAVA_OPTIONS}?${PROXY_SETTINGS}?${SERVER_CLASS} 人为停止节点 节点运行过程中 1,2,3,4,12 8 Aug?10