weblogic中间件通用应急预案

Weblogic中间件（含业务应用）通用应急预案一、 应急处置原则与工作流程国网信息系统中间件主要采用weblogic集群方式部署，通过中间件控制台对各应用节点进行统一管理和监控，本次中间件应急预案以“先抢通、后抢修”为处理原则，首先恢复业务应用，保存相关日志，后期再根据日志进行详细分析和故障定位。weblogic中间件是应用程序的发布平台，相对比较稳定。业务应用均通过weblogic中间件进行发布，通过weblogic中间件的JDBC等配置，实现前端应用和后台数据库之间的交互。因此不管是程序代码问题、硬件问题、数据库问题均有可能体现在weblogic中间件节点异常；并且由于程序代码效率低下、参数配置不当，也会导致weblogic中间件节点异常。这种情况下，重启异常weblogic节点，释放资源，是最快的恢复业务的应急手段。具体原因可以通过备份日志，事后进行分析排查。本应急预案中涉及到的程序包路径，均是根据信通公司weblogic中间件安装规范中指定的路径。如果未按照规范安装的中间件，请电话咨询对应系统专责协助处理。二、weblogic中间件故障应急场景故障应急处理步骤6步：1、 使用IE浏览器访问节点应用确认节点可用性。2、 登陆weblogic控制台确认节点状态。3、 收集故障点日志，备份节点日志。4、 查看节点日志，根据报错信息确定故障原因。5、 根据故障原因，执行应急操作。6、 组织人员进行具体原因分析并整改。三、故障场景Weblogic中间件日志文件中常见错误如下：序号错误信息原因出现时机执行步骤1java.lang.OutOfMemoryError内存溢出节点运行过程中1,2,3,4,5java.lang.OutOfMemoryError 内存溢出节点启动过程中9,122more than the configured time (StuckThreadMaxTime) of 600 seconds线程阻塞节点运行过程中1,2,3,4,53error occured:weblogic.jdbc.extensions.PoolLimitSQLException: mon.resourcepool.ResourceLimitException: No resources currently available in pool dgNonPool to allocate to applications, please increase the size of the pool and retry.JDBC连接池满节点启动过程中6,124BEA- Reachedmaximum capacity of pool “JDB-HQGL” make 0 new resource instances Created 1 resources for pool JDBC Data Source-0, out of which 0 are available and 1 are unavailable.JDBC连接池满节点运行过程中1,2,3,4,5,65Too many open files打开文件超过系统限制节点运行过程中1,2,3,4,5,7,11,126 Server subsystem failed. Reason: weblogic.security.SecurityInitializationException: Authentication for user weblogic deniedweblogic.security.SecurityInitializationException: Authentication for user weblogic deniedweblogic密码错误节点启动过程中8,127/home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/bin/startWebLogic.sh:line180:64034Killed$JAVA_HOME/bin/java$JAVA_VM$MEM_ARGS-Dweblogic.Name=$SERVER_NAME-Djava.security.policy=$WL_HOME/server/lib/weblogic.policy$JAVA_OPTIONS$PROXY_SETTINGS$SERVER_CLASS人为停止节点节点运行过程中1,2,3,4,128权限问题节点启动过程中10,11,129数据库单节点异常，RAC无法全部正常对外提供服务节点运行过程中13,11,1210TheJREwasnotfoundindirectory/usr/java/k1.6.0_38.(JAVA_HOME)PleaseedityourenvironmentandsettheJAVA_HOMEvariabletopointtotherootdirectoryofyourJavainstallation.Java环境变量配置不正确节点启动过程中14,1211Weblogic9版本license未授权节点运行过程中1,2,3,4,5,15,11,1212VM Version 1.5.0_12-b04 from Sun Microsystems Inc. Server failed. Reason: There are 1 nested errors:weblogic.management.ManagementException: Unable to obtain lock on /home/weblogic/bea/user_projects/domains/bzcb_domain/servers/AdminServer/tmp/AdminServer.lok. Server may already be running节点未正常停止节点启动过程中5，11，1213因硬件或者系统故障，应用服务器全部无法启动16四、应急处理步骤1. 使用IE登陆访问对应故障节点应用地址，验证故障现象，防止误告警出现。2. 登录weblogic控制台，确认故障节点名称。使用IE浏览器，访问weblogic控制台http:/IP:端口，根据异常端口号确认异常节点名称，如下图。3. 使用weblogic用户登陆操作系统。4. 备份对应节点日志。$ cd /app/logs/hqgl/server1.log -进入对应日志目录$ cp r server1.log server1.log -按照日期备份节点日志5. 查看节点进程状态。$ ps ef|grep server1 (server1为节点名称)如果返回值为空，如下，则执行步骤12：weblogic 59086 2803 0 22:12 pts/1 00:00:00 grep server1如果返回值不为空，如下，则执行步骤11：6. 增加JDBC连接池上限1) 登陆weilogic控制台，进入JDBC配置页面，修改增加JDBC配置。主要调整initial capacity及maximum capacity两个参数，其中initial capacity表示初始建立的连接数，maximum capacity表示最大的连接数，主要调整增大Maximum Capacity参数，再原有基础上增加20。（具体要根据对应数据库的process上限，要求weblogic节点数*Maximum Capacity值$WL_LOG&tailf$WL_LOG10. 修改文件权限使用root用户登录操作系统# chown R weblogic:bea /app/source_program/hqgl/ -修改程序包的权限#chown R /app/weblogic/Oracle/ Middleware/user_projects/domains/对应domain名称 -修改weblogic相关文件权限#chown R /app/logs/hqgl/ -修改启动日志文件权限11. 停止异常节点进程weblogictest startsh $ kill -9 61658 -停止异常节点进程12. 启动异常节点weblogictest startsh$ cd /home/weblogic/startsh/ -进入启动脚本路径weblogictest startsh$ lsadmin.sh server1.shweblogictest startsh$ ./server1.sh -启动节点13. 修改JDBC连接串如果在数据库单节点或者VIP等集群服务异常时，导致数据库RAC节点无法全部正常对外提供服务时，修改JDBC连接串，让应用节点连接到可用的数据库地址上。登陆weilogic控制台，进入JDBC配置页面，根据数据库专责提供的可用连接串，修改JDBC连接串地址为jdbc:oracle:thin:(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=41)(PORT=1521)(CONNECT_DATA=(SERVICE_NAME=test)(INSTANCE_NAME=test) 14. JAVA环境变量错误Weblogic用户登录系统$javaversion -查询weblogic用户下jdk信息javaversion1.6.0_37Java(TM)SERuntimeEnvironment(build1.6.0_37-b06)JavaHotSpot(TM)64-BitServerVM(build20.12-b01,mixedmode)$whichjava -查询jdk安装路径/usr/java/jdk1.6.0_37/bin/java$ cd /home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/bin $ vi setDomainEnv.sh -按照上面查询的路径结果修改weblogic脚本中的JDK配置SUN_JAVA_HOME=/usr/java/jdk1.6.0_37exportSUN_JAVA_HOMEif$JAVA_VENDOR=Oracle;thenJAVA_HOME=$BEA_JAVA_HOMEexportJAVA_HOMEelseif$JAVA_VENDOR=Sun;thenJAVA_HOME=$SUN_JAVA_HOMEexportJAVA_HOMEelseJAV