weblogic中间件通用应急预案

Weblogic〔含业务应用〕通用应急预案一、应急处置原则与工作流程weblogic集群方式部署，通过中间件把握台对各应用节点进展统一治理和监控，本次中间件应急预案以“先抢通、后抢修”为处理原则，首先恢复业务应用，保存相关日志，后期再依据日志进展具体分析和故障定位。weblogic中间件是应用程序的公布平台，相比照较稳定。weblogicweblogic中间JDBC此不管是程序代码问题、硬件问题、数据库问题均有可能表达weblogic中间件节点特别；并且由于程序代码效率低下、参weblogicweblogic节点，释放资源，是最快的恢复业务的应急手段。具体缘由可以通过备份日志，事后进展分析排查。本应急预案中涉及到的程序包路径，均是依据信通公司weblogic中间件安装标准中指定的路径。假设未依据标准安装的中间件，请询问对应系统专责帮助处理。二、weblogic6步：1IE扫瞄器访问节点应用确认节点可用性。2weblogic把握台确认节点状态。3、收集故障点日志，备份节点日志。4、查看节点日志，依据报错信息确定故障缘由。5、依据故障缘由，执行应急操作。6、组织人员进展具体缘由分析并整改。三、故障场景Weblogic中间件日志文件中常见错误如下：序号错误信息序号错误信息缘由消灭时机执行步骤1java.lang.OutOfMemoryErrorjava.lang.OutOfMemoryError内存溢出节点运行过程中内存溢出节点启动过程中2more than the configured time 线程堵塞节点运行过程中1,2,3,4,59,121,2,3,4,53(StuckThreadMaxTime)of“600“secondserroroccured:weblogic.jdbc.extensions.PoolLimitSQLException:weblogicmon.resourcepool.ResourceLimitException:NoresourcescurrentlyavailableinpooldgNonPooltoallocatetoapplications,pleaseincreasethesizeofthepoolandretry..BEA-000627Reachedmaximumcapacitypool“JDB-HQGL”make0newresourceinstances<BEA-000628><Created“1“resourcesforpool“JDBCDataSource-0“,outofwhich“0“areavailableand“1“areunavailable.ToomanyopenfilesJDBC连接池满节点启动过程中6,124JDBC连接池满节点运行过程中1,2,3,4,5,65翻开文件超节点运行过程中1,2,3,4,5,7,11,12过系统限制6<BEA-000386> <Server subsystemfailed. Reason:weblogic 密码错误节点启动过程中8,127weblogic.security.SecurityInitializationException:Authenticationforuserweblogicdeniedweblogic.security.SecurityInitializationException:Authenticationforuserweblogicdenied/home/weblogic/Oracle/Middleware/user 人为停顿节 节点运行过程中1,2,3,4,12_projects/domains/test_domain/bin/start 点WebLogic.sh:line180:64034Killed${JAVA_HOME}/bin/java${JAVA_VM}${MEM_ARGS}-Dweblogic.Name=${SERVER_NAME}-Djava.security.policy=${WL_HOME}/server/lib/weblogic.policy${JAVA_OPTIONS}${PROXY_SETTINGS}${SERVER_CLASS}8 <Aug10,20231:41:37AMCST><Error><EmbeddedLDAP><BEA-000000><权限问题节点启动过程中10,11,12ErroropeningtheTransactionLog:/home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/servers/server1/data/ldap/ldapfiles/EmbeddedLDAP.tran(Permissiondenied)>9 <Aug10,20233:15:07AMCST><Error><JDBC><BEA-001112><Test“SELE数据库单节节点运行过程中13,11,12CT1FROMDUAL“setupforpool“JDBC无法全部正DataSource-0“failedwithexception:“j常对外供给ava.sql.SQLRecoverableException:Nom效劳oredatatoreadfromsocket“.><Aug10,20233:15:07AMCST><Warning><JDBC><BEA-001129><Receivedexceptionwhilecreatingconnectionforpool“JDBCDataSource-0“:IOError:TheNetworkAdaptercouldnotestablishtheconnection.>10 TheJREwasnotfoundindirectory/usr/java/k1.6.0_38.(JAVA_HOME)Java环境变量配置不正节点启动过程中14,12Pleaseedityourenvironmentandsetth确eJAVA_HOMEvariabletopointtotherootdirectoryofyourJavainstallation.11 <BEA-002621><Connection rejected,theserverlicenseallowsconnections版license未节点运行过程中1,2,3,4,5,15,11,12fromonly5uniqueIPaddresses.>授权12 VM Version 1.5.0_12-b04 from MicrosystemsInc.><2023-8-11下午0450分58CST><Critical> <WebLogicServer><BEA-000362><Serverfailed.Reason:Thereare1nestederrors:weblogic.management.ManagementExce

节点未正常停顿

节点启动过程中 5，11，12ption: Unable to obtain lock on13ption: Unable to obtain lock on13/home/weblogic/bea/user_projects/domains/bzcb_domain/servers/AdminServer/tmp/AdminServer.lok.Servermayalreadyberunning因硬件或者系统故障，应用效劳器全部无16法启动四、应急处理步骤IE登陆访问对应故障节点应用地址，验证故障现象，防止误告警消灭。weblogic把握台，确认故障节点名称。IEweblogic://IP:端口，依据特别端口号确认特别节点名称，如以以以以下图。weblogic用户登陆操作系统。备份对应节点日志。$$cd/app/logs/hqgl/server1.log ---进入对应日志名目$cprserver1.log20230808server1.log 依据日期备份节点日志查看节点进程状态。$$ps–ef|grepserver1(server1为节点名称)12：weblogic590862803022:12pts/100:00:00grepserver111：JDBC连接池上限weilogicJDBCJDBC整initialcapacitymaximumcapacityinitialcapacity大MaximumCapacity参数，再原有根底上增加20〔具体要依据对应数据库的process上限，要求weblogic节点数*MaximumCapacity值<数据库process80%〕如以以以以下图所示：JDBC放数据库连接资源，到达抢通业务的目标。调整操作系统用户翻开文件数量上限使用使用root#vi/etc/security/limits.Confweblogic- nofile10240 增该内容，或者调整该值上限。#suweblogic weblogic$ulimit–Hn 10240修改weblogicweblogic文件。$cd/app/weblogic/Oracle/Middleware/user_projects/domain名称/servers/节点名称/security/$vipertiesUsername=weblogic 登录把握台使用的用户名Password=12345qwertPassword=12345qwert------登录把握台使用的密码，在启动节点后会自动进展加密。调整JVM使用使用weblogic$cd/home/weblogic/startsh/ 进入启动脚本名目$viserver1.sh JVMjava进程内存总和80%。exportUSER_MEM_ARGS=“-Xms2048m-Xmx2048m-XX:PermSize=512m-XX:MaxPermSize=512m“WL_LOG=/app/logs/hqgl/server1.lognohup/home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/bin/startManagedWebLogic.shserver1 ://:7001>$WL_LOG&tailf$WL_LOG修改文件权限使用使用root#chown–Rweblogic:bea/app/source_program/hqgl/----修改程序包的权限#chown–R/app/weblogic/Oracle/Middleware/user_projects/domains/domain称 修改weblogic相关文件权限#chown–R/app/logs/hqgl/ 修改启动日志文件权限停顿特别节点进程weblogic@testweblogic@teststartsh]$kill-961658----停顿特别节点进程启动特别节点weblogic@testweblogic@teststartsh]$cd/home/weblogic/startsh/[weblogic@teststartsh]$ls--进入启动脚本路径admin.shserver1.sh[weblogic@teststartsh]$./server1.sh ---启动节点修改JDBC假设在数据库单节点或者假设在数据库单节点或者VIPRAC效劳时，修改JDBCweilogicJDBCJDBC连接串地址为jdbc:oracle:thin:@(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=41)(PORT=1521)))(CONNECT_DATA=(SERVICE_NAME=test)(INSTANCE_NAME=test)))Weblogic$java –version --------查询 weblogic 用户下 jdk 信息javaversion“1.6.0_37“Java(TM)SERuntimeEnvironment(build1.6.0_37-b06)JavaHotSpot(TM)64-BitServerVM(build20.12-b01,mixedmode)$whichjava --- 查 询 jdk 安 装 路 径/usr/java/jdk1.6.0_37/bin/java$cd/home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/bin$visetDomainEnv.sh weblogic脚本中的JDKSUN_JAVA_HOME=“/usr/java/jdk1.6.0_37“exportSUN_JAVA_HOMEif[“${JAVA_VENDOR}“=“Oracle“];thenJAVA_HOME=“${BEA_JAVA_HOME}“exportJAVA_HOMEelse

if[“${JAVA_VENDOR}“