weblogic中间件周报

1、中国移动江苏公司Weblogic健康优化建议报告报告人：赵伟杰报告日期：2013年08月27日审核人：审核日期： 中国移动通信集团江苏有限公司上周对应用系统进行巡检，问题主要存在于决策管理与局长平台两个系统中。主要工作说明存在问题与优化：管理决策应用启动时存在servlet加载过程出错，影响启动速度；决策管理JDK版本差异可能导致受管服务经常自动断开与主控的连接; 局长平台JVM进行GC优化。故障解决：管理决策应用首页报表无法显示的问题。详细的巡检报告如下决策管理系统一、存在问题1. 管理决策应用启动时存在Servlet加载过程中出错应用日志 - Job execution threads w

2、ill use class loader of thread: main- Quartz Scheduler v.1.5.1 created.- RAMJobStore initialized.- Quartz scheduler DefaultQuartzScheduler initialized from default resource file in Quartz package: perties- Quartz scheduler version: 1.5.1问题定位根据错误的信息判断是由于应用启动的时候加载QuartzInitializer这个servlet，这

3、个servlet有初始化quartz定时任务的作用，在perties中定义了使用的数据源：myDS ,但是WebLogic中是没有配置这个数据源的，因此报了相关的错误，请开发公司核对一下这些错误信息，既然这个数据源不起作用，请在配置文件或者程序中去掉对这个数据源的加载，以免影响应用的启动速度。2. 决策管理JDK版本差异可能导致受管服务经常自动断开与主控连接决策管理系统分别安装在6与6两台AIX操作系统的机器上，通过监控发现经常会出现受管的服务与主控断开连接，导致主控无法对受管的服务进行连接检测、监控、发布等操作。应用日志# 问题

4、定位经过系统的检查，发现WebLogic集群中使用了不同版本的JDK，由于不同的JDK的存在不一样的BUG，提升与改善了一些特定的性能，因此估计是由于两台机器所使用不同JDK造成的受管服务经常与主控断开连接，现两台机器使用JDK情况如下IP地址JDK版本6java version 1.4.2Java(TM) 2 Runtime Environment, Standard Edition (build 1.4.2)Classic VM (build 1.4.2, J2RE 1.4.2 IBM AIX build ca142-20080923 (SR12) (JIT enab

5、led: jitc)6java version 1.4.2Java(TM) 2 Runtime Environment, Standard Edition (build 1.4.2)Classic VM (build 1.4.2, J2RE 1.4.2 IBM AIX build ca142-20070317 (SR8) (JIT enabled: jitc)建议升级6操作系统的JDK，使其版本与6的JDK所使用的版本一致。二、故障1.决策管理首页报表无法显示访问决策系统，首页的报表无法显示，查看应用日志得到WARNING: .

6、ConnectException: Connection refusedjava.sql.SQLException: .ConnectException: Connection refused at oracle.bi.jdbc.AnaJdbcDriver.connectToNQSNode(AnaJdbcDriver.java:413) at oracle.bi.jdbc.AnaJdbcDriver.connect(AnaJdbcDriver.java:439) at java.sql.DriverManager.getConnection(DriverManager.java:559) at

7、 java.sql.DriverManager.getConnection(DriverManager.java:189) at oracle.apps.xdo.security.SasValidator.validate(SasValidator.java:129) at oracle.apps.xdo.security.SasValidator.validate(SasValidator.java:116) at oracle.apps.xdo.security.SasValidator.validate(SasValidator.java:111) at oracle.apps.xdo.

8、servlet.security.SecurityManagerImpl.getBIServerPrincipal(SecurityManagerImpl.java:1172) at oracle.apps.xdo.servlet.security.SecurityManagerImpl.getPrincipal(SecurityManagerImpl.java:327) at jsp_servlet._login._jspService(_login.java:398) at weblogic.servlet.jsp.JspBase.service(JspBase.java:33) at w

9、ernal.ServletStubImpl$ServletInvocationAction.run(ServletStubImpl.java:1006) at ernal.ServletStubImpl.invokeServlet(ServletStubImpl.java:419) at ernal.TailFilter.doFilter(TailFilter.java:28) at ernal.FilterChainImpl.doFil

10、ter(FilterChainImpl.java:27) at oracle.apps.xdo.servlet.security.SecurityFilter.doFilter(SecurityFilter.java:160) at ernal.FilterChainImpl.doFilter(FilterChainImpl.java:27) at ernal.RequestDispatcherImpl.forward(RequestDispatcherImpl.java:326) at oracle.apps.x

11、do.servlet.security.SecurityFilter.doFilter(SecurityFilter.java:176) at ernal.FilterChainImpl.doFilter(FilterChainImpl.java:27) at ernal.WebAppServletContext$ServletInvocationAction.run(WebAppServletContext.java:6724) at ernal.Authenti

12、catedSubject.doAs(AuthenticatedSubject.java(Compiled Code) at weblogic.security.service.SecurityManager.runAs(SecurityManager.java(Compiled Code) at ernal.WebAppServletContext.invokeServlet(WebAppServletContext.java:3764) at ernal.ServletRequestImpl.execute(Se

13、rvletRequestImpl.java:2644) at weblogic.kernel.ExecuteThread.execute(ExecuteThread.java(Compiled Code) at weblogic.kernel.ExecuteThread.run(ExecuteThread.java:178)Aug 22, 2013 10:50:57 AM oracle.bi.jdbc.AnaJdbcDriver connect问题定位分析原因可能是由于应用需要连接某一特定的服务被拒绝导致，去查看部署应用的web.xml文件，得到以下内容SAWBridgecom.siebel.

14、analytics.web.SAWBridgeoracle.bi.presentation.sawserver.Host6oracle.bi.presentation.sawserver.Port9710 确定本应用需要连接本机的9710端口，但查看之后发现本机的9710端口并没有被使用，和开发公司沟通得知，此为BIEE的服务。解决通过重启BIEE的服务系统已经恢复正常。分析BIEE服务停止的原因： 使用uptime 看到操作系统运行时间为8天， 想到这是由于上周调整数据库资源时重启这个操作系统导致的，建议维护BIEE服务的工作人员，定时检查BIEE服务的运行状态。局长平

15、台一.对局长平台JVM进行GC优化GC日志17.537: GC 17.537: ParNew: 393215K-39216K(458752K), 0.1084250 secs 393215K-39216K(1470464K), 0.1085510 secs20.876: GC 20.876: ParNew: 432432K-21071K(458752K), 0.1903290 secs 432432K-40862K(1470464K), 0.1904330 secs23.465: GC 23.465: ParNew: 414287K-13255K(458752K), 0.0792040 sec

16、s 434077K-33046K(1470464K), 0.0793040 secs24.391: GC 24.391: ParNew: 406471K-13771K(458752K), 0.0310160 secs 426262K-33561K(1470464K), 0.0311460 secs29.740: GC 29.740: ParNew: 406987K-18716K(458752K), 0.0693540 secs 426777K-38506K(1470464K), 0.0694530 secs30.161: Full GC 30.161: ParNew: 56852K-13635

17、K(458752K), 0.0438380 secs30.205: CMS: 19790K-33354K(1011712K), 0.4998790 secs 76643K-33354K(1470464K), CMS Perm : 34070K-34000K(262144K), 0.5439120 secs90.732: Full GC 90.733: ParNew: 391640K-12418K(458752K), 0.0844650 secs90.817: CMS: 33354K-45142K(1011712K), 0.5793540 secs 424995K-45142K(1470464K

18、), CMS Perm : 38480K-38452K(262144K), 0.6640360 secs151.415: Full GC 151.415: ParNew: 5805K-110K(458752K), 0.0047490 secs151.420: CMS: 45142K-41259K(1011712K), 0.5500330 secs 50948K-41259K(1470464K), CMS Perm : 38465K-38462K(262144K), 0.5549870 secs内存使用状况问题定位系统运行的过程中不断的进行FGC，而且过于频繁，查看GC日志是由于permgen区

19、导致的FGC进行。查看内存的使用状况，permgen区的使用量并不大，不是由于permgen区不足导致的FGC。 和开发人员沟通得知系统底层框架有用到spring、hibernate。由于spring和hibernate大量的采用了cglib，导致生成的proxy会比较多，而这些存放在permgen区域的，Sun JDK默认的情况下并不会去回收，因此出现了较为频繁的FGC。频繁的进行FGC反映到前台的具体表现为：打开页面会频繁的出现卡顿的现象。优化增加对permgen区域的gc回收的参数: -XX:+CMSPermGenSweepingEnabled -XX:+CMSClassUnloadingEnabled，优化后的效果如下2296.620: GC 2296.620: ParNew: 26468K-250K(29504K), 0.0040210 secs 97819K-71603K(1532736K), 0.0041100 secs2299.196: GC 2299.196: ParNew: 26490K-278K(29504K), 0.0038650 secs 97843K-71632K(1532736K), 0.0039520 secs2301