系统故障诊断技术.pdf

系统组件故障诊断系统组件故障诊断 2008年年7月月 PDF 文件使用 pdfFactory Pro 试用版本创建 应用系统应用系统 数据库数据库 中间件中间件 客户端客户端 网络网络 PDF 文件使用 pdfFactory Pro 试用版本创建 系统组件故障诊断系统组件故障诊断 客户端客户端 PDF 文件使用 pdfFactory Pro 试用版本创建 0.4226.5546.1065.541 ecims.si.P_INFO_process (main URL):Action1_Transaction - 新增项目 - ecims.si.P_INFO_process (main URL) 1.76217.38715.08413.108 ecims.si.SSO_USER_LOGON (main URL):Action1_Transaction - 进入业务系统 - ecims.si.SSO_USER_LOGON (main URL) 1.50417.53115.47813.972 ecims.si.E_INFO_process (main URL):Action1_Transaction - 新增项目 - ecims.si.E_INFO_process (main URL) 1.69229.24827.3525.14 ecims.si.E_INFO_process (main URL):Action1_Transaction - 项目选择 - ecims.si.E_INFO_process (main URL) 055.86755.86755.867 (main URL):vuser_init_Transaction - (main URL) 0.00162.85162.85162.851 ecims.s./portal/.cmd/li (main URL):vuser_init_Transaction - ecims.s./portal/.cmd/li (main URL) SDMax.Ave.Min.Measurement Web应用客户 端组件分解 PDF 文件使用 pdfFactory Pro 试用版本创建 系统组件故障诊断系统组件故障诊断 中间件中间件J2EE PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位工具实现机制性能故障定位工具实现机制 PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位工具组件性能故障定位工具组件 lProbe: 部署在应用服务器内部，它收集被监控交易的信息，并 且把数据传给mediator 。 lMediator: 连接Probe与主控台机器 ，Mediator处理交易数 据，并且把数据传到主控台。 lConsole: 显示在线交易数据。. lAnalysis: 显示详细的故障诊断图和报告 注明注明: 尽量不要将Mediator 安装在应用服务器上，因为这样会影 响负载压力测试结果。 PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位主要对象性能故障定位主要对象 PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位主要内容性能故障定位主要内容 l事务执行性能数据 l事务请求性能数据 l方法执行性能数据 l部署层性能数据 l方法调用关系树 l比较不同JVM数据 PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位性能故障定位事务执行性能数据事务执行性能数据 PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位性能故障定位事务执行性能数据事务执行性能数据 PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位性能故障定位事务执行性能数据事务执行性能数据 PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位性能故障定位事务请求性能数据事务请求性能数据 PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位性能故障定位事务请求性能数据事务请求性能数据 PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位性能故障定位方法执行性能数据方法执行性能数据 PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位性能故障定位方法执行性能数据方法执行性能数据 PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位性能故障定位部署层性能数据部署层性能数据 PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位性能故障定位方法调用关系树方法调用关系树 PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位性能故障定位找出有问题的方法找出有问题的方法 entity bean method ProductROEntityBeanBMP.ejbFindByCategory is 39.1 milliseconds,that is, 36.7% of 106.5 milliseconds. PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位性能故障定位跟踪方法对应的跟踪方法对应的SQL语句语句 PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位性能故障定位怎样来使用调用树？怎样来使用调用树？ PDF 文件使用 pdfFactory Pro 试用版本创建 性能故障定位性能故障定位比较不同比较不同JVM数据数据 PDF 文件使用 pdfFactory Pro 试用版本创建 系统组件故障诊断系统组件故障诊断 数据库数据库 ORACLE PDF 文件使用 pdfFactory Pro 试用版本创建 故障分析方法故障分析方法 l错误信息分析（日志文件） l等待事件分析法找出问题SQL l找出耗用资源最多的SQL(即TOP SQL) PDF 文件使用 pdfFactory Pro 试用版本创建 案例分析一案例分析一 现象:数据库CPU资源已经耗尽,大量任务位于运行队列(vmstat) 诊断步聚: 1、TOP命令，查看是否有明显过高使用CPU的进程。 2、检查进程数量,发现进程数较平时偏多，判断是数据库或应用出 了问题，导致任务无法完成，不断累积，从而出现大量队列等待。 3、查看等待事件(v$session_wait)。 4、捕获相关SQL 5、查看执行计划 6、创建新索引消除全表扫描，问题解决 PDF 文件使用 pdfFactory Pro 试用版本创建 案例分析二案例分析二 现象：用TOP命令发现CPU资源占用殆尽，存在很多占用CPU很高的进 程，但是内存和IO的占用率都不高。 诊断步骤： 1、先查看告警日志，没发现什么错误存在。 2、查看占用 CPU资源很高的ORACLE进程在做什么操作。（使用SQL语 句），发现占用CPU资源很高的进程都是执行同一个SQL语句 3、查看等待事件，发现大都是latch free，进一步查询发现这些等待都是由 该SQL语句产生。 4、查看SQL语句的执行计划，发现似乎存在过多的扫描 5、在另一个同样的库上执行该计划，发现有两个索引是不应该走的。检查 表上的索引个数，多出三个索引 6、删除多余的索引，问题解决 PDF 文件使用 pdfFactory Pro 试用版本创建 分析问题分析问题SQL 预备知识预备知识 SQL语句的处理流程 l分析 l定义 l绑定 l执行 l获取（只有在查询中存在） PDF 文件使用 pdfFactory Pro 试用版本创建 分析问题分析问题SQL预备知识预备知识 l硬分析 l软分析 PDF 文件使用 pdfFactory Pro 试用版本创建 分析问题分析问题SQL 预备知识预备知识 ORACLE优化器 l优化器模式 l基于规则的优化器 l基于成本的优化器 PDF 文件使用 pdfFactory Pro 试用版本创建 分析问题分析问题SQL 预备知识预备知识 基于规则的优化器 l使用一组规则和等级系统来确定最有效的执行 语句的方式 PDF 文件使用 pdfFactory Pro 试用版本创建 分析问题分析问题SQL 与问题有关的性能指标 l响应时间 l逻辑读（logical read、物理读(physical read、 结果集行数 l执行成本 PDF 文件使用 pdfFactory Pro 试用版本创建 分析问题分析问题SQL l查看执行计划 lSET AUTO命令 PDF 文件使用 pdfFactory Pro 试用版本创建 SQL优化优化 SQL标准的要求 l语法约定 l限定表 l表别名 l绑定变量 PDF 文件使用 pdfFactory Pro 试用版本创建 SQL优化优化 改进SQL语句的执行 l定期分析表和索引创建索引 l考虑在外关键字上创建索引 l表别名 l使用表联接代替简单的子查询: l考虑对大型表分区并创建局部索引，以避免大型表 扫描 l重写查询 PDF 文件使用 pdfFactory Pro 试用版本创建 故障诊断与调优故障诊断与调优- - - - - 数据库数据库 l常用工具： 1、Oracle提供 日志 视图 OEM Statspack Sql工具(执行计划、会话跟踪) 2、第三方工具 Spotlight For oracle PDF 文件使用 pdfFactory Pro 试用版本创建 STATSPACK介绍介绍 lSTATSPACK使用步骤 lSTATSPACK报告主要内容 PDF 文件使用 pdfFactory Pro 试用版本创建 STATSPACK介绍介绍 STATSPACK使用步骤： l确保参数文件中的job_queue_process大于 0，timed_statistics=true l以SYSDBA登录连接，建立PERFSTAT表空 间 l执行?/rdbms/admin/spcreate.sql命令 l选择不同时段多次执行statspack.snap l执行?/rdbms/admin/spreport.sql PDF 文件使用 pdfFactory Pro 试用版本创建 STATSPACK介绍介绍 STATSPACK报告主要内容 l数据库和实例配置信息 l数据库加载信息 l使用率 lTOP事件 lTOP SQL l系统统计数据 l表空间统计数据 l文件统计 l缓冲池统计 l实例恢复统计 l缓冲池资询统计信息 lPGA聚集咨询统计信息 l回滚段统计信息 l锁存器统计 l内存统计 l修改的初始化参数 PDF 文件使用 pdfFactory Pro 试用版本创建 系统组件故障诊断系统组件故障诊断 应用在网络上的故障诊断应用在网络上的故障诊断 PDF 文件使用 pdfFactory Pro 试用版本创建 工作原理：多工作原理：多个扑抓点，个扑抓点，一一个个分析分析 扑抓点：被动监听数据包来实现实时 数据采集 分析：完成对所跟踪到的数据的分析 PDF 文件使用 pdfFactory Pro 试用版本创建 计算响计算响应应时时间：间：单点单点数据数据获取获取 Internet Web Servers Capture Point Total RT= Internet Time + Server Time 3 secestimate 1 secestimate 2 sec gif Request SND T=00:00 Protocol Layer Responses T=01:00 gif RCV T=03:00 PDF 文件使用 pdfFactory Pro 试用版本创建 计算响计算响应应时时间：间：两点两点数据数据获取获取 Internet Web Servers Total RT= Internet Time + Server Processing/Sending Time 3 sec0.89 sec + 0.31 sec1.8 sec + 0 sec bandwidth effect%, Latency effect % server processing effect %, Server Sending effect % Capture Point Capture Point gif Request SND T=00:00 gif Request RCV T=00:31 Client Server T= 0.31 sec gif RCV T=03:00 gif SND T=02:11 Client Server T= 0.89 sec OSAOSA PDF 文件使用 pdfFactory Pro 试用版本创建 典型典型的故障诊断的故障诊断规则规则：设置设置多多点代点代理理服服务务 l在应用逻辑路径上多点数据采集 l在任何两个节点间进行数据整合，测量分段的响应时间，分析应用故障。 Client Time Internet Time Firewall Time DNS Time Backend Systems Time R R R OSA OSA Internet R OSA Web Server OSA Web Server Time PDF 文件使用 pdfFactory Pro 试用版本创建 典型图表分析举例 PDF 文件使用 pdfFactory Pro 试用版本创建 PDF 文件使用 pdfFactory Pro 试用版本创建 网络结构与Agent的分布 PDF 文件使用 pdfFactory Pro 试用版本创建 会话性能概要图：哪段网络延迟大？带宽对网络双 向性能的影响 PDF 文件使用 pdfFactory Pro 试用版本创建 服务器与客户端之间帧分布图 PDF 文件使用 pdfFactory Pro 试用版本创建 会话的详细内容：服务器与客户端之间传送包统计信息 PDF 文件使用 pdfFactory Pro 试用版本创建 在会话级、线程级、帧级、数据包级观察应用的行为 PDF 文件使用 pdfFactory Pro 试用版本创建 PDF 文件使用 pdfFactory Pro 试用版本创建 负载的高峰时刻 PDF 文件使用 pdfFactory Pro 试用版本创建 错误错误诊断诊断 l错误是怎样影