（计算机软件与理论专业论文）基于统计分析的企业应用性能监控管理与故障预测.pdf

基于统计分析的企业应用性能监控管理与故障预测 专 业：计算机软件与理论 硕士生：吴宇明 指导教师：李磊教授、陆勇讲师 摘要 本文针对企业内部信息系统的硬项关键应用：基于d o m i n o 的文档数据库 o a 系统和s q u i d 的p r o x y 代理系统，进行性能应用监控和基于线性回归的性能 统计分析的研究工作，从而为系统的故障预测和扩容分析提供依据。 本文首先介绍了该项目的背景及总体概况，然后归纳分析了应用性能监控的 各种途径和对利用统计分析进行性能监控的数学原理进行了较深入的研究，并通 过对数学模型的分析建立了统计模型，并整理了此模型的各个具体实现流程，为 之后的系统实现打下了坚实的理论基础。 然后介绍了监控系统的具体实现，详细分析包括了系统总体设计，各模块设 计和具体实现技术，包括了逻辑结构，物理结构，网络结构，各模块接口等实现 内容。 最后，根据系统上线运行的实际情况，给出了系统运行的情况报告和研究的 成果，得出我公司内部o a 系统和p r o x y 系统的性能近似线性统计分析公式，分 析评价研究的成果，总结了该系统目前的存在局限和问题，并归纳了该系统对于 其他信息系统监控的推广应用模式。 关键词：统计分析性能监控故障预测 第1 页 t i t l e ：s t a t i s t i c sb a s e d e n t e r p r i s ea p p l i c a t i o n p e r f o r m a n c em o n i t o r i n gm a n a g e m e n ta n df a i l u r e f o r e c a s t i n g m a j o r c o m p u t e rs o f t w a r ea n dt h e o r y n a m e ：w uy um i n g s u p e r v i s o r ：l e c t u e rl uy o n g ，p r o f e s s o rl il e i a b s t r a c t mt h i sp a p e r , w ed os o m ep r a c t i c a lw o r k so ns y s t e mp e r f o r m a n c em o n i t o r i n ga n d s t a t i s t i c a la n a l y s i so nt h et w oc r i t i c a l s e r v i c ei no u rc o m p a n y , i n c l u d e dd o m i n o b a s e do aw o r k f l o ws y s t e ma n ds q u i db a s e dw e bp r o x ys y s t e m ，s oa st op r o v i d ef u l l a n da c c u r a t ep e r f o r m a n c ed a t af o rf u t u r ef a i l u r ef o r e c a s ta n dh a r d w a r ee n h a n c e m e n t e v a l u a t i o n ， f i r s t ，w ei n t r o d u c et h ep r o j e e ta n di t sb a c k g r o u n d ，t h e nw ee x p l o r ed i f f e r e n t w a y so fm o m t o f i n gas y s t e me f f e c t i v e l ya n dm a k eq u i t ea l o tr e s e a r c ho nt h es t a t i s t i c a n a l y s i sm e t h o d o t o g yw ea d o p th e r e h e n c ew e 啪s e tu paf e wr u n n i n gp r o c e s s a c c o r d i n gt ot h em a t h e m a t i c a lm o d e l ，t h u st oi n a k eag o o dt h e o r e t i c a lf o u n d a t i o nf o r f u r t h e rr e s e a r c h s e c o n d ，w eb r i n go u tt h ei m p l e m e n t a t i o no ft h ep r o j e c t ，i n v o l v e ss y s t e mo v e r a l l a r c h i t e c t u r ed e s i g n ，l o g i cl a y o u t ，p h y s i c a ls t r u c t u r e ，i n t e r f a c eo f e a c hm o d u l e s e t e f i n a l l y , a c c o r d i n gt ot h en a n - t i m eo f t b es y s t e m w 君d i s c u s st h ea n a l y t i c a lr e p o r t a n df r o mt h ea n a l y s i s ，w eo b m i ns o m ee m p i r i c a lp e r f o r m a n c er e l a t e dl i n e a rf o r m u l a s a n df u l l yd i s c u s st h e s ee q u a t i o n s t h er e s u l ti n d i c a t e dt h a te m p i r i c a lr u l e sa r eh e l p f u l f o rt h ep e r f o r m a n c em o n i t o r i n ga n df o r e e a s t i r t g a l s o , w cf o u n ds o m el i m i t a t i o n so f t h es y s t e m a tl a s tw ec o n c l u d et h em o d et oe x t e n dm l rs y s t e mt om o n i t o ro t h e r1 t s y s t e m k e y w o r d s ：s t a t i s t i cp e r f o r m a n c em o n i t o rf a i l u r ef o r e c a s t i n g 第1 i 页 基于统计分析的企业应用性能监控管理与故障预测 1 项目背景 ，项目介绍 随着日益增加的业务需求，广东移动实施了许多关键的企业应用软件系统。 这些系统能否正常、准确地运行往往对于广东移动的日常业务以及生产、运营 起着至关紧要的作用，直接影响到企业的盈收。 为了提高企业应用软件系统的稳定性和性能，有必要将与应用相关的网络、 主机、操作系统、数据库、运行环境、应用软件等综合起来，更全面的衡量整 个应用软件系统的性能，并以此作为出发点进行监控和分析。 目前数据中心主要使用相对孤立的网管系统，在网络层监控网络设备的状 态和流量等。但对一个企业应用系统而言，所有予系统( 包括应用环境和应用 组件) 都会影响到整个系统的性能，需要对这些子系统的性能做综合管理。目 前我公司在信息系统监控方面的问题可归纳如下； 1 ，信息中心对r r 系统的监控主要集中在单一的层次上，主要针对网络和系 统，监控系统之间孤立存在、缺乏联系，不利于向面向服务和面向用户的管理 模式转换。 2 ，现有系统缺乏对应用环境和应用本身的监控，没有建立准确的针对应用 的性能模型和分析模型；缺乏对应用的直接监控，从而不利于对问题快速定位； 对于关键应用，往往被动地响应问题，而非主动的寻找问题；无法实现精确的 趋势分析，从而支持r r 系统规划。 3 ，缺乏可全面推广实施的应用性能管理解决方案，缺乏可工程化的、实用 的应用性能管理和分析手段 第1 页 随着软件设计水平的提高和模型分析的进一步应用，国外已经开始进行这 方面的研究，尤其是一些电信运营商和服务提供商，正在或已经着手实施这类 系统，从而提高其服务水平和竞争力。可以肯定的是，随着企业应用的进一步 复杂化，实施该研究项目和管理系统具有相当的必要性和前瞻性。 2 研究背景 广东移动的关键企业应用系统包括办公自动化系统( o h 系统) 、互联网访问 系统( p r o x y 系统) 、财务系统、客服系统、计费系统、运营支撑系统( b o s s ) 、 网络管理系统等等。 企业应用系统的重要特点是它们不再孤立地存在。企业应用系统的子系统往 往分布在不同得服务器和子网上，并可以披不同的企业系统软件调用。其数据和 操作可在企业环境下实现共享，并在不同企业应用系统之间基于一定的规则相互 关联，使企业内部的资源得到了充分利用，提高工作和管理效率，降低企业运营 成本。 企业应用系统功能的增强和集成同时也大大增加了企业应用软件系统的复 杂程度。应用系统的使用和管理往往跨越部门和跨越不同的领域。但目前所使用 的管理系统和手段仍停留在管理单一系统和设备的水平上，不具备统一管理和分 析的能力。一旦某个应用系统出现问题，往往需要多个部门之间的协作和会诊才 能共同排除问题。因而不能快速有效地对问题定位和提供解决方案。这样不但造 成了人力资源的浪费，更影响了企业业务的正常运行。同时，企业应用的性能也 不再是孤立的子系统的性能，而是与网络，服务和应用等多层次性能相关的复杂 组合。 如何管理，分析和优化企业应用的性能是一个具有挑战性的课题。管理和优化的 目标已从简单满足网络的需求转为满足应用的需求。 具体来说，电信运营商现有的针对企业应用系统的管理方法有以下的不足之处： 第2 页 1 ) 缺乏完整的、统一的针对企业应用的管理系统。 企业应用系统一般是建立在多层的结构上，包括系统环境( 硬件设备、操作系统 等) 、网络环境，应用环境( 通用软件平台，w e b 服务器、数据库等) 、应用软件、 业务流程等。对应用性能的管理往往不是孤立在某一层次，因为任何部分出现问 题，都将影响整个应用系统的运行。现有工具往往只针对具体的网络设备或系统， 由不同的厂商提供。由于只能对特定的、局部的系统进行监控，难以对整体应用 系统的状态和性能有准确的了解，遗漏了许多需要监控的关键部分，如对应用环 境的监控和对业务流程的监控等。 2 ) 缺乏对应用性能的基本的管理和监控手段 包括：没有定义适当的应用性能模型；不能检测应用环境和软件本身所出现的问 题而及时告警；在出现问题时，没有有效的手段来区分和隔离网络问题、系统问 题与应用问题；不能对应用性能的变化趋势进行分析和预警。虽然系统和网络以 及应用环境的厂家提供了一些监控接口，但所提供的信息往往是局部的和不全面 的，缺乏关联性。从而难以形成结论，用户不能使用或难以使用。而对用户自行 定义开发的系统，现有系统往往不具备监控能力。应用软件模块和组件为应用的 重要部分。随着其复杂性的增加，其出错的机率也随之增加。对其进行实时监控 的必要性也大大增加 3 ) 缺乏对应用性能的分析手段和方法 由于缺乏在不同层次( 资源层、服务层和业务层) 之间的关联( 如网络k p i 与服 务质量、应用质量的关联) ，从而无法从对应用的角度，进行检错，以及对支持 应用的网络结构和网络设备进行优化和分析。从而使得现有的查错和网络优化方 法带有较大的盲目性。 4 ) 缺乏对应用系统结构的整体分析能力。 应用系统可通过应用拓扑、应用业务流程、应用性能模型等方法来描述。只有在 建立应用系统结构模型的基础上，才能对应用作有效的和系统的管理和性能分 析。 5 ) 缺乏对整个企业系统应用流程的实时监控、实时报警、预警、以及性能分析 第3 页 的能力。 端到端的业务流程是最终客户所使用的和可感知的。业务流程的管理是应用 层管理的重要部分。通过业务流程，可以把用户使用和网络资源联系起来。 3 国内外有关技术背景 对于变化中i t 系统，过去单一的网管专用系统已经满足不了不断发展的对 新的i t 管理的需求。这个需求反映在应用和业务的多样性、企业应用系统集成 ( 队i ) 和错综复杂的企业应用环境等。同时，i t 管理的目标也发生了根本的变 化，从过去的被动监控网络设备到更好地为用户提供高质量的服务。这对于i t 管理系统提出了更高的和更为全面的要求。 国际上知名的系统管理厂商，如美科利、惠普、i b m 、q u e s t 、b m c 、c o m p u w a r e 等，都逐渐将企业系统管理的重点转移到应用和服务的管理以及对应用性能的监 控和分析上来，并推出了相应的解决方案。国内厂商目前尚停留在对网络和系统 的管理层次尚，但也逐渐认识到对应用和服务的综合管理的重要性上。可以预见 的是，未来3 年至5 年内，将有越来越多的依赖i t 系统产生核心价值的企业， 使用应用管理来提高服务质量。 应用管理技术或应用性能管理技术可以分为以下几种类型： 1 研发阶段的应用管理和应用性能评估：主要针对研发阶段的功能和 压力测试。美科利是这个领域具有代表性的厂商之一 2 运行期间的应用管理和应用性能监控：主要提供实时监控和分析。 但产品大多对于监控环境和软件类型有一定的要求。如i b m t i v o l i 、b m c p a t r o l 可以对j 2 e e 或o r a c l e 数据库做监控和分析。这样的监控技术一 般要求软件运行环境特殊设置，或支持某些管理协议。如j 2 e e 的j m x 支持等。 第4 页 3 离线性能分析：提供工具分析网络、系统、应用和安全。这样的工 具往往只能做离线的操作。 目前只有国外的一些主要厂商提供和应用相关的性能管理和监控系统外。多 为对应用系统的监控，很少能做到对应用系统的模型分析和趋势预测分析。其他 管理软件厂商，基本是针对网络和系统的管理。在原有技术的基础上，扩展原有 的管理方法。由于实现方法比较陈旧，功能扩展受到限制。而国外厂商由于没有 办法做到根据客户的情况灵活定义模型、采集数据、定制管理和分析方案，无法 跨越在系统分析、设计和实施上的障碍。目前尚无法适应广东移动复杂的应用环 境。同时，计算机工程、微电子学与计算机等刊物上已刊登有基于统计 分析的网络性能管理与故障预测和基于回归分析的网络性能管理等论文 应用了回归分析统计模型对网络性能管理等进行了详细的论述本项目借鉴了其 中一些相关的统计分析方法和思路，对服务器的应用性能和提供的服务进行了深 入的分析，具有一定的研究价值。 4 项目概况 此项目于2 0 0 6 年6 月初启动，该研究项目是为了监控和分析广东移动信息 中心所管理的应用系统的性能而实施的，其目标如下： 1 ， 完成对现有的o a 系统和互联网访问系统的模型建档( p r o f i l e 、资源模 型、性能模型) ； 2 ，实时监控和分析0 a 系统和互联网访问系统的应用性能： 3 ，研究可推广实施的性能管理、监控和分析解决方案以及实施流程，作为 今后信息中心工作的技术积累之一 4 ，建立基本的用于信息中心应用性能分析的数据采集、整理、分析、存储 和分析机制 5 ，逐步建立可用于性能管理的设计、分析、运维和评测平台，并实施软件 系统原型。 研究对象如下： 1 ，互联网访问应用系统( 备份系统) 一操作系统 s o l a r i su n i xs e r v e r w i n d o w ss e r v e r 一应用服务器 d n s ：i s cb i n d8 ( f o rs o l a r i s ) 第5 页 l d p ：s u no n ed i r e c t o r ys e r v e r5 2 ( f o rs o l a r i s ) p r o x y ：i p l a n e tw e bp r o x ys e r v e r3 6 ( f o rs o l a r i s ) 一应用和业务 互联网访问 2 ，o a 应用系统( 测试系统、正式系统) 一操作系统 s o l a r i su n i xs e r v e r 一应用服务器 l o t u sd o m i n o5 0f o rs o l a r i s 一应用和业务 所有o a 系统所支持的业务 本次项目需求调研、确认需时较长，从建立研究模型到产生分析方法共花了 一个多月，概要设计和详细审计评审共持续了一个月，2 0 0 6 年1 0 月，系统上线 测试运行，至2 0 0 7 年1 月系统运行基本正常，并对o a 系统和p r o x y 系统进行了 3 个月的监控，收集了大量第一手的系统运行数据，达到了预期效果，并产生了 一系列的性能预测线性公式，经过维护人员的讨论验证，产生结果基本与实际及 经验相符。在项目的初验会议上，提出了项目的可扩展性，除了目前监控的两个 以v e b 应用服务为主的系统之外，还可以扩展到其他提供数据库、中间件、w e b s e r v i c e 等服务的i t 系统，为整个信息系统的持续运行提供完整的监控和故障 预测服务。 5 研究内容 该科研项目主要研究如何管理和分析信息中心所管理的关键业务( 互联网访 问和o a 系统) 的性能，并产生相应的软件解决方案。研究内容包括应用性能模 型、业务流程模型、性能监控和分析的方法、系统实现平台、以及应用管理规范 等。 该科研项目的研究成果( 如模型和报告) 实现在b a m s ( b u s i n e s sa p p l i c a t i o n m a n a g e m e n ts y s t e m ) 系统中。b a m s 是一个综合管理平台，其主要功能如下： 1 定义企业应用( 0 a 访问和互联网访问) 的资源和性能模型： 根据应用系统的实际业务特点，定义业务流程，包括因特网访问流程、 o a 系统访问流程以及业务流程的分解模型。定义和发现企业应用的结构 框架，包括组成应用的各个层次之间的拓扑关系( 包括逻辑拓扑，服务 第6 页 拓扑，应用拓扑，和物理拓扑) ；建立与应用相关的网络层和系统层的关 联：提供支持应用系统结构分析的工具。 2 业务流程和应用性能监控、分析和管理 提供对业务流程( o a 访问和互联网访问) 的性能管理和监控通过应用 性能模型，对应用组件进行分段监控。可以采用直接监控、模拟测试和 统计分析的方法。对业务流程进行实时性能跟踪。通过分析业务流程的 性能瓶颈，从而提供系统和业务流程优化的依据。支持积极的预防性的 应用管理。从而产生可重复使用的性能分析、容量预测模型、方法和流 程，作为今后数据中心工作的技术积累之一 3 相关的应用环境的性能监控和管理 目前可监控和管理的应用环境包括l o t u sd o m i n o 、s u ni p l a n e t 、s u n l d a p 、n e t s c a p ed n s 、m si i s 等，以后将延伸到o r a c l e 、s o ls e r v e r 、 w e b l o g i c 、j b o s s 等应用。 4 模拟测试功能 通过远程客户端测试代理( a g e n t ) 实时测试应用系统性能；支持触发式 测试和周期性测试；可远程管理测试代理，设置测试模式。研究成果包 括了如何定义测试模型、指令、记录等。 5 统计分析功能 提供用于统计分析的模型、数据接口、建模和分析操作以及统计分析报 告功能。 6 性能报告 提供针对业务流程以及相关的具体资源( 设备、环境、应用组件) 的性 能报告。在完善的应用拓扑的业务流程的基础上，提供各个子系统的运 行情况、运行环境的统计以及整体或个体的性能和监控报告以及趋势分 析报告。 7 运行平台和设计平台 该项目提供了完整的综合性能管理平台和模型设计平台( m o d e ld e s i g n s t u d i o ) 。为未来扩展功能打下良好的基础。 第，页 1 研究方法 二，系统运行模型设计 我们先来分解一下研究对象，为此需先建立一个应用流程的模型，要求该模 型能真实反映实际业务应用的操作；模型需要达到理论和实际可操作性之间的平 衡；模型在实际工作中具有实际指导意义。因此，我们可以把该流程模型分层讨 论，我们可以分为三层： 曲l o ( 端到端层) ：体现了应用和业务系统的黑箱性能 b 1l 1 ( 基本分析层) ：体现了应用流程系统细分后的基本操作的性能 曲l 2 ( 细节分析层) ：体现了对构成基本操作的组件的进一步分析，用于 更为细节的根源分析 对p r o x y 代理系统的分析可表示如下图： 第8 页 图2 1 根据化繁为简的原则，对如下两个方面做了简化处理： 1 根据p r o x y 服务器的工作原理，打开一个浏览器时，【4 】和【5 】 两步输入用户名和密码操作只需要第一次输入，用户名和密码会i 晦 时保存在p r o x y 服务器，每次和l d a p 的认证会使用临时保存的用 户名和密码； 2 p r o x y 服务器内部具有缓存检索机制，事实上并非每次访问互联网 站点都会有 8 1 9 1 两步操作。为简便处理，我们假定每次都访 问了互联网站点。 并对该流程的分解表示如下： 第9 页 图2 2 同理，o a 系统的访问流程可表示如下图： d n s , 3 艮务器 、 ，终端、 i ； 、用户 寺 、龟- - 洲* 垂翻 可以分层分解如下： 图2 3 第1 0 页 o ad o m i n os e r v e r 客户端o a 系统 图2 - 4 应用流程由多个流程段以及和流程段相关联的资源组成。分析出了各层次 后，就可以利用深度交易( d c e pt r a n s a c t i o n ) 分析法来找出关键业务流( c r i t i c a l b u s i n e s sf l o w ) 。然后以操作流程( 段) 作为性能管理的基本单位，确定应用流 程的组成( 流程段) 以及相互的关联关系；确定每个流程段的性能指标和性能分 析方法( 每个流程的性能可以采用不同的方法，独立评估) 。性能分析方法可分 为确定性和非确定性分析方法，归纳如下 幻模拟测试：模拟用户操作对端到端流程或具体的流程段进行测试 模拟测试技术是一种对应用系统的黑盒测试的方法，可对用户的真实体验做 直接的评估和监控，先于用户发现应用系统问题或者应用环境的问题。模拟 测试可以用来测试整体( 如端到端) 和个体( 流程分段) 的性能。其技术原 理是利用“模拟代理”模拟一个业务动作或业务流，完成跟踪测试，可以在 用户端安装一个轻型代理程序测试代理( a c t i v e a g e n t ) ，可被b a m s 集中管 理，用于触发、同步数据采集、关联分析，并支持远程管理支持。最终，可 以记录模拟操作记录，预先记录所模拟的操作，自动回放( p l a y b a c k t 0 0 1 ) 。 其图示意如下： 第l l 页 测试模型如下： 图2 5 图2 6 测试代理 指部署到各个区域的测试模块。在测试代理中，可以指定所在的位置、 使用哪种策略进行测试等信息。当测试代理被启动之后，会按照定义的逻辑 进行测试 测试策略 指具体使用的指令集情况、测试时间间隔、测试次数。如果该策略中测 试次数大于l ，则记录下来的测试结果数据为平均值，减少了因为一次测量 中异常值的影响 第1 2 页 一测试指令集合 按照用户访问某一w e b 业务系统的一般操作流程，预先设置的有序的指 令集合。在指令集合中，指定业务系统的主机、是否使用代理服务器、使用 安全机制的方式等信息 一测试指令 访问指令，大致可以分为g e t p o s t 两种类型 工作示意图如下： 图2 7 m 直接监测：使用数据采集软件采集性能数据的分析方法，直接监控指从资 源上直接采集与性能相关的数据。监控方法包括：管理协议：s n m p 、w m i 、 s y s l o g 、p i n g 、r m o n 、n c t f l o w ；日志数据读取；数据库表访问；日志分 析技术，是得到确定性的分析结果的有效手段之一大多数设备( 如应用服 务器、安全设备等) 都支持详细的操作日志，可以和用户行为直接关联起来， 但需要严格定义日志的结构和深入理解日志的内容。 示意图如下： 第1 3 页 图2 8 西统计分析：采用统计推测方法，利用应用性能模型和统计模型估测在某 一精确度下的组件性能，统计分析模型研究，用于“非确定性”性能指 标的分析。即目标性能指标不直接可测并且不直接可计算时，通过其他 确定性性能指标的推导分析。另外还可以进行关联性分析：建立“非确 定性”性能指标和确定性性能指标( 可测定变量) 之间的统计关联。必 须经过数据采集阶段，即：实验设计、抽样、理解，然后进行数据关联 性分析：根据数据关联性筛选数据。最后进行回归分析：确定选择回归 方程，以及回归方程所涉及到的参数。根据模型的状态信息，又可以分 为静态模型：根据历史数据指定的模型，不需要在实时时作调整；动态 模型：实时采集数据和制定模型；混合模型：采用静态模型。但在实时 时作调整。 在广东移动的应用系统中，目前研究的主要是互联网访问系统和o a 系统， 数据来源主要是两个系统相关的网络性能数据、主机性能数据、应用系统性能数 据。 在系统中，主要对这些数据进行相关分析进行数据筛选，然后利用回归分析 原理建立回归模型，并利用结果进行预测监控和告警。 分析数据来源来自以下两个方面： 第1 4 页 l ，0 a 系统 因变量y ：0 a 系统的总体响应时间 自变量x l ：( b m c 监控数据) 主机： c p u ： c p u c p u u t i l c p u i d l e t i m e c p u i d l e t i m e c p u r u n q s i z e c p u s y s t t m e ，c p u u s 盯t i m c c p u w i o m e m o r y m e m f r e e m e m m e m l r e a d m e m l w r t m e m p a g e l n m e m p a g e o u t m e m p a g e s c a n n e d m e m p f a u l t m e m p r e a d m e m p r e a d m e m w c a c h e d i s k ： d s k a v g q u e u e d s k a v g s e r v d s k b p s d s k p e r c e n t b u s y d s k r d d s k r e a d w r i t e d s k t p s d s k w d t e f i l e s y s 卫b m ： f s a v a i l a b l e s p a c c f s c a p a c i t y 应用服务器： n o t e s s r d b n u m b e r o f d b t o t a l s i z e s e r v e r l o a d s e r v e r r e s p o n s e t r a n s a c = t i o n s v e r s i o n m a t c h n o t e s t a t s e r v e r o p e n r e q u e s t t r a m u s e r s w o r k t h r e a d s n o t e s t a tn e t s e s s i o n s e s t a b l i s h e d i n c o m i n g s e s s i o n s ，e s t a b l i s h e d o u t g o i n g n o t e s t a t m e m o r y ： a l l o c a t e m p r o c e s s a l l o c a t e d s h a r e x l a l l o c a t e x t n o t e s t a td i s k a n a 【y s i s f r e e s i z e 应用程序： g m c c o a m o m e p a g e n s f 第1 5 页 d b l o a d d b r e s p o n s e l a c k o f a c t i v i t y l n d b s i z e w h i t e s p a c e w h i t e s p a c e k b g m c e o a s l o g i n n s f ： d b l o a d d b r e s p o n s e l a e k o f a e t i v i t y l n d b s i z e w h i t e s p a e e w h i t e s p a e e k b g m e c o a n a m e s n s f d b l o a d d b r e s p o n s e l a c k o f a c t i v i t y l n d b s i z e w h i t e s p a e e w h i t e s p a e e k b 其他相关l o t u s 数据库指标 2 ，互联网访问系统 因变量y ：互联网访问测试的总响应时间 自变量x l ： 主机： p r o x y 服务器、l d a p 服务器 c p u ： c p uu t i l i z a t i o n u s e rc p u u t i l s y s t e m c p u u t i l i n t e r r u p t s c o n t e x ts w i t c h e s m e m o r y ： m e m o r yu t i l i z a t i o n r e a lm e m o r yu s e d s w a ps p a c eu s e d r e a l m e m o r ys i z e s w a p s i z e s w a pr a t e s t o r a g e ： d i s ku t i l i z a t i o n d i s ku s e d f r e ed i s ks p a c e i n o d e su s e d 应用服务器 d n s ： d n s 响应时间 p r o x y ： 日志分析平均响应时间 l d a p 模拟测试响应时间 有了数据来源，我们可以建立统计分析h i _ - - 个步骤，分别是变量筛选流程、回归分析流 第1 6 页 程和预测流程。( 参考文献 1 ) 变量筛选流程 该流程从待分析数据中，筛选出和因变量相关的自变量，为多元回归分析做 准备工作，确定自变量，一般来说，整个过程做一次分析即可，不需要重复进行。 图2 - 9 回归分析流程 回归分析流程主要在不断变动的数据中，不断调整回归模型，达到更准确的 预测功能。每个应用系统需要定期( 如每天、每周) 执行该流程，调整回归模型。 调整流程模型如下示意图所示： 第1 7 页 图2 一1 0 预测流程 本流程根据之前得出的因变量和自变量的近似线性关系方程，再随时根据当 前探测到的性能参数代入回归方程，从而得到预测到的性能响应时间，并根据该 数值进行报警。预测流程可以归纳为： 1 ) 读取自变量的监控值； 2 ) 输入回归方程，计算得到因变量值： 如果因变量值在告警区间，则发出告警 2 数学模型 下面介绍一下用统计的方法如何分析两个或两个以上随机变量之间相关关 第1 8 页 系密切程度和相关方向的分析方法。( 参考文献【2 ) 1 ) 单相关系数 单相关分析是对两个变量x 、y 之间的相关程度进行分析。 单相关系数是在线性相关的条件下用来说明两个变量之问相关关系和相 关密切程度的统计分析指标。 计算公式： 批赢2 窆“一；) 饥一- ) ( 2 - 1 ) 2 ) 多相关系数 多相关系数是指多个变量之间的相关程度的衡量。如变量z 与变量x 、y 之间的相关程度。 由于在系统中，涉及到很多相关变量，在这些变量中，需要进一步的筛 选，筛选出相关度高的那些变量，作进一步的回归分析 为了避免陷入太过复杂的多因素相关分析，初步使用单相关系数变量相 关度的衡量。 r 值取值范围：- 1 = r = l 当一1 = r = 0 时，为负相关； 当0 = r = 1 时，为正相关； 表2 一l r 值x 和y 相关性 相关指标选择与否 i r i - o完全相关不选择 o ( f r i = o 3不相关 不选择 0 5 ( = i r | = o 5低度相关不选择 0 。5 i r l = o 。8显著相关选择 0 8 r i o 5 时，才选择使用。比如对应 用系统的响应时间，在同一时间点，我们可以采集到多种相关参数：如所在 网络的响应时间、c p i j 、内存；应用所在主机的c p u 、内存、磁盘、s w a p 等； 应用所使用的数据库的响应时阃、数据空间大小、日志空间大小：应用程序 的线程数、各组件的响应时间。 、 这些数据和应用系统的响应时间是否具有显著的相关性呢? 我们可以分 别求出相关系数，从而判断是否选择该指标作为回归分析的一维。 接着我们讨论回归分析的数学方法： 回归分析预测法就是从各种经济现象之间的相互关系出发通过对与预测对 象有联系的现象变动趋势的分析推算预测对象未来状态数量表现的一种预测法。 所谓回归分析就是研究某一个随机变量因变量与其他一个或几个自变量之间的 数量变动关系由回归分析分析求出的关系式通常称为回归模型。 根据自变量个数的多少，回归模型可以分为一元回归模型和多元回归模型。 ( 参考文献 1 ) 根据回归模型是否线性，回归模型可以分为线性回归模型和非线 性回归模型。所谓线性回归模型就是指因变量和自变量之间的关系是直线型的 我们一直假定因变量和自变量之间的相关关系可以用线性方程来近似的反 映，但是在现实生活中变量x 与y 的关系仅有一部分能用线性关系来描述，大量 的是非线性的相关关系，非线性的回归函数比线性回归函数更能正确地反映客观 现象之间的相互联系。 许多具有实用价值的非线性回归函数，可以通过适当的变换，转化为线性回 归函数，然后再利用线性回归分析的方法进行估计和检验。 在分析的初步阶段，我们使用线性回归来分析应用的环境相关因素。 在运用回归模型进行预测时正确判断两个变量之间的相互关系，选择预测 目标的主要影响因素。( 参考文献 1 ) 一元线性回归分析 一元线性回归模型为：y i = a + b x i + e i ( 2 - 2 ) 第2 0 页 分析步骤： 1 ) 根据样本数据，估计回归系数 回归方程为： y “：鲁b “x ( 2 3 ) = 口+ z j j 在系统中，使用监控所得的3 0 组以上的数据( y ，x ) ，使用r 软件进行最小 二分法计算，得到a 和b 系数的值，求得回归方程。 2 ) 求回归估计的标准误差s ，判定回归线的代表性 船；z ：翌：翌：竺三堕 s 2 = 盯= 上l = 上l 一 = 二兰! 一一2 以一2万一2 ( 2 - 4 ) 是盯2 的无偏估计上式中，分子是残差平方和，分母是自由度。 双叫做回归估计的标准误差，蹴小表明实际观测点与所拟合的样本回 归线的离差程度越小，即回归线具有较强的代表性，反之虢s 大表明实际 观测点与所拟合的样本回归线的差异程度越大，即回归线的代表性较差。 九罂r 兰2 小墼小箜 ，2 氖鬲- y ) 一荒i 叫一等( 2 - 5 ) ( 只 2 一- ) 2 5 ” 由r 2 的计算公式可以看出：当所有的观测值都位于回归直线上时，r 2 = 1 ，说明总离差可以完全由所估计的样本回归直线来解释，当观测值并 不是全部位于回归直线上时，r 2 1 。r 2 越大，表明回归方程越接近，误 差越小 当然，这种误差是否在可以接受的程度上，可以使用显著性检验方法进行检验 第2 l 页 多元线性回归分析 多元线性回归分析是研究在线性相关条件下，两个和两个以上自变量对一个因变 量的数量变化关系。表现这一数量关系的数学公式，称为多元线性回归模型。多 元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归模型相 类似，只是在计算上比较麻烦一些而已。 多元线性回归模型的一般形式如下 y = a + b l x l + b 2 x 2 + + b k x k + e i ( 2 - 6 ) 分析步骤： 1 进行因素分析，确定因变量和自变量； 1 )根据经验，挑选中具备比较大的可能条件的自变量指标； 2 )使用独立的自变量和因变量之间的相关系数值，进行初步的筛 选； 3 )使用逐步回归、前向选择、后向消元或最佳子集回归方法进行变 量选择。 由于第三种方法计算比较复杂、算法和计算量大，在分析的初期可以使用步 骤1 ) 和2 ) 作初步的筛选。 2 构造回归方程的一般形式， 回归方程为： y = b o + b l x x + b = x 24 - + 锄 根据样本数据，估计回归系数； ( 2 7 ) 在系统中，使用监控所得的3 0 组以上的数据( x l ，x 2 ，x 3 ，x p ，y ) ，使用 r 软件进行最小二分法计算，得到呱b 。b ：b 。系数的值，求得回归方程。 3 使用拟合度和显著性检验进行回归模型检验 使用合一元回归分析中提到的判定系数进行拟合度检验。只不过是使用多元 的判定系数算法。 第2 2 页 多元线性回归分析引擎原理可以用图表示如下： 流程可以表示如下： 图2 一l l 第2 3 页 图2 1 2 回归分析流程主要在不断变动的数据中，不断调整回归模型，达到更准确的预测功自 每个应用系统需要定期( 如每天、每周) 执行该流程，调整回归模型 回归模型预测 无论是一元还是多元的回归分析，所得到的回归模型都用于预测。 使用元或多元回归分析得到的回归模型，预测分析主要有两种： 点预测 点预测就是根据已经建立的一元或多元回归方程计算出某时刻的变量值， 第2 4 页 据这个变量值和已经定义的阈值判断出被监控变量的状态。 表一是各状态产生的条件：( 参考文献 1 ) 厶l 伯测捧状惫，们i + 柏繁料 扳态善什 l ：升并备受艘仳人r i ：厅并行一仇i i 小 l ：升鲍翰州仃王”1 次 卜升危险壹煞位人f 。l 开危险闻位n 2 次 f 降警斋变量值小rf 降警备明值h 太f ：f 降缸睃一位n ，欢 卜降危险变量值小于f 降危险闭值n 4 次 其巾： i j 1 2 j 1 3 和n 4 是一些经验值 图2 一1 3 一元回归模型的点估计的值为： y o = a + b x o ( 2 _ 8 ) 多元的点估计值为： y o = 6 0 + h j f o i + 6 2 】舰+ + b p x o p ( 2 - 9 ) 区间预测 区间预测比点预测要复杂一点对于某个时刻，可以根据设定的置信度 和一元或多元回归方程可以算出被监控变量的估计区间( 设区间的右边界为 r i g h t ，左边界为l e f t ) ，然后根据这个估计区间和已经设定的阈值判断出该 变量的状态 表二是各状态产生的条件( 参考文献 1 ) 袭2 区阔预铡各轶杏产生的条件 状态基件 上升警告 堍t n 小于上升危险磷值且k 矗太于上升危险喇值m i 冼 上升危险 瞻h l 或k 矗大于上升危险一位m 2 冼 下降警告 r i i i 小于下降警告螺值且k n 犬于下降危险雕值m 3 攻 下降危险 蚶哇戒k 矗小于下降危险用值m 1 次 其巾：m i 神m 3 和m 4 是一些经验值。 图2 - 1 4 一元回归：因变量y 的平均值e y 在一元回归模型y = a + b x ，在显著性水平 口下的区间估计为： 口+ k p + 。而& 。，：c 一一z ， 第2 5 页 ( 2 - 1 0 ) 多元回归：多元回归模型和一元回归模型类似，当设定自变量( x l ，x 2 ，x 3 x o 的值时，可以使用r 的软件包进行预测区间估计，并得到y 值的预测区间的上 限合下限，使用表二进行告警。 预测方法比较； 对于点预测方法，虽然根据一元回归方程和点估计方法得到的估计值能给人 们一个明确的数量概念，但是由于它只是一个近似值与实际值总有一个正的或 负的偏差。同时点估计本身既没有反映近似值的精确度，也不知道它的偏差范围； 而区间估计很好地弥补了点估计这方面的不足。我们综合考虑了以上两个方法的 优缺点，最终采用了区间预测方法。 三，系统实现 1 性能分析方法研究： 为有效研究我们需要监控的对象，我们先建立监控对象的模型。即对于每一 个模型分段( f l o ws e g m e n t ) 进行性能测试和分析。流程监控是采用“分段”的 方式来监控业务流程，也是研究的重点。在这部分，主要使用采集到的各种数据， 使用一定的模型技术和统计方法，来达到分段监控的目的。流程监控分为流程级 和组件级。流程级列出流程的相关的段( s e g m e n t s ) 每一段由一个或多个应用 系统组成。组件级则细化到应用系统的逻辑或物理组件。 该研究项目所提出的综合应用性能分析方法由三个主要部分组成： 模拟测试 使用模拟测试来完成应用系统的“黑盒”测试。在信息中心的系统中，基本是面 向w e b 的系统，因此，通过模拟测试手段来测试用户端的真实感受，并使用其测 试值的统计结果来验证流