惠普质量管理解决方案.doc

惠普质量管理解决方案惠普质量管理解决方案一、 测试管理中心(TestDirector for QualityCenter)科学的测试管理流程是质量控制的第一步。软件质量的重要性已是毋庸置疑的，如何去 提高软件质量？尤其是在开发大型关键应用软件系统，涉及多方开发、测试组织时，建立一 个标准的测试流程变得尤为重要。测试管理解决方案在整体解决方案中起到了提纲挈领的作用，它能够帮助用户有效的管 理日常的测试工作。我们方案中的对应测试管理平台产品是 TestDirector for QualityCenter，（后面简称 Quality Center），一个用于规范和管理日常测试项目工作的平台。它将管理不同开发人员，测试人员和管理人员之间的沟通调度，项目内容管理和进度追踪。而且，惠普 的测试管理软件 Quality Center，是一个集中实施、分布式使用的专业的测试项目管理平台 软件。Quality Center 可以在用户内进行多项目的测试的协调。通过在一个整体的应用系统 中提供并且集成了测试需求管理，测试计划，测试日程控制以及测试执行和错误跟踪等功能， 极大地加速测试过程。如上图所示，建立测试项目之后，首先根据用户的业务功能需求和性能需求，建立相应 的测试需求，即建立测试的内容；接着，根据测试需求设计生成测试计划，并反向考察测试 计划对测试需求的覆盖率；然后，由测试计划安排和运行测试，根据运行结果来修改测试计 划；最后，在测试全过程中的所有错误信息，有错误跟踪模块记录和管理。下面介绍新惠普惠普质量管理解决方案软件测试管理解决方案能够给用户带来的好处和一些重要特性。1、监管测试日常工作流程使用 Quality Center，可以建立起一整套科学标准的测试流程，如从应用软件测试的需 求开始，一直到测试案例运行和缺陷跟踪。Quality Center 不仅仅为测试和开发人员本身提 供了一个共同工作的平台，更重要的是，在重大项目中，尤其是外包软件开发项目中，Quality Center 提供了一个易于接入的浏览器界面，让最终用户可以在任何时间段，任何地点，随 时连入视察当前测试工作进行的状况。它的实时工作报表忠实的反映了目前软件的质量。这 样，对于最终用户，测试过程不再是个黑匣子，不再无法控制，而是随时发现问题，随时改 善工作流程和方式。惠普质量管理解决方案2、客户化缺陷汇报和解决流程实践证明，花费一定的时间和资源对所有的流程预先进行定义是非常重要的。只有展开全面彻底地规划，才能让缺陷汇报和解决流程提供有价值的信息，使 IT 流程合理化。以下 部分所描述的步骤是在创建汇报流程、定义缺陷安全等级、记录缺陷状态和跟踪所有修改的惠普质量管理解决方案过程中会被采用的一些步骤。3、测试资源和测试经验的累计随着测试工作的进行，测试需求、测试案例和缺陷解决方法都成为一种测试经验累计下 来。使用 Quality Center 可以集中的保存这些内容，并作为今后测试任务或解决问题的参考 和重要资源。Quality Center 将系统地将这些宝贵的经验保存在指定的数据库中，而不是零 散的文档。如我们采用第三方开发测试的方法，这些测试资源在完成开发测试任务后，将作 为成果和应用软件一同提交给最终用户。若将来进行另一次的应用软件升级开发或测试，这 些测试资源可以让后来的测试人员十分迅速的开展工作，而无需重头开始测试案例设计。4、测试工作报告的准确性使用 Quality Center，在任何时间段，都可以方便快捷的通过 Quality Center 生成一份 详细或统计的基于 word 文档的测试报告。可以是测试工作进程报告，也可以是测试软件质 量报告。在 Quality Center 中内嵌了数十种测试报告模板，可供用户使用。使用 Quality Center 后，无需人手工书写测试报告，一方面节省了大量的时间，另一方面，自动生成的文档也保 障了内容的真实性和准确性。Quality Center 中包含了几十中标准测试报告模板，可以自动生成各种测试报告，如测 试需求覆盖率报告，缺陷密度报告等等。用户也可以工具自己的需求，定制和生成客户化的 基于 Word 的测试报告。5、基于 J2EE 的实现Quality Center 是基于坚如磐石的 JBOSS、WebLogic 等 J2EE 应用服务器实现的，因此 它具有很好的伸缩性和可扩展性。它的客户机统一采用 WEB 浏览器进行访问，是典型的瘦 客户机。用户应用开发人员、测试人员、测试项目经理和业务人员等，都可以通过统一的 WEB 浏览器界面来访问测试管理平台，操作方便，易用性好，便于各种角色之间的协同工 作。惠普质量管理解决方案6、客户化二次开发及 APIQuality Center 是基于 J2EE 标准实现的，它提供了开放式测试构架（Opening Testing Architecture，OTA）以及大量的 Java 的 API 接口函数，极大地方便了客户的二次开发工作。 用户在使用 Quality Center 作测试流程管理的时候，若有特殊的流程修改或其他客户化需求， 可以方便地使用 API 进行客户化工作。7、丰富的第三方插件和接口30 多个第三方插件，可以和 Telelogic 的 DOORS、IBM Rational ClearQuest、BorlandStartTEAM、Microsoft Word、Excel、Visual Source Safe 等软件无缝集成。8、多平台支持测试管理软件 Quality Center 可以安装于 Unix，Linux 或 Windows 平台上，为企业级的 用户提供了稳定可靠的测试管理平台。测试管理软件还可以支持支持 Cluster 架构，能保障 测试管理系统稳定运行。9、全中文操作界面Quality Center 中文版从内核进行了全面汉化，具有完全的中文操作界面和文档。生成 的测试报告也是中文的，这非常便于中国用户使用。惠普质量管理解决方案二、 自动化功能测试产品1、功能测试产品(Functional Testing)自动化功能测试工具是一种企业级的用于检验应用程序是否如期运行的功能性测 试工具。通过自动捕获，检测，和重复用户交互的操作，能够辨认缺陷并且确保那些跨 越多个应用程序和数据库的业务流程在初次发布就能避免出现故障，并且保持长期可靠 运行。惠普的自动化功能测试软件 Functional Testing，可以覆盖绝大多数的软件开发技术， 简单高效，并具备测试用例可重用的特点。2、高投资回报率与手工测试相比，自动化功能/回归测试工具具有很高的投资回报率（ROI）。自动化功能测试克服了手工测试难于重复的缺点，同时具有很高的可靠性。可以覆 盖大部分的系统测试，减少人为错误，可以让测试人员集中精力提高效率来专注新模块 的测试。3、简单易用功能强大轻松创建测试惠普质量管理解决方案用 Functional Testing 创立一个测试， 您只需记录下一个标准的业务流程， 如下一张订单或建立一个新的商家帐户。Functional Testing 直观的记录流程能让任何人在 GUI 上轻轻 点击鼠标就可建立测试， 即使技术知识有限的用户也能生成完整的测试。您还可以直接编 辑测试指令来满足各种复杂测试的需求。Functional Testing 将 2 种测试创建方式结合在一 个环境下，来适应不同的背景支持和您团队的喜好。插入检查点在记录一个测试的过程中， 您可插入检查点， 在查寻潜在错误的同时，比较预想 和实际的测试结果。在插入检查点后， Functional Testing 会收集一套性能指标，在测试 运行时对其一一验证。Functional Testing 允许您使用几种不同类型的检查点， 包括文本的， GUI， 位图和数据库。例如用一个位图检查点， 您可以确认一个位图图象，如公司的 图标是否出现于指定位置。检验数据除了创立并运行测试， Functional Testing 还能验证数据库的数值， 从而确保交易的 准确性。例如， 在测试创建时， 您可以设定哪些数据库表格和记录资料需要检测。在重放 时， 您的测试程序就会核对数据库内的实际数值与预想的数值。Functional Testing 能自动 显示检测结果， 在有更新/修改， 删除或插入的记录上会用突出标识以引起注意。 增强测试为了彻底全面地测试一个应用程序，您需要了解对于不同类型的数据它是如何运行 的。Functional Testing 的 DataTable Wizard，让您只需点击几下鼠标，就能简单地将一个惠普质量管理解决方案记录下的业务流程转化为一个数据驱动的测试，来反映多个用户各自独特且真实的操作行为。目前有相当数量的企业应用程序仍然使用非标准的对象。Functional Testing 的 Virtual Object Wizard 能识别以前未知的对象，不必特别编写代码。使用 Virtual Object Wizard 界 面，您会看到一张的对象类型列表，能用其来代表您未知的对象。您可以为您的对象设定标 识，如一个按钮，并为其命名。以后每次您记录测试用到这个按钮，Functional Testing 就会 自动对应它的名字。这个特性既能加强您测试的质量，又提高了测试文件的可读性。 运行测试建立起您的测试，并插入检查点和做一些必要的功能添加后，您就可以开始运行测 试。当 Functional Testing 执行您的测试时，它会自动操作应用程序，正如一个真实用户 根据记录流程执行着每一步的操作。而且，它的意外处理功能为测试排除干扰，包括消 息和警报。分析结果一旦测试运行后，您就需要分析测试结果。Functional Testing 的互动式的报告工具 通过提供详尽的，易读的报告，其中会列出在测试中发现的差错和出错的位置，来帮助 您解释所得的结果。这些报告对在测试运行中发生的重要事件进行描述，如出错内容和 检查点等。点击按钮，您还能进一步获取任何未被包括在此测试范围内的错误的详尽资 料。惠普质量管理解决方案维护测试随时间推移，开发人员会对 应用程序做进一步的修改，并需要另加额外的测试。 有了 Functional Testing，您不必应用程序改动一次，就得重新建一个新的测试。而 Functional Testing 会帮助您创立在程序应用周期内可重复使用的测试。这样大大地节省时间和资 源，充分利用测试投资。每次您记录一个测试，Functional Testing 自动生成一个 GUI map，用于储存应用对象。 这些对象信息分层次组织， 让您既可以总览所有的对象，也可以选择某栏，深入查询 更多的信息。更重要的是，GUI map 提供一个中央汇集的站点用做更新您的测试。一般 而言，对您应用程序所做的任何改动都会影响到成百甚至上千个测试。使用 Functional Testing，用户只需改动一个 GUI map 而非无数个测试，就能到达重复使用的目的。由于能让测试重复使用，Functional Testing 提供的不仅仅是一种能在多种环境下检 测应用程序的功能性测试工具，还是一种在程序应用周期内，经济实效且利用率高的测 试方式。4、其它技术特点z轻松创建测试，直观的记录流程能让任何人在 GUI 上轻轻点击鼠标就可建立测试， 即使技术知识有限的用户也能生成完整的测试。您还可以直接编辑测试指令来满足 各种复杂测试的需求。z拥有 Windows 和 UNIX 上的功能测试软件，支持在不同的 UNIX 和 Windows 版 本上实现不同应用类型的测试，如 X-Window；Terminal；GUI；WEB；ERP 等。惠普质量管理解决方案z支持不同的开发语言和标准。支持 Delphi；Java；C；C+；VB；PowerBuilder；WEB；VisualAge；Forte 4GL；.Net；ERP 环境，如 Oracle, SAP, PeopleSoft, Siebel；Oracle 开发环境，TE 开发环境，WAP 等。z您可插入检查点，包括文本的，GUI， 位图和数据库，在查寻潜在错误的同时， 比较预想和实际的测试结果。z增强测试，简单地将一个记录下的业务流程转化为一个数据驱动的测试，来反映多 个用户各自独特且真实的操作行为。z支持 Citrix 和 MS Terminal Service 环境中的安装和使用。z可以和 Quality Center 无缝集成z功能强大，大量插件支持，适合于任何企业级应用的测试，。z简单易用，支持 VBScript 和 TSL 编程语言，Functional Testing 还支持 ActiveScreen和关键字驱动技术。zFunctional Testing 具有对象存储库。zFunctional Testing 具有中文操作界面和联机帮助文档。5、广泛的支持环境目前，Functional Testing 支持 Windows 98/NT/2000/ME/XP 以及 Netscape、 IE、 Java、 VC、 VB、 PowerBuilder、 Delphi、 ActiveX 、SAP、 Siebel、 PeopleSoft、 BAAN 、 Oracle Developer 2000 等各类开发及应用环境。Functional Testing 甚至能够支持 WAP 开发的应用测试，保障将来的无线应用也能够顺利无碍地投入使用。惠普质量管理解决方案三、 自动化性能测试产品1、性能测试产品(Loadrunner)LoadRunner 是一种较高规模适应性的，自动负载测试工具，它能预测系统行为，优化 性能。LoadRunner 强调的是整个企业的系统，它通过模拟实际用户的操作行为和实行实时 性能监测，来帮助您更快的确认和查找问题。此外，LoadRunner 能支持最广泛的协议和技 术，为您的特殊环境，量身定做地提供解决方案。2、轻松创建虚拟用户使用 LoadRunner 的 Virtual User Generator 引擎，您能很简便地创立起系统负载。该引 擎能够生成代理或虚拟的用户模拟业务流程和真正用户的操作行为。它先记录下业务流程， 如下订单或机票预定，然后将其转化为测试脚本。利用虚拟用户，您可以在 Windows， UNIX或 Linux 机器上同时运行成千上万个测试。所以 LoadRunner 能极大的减少负载测试所需的 硬件和人力资源。另外，使用了 LoadRunner 的 TurboLoad 专利技术，您能获得最高的规模 适应性水平。TurboLoad 使您有能力创立与每天几十万名在线用户和数以百万计的点击数相 匹配的负载。惠普质量管理解决方案2.模拟大量 的真实用户 生 成压力 .Web服务器 应用服务 器 数据库 服务器 LOA DGE NE RA TORS性能 监 控器 3.监 控器实时 捕获系统的 性能 状态 LRCO NTROLLE R 1.Controller 起到调度 压力测 试 并管理监 控器 4.测试结 果被搜集及 保存起 来供分析 LRANALYS IS 3、创建真实的负载Virtual users 建立起后， 您需要界定您的负载方案，怎么样的业务流程组合和多少数量 的实际用户会在每一个负载服务器上运行。用 LoadRunner 的控制器，您能很快组织起多用 户的测试方案。控制器的 Rendezvous 功能提供一个互动的环境，在其中您既能建立起持续 且循环的负载，又能管理和驱动负载测试方案。控制器的集合点同步功能提供一个交互控制 的环境，在其中您既能建立起持续且循环的负载，又能管理和同步负载测试方案。4、定位性能问题LoadRunner 内含集成的实时监测器，在负载测试过程的任何时候，您都可以观察到应 用系统的运行性能。这些被动监测器为您实时显示交易性能数据，如反映时间，和其它系统 组件包括应用服务器，Web 服务器，网路设备和数据库等的即时性能。5、分析结果精确定位问题所在一旦测试完毕后，LoadRunner 收集汇总所有的测试数据，并提供您高级分析和汇报能 力，以便迅速查找到性能问题并追溯原由。使用 LoadRunner 的 Web 交易细节监测器，您惠普质量管理解决方案可以决定将所有的图象，架构和文本下载到每一网页上所需得的时间。6、完整的企业应用环境的支持LoadRunner 是工业标准级的性能测试软件，它是目前业界占有市场份额最大的性能测 试软件。它支持业界普遍的标准和开发技术 。支持最广泛的业界标准：Winsocket, Informix, MS SQL Server, ODBC, Oracle, DB2, Sybase, Web, LDAP, FTP, SOAP, DNS, palm, SAP R/3, mySAP.com, Siebel, Baan, People-Soft, Oralce E-Business Suite, RMI, EJB testing, Corba, COM, Tuxedo, Websphere, MQSeries, Citrix, Jacada, RTE, WAP, Voice XML, I-mode, Real player, MS media player, VB, C/C+, Java, .Net, 等开发环境。7、更多技术特点z轻松创建虚拟用户，录制引擎能够生成代理或虚拟的用户模拟业务流程和真正用户 的操作行为。利用虚拟用户，您可以在 Windows, IBM AIX, HP-UX, SUN SOLARIS或 Linux 机器上同时运行成千上万个测试。z采用 TurboLoad 技术，产生压力测试场景时，每个虚拟用户的内存资源消耗平均小于 2MB；使用有限的资源产生最大的压力场景。z无代理的性能监控器，用于采集被测系统的性能参数，在被测试系统上，不安装任 何代理软件。z自动分析压力测试结果，使用类似自动关联的技术，自动拟合应用性能参数（如应 用响应时间，应用并发用户数）和系统性能参数（如网络性能指标，操作系统性能 指标，数据库性能指标等），得出应用系统性能的瓶颈。z使用同一的压力测试工具，产生压力场景和使用无代理技术监控企业系统的基础架 构。z产生基于 word 的标准测试报告惠普质量管理解决方案8、灵活的参数化为了模拟真实的业务压力状况，通常采用一个脚本带多组测试数据的方式，利用脚本里 面的参数，让一个脚本在不同的循环中执行不同的业务数据，如账号、金额等等。不进行参 数化的压力测试对于用户来说，就很难有说服力。LoadRunner 具有广泛的平台支持和良好 的编程支持能力，支持 Windows、Linux、HP-UX、AIX 等用户常见的主流平台。通过其灵活 性的特点，很容易完成密文脚本的参数化的功能，从而能够模拟出更加真实的业务压力来。LoadRunner 强大而又灵活的参数化功能，完全适应用户的性能测试的要求。即使将来 有新的应用或是原有应用发生变化，对于用户来说都不会影响先期投资情况，可以显著提高 投资回报率。9、易用性在性能测试中，灵活性是不容忽视的问题，用户的性能测试任务往往是时间非紧，任务 重，环境复杂，为了在有限的时间和环境内完成性能测试工作，测试产品的易用性将起到决 定性作用。以某一典型的性能测试为例：并发用户 1000 个，执行的交易脚本 20 个，每个交易参 数化点两个，每个脚本运行 10000 次的测试为例，所以需要的工作量估计如下：z需要录制脚本的个数 20 个。每个脚本录制时间 1 分钟。全部脚本可以在半小时内 顺利完成。z修改脚本 20 个。所有的脚本的源程序是一样的，所有不同是每个交易参数点不同， 在报文中的偏移量不同。所以修改脚本可以一个脚本模板为基础，修改脚本的工作 在也可以在半小时内完成。z初步测试，一般可以在半天内完成。z正式测试：一般半小时可以运行完一轮测试。z分析结果：可以和测试并行进行，即测试完一轮，就可以进行分析，同时进行下一 轮的测试。惠普质量管理解决方案从实际工作的效果来看，仅仅由于 LoadRunner 的易用性一方面，保守的估计，仅仅参数化一项功能的实现，至少可以使得正式的压力测试工作缩短 50以上的时间。这对于用 户具有非常重大的现实意义。10、 实时性能监控一般而言性能测试的目的并不仅仅是得出系统的吞吐能力，评价系统的当前性能，更主 要的是发现系统可能存在的瓶颈，确认性能瓶颈并优化和调整应用。很显然，如果需要来实现这样的目标，在性能测试的同时，没有一套实时的同步系统监 控功能是无法实现的。我们不可能在使用性能测试软件的同时，借助第三方的系统软件来完 成“实时”监控。因为第三方监控软件即使能够监控，也很难和性能测试软件实现同步，而 且会添加大量的手工工作，例如记录加压时间，将性能测试报表与系统监控软件报表关联等 等。新惠普软件的 Loadrunner 性能测试解决方案在提供强大的性能测试的同时还提供了功 能丰富的服务器监控功能，在性能测试过程中能够监测系统各层面的每一部件的性能。通过 记录整个系统所有性能数据，测试人员可以将这些信息对应最终用户的负载和响应时间，以 此定位瓶颈所在。更为重要的是：对于待测服务器的同步监控，不需要安装任何代理，只要 进行简单的配置就可获得服务器上相关的性能数据，这样就以一种完全无干扰原先系统的方 式进行，最大限度地减少了对被测服务器性能的影响。相比其他同类性能测试产品来说，LoadRunner 监控功能尤为突出，支持各类环境、操 作系统、网络、应用服务器和数据库服务器。对于用户这样一个有 Windows, Linux, SCO Unix,HP-UX, AIX 等众多环境的情况尤为适合，用户将不必为由于测试环境的改变而改换其他测试 产品。我们在先期的性能测试中，就先后在 Sco Unix、AIX 及 HP-UX 上做过相关的测试。下 面是 LoadRunner 所提供的部分监控功能：z运行时间监控 虚拟用户状态，用户指定的数据站z交易监控 反应时间，交易成功与否z网络服务器资源监控 单位秒的点击数，吞吐量惠普质量管理解决方案z多操作系统资源监控 CPU，内存，I/O 等z中间件监控 Tuxedo, Weblogic, Websphere 等z数据库服务器监控 Oracle，SQLServer，DB2，Syba