PTGM性能测试模型讲义.ppt

PTGM性能测试模型讲义,KinaMa（马秀斌）Email:maxb2008,PTGM过程模型,PTGM过程模型（含KPA）,1.测试前期准备,系统基础功能验证组建测试团队测试工具需求确认性能预备测试（可选活动）,在前期准备阶段，至少要完成两个方面的工作：保证系统稳定和建立合适的测试团队。性能测试一般是软件系统已经开发或是部署完成之后的测试，要求被测对象至少具有一定的稳定性，在功能上基本满足了需求。对一个很不稳定或是还处于“半成品”状态的软件系统进行测试，没有太大的意义。,1.1系统基础功能验证,该活动类似于在系统测试阶段，每个迭代过程中的BVT（BuildVerificationTest）测试，对性能测试而言，这个活动的主要目的是确保当前需要进行性能测试的应用系统已经具备了进行性能测试的条件。,1.2组建测试团队,1.3测试工具需求确认,性能测试工具需求规划表,1.4性能预备测试（可选活动）,所谓预备测试，指的是在正式的测试之前，通过简单的探索性测试或是其他方法，对系统的性能表现进行初步的了解。因为这种预备测试是非正式性的，仅仅用来对被测系统的性能建立一个初步印象，所以方法上也比较随意。,2.测试工具引入,工具选择工具应用技能培训确定工具应用过程,性能测试工具在性能测试项目中发挥着不可替代的作用，很难想象一个没有使用任何性能测试工具而完全依靠手工进行的性能测试。对性能测试来说，要为项目测试选择合适的工具、要为测试工具的使用确定范围，要在测试过程中规定和规范测试工具的使用，都不是一件容易的事情。因此，把“测试工具引入”作为一个单独的阶段。,2.1工具选择,性能测试一定会使用自动化测试手段，使用自动测试工具(商业的或是自行开发的)。本活动用于为项目选择合适的工具。选择的方法是圈定几种可用的工具，对照“性能测试工具需求规划表”给出的问题列表，为每个工具进行一个功能符合度的评估，选择符合度最高的工具。如果所有的工具都无法达到我们要求的功能符合度，则可以考虑通过创建方式自行构建测试中使用的工具。,2.2工具应用技能培训,该活动为项目组的相关参与者进行测试工具的应用技能培训，以使测试活动参与者能够具备测试需要的技能。根据我们在1.2节给出的角色技能表，与测试工具相关性最大的是“测试开发”、“测试执行”和“测试分析”角色，因此培训的重点是针对这三种类型的角色进行。该活动需要达到一定的目标，最好能够在活动开始前确定各种角色人员的详细技能标准，并据此给出培训是否达到预定目标的评判准则。,2.3确定工具应用过程,测试工具引入过程中最容易导致的失败就是团队不能达成对测试工具应用范围的一致认可和测试工具应用局限性的一致确认。该活动需要确定性能测试工具在测试中的具体应用范围，工具使用过程中的问题解决方法等内容。具体来说，哪些工作使用工具完成？测试工具在使用过程中的问题由谁来解决？测试工具的脚本如果管理？这些问题都应该在这个活动中完成。,3.测试计划,性能测试领域分析用户活动剖析与业务建模确定性能目标制定测试时间计划,测试计划阶段用于生成指导整个测试执行的计划。该阶段主要完成测试目标的确定、测试时间计划拟定。,3.1性能测试领域分析,3.2用户活动剖析与业务建模,用户活动剖析与业务建模活动用来寻找用户的关键性能关注点。用户对系统性能的关注往往集中在少数几个业务活动上，在确定性能目标之前，我们需要先把用户的这些关注点找出来，从而确定最贴近用户要求的性能目标。用户活动剖析的方法大体分为两种：系统日志分析和用户调查分析。系统日志分析是指通过应用系统的日志了解用户的活动，分析出用户最关注、最常用的业务功能，以及达到业务功能的操作路径；用户调查分析是在不具备系统日志分析条件的时候（例如，该系统尚未交付用户运行实际的业务）时采用的一种估算方法，可以通过用户调查问卷、同类型系统对比的方法获取用户最关注、最常用的业务功能等内容。,3.3确定性能目标,性能测试目标根据性能测试需求和用户活动分析结果来确定，确定性能测试目标的一般步骤是首先从需求和设计中分析出性能测试需求，结合用户活动剖析与业务建模的结果，最终确定性能测试的目标。,3.4制定测试时间计划,该活动给出性能测试的各个活动起止时间，为性能测试的执行给出时间上的估算。具体方法是根据性能测试活动，为每个活动阶段给出可能的时间估计，最终形成时间上的计划。,4.测试设计与开发,测试环境设计测试场景设计测试用例设计脚本和辅助工具开发,4.1测试环境设计,测试环境设计是测试设计中不可缺少的环节。性能测试的结果与测试环境之间的关联性非常大，无论是哪种领域内的性能测试，都必须首先确定测试的环境。对于“能力验证”领域的性能测试来说，测试首先就已经明确了是在特定的部署环境上进行，因此不需要特别为性能测试设计环境，只需要保证用于测试的环境与今后系统运行的环境一致即可。对于“规划能力”领域的性能测试来说，测试环境不特定，但也需要设计一个基准的环境。对于“性能调优”领域的性能测试来说，因为调优过程是一个反复的过程，在每个调优小阶段的末尾，都需要有性能测试来衡量调优的效果，因此必须在开始就给出一个用于衡量的环境标准，并在整个调优过程中，保证每次测试时的环境保持不变。,4.2测试场景设计,测试场景设计活动用于设计测试活动需要使用的场景。在“确定测试目标”活动中，我们描述了如何确定测试目标，以及测试目标的一般描述，这个活动需要更详细地将测试目标转化为能够在测试执行中使用的内容。测试场景模拟的一般是实际业务运行的剖面，其包括业务、业务比例、测试指标的目标以及需要在测试过程中进行监控的性能计数器。,测试场景示例,4.3测试用例设计,在设计完成测试场景之后，为了能够把场景通过测试工具体现出来，并能用测试工具顺利进行测试执行，因此有必要针对每个测试场景规划出相应的工具部署、应用部署、测试方法和步骤，这个过程就是我们要讨论的测试用例设计活动。测试用例是对测试场景的进一步细化，细化内容包括场景中涉及业务的操作序列描述、场景需要的环境部署等内容。“登录业务”用例设计例子：1、用户进入登录页面（访问01:8080/login.aspx）2、用户输入正确的用户名和口令3、用户点击“登录”按钮4、等待直到出现登录成功的页面，判断该页面成功显示的方法是HTML页面内容中的“欢迎”文本,4.4脚本和辅助工具开发,脚本和辅助工具的开发是测试执行之前的最后步骤，测试脚本是对业务操作的体现，一个脚本一般就是一个业务的过程描述。测试辅助工具指的是在测试中充当“桩模块”、“驱动模块”的程序，或提供辅助进行服务器性能监控的脚本等。测试脚本的开发通常基于“录制”，依靠工具提供的录制功能，可以将需要性能测试关注的业务在工具的录制下操作一遍，然后基于该录制后的脚本，对其进行修改和调试，确保其可以在性能测试中顺利使用。最常用的脚本修改和调试技巧是“参数化”、“关联”和“日志输出”等。,5.测试执行与管理,建立测试环境部署测试脚本和测试场景执行测试和记录结果,测试执行与管理过程用于建立合适的测试环境，部署测试脚本和测试场景，执行测试并记录测试结果。,5.1建立测试环境,该活动用于搭建需要的测试环境。在设计完成用例之后就会开始该活动，该活动是一个持续性的活动，在测试过程中，可能会根据测试需求进行环境上的调整。建立测试环境一般包括硬件、软件系统环境的搭建，数据库环境建立，应用系统的部署，系统设置参数的调整，以及数据环境准备几个方面的工作内容。测试环境的维护，指的是为了测试结果的可比性，一般都需要在每次运行测试结束后恢复初始的测试环境。,5.2部署测试脚本和测试场景,在建立和合适的测试环境之后，接下来的工作是部署测试脚本和测试场景。部署测试脚本和测试场景活动通过测试工具本身提供的功能来实现。部署活动最终需要保证场景与设计的一致性，保证需要监控的计数器都已经部署好了相应的监控手段。,5.3执行测试和记录结果,准备好环境和部署好测试脚本以及场景后，就可以执行测试并记录测试结果了。在测试工具的协助下，测试执行是非常简单的操作，一般只需要使用菜单或是按钮就可以完成；记录测试结果也可以依靠测试工具完成，通过测试工具的Monitor模块，可以获取并记录需要关注的性能计数器的值。在测试工具本身不提供对需要关注的性能计数器进行监控的功能时，可以用一些操作系统的工具，自行编制部分脚本解决这个问题，一般的方法是用脚本调用操作系统提供的工具，在脚本实现中将各性能计数器值分析出来并按照一定格式记录在本地文件中。,6.测试分析,测试分析过程用于对测试结果进行分析，根据测试的目的和目标给出测试结论。性能测试的挑战性很大程度上体现在对测试结果的分析上，可以说，每次性能测试结果的分析都需要测试分析人员具有相当程度的对软件性能的了解、对软件架构的了解、对各性能指标的了解。测试分析过程是一个灵活的过程，很难给出一种具体的、能适应各种性能测试需要的统一的过程活动列表。,性能分析的通用方法之一是“拐点分析”的方法。“拐点分析”方法是一种利用性能计数器曲线图上的拐点进行性能分析的方法，该方法的基本思想是基于这个事实：性能产生瓶颈是由于某个资源的使用达到了极限，此时的表现是随着压力增大系统性能表现急剧下降，因