测试规范.doc

深圳市龙岗区残疾人联合会辅具中心网站及电子政务软件开发采购项目（投标文件）编号：LGCG2010026768 第 1 部分 系统测试方案【摘要】在缺陷管理方面，将采用MI公司的Bug管理工具TestDirector8.0进行Bug的管理。 在性能测试方面，将采用MI公司的性能测试工具LoadRunner8.0进行性能测试。 在功能测试方面，主要以人工测试为主，在部分情况下，加入自动化测试，测试工具可参考QuickTest8.2。1.1 测试目标通过功能及测试，采用多种测试方法，使系统达到以下目标：测试已实现的产品是否达到设计的要求，包括：各个功能点是否以实现，业务流程是否正确。系统的性能达到需求说明书的指标范围内，保证系统7*24小时的稳定运行。Bug数和缺陷率控制在可接收的范围之内。1.2 测试策略1功能测试：测试系统基本功能实现是否正常，是否实现需求说明书中的所有功能，其中包括导航，数据输入，处理和检索等功能；2集成测试：检测需求中业务流程，数据流程的正确性；用户界面测试：通过测试进行的浏览可正确反映业务的功能和需求，这种浏览包括窗口与窗口之间、字段与字段之间的浏览，以及各种访问方法（Tab键、鼠标移动、和快捷键）的使用窗口的对象和特征（例如，菜单、大小、位置、状态和中心）都符合标准；3性能评测：对响应时间、事务处理速率和其他与时间相关的需求进行评测和评估。性能评测的目标是核实性能需求是否都已满足需求说明书的指标范围内；4负载测试：将使测试对象承担不同的工作量，以评测和评估测试对象在不同工作量条件下的性能行为，以及持续正常运行的能力；5安全性和访问控制测试：侧重于安全性的两个关键方面：应用程序级别的安全性，包括对数据或业务功能的访问。系统级别的安全性，包括对系统的登录或远程访问；6故障转移和恢复测试：确保测试对象能成功完成转移，并能从导致意外数据损失或数据完整性破坏的各种硬件、软件可网络故障中恢复；7配置测试：核实测试对象在不同的软件和硬件配置中的运行情况。1.3 测试工具和测试环境1.3.1 测试工具在缺陷管理方面，将采用MI公司的Bug管理工具TestDirector8.0进行Bug的管理。TestDirector 是业界第一个基于Web的测试管理系统,它可以在您公司内部或外部进行全球范围内测试的管理。通过在一个整体的应用系统中集成了测试管理的各个部分，包括需求管理，测试计划，测试执行以及错误跟踪等功能，TestDirector极大地加速了测试过程，提高效率。在性能测试方面，将采用MI公司的性能测试工具LoadRunner8.0进行性能测试。LoadRunner 是一种预测系统行为和性能的负载测试工具。通过以模拟上千万用户实施并发负载及实时性能监测的方式来确认和查找问题，LoadRunner 能够对整个企业架构进行测试。通过使用LoadRunner ，企业能最大限度地缩短测试时间，优化性能和加速应用系统的发布周期。在功能测试方面，主要以人工测试为主，如部分情况下，加入自动化测试，测试工具可参考QuickTest8.2。1.3.2 测试任务及进度测试阶段测试任务工作量估计(人日)人员分配第一阶段（规划设计）编写测试计划：确定测试需求评估风险制订测试策略确定测试资源创建时间表生成测试计划2测试组长编写测试用例：确定测试大纲确定并编写测试用例确定并构建测试过程复审和访问测试覆盖302名测试人员理顺测试环境/熟悉环境22名测试人员第二阶段（实施测试）搭建测试环境执行测试过程执行测试用例记录测试结果调查意外结果核实测试结果记录缺陷跟踪缺陷回归缺陷302名测试人员补充案例/完善案例视具体内容而定1名测试人员补充测试视具体内容而定1名测试人员生成功能测试结果报告1测试组长第三阶段（性能测试）回归测试/完善案例视具体内容而定1名测试人员性能测试：编写性能测试计划开发脚本创建并运行场景监视场景分析测试结果视具体情况而定1名测试人员生成性能测试报告1测试组长1.4 测试标准本节所述的接收标准是指可测试的标准，这个标准以测试人员接收测试为限。其余各阶段接收标准，以经过审核后的上一阶段测试报告为准。1.4.1 测试接受标准前言：接收标准为程序员经过单元测试后，提交测试时应达到的最低标准，如不满足，则返还开发，重新提交测试。接收资料完整，如资料不完整，则不予接收1经过审核程序源代码。2用来运行单元测试的相关的模块（测试模块或其他模块）。3必要的数据库文件。4必要的配置。5经过审核过的概要和详细的设计文档、帮助文件、其他必要的文件。6白盒测试的测试案例和白盒单元测试报告。程序界面1界面风格1）界面风格一致（包括控件的大小、快捷键的命令名称），美观大方。2）无错字别字，最好能望文知意。2菜单项问题1）各菜单项功能均已实现。2）各菜单项快捷键可以使用。3功能实现1）说明书规定的功能或程序员提交的功能说明书的功能均已实现。2）基本流程可以走通。3）功能的关键检查点(CheckPoint)在单元测试时已经测试，结果正确。4）界面上的功能均实现，符合设计文挡规定的功能。5）打开界面上的功能，时间在5秒内。6）正确实现左右键功能（如果有）7）左键拖动功能已实现。8）右键功能与菜单项功能对应。9）右键的快捷键应与菜单项一致。4提示信息1）提示、警告、或错误说明应该清楚、明了、恰当。2）非法的输入或操作应有足够的提示说明。3）由于误操作得到的反馈信息，应该能够指导用户的下一步操作。5数据库的增删改问题1）增删改功能可以实现。2）增删改时响应时间不能超过5秒。6数据的查询1）能够及时查询所需要的数据。2）查询响应时间不能超过5秒。7能被主模块调起或调起子模块。8系统情况及其他1）运行单元程序不能产生多个进程(根据系统设计是否可以重入而定)。2）代码覆盖率的要求。3）代码覆盖率大于80，对于循环、条件语句的覆盖率要达到100。4）不能有死循环和永远执行不到的语句。1.4.2 测试停止标准1软件测试暂停、停止标准1） 软件系统在进行功能、系统测试时，发现一级错误（大于等于1）、二级错误（大于等于2）暂停测试返回开发。2）软件系统经过功能、系统测试，分别达到功能、系统测试停止标准。3）软件项目需暂停以进行调整时，测试应随之暂停，并备份暂停点数据。4）软件项目在其开发生命周期内出现重大估算，进度偏差，需暂停5）或终止时，测试应随之暂停或终止，并备份暂停或终止点数据。2功能测试停止标准1）功能测试案例设计已经通过项目组评审确认2）按照功能测试计划完成了功能测试3）达到了功能测试计划中关于功能测试所规定的覆盖率的要求4）系统达到详细设计定义的各项功能，性能5）在系统测试中发现的错误已经得到修改，各级缺陷修复率达到标准3系统测试停止标准1）系统测试案例设计已经通过项目组评审确认2）按照系统测试计划完成了系统测试3）达到了测试计划中关于系统测试所规定的覆盖率的要求4）被测试的系统每千行代码必须发现至少1个错误（不含五级错误）5）系统满足需求规格说明书的要求6）在系统测试中发现的错误已经得到修改，各级缺陷修复率达到标准4缺陷修复率标准1）一、二级错误修复率应达到100%2）三、四级错误修复率应达到95%以上3）五级错误修复率应达到60%以上5覆盖率标准1）语句覆盖率最低不能小于80%（白盒测试时的语句覆盖率）2）测试案例执行覆盖率应达到100%（功能测试案例均以执行）3）测试需求执行覆盖率应达到100%（业务测试案例均以执行）1.5 错误级别定义一级：不能完全满足系统要求，基本功能未完全实现；系统崩溃或挂起等导致系统不能继续运行。包括以下各种错误：1由于程序所引起的死机,非法退出2死循环3数据库发生死锁4因错误操作导致的程序中断5功能错误6与数据库连接错误7数据通讯错误二级：严重地影响系统要求或基本功能的实现，且没有更正办法（重新安装或重新启动该软件不属于更正办法）。使系统不稳定、或破坏数据、或产生错误结果，或部分功能无法执行，而且是常规操作中经常发生或非常规操作中不可避免的主要问题。包括以下各种错误：1程序接口错误2因错误操作迫使程序中断3系统可被执行，但操作功能无法执行（含指令）4单项操作功能可被执行，但在此功能中某些小功能（含指令参数的使用）无法被执行（对系统非致命的）5在小功能项的某些项目（选项）使用无效（对系统非致命的）6业务流程不正确7功能实现不完整，如删除时没有考虑数据关联8功能的实现不正确，如在系统实现的界面上，一些可接受输入的控件点击后无作用；对数据库的操作不能正确实现9报表格式以及打印内容错误（行列不完整，数据显示不在所对应的行列等导致数据显示结果不正确的错误）三级：严重地影响系统要求或基本功能的实现，但存在合理的更正办法（重新安装或重新启动该软件不属于更正办法）。系统性能或响应时间变慢、产生错误的中间结果但不影响最终结果等影响有限的问题。包括以下各种错误：1操作界面错误（包括数据窗口内列名定义、含义是否一致）2打印内容、格式错误（只影响报表的格式或外观，不影响数据显示结果的错误）3简单的输入限制未放在前台进行控制4删除操作未给出提示5已被捕捉的系统崩溃，不影响继续操作6虽然正确性不受影响，但系统性能和响应时间受到影响7不能定位焦点或定位有误，影响功能实现8显示不正确但输出正确9增删改功能，在本界面不能实现，但在另一界面可以补充实现。四级：使操作者不方便或遇到麻烦，但它不影响执行工作功能或重要功能。界面拼写错误或用户使用不方便等小问题或需要完善的问题包括以下各种错误：1界面不规范2辅助说明描述不清楚3输入输出不规范4长时间操作未给用户提示5提示窗口文字未采用行业术语6可输入区域和只读区域没有明显的区分标志7必填项与非必填项应加以区别8滚动条无效9键盘支持不好，如在可输入多行的字段中，不支持回车换行；或对相同字段，在不同界面支持不同的快捷方式10界面不能及时刷新，影响功能实现五级：其他错误。1光标跳转设置不好，鼠标（光标）定位错误2一些建议性问题1.6 测试工作流程1.6.1 测试工作总体流程 设计阶段编码及单元白盒测试阶段单元黑盒测试阶段集成测试阶段确认测试阶段系统测试阶段安装测试阶段验收测试阶段结项总结阶段图1. 测试工作总体流程图说明：集成测试和系统测试的反馈意见可能导致设计文档（需求或数据库）的修改。1.6.2 集成/功能/系统测试工作流程测试用例测试