关于自动化测试的实施建议报告 PPT课件

2020 4 17 1 NeusoftGroupLtd BeyondTechnology Date 07 Sep2005 Peter 自动化测试建议报告 网络安全事业部自动化测试引入建议报告 2020 4 17 2 建议内容 在网安产品测试技术领域的创新与研究方面增加投入 提高组织测试阶段的能力和技术含量 提升组织的核心竞争能力 将提升员工的测试技能尤其是自动化测试技能纳入08年的培训计划和人才招聘计划将自动化测试流程的建立纳入到部门过程改善计划中 有组织有计划的逐步实施 2020 4 17 3 本想法产生的过程 通过自动化节省时间用来提高自身技能帮助完成重复的测试工作 降低劳动强度 希望可以将测试手段和相关过程的革新纳入到部门的过程改善中 通过系统的引入自动化测试 来提升部门的核心竞争力和应对未来软件规模挑战的能力 希望通过逐步引入和实施自动化测试 带动相关测试和开发流程的规范 形成部门的相关标准 扩大自动化测试所产生的经济效益 提高各项目按时交付的能力 跟上行业发展的步伐 自动化测试可以提高测试效率和质量使bug的再现不受随机测试的干扰可以节省时间更广泛和更深入的测试 最初的想法 逐渐意识到 现在的想法 2020 4 17 4 Contents 软件测试自动化简介部门开展自动化测试可行性和必要性分析部门引入自动化测试的建议实施方案预计实施后的场景 2020 4 17 5 NeusoftGroupLtd NeusoftGroupLtd BeyondTechnology Date 07 Sep2005 Peter 软件测试自动化简介 自动化测试涵盖范围自动化测试的优势自动化测试开发体系自动化测试过程自动化测试主要技术手段引入自动化测试的意义 2020 4 17 6 自动化测试涵盖范围 测试脚本和测试数据的自动生成测试过程自动执行测试结果自动比较测试报告自动生成测试管理控制流程的自动化 2020 4 17 7 自动化测试的优势 测试效率高 eg VPNnsh测试 bug再现效率高节省测试人员投入提高传统测试领域的测试覆盖率功能测试的回归可复用程度高核心测试脚本写为库文件后 可以在今后的项目中复用测试和开发的结合更加紧密测试质量可控 eye4 0稳定性测试 测试执行过程严格 排除手工测试的随机性Bug再现和确认结果准确 排除随机测试的干扰增加测试版本 不再受测试时间长短的限制 2020 4 17 8 手动测试与自动化测试对比 手动测试 自动化测试 测试覆盖率不高 提高测试覆盖率所需成本很高测试阶段耗费大量时间 导致项目延大量重复的验证工作和开发的反复修改调试 导致测试人员责任心下降和工作兴趣消失测试用例的不精确 导致测试过程存在大量的随机测试 质量和风险无法控制 提高测试覆盖率仅与测试数据的完备程度相关 测试执行时间仅取决于脚本执行时间 和系统bug数量大量重复的基本的验证工作由自动化测试完成 测试人员有更多的时间进行发散测试测试用例全部由精确的测试脚本构成 质量完全通过测试开发过程和项目流程来控制 2020 4 17 9 传统测试过程与自动化测试过程比较 集成测试 系统测试 验收测试 单元测试 测试开发 系统测试 时间 传统测试过程 自动化测试过程 2020 4 17 10 自动化测试如何体现到NUP过程中 2020 4 17 11 自动化测试的主要技术手段 UI功能WebQTPGUIWinrunner RobotCLISecureCRT Scripts BashshellscriptsWindowsplatformTCL通信功能batshelltclnessus性能IXIASmartbitsLoadRunner测试管理TestDirectorQilityCenterRationalTestSuite 2020 4 17 12 自动化测试脚本的维护过程 测试脚本的生成测试脚本的更新 随系统的更新 测试脚本的分类测试结果的分析 2020 4 17 13 自动化测试开发体系 配置管理 开发自动测试程序 同行评审 自动测试基础设施 测试工具标准 测试工具兼容性实用解决方案 测试过程执行进度 模块关系分析 自动测试工具手册 手动测试计划 测试设计标准 测试开发标准 自动测试重用分析 技术环境设施及硬件 测试环节就绪检查 2020 4 17 14 引入自动化测试的意义 解决传统测试无法解决的问题测试周期太长测试过程由人工操作带来对测试结果的干扰提高测试质量完成大量边界值测试提高测试效率大量重复操作的耗时测试稳定性测试 极限测试快速的完成接收验证测试 实现测试驱动的开发模式 2020 4 17 15 NeusoftGroupLtd NeusoftGroupLtd BeyondTechnology Date 07 Sep2005 Peter 自动化测试可行性和必要性分析 部门自动化测试的有利条件部门目前使用的自动化测试工具现状部门开展自动化测试的不利因素部门开展自动化测试的需求引入自动化测试还需关心的问题尚需改善的工作内容 2020 4 17 16 部门自动化测试的有利条件 部分测试人员具备自动化测试的基本技能 eg 孙玉梅5x 卢婷婷5x 顾新宇5x 可以实现自动化测试内容很多潜力巨大部门具备白盒测试引入经验自动化测试工具QTPLoadRunner等在公司范围内广泛使用 不存在太多技术风险 2020 4 17 17 部门目前使用的自动化测试工具现状 2020 4 17 18 部门开展自动化测试的不利因素 部门层面没有统一的测试技术架构 项目间资源共享和可复用程度很低自动化测试各自为战 效率提升不明显 缺乏项目早期的规划及过程中的配置管理 自动化程度还很低 人员自动化测试技能有待进一步的提高 高效率测试执行意识不足应用层性能测试和自动化测试比较薄弱 测试设计人员能力还有欠缺公司间的竞争最终都将体现在核心技术过程能力与管理体系上面 采用先进的测试技术可以提升我们这方面的能力 也是测试行业的发展趋势 2020 4 17 19 部门开展自动化测试的需求 2020 4 17 20 引入自动化测试还需关心的问题 自动化测试工具创建测试脚本的能力工具的易用性测试脚本的编程和扩展能力测试脚本的参数化技术测试工作和其它软件生命周期管理工具的集成能力测试脚本难于维护测试人员对规范的执行力度不够缺少专业的自动化测试管理和执行人员需求变更导致自动化测试维护成本无法控制 技术准备不充分导致项目在测试阶段存在较大的风险 2020 4 17 21 尚需改善的工作内容 建立自动化测试管理流程 结合NUP将自动化测试管理纳入项目管理过程中 测试流程需要为自动化测试的实施进行适当改造 制定相关的规范和过程文档模版 建立科学的管理过程 使自动化测试得到有效的管理与控制 建立自动化测试工具库和用例库 提高可复用程度 项目间建立共享自动化资产的渠道增加在自动化测试方面的投入 人员 培训 测试工具 2020 4 17 22 NeusoftGroupLtd NeusoftGroupLtd BeyondTechnology Date 07 Sep2005 Peter 自动化测试引入方案 有效的利用现有条件开展自动测试建立自动化测试管理流程建立和整合可复用的自动测试工具库和用例库试点评估和推广 2020 4 17 23 有效的利用现有条件开展自动测试 利用qtp实现自动测试测试脚本生成参数化设计测试数据测试用例驱动自动运行使用shell脚本进行自动化测试循环调用nemesis发送各种icmp数据包利用vsh进行自动化测试securitCRT支持vbscriptjavascript结合提供的接口实现自动的远程命令执行循环添加50000条防火墙规则 2020 4 17 24 建立自动化测试管理流程 结合公司质量体系文件 开发自动化测试各阶段所需文档和测试开发流程 自动化测试项目估计报告 自动化测试需求调查表 自动化测试规划建议报告 自动化测试配置管理计划 自动化测试开发详细计划 自动化测试详细设计 自动化测试用例 包含多个版本 自动化测试执行结果对照表 自动化测试规范 自动化测试指南 2020 4 17 25 建立和整合可复用的自动测试工具库和用例库 建设可复用的测试脚本库可复用的QTPaction和二次开发的API网安产品测试工具库和配置文件库自动化测试数据库测试结果配置库测试程序库 2020 4 17 26 试点评估和推广 试点选取一个项目或功能模块采用自动化测试管理流程进行自动化测试评估内容 后续细化 测试覆盖率项目过程中每人月的bug数量缺陷收敛率推广在部门内建立自动化测试团队 对各个项目进行自动化测试的技术支持和测试需求分析 共享自动化测试用例库和工具库等可复用资产 2020 4 17 27 NeusoftGroupLtd NeusoftGroupLtd BeyondTechnology Date 07 Sep2005 Peter 预计的自动化测试场景 2020 4 17 28 自动化测试团队的人员构成 2020 4 17 29 自动测试与手工测试结合场景 2020 4 17 30 自动化测试团队的矩阵式组织结构 SPEG PDT 开发 PDT AutoTest 部门 测试 开发 测试 开发 AutoTest AutoTest 2020 4 17 31 引入路线图 2009 5 2008 12 2008 10 2008 6 结合CMMI 实现自动化测试流程与项目管理过程的优化整合 由SEPG自动化测试小组指导对部门各项目实施自动化测试 在一个新项目中采用自动化测试相应的开发管理流程 并对项目管理过程进行评估 以WEB测试VPN为试点 对建立的流程和测试效果进行评估 并对测试管理过程加以改进 建立完整的自动化测试管理流程和体系 编写体系文件和流程模版 建立部门级和项目级别的自动化测试配置 实施相应的配置管理计划和管理模版 2020 4 17 32 预计的工作内容 1 自动化测试管理文档的开发 2 自动化测试工具的研究开发 3 测试框架的开发 命名体系和测试规范 4 ixia进行稳定性测试方法的研究 5 QTP进行web自动化测试的研究 6 ixia进行性能自动化测试的研究 7 SecureCRT进行功能自动化测试的研究 8 新测试工具的调查 VPN证书测试中进行试点 9 测试人员的自动化测试培训 10 自动化测试评估 11 高级自动化研究 13 B S2层和3层结构的系统的自动化测试 14 集成FWVPNIPSSOC的测试框架构建 15 自动化测试管理体系与公司现有体系得融合 2020 4 17 33 预期带来的效益 2008 10 2008 12 实现自动化测试用例的统一的规划 提高测试用例可维护性 建立可复用的自动化测试用例库 将适合采用自动测试手段的部分 利用工具来进行测试实现测试设计和测试执行分离 建立起规范的自动化流程 实现VPN40 功能的自动化测试 2008 6 2009 5 节省项目测试阶段30 以上的执行时间 提高每人月的缺陷发现率 提高QCD水平 提高核心竞争能力和按期交付能力提高工作效率30 以上降低项目成本30 以上 2020 4 17 34 Summary Whytodo 缩短测试周期 节省项目成本 占领技术制高点Whattodo 规范的有组织有计划的提高测试水平和技术含量Howtodo 自动化测试引入实施方案自动化测试引入详细工作计划Wehtertodo 2020 4 17 35 Thankyou 个人的成功也基于公司的成长 企业的成功依赖于员工的成长 2020 4 17 36 机会 需求 挑战 大批量数据驱动的软件测试整个软件测试生命周期的管理 提升快速交付的能力提高QCD水平提