关于自动化测试的实施建议报告

1、Neusoft Group Ltd.Beyond TechnologyDate: 07. Sep Peter自动化测试提议汇报网络安全事业部自动化测试引入提议汇报/10/101关于自动化测试的实施建议报告第1页提议内容在网安产品测试技术领域创新与研究方面增加投入，提升组织测试阶段能力和技术含量，提升组织关键竞争能力。将提升员工测试技能尤其是自动化测试技能纳入培训计划和人才招聘计划将自动化测试流程建立纳入到部门过程改进计划中，有组织有计划逐步实施/10/102关于自动化测试的实施建议报告第2页本想法产生过程经过自动化节约时间用来提升本身技能帮助完成重复测试工作，降低劳动强度希望能够将测试伎俩和相

2、关过程革新纳入到部门过程改进中，经过系统引入自动化测试，来提升部门关键竞争力和应对未来软件规模挑战能力。 希望经过逐步引入和实施自动化测试，带动相关测试和开发流程规范，形成部门相关标准，扩大自动化测试所产生经济效益，提升各项目按时交付能力，跟上行业发展步伐。自动化测试能够提升测试效率和质量使bug再现不受随机测试干扰能够节约时间更广泛和更深入测试最初想法逐步意识到现在想法/10/103关于自动化测试的实施建议报告第3页Contents软件测试自动化介绍部门开展自动化测试可行性和必要性分析部门引入自动化测试提议实施方案预计实施后场景/10/104关于自动化测试的实施建议报告第4页Neusoft

3、Group Ltd.Neusoft Group Ltd.Beyond TechnologyDate: 07. Sep Peter 软件测试自动化介绍自动化测试涵盖范围自动化测试优势自动化测试开发体系自动化测试过程自动化测试主要技术伎俩引入自动化测试意义/10/105关于自动化测试的实施建议报告第5页自动化测试涵盖范围测试脚本和测试数据自动生成测试过程自动执行测试结果自动比较测试汇报自动生成测试管理控制流程自动化/10/106关于自动化测试的实施建议报告第6页自动化测试优势测试效率高（eg. VPN nsh测试）bug再现效率高节约测试人员投入提升传统测试领域测试覆盖率功效测试回归可复用程度高关

4、键测试脚本写为库文件后，能够在今后项目中复用测试和开发结合愈加紧密测试质量可控(eg. neteye4.0稳定性测试)测试执行过程严格，排除手工测试随机性Bug再现和确认结果准确，排除随机测试干扰增加测试版本，不再受测试时间长短限制/10/107关于自动化测试的实施建议报告第7页手动测试与自动化测试对比手动测试自动化测试测试覆盖率不高，提升测试覆盖率所需成本很高测试阶段花费大量时间，造成项目延大量重复验证工作和开发重复修改调试，造成测试人员责任心下降和工作兴趣消失测试用例不准确，造成测试过程存在大量随机测试，质量和风险无法控制提升测试覆盖率仅与测试数据完备程度相关，测试执行时间仅取决于脚本执行

5、时间，和系统bug数量大量重复基本验证工作由自动化测试完成，测试人员有更多时间进行发散测试测试用例全部由准确测试脚本组成，质量完全经过测试开发过程和项目流程来控制/10/108关于自动化测试的实施建议报告第8页传统测试过程与自动化测试过程比较集成测试系统测试验收测试单元测试测试开发系统测试时间传统测试过程自动化测试过程/10/109关于自动化测试的实施建议报告第9页自动化测试怎样表达到NUP过程中自动化测试需求分析自动化测试技术准备自动化测试框架建立测试结果自动分析自动化测试优化测试数据增加需求变更控制移交阶段构建阶段精化阶段先启阶段自动化测试数据生成自动化测试脚本开发自动化测试执行回归测试（

6、daily build 构建测试）自动化测试脚本维护/10/1010关于自动化测试的实施建议报告第10页自动化测试主要技术伎俩UI功效 Web QTP GUI Winrunner ，RobotCLI SecureCRT (Scripts)Bash shell scriptsWindows platform TCL通信功效 bat shell tcl nessus 性能 IXIA Smartbits LoadRunner 测试管理TestDirector QilityCenterRational Test Suite/10/1011关于自动化测试的实施建议报告第11页自动化测试脚本维护过程测试脚

7、本生成测试脚本更新（随系统更新）测试脚本分类测试结果分析/10/1012关于自动化测试的实施建议报告第12页自动化测试开发体系配置管理开发自动测试程序同行评审自动测试基础设施测试工具标准测试工具兼容性实用处理方案测试过程执行进度模块关系分析自动测试工具手册手动测试计划测试设计标准测试开发标准自动测试重用分析技术环境设施及硬件测试步骤就绪检验/10/1013关于自动化测试的实施建议报告第13页引入自动化测试意义处理传统测试无法处理问题测试周期太长测试过程由人工操作带来对测试结果干扰提升测试质量完成大量边界值测试提升测试效率大量重复操作耗时测试稳定性测试，极限测试快速完成接收验证测试，实现测试驱动

8、开发模式/10/1014关于自动化测试的实施建议报告第14页Neusoft Group Ltd.Neusoft Group Ltd.Beyond TechnologyDate: 07. Sep Peter自动化测试可行性和必要性分析部门自动化测试有利条件部门当前使用自动化测试工具现实状况部门开展自动化测试不利原因部门开展自动化测试需求引入自动化测试还需关心问题尚需改进工作内容/10/1015关于自动化测试的实施建议报告第15页部门自动化测试有利条件部分测试人员具备自动化测试基本技能（eg. 孙玉梅 5x， 卢婷婷 5x， 顾新宇 5x）能够实现自动化测试内容很多潜力巨大部门具备白盒测试引入经验

9、自动化测试工具QTP LoadRunner等在企业范围内广泛使用，不存在太多技术风险。/10/1016关于自动化测试的实施建议报告第16页部门当前使用自动化测试工具现实状况/10/1017关于自动化测试的实施建议报告第17页部门开展自动化测试不利原因部门层面没有统一测试技术架构，项目间资源共享和可复用程度很低自动化测试各自为战，效率提升不显著，缺乏项目早期规划及过程中配置管理，自动化程度还很低。人员自动化测试技能有待深入提升，高效率测试执行意识不足应用层性能测试和自动化测试比较微弱，测试设计人员能力还有欠缺企业间竞争最终都将表达在关键技术过程能力与管理体系上面，采取先进测试技术能够提升我们这方

10、面能力，也是测试行业发展趋势/10/1018关于自动化测试的实施建议报告第18页部门开展自动化测试需求功效性能稳定性测试管理活动自动化功效测试拓扑FW初始配置脚本自动执行Web nsh极限测试QTP执行过程相对固定功效用例全部测试设备物理结构固定性能测试用例应用层内容过滤并发测试LoadrunnnerFW自动配置发包脚本，设备自动监控及统计缺点自动分析和管理测试进度自动统计/10/1019关于自动化测试的实施建议报告第19页引入自动化测试还需关心问题自动化测试工具创建测试脚本能力工具易用性测试脚本编程和扩展能力测试脚本参数化技术测试工作和其它软件生命周期管理工具集成能力 测试脚本难于维护测试人

11、员对规范执行力度不够缺乏专业自动化测试管理和执行人员需求变更造成自动化测试维护成本无法控制。技术准备不充分造成项目在测试阶段存在较大风险/10/1020关于自动化测试的实施建议报告第20页尚需改进工作内容建立自动化测试管理流程，结合NUP将自动化测试管理纳入项目管理过程中。测试流程需要为自动化测试实施进行适当改造，制订相关规范和过程文档模版，建立科学管理过程，使自动化测试得到有效管理与控制。建立自动化测试工具库和用例库，提升可复用程度，项目间建立共享自动化资产渠道增加在自动化测试方面投入（人员，培训，测试工具）/10/1021关于自动化测试的实施建议报告第21页Neusoft Group Lt

12、d.Neusoft Group Ltd.Beyond TechnologyDate: 07. Sep Peter自动化测试引入方案有效利用现有条件开展自动测试建立自动化测试管理流程建立和整合可复用自动测试工具库和用例库试点评定和推广/10/1022关于自动化测试的实施建议报告第22页有效利用现有条件开展自动测试利用qtp实现自动测试测试脚本生成参数化设计测试数据测试用例驱动自动运行使用shell脚本进行自动化测试循环调用nemesis发送各种icmp数据包利用vsh进行自动化测试securitCRT支持vbscript javascript结合提供接口实现自动远程命令执行 循环添加50000条

13、防火墙规则/10/1023关于自动化测试的实施建议报告第23页建立自动化测试管理流程结合企业质量体系文件，开发自动化测试各阶段所需文档和测试开发流程自动化测试项目预计汇报自动化测试需求调查表自动化测试规划提议汇报自动化测试配置管理计划自动化测试开发详细计划自动化测试详细设计自动化测试用例（包含多个版本）自动化测试执行结果对照表自动化测试规范自动化测试指南 /10/1024关于自动化测试的实施建议报告第24页建立和整合可复用自动测试工具库和用例库建设可复用测试脚本库可复用QTP action和二次开发API网安产品测试工具库和配置文件库自动化测试数据库测试结果配置库测试程序库/10/1025关于

14、自动化测试的实施建议报告第25页试点评定和推广试点选取一个项目或功效模块采取自动化测试管理流程进行自动化测试评定内容（后续细化）测试覆盖率项目过程中每人月bug数量缺点收敛率推广在部门内建立自动化测试团体，对各个项目进行自动化测试技术支持和测试需求分析，共享自动化测试用例库和工具库等可复用资产/10/1026关于自动化测试的实施建议报告第26页Neusoft Group Ltd.Neusoft Group Ltd.Beyond TechnologyDate: 07. Sep Peter预计自动化测试场景/10/1027关于自动化测试的实施建议报告第27页自动化测试团体人员组成/10/1028关

15、于自动化测试的实施建议报告第28页自动测试与手工测试结合场景/10/1029关于自动化测试的实施建议报告第29页自动化测试团体矩阵式组织结构SPEGPDT开发PDTAuto Test部门测试开发测试开发Auto TestAuto Test/10/1030关于自动化测试的实施建议报告第30页引入路线图-5-12-10-6结合CMMI，实现自动化测试流程与项目管理过程优化整合，由SEPG自动化测试小组指导对部门各项目实施自动化测试.在一个新项目中采取自动化测试对应开发管理流程，并对项目管理过程进行评定。以WEB测试VPN为试点,对建立流程和测试效果进行评定，并对测试管理过程加以改进建立完整自动化测

16、试管理流程和体系，编写体系文件和流程模版，建立部门级和项目级别自动化测试配置，实施对应配置管理计划和管理模版/10/1031关于自动化测试的实施建议报告第31页预计工作内容1.自动化测试管理文档开发. 2.自动化测试工具研究开发.3.测试框架开发-命名体系和测试规范4.ixia进行稳定性测试方法研究5.QTP进行web自动化测试研究6.ixia进行性能自动化测试研究7.SecureCRT进行功效自动化测试研究.8.新测试工具调查，VPN证书测试中进行试点9.测试人员自动化测试培训.10.自动化测试评定.11.高级自动化研究.13.B/S 2层和3层结构系统自动化测试.14.集成FW VPN I

17、PS SOC测试框架构建.15.自动化测试管理体系与企业现有体系得融合/10/1032关于自动化测试的实施建议报告第32页预期带来效益-10-12实现自动化测试用例统一规划,提升测试用例可维护性 建立可复用自动化测试用例库，将适合采取自动测试伎俩部分，利用工具来进行测试实现测试设计和测试执行分离。 建立起规范自动化流程，实现VPN 40%功效自动化测试-6-5节约项目测试阶段30%以上执行时间，提升每人月缺点发觉率提升QCD水平,提升关键竞争能力和按期交付能力提升工作效率30%以上降低项目成本30%以上/10/1033关于自动化测试的实施建议报告第33页SummaryWhy to do? 缩短测试周期，节约项目成本，占领技术制高点What to do?规范有组织有计划提升测试水平和技术含量How to do? 自动化测试引入实施方案自动化测试引入详细工作计划Wehter to do？/10/1034关于自动化测试的实施建议报告第34页Thank you!个人的成功也基于公司的成长企业的成功依赖于员工的成长/10/1035关于自动化测试的实施建议报告第35页机会-需求-挑战大批量数据驱动软件测试 整个软件测试生命周期管理提