Top100summit多层次自动化拦截平台数通设备自动化运用模式—H3C

1、揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！多层次自动化拦截平台数通设备自动化运用模式H3C 产品测试经理，高勇揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！摘要1、案例简介2、案例背景3、经验之谈4、具体实践5、后期规划6、ROI分析7、案例启示揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！多层次自动化拦截平台数通设备自动化运用模式a) 案例简述：阐述了自动化应用于数通产品测试的一种模式：即针对数通版本及缺陷的特点，通过多层次自动化拦截平台有效保障版本发布质量

2、的成功实践。b)当初启动此案例时（或实施后）达到的目标使脚本、人、机制、工具形成一个有机的系统，并具备如下特征。1）充分的：整体设计实现能形成全方位评估，并有效拦截质量反复；2）可靠的：测试过程可信，测试结果要能反映版本实际，并便于评估；3）高效的：整体运行机制高效可控，能快速找到质量反复点及风险点；4）可选的：模块化构成，可根据版本不同发布用途调整运行策略；5）可持续的：通过机制使具有自我修复、成长的能力。揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！案例背景 无穷的测试用例和有穷的测试资源之间的矛盾客观存在；自动化测试不是目的，而是手段，用得好才

3、是真的好；用思想让自动化获得生命，并使其在产品验证中绽放生命被测对象、协议多；复杂度、耦合度、料本高；渐增构建可继承；发布用途对质量要求多样。有效模式如何构建？What do you want to be, what you can be. 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！经验之谈需要根据产品实际与风险分布进行顶层设计，并进行长期规划；从基本功能，向功能全集，向压力拷机性能容量纵深测试套逐步落实必须依托版本变更分析，将自动化优化与规格变更无缝对接； 自动化的价值在于高效快速的质量评估以及即时的质量反复拦截；必须坚持自动化测试与手工测试的

4、融合，并不断强化互补； 只有持续投入才能保持生命力，一次性投入的思想是绝对错误的； 不以脚本数量论英雄，用到极致是关键；不要期望自动化能发现大量问题，其存在的根本价值是拦截质量反复和可靠评估；揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！多层次自动化拦截平台ACT底层遍历强相关功能全集测试套重大问题同步小特性变更容量规格性能规格拷机自动化命令行协议一致性异常攻击易用性内存泄露发布！基本功能功能全集继承性规格监测压力拷机其他工具开发规划中24h即时拦截即时拦截62h即时拦截即时拦截长时问题长时问题拦截拦截协同协同监测监测网管叠加故障MIB组网More依

5、托H3C云自动化管理平台揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！实践 1.1 基本功能自动化测试套ACT底层遍历强相关基本功能24h即时拦截即时拦截包括ACT、底层遍历、强相关等三个套件1是自动化测试和版本质量评估的核心力量。可实现即时问题拦截。套件、用途、规模、运行时数2ACT 二级及以上软件规格450+60H底层遍历 硬件交付件&转发180+12H强相关软件在接口链路模式可用1360+105H快速、全面；粒度较粗；3用于所有版本的预测试评估，多环境并行确保可在24小时内完成本版本的快速评估和纠错。揭示研发管理白金定律，分享那些激动人心的创新

6、与变革，使得团队获得过多源动力与更大的推动力！实践 1.2 功能全集测试套功能全集测试套重大问题同步小特性变更功能全集继承性62h即时拦截即时拦截TestBlade V2.0测试套，简称TB21是自动化测试和版本质量评估的中坚力量。可实现即时问题拦截。套件、用途、规模、运行时数2TB2 软件规格全集3500+540H+全面；运行周期长，资源消耗大；手工&自动化融合3用于测试过程版本的转测试验证及归档生产版本的发布验证，多环境确保单周末（62H）内完成版本质量的完全评估。揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！实践 1.3 继承性确认测试套功能全

7、集测试套重大问题同步小特性变更功能全集继承性62h即时拦截即时拦截包含小特性变更、重大网上问题同步等两个套件1是自动化测试和版本质量评估中确保继承的中坚力量。可实现即时问题拦截。小特性变更测试套2对二级规格及以下软件特性、需求、规格、定制等小型变更，进行继承性确保，与TB2合并运行。核心思想是快速实时开发。用于测试过程版本的转测试验证及归档生产版本的发布验证，单周末（62H）内可完成继承性确认。重大网上问题同步测试套3用于对已发生重大网上问题进行继承性确保，避免重大问题在前后版本及不同产品间的重复发生。其核心思想是完全重现及快速验证。用于对外版本的发布验证，24小时内完成继承性确认。揭示研发管

8、理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！实践 1.4 拷机&压力测试套拷机自动化压力拷机长时问题长时问题拦截拦截定义1是自动化测试和版本质量评估中确保继承的纵深力量，可实现长时问题拦截。套件、用途2与拷机压力测试项对应，规模巨大，变化繁多；适于晚间运行，利用自开发TCL业务模板，15mins脚本快速生成；环境利用最大化；有序、完备；周期长、过程完备控制难；3环境分散，测试项离散；需通过策略及过程记录保障；用绩效牵引；可拦截变量翻转、资源消耗等需长时压力情况下发现问题；揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力

9、！实践 1.5 规格确认测试套容量规格性能规格命令行协议一致性异常攻击易用性内存泄露规格监测其他工具协同协同监测监测包括容量规格、性能规格两个测试套件1是自动化测试和版本质量评估中规格确保的重要力量。实现协同告警套件、用途、规模、运行时数2容量规格容量规格监测32项15H性能规格 性能规格监测19项110H+固化稳定；手工劳动替代；3用于每个Build版本的规格评估和优化触发，可极大减少人力和资源消耗，减少人为因素干扰。揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！实践 1.6 自动化测试工具容量规格性能规格命令行协议一致性异常攻击易用性内存泄露规格

10、监测其他工具协同协同监测监测命令行遍历自动化工具1用于对软件版本进行命令行遍历测试命令执行、参数范围、兼容性、命令下发等检查内存泄露自动化测试工具2eagle、kmemleak、ZVM等，对内存泄露、内存越界排查有序、完备；周期长、过程完备控制难；其他自动化手段4协议一致性自动化测试、异常攻击自动化测试等自动化易用性工具3版本自动升级、自动化环境链路检查等，一键运行揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！开发规划中网管叠加故障MIB组网More依托H3C云自动化管理平台And 后期规划后期规划测试套11）MIB自动化通用性强，待增强开发。手工替

11、代。2）网管GUI自动化受界面变化频繁影响，继承性差待二期改进手工替代+快速适配3）叠加自动化灵活，需求强烈，前期分析及仪器厂商开发中L2+L3+L4L7+流量拷机4）故障模拟需根据实现针对性开发，列入计划，待启动继承性确保5）行业组网自动化需根据应用针对性开发，列入计划，待启动组网+业务+流量+异常模拟+拷机测试云自动化管理平台（一期已完成，二期开发中）2已实现所见即所得自动发现集中管理动态分配并发执行自动生成揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！案例ROI分析1891524H23天100% & 80%+123各套件共用环境，不增加资源投入多款型多版本共用，长期用成本低4套件通用性强，可用于后续产品及兄弟产品5可稳定有效提升测试能力不因人员变动影响短期运行效果6可形成研发资源并向开发环节开放7揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！案例启示 测试的攻 & 守测试岗位竞争力提升之道揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！攻守测