基于二分法的自动化回归测试分析系统-何爽.ppt

基于二分法的 自动化回归测试分析系统 (Automated Bisect System),何爽 资深测试工程师 Intel开源软件技术中心 2010 -11-13,Legal Disclaimer,INFORMATION IN THIS DOCUMENT IS PROVIDED IN CONNECTION WITH INTEL PRODUCTS. EXCEPT AS PROVIDED IN INTELS TERMS AND CONDITIONS OF SALE FOR SUCH PRODUCTS, INTEL ASSUMES NO LIABILITY WHATSOEVER, AND INTEL DISCLAIMS ANY EXPRESS OR IMPLIED WARRANTY RELATING TO SALE AND/OR USE OF INTEL PRODUCTS, INCLUDING LIABILITY OR WARRANTIES RELATING TO FITNESS FOR A PARTICULAR PURPOSE, MERCHANTABILITY, OR INFRINGEMENT OF ANY PATENT, COPYRIGHT, OR OTHER INTELLECTUAL PROPERTY RIGHT. Intel may make changes to specifications, product descriptions, and plans at any time, without notice. All dates provided are subject to change without notice. Intel is a trademark of Intel Corporation in the U.S. and other countries. *Other names and brands may be claimed as the property of others. Copyright 2007-2010, Intel Corporation. All rights are protected.,纲要,背景 需求 原理 应用 未来,回归测试,代码改动： 添加新的功能 修正软件缺陷 退化问题（Regression） 回归测试（Regression test) 频繁 自动化,相当比例的缺陷修复工作并不能真正解决问题，或者会引发新的问题,Linux图形系统代码统计,Linux图形系统的测试,每晚运行超过2400个测试用例 4个主要组件每天50次代码改动 超过100个测试用例同时退化 退化问题几乎时时刻刻都在发生 退化问题可能发生在任何的软件组件 退化问题的及时分析,纲要,背景 需求 原理 应用 未来,我们的问题是,如何及时有效的跟踪和分析定位退化问题？,我们需要一个系统,跟踪和分析测试结果 定位引入退化问题的组件 定位引入退化问题的代码改动,纲要,背景 需求 原理 应用 未来,系统架构,演示flash,系统工作流程,编译/控制机,测试机,回归测试结果分析机,测试工程师,编译分发,运行测试用例1,分析测试用例1,分析报告,分析请求,运行测试用例2,运行完所有用例,测试结果,汇总测试报告,运行测试用例n,分析测试用例n,分析报告,分析请求,发生退化问题,发生退化问题,结果分析,测试用例 测试用例的粒度 测试用例的结果细分 测试用例的改变 测试结果 基准 测试结果的退化 测试结果的改进,组件定位,回退组件的选择 按照相关性 按照统计概率 备份机制,二分法定位（Bisect）,利用二分法定位引入退化问题的代码改动,1,2,3,4,5,6,7,8,9,10,11,改进的多分支二分法算法,纲要,背景 需求 原理 应用 未来,自动化回归测试分析系统的应用,开源软件项目Intel Linux 图形系统 构建 2D功能测试（Xrender, Cairo) 3D功能测试（OpenGL, OpenGL ES） 性能测试 同样适用于其他自动化的回归测试系统,应用成效,需要关注的问题,实现的代价 分析结果的准确性 分析的时间开销 代码的可测试性 软件模块间的依赖 系统的稳定性,纲要,背景 需求 原理 应用 未来,自动化回归测试分析系统的未来,开源的自动化回归测试分析系统框架