基于二分法的自动化回归测试分析系统-何爽.ppt

基于二分法的 自动化回归测试分析系统 (Automated Bisect System),何爽 资深测试工程师 Intel开源软件技术中心 2010 -11-13,Legal Disclaimer,INFORMATION IN THIS DOCUMENT IS PROVIDED IN CONNECTION WITH INTEL PRODUCTS. EXCEPT AS PROVIDED IN INTELS TERMS AND CONDITIONS OF SALE FOR SUCH PRODUCTS, INTEL ASSUMES NO LIABILITY WHATSOEVER, AND INTEL DISCLAIMS ANY EXPRESS OR IMPLIED WARRANTY RELATING TO SALE AND/OR USE OF INTEL PRODUCTS, INCLUDING LIABILITY OR WARRANTIES RELATING TO FITNESS FOR A PARTICULAR PURPOSE, MERCHANTABILITY, OR INFRINGEMENT OF ANY PATENT, COPYRIGHT, OR OTHER INTELLECTUAL PROPERTY RIGHT. Intel may make changes to specifications, product descriptions, and plans at any time, without notice. All dates provided are subject to change without notice. Intel is a trademark of Intel Corporation in the U.S. and other countries. *Other names and brands may be claimed as the property of others. Copyright 2007-2010, Intel Corporation. All rights are protected.,纲要,背景 需求 原理 应用 未来,回归测试,代码改动： 添加新的功能 修正软件缺陷 退化问题（Regression） 回归测试（Regression test) 频繁 自动化,相当比例的缺陷修复工作并不能真正解决问题，或者会引发新的问题,Linux图形系统代码统计,Linux图形系统的测试,每晚运行超过2400个测试用例 4个主要组件每天50次代码改动 超过100个测试用例同时退化 退化问题几乎时时刻刻都在发生 退化问题可能发生在任何的软件组件 退化问题的及时分析,纲要,背景 需求 原理 应用 未来,我们的问题是,如何及时有效的跟踪和分析定位退化问题？,我们需要一个系统,跟踪和分析测试结果 定位引入退化问题的组件 定位引入退化问题的代码改动,纲要,背景 需求 原理 应用 未来,系统架构,演示flash,系统工作流程,编译/控制机,测试机,回归测试结果分析机,测试工程师,编译分发,运行测试用例1,分析测试用例1,分析报告,分析请求,运行测试用例2,运行完所有用例,测试结果,汇总测试报告,运行测试用例n,分析测试用例n,分析报告,分析请求,发生退化问题,发生退化问题,结果分析,测试用例 测试用例的粒度 测试用例的结果细分 测试用例的改变 测试结果 基准 测试结果的退化 测试结果的改进,组件定位,回退组件的