运营的思路来做无线产品测试

1、运营的思路来做无线产品测试?用运营的思路来做?无线产品测试 - 京东?无线测试的部分实践 京东?无线测试部 邱鹏 第13届BQConf（北京软件质量?大会） 关于京东?无线测试 产品 京东主app（Android，iOS），pad版，M站，后台服务，其他app 团队规模 40+，BJ&SH ?工作内容 - 功能测试 -? 专项测试：兼容性，app性能，代码覆盖率，流量，电量，异常和打断场景 -? ?自动化：app UI?自动化，接?口?自动化 -? 监控：后台接?口服务、线上运营活动 -? 测试开发：测试?工具和平台开发 -? 质量管理：线上问题跟进，研发流程质量推动 测试实践1 ap

2、p代码覆盖率 这个传统的技术，如何在app测试过程中发挥价值？ 1.? 它能提供?一个独特的视?角：让?黑盒的功能测试和代码建?立关联 2.? 我们产品的特点： -? 多个?小功能快速迭代 -? 单个代码量不太?大，功能开发和测试周期短 -? ?用户量很?大，使?用场景复杂 测试实践1 app代码覆盖率 测试实践1 app代码覆盖率 现状 -? 单个功能测试只有?几天时间 -? 让每位功能测试同学实践和熟练上?面的过程代价很?大 -? ?大部分?人对代码的了解不够深?入 我们的?一些实践 1. 集中提供覆盖率的安装包 ? ?自动化?生成和安装 ? ?自助可选择性打包 2. 消除?工具的局限：

3、- 应?用不结束?无法?生成报告 - crash后数据丢失 - app切换到后台后覆盖率收集停?止，再切到前台不再收集。 3. ?自动的收集数据和?生成报告 4. ?支持多个覆盖率数据?文件合并 5. 邀请开发?一起分析覆盖率结果 6. 不强制要求覆盖率，但积极推?广 测试实践1 app代码覆盖率 测试实践1 app代码覆盖率 应?用效果 代码覆盖率报告邮件样本 体会 app代码覆盖率 1.? 着眼于?一个完整的应?用?方案，?而不局限在技术和?工具的可?用性。 （商业化和技术原型的差别？） 2. 关注“?用户”体验。不愿意?用很多时候是因为不好?用。 额外的思考和探讨 Q：如何让测试开发做出

4、来的?工具和平台得到良好的应?用效果？ Example：开发?一个HTTP mock server 1.? ?一个从socket开始构建的基于C+的插件化平台，应?用?方?自?行开发插件。 2.? ?一个python编写的http server，通过xml和正则表达式来定制HTTP response。 3.? ?一个基于Fiddler core?二次开发的代理，回放response header和body。 测试实践2 接?口?自动化监控 我们提供的是app，还是?一些服务？ ?用户想要随时随地可以： -? 访问各种促销活动 -? 搜索商品，查看商品详情 -? 收藏，加购物?车，下单 -? 查

5、看物流情况 -? 发表评论，咨询客服 -? 研发阶段的质量 ? 运营阶段的质量 测试实践2 接?口?自动化监控 Why？ - App的服务质量?大部分是依赖于后台服务的质量！ - 测试时OK，发布时OK，但?用户?用的时候OK吗？ 电商app重度依赖后台接?口服务，?几乎每个界?面都有?网络请求 -? 接?口不可?用的时候可以第?一时间发现，告知 -? 接?口的整体可?用性如何？ -? 接?口的性能如何？ 测试实践2 接?口?自动化监控 监控&告警 当平台实时监测到异常和超时的接?口信息，及时通过邮件/短信/微信通知到相关责任?人。 测试实践2 接?口?自动化监控 告警定位 告警的责任

6、?人通过邮件中的详细数据链接，查看具体信息进?行初步分析和定位。?支持?手?工进?行告警屏蔽。 测试实践2 接?口?自动化监控 ?日报 测试?日报统计?一天的接?口运?行结果，标记出当天失败率和超时率超过上限?比例的测试?用例，以及时间维度的统计。 测试实践2 接?口?自动化监控 数据查询 通过接?口的?一周性能曲线，可以提供更直观的数据进?行衡量，以此为据推动研发不断优化。 测试实践2 接?口?自动化监控 从6?月份上线以来， -? ?目前监控了126个接?口和?大部分运营活动?页?面，覆盖了?目前app主要功能 -? Q3发现多个线上问题，多次第?一时间发现现?网故障 -? 推动了超过20

7、个接?口的性能优化和改进 测试实践2 接?口?自动化监控 监控平台 ?C#+MySQL实现 ?各个功能模块低耦合 ?支持多个监控机同时监控同?一系统 ?支持同时监控多个系统 数据 ?所有数据整合?入库，保留现场 ?支持多维度分析（时间，接?口，功能） 测试实践2 接?口?自动化监控 技术?方?面的实践 1.? 运营配置的?首?页楼层和活动?页?面 ? 接?口请求通过脚本来随动 2.? 接?口请求要带app版本号，不断升级 ? 动态获取官?网app版本号 3.? HTTP 200 is OK？ ? 断?言，JSON code，关键字，响应?大?小 4. 账号和防刷策略 ? 控制频率，移出?黑名单

8、，加?入?白名单 5. 异常时?长时间?无响应 ? 设置超时 6.? 告警通道，收敛策略 ? 复?用，调整 7.? DB数据量过?大的 ? 对于正常的不存储请求和响应内容 8.? 提供图表汇总展?示 9.? 异常时提供对应接?口当时的请求和响应数据 10.?单个接?口维度的数据展?示 测试实践2 接?口?自动化监控 流程?方?面的实践 1.? 应急响应机制 - 每个接?口指定开发owner - 测试验证 - 微信值班群周知 - SWAT team - 录?入外?网问题，跟进COE 2.? 优化跟进 - ?文件接?口列表 - 接?口优化?立项 - 外部接?口专项会议 3.? 监控运营 - 调整监

9、控设置和告警阀值 - 持续增加接?口覆盖 - 优化，暂时屏蔽?用例 体会 接?口?自动化监控 1.? 互联?网产品依赖于不断的运营，互联?网测试也要关注线上运营的质量 2. 开发完?工具平台只是测试的开始，不断的发现新的问题，不断的改进和优化，本?身也是?一个运营的过程 测试实践3 App UI?自动化 Again，我们要深?入的掌握技术，但不要陷在?里?面。 1.? 希望在什么场景使?用？ 每?日构建，快速回归新build？ 2. 希望发现什么样的问题？ app逻辑，UI布局，接?口逻辑？ 3. 遇到失败的?用例怎么办？ 谁来跟进最合适？ 能提供哪些信息来帮忙定位问题？ 4. ?用例质量问题

10、？ 稳定性的障碍，是否必须要求100% PASS？ 5. ?用例执?行效率如何？ How fast is fast enough？ 6. App版本迭代很快，是否维护多个版本 3.6， 3.7， 3.8， 3.9， 4.0 7. 谁来写?自动化?用例？ Driver/框架/3#ff9999lib/?用例，哪些?比较稳定，哪些在?生?长？ 最后，价值如何？ 测试实践3 App UI?自动化 ?小结 ?用运营的思路来做测试 1.? ?一开始就把故事想圆了，每个测试?方案都是我们的?一个产品。 需求，?目标，研发，验证，推?广，运营 反例：?一个查看app实时CPU和内测消耗的?工具。 2. 像互联?网产品?一样不断