何小伟：芒果TV自动化测试的实战

1、芒果芒果TV自动化测试实战自动化测试实战0101020204040303目录目录全屏加速度自动化测试方法 互联网电视应用自动化测试难点3截止到2016年6月全全屏加速度屏加速度PC端、移动端(iPhone、iPad、Android)、OTT端(Android、Linux)、M站(手机、平板)4000万3.01亿1.45亿2953万芒果TV全平台日均活跃用户数芒果TV手机APP安装激活量芒果TV OTT终端激活用户数PC端视频播放月覆盖人数1.6亿芒果TV日均VV4自动化测试目标自动化测试目标测试时间减少：90%人力成本减少：90%单次全功能测试比率：100%测试覆盖率：98%现状现状 目标目标

2、 项目单次测试时间：2天测试人员加班、加班、加班不能保证单次项目全功能测试无异常测试环境，测试覆盖率低 5如何覆盖如此多的终端设备？如何模拟不同端的不同行为？如何获取各个业务的反馈数据并分析？如何实现业务功能的全面覆盖？如何搭建复杂异常的测试环境？如何确保整体结果是ok的？如何在公司内进行推广？自动化测试难点自动化测试难点 ？6PC端： 浏览器：IE、Chrome、Firefox等APP端： 设备机型：Android、iPhone、iPad、Android Pad等OTT端： 设备机型：海美迪、三星等M站： 设备机型：手机、平板等自动化测试终端设备自动化测试终端设备7自动化测试框架自动化测试框

3、架PC端： APP端、M站 Selenium Appium 跨跨平台平台分布式分布式WebDriver API自动化测试框架：MonkeyRunner：API工具包、脚本可读性差、回放率差iTestin：录制生硬、脚本难以复用Selenium：简单、方便、兼容Appium：跨平台、多语言8自动化测试之广告业务自动化测试之广告业务一个简单的广告点击链接功能？点击请求上报返回触发广告播放点击页面链接，广告数据上报广告播放过程，点击页面链接进入下支广告或视频9自动化测试之广告业务自动化测试之广告业务一个简单的广告点击链接功能的验证？点击请求上报返回页面元素验证广告播放后台验证广告请求与播放上报直接抓

4、包验证后台日志分析页面元素验证广告点击后台验证广告点击上报页面元素验证播放后台验证数据上报10评判规则： 正常情景与异常情景 线上漏测率一个简单的广告点击链接功能的异常情景？-广告请求异常情景-广告点击链接异常情景 -广告链接地址异常(404、500、timeout等) -广告数据上报异常(404、500、timeout等) -广告数据第三方监测异常(404、500、timeout等)-其它异常情景 自动化测试覆盖率自动化测试覆盖率50%70%80%11自动化测试自动化测试环境环境视频视频 下载限速下载限速网络连接失败网络连接失败404500播放卡播放卡顿顿切片出错切片出错timeout数据异

5、常数据异常文件解析失败文件解析失败素材格式错误素材格式错误自动出错自动出错乱码乱码等待等待网络状态不佳网络状态不佳拔掉网线拔掉网线需要需要开发协助开发协助无法模拟无法模拟抓抓包修正包修正影响正式环境影响正式环境频繁变动频繁变动直播直播 点播点播 轮播轮播 多机位多机位 广告位广告位 全网搜索全网搜索 精彩精彩推荐推荐 12自动化测试自动化测试环境环境两种不同的环境搭建方法方法一：搭建服务方法二：nginx文件配置13自动化自动化测试环境测试环境 Test2 Servers Request Servers Test1 Serversscene3scene2scene1 API Request A

6、PI Response API Request直播测试环境14如何确保整体结果是ok的？自动化测试自动化测试流程流程 Test Servers Result ReportsAPIAPPOTTGITLABJENKINS15自动化测试自动化测试推广推广态度、态度、态度时间、时间、时间正确率、覆盖率、漏测率“海底捞海底捞”的服务的服务王婆卖瓜、卖瓜、卖瓜口口相传、口口相传、口口相传积累、积累、积累“王婆卖瓜王婆卖瓜”的推广的推广16 PC OTT APPWeb自动化测试工具：SeleniumWeb自动化测试难点：PC-FlashOTT端自动化测试框架：？自动化测试语言：Python移动端自动化测试框

7、架：Appium操作系统：IOS、Android自动化测试方法自动化测试方法17PC端端架构架构Flash播放器怎么实现自动化测试？Controlled Web App With FlashMovie18 Selenium Server 浏览器：Chrome Firefox Safari语言： pythonPC-Flash 架构架构 PC端端架构架构ProxyControlTrigger Web App With Flash MovieExternalInterfaceJSSelenium RCClientFlashSelenium ExternalWeb Server Local Selen

8、ium RC Server 19PC端端架构架构Flash selenium，提供普遍的方法供外部调用Flash专门的功能，增加代码，提供接口供外部调用右图为Flash插件中增加点击静音、跳过广告、点击广告功能代码PC-Flash 播放器代码播放器代码 20PC端端架构架构下图为Selenium框架下，PC-Flash测试代码，静音功能、取消静音功能、跳过广告功能PC-Flash 测试测试代码代码 21APP/OTT端端架构架构移动端自动移动端自动化化测试框架测试框架 = Appium 电视端自动化测试框架电视端自动化测试框架 = ？22 Tcpdump测试框架：Appium客户端：IOS A

9、ndroid OTT语言： python APP/OTT 架构架构 APP/OTT端端架构架构Appium Tcp Client APhone Iphone OTTUiAutomator Tcp ServerCommandClientServerLog23 LogServers测试框架：Appium客户端：IOS Android OTT语言： python APP/OTT 架构架构 APP/OTT端端架构架构Appium Tcp Client APhone Iphone OTTEnvironment Servers UiAutomator Test Servers Tcp ServerComm

10、andScriptClientServerControlLog24互联网电视应用互联网电视应用Uiautomator无法识别电视盒子无法识别电视盒子页面页面？25Appium 如何模拟电视盒子的行为？如何模拟电视盒子的行为？互联网电视应用互联网电视应用26互联网电视应用互联网电视应用Appium 键盘处理键盘处理 回车键 KEYCODE_ENTER 66确定键 KEYCODE_DPAD_CENTER 23向上 KEYCODE_DPAD_UP 19向下 KEYCODE_DPAD_DOWN 20向左 KEYCODE_DPAD_LEFT 21向右 KEYCODE_DPAD_RIGHT 22向上翻页 KEYCODE_PAGE_UP 92 向下翻页 KEYCODE_PAGE_DOWN 9327互联网电视应用互联网电视应用OTT端测试步骤： 电视盒子root 或设置DNS 测试场景设置与环境服务化 Appium键盘模拟手动操作获取日志分析数据上报HOW？百度WHY? HOW？搭建服务WHY？ 异常场景可控如何