自动化测试平台项目解决方案V03

1、. Smart Robot自动化测试解决方案 . . 目录 1. 迫切需要解决的问题 . 3 1.1. 智能移动设备的软件系统和硬件方案的复杂组合，导致 APP 实现多机型兼容难 度大，投入大。 . 3 1.2. 敏捷开发、迭代开发，产品追求快速上线，导致回归测试可靠性测试等任务重， 形成测试工作量波峰。 . 3 1.3. 开发框架多、开发人员能力不足导致安全漏洞突出. 3 1.4. 市场竞争，产品同质化严重，追求客户体验差异化重要性凸现。. 3 2. 自动化测试平台整体解决方案 . 3 3. 自动化测试平台实现功能 . 4 3.1. 兼容性测试系统 . 4 3.1.1. SMART 平台 .

2、 4 3.1.2. 智能源码扫描 . 6 3.2. 安全监控系统 . 9 3.2.1. 高精度电流监控 . 9 3.2.2. 监控应用及整机文件系统 . 10 3.2.3. 监控应用及整机数据流量监控，记录非法数据传输等情况. 11 3.2.4. 用户行为跟踪，监控电话、短信、拍照、摄像、录音等典型动作. 12 3.3. 性能测试系统 . 13 3.3.1. 响应时间测试系统 . 13 3.3.2. 流畅度测试系统 . 16 . . 1. 面临的问题 1.1. 智能移动设备的软件系统和硬件方案的复杂组合，导致 APP 实现多机型兼容难度大，投入大。 1.2. 敏捷开发、迭代开发，产品追求快速上

3、线，导致回归测试、 可靠性测试等任务重，无法有效应对测试工作量波峰。 1.3. APP 开发框架多、开发人员能力不足导致安全漏洞突出 1.4. 软件硬件设计交叉影响，性能优化难度加大。 2. 自动化测试平台整体解决方案 为解决移动应用开发商面临的以问题，结局方案设计如下。 可全面解决移动 应用开发面临的兼容性问题、安全性问题、测试工作量波峰、用户体验问题，并 全程为移动应用的开发保驾护航。 自动化测试平台 兼容性测试系统安全监控系统性能测试系统 SMART 平台智能源码扫描行为监控数据流量监控流畅度测试响应时间测试 整体解决方案 兼容性测试系统 ：智能源码扫描，即通过解析APK 文件，将源码与

4、问题特 征库自动比对，查找兼容性问题，并自动生成测试报告。 SMART 平台，实现被测设备管理 +测试用例制作、管理、自动化执行、并生 . . 成测试报告。可实现APP 的定制用例的多机自动化运行、适配性测试、功能及 UI 测试； 安全监控系统 ：监测系统文件变化、监测数据流量、耗电情况、监控非法用 户行为等。 性能测试系统 ：通过专业的自动化测试设备（硬件工具），测量流畅度卡顿 数据、量化响应时间指标，为研发人员提供毫秒级数据，助力改善用户体验。 3. 解决方案的实现 3.1. 兼容性测试系统 3.1.1. SMART 平台 SMART 兼容性测试平台，提供自动化测试的解决方案，提供用例制作

5、、管 理、自动化运行、测试结果自动校验。无需人员干预即可实现各类APP 自动化 用例的运行，并自动生成测试报告。 3.1.1.1. 测试步骤 测试步骤 a) 自动化测试脚本开发 . . b) 真机运行脚本 c) 输出测试报告 3.1.1.2. 测试框架 注入测试模块 Lua 脚本 自动化 读取 Lua 测试框架 获取画面显示信息 模拟用户操作 事件模拟 被测 APK 测试模块 测试框架 通过手机 usb 接口实现对手机的控制，完成测试工具及app的下发，运行 及测试结果的拉取和展示。测试工具采用lua 脚本编写测试case ，通过进程注 入技术获取屏幕显示信息，结合Touch 事件模拟，可以实

6、现基于控件级别的复 杂测试 case ，测试结果以 Log 、屏幕截图等形式输出。 3.1.1.3. SMART 平台可实现的功能 适配性测试 ：进行被测应用的安装、启动、运行、卸载测试，验证在不同终 端类型上是否存在安装失败、启动闪退、运行崩溃等不兼容现象。 功能及 UI 测试：支持遍历测试以及业务主流程脚本测试，验证应用功能， 同时检测是否存在黑边、白屏、拉伸、混淆、变色等UI 问题。 系统性能检测 ：测试过程中需要获取移动终端设备CPU 、内存、流量耗用、 电池性能等数据， 判断应用运行的情况， 同时包括安装时间、 启动时间、CPU . . 均值占用、 CPU 峰值占用、内存均值占用、内

7、存峰值占用、流量耗用、电池 温度、卸载时间等。 测试报告： 所提供的测试结果报告，直观全面，包括原始数据、汇总后的图 表展示以及故障点截图，对应的问题log 信息，并支持离线阅读。 兼容性测试报告 3.1.2. 智能源码扫描 使用该系统在研发阶段即可发现代码中的兼容性缺陷，直接给出问题的定位， 根源及解决方案。针对源代码构建静态语法树，辅以程序控制流和数据流分析， 结合庞大的兼容性问题特征库和解决方案库，准确定位问题代码， 并直接提供已 验证的解决方案。 智能源码扫描适配可覆盖Android系统所有功能点，涵盖 1300 多种兼容性 问题特征及解决方案，扫描支持机型超过500 款； 10w 行

8、级源码 45s 内完成扫 描， 30w 行源码 2 分钟内完成扫描， 60w 行源码 5 分钟内完成扫描； 包括 SDK 差异，缺陷分析的特征库达到10000 条以上。 3.1.2.1. 系统架构 . . 问题特征库解决方案库 服务端 客户端 提供问题来源提供解决方案 源代码扫描引擎 定位问题， 代码提供解决方案 用户端 系统架构 系统包含客户端和服务端两个模块： 服务端：存储适配问题特征库和解决方案库，包含特征库、解决方案库、扫 描引擎三大模块。 客户端：通过在浏览器端上传源代码或apk ，进行智能源码扫描，扫描结 果定位问题并给出对应的解决方案。 3.1.2.2. 智能源码扫描特征库 .

9、. 用于检测在不同 真机上的表现。 问题检测工具 真机运行 生成机型问题特征 问题发生的必要 条件问题特征 存入特征数据库 问题特征库 智能源码扫描特征库 3.1.2.3. 智能源码扫描解决方案库 智能源码扫描解决方案库 3.1.2.4. 智能源码扫描引擎 . . 源代码 问题特征库 静态语法树 将树节点与问题特征匹配提供问题特征 问题搜索引擎 问题分析引擎 智能源码扫描引擎 3.2. 安全监控系统 安全监控系统通过实时监控终端的系统内部的行为、状态等，检测并发现并 定位安全问题点， 为用户报告查找潜在的软硬件设计中的安全漏洞。规避造成信 息泄露、耗用系统流量、文件系统篡改等安全隐患。 3.2

10、.1. 高精度电流监控 3.2.1.1. 终端功耗自动化测试模块是一款通过自动化操作手机终端，同时检测、 记录、分析电流变化，该模块可以自动测试终端、应用电流消耗情况，通过精准 的监控手机电流的变化， 进而辅助分析手机电流变化的内在原因。该模块由终端 自动化测试模块及电流监控模块组成。系统可检测 安捷伦等电源设备输出的电流 信息，并结合测试动作分析，对系统进行复测，提供测试报告等 . . 3.2.1.2. 智能监控安全电流阈值 系统可设定终端设备工作时电流的阈值，在测试过程中全程监控电流值，自 动分析并记录超出阈值范围的电流时刻及所运行用例场景，进而确定导致电流异 常的 App 及其行为。 系

11、统具有自动调整测试策略功能，即根据电流信息反向控制用例执行场景。 在发现电流异常时自动进行异常处理及缺陷判定，系统集成的复测机制可对所运 行场景跟踪测试，进而判断所执行用例场景的功耗问题。 系统集成测试管理相关功能，可对测试用例、测试脚本、测试任务、测试报 告等进行有效管理。 可快速生成测试用例并投入使用，测试任务结束后即时生成 测试报告，直观显示功耗测试结果。 3.2.2. 监控应用及整机文件系统 . . 系统对整机文件系统，包括系统文件及存储卡文件全面进行监控，对于系统 中植入的恶意进程，或恶意APP 程序进行监测，当系统文件发生篡改时进行详 细记录，最终汇总文件系统变更情况等。 3.2.

12、3. 监控应用及整机数据流量监控，记录非法数据传输等情况 系统能够监控整机及某个指定应用的数据流量，通过监控数据流量的方 式，能够监测某些不应使用数据流量的应用或时机，通过分析这些异常的流 量指标，进而发现系统中对应存在的使用流量的相关非法操作。 . . 3.2.4. 用户行为跟踪，监控电话、短信、拍照、摄像、录音等典型动 作 开启用户行为跟踪后，系统将监控用户电话、短信、拍照、摄像、录音 等功能，一旦系统发生了上述行为，系统将一一记录，如典型的窃密流程： 通过后台进程以静默方式开启录音，并通过数据通道传至某个远端位置，而 后删除当前录音。 以上三个动作， 用户行为检测（录音）、数据流量检测

13、（上 传至远端位置）、文件检测（删除录音）系统都能够一一截取。 . . 3.3. 性能测试系统（ FTS 系统） 性能测试系统采用点击、滑动、长按、拖拽、按键等操作方法。通过外置电 子眼工业相机， 对操作过程中的终端进行高速跟踪、测试，进而准确度量终端性 能指标，有效改善用户体验。 3.3.1. 响应时间测试系统（ RTS系统） 相应时间是指移动应用对其操作（点击、拖拽、滑动等）的响应时间，响应 时间测试系统采用人工操作加高帧相机的方式计算移动应用的相应时间，精确的 测试了相应的起始时间，量化移动应用的响应时间。 . . 3.3.1.1. 集成电子眼、触控传感器等高端设备准确计算设备响应性能

14、响应时间测试系统 系统采用电子眼相机并配合触控传感器，捕获用户的操作过程。 如用户需检 测滑屏时间，只需将设备置于测试工作台之上，电子眼自动及时跟踪设备界面的 变化，当用户完成滑屏动作后， 智能分析软件分析帧图变化并自动查找动作起始 点及结束点，计算两者之间的时间差，最终量化响应时间。 3.3.1.2. 智能视觉图像处理技术，快速、准确识别和分析图像 电子眼对置于工作平台上的设备进行监控，并逐帧进行图像抓取，图像 分析模块对大量的图像数据进行比对，智能分析图像变化， 检索最有价值的图像 信息。 智能捕获用户触屏过程 3.3.1.3. 通过高频手势感应技术快速捕获用户操作过程 . . 系统采用智

15、能触控传感器，监控用户对设备的触控过程，短时间内可获 取大量触控数据， 并捕获每一帧数据变化。 辅以手势智能分析模块， 对压力数据 进行分析，确定触控数据中的按下、滑动、抬起等一系列动作，从而确定一组最 有效的触控操作过程。 高频手势感应数据（手势为按下后抬起） 3.3.1.4. 高速数据处理芯片可即时运算电子眼、智能传感器产生的海量数据 系统采用超高速图像分析技术及智能触控数据分析技术，高速计算图像及触 控数据。高速数据处理模块在保证及时处理数据的同时，将有效的图像及触控数 据进行智能拼接，并以最小的内存及CPU 开销，最优的处理方式合理的分配资 源，并实现数据存储。 3.3.1.5. 图像

16、差异识别、智能比对等图形算法有效保证准确计算设备响应时间 通过差异化比对方式处理设备界面变化图像，以 60 帧 / 秒的摄像头为例， 每 秒钟捕获到 60 张图片。若无有效的差异存储技术，则每秒钟需要处理 60 张图 片，所有图片均需存储到磁盘用以配合传感器分析用户动作及界面响应情况，因 而磁盘 I/O 及 CPU 计算速度会大大影响计算效能。同时，若采用差异化处理方 . . 式，只存储变化图片， 会大大减少需要处理的图片数量，以最少的磁盘开销、 I/O 写入频率及 CPU 运算速度处理图片，从而将更多的资源留给电子眼及触控传感 器使用。以保证响应时间计算的准确性。 3.3.2. 流畅度测试系

17、统 流畅度测试系统完全满足移动应用开发商对流畅度测试的要求，结合多年图 像处理、软件算法等众多领域的经验，可以精准量化手机卡顿过程相关数据，进 而准确测量终端的流畅度指标。 3.3.2.1. 图像轮廓识别技术，测量手机流畅度相关指标，分析手机流畅度瓶颈 系统对流畅度测试结果进行全方位、立体化的分析， 量化用户对手机流畅度 感知最明显的指标项，如列表滑动时最大连续卡顿帧数， 滑动过程的卡顿总帧数， 以及平均卡顿帧数等数据。 卡顿帧数指标汇总 系统提供对同一测试场景的不同测试结果进行对比分析的功能，可逐帧播放， 从而查看并对比两款手机或同一款手机的两次测试结果的流畅度情况，以及卡顿 点出现的位置等

18、。 . . 同步逐帧播放测试结果，对比测试过程 同时可对多机型测试结果进行对比分析，得出相同用例在多个不同机型手机 上的流畅度表现，进而对提高手机流畅度提供数据支持。 多款机型流畅度指标对比 3.3.2.2.集成电子眼工业级相机，采集手机界面元素，捕获运动过程 系统集成高帧工业级电子眼， 利用图像识别技术，可大大提高图像对比精度， 准确判断、分析手机画面的变化过程。 3.3.2.3. 智能视觉图形处理技术，快速、准确识别和分析图像元素轮廓 系统内置图形处理技术， 对电子眼拍摄的海量数据进行扫描分析，图形处理 模块将图像进行分解， 基于灰度阈值进行图像分割， 利用数学形态学方法对二值 图像进行缺陷修补，通过链码跟踪存储轮廓信息，实现轮廓的快速提取与存储， 进而判断轮廓的位移量及速度等数据。 . . 3.3.2.4. 智能追踪画面元素的位移及速度，自动分析运动过程卡帧数据 电子眼对置于工作平台上的设备进行拍摄，并逐帧进行图像抓取，