APP测试指导手册.doc

APP测试指导手册编写目的本手册编写旨在帮助刚刚入手的移动端测试人员了解移动端项目，并且了解刚刚接触一个移动端的项目如何入手，有哪些问题需要明确，有哪些问题需要注意，欢迎补充移动端产品（项目）介绍移动端产品（项目）展现在眼前的就是一个实际的app应用，支撑这个app应用的是它的后台。后台一般有两种，一种是实际部署的后台管理系统，管理系统的基本信息和业务信息，前台仅仅做展示，查看用，如通讯录APP，掌上直播点播；另一种是后台部署的系统和前台有数据交互的，一般这种系统分为pc展现端和APP展现端，pc端和APP端的展现端存在数据交互，有共同的后台管理系统支撑这两个前台应用，如人大APP，一乡一法庭。1功能测试1.1安装目前公司的app基本是机遇两大移动操作系统android和ios开发的，android开发的app安装文件后缀为apk，ios开发的app安装后缀名是ipaApp客户端程序的安装方式主要有如下几种：1、 手机端浏览器输入下载地址2、 通过二维码扫描（需要单独维护二维码信息，一般二维码是封装了下载地址，所以如果系统提供了此功能，在实施文档中必须说明二维码如何生成如何维护）3、 Android平台，通过Usb连接电脑方式安装4、App store下载安装（正式发布，目前接触的项目没有正式发布的。如果接触的项目需要在APP store上发布，需要在发布时间前预留出时间，因为提交申请到APP store后审核比较严格，需要的时间较长，具体时间需要提前确认）目前公司开发了一个APP推送平台，测试过程中可以让开发把apk放在推送平台上，测试人员通过这个平台取包，同时在test上进行备份，这样方便开发和测试的交互需求分析时需要确认系统支持哪几种安装方式，是否符合项目的要求测试重点（范围）1、 安卓主要是测试移动端不同版本的操作系统是否能正常安装。Android及IOS不同操作版本系统进行安装测试，不同版本可能会安装不成功2、 安装成功：安装完成后App程序应该可以正常打开3、 测试过程中，先在模拟器上安装，然后再适配机型。有的时候在适配机器上安装后可以打开，在模拟器上安装后无法打开。4、 通过下载的apk，需要查看下载后的apk在手机中存储的文件名是否乱码，尤其注意中文名称的apk，很可能出现乱码情况。5、 全新安装和覆盖安装都需要测试。有的apk安装过之后再次覆盖安装会出现退出或者安装后打不开的情况1.2升级手机App程序在服务器端有新版本时，应该允许用户继续使用现有版本，程序可以提供如下几种方式检测更新，以告知用户：1、每次登录时检测新版本用户登录后，自动提示服务器端有新版本可供升级，是否升级由用户决定2、固定时间检测新版本可以设置一定时间后，进行检测新版本，检测以上次升级时间为准3、提供检测更新的按钮，用户点击时检测服务器端是否有新版本一般情况下APP应用都会设置这个版本检测功能，如果需求没有写需要跟踪确认，不管是哪个版本都需要提供该功能，除非通过各种途径明确只做一版后续不维护且各方人员都认可这个结论测试重点1、 测试不同版本操作系统升级时是否成功2、 跨版本升级3、 升级后，原有数据应该保留4、 第一版的app由于没有app可做升级，测试方法是找开发打包时默认把版本号（我们看到的实体是版本号，在开发那里是一个特殊的标识）更改为比当前版本高或者低的版本即可。如果项目发布时间紧急，第一版可以不测试升级，但是这部分的实现方式必须考虑后续的升级情况5、 需求分析时需要明确支持哪些基础版本升级到目前开发版本，在测试时做覆盖测试1.3卸载主要测试卸载程序是否卸载干净卸载后再安装一遍程序。卸载程序后再次安装程序看看之前安装的程序用户数据是否在新安装的程序中留下痕迹（有些数据可能没有完全卸载，保留在缓存中）1.4同步功能介绍：移动终端产品是由后台服务器端和移动客户端组成，后台服务器负责信息存储，并将数据推送到移动终端，由移动终端展现，程序的很多模块都会涉及同步功能；另一种app是不仅做展现，同时还和后台的服务器有数据交互，app端也可以作为数据数据端将数据传送给后台，这部分app有的是必须联网完成数据录入，有的则是支持离线录入数据，联网后数据同步到服务器同步数据分为全量更新和增量更新，大部分app特别是信息量大的应用，采用的都是增量更新方式，该方式的好处是刷新快，能为用户节省流量；在数据量不大时，如个人案件审批也可以采用全量更新的方式。数据同步的时机分多钟，一种是首次登录的时候的同步，此时数据量较多时同步时间稍长，一般系统会提供一定的界面引导用户等待；一种是列表的下拉刷新数据，进行数据的上传和下载；一种是列表切换时将切换前列表的数据上传到服务器；一种是系统退出时，将系统产生的数据上传到服务器端，这种情况下一般app都会对于如何退出做特殊处理，比如连续按两次退回键即退出等；一种是前台定时任务去和服务器进行交互更新数据，不需要用户做任何操作数据同步的功能设计的时候需要考虑几方面，流量损耗情况，如果系统支持移动网络下进行数据交互此时要特别注意数据同步时流量的损耗情况，必要的时候可以提供仅wifi下更新数据的功能；app是否支持离线试用，如果支持，那就得注意离线时对于数据的操作种类，如果系统同时有pc端的展现界面，那么pc端和app端对于数据操作的冲突情况也是必须要考虑的测试重点1、 测试各种功能同步的时间点，有些操作不是每次操作都会和后台取得同步更新。A、 实时更新：时效性较强的软件（如：新闻）一般都会采用实时更新，如：诉讼无忧每次启动系统都会刷新各个页面，每进入一个订阅栏目都会实时更新。B、非实时更新：在信息更新频率较低，不需要每次进入页面都与后台同步的情况下，采用非实时更新。例如：诉讼无忧程序中包含多个页签（即不同分类）法院信息、诉讼指南、诉讼工具等，其中“诉讼指南”只有在启动客户端口第一次进入“诉讼指南”页面才有与后台同步的更新操作，因为“诉讼指南”是介绍法院的地址的，而地址不会经常变化，且增加法院也不是经常的，这样做也为用户节省了流量。2、 同步后数据是否与后台服务器端数据相同 此功能与非移动端测试大致相同不做过多介绍 注意界面显示，数据正确性3、 同步后时间显示 数据更新后显示的是客户端更新时间即客户端下载内容的时间 数据更新后显示的是后台服务器创建的时间 同步动作中下拉这个操作一般在下拉处显示“上一次更新时间”1.5清除缓存（待补充）需求分析时，明确哪些数据是存储在APP端数据库中，这些数据哪些数据是清除缓存能清除的，哪些是系统固化的数据；还需要明确系统何时会清理app的缓存。目前接触的app项目在退出系统时会清除缓存1.6第三方接口一些手机App应用功能，需要调用其他软件，比如：在手机上浏览word文档、发送电子邮件，浏览器等。IOS：下载在程序中可使用IOS内嵌功能直接打开文档，文档类型都支持注意测试项：1、 测试各种文档格式能否正常下载打开展示2、 测试文档大小（产品应该有要求）3、 测试下载不同文档及打开文档的速度4、 测试文档打开时间5、 在下载或打开文档时测试切入电话、短信、或其他通知信息Android：需要下载相关阅读文档工具，支持工具按产品要求定。1、 使用产品要求的阅读文档工具进行测试，尽量测全阅读工具的不同版本，再测试其他不在测试范围内的常用阅读工具，需要给出一些结论。如果手机端没有相应的app，比如：阅读器、邮件客户端应该提示用户下载，最好可以直接转到下载页面2、 测试各种文档格式能否正常下载打开展示3、 测试文档大小（产品应该有要求）4、 测试下载不同文档及打开文档的速度5、 测试文档打开时间6、 在下载或打开文档时测试切入电话、短信、或其他通知信息1.7系统接口举例：通讯录APP：将组织机构中人员的手机号码、邮件等信息添加到手机通讯录中，拨打电话，发送短信，发送邮件等人大APP：调取本地相机和本地图片上传到APPcocall：调取录音功能，发送语音消息说明：APP一般会调取安卓系统自带的很多功能，如输入法，打电话，发短信，发邮件，调取相机，本地图片，录音等），定位功能。输入法：默认调取系统设置的输入法，如果使用了第三方输入法，则使用第三方输入法。此处需要注意一个地方，针对于那些信息项类型十分明确的就是数字的，建议是默认调取数字键盘，减少用户的操作打电话：有的系统是通过APP获取电话号码直接拨出去了，有的系统是直接转到拨号页面自动填充号码，需求分析时需要确认具体的实现细节，如果一个系统同时支持Android和IOS需要确认是否需要实现一致，不是所有的效果Android和IOS都支持的调取相机：有一个问题需要注意，即在调取的主界面，刷新出来的图片每次刷新多少张，如果一次性将所有的图片都刷新出来图片少的话可以，多的话时间会非常长，这里的交互方式需要设计人员考虑。还有调取图片的默认路径是什么，是否可以选择其他路径，这些都是需要提前确认的定位功能：一般有几种定位方法，GPS定位和网络定位。接触的两个有定位功能的APP都采用的是网络定位方法，使用百度定位，系统调用百度定位，百度定位返回给APP一个地理位置，可以获取该位置的经纬度等，但是有一个地方需要注意，百度定位必须在有网络的情况下才能正常使用，如果你的APP支持离线使用，那这个地方就要提前确认好如何处理了。测试重点：1. 添加到手机中的信息显示正确2. 直接调用的手机操作系统的通讯录页面应该显示的是本地语言，例如：如果本地语言是中文应该显示中文，在开发过程中IOS可能会显示英文3. 在程序中调用操作系统直接拨打电话、发送短信发送邮件。都可以正常调用4. 直接打开本地通讯录。主要测试不同版本的操作系统1.8日志获取1.8.1Android日志获取以诉讼无忧app为例，目前诉讼无忧的程序是发布到友盟上，登录友盟查询系统日志/，登录后如下图：应用列表中选择应用程序“诉讼无忧测试”：进入后在左侧目录中点击可查看错误趋势和错误日志信息：错误趋势图错误信息列表点击上图“错误摘要”信息，可以查看具体的异常信息，如下图：具体异常信息1.8.2 IOS日志获取可以通过如下两种方法获取IOS日志：1、通过手机获取：依次选择设置-通用-关于本机-诊断与用量-诊断与用量数据，在此路径下可以获取日志，可以通过全文拷贝后邮件发送，就可以获取出来了。2、通过iTool获取日志信息，（在安装iTool前首先应安装itunes）iTool中的高级功能中可以查看日志信息。其中实时日志是记录实时操作后的日志，崩溃日志记录程序闪退后的日志。2稳定性测试1.指测试系统的长期稳定运行能力。在系统运行过程中，对系统施压 2.测试可采取的测试方法： 在手机中下载多个软件减少存储空间，测试程序运行状况有时可能崩溃 手机机身温度较高时运行程序3兼容性测试期望补充下列出的这些影响因素的兼容性测试策略及测试点影响因素：操作系统版本（android4.0,5.0，IOS6）、分辨率（屏幕尺寸）、语言（中文，英文）、不同机型（键盘）、不同格式文件显示等1操作系统版本：目前接触的系统支持的版本，android一般支持的都是4.0及以上，目前没有明确说明支持android5.0，ios一般从6一直到现在最新版本。测试时4易用性测试APP同一个类型的，品种多样，需要多多体验同类产品，知己知彼 界面风格 按钮位置 按钮大小 交互方式由于android和ios这两个操作系统完全开发的是两个程序，不同的安装文件，要尽量保证功能界面的统一性5性能测试目前app端的性能测试还是基于前后端接口的性能测试。前台app的性能测试未开展。不过测试过程中，可以通过sdk监控系统运行是占用的内存，内存是否释放，cpu使用率等参数。6自动化测试目前公司的app未使用自动化测试工具，未进行评估脚本编写和实际录入的投入产出比。Android APP自动化测试工具 iTestin 3.0通过鼠标点击录制脚本，脚本可多次回放，导出，还可以提交到云端进行测试(每天次数有限)，省时省力省硬件工具地址(内附使用说明)：3400.test自动化与白盒测试开发7安全性测试（待补充）目前公司的项目互联网的仅仅针对后台服务器开展了安全性测试，对于app端的安全性测试属于探索阶段，后续补充8前后台接口测试（待补充）这部分接口不同于挂接第三方系统的接口9加压测试（同性能测试）10实施App实施时，驻地人员需要找11测试辅助工具11.1SdkApp系统和pc端系统最大的区别是，抓取运行错误日志比较麻烦，pc端可以通过查找后台log文件查看，app端如果闪退了那就没办法找日志了，此时可以通过sdk获取错误日志使用方法1.将android设备与带有此程序的pc通过数据线连接后2.运行sdktools下的ddms.bat文件3.在画红框的位置会出现连接的a