如何设计CaseFramework

1、如何设计测试用例文档信息文档名称：如何设计测试用例文档版本：V1.0提交部门：测试部门适用人群：Dolphin INT-Shell Test team修订记录版本日期修订人内容概述V1.02015/1/28Qing Chen文档创建目录文档信息1修订记录1文档明细1背景21. 如何设计Case Framework21.2为什么要设计Case Framework21.4如何设计Case Framework22.如何设计Detailed Test Case（TBD）6文档明细背景目前用例重构和新需求都需要设计测试用例，该活动由设计Case Framework和设计Detailed Test Cas

2、e组成，在设计这两块时，大家出现了各种不同的问题也提出了很多疑惑，本文从这两方面讲解设计测试用例的基本方法和一些常见的错误，以作为设计测试用例时的基本指导，并规避一些常见错误。1. 如何设计Case Framework（用例框架）1.2为什么要设计Case FrameworkCase Framework是通读并理解Spec后，设计详细测试用例前，设计的一套测试用例框架，用来引导后续设计详细测试用例，它有以下作用：l 便于理清用例逻辑设计思路，避免设计详细测试用例时思路不清晰导致重复更改l 便于设计用例之初完全覆盖Spec（规格）上的需求点l 便于执行者或新人快速了解模块逻辑结构1.4如何设计C

3、ase Framework1.4.1设计Case Framework步骤：1. 通读并理解Spec上所有需求点l 若Spec上无需求点标注或标注缺失、错误，及时告知相应PM（产品经理）进行修改l 若对Spec上内容有异议或无法理解，需向PM/Dev确认，切忌将模糊不清的内容写入用例2. 划分测试该功能的测试类型，基本类型如下：l BFT(Basic Functional Test)基本功能测试l IAT(Interaction Test)交互测试l BOT(Boundary Test)边界值测试l ROT(Robustness Test)稳定性测试l OTA(Over the Air) 升级测

4、试l User Story：场景测试l ET(Exploratory Test) 拓展测试每种类型详细设计说明见2.如何设计Detailed Test Case3. 根据对Feature（特征）的理解，组织用例的逻辑，编写测试用例框架：以Dolphin Browser为例，一般按用户操作习惯顺序编写：入口功能的UI功能正面验证功能负面验证升级User StoryET4. Case Framework设计完毕后，检查：l 是否覆盖Spec上所有需求点l 逻辑是否有条理、清晰1.4.1实例：模块：Speed DialTest TypeMain ComponentPriority Check Poi

5、ntTraceability BFT预置数据(运营配置，无需设计case)0根据地区语言信息和版本信息配置预制的speed dial2.1-11针对特定的speed dial设置无Add to home screen或Remove操作2.1-21设置speed dial右上角出现更新提醒2.1-3首次启动2Hot Apps出现小红点缺失Dolphin文件夹3内容，排序缺失3Lab，Features，Blog，FAQ，Feedback，Updates缺失添加speed dial0首页点击"+"2.2-10Menu -> Add speed dial(默认灰显)2.2-2

6、2Gesture:Add to speed dial手势2.2-31Add speed dial编辑框2.2-40Name input box，添加后名字显示的长度2.2-50Address input box2.2-61Cancel button2.2-70Add button2.2-82Name和Address为空2.2-102Gesture:添加重复speed dial2.2-92添加相同名称或网址的speed dial缺失2添加相同名称和网址的speed dial2.2-9长按speed dial0长按UI:横竖屏缺失编辑speed dial1长按选项:Add to home scre

7、en2.3-1，2.3-23重复添加桌面快捷方式缺失0长按选项:Remove2.3-33长按Feedback:无法添加到主页缺失3无法删除speed dial:Hot Apps2.3-30移动speed dial位置2.3-100点击speed dial缺失文件夹操作1创建文件夹2.3-4，2.3-5，2.3-61文件夹预览缺失1编辑文件夹名称(默认值)2.3-72修改为已存在文件夹名缺失1文件夹展开、收拢:横竖屏缺失1改变文件夹位置2.3-81移动文件夹内speed dial:内部、移进、移出2.3-92文件夹中speed dial长按操作:Add to home screen，remove

8、缺失0清除文件夹缺失3可移动speed dial到Dolphin文件夹缺失Speed dial在主页的排列0中屏机:横竖屏缺失3大屏机:横竖屏缺失3小屏机:横竖屏缺失Speed dial在文件夹中的排列0分辨率>=320*480:横竖屏缺失3分辨率为320*240:横竖屏缺失滑屏操作0横竖屏:不超过一屏、超过一屏时滑动speed dial/文件夹缺失异常操作3crash之后启动程序缺失3通过第三方链接进入主页缺失BOT3分辨率高于320*480:文件夹中最多容纳24个speed dial缺失3分辨率=320*240:文件夹中最多容纳12个speed dial 缺失ROT2添加多个spee

9、d dial/文件夹缺失OTA3升级:保持speed dial数据、顺序并去重文件夹缺失3升级:most visited文件夹缺失User Story3家庭妇女使用Speed Dial1-1，1-2ET3speed dial探索性测试N/A1.4.2设计Case Framework通用方法 l Case Framework结构：1) 顺序：按照用户操作顺序来写示例：News主模块子模块测试点News界面组成滑块指示UI&功能与滑出Control panel的区分首页 （和滑块换一下顺序）组成:地址栏、天气、Top news、speed dial天气各情况下显示无网络连接:默认给一套当前

10、语言的首都正常:天气图标放置服务器有位置更新:渐隐消失，渐隐出现替换有内容更新:渐隐消失，渐隐出现替换默认显示:上一次的天气信息UI （和上面换一下位置）显示格式、图标点击动作前往accu天气2) 结构l 要列出所有check pointl 当功能结构复杂时，可分主模块和子模块描述l UI与功能的验证点分开要考虑到执行时，是否便于用例挑选。一个功能点的验证包括:UI、正面、负面的验证，其优先级依次降低。对错示例：Dolphin Whistle测试点：响应式:UX改善计划类型优先级测试点错误×0出现时机、样式1点击， 点击×正确0出现时机、样式1点击2点击×l 测试

11、类型无需强制全部覆盖，没必要写ROT/BOT/User Story的可以不写比如Dolphin Whistle：无User Storyl 测试点描述只需简单描述需求，无需描述详细操作步骤和结果，尤其不要copy spec中大段文字对错示例：SpecSidebar引导描述：D）Sidebar推荐仅在Home页显现。即用户点击Speed dial访问网页时，Sidebar被覆盖到网页下方，当返回Home时，Sidebar推荐依然显示。3.3.3.D 4测试点错误×正确Sidebar推荐仅在Home页显现。即用户点击Speed dial访问网页时，Sidebar被覆盖到网页下方，当返回Ho

12、me时，Sidebar推荐依然显示Sidebar推荐与网页的交互l 当某项功能被新功能取代时，只需验证新功能work即可，无需再验证老功能不存在如：Spec描述：触发机制，用户在Setting中，打开Sidebar开关回到原页面时，出现图文对话提醒框，不再出现原有的动画引导。3.2.1 1对错示例：测试点错误×正确出现图文对话框时，不再出现原来的左右侧边栏弹动动画无需验证这个，只需验证新的图文对话框出现即可l User Story：描述方式：XX（角色）使用XX（模块）示例：商务人士使用Newsl ET：描述方式：XX（模块）探索性测试示例：News探索性测试l 需求点标注：1) 标

13、注Spec中无该需求点，则将其”Traceability”标注为”缺失”ET和User Story关联的需求点太多，无需标注，标注为”N/A”即可2） 不要遗漏需求点需求点检查方法：将spec中所有需求点在excel中一一列出，再与Case Framework一一比对2.如何设计Detailed Test Case（TBD）1) BFT(Basic Functional Test)：基本功能测试。验证Feature最基本的功能。示例：Speed Dial测试点添加speed dial首页点击"+"Menu -> Add speed dial(默认灰显)2) IAT(I

14、nteraction Test)：交互测试。模仿用户的行为，进行较为复杂的交互操作。往往覆盖多个需求，且在静态/动态环境下可能有事件(Interrupt/Event)发生示例: Gesture & Sonar测试点后台播放音乐时，使用声呐详细测试用例描述前提条件步骤期望结果验证后台播放音乐时使用Sonar，后台音乐播放暂停，退出Sonar时，后台音乐播放恢复1.手机上持续播放音乐2.启动浏览器3.当前为浏览器主页/网页界面1.摇一摇进入Sonar命令识别界面2.点"X"图标或手机back键画手势并正确识别按手机Home键切换到Gesture界面1.后台音乐播放暂停2

15、.后台音乐恢复播放3) BOT(Boundary Test)：边界值测试。测试功能或者参数的边界情况（如min， max， min-1，max+1）。如用户已打开最多Tab，再打开一个Tab会出现什么情况主要覆盖用户容易使用到的边界场景，太过冷僻的场景不需要覆盖。示例: Speed dial测试点分辨率高于320*480:文件夹中最多容纳24个speed dial详细测试用例描述前提条件步骤期望结果验证在分辨率>=320*480的手机上，文件夹中最多容纳24个speed dial1.测试机分辨率>=320*4802.启动Dolphin3.当前为浏览器主页1.Speed dial区域

16、创建文件夹A，添加24个speed dial到文件夹2.长按文件夹外任意speed dial并拖动到文件夹A处松手1.24个Speed dial添加成功2.无法将该speed dial添加到文件夹4) ROT(Robustness Test)：健壮性测试。用来测试系统出现故障时，能否自动恢复或者忽略故障继续运行。主要覆盖一些负面的场景。示例: News测试点反复上/下拉刷新新闻列表详细测试用例描述前提条件步骤期望结果验证反复上/下拉新闻列表，正常刷新新闻1.安装并启动浏览器，当前获取smart locale为News目标国(如:台湾，zh-tw)2.当前为右屏news列表(主页左滑)1.反复上

17、拉新闻列表2.反复下拉新闻列表3.在上拉和下拉动作之间来回切换4.切换不同的新闻分类，重复步骤131.加载更多旧闻2.加载更多新闻3.新闻正常加载4.对应分类下的新闻正常加载5) OTA(Over the Air)：升级测试用来测试升级后的数据和功能是否完整可用示例: Tab Management测试点升级后保留接收到的tab详细测试用例描述前提条件步骤期望结果验证升级后保留接收到的tab1.安装并启动当前版本之前的版本，如:V11.1.02.当前为CLOUD TABS界面(Menu bar 上点击tab list图标 -> 点击Could Tabs图标）3.测试机和其它设备已登录同一d

18、olphin connect账号，如:PC端通过dolphin connect插件登录1.PC上打开多个tab: A()，B()，C()，并将tab A、B、C依次发送给当前测试机2.测试机上查看"Received"记录3.升级浏览器至最新版本 -> 进入CLOUD TABS页面查看"Received"记录2&3 "Received"列表依次显示tab A、B、C网页记录6) User Story：场景测试从用户的角度来描述用户希望得到的功能，以及这个功能完成之后将会产生什么效果，或者说能为客户创造什么价值。示例: Th

19、eme测试点潮流达人使用Themes详细测试用例步骤期望结果1.Cindy是一名潮流达人，喜欢依据心情、最近的节日更换自己的主题。最近是圣诞节，由于预置壁纸里没有该种类型，她于是去Theme Store里面下载相关的主题。2.除此之外，她还喜欢将自己最新的大头美照自定义为主题。1&2. 主题应用成功，且显示清晰正常7) ET(Exploratory Test)：拓展测试没有很多实际的测试方法、技术和工具，但是却是所有测试人员都应该掌握的一种测试思维方式。探索性强调测试人员的主观能动性，抛弃繁杂的测试计划和测试用例设计过程，强调在碰到问题时及时改变测试策略。示例: News测试点News

20、探索性测试详细测试用例前提条件步骤期望结果1.安装并启动浏览器，当前获取smart locale为News目标国(如:台湾，zh-tw)1.各种场景下使用News:查看天气/地理位置查看Top news/右屏News列表/新闻详情页/更多新闻/分类新闻查看无图/单图/图集新闻有图/无图模式下使用News切换不同国家后使用News(RTL)全屏模式夜间模式切换壁纸横竖屏下使用News大/中/小屏上使用News不同网络情况(断网/弱网/联网)1.各种组合情况下，News功能正常l User Story设计：不要描述详细操作步骤，写常见用户场景，不要太复杂，也不能太简略对错示例1：Menu用户场景：

21、太过简略类型操作步骤期望结果错误×Rodney是个小说迷，经常使用Dolphin在线看小说看小说时，他使用Menu bar和Menu面板上的各功能Rodney正常使用MenuRodney正常使用Menu正确Rodney是个小说迷，经常使用Dolphin在线看小说，看小说时，他使用Menu bar上的""""进行页面前进和回退，使用Home按钮回到主页在目录页使用Find in page快速找到感兴趣的章节看到喜欢的小说时，通过Menu面板将相关网页添加为书签或speed dial，也会分享到社交平台或推送到电脑端阅读看完小说后，通过Clear data清除阅读记录并使用Exit退出浏览器Rodney正常使用Menu对错示例2：Speed Dial用户场景：太过繁琐类型操作步骤期望结果错误×1.Rose经常在Amazon和ebay等购物