Sikuli基本教程

1、sikuli基本教程在gui测试中，识别个性化控件、模拟用户行为及对校验屏幕显示结果常 常成为自动化测试的瓶颈，此类测试场景大多数情况下仍然依赖于手工测试。sikuli是一种新兴的图形化编程技术，它摆脱了对控件 api的依赖，通过当前 屏幕的实时图像检索获取操作对象，模拟用户行为，匹配屏幕区域以校验真实的 视觉显示结果。一、sikuli 简介sikuli是一个利用图片进行可视化检索和自动化图形界面的技术。发布的 初版sikuli程序中包含了 sikuli脚本语言，一个可视化的适合 jython的api和 一个方便利用截图写出可视化脚本的集成开发环境sikuli ide。sikuli脚本可以不经

2、过api的编译器直接自动化搜索到任何你能在屏幕上见到的东西。你可以 利用程序控制一个 web页面，或者在各种操作系统上运行的桌面程序，或者是 模拟器下的iphone程序。二、安装及使用1、sikuli的安装在官方网站下载区可获得为 mac os x、windows和linux操作系统所 提供的安装文件及安装方法简介。在 windows平台下，要求有java 6的运 行环境支持，若要正常使用 1.0rc2版本中新增的扩展组件 sikuli guide,还需 更新java至当前最新版本。在 linux平台上，除了要安装 java6的运行环 境之外，还需安装 wmctl 和 opencv2.0 的

3、libcv4, libcvaux4, libhighgui4 包。 2、工作环境介绍sikuli ide是一个方便编写与执行sikuli脚本的环境，界面由菜单栏、工具 栏、侧边栏、编辑区、控制台和状态栏六部分组成。5屏幕截图(take screenshot ):点击该按钮，进入屏幕截图状态， 拖 拽辅助线选取需要截取的界面元素，释放鼠标左键的同时，自动将该截图插 入到编辑区中光标当前位置。使用快捷键ctrl+shift+2可激活截图状态，以完成对于 弹出菜单、下拉框一类的控件的实时截图。该快捷键亦可通过主菜单 file-preferences 进行 自 定义。-j插入图片(insert ima

4、ge )：除直接截图外，用户也可通过点击该按钮 导入的png格式图片文件。建立屏幕区域(create region )：点击该按钮，进入屏幕区域选择状 态，拖拽定位十字线选取屏幕区域。 释放鼠标左键，即可将当前选中区域的屏幕 坐标信息插入到编辑区中。运行(run):点击执行当前脚本。快捷键为ctrl+r。慢速运行(run in slow motion ):点击后以较慢的速度执行当前脚本， 以红色圆形外框显式标识每一次图像查找定位动作，便于程序调试中进行焦点追 踪。快捷键为ctrl+alt+r。左侧侧边栏中分类列出了部分常用函数，点击函数名可快速将其插入到编辑 区，若该函数需截图作为参数，则自动

5、转入屏幕截图状态。下方的状态栏可用于 查看当前行号，与行首 tab缩进的层级(列号)。右边区域上半部分为脚本编辑区域，我们的自测化测试脚本就是在这个区 域编写完成。下半部分为提示信息，不管运行成功与失败，都会给出相应的提示信息。sikuli脚本sikuli的脚本编写遵循 python语法规范，其本身提供了多种自定义类及 其自定义方法，由于 sikuli基于jython ,其核心代码由java编写，可在用户 自定义的java工程中将其作为java标准类库进行引用。大体上了解sikuli的界面后，下面通过一个自动打开firefox浏览器，并登录gmail的简单实例来快速了解 sikuli脚本。上图

6、所示的sikuli脚本首先单击展开开始菜单，接着单击 firefox图标启 动浏览器。待firefox的工具栏出现后，以工具栏位置为基准，向右偏移300的 距离以定位到地址栏并鼠标单击将光标置入地址栏，然后在地址栏中输入 gmail 网址。待登录界面出现，单击用户名输入框并输入用户名信息，然后键入tab键，使密码输入框获得焦点并输入密码信息，最后单击 sign in按钮完成登录。从该示例脚本中不难发现 sikuli最显著的特色一一将gui对象的屏幕截 图作为函数的参数直接引用，整个代码的语义清晰明了，可读性极强。脚本执行 过程中，利用图像检索算法分析匹配当前屏幕中对应的控件，并对其应用相应的鼠

7、标或键盘操作。这种方式使得我们在脚本编写时，既无需关心繁琐的应用程序 相关api亦不用获取 web内容对象。编辑完成的sikuli脚本可通过file - save进行保存。在windows平台 上将保存为一个后缀为.sikuli的文件夹，其中包括脚本中所使用到的所有 png图片、.py后缀的源代码以及一份显示源码的html文件。编写调试完成的sikuli脚本最终可通过菜单 file-export executable 生成 以.skl为后缀的可执行文件。生成这种格式的可执行文件后，使用命令行工具 或直接双击该文件即可便捷地运行该脚本了。四、sikuli语法如果命令由两个词语组成那么第二次的首字

8、母要大写。1) capture(*args)截取指定区域中的图像，args是制定的参数，是4个坐标，x, y, w和h；2) click(img, modifiers=0) ; clickall(img, modifiers。)单击，多个modifiers之间用or(|)分隔；clickall()可用于批量的操作某事件；3) doubleclick(img, modifiers=。) ； doubleclickall(img, modifiers。) 双击；4) rightclick(img, modifiers。)右击；5) closeapp(app) ; openapp(app)关闭或者打

9、开应用程序6) dragdrop(src, dest)src为实际需要拖动的按钮，dest为需要拖动到的目的地，比如应用在调整 尸首首重；7) find(img) , findall(img)搜索目标范围内最符合的结果；结合使用比如可以找到目标结果然后双击或 批量操作；8) popup(msg)弹出一个提示信息对话框；9) type(*args)输入内容10) key class用于键盘输入，这是一个类。应用时可以使用 key.enter , key.delete 来表示输入，删除；一些特殊的键盘按键则用 key_ctrl , key_alt来表示 五、优点及缺点1、优点：1)整体上sikuli小巧、便捷、容易上手2) sikuli脚本可以不经过 api的编译器直接自动化搜索到任何你能在屏幕上看到的东西3）对各种程序都适合4）不存在标准控件和非标准控件的问题5）相对位置概念较小，要求不高（但是对象本身尺寸有影响）6） 一次编码，多次运行（基于