图像处理和文字识别技术在手机软件自动化测试系统中的应用

1、TTL Te s t泰尔测试CMSTT J uly 2009图像处理和文字识别技术在手机软件自动化测试系统中的应用刘岩工业和信息化部通信软件测评中心助理工程师薛涛工业和信息化部通信软件测评中心工程师李周工业和信息化部通信软件测评中心工程师张小英工业和信息化部通信软件测评中心工程师摘要：主要研究了图像处理和文字识别技术在手机软件自动化测试系统中的应用，提出了针对手机屏幕图像的处理方法和图像中文字的识别方法。关键字：图像处理，文字识别，手机软件，自动化测试Abstract ：This paper studies the issues about how to apply the image pro

2、cessing technology and opti cal character recognition to mobile phone software testing system, and presents an applicable method to process the image of mobile phone s screen and recognize Chinese character.Key Words:image processing technology, optical character recognition, automated testing实现手机软件

3、测试系统的自动化，需要测试系统能够自动判别被测试手机的响应状态，那么测试系统如何才能实现对被测试手机状态进行自动判别呢？这里我们提出一种自动判别被测试手机状态的方法。这种方法通过采集手机屏幕图像，并对其进行数字图像处理和文字识别来判断被测试手机状态，即系统通过对手机屏幕图像某个位置上的图标或文字的判别获知手机当前所处状态。1手机图像的处理传统识别中扫描书籍图像都是白纸黑字的，计算机可以很容易地识别出文字与背景，而采集到的手机屏幕图像都是色彩丰富图文相间的，所以与传统的识别相比在进行手机屏幕图像文字识别之前，需要对手机屏幕图像进行数字图像处理，以提高识别正确率。1.1图像格式转换手机屏幕图像中的

4、每一个像素在计算机中都是由24位二进制数表示的，每个像素包含红、绿、蓝三个色彩分量，每个分量由8位二进制数表示，取值范围从0255共256级分量值，每个像素可以表示为RGB （X ，Y ，Z ）。我们采集的数字图像中像素的取值范围是整个RGB 色彩空502009年7月第7期现代电信科技ODERN SCIENCE &TECHNOLOGY OF TELECOMMUNICATIONS现代电信科技Mf （x,y ）Mf b a 0cdMgg （x,y ）图1灰度图像分段线性变换间从（0，0，0）到（255，255，255）共有16777216种颜色组合。图像处理首先要做的就是在尽量不破坏图像中原始信息

5、的前提下，压缩图像中像素的取值范围，把“真彩色”图像转换成位图图像。这里我们采用传统的“八叉树颜色量化算法”，把图像中最有代表性的256个像素值选出来，利用这256个像素值重新填充图像，这样既转换了图像格式又没有破坏图像中原始显示信息。1.2图像的灰度化得到256色位图后，我们再将每个像素值转化为灰度级值，用得到的灰度级值再次重新填充图像就得到了需要的灰度图像。灰度化处理的方法采用加权平均法, 即将R 、G 、B 各个分量值进行加权平均，得到像素的灰度级值：灰度级值V =WRR +WGG +WBBWR 、WG 、WB 分别为R 、G 、B 的权值，通过设定不同的WR 、WG 、WB 值，加权平

6、均后可以得到不同的灰度图像，因为人眼对绿色的敏感度最高，对红色的敏感度次之，对蓝色的敏感度最低，所以通常的权值取法为：WB WR WG ，这样得到的比较合理的灰度图像，通常的取值为：WR 0.30，WB 0.11，WG 0.59。1.3图像二值化根据灰度图像中每个像素的坐标值和灰度级值的对应关系，一幅灰度图像可表示成二维函数形式如：f(x,yx 、y 为像素坐标值，f （x,y ）为该像素灰度值）。假定一幅灰度图像中像素的灰度级值的取值范围为（0M f ），我们希望能够更加突出图像中的文字部分，抑制那些我们并不感兴趣的灰度区域，通常图像中的文字都为黑色，在灰度图像中灰度值较小，这里我们通过扩展

7、灰度值范围在（0，a ）暗色区和（b ，Mf ）的亮色区，压缩灰度值（a ，b ）区间的范围，使图像中的文字区域更加突出。我们采用分段线性变换的方法，其数学原理表达式如下：二维坐标示意图如图1。设定适当的折线拐点位置即（a 、b 、c 、d ）的值，控制分段直线的斜率，对灰度空间0a和bMf进行扩展，对ab的灰度空间进行压缩。经过灰度调整后，设定某个门限值，灰度值大于门限值的像素点我们用255来代替，表示为白色的点，小于门限值的像素点用0代替，表示为黑色。这样就得到了我们需要的二值图像。1.4图像处理示意整个图像处理过程的图像变化如图2所示。当然在实际的测试中，很多时候并不需要对一幅完整的手机

8、图像进行识别，测试人员只需指定屏幕中的一小部分图像或文字进行识别。但是很多手机图像中的文字都是嵌套在色彩丰富的背景画面中，如图2的例子，即使测试人员只需要识别“中国移动”四个字来判断手机是否回到待机画面，指定区域后的一小块图像仍然需要先进行数字图像处理。2文字识别近年来文字识别技术已经日趋成熟，市场上也(, 0(, (, (, (, (, (, cf x y f x y a a d cg x y f x y a ca f x y b b a M g df x y b d b f x y M M b ?51TTL Te s t泰尔测试C MSTT J uly 2009二值图像灰度变换图像手机原图

9、像图2图像处理示意图YXX 2X 10Y 2Y 1图4列切分示意图图3行切分示意出现了很多文字识别产品，现有的文字识别技术原理基本一致，只是具体的实现方法和针对的识别对象有所不同。其中文字识别的主要技术包括单字提取、识别特征提取和字典生成等。2.1单字提取如何在待识别的图像中准确地切割出单个字的图像，是文字识别首先要考虑的问题。通过对二值图像逐行扫描，分析每行图像中黑白像素交替变化数来判断图像中文字所处的起始行坐标Y 1和结束行坐标Y 2，这样切分出每一行文字图像。将得到的一行文字图像再次纵向逐列扫描，同样通过记录每一列上黑白像素交替变化数，可判断图像中每个文字所处的起始纵标X 1和结束纵坐标

10、X 2, 知道了（X 1，Y 1）和（X 2，Y 2）我们就可以得到单个字的图像了（图3图4）。单字提取的难点在于汉字本身结构多样，很多左右结构的汉字如“北、川”等在切分时很容易被切分成两个或三个单字图像，加之汉字中可能混有字母及数字等，这些都给准确提取单字图像造成了一定的困难。不过通常汉字图像的宽度和高度相差不到3个像素，这样我们通过比较汉字图像的宽度和高度，结合具体识别算法，经过多次切割和识别通常可以准确的切割出单个字图像。2.2识别特征提取由于提取单字图像时是根据整行字所在的行坐标Y 1和Y 2切取的图像，因此是按照该行文字中最高的汉字切得的，这样得到的单个字图像，汉字在图像中的位置可能

11、偏上、可能居中、可能偏下如图5所示。如果直接对单字图像进行识别，可能会导致同一个汉字由于在图像中的位置不同而得到不同的识别结果。所以需要将单字图像归一化到一个统一行像素数和列像素数的标准大小的图像中，过程如图6所示。52 2009年7月第7期现代电信科技ODERN SCIENCE &TECHNOLOGY OF TELECOMMUNICATIONS现代电信科技M（上接第31页）的网络秩序混乱现象将在移动互联网领域再度发生，因此对合法公正科学的监管呼声将日益强烈，也同样会存在过度监督束缚业务多样性、影响用户体验的可能。因此，如何建立良好的移动互联网秩序，已成为需提上日程的重要问题。操作过程中可参考

12、日本成功经验，考虑对网站进行分别管理，与运营商合作的网站需在满足国家法规的同时满足运营商的业务要求，而其他非运营商合作网站则可以在法律框架内自由发展业务。此举既可以保障用户对于内容和服务丰富性的要求，又可以通过国家立法与运营商管理对所有网站实现控制。3.6探索更为成熟的商业模式成功的业务是通过运作成功的商业模式实现的。移动互联网业务体系包括固定互联网的复制、移动通信业务的互联网化以及移动互联网创新业务三大部分。相应商业模式的建立也可以沿用业务体系的建设思路，在分别延续传统互联网和移动通信业务的成功模式的基础上开拓创新，寻找新的盈利支点。从国外经验来看，与用户需求紧密贴合的移动搜索、电子商务、S

13、NS 、移动广告等业务将会成为未来盈利的源泉，而效仿iPhone 基于收入分成、市场排他的合作模式，以“业务+终端+服务”的一体化运作模式与产业链上下游展开合作运营，是可以尝试的商业模式之一。经过归一化处理后可以确保每次识别同一个字的图像都是相同的。识别特征提取是通过对归一化后的单字图像进行多种方式的图片扫描，统计出多个特征值，这一组特征值即为该字图像的识别特征值组，在字典库中寻找与该特征值组完全相同的特征值组，并输出该特征值组所对应的汉字即为识别结果（图7）。2.3字典生成生成字典的过程就是文字识别系统的学习过程，这是每个文字识别系统必要的训练过程。我们通过扫描标准字图像得到标准样本的特征值组，然后再告知系统该标准样本的特征值组对应的具体汉字，这样系统就可以把汉字与标准图像扫描特征值组一一对应。生成字典时提取标准字图像特征值组的方法和识别单字图像时提取特征值组的方法完全相同，这里就不再赘述。3结语将图像处理和文字识别技术应用到手机软件自动化测试系统的开发，还有很多不成熟的地方。如：对图像中的表格、横线、Logo 等