利用霍特林变换对仓储害虫图像倾斜矫正.pdf

第 28 卷第 8 期农 业 工 程 学 报Vol.28No.8 2012 年4 月Transactions of the Chinese Society of Agricultural EngineeringApr. 2012269 利用霍特林变换对仓储害虫图像倾斜矫正 卢 军，陈建军 ※，吴鹏飞，谭佐军 （华中农业大学理学院，武汉 430070） 摘要针对无明显的直线特征的仓储害虫图像，提出一种基于区域和边缘的霍特林变换旋正倾斜害虫图像的方法。首 先通过自动搜索的方法确定储粮害虫的最小外接矩，利用自适应阈值对害虫图像二值化；提取最小外接矩内部害虫图像 区域和边缘坐标，计算坐标数组的特征向量并构成霍特林变换矩阵；对原害虫图像区域和边缘经变换矩阵作用后实现对 倾斜害虫图像的旋转矫正。试验结果表明，基于区域的霍特林变换能更快速准确地测量出倾斜害虫图像的变换矩阵并进 行旋转操作，而且具有更好的抗噪性能和鲁棒性。 关键词图像处理，算法，机器视觉，霍特林变换，仓储害虫，区域变换，边缘变换，倾斜矫正 doi10.3969/j.issn.1002-6819.2012.08.043 中图分类号TP391.41文献标志码A文章编号1002-68192012-08-0269-06 卢军，陈建军，吴鹏飞，等.利用霍特林变换对仓储害虫图像倾斜矫正[J]. 农业工程学报，2012，288269－274. Lu Jun, Chen Jianjun, Wu Pengfei, et al. A slantwise rectification of stored- grain pests image based on Hotelling trans[J]. Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE, 2012, 288 269－274. in Chinese with English abstract 0引言 储粮害虫的防治是关系到粮食储藏这一国计民生的重 大课题，因此非常重要，而害虫防治决策重要的科学依据 之一就是储粮害虫的准确检测。利用计算机图像处理技术 检测粮虫，具有准确度高、劳动量小、效率高等优点，近 十多年来一直是粮虫领域的研究热点。国内外学者基本上 都是通过基于可见光图像的自动识别来自动检测粮粒外部 害虫[1- 2]。有些粮虫之间的差别微乎其微，为了有效的识别 害虫，除了形态学特征外，还需要提取颜色、纹理等新的 特征[3- 6]，以形成适于分类的最优知识库，但是很多特征如 边界矩的分布特性等具有平移、比例不变性，但却丧失了 旋转不变性。由于大部分活的储粮害虫会四处爬行，在可 见光图像识别技术中，采集获得的储粮害虫图像通常是倾 斜的，为了获取储粮害虫图像中的一些与倾斜有关的重要 特征，对储粮害虫图像进行倾斜校正显得尤为必要[7]。 通常倾斜矫正应该首先检测出图像中目标的倾斜角 所在的直线。众多提取直线的方法中，Hough 变换和 Radon 变换[8]的优点是抗噪性能较好，能连接共线短直 线，缺点是计算量和存储空间太大。层次记号编组法速 度快，能连接短直线，却也存在参数难于选择，分辨率 低的缺点。本文采用霍特林变换，直接求解对仓储害虫 图像进行倾斜矫正的旋转矩阵，从而克服了通过检测直 收稿日期2011- 04- 03修订日期2012- 02- 20 基金项目国家自然科学基金资助项目（项目编号31000848） 作者简介卢军（1980－） ，男，湖北宜昌人，博士生，讲师，主要研究 方向为计算机视觉与图像处理在农业中的应用。 武汉华中农业大学理学院 应用物理系，430070。Emaillujun5918 ※通信作者陈建军（1978－） ，男，湖北大冶人，博士，主要研究方向为 图像处理与微流控芯片技术。武汉华中农业大学理学院应用物理系， 430070。Emailchen_jianjun2000 线计算倾角并进行旋转变换的计算量大、处理速度慢的 缺点。试验表明，该方法具有处理速度快，处理效果好， 具有优良的抗噪性能和鲁棒性。 霍特林变换是建立在统计特性基础上的一种变换， 它的思路是通过线性变换找到一组最优的单位正交向量 基，用它们的线性组合来重新表示原样本。本研究将霍 特林变换应用于仓储害虫图像的预处理，首先对图像分 割获取单个害虫图像。然后基于害虫的区域和边界的二 维坐标构成的向量为变换对象，通过霍特林变换计算出 旋转矩阵，然后将物体主轴旋转至沿特征矢量对齐的方 向，从而实现倾斜的害虫图像的旋正操作[9- 11]。 1霍特林变换 霍特林变换是建立在统计特性基础上的一种变换， 它的突出优点是相关性好，是均方误差（MSE，mean square error）意义下的最佳变换[7]。 本研究将霍特林变换应用于二维特征向量，提取害 虫图像的区域和边界坐标，每个区域或边界像素点作为 一个二维向量 x（x1，x2）来处理。对于二维平面上的点 列，霍特林变换可以确定点列的特征矢量。第一特征矢 量为穿过点集的最好直线，即点集中所有的点到该直线 的距离的平方和最小。与之正交的直线即为第二特征矢 量，交点即为点列的中心。 根据向量 x 计算害虫区域或边界坐标的均值向量 mx 和协方差矩阵 Cx如下式（2）（3）所示[9]。 T 12 []1,2,., kkk xxkMx（1） 1 1 M xk k E M    mxx（2） 1 1 [ ] M TTT xxxkkxx k CE M    xmxmx xm m（3） 农业工程学报2012 年 270 式中，xk为第 k 个区域或者区域坐标点的位置，M 为区 域或边界点的总数量，xk和 mx的单位均为像素。 由于 Cx是 2 2 阶实对称矩阵， 故特征向量只有 2 个， 记为 e1和 e2，由特征向量构成的变换矩阵 P[e1,e2]T，根 据公式（4）进行霍特林变换得到一个新的坐标系统。 x PyXm（4） 其中，X 为害虫图像原始区域或边界坐标，mx为害虫的 区域或边缘坐标集合的均值向量， P 为由协方差矩阵的特 征向量构成的变换矩阵， y 是经过霍特林变换之后的新坐 标。该坐标系以仓储害虫质心（均值向量坐标）为原点， 以最大特征值对应的特征向量方向作为新坐标轴方向， 通过变换害虫图像的区域或边界在原坐标系下完成坐标 旋转变换。 2图像获取及处理 2.1图像获取 图像处理系统的采集部分由光源、面阵 CCD（plane array charge coupled device）、图像采集卡、样品台、固定 支架构成。照明系统通常由光照箱体、光源和背景组成。 对于本系统，光照箱体就是取样器，它是密闭且外形对称 的半圆体，能够形成均匀的漫发射，保证了光照的均匀。 系统采用 25 W 的普通白炽灯泡作为光源，样品台采用了 白色背景，基本满足了试验要求。通过固定样品台，调整 面阵 CCD 得到合适的焦距和光阑，将采集到的背景图像 和清晰的害虫图像输送到成像系统。成像系统将图像成像 于面阵 CCD，然后信号送进大恒公司 DH- CG300 图像采 集卡，最后图像输出到视频输出设备上，并将图像数据保 存于计算机中预备进入图像处理系统。 图 1粮仓害虫检测系统采集部分示意图 Fig.1Sketch map of image grabbing system 2.2图像预处理 通过 MTV- 13V1 1/3 英寸黑白高解析带 OSD 摄像机 获得的仓储害虫图像如图 2a 所示，通过与不含害虫的背 景图像图 2b 相减，可以获得含有一定噪声点的害虫图像 2c。 通过对差图像进行中值滤波， 可消除差图像中背景部 分的大多数噪声[12]。 对于经过中值滤波以后的差图像，通过基本全局门 限迭代算法获取对其进行二值化的阈值，具体算法细节 见图 3 所示[13- 15]。首先利用差图像的全局灰度均值作为 初始阈值 T，利用 T 对图像进行二值化。二值化后的图 像分为对象G1和背景G2， 分别对这两个区域求灰度均值， 利用它们的平均值作为新的阈值 T’ 。 系统迭代直到 （T’ - T） 小于预定义的阈值变化量 T0，试验中本系统选取 T00.0005，利用迭代收敛后的阈值 T 二值化差图像的结 果如图 2d 所示。 a. 原始仓储害虫图像b. 不含害虫的背景图 c. 差分去噪后的图像d. 二值化后的图像 图 2害虫图像预处理 Fig.2Pretreatment of the pest image 图 3获取二值化阈值流程图 Fig.3Flow chart for getting the binarization threshold 差图像二值化以后，接着在图中寻找图像边界。确定 害虫区域边界时， 可以利用 matlab 中的 sum 函数分别在水 平和垂直方向求和来实现。 设原始图像大小为 M N （像素 像素），则害虫左右边界 ω1、ω2的确定方法是令数 组 RN为按列求和的数组。 从 RN中的最大值对应的位置 分别向左向右寻找左右边界，沿着水平方向向右寻找 Ri ≥δ且 Ri1＜δ ，这就是右边界 ω2；沿着水平方向向左寻 找 Ri＜δ且 Ri1,0≥δ ，这就是左边界 ω1。其中 δ可取 为图像总高度的 1，作为容纳噪声干扰的上限。上下边 界 h1、h2的确定方法与左右边界的确定方法类似，只是此 时在按行求和数组 CM中进行[16]，阈值 δ取为图像总宽 度的 1。这样，就确定了图像区域，然后在此区域内对 图像进行霍特林变换，计算旋转矩阵，实现倾斜矫正。 2.3倾斜矫正 整个试验的算法流程图如图 4 所示。由于害虫所在 第 8 期卢军等利用霍特林变换对仓储害虫图像倾斜矫正 271 区域较小，像素点不多，而且变换矩阵 P 是一个 2 阶实 矩阵，计算量不大，所以试验中对害虫区域图像和害虫 边缘图像分别进行霍特林变换，以便于分析比较。 图 4算法流程图 Fig.4Flow chart of algorithm 由于变换矩阵和变换后的新坐标为双精度型，而数字 图像的坐标必须为整型，因此对变换后的新坐标进行了取 整操作。因变化后的结果是一个二维坐标数组y，为了将其 以图像的形式显示出来，首先生成了一个和原始图像相同 大小的纯黑图像，然后遍历新坐标数组y，令数组中每一个 坐标处对应的图像值赋为1， 这样就可以生成一幅新的二值 图像。由于霍特林变换使得变换后的区域和边缘图像出现 了较多的断裂和孔洞，因此对生成的新图像利用33 的结 构元素进行了形态学闭操作，以消除变换造成的间断和孔 洞，使变换后的图像更为连续自然[17- 19]。 3结果与分析 3.1试验结果分析 试验中我们随机选取了2幅害虫赤拟谷盗的图像和3 幅害虫玉米象的图像，按上述方式进行处理，试验结果 如图 5 所示。其中图 5a 为对原始害虫图像预处理后进行 定位分割和二值化的结果，图 5b 为对五幅二值化图像进 行区域霍特林变换后的结果，可见原始图像经过霍特林 变换其第一主轴均旋转至竖直方向了。图 5c 为对害虫利 用 Canny 算子处理的边缘图像，图 5d 为分别对五幅边缘 图像进行霍特林变换后的结果图像。由于原始图像的连 续坐标经霍特林变换后中间出现了离散间断点，为了改 善图像质量，在图 5b 和图 5d 中，已利用 33 的结构因 素对变换后的图像进行了形态学闭操作。 霍特林变换后实际上得到了倾斜图像矫正的旋转矩 阵，通过对旋转矩阵计算反余弦操作，可以计算出旋转 角度。表 1 中给出了基于区域和边缘的霍特林变换的旋 转角度和运行时间，可见区域变换比边缘变换所花时间 更少。利用边缘图像进行霍特林变换虽然处理的图像点 数要少，但是因为处理中必须要经过边缘检测这一阶段， 所以处理速度反而慢一些 [20]。 a. 原始害虫区域图像 b. 霍特林变换后的害虫区域图像 c. 原始害虫边缘图像 d. 霍特林变换后的害虫边缘图像 图 5基于霍特林变换前后的结果 Fig.5Results before and after Hotelling trans 表 1基于霍特林变换的旋转角度和运行时间 Table 1Rotating angle and running time after Hotelling trans 害虫名称 区域变换下 旋转角度/° 边缘变换下 旋转角度/° 区域变 换时间 /ms 边缘变换 时间/ms 赤拟谷盗 1117.92115.926.7558.073 赤拟谷盗 2137.27139.915.9828.078 玉米象 1144.10143.264.0405.649 玉米象 2124.58124.463.8845.899 玉米象 3150.79156.504.0736.298 3.2抗噪性能分析 为了对霍特林变换算法应用于倾斜矫正的抗噪性能 进行分析，考虑到数学处理上的便利和储粮害虫图像的 特点，在试验中给原始图像添加了均值为 0，方差不等的 高斯噪声、和密度不等的椒盐噪声。试验过程中首先对 被噪声污染的图像利用中值滤波进行了处理，然后采用 与图 4 完全相同的处理算法。 农业工程学报2012 年 272 图 6 给出了添加噪声后的旋转角度相对偏差结果， 图 6a 为添加高斯噪声下的旋转角度的相对偏差，图 6b 为添加椒盐噪声后旋转角度的相对偏差。 其中相对偏差 α 定义为      无噪有噪 无噪 （5） 式中，β有噪为加噪后的旋转角度，° ；β无噪为未加噪的旋 转角度，° 。 图 7 为添加噪声以后的平均运行时间，图 7a 为添加 高斯噪声下的平均运行时间，图 7b 为添加椒盐噪声后的 平均运行时间。其中添加高斯噪声后，区域变换平均时 间为 7.3190 ms，边缘变换平均时间为 10.0432 ms；添加 椒盐噪声后，区域变化平均时间为 7.1158ms，边缘变换 平均时间为 8.8814 ms。 a. 添加高斯噪声 b. 添加椒盐噪声 图 6添加噪声后的旋转角度相对偏差 Fig.6Relative error of rotating angle after adding noise a. 添加高斯噪声 b. 添加椒盐噪声 图 7添加噪声后的平均运行时间 Fig.7Average processing time after adding noise 由图 6 可见，在两种不同的噪声下，区域变换下旋 转角度的相对偏差结果都要优于边缘变换的结果。在试 验噪声条件下，区域变换的相对偏差均要低于 2，而边 缘变换的相对偏差接近或超过 5。由图 7 可见，区域变 换在各种噪声条件下运行时间都要比边缘变换短，运行 速度更快，这主要是因为边缘检测所耗费的时间导致的。 其中，在高斯噪声下区域变换要比边缘变换平均快 2.7242 ms，在椒盐噪声下区域变换要比边缘变换平均快 出 1.7656ms。 综上所述，基于区域的霍特林变换在计算准确性、 运行时间以及抗噪性能等各个方面均要优于基于边缘的 霍特林变换。当然，如果处理对象的区域很大、边缘也 很完整，则基于边缘的霍特林变换可能会更高效一些。 4结论 基于霍特林变换的倾斜害虫图像矫正算法中，均方 误差最优下的坐标变换消除了目标旋转对结果的影响， 缩短了图像处理时间，避免了通常直线检测计算倾角时 大量的计算和存储代价。基于区域的霍特林变化在添加 程度不等高斯噪声和椒盐噪声的条件下，处理单幅图像 的时间维持在 8 ms 以内，且相对偏差一直低于 2，试 验表明该方法能快速、准确的实现倾斜害虫的旋转操作, 具有较强的抗随机噪声的特性，有利于实现仓储害虫的 自动化检测，为科学合理的防治害虫提供依据。通过试 验表明基于区域的霍特林变换在倾斜矫正中各项性能均 要优于基于边缘的霍特林变换算法。 [参考文献] [1]胡丽华，郭敏，张景虎，等. 储粮害虫检测新技术及应用 现状[J]. 农业工程学报，2007，2311286－289. Hu Lihua, Guo Min, Zhang Jinghu, et a1. New detection technology and application status of stored- grain insects[J]. TransactionsoftheChineseSocietyofAgricultural Engineering Transactions of the CSAE, 2007, 231 286－ 289. in Chinese with English abstract [2]周龙. 储粮害虫智能检测方法的分析[J]. 粮油食品科技， 2004，1247－9. Zhou Long. On the intelligent detection of insects in stored grain[J]. Science and Technology of Cereals, Oils and Foods. 2004, 124 7－9. in Chinese with English abstract [3]张红涛，毛罕平，邱道尹. 储粮害虫图像识别中的特征提 取[J]. 农业工程学报，2009，252l26－130. ZhangHongtao,MaoHanping,QiuDaoyin.Feature extraction for the stored- grain insect detection system based on image recognition technology[J]. Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE, 2009, 252 126－130. in Chinese with English abstract [4]张红梅，范艳峰，田耕. 基于数字图像处理技术的储粮害 虫分类识别研究[J]. 河南工业大学学报自然科学版， 2005，26119－22. 第 8 期卢军等利用霍特林变换对仓储害虫图像倾斜矫正 273 Zhang Hongmei, Fan Yanfeng, Tian Geng. Identification and Classification of grain pest based on digital image processing technique[J]. Journal of Henan University of Technology Natural Science Edition, 2005, 261 19－22. in Chinese with English abstract [5]张红梅. 基于支持向量机的仓储物害虫分类识别研究[J]. 计算机工程与应用，2005，419216－218. Zhang Hongmei. A classifying system of stored- product pests based on support vecter machines[J]. Computer Engineering and Applications, 2005, 419 216－218. in Chinese with English abstract [6]邱道尹，张成花，张红涛. 神经网络在储粮害虫识别中的 应用[J]. 农业工程学报，2003，191142－144. Qiu Daoyin, Zhang Chenghua, Zhang Hongtao. Application of neural networks in the recognition of stored- grain pests[J]. TransactionsoftheChineseSocietyofAgricultural Engineering Transactions of the CSAE, 2003, 191 142－ 144. in Chinese with English abstract [7]谭佐军，李俊，谢静，等. 利用 Zemike 矩计算储粮害虫 图像倾斜角度[J]. 农业工程学报， 2009， 2510 182－185. Tan Zuojun, Li Jun, Xie Jing, et a1. Slanting degree calculation of storage grain insect’ s image based on Zernike moment[J].TransactionsoftheChineseSocietyof Agricultural Engineering Transactions of the CSAE, 2009, 2510 182－185. in Chinese with English abstract [8]卢军，谭佐军，陈海清，等. 利用 Radon 变换计算粮仓害 虫图像的倾斜角度[J]. 农机化研究，2007，145539－ 41. Lu Jun, Tan Zuojun, Chen Haiqing, et al. Compute slanting degree of the stored- grain insects image based on Radon Trans[J].JournalofAgriculturalMechanization Research, 2007, 1455 39－41. in Chinese with English abstract [9]章毓晋. 图像处理第二版[M]. 北京清华大学出版社， 2006265－268. [10] 刘璎瑛，丁为民，陈建伟，等. 基于霍特林变换的稻米彩色 图像粒形检测算法[J]. 中国水稻科学， 2010， 243 325－328. Liu Yingying, Ding Weimin, Chen Jianwei, et al. A Hotelling Trans- based algorithm for rice grain type detection with color images[J]. Chinese Journal of Rice Science, 2010, 243 325－328. in Chinese with English abstract [11] 卢振泰， 张明慧， 陈武凡. 基于霍特林变换的三维医学图像 快速配准算法[J]. 计算机工程与应用，2007，43515－ 17. Lu Zhentai, Zhang Minghui, Chen Wufan. Fast 3- D medical image registration algorithm using Hotelling trans[J]. Computer Engineering and Applications, 2007, 435 15－ 17. in Chinese with English abstract [12] 徐昉，吕建明，沈宪章，等. 粮虫检测系统中图像预处理 的初步研究[J]. 郑州工业大学学报，2001，22388－91. Xu Fang, Lu Jianming, Shen Xianzhang. Study on image pre - processing of stored grain insects detection system[J]. Journal of Zhengzhou University of Technology, 2001, 223 88－91. in Chinese with English abstract [13] 罗涛华. 基于自适应阈值的储粮害虫图像分割算法. 武汉 工业学院学报[J]. 2006，2515－8. Luo Taohua. Nvestigation on image Threshold segmentation of pests in stored grain[J]. Journal of Wuhan Polytechnic University, 2006, 251 5－8. in Chinese with English abstract [14] 徐昉，邱道尹，白旭光，等. 利用图像处理技术检测粮仓 害虫的研究[J]. 郑州工程学院学报，2001，22178－81. Xu Fang, Qiu Danyin, Bai Xuguang, et al. Study on the image processing technology for detecting insects in grain storage[J]. Journal of Zhengzhou Institute of Technology, 2001, 221 78－81. in Chinese with English abstract [15] 陈佳娟，纪寿文，李娟. 采用计算机视觉进行棉花虫害程 度的自动测定[J]. 农业工程学报，2001，172157－160. Chen Jiajuan, Ji Shouwen, Li Juan. Automatic measurement of danger degree of cotton insect pests using computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE, 2001, 172 157－ 160. in Chinese with English abstract [16] 谭佐军，王贤峰，卢军. 基于差分投影法实现储粮害虫图 像的精确定位[J]. 农机化研究，2007，141191－93. Tan Zuojun, Wang Xianfeng, Lu Jun. Precisely located diference image of the stored grain insects image based on directionalprojection[J].JournalofAgricultural Mechanization Research, 2007, 1411 91－93. in Chinese with English abstract [17] 徐昉，邱道尹，沈宪章. 粮仓害虫的特征提取与分类的研 究[J]. 郑州工业大学学报，2000，21462－65. Xu Fang, Qiu Danyin, Shen Xianzhang. Research of feature extraction and classification about stored grain insects[J]. Journal of Zhengzhou University of Technology, 2000, 214 62－65. in Chinese with English abstract [18] 黄小燕，郭勇，赵太飞. 数学形态学的储粮害虫彩色数字 图像分割[J]. 计算机测量与控制，2003，116467－469. Huang Xiaoyan, Guo Yong, Zhao Taifei. Segmentation based on mathematical morphology for colorized digital image of vermin in cropper foodstuff[J]. Computer Measurement and Control, 2003, 116 467 －469. in Chinese with English abstract [19] 翁桂荣. 数学形态学在害虫种群密度监测中的应用[J]. 农 业工程学报，2008，2411135－138. Weng Guirong. Monitoring population density of pests based on mathematical morphology[J]. Transactions of the CSAE, 2008, 2411 135－138. in Chinese with English abstract [20] 陈月华，胡晓光，张长利. 基于机器视觉的小麦害虫分割 算法研究[J]. 农业工程学报，2007，2312187－191. 农业工程学报2012 年 274 Cheng Yuehua, Hu Xiaog uang, Zhang Chang li. Algorithm for segmentation of insect pest images from wheat leaves based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE, 2007, 2312 187－191. in Chinese with English abstract Aslantwise rectification of stored- grain pests image based on Hotelling trans Lu Jun, Chen Jianjun ※, Wu Pengfei, Tan Zuojun College of Science, Huazhong Agriculture University, Wuhan 430070, China AbstractAccording to the feature that images of stored- grain pests have no obvious lines，a new rectification algorithm based on Hotelling trans about the area and edge of pests was presented. Firstly, the minimum exterior rectangle was gotten through automatic searching, and image binarization was made with adaptive threshold. Then the coordinates of the region and edge of pests within the rectangle were drawn out, and eigenvectors of covariance matrix were calculated and thus the Hotelling trans matrix was constituted. The images of original slantwise pests were rectified by the matrix of Hotelling Trans. Experimental results show that the new can rectify images of the stored- grain pests efficiently and accurately with high noise endurance and application adaptability. Key words image processing, algorithm, computer vision, Hotelling trans, the stored- grain pests, region trans, edge trans, slantwise rectification