基于数据融合的玉米种子内部机械裂纹检测方法.pdf

第 28 卷第 9 期农 业 工 程 学 报Vol.28No.9 1362012 年5 月Transactions of the Chinese Society of Agricultural EngineeringMay 2012 基于数据融合的玉米种子内部机械裂纹检测方法 张新伟，赵学观，张健东，焦维鹏，邵志刚，高连兴 （沈阳农业大学工程学院，沈阳110866） 摘要：为深入研究玉米种子脱粒和输送等环节中产生的内部裂纹机理和检测技术，该文在体视显微检测基础上提出了 基于融合技术的边缘检测方法。该方法采用改进的数学形态学方法和传统 Sobel 边缘检测算子对损伤玉米种子图像进行 边缘检测，建立相应的融合规则，将 2 种方法检测出来的图像边缘进行基于小波变换的融合处理，并从新图像中提取玉 米种子内部机械损伤的特征信息。结果表明，该检测方法结合了 2 种边缘检测方法的优点，有效提高了边缘检测准确性， 在准确提取玉米种子内部裂纹特征同时能有效降低噪声，较单一边缘检测算法有更好的效果。 关键词：机器视觉，数据融合，边缘检测，内部裂纹，玉米种子 doi：10.3969/j.issn.1002-6819.2012.09.023 中图分类号：S513；S226.1文献标志码：A文章编号：1002-6819(2012)-09-0136-06 张新伟，赵学观，张健东，等. 基于数据融合的玉米种子内部机械裂纹检测方法J. 农业工程学报，2012，28(9)：136 141. Zhang Xinwei, Zhao Xueguan, Zhang Jiandong, et al. Detection of internal mechanical cracks in corn seeds based on data fusion technologyJ. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(9): 136 141. (in Chinese with English abstract) 0引言 机械损伤是影响玉米种子品质的重要因素。除破碎、 破损等外部损伤外，内部裂纹也是玉米种子的一种重要 损伤形式1- 4，其主要产生在机械脱粒、装卸和运输等环 节5- 6。由于种皮完好、外观没有异常，内部损伤在常态 下难以察觉、不易引起人们注意，更具有潜在危害7，所 以需要深入研究玉米种子内部裂纹的检测与分选技术。 玉米等农作物种子的内部损伤问题及其检测方法引 起了国内外学者的关注。Reid 等采用 Sobel、Prewitt 算子 和机器视觉技术，研究了玉米内部应力裂纹检测问题8； Yie 等应用机器视觉技术检测玉米种子应力裂纹时采用 Sobel、 Laplacian 算子进行边缘检测9； Loren 等应用神经 网络技术对玉米种子进行损伤检测时采用 Sobel、Robert 和 Laplacian 算子进行边缘检测10；杨福增等采用多尺度 小波变换检测红枣裂沟11；郑华东等采用计算机视觉技 术来检测大米中存在的应力裂纹12；张杰应用声学和图 像处理技术来检测玉米内部应力裂纹13；王艳春等采用 数学形态学方法对黄顶菊种子图像进行边缘检测14。然 而，大多学者采用的传统或者单一的边缘检测方法，尚 存在如下问题：传统边缘检测算子进行边缘检测时易产 收稿日期：2011- 11- 22修订日期：2012- 02- 15 基金项目：国家自然科学基金资助项目（50675143） ；高校博士学科点专项 科研基金项目（200801570007） ；辽宁省自然科学基金项目（20082124） 作者简介：张新伟（1983） ，男（汉族） ，博士研究生，主要从事农产品收 获与加工机械研究。沈阳沈阳农业大学工程学院，110866。 Email： 通信作者：高连兴（1958） ，男（汉族） ，教授，博士生导师，主要从事 农产品收获与加工机械研究。沈阳沈阳农业大学工程学院，110866。 Email：lianxing_ 生大量噪声，且噪声与图像边缘混合在一起，不易对边 缘进行提取；用数学形态学进行图像边缘检测时虽然能 较好抑制噪声，但同时也将许多图像边缘细节过滤掉， 从而造成边缘模糊。而近年来成为图像处理研究新热点 的信息融合技术因为能够综合利用各种手段获得图像中的 信息，可有效提高处理后图像中所携带信息的可信度15- 16。 因此，本文将数学形态学方法与传统边缘检测算子相结 合，研究了一种基于小波变换的图像融合的边缘检测新 方法，即结合数学形态学与传统边缘检测算子 2 种方法 的优点对得到的玉米种子内部机械裂纹图像进行融合处 理，新图像既有效地抑制了噪声，又保留了连续、清晰 的边缘，有利于对玉米种子内部机械裂纹的检测。 1材料与方法 玉米种子内部损伤主要为机械裂纹，在玉米种子冠 部、背部、腹部和侧面等不同部位存在多种类型裂纹， 如图 1 所示。观察裂纹的传统方法为灯箱法，即在灯光 的照射下进行观察，该方法检测速度慢、效率低，不能 用于批量检测，而且观察结果与人的精神状态等主观情 绪有很大关系，存在一定的误差，且对裂纹的位置、形 态和大小均无法做出准确评价。 1.1检测装置 主要试验设备包括灯箱系统、体视显微成像装置、 A2000 佳能数码相机、计算机、镊子、培养皿等。体视 显微成像系统由尼康 SMZ800 体视显微镜（变焦范围 0.757.5X）、CCD 摄像头和微型计算机等组成，运用 该系统可以方便地调整放大倍数，观察玉米内部的细微 机械损伤，并存取显微图像、进行图像观察和分析。 第 9 期张新伟等：基于数据融合的玉米种子内部机械裂纹检测方法 137 a. 冠部裂纹b. 背部裂纹c. 腹部裂纹d. 侧面裂纹 图 1玉米种子不同位置和不同方向的内部裂纹 Fig.1Inner mechanical cracks of different positions and directions in corn seeds 1.2试验方法 玉米种子的内部损伤检测主要包括图像获取、图像 处理和图像输出 3 个部分，如图 2 所示，其中图像处理 是关键。首先用灯箱法观察玉米种子，挑选出存在内部 裂纹的玉米种子。将有裂纹的种子置于体视显微镜下成 像。其次对原始损伤玉米种子图像进行滤波、图像增强 等预处理以得到新图像，对得到的新图像进行基于小波 变换的数据融合，利用融合后的图像提取出玉米种子内 部裂纹的特征信息；最后将得到的信息输出。 图 2玉米种子内部裂纹检测流程图 Fig.2Cracks detection chart of corn seeds 2边缘检测原理 2.1数学形态学边缘检测 数学形态学可以分为 4 种基本运算：膨胀（）、 腐蚀（）、开运算（）和闭运算（）。利用数学形 态学提取图像边缘的算法如下：设 f(x, y)为待处理图像， B(i, j)为 33 结构元素，首先用 B(i, j)对 f(x, y)进行腐蚀 操作，然后求取图像 f(x, y)和它的腐蚀之差，设 G(f)为得 到的边缘图像，则内边界边缘为： 1 ()()G fffB（1） 同理，外边界边缘为 2 ()()G ffBf（2） 数学形态学梯度边缘检测 3 ()()()G ffBfB（3） 式中，G(f1)为内边缘、G(f2)为外边缘、G(f3)为数学形态 学检测得到的边缘；f 为待处理图像；B 为结构元素。 上面的方法得到的图像边缘是基于数学形态学中的 开、闭运算构成的，得到的边缘图像不够清晰、连续， 同时还含有噪声。因此，本文提出了改进的图像边缘提 取算法。 待处理图像中的高频噪声可通过数学形态学的腐蚀 和开运算而得到抑制，而图像中的低频噪声可以通过膨 胀和闭运算加以抑制。所以，本文将上述 2 种方法综合 在一起，得到一种抗噪型数学形态学检测方法。 4 5 6 ()()() ()()() ()()() G ffBf B G ffBfB G ffBBf BB （4） 式中，G(f4)为高频边缘检测器、G(f5)为低频边缘检测器、 G(f6)为改进抗噪边缘检测器。 上式是由数学形态学膨胀、腐蚀和开、闭运算组成 的改进型抗噪边缘检测器，可以同时抑制图像中的高频 和低频噪声。 2.2Sobel 边缘检测 Sobel 边缘检测算子是一组方向算子，由水平（x 方 向）和垂直（y 方向）2 个模板分别与图像进行卷积运算 以检测边缘17。 ( , )(1,1)2 ( ,1)(1,1) (1,1)2 ( ,1)(1,1) x fx yf xyf x yf xy f xyf x yf xy （5） ( , )(1,1)2 (1, )(1,1) (1,1)2 (1, )(1,1) y fx yf xyf xyf xy f xyf xyf xy （6） 式中， fx(x, y)和fy(x, y)分别为x和y方向的一阶微分， f(x,y) 为输入图像。 水平和垂直模板与玉米种子图像窗口中待卷积像素 满足如下关系 1, 11,01,1 1,00,00, 1 1, 11,01,1 iii iiii iii NNN NNNN NNN （7） 式中，Ni为模板元素，i=1,2 为水平和垂直模板 设窗口灰度 Y 为 (1,1)(1, )(1,1) ( ,1)( , )(1,1) (1,1)(1, )(1,1) Y jkY jkY jk YY j kY j kY jk Y jkY jkY jk （8） Y 与 N 模板进行卷积操作得： , ( , )(,) ll i im n ml nl fj kY jm kn N （9） 其中，fi(j, k)为新图像边缘。图像中像素的新灰度值 为对应模板中心位置的像素值用 2 个卷积运算得出的最 农业工程学报2012 年 138 大值，即 max max( , ) i ffj ki=1,2（10） 玉米种子机械裂纹图像边缘处像素灰度会发生巨大 变化， 所以当卷积运算窗口邻域内的像素新灰度值T（T 为设定阈值）时标出该点的边界点，其像素值设为 0，其 他值设为 255。 2.3基于小波变换方法的图像融合 小波变换是一种多尺度、多分辨率的图像分解方法。 经其分解后的图像数据量较小，同时小波分解的方向性 使人眼对不同方向的高频分量具有不同分辨率的视觉特 性，从而可能获得视觉效果更好的融合图像18。图像每 经过一次小波变换就会被分解为4个只有原图像1/4的子 频带区域，如图 3 所示。 LL2HL2 LH2HH2 HL1 LH1HH1 HL0 LH0HH0 注：LL 为图像的低频部分；LH 为水平方向高频边缘信息；HL 为垂直方向 高频边缘信息；HH 为对角方向的高频边缘信息。 图 3 小波分解示意图 Fig.3Wavelet decomposition schemes 使用低频滤波器将 LH、HL 和 HH 高频信息滤除， 保持低频部分内容不变，经过小波逆变换就可以得到低 频分量部分的图像；同样，使用高频滤波器将低频部分 的数据全部滤除，保持高频部分的信息不变，再经过小 波逆变换就可以得到高频分量部分的图像。 2.4机械裂纹融合 单一的边缘检测方法只能从某一方面反映图像的边 缘信息，不能够全面地反映玉米种子的边缘信息，为综 合每一种方法的优点，将经过改进数学形态学和 Sobel 算子处理得到的裂纹图像通过小波变换的多尺度分解重 新融合，得到新的玉米种子内部机械裂纹图像，其流程 如图 4 所示。 图 4基于图像融合的边缘检测流程图 Fig.4Chart of edge detection based on image fusion 设f1和f2分别为采用改进数学形态学和Sobel边缘检 测算子得到的边缘图像，采用以下原则对 f1和 f2进行融 合操作： 1）由于 f1中含有的噪声较少，而 f2中的噪声较多， 所以 f2图像中含有的噪声信息可以通过 f1图像中的信息 来确定。当 f2中的任意一个像素点满足以下要求时，就 可以认为其是有效的裂纹边缘点：如果图像 f2中的任意 一个像素在 f1中以此像素为中心的 3 3 邻域中非零像素 的个数为 N， 则将其做为有效的裂纹边缘点保留下来； 如 果图像 f1的 3 3 邻域中非零像素的个数小于 N，则认为 该像素点为噪声点，并将其除掉。其中，N为所设定的 阈值。 2） 为统计各像素点的绝对差累加和 （MAD） ， 在 3 3 领域内做相关运算。由于用改进数学形态学得到的边缘 信息较细且不连续， 而用 Sobel 算子得到的边缘较粗并且 连续、完整，所以绝对差累加和的值在真正的边缘点附 近时比较大。如果给定阈值小于绝对累加值，则其为真 实裂纹边缘点。计算公式为 12 00 ( , )|(,)(,)| mn ij MAD k lf ki ljfki lj （11） 3图像融合效果评价 图像融合效果的评价对于图像融合是很重要19- 20。 本文采用以下一些评价标准来判断融合后图像的质量。 1）熵 E 2 log () ii Epp （12） 式中，pi为图像第 i 级灰度值的概率；熵越大说明图像的 融合效果越好。 2）峰值信噪比 PSNR 2 2 11 255 , MN ij MN PSNR C i jB i j （13） 式中， C 为融合后图像； B 为理想图像； M 为图像的行数； N 为图像的列数；峰值信噪比越大，融合效果越好。 3）平均梯度 AG 平均梯度可敏感地反应图像对微小细节反差表达的 能力， 可用来评价图像的清晰程度， 设 F 是大小为 MN 的图像，F 在位置(m,n)处的灰度值为 F(m,n)，平均梯度 计算方法如下 22 11 11 1 411 , MN mn AG MN F m nF m n mn （14） 平均梯度值越大，图像越清晰。 4）均方根误差 RMSE C 和 B 的均方根误差定义为 2 11| ( , )( , )| MN ij B i jC i j RMSE MN （15） 均方根误差越小，说明融合效果越好。 5）边缘保持度 EKD 融合后图像的边缘保持度定义为 11 11 , , NM AFABFB nm AB NM F AB nm Qn mwn mQn mwn m EP wn mwn m （16） 式中，QAF、QBF分别为原图像与融合后图像之间边缘幅 第 9 期张新伟等：基于数据融合的玉米种子内部机械裂纹检测方法 139 值和相角的保留度；WA、WB分别为图像 A 和 B 的绝对 梯度幅值。边缘保持度越大，说明融合后图像的质量越 好。 4结果与分析 利用基于小波变换的融合技术对含有内部裂纹的玉 米种子图像进行裂纹检测。通过一些评价标准对融合图 像与数学形态学、改进数学形态学、Sobel 算子检测的图 像进行比较，结果如表 1 所示。从表中可以看出均方根 误差、熵、峰值信噪比、边缘保持度在图像融合后达到 最优的效果，平均梯度和运行时间没有达到最优值，但 只是发生较小的变化。 表 1融合图像质量评价参数 Table 1Quality evaluation parameters of fusion image 边缘检测方法 均方根误差 RMSE 熵 E 峰值信噪比 PSNR 平均梯度 MG 边缘保持度 EKD 运行时间/s 基于数学形态学方法61.90990.674610.42022.93800.69420.5718 基于改进数学形态学方法59.02890.785612.68033.63870.70250.7550 基于 Sobel 算子35.07921.061910.21324.52150.71280.5451 融合后图像29.43441.112313.44233.86460.73861.5937 以图 1a 玉米种子冠部裂纹为例，图 5 为基于数据融 合方法的检测结果与其他检测方法的比较。从图中可以 看出，数学形态学得到的图像边缘含有的噪声较少，但 是边缘的细节信息丢失严重（图像中的部分裂纹信息丢 失），同时边缘不连续、不完整。分析认为是残存的噪 声与图像边缘混合在一起，在减少噪声的同时也将图像 边缘的许多细节除去（图 5a），边缘细节的丢失会增大 对玉米种子图像真实边缘的提取难度，为后续的处理带 来不便；与数学形态学相比，改进后的数学形态学检测 到的图像含有的噪声少、细节信息较多，图像边缘相对 清晰、完整（图 5b）；单独使用传统 Sobel 算子得到的 边缘图像信息较好，从图中可以看到细节信息较多，边 缘很完整，但 Sobel 边缘检测算子是基于梯度的运算，对 噪声异常的敏感，基于此种方法得到的图像边缘大多被 图像中含有的噪声所污染，不利于对图像进一步的分割 和识别等操作（图 5c）；采用基于数据融合方法得到的 结果弥补了上述 2 种检测方法不足的同时还保持了各自 的优点，使处理后的图像边缘清晰、完整、连续，图像 细节处理得很好，同时去除不必要的噪声，有利于对后 续玉米种子内部机械裂纹识别等操作（图 5d）。 a. 形态学检测边缘b. 改进形态学检测边缘c. Sobel 算子检测边缘d. 融合后图像边缘 图 5基于数据融合的玉米种子内部裂纹检测结果与其他检测方法的比较 Fig.5Result of inner cracks detection in corn seed and comparison between image fusion and other methods 5结论 本文通过将数学形态学方法和 Sobel 边缘检测算子 相结合，对玉米种子内部机械裂纹进行初步检测研究， 并得出以下结论： 1）在研究现有机械裂纹的检测方法基础上，提出基 于数据融合的玉米种子内部机械裂纹检测的融合准则与 详细步骤。 2）基于融合技术的裂纹检测方法融合数学形态学和 传统 Sobel 算子的优点， 充分利用数学形态学抑制噪声能 力强、Sobel 算子提取细节信息多等特点，有效的去除图 像中的噪声，保留了真实的边缘图像。 3）融合图像的评价结果表明，基于数据融合的边缘 检测均方根误差、熵、峰值信噪比和边缘保持度在图像 融合后达到最优的效果，平均梯度和运行时间没有达到 最优值，但它们只是发生了较小变化；融合后的图像边 缘清晰、连续，噪声少，表明数据融合的边缘检测方法 对提高图像的质量是有利的。 4）用 2 种不同方法检测出的图像边缘信息进行数据 融合，虽然最终边缘的提取速度有所降低，但检测结果 十分理想。因此，该方法是一种有效的边缘检测方法。 参考文献 1周旭，李心平，高连兴，等. 两种脱粒滚筒的玉米籽粒损 伤试验研究J. 沈阳农业大学学报，2005，36(6)：756 758. Zhou Xu, Li Xinping, Gao Lianxing, et al. Comparison of corn kernel damage using two types of threshing cylindersJ. Journal of Shenyang Agricultural University, 2005, 36(6): 756758. (in Chinese with English abstract) 2朱文学， 连政国. 玉米应力裂纹的生成和扩展过程模拟J. 农业工程学报，2000，16(1)：113116. Zhu Wenxue, Lian Zhengguo. Simulation of formation and development of stress cracks in cornJ. Transactions of the Chinese Society of Agricultural Engineering (Transactions of 农业工程学报2012 年 140 the CSAE), 2000, 16(1): 113116. (in Chinese with English abstract) 3李保国，肖建军，张岩. 玉米干燥过程中的应力裂纹研究 进展J. 上海理工大学学报，2001，23(2)：107110. Li Baoguo, Xiao Jianjun, Zhang Yan. Progress in research on stress cracks of corn drying progressJ. Journal of University of Shanghai for Science and Technology, 2001, 23(2): 107 110. (in Chinese with English abstract) 4李晓峰，接鑫，张永丽，等. 玉米种子内部机械裂纹检测 与机理研究J. 农业机械学报，2010，40(12)：143147. Li Xiaofeng, Jie Xie, Zhang Yongli et al. Detecting and researchoncharacteristicsandmechanism ofinternal mechanical cracks of corn seedJ. Transactions of the CSAM, 2010, 40(12): 143147. (in Chinese with English abstract) 5李耀明，王显仁，徐立章. 加载/卸载作用次数对水稻谷粒 机械损伤的影响J. 农业机械学报，2007，38(10)：62 65. Li Yaoming, Wang Xianren, Xu Lizhang. Study on rice grain injury under repeated loadsJ. Transactions of the CSAM, 2007, 38(10): 6265. (in Chinese with English abstract) 6徐立章，李耀明，王显仁. 谷物脱粒损伤的研究进展分析 J. 农业工程学报，2009，25(1)：303308. Xu Lizhang, Li Yaoming, Wang Xianren. Research development of grain damage during threshingJ. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(1): 303308. (in Chinese with English abstract) 7李心平. 种子玉米脱粒损伤机理及 5TYZ- 1 型定向喂入式 脱粒机研究D. 沈阳农业大学，2007. Li Xinping. The Mechanism of Threshing Damage in Corn Seed and the Research of 5TYZ- 1 Directional Feeding Type Threshing MachineD. Shenyang Agriculture University, 2007. (in Chinese with English abstract) 8Reid J F, Kim C, Paulsen M R. Computer vision sensing of stress cracks in corn kernelsJ. Transactions of ASAE, 1991, 34(5): 22362244. 9Yie T J, Liao K, Paulsen M R, et al. Corn Kernel stress cracks detection by machine visionC/ASAE Meeting, 1993. 10 Loren W, steenhoek. A Probabilistic Neural Network Computer Vision System for corn Kernel Damage EvaluationD. AmesIowa: Iowa State University, 1999. 11 杨福增，王峥，韩文霆，等. 基于小波变换的红枣裂沟的 多尺度边缘检测J. 农业工程学报，2005，21(6)：9295. Yang Fuzeng, Wang Zheng, Han Wenting, et al. Wavelet transform- based multiscale edge detection of dehiscence furrow in Chinese date imagesJ. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2005, 21(6): 9295. (in Chinese with English abstract) 12 郑华东，刘木华，吴彦红，等. 基于计算视觉的大米裂纹 检测研究J. 农业工程学报，2006，22(7)：129133. Zheng Huadong, Liu Muhua, Wu Yanhong, et al. Rice fissure detection using computer visionJ. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2006, 22(7): 129133. (in Chinese with English abstract) 13 张杰. 基于声学和图像分析的玉米应力裂纹检测方法研究 D. 吉林大学，2007. Zhang Jie. Study of Detection of Stress Cracks in Corn by Using Acoustic Analysis and Image AnalysisD. Jilin University, 2007. (in Chinese with English abstract) 14 王艳春，迟胜起，郑长英. 基于数学形态学滤波算子的黄 顶菊种子图像边缘检测J. 农机化研究， 2011(3)： 3942. Wang Yanchun, Chi Shengqi, Zheng Changying. The edge detection of flaveria bidentis seed image based on mathematics morphological filtering operatorsJ. Journal of Agricultural Mechanization Research, 2011(3): 3942. (in Chinese with English abstract) 15 雍杨，王敬儒，陈昌彬，等. 基于融合技术的图像边缘检 测方法J. 红外与激光工程，2004，33(5)：542544. Yong Yang, Wang Jingru, Chen Changbin, et al. Edge detection method based on fusion technologyJ. Infrared and Laser Engineering, 2004, 33(5): 542544. (in Chinese with English abstract) 16 黄剑玲，邹辉. 结合 LOG 算子和小波变换的图像边缘检 测方法J. 计算机工程与应用，2009，45(21)：115117. Huang Jianling, Zou Hui. Edge detection of image based on LOG and Wavelet transformationJ. Computer Engineering and Applications, 2009, 45(21): 115117. (in Chinese with English abstract) 17 张宇伟，王耀明，蒋慧钧. 一种结合 sobel 和小波变换的 图像边缘检测方法J. 计算机应用与软件，2007，24(4)： 133135. Zhang Yuwei, Wang Yaoming, Jiang Huijun. Edge detection of image based on sobel and wavelet transformationJ. Computer Applications and Software, 2007, 24(4): 133135. (in Chinese with English abstract) 18 胡晓辉，张晓颖，陈俊莲. 一种融合小波变换和数学形态 学的图像边缘检测算法J. 铁道学报，2011，33(3)：45 48. Hu Xiaohui, Zhang Xiaoying, Chen Junlian. An image edge detectionalgorithm fusedwithwavelettransform and mathematical morphologyJ. Journal of the China Railway Society, 2011, 33(3): 4548. (in Chinese with English abstract) 19 陈木生，狄红卫. 多聚焦图像融合的最佳小波分解层研究 J. 光电工程，2004，31(3)：6467. Chen Musheng, Di Hongwei. Study on optimal wavelet decomposition level for multi- focus image fusionJ. Opto- Electronic Engineering, 2004, 31(3)