基于高光谱成像技术的灵武长枣缺陷识别.pdfVIP

第 31 卷 第 20 期 农 业 工 程 学 报 Vol.31 No.20 2015 年 10 月 Transactions of the Chinese Society of Agricultural Engineering Oct. 2015 281 基于高光谱成像技术的灵武长枣缺陷识别 吴龙国 1，王松磊1,2，康宁波1，何建国1,2，贺晓光2 （1. 宁夏大学土木水利工程学院，银川 750021； 2. 宁夏大学农学院，银川 750021） 摘 要：为研究快速识别灵武长枣表面裂痕、虫眼、碰伤等常见缺陷的有效方法，利用特征波长主成分分析法结合波段 比算法进行长枣裂痕、虫眼、碰伤识别。首先，采用近红外（Near Infrared Reflection，NIR）波段范围的高光谱成像系 统获取 300 个长枣反射图像，提取并分析各类型长枣光谱曲线，选择 9181 678 nm 波段范围进行主成分分析，通过权 重系数提取特征波长；然后，对特征波长下图像进行主成分分析，选择最优的主成分图像进行识别；最后，对未识别的 长枣图像采用波段比算法进一步进行识别。 NIR 波段的正常枣、 虫眼枣、 裂痕枣、 碰伤枣的识别率分别 100%、 90%、 86%、 100%。结果表明：NIR 高光谱成像仪对长枣外部缺陷识别是可行的，为多光谱成像技术应用于在线检测长枣品质提供了 理论依据。 关键词：主成分分析；缺陷；高光谱成像；无损检测；长枣；缺陷 doi：10. 11975/j.issn.1002-6819.2015.20.039 中图分类号：TP391.41；TP274 文献标识码：A 文章编号：1002-6819(2015)-20-0281-06 吴龙国， 王松磊， 康宁波， 何建国， 贺晓光. 基于高光谱成像技术的灵武长枣缺陷识别J.农业工程学报， 2015， 31(20)： 281286. doi：10.11975/j.issn.1002-6819.2015.20.039 Wu Longguo, Wang Songlei, Kang Ningbo, He Jianguo, He Xiaoguang. Non-destructive detection of defects in Zizphus jujube Mill cv.Lingwu changzao based on near-infrared hyperspectral imagingJ. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(20): 281286. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2015.20.039 0 引 言 灵武长枣（Zizphus jujube Mill cv.Lingwu changzao） 素以鲜食为主，色红个大，呈椭球体，富含多种矿物质 和维生素，品相辨识度高，被誉为“枣中之王” ，因其独 有的椭球外形和口感，倍受消费者的青睐。然而，在枣 树的生长过程中，灵武长枣不可避免会受到虫害感染以 及碰伤摔伤等现象，导致枣果腐烂变质，影响灵武鲜食 枣的品牌与销售。由此可见，新鲜长枣外部缺陷（裂痕、 虫害、碰伤）的快速检测对灵武长枣的优质优价与运输 保藏具有重要的意义。当前，对于灵武长枣缺陷的识别 主要靠人工识别，费时费力且效率低，不能满足企业大 规模的生产要求。因此，亟需探索一条快速、高效且无 损伤的方式识别灵武长枣缺陷。 新一代的无损检测技术高光谱成像技术，融合 了成像与光谱技术的特点，可以同时获取被测样的双重 信息，这也成为了无损检测技术的热点1-2。在果品品质 检测方面，学者们利用高光谱成像技术分别对苹果3-5、 香蕉6、葡萄7、草莓8、脐橙9-10、梨11进行了缺陷检 收稿日期：2015-08-19 修订日期：2015-10-10 基金项目：国家自然科学基金资助项目（31060233，31560481） ；2011 年度 宁夏回族自治区科技攻关计划项目 (2011HZF05J01)；国家科技支撑计划 （2012BAF07B06） 作者简介：吴龙国，男，陕西咸阳人，博士生，主要从事农产品无损检测方 面的研究。银川 宁夏大学土木水利工程学院，750021。 Email：1046156215 。 通信作者：何建国，男（回族） ，山东人，教授，博士生导师，主要从事 农产品无损检测、食品机械自动化控制、食品物性学方面的研究。银川 宁 夏大学土木水利工程学院，750021。Email：hejg 测相关研究。在果品缺陷检测方面，国内学者们利用高 光谱成像技术对果品的果锈12、溃疡13、损伤14-15进行 了相关研究；国外学者通过对猕猴桃的隐性损伤的高光 谱图像技术的无损检测及对红枣虫眼的研究等，探讨利 用高光谱成像技术在无损检测中的应用16-20。 吴龙国等21 对灵武长枣的 3 种类型虫眼枣进行了研究，采用主成分 与波段比融合的算法可以有效的提高识别率，但仅仅只 是针对不同类型的虫眼缺陷进行的识别，而对于灵武长 枣的其他类型缺陷的识别能否适用，尚未可知，今后还 需进一步的验证其算法的可靠性。 虽然可见光波段可以识别常见的外部缺陷，但对于 碰伤枣来说，由于内部发生质变而外部未能明显表现出 症状，该算法未能准确识别。本文利用近红外高光谱成 像技术可以对长枣的裂痕、虫害、碰伤进行同时检测， 对比分析算法的稳定性。 本文利用 9001 700 nm 波段的高光谱成像仪采集 灵武长枣的常见外部缺陷枣（裂痕枣、虫害枣、碰伤枣） 和正常枣图像，提取其光谱曲线，通过图谱结合的方式， 采用主成分分析法（principal component analysis，PCA） 结合波段比（band ratio，BR）算法对红枣外部缺陷进行 了可视化的检测，为长枣的无损分级开辟了一条新的道路。 1 材料与方法 1.1 试验材料 以宁夏灵武长枣为研究对象，于 2014 年 10 月份在 当地不同枣园的不同枣树上，通过手摘的方式采集，由 于红枣采收期时限较短，收集枣果数量较少，为了保证 农业工程学报（） 2015 年 282 样本的均一性，正常果与碰伤果数量为裂痕枣与碰伤枣 的一半。因此，挑选出了大小形状均一的样本共 300 个 （正常枣 50 个，裂痕枣 100 个，碰伤枣 50 个，虫眼枣 100 个） ，将采集的样本先用保鲜袋运到实验室，之后立 即置于 4冰箱进行贮藏备用；在采集长枣图像前，先将 样本从冰箱中拿出，用纸巾将红枣表面擦拭干净，放置 1 h 后进行图像采集。图 1 为不同类型长枣的原始图。 图 1 四种类型长枣的高光谱图像 Fig.1 Four types of different jujubes original image 1.2 高光谱成像系统 高光谱图像在每个波长下，每幅图像中每个像素点 的灰度值与其在该波长下的光谱值之间一一对应；在某 个特定波长下，感兴趣区域（Region of interests，ROIs） 与正常区域之间的光谱值会存在较大差异18-19。因此， 可以通过这种差异性来对样本进行识别。 近红外高光谱成像系统由高光谱成像光谱仪 （Imspector N17E， Spectral Imaging Ltd.， Oulu， Finland） 、 CCD 相机（Models XC-130 100Hz，Ophir Optronics Solutions Ltd，Jerusalem，Israel） 、4 个 35 W 卤钨灯 （HSIA-LS-TDIF，Zolix instruments Co.，Ltd，Beijing， China） 、电控位移平台（PSA200-11-X，Zolix Instruments Co.， Ltd.， Beijing， China） 、 计算机 （Lenovo Inter(R) Core i7-2600CPU3.40 GHz，RAM 4.00G）和数据采集软件 （Spectra SENS，Zolix Instruments Co.，Ltd.，Beijing， China） 5 部分组成 （见图 2） ； 该系统的波段范围为 900 1 700 nm，光谱分辨率 5 nm，共有 256 个波段。 图 2 高光谱成像系统（9001700 nm） Fig.2 Hyperspectral imaging system (900-1 700 nm) 1.3 数据处理分析软件 本试验中所用的数据处理分析是基于 Envi 4.6 （Research System Inc.，Boulder，Colo.，USA）及 Matlab 2010a（The MathWorks Inc.，Natick，USA）软件平台。 1.4 数据处理方法 1.4.1 主成分分析法 由于高光谱数据量大，对于近红外高光谱数据来说， 就有 256 个波段，而波段彼此间相关性较大，造成数据 的冗余，因此需要对高光谱数据进行去相关、降维处理， 提取出有用信息进行后期分析。主成分分析法（PCA） 主要是通过对协方差矩阵进行特征分解，把原始数据变 换到一个新的坐标系统中，使得任何数据投影的方差最 大者排在第一个坐标（称为第一主成分）上，方差次之 的排在第二个坐标（第二主成分）上，依次类推19。对 于高光谱图像而言，使其含有低维、高信噪比的数据， 其原理如公式（1）所示。 1 n k PCap = = (kn) （1） 式中： PCk表示第 k 主成分图像； a表示第 个权重系数； p表示第 个波段图像；n 表示原始图像波段数（0n 256） 。 1.4.2 波段比运算 波段比算法（BR）一方面可以有效的降低枣果表面 不平整所引起的光束反射不均匀的现象；另一方面可以 增强所选波段之间波普的差异性，提供任何单一波段无 法获得的有用信息20。其数学表达式如公式（2）所示： , , , , / i j ri j mi j p BVBVBV= （2） 式中：BVi, j, r表示图像中任一点位置下像素（i，j）的比 值；BVi, j, m和BVi, j, p表示第m和p个波段下相同位置像素 （i，j）的灰度值。 2 结果与分析 2.1 特征光谱提取与分析 利用Envi 4.6软件对完好枣、虫眼枣、裂痕枣、碰伤 枣的单个原始图像进行感兴趣区域提取， 分别获得918 1 678 nm波段下的完好枣、虫害枣、裂痕枣、碰伤枣光 谱曲线，求其平均值，如图3所示。 图 3 4 种类型长枣的平均光谱曲线 Fig.3 Average original curve of four types of jujubes 从图3可以看出：完好枣、碰伤枣、裂痕枣的光谱 曲线走势相似， 在9181 400 nm波段， 完好枣、 碰伤枣、 裂痕枣、虫眼枣光谱曲线差异显著。在1 121 nm波段下， 第 20 期 吴龙国等：基于高光谱成像技术的灵武长枣缺陷识别 283 如图中竖线，4种类型长枣光谱曲线反射率与背景差异显 著，故选取不同类型长枣1 121 nm波段下的图像作为掩 模图像，为了增加识别效果，经反复试验最终确定阈值 设为0.2，可以有效的去除背景的干扰。 2.2 主成分分析 对不同类型的灵武长枣进行主成分分析，得到前三 主成分图像，PC1、PC2、PC3贡献率分别为：91%、4%、 2%，从中可以看出前三主成分累计贡献率达97%，包含 了长枣的绝大部分有用信息，因此选择不同类型长枣的 前三主成分图像进行研究。图4为完好枣、虫眼枣、裂 痕枣与碰伤枣的前三主成分图像。从图中可以看出：光 照信息的影响导致缺陷部位不明显，因此需要对不同类 型长枣进行特征波长提取。 由主成分分析的原理可知，可以得到相应的权重系 数， 通过局部绝对值的大小来选择特征波长。 从图5可知， 完好枣的特征波长为999、1 028、1 109、1 312、1 449 nm； 裂痕枣的特征波长为999、1 031、1 112、1 225、1 288、 1 312、1 392、1 449、1 458、1 461 nm；碰伤枣的特征波 长为999、1 025、1 109、1 312、1 449 nm；虫眼枣的特 征波长为993、999、1 034、1 103、1 112、1 151、1 312、 1 353、1 449 nm。 有量子理论可知，在7802 500 nm波段范围内，主 要是O-H、N-H、C-H倍频与合频吸收。由于近红外谱区 光谱的严重重叠性和不连续性，物质近红外光谱中的与 成份含量相关的信息很难直接提取出来并给予合理的光 谱解析。通过选择的特征波段可以看出，其中1 449 nm 作为水的二倍频吸收，而其他波段则是N-H、C-H吸收 的综合体现。从这点来说，在近红外波段无法进行对物 质成分进行确定，但可以在中红外波段进行物质分析相 关研究。 图 4 四种类型长枣前三主成分图 Fig.4 First three PC plot of four types of jujubes a. 正常枣 a. Intact jujube b. 裂痕枣 b. Cracked jujube c. 碰伤枣 c. Bruised jujube d. 虫害枣 d. Insect-infested jujube 图 5 四种类型长枣的权重系数图 Fig.5 Weighted coefficient plot of four types of jujubes 2.3 灵武长枣特征波长主成分分析 通过对灵武长枣4种类型的前三主成分的特征波长 图像进行逐一识别， 结果发现： 完好枣的999与1 028 nm 波段下的图像识别结果相同；裂痕枣的999与1 031 nm、 1 458与1 461 nm波段下的图像识别效果相同； 碰伤枣的 999与1 025 nm下的图像识别效果相同；虫眼枣的999 农业工程学报（） 2015 年 284 与1 034 nm波段下的图像识别结果相同，1 103、1 112、 1 151 nm波段下的图像识别结果相同，1 312与1 353 nm 波段下的图像识别结果相同。 综合考虑之后，完好枣选择1 028、1 109、1 312、 1 449 nm作为特征波长进行主成分分析；裂痕枣选择 1 031、1 112、1 225、1 312、1 392、1 449、1 461 nm作 为特征波长进行主成分分析；碰伤枣选择1 025、1 109、 1 312、1 449 nm波段作为特征波长进行主成分分析；虫 眼枣选择1 034、1 112、1 312、1 449 nm波段作为特征 波长进行主成分分析。 图6为四种类型长枣特征波长的前三主成分图 （9181 678 nm） ，从图中可以看出，正常枣与虫眼枣、 裂痕枣、碰伤枣的PC1图像缺陷显著，因此选择完好枣、 虫眼枣、裂痕枣、碰伤枣的PC1图像进行缺陷识别。 图 6 特征波长的前三主成分图 Fig.6 First three PC plot of four types of jujubes in important wavelength 2.4 外部缺陷识别算法 对比分析完好枣、裂痕枣、碰伤枣、虫眼枣的特征 波长与全波段的PC1图像识别，结果如表1所示。对比 分析可知，全波段与特征波长的主成分图像的识别效果 差异不明显，为了保证正确的识别率和较少波段数，综 合考虑之后，选择特征波长的主成分图像进行图像识别。 表 1 4 种类型长枣全波段与特征波段识别结果 Table 1 Recognition results of four types of jujubes in full wavelength and important wavelength 识别数 Identification number 识别率 Rate of identification/% 类型 Type 数量 Number 全波段 all wave band 特征波长 characteristic wavelength 全波段 all wave band 特征波长 characteristic wavelength 完好 Intachtness 50 50 50 100 100 虫眼 Insect 100 72 71 72 71 裂痕 Crack 100 86 86 86 86 碰伤 Bruise 50 50 50 100 100 合计 Total 300 272 271 90.7 90.3 经过反复的实验，对完好枣、虫眼枣、裂痕枣与碰 伤枣的特征波长的PC灰度图（阈值0-1）进行图像识别， 最终选择采用二值化的阈值0.7、0.4进行识别较优。通 过对比结果可知： 在9001 700 nm波段范围内， 完好枣、 裂 痕 枣 、 碰 伤 枣 都 可 以 完 全 识 别 ， 虫 眼 枣 采 用 （R1231/R1109）进行识别21。如图7所示，以碰伤枣识 别为例，对高光谱图像数据进行主成分分析优选特征波 长（1 025、1 109、1 312、1 449 nm） ，然后对特征波长 下的图像进行进行主成分分析，得到PC1-PC4图像。通 过对比分析，选择PC1图进行图像算法识别，经过掩模 （阈值设为0.2） 、取反、二值化（阈值设为0.4） 、连通 度分析，由于整个识别的过程尚处于试验阶段，目前还 是以缺陷部位是否出现白点为依据，进行人工识别。今 后可考虑开发算法进行机器自动识别。对于正常枣的识 别，则是以未出现白点为原则。 图 7 碰伤枣识别流程图 Fig.7 Flowchart plot of bruised jujubes recognition 2.5 外部缺陷与正常枣的识别结果 基于以上的研究， 对300个不同类型的长枣进行图7 的识别流程，结果如表2所示。 表 2 4 种类型长枣识别结果 Table 2 Recognition results of four types of jujubes 识别数 Identification number 识别率 Rate of identification/%类型 Type 数量 Number PCA PCA+BR PCA PCA+BR 完好 Intachtness 50 50 50 100 100 虫眼 Insect100 72 90 72 90 裂痕 Crack100 86 86 86 86 碰伤 Bruise50 50 50 100 100 合计 Total 300 272 276 90.7 92 注：PCA：采用特征波长主成分图进行识别；PCA+BR：对特征波长的主成 分图像未识别的缺陷样本，进行特征波长的波段比算法。 Note: PCA: Identification of principal components of feature wavelength ; PCA+BR: The characteristic wavelength of the principal component image is not recognized by the defect sample, which is characterized by the wavelength of the band ratio algorithm. 在NIR波段范围内，二值化的阈值设为0.7可以很 好的识别碰伤枣。 完好枣、 碰伤枣的PCA识别率达100%， 而虫眼枣、裂痕枣的PCA识别率仅为72%、86%；进一 步采用波段比（R1231/R1109）对虫眼枣进行识别，识别 率达90%，而裂痕枣波段比方法识别效果不显著。虫眼 与裂痕枣的未识别，导致被判定为正常枣。主要可能的 原因：由于有些裂痕缺陷面积过于小导致无法进行正 常识别；因为虫眼类型大小不一，从而导致无法进行 正常识别。 第 20 期 吴龙国等：基于高光谱成像技术的灵武长枣缺陷识别 285 3 结 论 本试验利用NIR高光谱成像技术对4种类型灵武长 枣进行研究， 结果表明： 在NIR波段， 选择完好枣 （1 028、 1 109、1 312、1 449 nm） 、虫眼枣（1 034、1 112、1 312、 1 449 nm） 、裂痕枣（1 031、1 112、1 225、1 312、1 392、 1 449、1 461 nm） 、碰伤枣（1 025、1 109、1 312、 1 449 nm）特征波段进行主成分分析，选择PC1图像进 行识别，识别率依次为100%、72%、86%、100%；为了 提高识别率，对未识别的虫眼枣、裂痕枣进一步采用波 段比算法，虫眼枣采用R1231/R1109进行识别，识别率 提高到90%，而裂痕枣无法进行识别。因此，四种类型 长枣总的识别率从90.7%提高到92%。综上所述，利用 BR算法可以有效的提高识别效果，今后可对该算法进一 步优化改进。 参 考 文 献 1 马本学，应义斌，饶秀勤，等. 高光谱成像在水果内部品 质无损检测中的研究进展J. 光谱学与光谱分析，2009， 29(6)：16111615. Ma Benxue, Ying Yibin, Rao Xiuqin, et al. Research of hyperspectral imaging in non-destructive measurement of fruit internal qualitiesJ. Spectroscopy and Spectral Analysis, 2009, 29(6): 16111615. (in Chinese with English abstract) 2 洪添胜，李震，吴春胤，等. 高光谱图像技术在水果品质 无损检测中的应用J. 农业工程学报，2007，23(11)： 280285. Hong Tiansheng, Li Zhen, Wu Chunyin, et al. Review of hyperspectral image technology for non-destructive inspection of fruit qualityJ. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2007, 23(11): 280285. (in Chinese with English abstract) 3 Nicola B, Ltze E, Peirs A, et al. Non-destructive measurement of bitter pit in apple fruit using nir hyperspectral imagingJ. Postharvest Biology and Technology, 2006, 40: 16. 4 Wang Shuang, Huang Min, Zhu Qibing. Model fusion for prediction of apple firmness using hyperspectral scattering imageJ. Computers and Electronics in Agriculture, 2012, 80: 17. 5 单佳佳，彭彦昆，王伟，等. 基于高光谱成像技术的苹果 内外品质同时检测J. 农业机械学报，2011，42(3)： 140144. Shan Jiajia, Peng Yankun, Wang Wei, et al. Simultaneous detection of external and internal quality parameters of apples using hyperspectral technologyJ. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(3): 140144. (in Chinese with English abstract) 6 Rajkumar P, Wang N, Eimasry G. Studies on banana fruit quality and maturity stages using hyperspectral imagingJ. Journal of Food Engineering, 2012, 108: 194200. 7 Anronietta B, Carmela T, Giorgio P, et al. Application of hyperspectral imaging for prediction of physico-chemical and sensory characteristics of table grapesJ. Computers and Electronics in Agriculture, 2012, 87: 142151. 8 Gabriel A, Leiva V, Lu Renfu, et al. Prediction of firmness and soluble solids content of blueberries using hyperspectral reflectance imagingJ. Journal of Food Engineering, 2013, 115(1): 9198. 9 薛龙，黎静，刘木华，等. 基于遗传算法的脐橙可溶性固 形物的可见/近红外光谱无损检测J. 激光与光电子学进 展，2010，47：15. Xue Long, Li Jing, Liu Muhua, et al. Non-destructive detection of soluble solids content on navel orange with Vis/ NIR based on genetic algorithmJ. Laser 2. School of Agriculture, Ningxia University, Yinchuan 750021, China) Abstract: Zizphus jujube Mill cv.Lingwu changzao, as one of characteristic agricultural products in Ningxia, is favored by the broad consumer for its high nutritional value. However, the external quality of long jujube will affect directly its sale and storage. In the traditional detection method, it has several disadvantages such as time-consuming, laborious and low efficiency, etc. Hyperspectral imaging technique has become an important trend to employ nondestructive testing of fruit quality, because it simultaneously has the merit of spectral technique and imaging technique. In order to study an effective method for quickly detecting common defects (bruise, insect-infested and cracks) on jujube fruits, the methods of principal component analysis (PCA) on the optimal wavelengths combined with band ratio (BR) were applied to identify the crack, insect and bruised jujubes. In the first place, a total of 300 samples were placed in 4 refrigerator storage, including a set of 100 defective jujubes with cracks; a set of 100 insect-infested jujubes with a hole greater than 0.1 mm in diameter on each of the selected jujubes surfaces; a set of 50 bruised jujubes, which are normal jujubes dropped from 1 m and with the region of injury marked; a set of 50 intact jujubes, were picked out by hand-picked the way to randomly and manually collect from three orchards in Lingwu, China during the harvest period of 2013. Before measuring, the samples were kept overnight at room temperature (23). Secondly, the hyperspectral images of jujubes in the spectral region 918-1 678 nm were acquired for 300 jujube samples. Region of interests (ROIs) as an average spectral of various jujubes were obtained and the wavelengths in the spectral region of near-infrared reflection were analyzed and combined with PCA method to determine feature wavelengths by weighted coefficient. Intact jujubes were selecting four optimal wavelength (1 028, 1 109, 1 312, 1 449 nm) , crack jujubes were selecting seven optimal wavelength (1 031, 1 112, 1 225, 1 312, 1 392, 1 449, 1 461 nm) , bruised crack jujubes were selecting four optimal wavelength (1 025, 1 109, 1 312, 1 449 nm) , and insect-infested jujubes were selecting four optimal wavelength (1 034, 1 112, 1 312, 1 449 nm). Compared to principal component images of full wavelength, the model of principal component images based on important wavelengths was the best to further studies. Then, the PCA method was performed again based on important wavelengths and the plot of PC-1 was used to classify bruised, insect-infested, cracked and intact jujube fruits. The classification rate of intact, insect-infested, cracked and bruised jujubes in