脐橙外部品质计算机视觉检测技术初步研究.pdf

中国农业科技导报 2 0 0 8 1 0 4 1 0 0 1 0 4 J o u r n a l o f Ag dc u l t u r al S c i e n c e a n d T e c h n o l o g y 脐橙外部品质计算机视觉检测技术初步研 究 刘国敏 邹 猛 刘木华 黎 静 1 江西农业大学工学院 南昌 3 3 0 045 2 吉林大学地面机械仿生技术教育部重点实验室 长春 1 3 0 0 2 5 摘要 根据脐橙图像的特点和分级标准 运用计算机视觉和神经网络算法对脐橙进行 自动检测与分级 采 用中值滤波和线性低通滤波技术对原始脐橙图像进行平滑 去噪 在对脐橙图像像素点颜色信息统计的基础 上 通过设置蓝色分量 色调 饱和度的阈值 从图像中快速准确的分割出果实图像 确定果实横径 果形 表 面缺陷率 色泽与着色率为脐橙外部品质分级的特征参数 通过 B P神经网络建立了特征参数与脐橙等级之 间的关系模型 试验结果表明 其预测准确率达到8 5 关键词 计算机视觉 脐橙 特征参数 B P神经网络 中图分类号 3 7 T P 3 9 1 4 1 文献标识码 A 文章编号 1 0 0 8 0 8 6 4 2 0 0 8 0 4 01 0 0 05 Pi l o t S t ud i e s o n Co mpu t e r Vi s i o n Te c h ni q ue f o r Te s t i ng E x t e r i o r Qu a l i t y o f Na v e l Or a n g e L I U Gu o rai n Z OU Me n g L I U Mu h u a L I J i n g 1 C o l l e g e o f E n g i n e e ri n g a n d T e c h n o l o g y J i a n g x i A g r i c u l t r a l U n i v e r s i t y N a n c h a n g 3 3 0 0 4 5 2 K e y L a b o r a t o r y f o r T e r r a i n Ma c h i n e B i o n i c s E n g i n e e ri n g Mi n i s t ry o f E d u c a t i o n J i l i n Un iv e rsi t y C h a n g c h u n 1 3 0 0 2 5 C h i n a Abs t r a c t Ac c o r di n g t o i ma g e c ha r a c t e ris t i c s a n d c l a s s i fic a t i o n s t a n d ards o f n a v e l o r a ng e c o mp u t e r v i s i on a n d p a t t e r n r e c o g n i t i o n t e c hn o l o g y wa s u s e d t o r e ali z e a ut o ma t i c d e t e c t i o n a nd c l as s i fic a t i o n Th e o rig i n al i ma g e wa s di s po s e d f a s t a nd s mo o t h l y b y me d i a n fil t e rin g a n d l i ne ar l o w p a s s i ng fil t e ring Ba s e d o n t h e s t a t i s t i c al t r e a t me n t o f p i c t u r e e l e me n t c o l o r i n f o r ma t i o n o f t h e n a v e l o r a n g e i ma g e t h e f r u i t i ma g e w a s e ff e c t i v e l y wi p e d o ff b y s e t t i n g u p t h e v a l u e s o f B b l u e H h u e a n d S s a t u r a t i o n T h e p a r a me t e r s o f d i a m e t e r s h a p e s u r f a c e d e f e c t s c o l o r a n d p i g m e n t a t i o n r a t i o we r e e x t r a c t e d a c c o r d i n g t o g r a di ng s t a n da r ds Th e mo de l r e f e r r i ng t he r e l a t i o n b e t we e n c h ara c t e r para me t e r s a n d n a v e l o r a n g e gra d i n g w a s s e t u p b y B P n e u r al n e t w o r k T h e r e s u l t s s h o w e d t h a t t h e f o r e c a s t i n g n i c e t y c o uld r e a c h 8 5 Ke y wo r ds c o mpu t e r v i s i o n na v e l o r a n g e c ha r a c t e r p a r a me t e r BP ne u r a l n e t wo r k 随着脐 橙 的热销 和人们 生活质量 的不 断提 高 消费者在选购脐橙 时除了注重内部 品质 如 糖酸度 和内部营养物质 如维生素含量 等指标 夕 对水果 的大小 颜色 外观形状等外部 品质也 极为看重 因此研究基于脐橙光学特 I生的品质无 损检测与分级技术将有很大的发展前景 近年来 国内外学者对水果 内 外品质 的检测 技术进行 了相应研究 4 C r o w e等 利用柑橘 可见光区域和近红外区域的狭窄波段 的反射率 进行颜色评估 和 缺陷检测 S t e i n m e t z等 利 用 彩色摄像机及分光光度计合并的方法在线预测 了 苹果的含糖量 应义斌等 利用柑橘 的近红外 反射光谱进行 了其品质分级技术 的研究 刘木华 等 川 建立 了对脐橙表面农药残 留和脐橙糖度 的 计算机视觉检测方法 刘燕德等 利用近红外 漫反射光谱对赣南脐橙可溶性固形物检测技术进 行 了研究 本研究 以赣南脐橙为研究对象 采用计算机 视觉技术和神经 网络算法 建立 了脐橙 图像颜色 特征量与脐橙外 部品质等级之 间的关系模 型 从 而实现了对脐橙 外部 品质 的 自动分级 为进一步 开发具有市场前景的脐橙外部品质检测 系统提供 收稿 日期 2 0 0 8 0 1 09 修 回 日期 2 0 0 8 06 2 6 基金项 目 国家 自然科学基 金项 目 3 0 4 6 0 0 5 9 资助 作者简介 刘 国敏 讲师 博 士研究生 研究方 向为仿生工程及农产 品检测 E m a i l l g m9 5 1 1 6 3 e o m 通 讯作者 刘木华 教授 博 士 主要从事农 产品无损检测研究 E ma i l s u i k e l mh s o h u e o m 维普资讯 4期 刘国敏等 脐橙外部品质计算机视觉检测技术初步研究 1 01 了研究方法和基础数据 1 试验材 料与装置 1 1 试验 材 料 以江西省赣南 地 区的纽荷 尔脐橙 为研究 对 象 先 由研究人员对 2 0 0个脐橙按照脐橙质量分 级标准即 D B 3 6 赣南脐橙无公 害果品质量标准 进行人工分级 分别为 特级 一级 二级 三级和 级外果 每个等级 的脐橙为 4 0个 1 2 试验 装 置 脐橙分级系统分 为硬件 和软件两部分 软件 部分是应用 V i s u a l C 6 0编写而成 主要 由图 像输入输出 图像预处理 图像分割 特征提取 模 式识别 结果显示等六大模块组成 分级系统硬件结构 如图 1所示 主要完成 对 样本 的数据采集 传输并对其进行 处理 的工作 由 G C 一 7 5 5 N P系列摄像机 I 系列 S u p e r Q u a r d型 4通道实时图像采集卡 彩色监视器 光照箱及计 算机等硬件 组成 光照箱选用正方形箱体 尺寸 为 5 0 0 i n lq q 5 0 0 i n lq q 5 0 0 i n lq q 上端 面中问开一 个孑 L 用于装置摄像机 箱 内壁全部涂上无 闪烁 白纸 这样可形成均匀一致的白色背景 9 图 1 脐橙 分级系统 Fi g 1 Na v e l o r a n g e g r a di ng s y s t e m 1 脐橙样本 2 光照 箱 3 摄像 机 4 计 算 机 5 图像采 集 卡 6 监视器 7 打印机 8 滚轴 9 电动机 1 S a mp l e s 2 B o x o f i l l u mi n a t i o n 3 Vi d i c o n 4 C o mp u t e r 5 Da t a a c q u i s i t io n c a r d 6 Mo n i t o r 7 P r i n t e r 8 Ro l l e r 9 El e c t r o m o t o r 1 3脐橙图像预处理 脐橙原始图像为 2 4位真彩色图像 分辨率为 7 6 8 5 7 6 标定后 可知每个像 素 的大小为0 1 2 4 m m 脐橙原始图像是 由背景 脐橙 表面缺陷 果梗几个部分组成 为了准确有效地提取脐橙图 像的特征参数 提高检测的准确度和速度 对原始 图像进行 了平滑 去噪 背景去除等预处理 采用 线性低通滤波和 3 3中值滤波法对原始图像进 行 了快速平滑处理 采用阈值分割算法对图像中 的背景进行分割 采集 的脐橙图像为 2 4位真彩色 在去除背景 时为 了不把脐橙 各 种缺陷 果 蒂等误判为背景 在对脐橙图像信息统计分析的基础上 设置 B 蓝 色分量 H 色调 S 饱和度 的阈值如下所示 0 i J T T采用迭代法求得 0 S 430 S 0 饱和度 I厂 Y B 1 2 0 H0 4 原始图像经分割 滤波后的图像如图 2 3 一 图 2 脐橙 图像 预处理 Fi g 2 P r e t r e a t me n t f or t he o r i g i na l i ma g e o f n a v e l o r a n g e a 脐橙原始 图像 b 预处 理后 图像 1 背景 2 脐橙 3 表面缺陷 a Or i g i n a l i ma g e b I ma g e o f p r e t r e a t me n t 1 Ba c k g r o u n d 2 Na v e l o r a n g e 3 F l a w o n s u r f a c e 2 脐橙图像特征参数提取 2 1特征参数 按照 赣南脐橙无公害果品质量标准 研究 选取果实横径 果形 表面缺陷 色泽 着色率为脐 橙图像特征参数 2 2果实横径的提取 果实横径是指果实最大横断面 的直径 它反 映的是 区域 的几何特性 仅与区域的像素点有关 与颜色信息无关 因此该特 征参数 的提取可在去 除背景的真彩色图像上进行 提取脐橙果实横径 就是计算 出脐橙在垂直方 向的尺寸 如图 3所示 即图中脐橙在垂直方 向的最大和最小行号差 维普资讯 1 0 2 中 国 农 业 科 技 导 报 图 3 数 字图像 示意图 Fi g 3 Di g i t a l i ma g e s k e t c h ma p 2 3 果形特征参数的提取 本研究采用形状指数 即复杂度来描述脐橙 的形状特征 形状指数 F可由式 2 计算 2 F 2 式 中 P为脐橙 区域的周长 4为脐橙 区域的面积 采用数字图像处理中顺 逆 向扫描 的方法获 取脐橙图像 中脐橙边界点的数 目作为周长 同时 为 了减少数字化图形特有的误差 对垂直 水平方 向倾斜 4 5度的方向上增大 倍校正 面积 A是 指脐橙区域的面积 可 以通过计算脐橙 图像 中脐 橙的像素总数乘以每个像素所代表的实际面积来 求得 即 A T X 0 3 式 中 T为图像 中脐橙 的部 分像 素 总数 为像 素 实 际 面 积 2 4脐橙缺 陷判别 果实缺 陷是指果 实在生长发 育和采摘 过程 中 受物理机械作用 和化学作用使果实造成影响 美观甚至致使果实腐烂 的伤害 脐橙缺陷的颜色 差别 比较明显 成熟的脐橙为橙红或橙黄色 而缺 陷颜色种类较多 有灰色 黑灰 色 暗红色等 本 研究采用对 2 4位真彩色图像进行直接处理 分析 缺陷 果蒂 未成熟脐橙在 R G B和 H I S颜 色系统 下所显现出来的特性 然后通过统计学方 法对缺 陷进行判断 取 3 0 0幅脐橙 图像 统计得出脐橙 R G B分 布范 围 经 颜色 系统转换 后统计 出脐 橙 图像 H 色调 S 饱和度 和 I 亮度 的分布范 围 如表 1所示 表 1 脐橙 T a b l e 1 Co l o r d i s t r i b R范围 G范 围B范 围 Ra ng e Ra n g e Ra n g e 0 f R 0 f G 0 f B 对于有缺陷的脐橙匿 扫描整幅图像中的每个 的 R G B H S I 值 当 的脐橙颜色分布时 判定 值不改变 对于不符合脐 像素的 R G B值 为 2 5 果如 图4所示 最后 计 表面缺陷占果体总表面 图 4脐橙匿 Fi g 4 Fl a w i de n t i f i c a 原始 图像 b 识别后的图像 a Or i g i n a l i ma g e b I ma g e a f t e r 3 5色泽与着色率 脐橙色泽与着色率 部品质的重要指标 其 均匀程度 而着色率则反 占整个脐橙面积的百分 计数据分析后得出 着色 未完全成熟 色泽一般的J 波动 如未成熟 的脐橙 的 变小 但如果只使用一币 描述色泽与着色率 因为 时会因为缺陷 果梗 太 这时便不能如实反映脐桎 究同时采用 R G B和 HI S 脐橙 的颜色特征 在描述色泽与着色聋 别为平均数和标准差 即 像素 H s R G B的平蜷 维普资讯 4期 刘国敏等 脐橙外部品质计算机视觉检测技术初步研究 1 O 3 差来描述色泽 先将脐橙 图像每 一个像素 点的 R G B值转换成 H I S值 并统计 出图像 中脐橙 的 H s R G B的平均值 和标准差 如表 2所示 最后 通过神经 网络算法建立 H s R G B的平 均值和标准差与着色率和色泽之间的关 系模 型 并通过分级软件进行分级 其准确率可分别达到 9 0 和 9 2 其 中 色泽被分 为两个 等级 一 级 为色泽均匀 另一级为色泽较好 着色率被分为四 个等级 分别为 9 0 以上 8 5 以上 8 0 以上和 8 O 以下 表 2 脐橙 图像颜 色统计信息 Ta b l e 2 Co l o r s t a t i s t i c s i n f o r ma t i o n o f na v e l o r a n g e i ma g e 3 建立脐橙分 级模 型 3 1 脐橙分级的 B P神经网络结构 本研究采用 N e u r o S h e l l 2软件 中的 B P神经网 络来建立脐橙等级与特征参数之间的关系模型 图 5果实特征参数提取结 果 Fi g 5 D i s t i l l i n g r e s u l t s o f c h a r a c t e r p a r a me t e r 选择 1 0 0个脐橙样本 图像 通过分级软件 提 取其特征参数 即果实横径 果形 表面缺陷 色泽 和着色率 并将这些参数作为神经网络的输人矩 阵 见 图5 由实验员对 1 0 0个样本脐橙进行人 工评定等级 每个 等级 2 0个脐橙 作为神经 网 络的输出矩 阵 通 过反复 比较筛选 研究最后选 择具有 3个隐含层的 B P网络结构来建立关系模 型 网络结构如图 6所示 y 输入层 隐含层 输出层 I n p ut l a y e r Hi d d e n l a y e r Ou t pu t l a ye r 图 6 B P网络 结构 图 F i g 6 BP n e t wo r k a r c h i t e c t u r e s 该 B P网络输入层有 5个 输入单元 分别对 应脐橙 的 5个特征参数 即脐橙 的横径 果形 表 面缺陷 色泽和着色率 隐含层 为三层 每层 由 4 个非线性单元组成 共 1 2个非 线性单元 隐含层 的传 递 函 数 分 别 为 l o g i s t i c h G a u s s i a n c o mp和 G a u s s i a n函数 输 出层 由一个 输 出单元组成 表 示为脐橙等级 输入 1 0 0组样本脐橙图像特征参数值进行训 练 网络收敛很快 达到误 差 目标 其剩余平方和 为 0 9 7 相 关 系数 r为 0 9 8 平 均误 差 为 1 3 8 6 最小误差 E ra i n 为 0 0 0 3 最大误差 为 3 6 由模 型分级的统计结果如表 3所示 由表 3可知 通过模 型识别脐 橙的平 均准确 率为 8 5 另 外 该实 验 中特级 果 的识别 率偏 低 可能是在图像处理的过程中 噪声没有被完全 滤掉等原因使得阈值分割后表面缺陷特征参数的 提取不正确 或多或少会产生一些 微小的表 面缺 陷 而标准 中规定特级果的表面缺陷为零 从而导 致把这些样本识别为一级果 表 3 实验统计 结果 Ta b l e 3 Exp e r i me n t a l s t a t i s t i c s 人 工 模 型分级 C l a s s i fi c a t i o n b y m o d e l o f B P 分级 两 二 j 西 甄歹 F 啊 Ma nu a l S p e c i a l F i r s t Se c on d Th i r d Of f F o r e c a s t i n g c l a s s mc a t i o nc l a s s c l a s s c l a s s c l a s s g r a d e n i c e t y 维普资讯 1 0 4 中 国 农 业 科 技 导 报 1 0卷 4 讨论 本研究选取果实横径 果形 缺 陷面积 色泽 与着色率作 为脐橙 分级 的特征参数 并利 用 B P 神经网络建立了脐橙特征参数与脐橙等级之间的 关系模型 并通过实验验证 最终的分级准确率可 达到 8 5 初步研究结果表 明 该方法检测脐橙外部 品 质可行 但在果实横径 的提取 缺陷和果蒂识别 以 及果形特征提取过程 中仍存在 一定误差和误判 需要进一步研究与改进 2 3 参考文献 吴富宁 杨子彪 朱 虹 等 基于颜色特征进行农作物图像 分类识别 的应用研究综述 J 中国农业科技 导报 2 0 0 3 5 2 7 6 8 0 王桂琴 杨 子彪 郑 丽敏 等 计 算机视 觉在 农产 品检测 中 的应用 J 中国农 业科技导报 2 0 0 3 5 3 5 2 5 6 徐 娟 汪懋华 图像形 态学在苹果 自动分级视 觉信息处 理 中果梗判 别 与边 缘 检 测 中 的应 用 J 农业 工 程 学 报 1 9 9 9 1 5 2 1 7 7 1 8 0 4 S h i mi z u H He i n s R D C o m p ee r v i s i o n b a s e d s y s t e m f o r p l a n t g r o w t h a n a l y s i s J T r a n s o f AS A E 1 9 9 5 3 8 3 9 5 9 9 6 4 5 C r o w e T G D e l wi c h e M J R e al t i m e d e f e c t d e t e c t i o n o n f r u i t p a r t I I a n alg o ri t h m and p e rf o r ma n c e of p r o t o t y p e s y s t e m J Tr an s a c t i o n s of Ame ric a n S o c i e t y o f A c u l t u r a l E n g i n e e r s 1 9 9 6 3 9 6 2 2 9 9 2 3 0 8 6 S t e i n me t z Z R o g e r J M E M o l t oH e t a 1 O n l i n e f u s i o nof c o l o u r c a me r a an d s p e c t r o p h o t o me t e r f o r s u g a r c o n t e n t p r e d i c t i o n of a p p l e s J J o u r n al o f A c u l t u r al E I n e e ri n g R e s e a r c h 1 9 9 9 7 3 2 2 0 7 2 1 6 6 应义斌 饶秀勤 马俊福 柑橘 成熟度机 器视觉无 损检测 方 法研究 J 农业工程学报 2 0 0 4 2 0 2 1 4 4 1 4 7 7 应义斌 饶秀勤 赵 匀 等 机 器视觉技 术在农 产品 品质 自 动识别 中 的应 用 J 农 业 工 程 学 报 2 0 0 0 1 6 1 1 0 3 1 0 8 8 刘木华 程仁 发 林 怀蔚 等 脐橙糖 度光谱 图像 检测 技术 研究 J 江西农业 大学学报 2 0