基于机器视觉的苹果识别和形状特征提取

1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. 2 0 0 9 年 8 月 农 业 机 械 学 报 第 40 卷 第 8 期基 于 机 器 视 觉 的 苹 果 识 别 和 形 状 特 征 提 取 3司 永 胜 1 ,2 乔 军 3 刘 刚 1 刘 兆 祥 1 高 瑞 1 (1. 中 国 农 业 大 学 现 代 精 细 农 业 系 统 集 成 研 究 教 育 部 重 点 实 验 室 , 北 京 100083 ;2. 河 北 农 业 大 学 信 息 科 学 与 技 术 学 院 , 保 定 071001 ; 3. 中 国 农 业 大 学 网 络 中 心 , 北 京 100083)【 摘 要 】 提 出 了 利 用 色 差 R - G 和 色 差 比 ( R - G) / ( G - B) 相 结 合 的 苹 果 识 别 方 法 。 在 顺 光 、 逆 光 等 不 同 情况 下 对 拍 摄 的 苹 果 图 像 进 行 了 识 别 ,并 对 识 别 后 的 图 像 进 行 消 除 噪 声 、 区 域 填 充 等 预 处 理 ,获 得 苹 果 的 轮 廓 图 像 。针 对 轮 廓 图 像 ,采 用 遗 传 算 法 进 行 形 状 特 征 提 取 。 采 取 多 次 运 行 遗 传 算 法 ,并 依 次 转 换 目 标 轮 廓 点 为 背 景 点 的 方法 ,处 理 果 实 图 像 邻 接 、 重 叠 问 题 。 实 验 结 果 表 明 :苹 果 识 别 方 法 在 一 定 程 度 上 消 除 了 阴 影 、 逆 光 、 土 壤 等 影 响 ,识别 率 达 97 %。 基 于 遗 传 算 法 的 形 状 特 征 提 取 方 法 ,可 对 邻 接 、 重 叠 图 像 进 行 有 效 分 割 ,快 速 、 准 确 地 实 现 苹 果 图 像圆 心 坐 标 和 半 径 的 提 取 。关 键 词 : 苹 果 机 器 视 觉 图 像 识 别 遗 传 算 法 特 征 提 取中 图 分 类 号 : TP24216 + 2 ; TP391141 文 献 标 识 码 : ARecognition and Shape Features Extraction of Apples Based on Machine VisionSi Yongsheng1 ,2 Qiao J un3 Liu Gang1 Liu Zhaoxiang1 Gao Rui1(1. Key L aboratory of M O E on Modern Precision A griculture System Integration Research , China A gricultural U niversity ,Beijing 100083 , China 2. College of Inf orm ation Science 否 则 ,认 为 该 搜 索 范 围 内 无 其他 果 实 ,选 择 下 一 区 域 ,从 步 骤 (2)开 始 执 行 。3 实 验 及 结 果3. 1 材 料图 像 处 理 系 统 由 北 京 微 视 公 司 的 一 台 CMOS彩 色 摄 像 机 (型 号 MVC1000SAC - GE30) 和 一 台PC 机 (配 置 为 主 频 212 GHz、 内 存 1 GB)组 成 。 实 验所 用 图 像 在 北 京 市 兴 寿 果 园 采 集 ,苹 果 品 种 为 红 富士 ,不 同 天 气 情 况 下 采 集 顺 光 、 逆 光 图 像 共 113 幅 ,共 含 苹 果 总 数 695 个 ,图 像 格 式 为 bmp ,不 同 情 况 下的 图 像 数 量 如 表 2 所 示 。 图 像 软 件 处 理 系 统 采 用Matlab R2008a 和 Visual C + + 610。表 2 苹 果 图 像 识 别 结 果Tab. 2 Results of recognition in apple images图 像晴 天 拍 摄顺 光 逆 光阴 天 拍 摄含 土 壤 图 像 15 10 19不 含 土 壤 图 像 27 22 20共 含 苹 果 数 272 182 241误 识 别 苹 果 数 0 21 03. 2 结 果在 Matlab R2008a 编 程 环 境 下 ,对 所 采 集 图 像利 用 色 差 R - G 和 色 差 比 ( R - G) / ( G - B ) 相 结合 的 方 法 进 行 了 果 实 与 背 景 的 分 割 及 图 像 预 处 理 ,成 功 识 别 苹 果 674 个 ,成 功 率 97 % ,具 体 识 别 结 果如 表 2 所 示 。在 Visual C + + 610 编 程 环 境 下 ,对 图 3b 中 轮廓 图 像 A 进 行 基 于 GA 的 圆 心 、 半 径 提 取 ,其 中 GA参 数 选 择 为 :种 群 规 模 为 50 ,进 化 代 数 为 60 ,交 叉 率上 、 下 限 分 别 为 012 和 011 ,变 异 率 上 、 下 限 分 别 为0102 和 0101 ,适 应 度 函 数 调 整 系 数 k 为 10。 图 4为 求 解 圆 心 的 进 化 过 程 。对 图 3b 中 其 他 轮 廓 图 像 采 用 同 样 办 法 求 出 圆心 、 半 径 ,进 行 圆 拟 合 ,拟 合 效 果 如 图 3e 所 示 。分 别 采 用 Hough 变 换 ( HT) 、 随 机 Hough 变 换461 农 业 机 械 学 报 2 0 0 9 年 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. 图 4 适 应 度 曲 线Fig. 4 Fitness curve(RHT)和 遗 传 算 法 ( GA) 对 图 3b 中 A、 B 两 个 边 缘图 像 进 行 了 圆 提 取 ,其 中 搜 索 范 围 为 将 外 接 矩 形 向外 扩 展 ,扩 展 到 128 128 像 素 , GA 交 叉 率 、 变 异 率的 设 置 同 上 ,终 止 条 件 为 最 大 进 化 代 数 50。 表 3 为不 同 方 法 的 检 测 结 果 , x 、 y、 r 分 别 是 提 取 出 的 圆 心横 、 纵 坐 标 和 半 径 , t 是 提 取 过 程 所 用 时 间 。表 3 不 同 方 法 圆 提 取 结 果Tab. 3 Results of circle extraction by different methods算 法边 缘 图 像 A 边 缘 图 像 Bx y r t/ s x y r t/ sHT 65 53 42 2152 75 145 41 2124RHT 64 53 41 0181 74 146 40 0173GA 65 53 42 0111 75 146 41 01123. 3 讨 论从 图 2 可 以 看 出 ,在 顺 光 、 逆 光 不 同 情 况 下 ,色差 与 色 差 比 相 结 合 的 苹 果 识 别 算 法 能 够 在 一 定 程 度上 克 服 阴 影 、 裸 露 土 壤 、 逆 光 等 因 素 的 影 响 。 通 过 对113 幅 图 像 的 识 别 实 验 表 明 ,识 别 效 果 较 好 ,识 别 率较 高 。 分 析 其 他 识 别 效 果 较 差 的 图 像 ,产 生 误 识 别的 共 同 原 因 是 逆 光 同 时 光 线 较 暗 。进 化 曲 线 显 示 了 种 群 的 进 化 情 况 ,其 中 ,最 大 适应 度 曲 线 在 13 代 以 后 达 到 最 大 值 ,继 续 迭 代 无 变化 ,可 视 为 已 找 到 最 优 解 。通 过 表 3 中 3 种 算 法 的 对 比 ,所 提 取 的 圆 心 、 半径 差 别 不 大 ,都 可 以 较 准 确 进 行 圆 提 取 ,但 所 需 时 间差 别 很 大 。 HT 所 需 时 间 是 GA 所 需 时 间 的 20 倍 左右 ,RHT 所 需 时 间 是 GA 所 需 时 间 的 7 8 倍 ,表 明GA 法 在 保 证 精 度 的 同 时 ,具 有 较 大 的 速 度 优 势 。从 图 3e 中 重 叠 果 实 图 像 的 拟 合 效 果 可 看 出 ,采用 多 次 运 行 GA ,并 逐 次 消 去 识 别 目 标 轮 廓 的 方 法可 以 较 好 解 决 果 实 图 像 邻 接 、 重 叠 情 况 下 的 形 状 特征 提 取 问 题 。 从 图 3e 中 对 图 3c 区 域 3、 4 中 的 轮 廓图 像 拟 合 结 果 可 看 出 ,对 于 遮 挡 果 实 轮 廓 接 近 整 个边 缘 1/ 2 或 略 超 出 1/ 2 时 ,采 用 GA 仍 可 较 好 地 恢复 原 果 实 轮 廓 。分 析 拟 合 效 果 较 差 的 苹 果 图 像 ,主 要 原 因 有 : 苹 果 形 状 与 标 准 圆 形 相 差 较 大 。 由 于 遮 挡 ,果实 图 像 被 分 割 为 几 个 部 分 ,算 法 将 每 一 部 分 作 为 一个 苹 果 处 理 。 果 实 边 缘 被 遮 挡 过 多 。4 结 论(1)采 用 R - G 和 色 差 比 ( R - G) / ( G - B ) 相结 合 的 方 法 ,对 顺 光 、 逆 光 等 不 同 情 况 下 的 红 色 苹 果进 行 了 识 别 。 实 验 结 果 表 明 ,该 方 法 可 以 一 定 程 度上 消 除 光 线 、 土 壤 等 影 响 ,识 别 率 达 到 97 % ,但 算 法在 逆 光 同 时 光 线 较 暗 情 况 下 识 别 效 果 较 差 。(2) 采 用 多 次 运 行 GA ,并 依 次 转 换 目 标 轮 廓 点为 背 景 点 的 方 法 ,能 够 较 好 解 决 果 实 图 像 邻 接 、 重 叠情 况 下 的 形 状 特 征 提 取 问 题 。(3)在 果 实 轮 廓 图 像 接 近 或 大 于 整 体 轮 廓 1/ 2时 ,采 用 本 文 提 出 的 基 于 GA 的 果 实 形 状 特 征 提 取算 法 ,可 以 快 速 、 准 确 地 提 取 果 实 的 圆 心 坐 标 和 半径 。参 考 文 献1 Stajnko D , Lakotaa M , Hocevarb M. Estimation of number and diameter of apple fruits in an orchard during the growingseason by thermal imagingJ . Computers and Electronics in Agriculture , 2004 ,42 (1) :31 42.2 王 津 京 ,赵 德 安 ,姬 伟 ,等 . 采 摘 机 器 人 基 于 支 持 向 量 机 苹 果 识 别 方 法 J . 农 业 机 械 学 报 ,2009 ,40 (1) :148 151 ,147.Wang Jinjing ,Zhao Dean ,Ji Wei ,et al. Apple fruit recognition based on support vector machine using in harvesting robot J .Transactions of the Chinese Society for Agricultural Machinery , 2009 ,40 (1) :148 151 ,147. (in Chinese)3 谢 志 勇 ,张 铁 中 ,赵 金 英 . 基 于 Hough 变 换 的 成 熟 草 莓 识 别 技 术 J . 农 业 机 械 学 报 ,2007 ,38 (3) :106 109.Xie Zhiyong ,Zhang Tiezhong ,Zhao Jinying. Ripened strawberry recognition based on Hough transformJ . Transactions ofthe Chinese Society for Agricultural Machinery , 2007 ,38 (3) :106 109. (in Chinese)4 尹 建 军 ,毛 罕 平 ,等 . 不 同 生 长 状 态 下 多 目 标 番 茄 图 像 的 自 动 分 割 方 法 J . 农 业 工 程 学 报 , 2006 ,22 (10) :149 153.Yin Jianjun , Mao Hanping , et al. Automatic segmentation method for multi2tomato images under various growth conditionsJ . Transactions of the CSAE , 2006 ,22 (10) :149 153. (in Chinese)5 赵 晓 霞 . 桃 子 果 实 图 像 算 法 研 究 D . 北 京 : 中 国 农 业 大 学 ,2008.Zhao Xiaoxia. Study on the fruits recognition algorithm for peach picking robots D . Beijing : China AgriculturalUniversity , 2008. (in Chinese) (下 转 第 73 页 )561第 8 期 司 永 胜 等 : 基 于 机 器 视 觉 的 苹 果 识 别 和 形 状 特 征 提 取 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. 2 缴 锡 云 ,王 文 焰 ,张 建 丰 . 单 点 膜 孔 入 渗 特 性 的 试 验 研 究 J . 水 利 学 报 ,1999 ,30 (7) :33 39.Jiao Xiyun ,Wang Wenyan ,Zhang Jianfeng. Experimental research on infiltration from single hole of membraneJ .Journal ofHydraulic Engineering ,1999 ,30 (7) :33 39. (in Chinese)3 吴 军 虎 ,费 良 军 ,王 文 焰 . 膜 孔 灌 溉 单 孔 入 渗 特 性 研 究 J . 水 科 学 进 展 ,2001 ,12 (3) :307 311.Wu J unhu ,Fei Liangjun ,Wang Wenyan. Study on the infiltration characteristics of single filmed hole and its mathematicalmodel under filmed hole irrigationJ . Advances in Water Science ,2001 ,12 (3) :307 311. (in Chinese)4 王 文 焰 ,谭 奇 林 ,缴 锡 云 ,等 . 膜 孔 灌 溉 点 源 入 渗 模 型 的 建 立 与 验 证 J . 水 科 学 进 展 ,2001 ,12 (3) :300 305.Wang Wenyan , Tan Qilin ,Jiao Xiyun ,et al. Establishment and verification of the point source infiltration model for thefilmed hole irrigationJ . Advances in Water Science ,2001 ,12 (3) :300 305. (in Chinese)5 费 良 军 ,谭 奇 林 ,王 文 焰 ,等 . 充 分 供 水 条 件 下 多 因 子 点 源 入 渗 模 型 研 究 J . 西 安 理 工 大 学 学 报 ,2000 ,16 (1) :19 22.Fei Liangjun , Tan Qilin , Wang Wenyan ,et al. Study on point source infiltration model under adequate water supply J .Journal of Xi an University of Technology ,2000 ,16 (1) :19 22. (in Chinese)6 费 良 军 ,李 发 文 . 膜 孔 灌 单 向 交 汇 入 渗 数 学 模 型 研 究 J . 农 业 工 程 学 报 ,2003 ,19 (3) :68 71.Fei Liangjun ,Li Fawen. Mathematical models of single2line interference infiltration from film holesJ . Transactions of theChinese Society of Agricultural Engineering ,2003 ,19 (3) :68 71. (in Chinese)7 费 良 军 ,朱 兴 华 ,吴 军 虎 . 膜 孔 灌 多 向 交 汇 入 渗 减 渗 特 性 和 数 学 模 型 研 究 J . 水 利 学 报 ,2006 ,37 (1) :104 108.Fei Liangjun , Zhu Xinghua , Wu J unhu. Infiltration reduction effect and mathematical model of bilateral interferenceinfiltration in film hole irrigationJ .Journal of Hydraulic Engineering ,2006 ,37 (1) :104 108. (in Chinese)8 虎 胆 吐 马 尔 白 ,木 拉 提 . 沟 底 膜 孔 灌 水 条 件 下 土 壤 水 入 渗 规 律 的 数 值 模 拟 J . 水 科 学 进 展 ,2002 ,13 (1) :69 73.Hudan Tumarbay , Murat. Numerical simulation of soil water movement under condition of film hole irrigationJ . Advancesin Water Science , 2002 ,13 (1) :69 73. (in Chinese)9 范 严 伟 ,马 孝 义 ,王 波 雷 ,等 .膜 孔 灌 土 壤 湿 润 体 水 分 分 布 与 入 渗 特 性 数 值 模 拟 J .农 业 机 械 学 报 ,2008 ,39 (11) :35 41.Fan Yanwei , Ma Xiaoyi , Wang Bolei , et al. Numerical simulation of soil wetting pattern moisture distribution andinfiltration characteristics for film hole irrigationJ . Transactions of the Chinese Society for Agricultural Machinery ,2008 ,39 (11) :35 41. (in Chinese)10 李 娟 . 重 力 式 地 下 滴 灌 点 源 入 渗 特 征 的 数 值 模 拟 D . 杨 凌 :西 北 农 林 科 技 大 学 ,2007.Li J uan. Numerical simulation of point source infiltration under gravity subsurface drip irrigationD . Yangling : NorthwestA & F University , 2007. (in Chinese)11 van Genuchten M Th ,Leij F J , Yates S R. The RETC code for quantifying the hydraulic functions of unsaturated soils M .California :U. S. Salinity Laboratory ,1999.12 李 发 文 ,张 行 南 ,费 良 军 . 膜 孔 多 向 交 汇 入 渗 影 响 因 素 试 验 研 究 J . 灌 溉 排 水 学 报 ,2003 ,22 (3) :44 47.Li Fawen , Zhang Xingnan , Fei Liangjun. Experimental study on influential factors in film hole bilateral interferenceinfiltrationJ . Journal of Irrigation and Drainage ,2003 ,22 (3) :44 47. (in Chinese)(上 接 第 165 页 )6 蔡 健 荣 ,周 小 军 ,李 玉 良 ,等 . 基 于 机 器 视 觉 自 然 场 景 下 成 熟 柑 橘 识 别 J . 农 业 工 程 学 报 ,2008 ,24 (1) :175 178.Cai Jianrong , Zhou Xiaojun , Li Yuliang , et al. Recognition of mature oranges in natural scene based on machine visionJ .Transactions of the CSAE , 2008 , 2