（机械设计及理论专业论文）温室搬运机器人视觉导航路径识别与模糊控制策略研究.pdf

江苏大学硕士学位论文 摘要 温室是高度集约化管理的生产系统 劳动强度大 消耗劳动力多 需要专业化 的作业机械 日常管理和收获阶段都涉及到搬运工作 搬运工程尤其消耗劳动力 基于视觉导航的温室搬运机器人有着广阔的应用前景 本论文以江苏大学农业工程 研究院的智能搬运小车为实验平台 在江苏大学试验温室内以温室番茄采摘搬运为 应用方向 对温室搬运机器人视觉导航基准线的提取和控制策略进行了研究 主要 研究工作为 在温室搬运机器人视觉导航参数的提取方面 选取i m a qv is i o n 和l a b v i e w 作 为视觉软件开发平台 选取江苏大学试验温室作为试验场地 构建了温室搬运机器 人软硬件系统 针对所采集的图像颜色特征 利用敏感区域r o i 窗口和图像边缘检测法实现了 导航基准线的提取 试验从天气条件和加热管被遮挡率两个因素角度进行分析 其 中 在多云天气和正对光晴天天气情况下的视觉导航基准线识别率为9 0 正确提 取出视觉导航基准线的识别率均为6 0 在阴天天气和逆光晴天天气情况下的视觉 导航基准线识别率为1 0 0 在阴天天气情况下的正确识别率为5 0 在逆光晴天天 气情况下的正确识别率为6 0 加热管被遮挡率在 2 0 4 0 和 4 0 6 0 区间范围 内的处理效果最好 在加热管被遮挡率 0 2 0 和 6 0 1 0 0 区间范围内的导航基 准线精度误差有所增大 试验表明 提出的导航基准线算法具有适用性 平均每幅 图像的处理时间小于7 0 m s 能够满足导航实时性要求 应用传统两步法建立了摄像机标定模型 利用最小二乘法求解摄像机内外参数 方程组 并对标定误差进行了初步研究 所得偏差较小 能满足导航需要 针对其运行环境的不确定性和难以建立精确的车体本身动力性能数学模型 应 用模糊控制技术 对控制策略进行研究 设计了基于视觉导航的模糊控制器并进行 了分析研究 结果表明当实际位姿和设定位姿偏差比较小时 可以采用较小的反方 向纠偏量使其尽快回复到设定位姿附近 当实际位姿和设定位姿偏差比较大时 可 以采用较大的反方向纠偏量使其尽快回复到设定位姿附近的经验是一致的 所设计 的模糊控制器适用于导航控制策略 关键词 搬运机器人视觉导航图象处理温室模糊控制 江苏大学硕士学位论文 a b s t r a c t g r e e n h o u s ei sah i g m yi n t e n s i v ep r o d u c t i o ns y s t e m sm a n a g e m e n t l a b o ri n t e n s i t y l a b o ra n dm o r ec o n s u m p t i o n n e e ds p e c i a l i z e de x e r c i s em a c h i n e s d a i l ym a n a g e m e n ta n d h a r v e s t i n gs t a g e so ft h ew o r ki n v o l v e di nh a n d l i n g t r a n s p o r tp r o j e c t si np a r t i c a d a r c o n s u m p t i o no fl a b o r t r a n s p o r t a t i o n b a s e dg r e e n h o u s er o b o tv i s i o nn a v i g a t i o nh a sb r o a d a p p l i c a t i o np r o s p e c t s i nt h i sp a p e r i n s t i t u t eo fa g r i c u l t u r a le n g i n e e r i n g j i a n g s u u n i v e r s i t y i n t e l l i g e n th a n d l i n g c a ra st h e e x p e r i m e n t a lp l a t f o r m e x p e r i m e n t a l g r e e n h o u s e si nj i a n g s uu n i v e r s i t yi ng r e e n h o u s et o m a t oh a r v e s t i n gh a n d l i n gf o rt h e a p p l i c a t i o no ft h ed i r e c t i o no fm o v i n gt h er o b o tv i s i o nn a v i g a t i o no fg r e e n h o u s eb a s e l i n e e x t r a c t i o na n dc o n t r o ls t r a t e g i e sw e r es t u d i e d t h em a j o rr e s e a r c hw o r ka r ea sf o l l o w s t r a n s p o r tr o b o tv i s i o nn a v i g a t i o ni nt h eg r e e n h o u s eo fe x t r a c t i o no fp a r a m e t e r s s e l e c tt h ei m a qv i s i o na n dl a b v i e wa sav i s i o ns o f t w a r ed e v c l o p m e mp l a t f o r m s e l e c t t h et e s t j i a n g s uu n i v e r s i t y a sat e s t i n gg r o u n dg r e e n h o u s e g r e e n h o u s et r a n s p o r tr o b o t b u i l th a r d w a r ea n ds o f t w a r es y s t e m t h ei m a g e sc o l l e c t e df o rt h ec o l o rf e a t u r e u s i n gs e n s i t i v ea r e a sr 0 1w i n d o wa n d i m a g ee d g ed e t e c t i o nm e t h o dt o a c h i e v et h en a v i g a t i o nb a s e l i n ee x t r a c t i o n t e s tt u b e f r o mt h ew e a t h e rc o n d i t i o n sa n d1 1 e a t i i 唱r a t e so ft h et w of a c t o r sw a sb l o c k e da n g l e a n a l y s i s w h i c hi sl i g h ti nc l o u d yw e a t h e ra n ds u n n yw e a t h e rc o n d i t i o n so ft h ev i s i o n n a v i g a t i o nb a s e l i n er e c o g n i t i o nr a t eo f9 0 t oe x t r a c tt h ec o r r e c tv i s i o ni d e n t i f c a t i o no f t h eb a s e l i n er a t eo fn a v i g a t i o nw e r e6 0 i nc l o u d yw e a t h e ra n ds u n n yw e a t h e r c o n d i t i o n sb a c l d i tv i s i o nn a v i g a t i o nb a s e l i n ei d e n t i f i c a t i o nr a t ew a s1 0 0 i nc a s eo f c l o u d yw e a t h e r t h ec o r r e c tr e c o g n i t i o nr a t eo f5 0 s u n n yw e a t h e rc o n d i t i o n si nt h e b a c k l i g h to ft h ec o r r e c tr e c o g n i t i o nr a t e6 0 r a t eo fh e a t i n gp i p ew a sb l o c k e d 2 0 4 0 a n d 4 0 6 0 w i t h i nt h er a n g eo f t r e a t m e n tw a st h eb e s tr a t ei nt h eh e a t i n gt u b e s a r eb l o c k e d 0 2 0 a n d 6 0 1 0 0 i n t e r v a lw i t h i nt h ep r e c i s i o no ft h en a v i g a t i o n l i n ei si n c r e a s i n g t e s t ss h o wt h a tt h ep r o p o s e dn a v i g a t i o na l g o r i t h mh a sa p p l i c a b i l i t yo f t h eb a s e l i n e t h ea v e r a g ep r o c e s s i n gt i m ef o re a c hi m a g ei sl e s st h a n7 0 m s t om e e tt h e 江苏大学硕士学位论文 r e q u i r e m e n to fr e a l t i m en a v i g a t i o n a p p l i c a t i o no ft h et r a d i t i o n a lt w o s t e pc a m e r ac a l i b r a t i o nm o d e lw a se s t a b l i s h e d u s i n gt h el e a s ts q u a r e sm e t h o dt os o l v ei n t e r n a la n de x t e r n a lc a m e r ap a r a m e t e r so f e q u a t i o n s a n dc a l i b r a t i o ne r r o r sw e r es t u d i e d d e v i a t i o nf r o ms m a l lt o m e e tt h e n a v i g a t i o n a ln e e d s f o ri t so p e r a t i n ge n v i r o n m e n to fu n c e r t a i n t ya n dd i f f i c u l tt oe s t a b l i s ha c c u r a t e m a t h e m a t i c a lm o d e lo fd y n a m i cp e r f o r m a n c eo ft h eb o d yi t s e l f t h ef u z z yc o n t r o l t e c h n o l o g y c o n t r o ls t r a t e g yr e s e a r c h d e s i g n v i s i o nn a v i g a t i o nb a s e do nf u z z yc o n t r o l l e ri s a n a l y z e d t h er e s u l t ss h o wt h a tw h e nt h ea c t u a lp o s ea n dt h es e t t i n gp o s i t i o na n do r i e n t a t i o n d e v i a t i o no fm o r eh o u r s y o uc a nu s eas m a l l e ra m o u n to fc o r r e c t i o n 幻t h eo p p o s i t e d i r e c t i o na ss o o na sp o s s i b l eb a c kt ot h es e tp o s i t i o na n do r i e n t a t i o ni nt h ev i c i n i t y w h e n t h ea c t u a lp o s i t i o na n do r i e n t a t i o n a n ds e tt h ep o s i t i o na n do r i e n t a t i o nd e v i a t i o ni sl a r g e y o uc a r lu s et h el a r g e ra n t i d i r e c t i o nc o r r e c t i o na m o u n t 幻s e ti tb a c ka ss o o na sp o s s i b l et h e e x p e r i e n c eo ft h ep o s ei nt h ev i c i n i t ya r et h es a m e t h ed e s i g no ff u z z yc o n t r o l l e rf o rt h e n a v i g a t i o nc o n t r o ls t r a t e g y k e yw o r d s t r a n s p o r tr o b o t v i s i o nn a v i g a t i o n i m a g ep r o c e s s i n g g r e e n h o u s e f u z z y c o n t r o l m 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留 使用学位论文的规定 同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版 允许 论文被查阅和借阅 本人授权江苏大学可以将本学位论文的全部内容或 部分内容编入有关数据库进行检索 可以采用影印 缩印或扫描等复制 手段保存和汇编本学位论文 本学位论文属于 保密口 在年解密后适用本授权书 不保密 学位论文作者签名 卢绍弭 沙f o 年6 月朋 指导教师签名五勃 易 加fp 年多成钼 独创性声明 本人郑重声明 所呈交的学位论文 是本人在导师的指导下 独立 进行研究工作所取得的成果 除文中已注明引用的内容以外 本论文不 包含任何其他个人或集体已经发表或撰写过的作品成果 对本文的研究 做出重要贡献的个人和集体 均已在文中以明确方式标明 本人完全意 识到本声明的法律结果由本人承担 学位论文作者签名 卢卿 日期 砷年6 月2 z e t 江苏大学硕士学位论文 1 1研究目的和意义 第一章绪论帚一早 珀下匕 蔬菜是人类生活中必不可少的食物 我国水果和蔬菜种植面积 产量在世界上 占有重要地位 据联合国粮农组织 f a o 统计 中国蔬播种面积和产量分别占世界 的4 3 4 9 均居世界第一 近些年 我国蔬菜面积迅速扩大 中国2 0 0 7 年蔬菜 播种面积达到2 6 亿亩 总产量5 6 5 亿吨 人均占有量4 2 0 多公斤 而近年来 我国温室蔬菜生产取得了很大的发展 不少地方都建立了温室大棚进行相关蔬菜的 生产 蔬菜分类包括根茎类蔬菜 瓜茄类蔬菜 鲜豆类蔬菜 叶菜类蔬菜 其中瓜茄 类蔬菜主要有冬瓜 黄瓜 番茄 茄子等 在瓜茄类的蔬菜生产中 需要人工不定 时的对果实进行成熟度判断和收获 在很多时候还要动用梯子 因此 收获作业劳 动强度大 消耗时间长 具有一定程度的危险性 1 1 同时 在很多国家 由于人口的 老龄化和从事农业工作的人口的减少 劳动力成本不断提高 而人工收获的成本在 果蔬的整个生产成木中所占的比例高达3 3 5 0 2 1 我国虽然从事农业人口的基数 比较大 从事农业生产的人口众多 但随着经济的发展 近些年来人口增长率下降 大量农业人口向第二产业 第三产业转移 所以 农业劳动力成本也提高不少 因 此 研究开发适合目前生产实际的果蔬果实收获搬运机器人不仅可以在很大程度上 减轻劳动强度 提高生产效率 而且具有广阔的市场应用前景 1 1 可以说 机器人应 用于农业生产中 特别是设施农业生产过程 是农业向自动化和智能化发展的标志 及时研究出适用于我国农业生产变革所需要的机器人 对我国农业生产的长远发展 具有重要意义 搬运机器人在温室自主行走需要导航系统的控制 自动导航是移动机器人研究 的一个重要组成部分 它有广泛的应用 发展前景 目前对农业机器人导航的研究 主要集中在g p s 和机器视觉这两种方式上 g p s 主要可分为d g p s 差分g p s 定位 技术 和r t k g p s 实时动态g p s 定位技术 d g p s 的能达到亚米级的精度而 r t k g p s 达到厘米级的精度 g p s 导航适用于野外大范围内的导航定位 但成本较 高且易受建筑物 树木等环境因素影响 机器视觉导航对小范围环境的适应性较强 江苏大学硕士学位论文 灵活性较好 是目前农业机器人导航方式研究中研究较多的一种 农业搬运机器人导航研究是农业机器人研究的一个重要方面 将对推动农业机 器人的推广应用以减轻劳动强度 降低生产成本创造条件 有重大的理论意义和经 济价值 1 2 国内外研究现状 近年来 在路径识别定位方面 很多学者研究了应用机器视觉结合相关传感器 精确的识别环境 获取环境特征信息 以实现任务选择 1 2 1国外研究现状 目前农业移动机器人视觉导航方面的研究多集中在应用各种算法来快速 准确 地识别农业作业环境的特征来引导移动机器人导航或路径规划方面 英国的s i l s o e 研究中心自2 0 世纪9 0 年代以来在从事农业移动机器人导航方 面进行了大量的研究 j o h n a m a r c h a n t p l 等人1 9 9 5 年对h o u g h 变换检测作物行的 实时性进行了研究 他们在花椰菜田地里进行了试验 发现侧向偏差为1 2 5 n l n 角 度偏差为l j a m a r c h a n t 4 1 9 9 6 年采用h o u g h 变换来检测作物行 融入部分信 息使之对缺失的作物 杂草不敏感 在花椰菜 甜菜 小麦三种作物上进行了试验 发现侧向偏差为1 8 m m 角度偏差为1 j o h n a m a r c h a n t 等人1 9 9 7 年 1 9 9 8 年 对基于机器视觉的喷药除草机器人沿田间作物行方向自主行走进行了研究 他们的 研究表明当机器人分别以0 7 m s l m s 的速度行驶时 实时性可以满足要求 5 一 t h a g u e l 7 1 等1 9 9 9 年用基于带通滤波的方法检测农业机器人田间作物行导航线 在 冬小麦上进行的试验表明当移动机器人以1 6 m s 的速度行驶时 r m s 误差为 1 5 6 m m n d t i l l e t t 8 等2 0 0 0 年基于机器视觉对大田行内机械除草进行了研究 他们在大田甜菜的试验表明当机器人以6 k p h 的速度行驶时 锄头侧向偏差1 6 唧并 且平均偏差在4 l o m m 以内 为了减少和避免农药的使用 欧洲大陆对基于机器视觉的农业机器人导航进行 的研究也比较多 文献 9 对欧洲大陆在农业机器人方面的研究进行了介绍 对基 于机器视觉的农业机器人研究进行了重点分析 h t s 巾g a a r d 1 0 l 等2 0 0 2 年提出了 一种不用分割图像的方法来检测作物行 该方法先把彩色图像灰度化 再进行二值 2 江苏大学硕士学位论文 化 把图像水平划分成若干图像条 进行像素统计确定图像条中作物的位置行 该 法能够有效降低运算量 提高运行速度 b j s r na s t r a n d f l l 等2 0 0 2 年介绍了一种用 于大田机械除草的农业机器人 该机器人采用两个视觉系统 一个系统用于检测大 田作物行以便导航 另一个用于识别单棵的作物 田间试验表明这种机器人的导航 精度在 2 c m 以内 b j s r na s t r a n d 1 2 等2 0 0 4 年提出了一种采用用h o u g h 变换的算 法来检测大田作物行 该算法对农作物不论大小均具有适应性 并对杂草干涉具有 鲁棒性 试验表明根据农作物大小的不同 其检测作物行的标准偏差在0 6 1 2 c m 之间 进一步的田间试验中表明耕田机和移动机器人的偏差分别为2 7 和2 3 c m v l e e m a n s 1 3 等2 0 0 5 年基于机器视觉中的h o u g h 变换对放置有标定盘和无标定盘的 田间播种导航进行了对比研究 研究表明在摄像头检测出播种导航基准线的帮助下 可以进行手动沿导航基准线播种 v l e e m a n s l l 4 等2 0 0 6 年研究了一种基于机器视觉 的机械精确播种导航装置 该装置采用一个摄像头检测需要播种的位置并作为一个 反馈控制环节 同时采用一种手动装置保证条播沟和拖拉机的侧向偏差在一定范围 内 试验表明标准偏差为2 3 m m 其范围在l o o m m 以内 t i j m e nb a k k e r 1 5 l 等人2 0 0 6 年基于机器视觉中h o u g h 变换提出了一种新的检测大田农作物导航基准线的算法 该算法先把彩色图像转变成灰度图像 然后把灰度图分成三部分 再把他们融合成 一幅图像以便检测导航基准线 该算法能减少图像处理的信息量并适用于各种生长 期的作物 该算法在在甜菜作物上进行的试验表明实际作物行和估计作物行的平均 偏差在5 1 9 8 m m 之间 距离检测作物行的中位偏差为2 2 m m 在北美 关于农业机器人自主导航的研究开展的也很早并取得了一系列成果 文献 1 6 对北美近些年来在此方面进行的研究进行了介绍 e r b e n s i o n r 7 等人 2 0 0 3 年基于视觉导航技术 用安装在拖拉机前面的单目摄像头检测已收割玉米茬边 缘的方法引导拖拉机行进 通过实验室模拟试验和田间实地试验 该算法达到了理 想的效果 fr o v i r a m a s 1 8 等人2 0 0 4 年研究了在所采集的农田图像中通过设置 兴趣区r o i r e g i o no fi n t e r e s t 实现选择 只对所采集图像中的r o i 图像区域进行 处理 用h o u g h 变换检测农作物导航基准线 在实验室进行的模拟试验和田问试验 表明该算法可以满足要求 对图像噪声不敏感 s h a n 1 9 等人2 0 0 4 年提出用k 聚类 的方法来分割出作物行 用矩算法来检测作物行 通过实验 发现在3 0 幅大豆图 像中 r m s 的标准偏差为1 0a m 在1 5 幅玉米图像中r m s 标准偏差为2 4c m v i j a y 3 江苏大学硕士学位论文 s u b r a m a n i a n m 等人2 0 0 6 年研究了分别采用机器视觉和雷达技术为装有编码器和 p d 控制器的拖拉机提供路径规划的方法 在路两边摆有普通干草堆的路面上进行 的试验表明当拖拉机在转弯处以3 i m s 的速度行驶时 采用机器视觉导航的平均 偏差为2 8 c m 而采用雷达导航的平均偏差为2 5 c m 导航系统能成功引导拖拉机 在柑桔林巷间行驶 在亚洲 以日本 韩国为代表 农业机器人自主导航也被当作一个研究热点而 开展的轰轰烈烈 文献 2 1 对日本一些大学 研究机构以及农业机械制造厂商近些 年在此方面的研究进行了介绍 其中也提到了韩国 中国大陆以及台湾的相关情况 t o r ut o r i i 2 2 1 等2 0 0 0 年研制了一辆采用电池四轮驱动的小车用来进行室内模拟沿 作物行机器视觉自动导航研究 研究人员先采用y u v 颜色空间根据颜色的不同把犁 沟和作物分离检测开来 然后驱动小车沿检测出来的犁沟线行驶 t o r ut o r i i 2 3 1 等2 0 0 0 年又研究了一种机器视觉导航的可用于农田喷药除草的拖拉机 研究人员 先在h s i 颜色空间中根据颜色的不同把犁沟和作物检测分离开来 然后驱动拖拉机 沿检测出来的作物行基准线行驶 试验结果表明拖拉机能在可接受的误差范围内沿 作物行基准线不断对侧向偏差和航向角偏差纠偏行驶 韩国的s i c h o 2 4 1 等人1 9 9 9 年研究了一种采用机器视觉导航 超声波避障模糊控制的用于果园喷药的农业机器 人 试验结果表明模糊控制器可以调节药物喷洒速度 超声波传感器可用于辅助条 件喷药速度和紧急情况下的避障 综观国外的研究现状 考虑到大田作业的实际情况 很多研究先是结合自己的 作业环境 把作物与背景分割开来 然后用h o u g h 变换来提取导航基准线 同时 考虑到图像处理需要处理的信息量很大 一些研究用考虑采用各种方法减少图像处 理的信息量以便得到所需信息 1 2 2 国内研究现状 在国内 从上世纪9 0 年代起农业机器人也逐渐成为一个研究热点 近些年来 在此研究领域也取得了不少研究成果 王荣本掣2 5 1 2 0 0 1 年研究分析了采用机器视觉识别大田玉米的生长状况 开发 研制了可以实现对玉米定时 定点 变量精确施肥的智能机器系统 谢守勇等i m 1 2 0 0 1 年对适用于温室生产需要的移动机器人导航和避障进行了研 4 江苏大学硕士学位论文 究 研制了一种利用单片机作为控制核心的移动机器人模糊控制器 沈明霞等 9 2 0 0 1 年对机器人的近景成像几何建模 确定机器人与路径的相对位 置 方向 从而获得自定位信息 杨为民等人 2 8 1 2 0 0 4 年对关于农业机械机器视觉导航的图像处理和路径控制问 题进行了深入的研究 周俊等人2 0 0 2 年对当前农业领域中几种常用的自主车辆导航方式进行了分析 对多传感器融合技术进行了重点介绍 对卡尔曼滤波 模糊推理等方法进行了探讨 例 研究人员于2 0 0 3 年针对导航视觉系统采集的农田非结构化自然环境彩色图像 研究了基于知识的视觉导航农业机器人行走路径识别方法i 删 研究人员于2 0 0 4 年 研究分析了轮式拖拉机跟踪引导路径的行为特点 建立起相关的非线性随机数学 模型 而后从整体组成 作业环境路径识别 系统实时性等几个方面对农用轮式移 动机器人视觉导航系统展开了比较全面的研究p 1 1 研究人员于2 0 0 5 年针对农田环 境特点 提出了一种农用轮式移动机器人相对位姿的求解方法 该方法首先建立图 像平面上被检测出的路径上的像素坐标与机器人相对位姿间的关系方程 再结合 h o u g h 变换直接求出位姿值p 2 张方明等2 0 0 5 年把当前国内外在农业机器人机器视觉自主导航领域的研究进 展分成基于2 d 图像信息的边缘特征分析法和基于1 d 灰度信息的特征分析法这两种 模式进行介绍 并提出了一些适合我国农业现代化发展的研究思路 3 3 1 李建平等2 0 0 6 年分析了g p s 机器视觉和多传感器融合这些自动导航技术在农 业工程中的应用研究进展 对每一种技术的优点及缺点进行了分析 3 4 1 侯学贵等人 3 s 1 2 0 0 7 年建立了除草机器人模型 提出新的图像分割算法 在r g b 空间直接将农作物分割出来 再利用优化的h o u g h 变换检测出作物行导航基准线 然后确定除草机器人位姿 孙元义等 3 6 1 2 0 0 7 年研究了在l a b 色彩空间进行图像处理 从土壤背景中提取 出棉株 通过最大方差阈值分割法进行图像二值化 经过中值滤波去除噪声 然后 将二值图像沿垂直方向投影 确定左右垄分界线 将左右垄棉株位置平均得到导航 离散点 通过h o u g h 变换得到导航基准线 进而得到导航控制参数 赵博等2 0 0 7 年为提高农业机器人对环境的适应性 研究了田间地头 天空以 及树木等复杂环境对路径导航的影响 提出一种新的图像处理方法 即用一种新的 5 江苏大学硕士学位论文 中心线检测算法取代原有的细化算法 用腐蚀算法代替原有的中值滤波p 7 l 研究人 员于2 0 0 9 年提出一种先采用神经网络算法对农田环境进行自动分类 然后再选择 不同的路径识别方法进行处理的算法以减少光照变化 杂草等因素对农业车辆视觉 导航的影响 3 8 l 同时 研究人员于2 0 0 9 年提出一种针对影响较大的垄间杂草环境 的基于b p 神经网络的杂草环境下导航路径识别方法 3 9 赵颖等人于2 0 0 6 年研究了根据已耕作区域 未耕作区域和非农田区域的不同 颜色特征 判断出田端和犁沟线的位置 然后用改进h o u g h 变换算法计算出犁沟斜 率以引导农业耕作机器人行驶 试验证明该算法速度快 准确性高 删 研究人员于 2 0 0 7 年提出了一种针对视觉导航智能机器人非结构化道路导航路径的检测方法 该 方法以道路两边缘线的中间线作为导航路径 首先用亮度分析法找出图像中道路的 终止位置 然后扫描像素提取出导航路径上的候选点 最后用基于一点的改进h o u g h 变换法提取导航路径的参数 4 1 1 张磊等2 0 0 7 年提出了针对不同时期麦田场景基于机器视觉的边界 田埂 检测 算法 研究人员根据麦田和田外区域的不同颜色及亮度特征用过已知点的h o u g h 变 换计算出田埂线的斜率 试验证明该算法速度快 准确性高 4 2 饶洪辉等2 0 0 7 年设计了一套基于机器视觉的作物对行喷药控制系统 首先提 取所拍摄的作物成行图像的色调值图像并用最大类间方差法进行二值化 经数学形 态学腐蚀后用h o u g h 变换方法得出作物行中心线 实验证明了该方法的正确性 4 3 l 张志斌等人于2 0 0 7 年结合垄宽 图像的绿色成分和图像矩阵中的像素子集的良 序性得到垄行轨迹中心m 研究人员又于2 0 0 7 年研究了基于h o u g h 变换和f i s h e r 准则的垄线识别算法 研究人员首先选择作物的绿色为特征提取垄行结构 然后根 据垄线点空间关系用f i s h e r 准则函数进行反压缩处理 并将f i s h e r 准则函数值作 为垄线样本点疏密程度和方向势大小的度量 优化了h o u g h 变换识别多垄线的条件 得出了多垄识别统一模型 试验表明 作物垄线定位的准确性 适应性均得到提高 4 5 l 陈无畏等2 0 0 8 年为了保证自动导航车辆路径识别的鲁棒性和实时性 提出了一 种新的路径识别算法 并根据此算法提取出的导航参数设计了p i d 控制器闱 同时 为提高行驶的安全性和稳定性 设计了预瞄加反馈的控制器 以便能够根据路径实 际情况自动调整车辆的预瞄距离和行驶速度 试验表明所设计的控制器效果较好m 张红霞等于2 0 0 8 年采用k m e a n s 模式识别算法分离农作物与背景 首先水平 6 江苏大学硕士学位论文 扫描二值图像检测定位区域和定位点 然后用定位点的坐标信息确定聚类判别函数 以便检测农田目标定位线 实验表明 定位线能够正确提取出来嗍 杨庆华等2 0 0 9 年提出对于矮小作物分布的农田场景和对于林地及类林地环境 的高大农田作物场景的两种路径导航线算法 前者用标准h o u g h 变换检测共线点峰 值的限定偏角阈值法得出导航信息 后者用h o u g h 变换检测机器人行走的左右边界 树干与地面的交点的中值法检测导航线 仿真表明两种算法对各自场景均有可靠的 路径识别能力 4 9 任永新等2 0 0 9 年研究了在温室环境下黄瓜采摘机器人沿垄间视觉导航和模糊 控制 研究人员用色差2 g r b 算子对r g b 彩色图像进行灰度化处理 由灰度图像 直方图初步确定导航线位置 并逐行求出离散导航点 经基于一点的改进型h o u g h 变换即可求出导航基准线1 5 0 1 曹倩等2 0 0 9 年研究了农田非结构环境下提取视觉导航线的新算法 该法先用 聚类的方法检测作业区域终点 然后用改进的h o u g h 变换提取移动窗口检n 值图 像白色像素确定的导航路径区域中的导航线 5 1 1 刘兆祥等2 0 0 9 年提出了可显著降低内存需求和时间消耗的用于农业机器人自 主导航的直线检测算法 研究人员以横向偏差和航向偏差作为输入量 构建了针对 前轮转角进行决策的模糊决策器 又构建了p i d 转向控制器 以便实现前轮转向控 制 5 2 综观国内的研究现状 研究人员根据自己所研究的工作环境 为了减少图像处 理的信息量和为了快速 准确的实现研究目标 提出了各自的提取导航基准线的算 法及控制算法 因为绿色作物与土壤颜色差别较大 易于识别判断 很多研究人员 首先借助颜色差异设法从背景中分离出作物 然后采用h o u g h 变换或其改进算法拟 合出导航基准线 这是因为h o u g h 变换对从图像中提取出直线有很强的抗干扰作用 和较好的检测效果 而控制算法中的模糊控制算法因不需要建立被控对象的精确的 数学模型 因而使得控制机理和策略易于接受与理解 设计简单而研究应用的较多 总的来说 目前国内外不少对大田农业移动机器人研究的较多 取得了不少研 究成果 但对于温室这种特殊环境下的农业搬运机器人研究的还不多 尤其我国目 前在这方面的研究还很少 温室农业搬运机器人视觉导航可以借鉴大田农业移动机 器人视觉导航路径识别的的方法 但温室内除了绿色作物与土壤外 还有其他杂物 7 江苏大学硕士学位论文 需要根据温室这种特殊环境采用相应的路径识别方法和控制策略进行避障 适用于 温室的视觉导航路径识别方法和采用何种控制策略进行避障是研究的难点 需要考 虑到准确性 实时性要求 可以考虑采用相应的传感器结合对编程人员要求不高 程序容易编制但又能满足准确性 实时性要求的软件去解决 1 3 研究内容 在总结目前国内外对农业移动机器人研究成果的基础上 鉴于对于温室这种特 殊环境下的农业搬运移动机器人研究的还不多 尤其我国目前在这方面进行的的研 究还很少 本课题在江苏大学玻璃试验温室内利用农业智能移动小车为硬件 以番 茄种植搬运为应用对象 对温室番茄采摘搬运机器人进行了研究 主要研究内容如下 1 研究实时地从工作环境中识别出路径信息 提取出导航参数 在搬运机 器人工作环境中 依据所拍摄的环境特征 针对摄像机采集的图像信息 分析其颜色 边缘特征信息 研究快速 准确分割图像进行路径识别的方法 研究由于路径特征 瞬时变化提取搬运机器人导航参数的方法 2 标定方法的选择 目前已有各种不同的标定方法 各有特点 分别适用于 不同的场合 本文分析了目前已有的各种标定方法的特点以及适用场合 并针对搬 运机器人导航对标定的要求 提出适用的标定方法 在标定的过程中 为了提高标 定的精度 使用圆形靶标 采集非共面内的点对其进行标定 3 对搬运机器人的控制系统和控制模型进行研究 针对搬运机器人直线行 走要求 分析搬运机器人对控制系统的要求 利用模糊控制算法构建模糊控制模型 并对控制模型进行仿真分析研究 以便达到实时 准确的行驶要求 1 4 本章小结 本章比较全面地介绍了国内外农业机器人视觉导航的研究和应用现状 结合课 题研究的实际情况提出了适用于温室的搬运机器人视觉导航技术 阐述了本课题的 研究内容 8 江苏太学硕士学位论文 第二章温室搬运机器人视觉导航系统构建 温室搬运机器人视觉导航参数提取过程中 需要研究通过采集大量的温室现场 照片进行图像处理 来寻求一种能够满足准确性 实对性导航要求的基准线提取方 法 考虑到温室内除了绿色作物与土壤因素外 还有其他杂物影响搬运机器人路径 识别 这里采用对编程人员要求不高又能够实时采集 处理图像的软件结合其他相 应硬件构建导航系统对路径识别进行研究 来实现搬运机器人能在温室两行种植番 茄之间灵活调整拍摄高度和角度进行图像采集 以及准确 实时的识别出导航基准 线的目标 下面是具体的系统构建过程 21 视觉导航图像采集场地及硬件组成 1 视觉导航图像采集场地 视觉导航图像采集场地为江苏大学温室 如图2 i 所示 2 农业智能移动小车 该车如图22 所示 该车由移动平台本体 长1 3 0 c m 宽6 0 c m 高8 1 5 c m 串口无线通讯天线 下位机 a r m 7 板 左右轮电机控制器 前后万向轮等组成 该车以左右两个驱动轮驱动行驶 前后两个万向轮可以分别控制转向 其上的升降 台可以根据实验需要上下升降 妇文t 蓬鬻鬻瀚 蠢三 图2 1 江苏大学温室图2 2 农业智能移动小车 3 上位机 笔记本电脑d e l ld 6 2 0 选用笔记本电脑 d e l li 6 2 0 内存为1 0 0 6 因为笔记本电脑和摄像头接口 为u s b 方式 和搬运机器人为无线通讯模式 链接方便 同时 其占用空间较小 江苏大学硕士学位论文 其液晶显示器可以显示采集的图像和处理结果 4 摄像头 选用陕西维视数字图像技术有限公司的 v 3 1 0 3 u cu s b 2 0 高分辨率数字工业 摄像机 如图2 3 所示 镜头为日本a v e n i r 精工镜头s e 0 8 1 3 2 如图24 所示 其成像尺寸2 3 视角 d x h x v 4 01 3 26 x2 4 7 其输出图像格式 为r g b 格式 图像分辨率设置为6 4 0 4 8 0 因为温室水管间距约为9 8 c m 为了把 左右两侧水管都拍摄进去的同时使拍摄的区域不至于过多和为了减少导航盲区 经 计算并经试验验证 取导航摄像头的安装高度约为2 2 0 0 m m 俯视角约为6 0 具 体参数通过摄像头标定获得 经实验验证拍摄区域为1 2 9 m i n x1 8 6 m 其视角能满足 要求 考虑到温室的光线条件 在自然光条件下采集图像 图23 p 3 1 0 3 u cu s b 20 工业摄像机图2 4a v e n i r 精工镜头s e 0 8 1 32 把相关硬件连接起来 所用的温室番茄搬运机器人结构示意凰如图2 5 所示 其中间两轮为驱动轮 前后四个小轮为万向轮 其结构主要划分成下面几个功能模 块 1 主控单元 即搬运机器人的上的上位机和下位机 其主要任务是对搬运机器 人进行总体控制 2 引导单元 本文采用视觉引导方式 通过摄像机获取温室行播番茄图像 经 过处理图像得到导引信息 3 驱动单元 主要由无刷直流伺服电机 减速器 车轮组成 通过对其中间两 轮采用差速驱动实现搬运机器人的转向 行驶 4 通讯单元 主要指摄像机与上位机 上位机与下位机以及下位机与左右电机 控制器之间的信号传输 5 安全与辅助单元 主要包括搬运机器人前后的防护杠和超卢波传感器 它们 是为保护搬运机器人自身及运行环境的安全而采取的设赭 江苏大学硕士学位论文 6 供电单元 指采用的串联的两个铅酸蓄电池 1 2 伏 个 4 3562 8 1 超声波传感器 2 万向轮 3 驱动轮 4 蓄电池 5 直流伺服电机 6 电机控制器 7 摄像机 8 下位机 a 跚板 9 上位机 笔记本电脑 图2 5 温室搬运机器人结构示意图 按照所完成任务的不同 整个搬运机器人的体系结构可以分为三个部分 如图 2 6 所示 视觉导航图像采集部分 完成图像的采集并等待处理 图像处理部分 采用上位机按照所设计的算法对图像进行处理 图像处理结果输出和进行决策控 制 通过图像处理识别出导航基准线 完成搬运机器人位姿计算 并讲行导航控制 图像采集 图像处理 处理结果及决策控制 一一一一一一一 一一 i i i 导航摄像头 上位机对采 显示器 集的图像进 行处理导航控制器 j l 图2 6搬运机器人的体系结构 2 2 温室视觉导航搬运机器人软件选择 2 2 1视觉导航机器人图像采集软件选择 图像采集软件选用陕西维视数字图像技术有限公司随摄像机附带的图像处理 驱动软件 当按照其提供的摄像头驱动安装说明把摄像头和上位机连接好后即可按 照其驱动安装说明安装驱动 然后即可进行图像采集工作 1 1 江苏大学硕士学位论文 2 2 2 视觉导航机器人图像处理软件选择 图像处理软件有许多种 如v c m a t l a b o p e n c y h a l c o n l a b v i e w 等 其中 o p e n c v 和h a l c o n 是在v c 的基础上加入大量图像处理函数开发出来的 用v c o p e n c v 以及h a l c o n 做图像处理 对编程人员要求较高 图像处理程序较难编制 而m a t l a b 虽然做图像处理较为容易 但处理速度较慢 不能满足实时性要求 所 以 这里选用l a b v i e w 软件进行图像处理程序设计 因为l a b v l e w 不仅简单易用 而且能满足实时性要求 因为l a b v i e w 软件包含的模块很多 这次本课题主要是选用l a b v i e w 的机器视 觉软件开发包一i m a qv i s i o n 由于其独特的特点 下面对其介绍一下 i m a qv i s i o n 是l a b v i e w 内置的用于视觉软件开发的工具包 它包括i 姒q v i s i o n 和v i s i o nb u i l d e r 两个组件 其中i m a qv i s i o n 软件包因为将4 0 0 多种功 能集成到l a b v i e w 和m e a s u r e m e n ts t u d i o l a b w i n d o w s c v i v i s u a lc 及v is u a l b a s i c 开发环境中而为图像处理提供了完整的功能 它作为一个功能强大的函数库 提供了在l a b v l e w 平台上开发机器视觉系统所需要的包括图像采集 图像处理 几 何量测量等各种子程序 总结起来说 i m a q 具有如下特点 首先 它可以加快应用程序的开发速度 i m a qv i s i o n 在设计时为了能能满足 图像应用开发人员的需求 减轻他们在降低成本与程序开发复杂性方面的压力 研 究人员开发的内存管理模