（机械设计及理论专业论文）基于机器视觉的番茄收获机器人目标定位技术研究.pdf

江苏大学硕士毕业论文 摘要 随着信息化时代的到来，农业机械将向智能化方向发展，这给农业机器人的 研究提供了广阔的空间。本文以k h 一1 0 0a g v 小车、m o t o m a n 机器人及其控 制系统为载体，对番茄收获机器人视觉系统的目标定位技术进行了研究，并用 v i s u a lc + + 6 0 开发环境进行编程。 论文构建了收获机器人双目视觉的硬件系统。首先，提出采用一种介于传统 标定方法和自标定方法之间的内外参数分离的标定方法。内参数标定采用张氏平 面标定法，适当提取标定模板中的特征点，通过实验和计算获得较精确的摄像机 内参数模型；外参数标定时合理选取参考坐标系，通过实验分析求取两摄像头的 外参数模型。其次，提出基于形心特征的匹配方法。对番茄图像进行分析，提取 番茄的轮廓特征，采用分水岭变换法实现多果分割：提出三个典型的番茄图像轮 廓为模板实现轮廓信息的补全和修复；提取番茄的形心坐标。提出三个约束条件 并适当选取误差带实现共轭图像中特征点的匹配。接着，运用三角测量原理对共 轭图像中的对应的番茄形心进行三维坐标计算，并将计算的三维坐标和实际测量 的三维坐标相比较，在误差分析的基础上建立网络模型和训练系统来修正误差。 最后，编制系统软件，对自然环境下的采集图像进行处理和计算，获得成熟目标 的空间坐标。实验结果表明当两个摄像头都可以拍摄到番茄的相对完整的轮廓 时，利用基于形心特征匹配的双目立体视觉技术进行定位，其误差可以控制在0 5 m m 内，能满足机器人采摘果实所需的精度要求。 关键词：机器人、视觉系统、摄像机标定、特征提取、深度恢复、误差修正 江苏大学硕士毕业论文 a b s t r a c t w i t ht h ea d v e n to f i n f o r m a t i o ne r a ，t h en e x tw a v eo f a g r i c u l t u r a lm a c h i n ew i l lb e t o w a r di n t e l l i g e n t i z a t i o n t h u s ，t h er e s e a r c h e so fa g r i c u l t u r a lm a c h i n ew i l ls e em u c h b r o a dp r o s p e c t s t h i sp a p e rm a k e sac o m p r e h e n s i v er e s e a r c ho nt h eo b j e c tl o c a t i n g t e c h n o l o g yo f v i s i o ns y s t e m so f t o m a t o e sh a r v e s t i n gr o b o t ，i nt h i sr e s e a r c hak h 1 0 0 a g va u t o m a t i cg u i d a n c ev e h i c l ea n dam o t o m a nr o b o ta n di t sc o n t r o ls y s t e ma r e a d o p t e d ；a n dp r o g r a m sa r ed e v e l o p e du s i n gt h ev i s u a lc + + 6 0e n v i r o n m e n t t h i sp a p e rc o n s t r u c t e dt h eb i n o c u l a rv i s i o nh a r d w a r es y s t e mo f h a r v e s t i n gr o b o t ， f i r s t l y , ac c dc a l i b r a t i n ga p p r o a c hi nt h em i d s to ft r a d i t i o n a la n ds e l f - c a l i b r a t i n g m e t h o d si sa d v a n c e dt os e p a r a t et h ei n n e ra n dt h eo u t e rp a r a m e t e r s t h ep l a n e c a l i b r a t i o no fm r z h a n gi su s e dt oc a l i b r a t ei n n e rp a r a m e t e r b ye x t r a c t i n gf e a t u r e p o i n t si nt h ec a l i b r a t i o nt e m p l a t e ，ar e l a t i v e l ya c c u r a t ei n n e rp a r a m e t e rm o d e lc a nb e o b t a i n e db ye x p e r i m e n ta n dc a l c u l a t i o n t h eo u t e rp a r a m e t e rm o d e lo f t w oc c dc a nb e c o n s t r u c t e db ys e l e c t i n ga p p r o p r i a t er e f e r e n c ef r a m ea n da n a l y z i n ge x p e r i m e n td a t a s e c o n d l y , t h ec e n t r a lp o i n tb a s e dm a t c h i n gm e t h o di sp u tf o r w a r d t h et o m a t o e s i m a g e w a sa n a l y z e d ，t h e i rs u r f a c ef e a t u r e sw e r ee x t r a c t e d ，a n de a c ht o m a t ow a sd i s c r i m i n a t e d u s i n gt h em e t h o do fp a r t i c l es e g m e n t a t i o nb yw a t e r s h e d s ；at e m p l a t eb a s e dp r o f i l e e m e n d a t i o nm e t h o di sa d v a n c e di nw h i c ht h r e et y p i c a lp r o f i l e so ft o m a t oi m a g e sa r e a d o p t e d ；t h ec o o r d i n a t e so ft o m a t o sc e n t r a lp o i n ta r eo b t a i n e d ；t h r e ec o n s t r a i n t c o n d i t i o n sa r ea d v a n c e da n db i a sr a n g e sa r ep r o p e r l ys e l e c t e dt om a t c hf e a t u r ep o i n t si n c o n j u g a t ei m a g e s t h i r d l y , t h ep a p e ra d o p t e dt r i a n g u l a rm e a s u r e m e n tt h e o r yt oc a l c u l a t e t h e3 dc o o r d i n a t e so ft o m a t o sc e n t r a lp o i n ti nc o n j u g a t ei m a g e s f u r t h e r m o r e ，b a s e d o nt h ec o m p a r i s o nb e t w e e nt h ec a l c u l a t e d3 dc o o r d i n a t e sa n dt h ea c t u a l l ym e a s u r e d3 d c o o r d i n a t e sa n db i a sa n a l y s i s ，t h i sp a p e rb u i l tan e u r a ln e tm o d e la n dt h ec o r r e s p o n d i n g t r a i n i n gs y s t e mt oa m e n de r r o r s f i n a l l y , t h es y s t e ms o f t w a r ei sw r i r e nt oo b t a i nt h e3 d c o o r d i n a t e so ft h er i pt o m a t o e s ，w h i c hc o i le f f e c t i v e l yp r o c e s sc o l l e c t e di m a g e si n n a t u r a le n v i r o n m e n t t h ee x p e r i m e n ti n d i c a t e st h a te r r o r sc a nb el i m i t e di n0 - 5 m mb y a d o p t i n gt h ec e n t r a lp o i n tm a t c hb a s e db i n o c u l a rv i s i o nl o c a t i n gt e c h n o l o g yw h e nt h e r e l a t i v e l yi n t e g r a lp r o f i l eo fat o m a t oc a nb ep h o t o g r a p h e db yb o t hc c d ，t h u st h e a c q u i r e da c c u r a c yf o rr o b o t st oh a r v e s tf r u i t sc a nb em e t k e yw o r d s ：r o b o t ；v i s i o ns y s t e m ；c c dc a l i b r a t i o n ；f e a t u r e se x t m c t i o m 3 dr e c o n s t r u c t i o nb i a sa m e n d i i 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使片j 学位论文的规定，同意学位保留并向国家 有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权江苏大学可 以将本学位论文的全部内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属丁 保密口，在年解密后适用本授权书。 不保密 学位论文作者签名： 、孝多争 d o r 年月u 日 等1 一杉咖 姑 私 一 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已注明引用的内容以外，本论文不 包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研 究做出重要贡献的个人和集体，均己在文中以明确方式标明。本人完 全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期：0 a r 年步月fj 日 江苏大学硕士毕业论文 1 1研究目的和意义 第一章绪论 近年来农业机器人技术得到了极大的关注，尤其是日本、美国等发达国家， 随着农业生产的规模化、多样化、精确化、劳动力不足的现象日趋明显，许多作 业项目如蔬菜、果实的收获和分选、苗木的嫁接等都是大量重复繁重的劳动，这 会使工作人员容易疲劳，工作效率下降。以番茄为例，番茄味道鲜美，营养丰富， 宫含维生素c 和人体容易吸收的葡萄糖和果糖，既可以当水果吃，也可以做成 各种菜肴，深受人们喜爱。全世界番茄的产量很高，9 0 年代末，世界可供加工 的番茄生产能力已达3 0 0 0 多万吨年，我国占2 - - 4 ，目前我国番茄的采摘主 要是依靠人力，工作效率很低。我国是一个农业大国，要实现农业现代化，农业 装备的机械化、自动化必定要大力予以开展，随着信息化时代的到来，我国提出 要发展自己精确农业、数字农业，这给农业机器人的研究提供了广阔的空间。 智能化是二十一世纪农业机械的发展方向，如何使一些劳动强度大的农业生 产实现自动化或半自动化是科技工作者努力的方向，农业人1 2 向非农业转移，以 及农业的集约化、规模化和产业化，使得这一问题的解决显得尤为迫切。农业机 器人不同于工业机器人，首先，所处的环境不同。农业机器人处在以个自然环 境状态下，外界因素不仅有光照条件的变化，还有湿度和风力的变化：其次作业 对象不同，工业机器人面对的有规则的几何实体，而农业收获机器人的作业对象 极其复杂，以番茄收获为例，在自然生长条件下的番茄其空间位置和方向是随机 不确定的，还有枝叶、蔓藤、吊绳、杂物的存在，收获对象有成熟和不成熟之分， 番茄与番茄之间、番茄与叶片之间可能会相互遮挡，在这样复杂环境条件下，收 获机器人如何利用计算机视觉技术，将番茄和枝叶、蔓藤、杂物、背景等区分开 来，并识别出番茄果实的大小、颜色、成熟程度等，并且获得成熟目标果实的空 间位置，以给采摘机械手提供正确的分类采摘的信息，采摘机械手根据采摘分类 的信息，绕过植物茎、杆等障碍，完成采摘动作a 本研究主要针对温室中番茄收获机器人计算机视觉系统中的成熟番茄目标 空间定位问题，研究基于视差理论的机器立体视觉技术，运用两个c c d 摄像机 江苏大学硕士毕业论文 对同一景物从不同位置成像，通过各种算法匹配出相应像点，从而计算出视差， 然后采用基于三角测量的方法恢复深度( 距离) 信息。研究内容受到了江苏省自 然科学基金资助( 项目编号：b k 2 0 0 3 0 4 6 ) ，这些研究工作对提高我国工厂化农 业的智能化水平和农业机器入的技术含量，具有重大的理论意义和经济价值。 1 2 国内、外研究现状 1 2 1 国外研究现状 国外对计算机视觉在农产品收获中的应用的研究起步较早，尤其是在树上果 实的检测方面做了很多工作，为我们的研究提供了许多宝贵的经验。1 9 6 8 年， s c h e r t z 和b r o w n 1 】最早提出果实自动化采摘的想法。他们认为通过光度信息利用 叶子和果实对可见光或者电磁光谱红外部分反射率的差异测定果实的空间位置， 同时指出照明和枝叶遮挡等原因使得只有7 0 到1 0 0 的果实可以看到。匈牙利 和美国科研联合基金会【2 j 联合研制开发出苹果收获机器人，该机器人用立体视觉 探测系统自动检测苹果，并且给出检测到的苹果的空间位置，试验结果找到了 4 1 的可视果实。c a oq 等p 谰双目彩色摄像机对草莓收获机器人进行了研究， 他将r g b 彩色信号转为l a + 色彩模型，能在自然状态下识别出草莓的位置、 方向和形状特征信息。k o n d a n 等【4 】研究樱桃番茄的收获机器人，提出了检钡4 樱 桃番茄位置的有效算法，即采用了双目立体成像技术，试验结果表明检测正确率 为7 0 。s l a u g h t e rd c 等i s 首先研究了利用室外自然光条件下拍摄的图像的色度 和亮度信息对桔子收获机械手进行导向，建立了一个利用彩色数字化图像中的颜 色信息从桔树上识别桔子的分类模型，其识别桔子的正确率为7 5 ，识别桔子形 心的误差率为6 ，速度基本能满足实际工作的需要，但精度较低。日本的 “k u b o t a ”公司【6 】研制成功了一种专门用于桔子收获机器人的机械手，该机械手 上装有一带频闪灯光的摄像机，摄像机在机械手的工作范围内找到水果后，机械 手自动移向水果，并利用负压将水果吸向机械手，然后剪断桔梗，完成采摘。德 田胜等 7 1 研制成功了用于西瓜收获机器人的智能搜索视觉系统，首先将摄取到的 西瓜图像从r g b 变换为h i s ，然后观察其色调和饱和度。色调直方图的峰值像 素数与峰值左侧的像素数之比随着西瓜成熟度的增加而减小，图像饱和度的平均 值随着西瓜成熟度的增加而线性下降。据此，可利用计算机视觉技术检测西瓜的 2 江苏大学硕士毕业论文 成熟度，从而指导收获机器人采收成熟的西瓜。孙明等【8 】为苹果收获机器人开发 了一套果实识别计算机视觉系统，并研究成功了一种使二值图像的像素分割正确 率大于8 0 的彩色图像处理技术。通过对果实、叶、枝、等的色泽信号浓度频率 图谱的分析，求出阈值，然后运用此值对彩色图像进行二值化处理。结果表明， 顺光和逆光条件变化，对目标的分辨率正确率影响很大。张树槐等 9 1 根据苹果的 形状特征从果树中找出苹果的研究，试验表明，该方法不受苹果品种及光线条件 的影响，可用来控制苹果收获机器人。为进一步提高检测精度，还利用苹果果实、 叶子和树枝存在温差这一特点，采集了苹果、叶子和树枝的热红外图像，并利用 遗传算法对图像进行识别，为全天候苹果收获机器人的研究创造了条件。高卫民 等【1 0 1 为了开发能对卷心蔬菜实施选择收获的机器人，根据在田间摄取的二维图像 中已卷心生菜和未卷心生菜的阴影面积分布不同这一特点，进行了卷心生菜识别 的研究。结果表明，该方法虽能识别出卷心菜及其大致位置，但有时精度不够。 村上则幸【1 1 1 开发出了可从田间所摄图像推算出卷心菜位置及球径大小的高速图 像处理算法，试验结果表明，对是否适于收获的判断精度为7 0 ，处理一帧含 1 1 个卷心菜的图像需8 8 s ，生产率还有待于进一步提高。 1 2 2 国内研究现状 国内利用计算机视觉技术在农业收获机器人方面的研究起步较晚，周云山等 1 2 1 研制了具有计算机视觉的蘑菇采摘机器人，使蘑菇生产从苗床管理到收获分类 实现了全过程自动化，由摄像机采集蘑菇，计算其面积、周长和中心坐标，面积 和周长用于蘑菇分类，中心坐标用于引导机械手采摘，但研究只是在二维平面内 的识别问题，尤其是对3 d 目标空间定位技术的研究特别少。2 0 0 1 年，南京农业 大学的张瑞合、姬长英等【13 】对自然环境下番茄的识别与定位进行了研究，他们根 据颜色特征识别从图像上识别番茄，利用双目立体视觉从两幅二维图像中恢复出 番茄的三维空间坐标，实验结果认为当目标与番茄的距离为3 0 0 - - - 4 0 0 r a m 时，深 度误差可以控制在3 - - , 4 ，他们主要利用比较成熟的图像分析技术，从实践意 义上验证立体视觉在农业果实收获过程中的可行性。他们在实现目标定位时摄像 机模型参数通过实验来直接估计，误差较大，而且在特征提取和立体匹配时采用 面积匹配的算法，这样对于自然环境中存在遮挡的情况下，面积匹配不但匹配时 间长而且误差大，遮挡严重的时候甚至无法进行匹配，另外他们所用的硬件设备 江苏大学硕士毕业论文 无法实现在同一台计算机上同时使用两台摄像机即实时的目的没有实现。2 0 0 4 年，江苏大学的郑小东、赵杰文等【1 4 】提出了基于形心特征匹配的双目立体视觉技 术，他们提出的算法只能处理图像中只有一个番茄的区域，如果有一个以上的番 茄区域相紧靠时，则把所有的区域看作是一个番茄的质心位置，这样误差很大。 从国内外有关文献来看，农业收获机器人的研究尚处于起步阶段，存在识别 和定位精度低，工作效率低等问题，大部分研究主要着重于在二维平面内的识别 和定位问题。尤其是在复杂环境下，提出科学有效的识别和定位算法，应用先进 的测试手段，还有大量的基础研究工作需要深入探索。针对上述情况，本研究以 自然环境下收获番茄为例，对成熟番茄果实的空间位置进行测定，构建双目立体 视觉传感器，对识别的成熟果实进行双目匹配搜索，通过三角测距原理确定空间 三维位置。为了解决因多个目标识别物纵深方向位置变化造成共轭图像匹配的不 适定问题，在双目匹配搜索中提出合理的约束规则从而可以获得唯一的被测目标 的空间坐标。对于数字成像过程中信号变化等因素带来的测距误差，用神经网络 模拟训练和学习，用学成的网络模型进行视觉测距的误差补偿，从而获得目标的 高精度三维信息。 1 3 研究内容和关键问题 1 3 1 研究内容 根据国内外研究状况可知，基于计算机视觉对自然环境下植株上的果实进行 识别并确定其空间位置的构想是可行的，国外已经以苹果、樱桃番茄等为对象进 行了相关研究，有些已经开发出相应的用于实验的自动化采摘装置。 本研究以番茄为研究对象用双目立体视觉技术进行成熟果实空间位置测定 的研究，对大棚生长的番茄分别在不同天气、不同时间进行图像采集，用v i s u a l c “6 0 开发软件进行处理，对处理结果进行分析和计算。对两路彩色c c d 摄像 机采集的图像，研究利用双目立体视觉技术如何对课题组成员已经识别出的成熟 番茄快速测定空间位置的方法。具体地讲，研究的主要内容有： ( 1 ) 对双目视觉系统的摄像机进行标定，建立图像与景物的对应关系，获 得比较精确的摄像机内外参数和两摄像机之间的最佳位置关系。 ( 2 ) 对图像中已识别出的成熟番茄进行特征提取。 4 江苏大学硕士毕业论文 ( 3 ) 选取适当的匹配方法，实现共轭图像特征点的准确匹配，针对自然环 境中番茄图像特征，尽量减少误匹配。 ( 4 ) 运用双目立体视觉技术，进行深度恢复。 ( 5 ) 将双目立体视觉技术恢复出来的成熟番茄空间坐标与实际的该成熟番 茄的空间坐标进行比较，在误差分析的基础上，建立b p 神经网络模型对定位误 差进行修正。 1 3 2 关键问题 1 摄像机标定。在双且立体视觉系统中，摄像机标定就是要解决祖机坐标 系与图像坐标系之间的关系以及确定两个摄像机之间的相对位置，获得摄像机的 属性参数建立成像模型。在双目立体视觉系统中摄像机标定的结果直接影响着摄 像机坐标与空间坐标的转换及空间坐标点的恢复精度。因此，摄像机标定是机器 人双目视觉定位系统的关键问题之一。本研究对摄像机内外参数进行分离标定， 在内参数标定时采用一种灵活的新的标定方法一张氏平面标定法，为了获得更 准确的摄像机模型，实验时模板选取典型的5 个位置进行标定实验，通过分析每 个位置分别选取9 个不同的特征点进行内参数标定计算。外参数标定通过对已知 特征点进行摄像，在大量得实验数据对比中确定两摄像头之间得最佳距离范围。 2 特征提取。特征提取是为了得到匹配赖于进行的图像特征，选择合理的 匹配特征，适当的特征提取可以大大减少歧义匹配，因此，特征提取也是机器人 双目视觉定位系统的关键问题之一。本研究考虑到在识别番茄的过程中，由于图 像采集质量影响、识别时算法本身的问题和遮挡情况等多方面原因，不可避免造 成番茄边缘信息有所损失所得到的番茄轮廓线并不是像番茄本身一样圆滑，为 了解决这些问题课题研究提出采用分水岭变换法对多果重叠图像的果实分割，同 时对分割后的图像用其外接矩形的形心代替番茄果实的形心坐标以提取图像的 形心特征。 3 立体匹配。共轭图像中目标匹配和其误差设计中存在诸多困难，如果采 用特征匹配，番茄的各种特征中。面积呈现随机不同，很难确保没有面积相同韵 番茄出现，圆度特征对分割算法的依赖性很大，很容易造成误匹配，所以特征匹 配不仅算法复杂，而且程序实现困难。因此共轭图像中目标的匹配也是机器人双 目视觉定位系统的关键问题之一。本研究采用基于番茄形心的特征匹配，为了避 5 江苏大学硕士毕业论文 免遮挡、阴影、噪声等外界环境的影响，研究提出用番茄图像轮廓的外接矩形的 形心来代替番茄形心提取特征，同时在匹配时采用三个约束条件即平行约束、唯 一性约束、视差剃度约束，在利用平行约束条件时考虑到实际自然环境下番茄遮 挡等因素的影响造成误匹配，研究提出选取适当的误差带，这样既降低误匹配的 概率又减少匹配的时间以达到快速匹配的目的。 4 误差修正。在番茄收获机器人视觉系统中采用平行光轴测距原理，但在 实际应用中左右摄像机位置关系不可能完全平行放置。由于摄像机光学系统设计 和加工存在误差，获取图像包含了各种几何变形( 即径向畸变、切向畸变和薄棱 镜畸变) 。另外，立体匹配是在受到几何畸变和噪声干扰等影响的图像间进行的 由于遮挡效应、约束原则的不严格等原因不可避免有误匹配的存在。考虑上述原 因必须对定位误差进行检测和修正，本研究在对研究对象进行误差分析的基础上 提出采用神经网络的方法进行误差修正，通过对8 0 组数据进行训练，得到一个 网络模型来修正系统中许多不确定因素产生的误差，然后用2 0 组测试样本进行 仿真实验。 1 4 本章小结 本章比较全面地介绍了国内外农业收获机器人的研究和应用现状，结合课题 研究的实际情况提出基于机器视觉的番茄收获机器人目标定位的方法，详细讨论 了该方法中的研究内容和关键问题，论述了研究的目的、意义及该技术的应用前 景。 6 江苏大学硕士毕业论文 第二章机器人视觉系统组建 课题组在江苏大学农业装备研究院，以k h 一1 0 0 型自动引导( a g v ) 小车、 日本安川公司的m o t o m a n 机器人及其控制系统为载体，进行一系列机器人领 域的研究。要求机机器人对温室栽培的番茄识别出其成熟果实并确定成熟番茄的 空间位置然后控制机器人手臂和末端执行器完成采摘动作。图2 1 是我们研究的 番茄收获机器人系统示意图，系 统的硬件部分主要由m o t o m a n 机器人及其配套的机器人控制 器、控制计算机、视觉系统及 k h - 1 0 0 型a g v 小车等组成。视 觉系统的主要任务是识别成熟番 茄并获取它的空间位置信息，由 传感器装置和相应的算法来实 图2 1 番茄收获机器人系统示意匿 现。 2 ，1机器人视觉方法的选择 获取空间三维场景的距离信息是计算机视觉研究中的基本内容，目前，获取 距离的方法和技术有很多，主要分为两大类：被动视觉和主动视觉。被动视觉不 需要特殊的光源，直接用摄像机摄取物体的图像，然后用计算机对图像进行处理， 进而在视差中恢复物体的三维信息，被动视觉又可分为单目视觉和多目视觉。单 目视觉就是用一幅图像感知物体的形状。双目视觉是多目视觉中最简单常用的方 法，它不需要专门的主动光照射装置，通常在自然光或一定环境光照明的条件下， 由分离一定距离的两个摄像机各自摄取对象的图像，找出空间物点在两个图像中 的对应点，就能得到点的距离信息。主动视觉是用光电感知豹方法来获取物体的 距离信息，用光电技术来获取距离的方法很多如飞点时间法、主动式光学三角测 量法和莫尔技术法等，它需要特殊的光源( 一般为激光光源) ，并且需要对光源 的位置及亮度进行控制。 7 江苏大学硕士毕业论文 综上所述，计算机视觉方法很多，不同的方法有其不同的适用范围。主动视 觉的方法测量精度高，但由于需要特殊的光源，有的还需要制作光栅，因此它的 设备比较昂贵，应用范围较小。在被动视觉中，单目视觉只能恢复出三维物体的 表面朝向，要相获得物体的三维结构，必须应用假设条件进行约束，这样获得的 误差较大。因此，在本研究中，我们选择双目立体视觉的方法来获取成熟番茄的 空间坐标，其主要原因为： ( 1 ) 价格便宜。双日立体视觉系统的硬件组成比较简单，不需要昂贵的设 备。 ( 2 ) 计算结果精度较高。由文献【2 5 】可知，用双目立体视觉技术计算的结果 其绝对误差可达到0 3 m m ，完全达到我们的要求。 ( 3 ) 不需要对光源进行特殊控制，便于推广。 2 ，2 双目立体视觉的内容 一个完整的双目立体视觉系统包括以下六个方面的内容： ( 1 ) 图像获取。立体图像的获取就是用摄像机获取3 d 物体的2 d 图像， 它是立体视觉的物质基础。图像获取的质量受拍摄位置、光照条件、摄像机几何 特性等因素的影响很大，因此，在摄取图像时不但要满足应用要求，而且要考虑 视点差异、光照条件、摄像机性能及景物特点等因素的影响以有利于立体计算。 ( 2 ) 摄像机标定。三维物体的位置，形状等几何信息是从摄像机获取的图 像信息中得到的。为了获取空间点到摄像机图像像素点的对应关系，摄像机的标 定必不可少。摄像机标定的目的是建立有效的摄像机成像模型，确定摄像机的内 外属性参数，以便正确建立空间坐标系中物体的空间点与像点之间的对应关系。 建立一个有效的摄像机模型，除了能够精确地恢复出空间物体的三维信息外，还 有利于解决立体匹配问题。双目立体视觉的两个摄像机要分别进行标定，在从 2 。d 计算机图像坐标推导3 d 信息时，如果摄像机是固定的，只需标定一次即可。 ( 3 ) 特征提取。为了确定场景中同一物点在两幅不同图像中的对应关系， 要选择合适的图像特征进行匹配，目前尚没有一种普遍适用的理论可运用于图像 特征的提取，从而导致了匹配特征的多样性。常用的匹配特征主要有点状特征、 线状特征和区域特征等。一般来讲，大尺度特征含有较丰富的图像信息，在图像 江苏大学硕士毕业论文 中的数目较少，容易得到快速匹配，但它们的定位精度差，特征提取与描述困难。 而小尺度特征数目较多，其所含信息较少，因而在匹配时需要较强的约束准则和 匹配策略，以克服歧义匹配和提高运算效率。良好的匹配特征应具有可区分性、 不变性、稳定性、唯一性以及有效解决歧义匹配的能力。 ( 4 ) 立体匹配。立体匹配是对所选特征的计算，建立特征间的对应关系， 将同一个空间物理点在不同图像的映射点对应起来，并由此得到相应的视差图 像，它是双目立体视觉中最重要也是最困难的问题。当空间3 - d 物体被投影为 2 d 图像时，同一景物在不同视点下的图像会有很大不同，而且场景中的很多因 素如光照条件、景物几何形状和物理特性、噪声干扰和畸变、摄像机特性等，都 被综合成单一图像中的r g b 值，因此要准确解决如此多干扰因素是十分困难的， 在复杂场景中，如何提高算法的去歧义匹配和抗干扰能力，降低实现的复杂程度 和计算量是立体匹配的关键所在。 ( 5 ) 深度恢复。已知立体成像模型和匹配视差后，三维距离的恢复是很容 易的。影响距离测量的因素主要有：摄像机标定误差、特征检测与匹配定位精度。 一般来讲，距离的测量精度与匹配定位精度成正比，与摄像机基线长度成反比， 要设计一个精确的立体视觉系统必须综合考虑各方面的因素，保证各个环节都有 较高的精度。 ( 6 ) 误差修正。立体匹配是在受到几何畸变和噪声干扰等影响的图像间进 行的，另外由于遮挡效应、约束原则的不严格性等原因都会在视差图中产生误差， 对误差的检测和修正是重要的后处理内容，它需要根据误差产生的原因和方式选 择合适的手段进行修j 下。 2 3 双目立体视觉测量原理 本文根据现实中最普遍的环境，选择在平行立体视觉系统中，从不同视点获 取物体的序列图像。假设摄像机已标定好，而且图像上摄像机的光心基本在图像 的正中，水平和垂直方向伸缩因子一致，取其中相邻的两幅图像，这样就可以简 化为双目视觉成像模型( 如图2 2 ) ，其e o f 为摄像机的焦距，曰为两摄像头之间 的距离即双目立体视觉系统的基线。 9 江苏大学硕士毕业论文 p 为空间任意一点，在世界坐标系下的坐标为( x ，y ，z ) 。假设其中一个摄像 机坐标系统和世界坐标系统重合，则该摄像机像平面与世界坐标系的平面平行， 如图2 2 所示，两个摄像机相同且它们坐标系统的各对应轴精确平行( 主要光轴 平行) ，只是它们的原点位置不同。 p 点在两摄像机坐标系下的坐标分别为( 五，巧，互) 、，r ，z ，) 其中 z f = z ，= z 。 盈像l 。【| 。y a 图像， 扛y 0 x ! ：一 l b 多懈。 ；。 图2 2 双目视觉成像原理示意图 将第一个摄像机叠加到现实世界坐标系上( 两系统原点重合) ，则表不第一 个摄像机移到了世界坐标系统的原点，而第二个摄像机和点在保持相对几何关系 下也会跟着移动。 x ，= 粤( ，一z ) ( 2 1 ) 如果将第二个摄像机移到世界坐标系的原点，则p 点的x 坐标可表示为， 弘等( 一) ( 2 2 ) 因为基线长度是b 所以有， x = x i + b ( 2 3 ) 将( 2 3 ) 代入到( 2 2 ) 中，得到： x ，+ 口= 等( 厂一z ) ( 2 4 ) n ( 2 4 ) 减去( 2 1 ) 可解得z 。 纠一篇 ( 2 5 ) i o 江苏大学硕士毕业论文 令d = x ，一x ，( 在双目立体视觉系统中d 被称作视差) ，n ( 2 5 ) 式可以转化 为： z ：，一掣 ( 2 6 ) 。 d 、 ( 2 6 ) 式把物体与像平面的距离z 与视差d 直接联系起来，视差的大小与深 度有关，所以视差中包含了3 d 物体的空间信息。如果视差d 可以确定，且基线 b 和焦距，已知，就可以计算出点的坐标。 图2 3 世界坐标与摄像机坐标系统重合时的投影成像示意图 根据图2 3 中世界坐标系与摄像机坐标系重合时的投影成像示意图和小孔成 像原理，则有 x = 冬u z )( 2 7 ) 3 】，：尝( 厂一z )( 2 8 ) 根据式( 2 6 ) 、( 2 7 ) 和( 2 8 ) 可以获取空间点的坐标值，这样空间点尸的 三维坐标就可以唯确定。 2 4 机器人视觉系统的硬件构成 2 ，4 ，1 硬件构成 在番茄收获机器人中双目立体视觉系统的主要任务是用计算机来模拟人的 视觉功能从客观事物的图像中提取信息，进行处理并加以理解，最终从自然环境 下采集的图像中识别出成熟番茄目标，并获得成熟番茄的空间坐标位置。双目视 觉立体系统的硬件主要包括光源、两个面阵c c d 摄像头、图像采集卡和计算机 等组成( 如图2 4 ) 。 江苏大学硕士毕业论文 成熟番茄果实和茎、叶片的最大反射率的光波长分别为6 0 0 n m ，7 5 0 n m ，本 研究所选的两个摄像头都要求相应的光谱区间要包括5 5 0 - - 8 0 0 n m ，采用美国 p “m 打公司生产的c c d 摄像头，型号为t m c 一7 d s p ，c c d 面阵为j 1 ，像素尺 寸8 4 u r n 9 8 u m ，像素个数为6 4 0 4 8 0 ，r 、g 、b 分路输入，精度较高，噪声较 小，镜头选用了最小焦距( 厂= 8 r a m ) 和大视角的镜头。 图2 4 双目视觉系统的硬件组成 图像采集系统和计算机选用与之配套的加拿大m a t r o x 公司生产的匿像采集 系统( m e t e o r 4 s i g h t l i ) ，a i d 转换精度较高，而且可以同时对两路c c d 进行连 续采集和实时处理，以适应在空间目标定位时实现实时的目的。 2 4 2 云台设计 番茄收获机器人视觉系统的主要任务是在自然环境条件下识别出的成熟番 茄果并获取其空间坐标信息，在课题研究中成熟番茄的识别由课题组的其它成员 完成，本研究主要是完成目标果实的空间定位，为下一步机器人手臂的控制和路 径规划打下良好的基础。首先要设计一个机械云台将两个c c d 摄像头固定在合 理的位置以适应对空间物体进行跟踪和定位。云台有2 个自由度( 即1 个转动自 由度和1 个平移自由度) ，以便调节两摄像头间的距离和相对位置，图2 5 就是 课题的双目视觉云台的实物图。 图2 5 云台实物图 江苏大学硕士毕业论文 该机械云台上呈光轴平行安装两台型号同为t m c 7 d s p 的c c d 摄像头，这 样安装的好处是：视觉系统的有效视场较大；c c d 对目标物体位姿等参数进行 计算时，简化了坐标转换从而大大加快了计算速度。 2 5 本章小结 目前距离感知的方法和技术很多，本章从视觉方法的选用双目立体视觉 方法着手，阐述了双目立体视觉的基本组成和测距原理，介绍了在番茄收获机器 人中双目视觉系统的硬件构成，尤其对机器人视觉系统中的云台的设计进行了介 绍，确定两摄像头呈光轴平行安装在云台上。 江苏大学硕士毕业论文 第三章机器人视觉系统的摄像机标定 3 1 摄像机标定概述 空间物体的三维几何位置与其在图像中对应点之间的相互关系是由摄像机 成像的几何模型决定的，这些几何模型的参数就是摄像机的参数，为了得到这些 参数而进行的实验与计算的过程称为摄像机标定。番茄收获机器人的视觉系统要 依据两幅不同视点的图像提取物体的三维几何信息，因此我们必须进行摄像机标 定以获得摄像机的位置、属性参数。建立一个有效的摄像机模型，除了能够精确 地恢复出空间景物的三维信息外，还有利于解决立体匹配问题。目前，摄像机标 定技术可以分为两类，一是传统得摄像机标定技术，二是自标定技术。 传统的摄像机标定是利用一个标准参照物与其对应图像的对应约束关系来 确定摄像机模型的参数，可以用一幅以上的图像进行标定，已经有较成熟的方法和 理论。较为典型的就是t s a i t ”1 提出的两步法，它采用径向准则约束r a c ( r a d i a l a l i g n m e n tc o n s t r a i t ) ，第一步利用最小二乘法求解超定线性方程，给出外部参数； 第二步求解内部参数，如摄像机无透镜畸变，可由一个超定线性方程解出，如存 在一个以二次多项式近似的径向畸变，则可用一个三变量的优化搜索求解，该方 法先用径向准则约束得到部分外参数的精确解，然后将其余外部参数与畸变修正 参数进行迭代求解，精度较高，但计算量较大，而且只考虑径向畸变，当切向畸 变较大时不实用。另外，该方法在非共面标定中，求解出的旋转矩阵不满足正交 条件。 摄像机自标定技术于1 9 9 2 年h a r t l e y 和f a u g e r a s 等首次提出，目前已成为 计算机视觉领域的研究熟点之一。它不同于传统的摄像机标定技术，它无须利用 一个标准的参照物以获得准确的三维信息，而是通过控制摄像机运动得到图像序 列，试图利用从图像序列的匹配信息中得到的约束关系来计算摄像机模型的参 数。它非常适用于光学参数( 如焦距、放大倍数等) 随工作任务的变化而变化的 场合，而且使在线、实时地矫正摄像机模型参数成为可能。目前自标定的方法大 多数是基于绝对二次曲线( t h ea b s o l u t ec o n i c ) 或其对偶绝对二次曲线( t h e a b s o l u t eq u a d r i c ) 的方法。如m a y b a n k 和f a u g e r a s 提出的利用射影空间绝对二 江苏大学硕士毕业论文 次曲线的不变性推导出关于内参数的k r u p p a 方程，用k r u p p a 方程给出约束关系 的代数描述，控制摄像机作几次运动即可求得摄像机内参数矩阵，该方法计算复 杂，对噪声很敏感。为了降低复杂性，有人提出基于主动视觉的摄像机自标定技 术，如马颂德和m o o n s 等提出让摄像机纯平移运动、h a r t l y 提出纯旋转运动、 a r m s t r o n g 等提出只在一个平面上运动，但这些方法都要求具有主动视觉平台， 实现起来价格昂贵。 目前已有各种不同的标定方法，各有特点，分别适用于不同的场合。在各种 各样的标定方法中往往标定效率和标定精度之间存在矛盾，选取何种标定方法需 要根据不同的任务，而且不同的应用背景对标定技术也提出了不同的要求。本研 究是对空间物体的定位，因此相对于某一个参考坐标系的绝对定位精度就显得特 别重要，为适应番茄收获机器人视觉系统的需要，考虑到自标定技术需要主动视 觉平台，价格昂贵，不易实现，因此本研究提出一种介于传统标定方法和自标定 方法之间的新的、更灵活的方法内外参数分离的标定方法，它避免了传统标 定方法的操作繁琐，算法复杂等缺点，又较自标定方法精度高，而且不需要主动 视觉平台，能达到快速简单、有效合理的效果。 3 2 标定中的各种坐标系 图像采集中需要将客观世界的3 d 场景投影到摄像机的2 一d 像平砸上，这个 投影过程可用坐标变换来描述。成像变换涉及到不同坐标系之间的转换，这些坐 标系的规定在立体视觉中非常重要，包括世界坐标系、摄像机坐标系、图像坐标 系、成像平面坐标系等。物体的空间坐标变换为计算机的数字变换，经过了四次 变换：首先，世界坐标系到摄像机坐标系的转换；其次，摄像机坐标系到无失真 像平面坐标的转换，满足三角关系；再次，从无失真的像平面坐标到有径向和切 向畸变的实际像平面坐标的转换；最后，c c d 的实际图像坐标变换到计算机图 像坐标。 ( 1 ) 世界坐标系。假想的一个固定的参考坐标系o x y z ，一般采用三维直 角坐标系。 ( 2 ) 摄像机坐标系。以摄像机为中心制定的坐标系0 一x y z ，一般常取摄像机 的光轴为z 轴。 江苏大学硕士毕业论文 ( 3 ) 像平面坐标系。成像平面上的直角坐标系o t - - x y ，原点是相机坐标系的 z 轴与成像平面的交点。 ( 4 ) 计算机图像坐标系。在计算机内部数字图像所用的固定在图像上的二维 坐标系0 一 掰，一般也采用直角坐标系。通常将原点霉于图像的左上角，其m 轴 向右，而轴向下，在数字图像中，m 变为列数，变为行数i 。 根据以上几个坐标系之间的相互转换关系可以得到不同的成像几何模型，也 称为摄像机模型。 3 3 标定的摄像机模型 通常我们使用的成像系统是透镜成像， 其成像原理如图3 1 ，其中：，为透镜的焦距， v 为透镜的像距，“为透镜的物距，且 ll1 十+ 一。 厂 ”v 风l ；多多岁一。 f 了 i i 1： 图3 1 摄像头成像原理 当“ ，时，则v “f ，这时可以将透镜成像模型近似地用针孔模型代替。理 想的透镜成像是针孔模型，物与像之间满足相似三角形关系。在实际应用中， 由于摄像机光学系统存在加工误差，物点在摄像机像面上实际成像与理想成像之 间存在光学畸变误差即径向畸变和切向畸变，成像模型如图3 2 所示。