（机械电子工程专业论文）基于视觉的移动机器人定位系统研究.pdf

摘要 摘要 机器人由诞生至今，在短短5 0 年问已历经三代，并迅速走进我们的日 常生活，全面进入了智能机器人阶段。机器人技术的迅猛发展，迫切的要求 我们开发一种有效的环境信息感知方法，以实现机器人与环境的互动、把机 器人智能提高到更高的层次。而在众多的感知方法中，计算机视觉无疑是最 具挑战性，却又最具吸引力的一种，有着广阔的运用前景。 本文首先设计机器人双目视觉的机构平台，以实现系统的二自由度运 动；并制作系统控制电路，以单片机为控制单元通过串口实现上位机对系统 电机的位置控制。 然后介绍摄像机的成像模型，比较c c d 摄像机标定法，并选用其中简 单实用的张正友标定法对系统中的两个c c d 摄像机进行标定。在标定实验 中，本文对一些具体的步骤进行简化和改进。以张正友标定法为基础，本文 又提出一种双目系统的摄像机相对位姿标定方法，并通过实验，对双目系统 进行位姿标定，分析标定结果。 之后，基于双目视觉系统，提出一种双目系统计算物体深度信息的解析 解方法一一投影法，并进行大量的实验。通过对计算结果的分析和各种算法 的直观比较，来验证本文方法的有效性，证明前面标定方法及标定结果的准 确性。 最后，本文以颜色检测为基础，对一些简单平面图形的深度和位姿进行 计算识别，以为下一步的研究打下坚实的基础。 关键词双目视觉：摄像机标定：深度计算；位姿识别 a b s t r a c t b yf a r ，t h er o b o th a sb e e nt h r e eg e n e r a t i o n si nj u s t5 0y e a r sf r o mi t sb o r n t o d a y ，t h er o b o ti sc o m i n gi n t oo u rl i f er a p i d l y ，a n di n t e l l i g e n t i z e dr o u n d l y t h e g r e a td e v e l o p m e n to fr o b o t i c sa s k su si m m i n e n t l yt od e v e l o pav a l i dt e c h n i q u e g e t t i n go u t w o r l di n f o r m a t i o nt i m e l yf o rr o b o t s ，a n dm a k i n gr o b o ti n t e l l i g e n tt o h i g h e rl e v e l i na l lk i n d s o f t e c h n i q u e s ，t h ec o m p u t e rv i s i o ni st h em o s tc h a l l e n g e a n da t t r a c t i o n ，c a nb eu s e dw i d e l y f o rt h a t ，i nt h i s p a p e r ，id e s i g n st h ec o n s t r u c to fr o b o t sb i n o c u l a rv i s i o n ， m a k i n gs y s t e mm o v i n gi n2 - d o f ，a tf i r s t ；a n dd e s i g n st h ec o n t r o lp c b ，m a k i n g p o s i t i o nc o n t r o lo fs y s t e mt h a tc o n t r o l l i n gi nas i n g l e c h i p ，c o m m u n i c a t i n gi nt h e s c i t h e n ，t h ep a p e ri n t r o d u c e st h ec a m e r ai m a g i n gm o d e l ，m a t c h e st w ok i n d so f c c dc a m e r ac a l i b r a t i o n ，s e l e c t st h es i m p l ea n da p p l i e dm r z h a n gc a l i b r a t i o n ， a n dc a l i b r a t e st h et w oc c dc a m e r a so fs y s t e m i nc a l i b r a t i o ne x p e r i m e n t ，im a k e s o m eu s e f u l c h a n g e s t o p r o c e s s o f c a l i b r a t i o n b a s e do nt h e m r z h a n g c a l i b r a t i o n ，t h ep a p e rs u m su pam e a n s t oc a l i b r a t et h ep o s i t i o nb e t w e e nc a m e r a s ， a n dc a l i b r a t e st h eb i n o c u l a rv i s i o ns y s t e m sc a m e r a s ，a n a l y z e st h ec a l i b r a t i o n r e s u l t l a t e r , t h ep a p e rd e d u c e st h ea n a l y t i cm e a n st o c a l c u l a t et h es c e n e r y3 - d i n f o r m a t i o nb a s e dt h eb i n o c u l a rv i s i o n s y s t e m ；m a k e sa l o to fe x p e r i m e n t s ， m a t c h i n ga n da n a l y z i n gw i t hk i n d so fm e a n so fr e s u l t s ，t op r o v et h em e a n sa n d c a l i b r a l i o nr e s u l t s a t l a s t ，d i v i d i n gt h ec o n j u g a t e dp i c t u r e sf r o md i f f e r e n tc o l o r ，t h ep a p e rg e t s t h ep o s i t i o ni n f o r m a t i o no fs o m es i m p l ep l a n ef i g u r e s t h ew o r ko ft h i sp a p e r b u i l d sas o l i df o u n d a t i o nf o rt h ed e v e l o p i n gr e s e a r c h k e y w o r d s b i n o c u l a rv i s i o n ，c a m e r ac a l i b r a t i o n ，d e e p n e s sc a l c u l a t i o n ， p o s i t i o nr e c o g n i z e 第1 章绪论 第1 章绪论 1 1 课题来源及研究的目的和意义 本课题属于2 1 l 工程二期建设项目“多移动机器人协调控制”中“基于 视觉的移动机器人定位系统”子课题的基础研究。 机器人“r o b o t ”一词由捷克斯洛伐克作家萨佩克于1 9 2 0 年在其作品 洛桑万能机器人公司中最早使用。之后，随着控制理论的产生和计算机 的发明，1 9 5 9 年美国人英格伯格和德沃尔制造出世界上第一台真正实用的 工业机器人“尤尼梅特”并应用于汽车工业，机器人的历史从此开始。 机器人技术研究发展至今，已经历了示教再现型机器人和感知型机器人 两个阶段，并进入第三个阶段一一智能型机器人阶段。示教再现型机器人 必须由入操纵机械手或通过控制器发出指令让机械手臂动作，以便机器人在 动作过程中将这一过程存入记忆装置。而当机器人工作时，它只能再现人教 给它的动作。这类机器人不具有外界信息的反馈能力，很难适应变化的环 境。感知型机器人对外界环境有一定感知能力，如具有简单的听觉、触觉等 功能。机器人工作时，能够根据传感器获得的某一特定信息，适当调整自己 的工作状态，保证在适应环境变化的情况下完成工作。 而智能型机器人则对环境有更强的感知能力，能独立判断和行动，能记 忆、推理和决策，从而能够在未知环境中完成更加复杂的任务。智能机器人 的“智能”特征就在于它具有与外部世界一对象、环境和人相适应、相协 调的工作机能。从控制方式看，智能机器人不同于工业机器人的“示教、再 现”，不同于遥控机器人的“主一从操纵”，而是以一种“认知一适应”的 方式自律地进行操作。 传统的智能机器人对环境的感知主要是通过集成多个简单传感器( 如超 声波传感器、光电传感器、力传感器) 信息，并利用已建立的数学模型对这 些信息进行融合还原，形成对外部环境某一特征的一种表达方式睇j 。但这种 方法存在很多难以解决的问题，例如多传感器集成与信息融合过程中的误差 问题【“，不同类别的传感信息如何融合问题等等。重要的是它使得系统在硬 件结构上变得相当复杂，因为当任何一个传感器出现问题时都会导致整个系 统的瘫痪，系统的可靠性也随之降低。 而且，真实外部环境特征是复杂和易变的，机器人仅仅通过环境的某一 特征难以完全感知外部环境。随着机器人技术的发展，智能机器人要达到更 高的智能水平，更好的适应外部环境，就必须能更准确、快速的感知整个外 部环境，如事物的形状、大小、颜色、位置等特征。这仅靠各种简单的传感 器是显然难以满足需求的。因此，基于视觉的机器人控制理论研究开始受到 广泛的重视。 由于机器人视觉系统可以准确、直观地获取大量外部信息，而且易于自 动处理，也易于同人类可视的信息集成。因此，在现代自动化生产过程中， 人们将机器人视觉系统广泛地用于工况监视、成品检验和质量控制等领域。 机器人视觉系统的特点是可以提高机器人在任务执行过程中的柔性化和自动 化程度。在一些不适于人工作业的危险工作环境或人工视觉难以满足要求的 场合，机器人视觉还可以替代人工视觉。而且通过机器人视觉得到的信息易 于实现信息集成，在新兴的机器人技术领域一一多智能体机器人系统 ( m a r s ，m u l t i - a g e n tr o b o ts y s t e m ) 3 1 中有广阔的应用前景。国外在机器人 视觉方面的研究已经取得了很多成果，如后面将要提到的机器人e r i 和 q r i o 。而国内在这方面的技术则比较薄弱，需要加强研究力度，做好知识 积累。 本课题研究的目的就是设计一个机器人视觉系统平台，使其能识别周围 环境、建立三维模型，并能通过标准接口为机器人提供环境信息，以便控制 机器人到达目标，完成任务。 图1 1 机器人视觉系统、外界环境和机器人的交互作用框图 f i g 1 1f i g u r eo f v i s i o ns y s t e m ，e n v i r o n m e n ta n dr o b o ta c t i n ge a c ho t h e r 实际上，机器人技术包含着十分广阔的研究领域，它需要各个学科为其 提供研发的知识基础。这些学科包括机构学、运动学、动力学、控制理论、 系统规划、传感技术、计算机科学和仿生学等。机器人技术代表了机电一体 一机人制11二点十j 兰一譬曩犷馨一 丢 竺 兰 ) 1 一r if 兰 第l 章绪论 化的最高成就。目前，机器人技术不仅被广泛应用到工业、农业、国防和科 技领域，还迅速地向智能化方向发展，并已丌始进入寻常百姓家。机器人技 术的出现和发展，不但使传统的工业生产和科学技术研究发生根本性的变 化，而且将对人类的社会生活产生深远意义的影响。而随着机器人技术的不 断发展和机器人视觉系统自身的迅速完善，机器人视觉系统必将在整个机器 人系统中发挥无法取代的重要作用。 1 2 国内外在该方向的研究现状及分析 1 2 1 机器人视觉系统简介 机器人视觉系统是指用计算机来实现人的视觉功能，也就是用摄像机和 计算机来来模仿人类的视觉系统，通过对摄像机中二维成像的分析来对该物 体进行三维理解。而所谓三维理解是指观察主体对被观察对象的形状、大 小、材质、运动特征( 方向和速度) 以及与观察主体的距离等信息的理解。 机器人视觉系统的输入装置就是摄像机，它把三维的影像作为输入源， 即输入计算机的就是客观世界的二维投影。如果把三维客观世界到二维投影 像看作是一种正变换的话，则机器人视觉系统所要做的是从这种二维投影图 像到三维客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客 观世界。机器人视觉系统主要由三部分组成：图像的获取、图像的处理和分 析、输出或显示。 图像的获取实际上是将被测物体的可视化图像和内在特征转换成能被计 算机处理的一系列数据，这个过程是由数字摄像机和图像采集卡共同完成 的。随着上世纪6 0 年代电荷耦合装黄( c c d ) 的发明，c c d 相机上的光敏 二极管阵列已经可以把图像光信号直接转化为数字信号。由于c c d 相机具 有结构简单、体积小、可靠性好、图像光信息直接数字化等特点1 4 】【，因而 成为现在最常用的机器人视觉传感器。 在机器人视觉系统中，环境三维信息的获得主要依赖于图像的处理和分 析，它包括图像增强与平滑、边界锐化与提取、图像识别与理解等内容。 图像的增强用于调整图像的对比度，突出图像中的重要细节，改善视觉 质量。通常采用灰度直方图修改技术进行图像增强。而图像的平滑处理技术 即图像的去噪声处理，主要是为了去除实际成像过程中因成像设备和环境所 造成的图像失真，提取有用信息。平滑处理的方法主要有线性滤波和非线性 啥尔滨工业大学丁学硕士学位论文 滤波两种。其中，线性滤波以w i e n e r 滤波和卡尔曼滤波为代表。由于线 性滤波存在计算复杂，不便于实时处理等缺点，著名学者t u k e y 于1 9 7 1 年提出非线性滤波器中值滤波器，即把局部区域中灰度的中值作为输出 灰度，并将其与统计学理论结合起来，使用迭代方法，比较理想地将图像从 噪声中恢复出来，并且能保护图像的轮廓边界，不使其变模糊。近年来，非 线性滤波理论在机器人视觉领域己有了广泛的应用。 图像边界锐化与提取又口q 做图像的边界检测，主要是先加强图像中的轮 廓边缘和细节，形成完整的物体边界，然后将物体边界从图像中分割出来以 达到将表示同一物体的图像区域检测出来的目的。边界是图像中目标物体最 基本的特征之一，这一特征的提取效果对图像的分析、理解等深层次处理有 着重要的影响，因此，边界检测技术一直是计算机视觉研究中的基础课题之 - - 6 1 。 图像的识别过程实际上可以看作是个标记过程，即利用识别算法来辨 别景物中已分割好的各个物体，给这些物体赋予特定的标记，它是机器视觉 系统必须完成的一个任务。按照图像识别从易到难，可分为三类问题。第一 类识别问题中，图像中的像素表达了某物体的某种特定信息。如遥感图像 中的某一像素代表地面某一位置地物的一定光谱波段的反射特性，通过它即 可判别出该地物的种类。第二类问题中，待识别物是有形的整体，二维图像 信息已经足够识别该物体，如文字识别、某些具有稳定可视表面的三维体识 别等。但这类问题不像第一类问题容易表示成特征矢量，在识别过程中，应 先将待识别物体正确地从图像的背景中分割出来，再设法将建立起来的图像 中物体的属性图与假定模型库的属性图之间匹配。第三类问题是由输入的二 维图、要素图、2 5 维图等，得出被测物体的三维表示。这里存着如何将隐 含的三维信息提取出来的问题，是当今研究的热点之一。 二维图像信息的三维还原，必然要求以成像模型为基础对摄像机参数进 行标定。摄像机标定就是建立图像阵列中的像素位置和场景点位置之间的关 系 7 1 。因为每个像素都是通过透射投影得到的，它对应于与场景点的一条射 线，而摄像机标定就是确定这条射线在场景绝对坐标系中的方程。摄像机标 定既包括外部参数标定又包括内部参数标定。这是因为，建立图像平醯坐标 和绝对坐标之问的关系，必须首先确定摄像机的位置和方向以及摄像机常 数，建立图像阵列位置( 像素坐标) 和图像平面位置之间的关系，必须确定主 点的位置、纵横比和透镜变形。 第1 章绪论 1 2 2 计算机视觉的发展概况 计算机视觉是在2 0 世纪5 0 年代从统汁模式识别开始的，当肘主要集中 在二维图像分析和识别上，如光学字符识别，工件表面、显微图片和航空图 片的分析和解释等。6 0 年代，r o b e , s 以积木世界为研究对象，通过计算机 程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结 构，并对物体形状及物体的空间关系进行描述，开创了三维计算机视觉研究 的先河【引。 7 0 年代中期，麻省理工学院( m i t ) 人工智能( a i ) 实验室正式开设“机器 视觉”( m a c h i n ev i s i o n ) 课程，由国际著名学者b k 。p h o r n 教授讲授。 同时，m i ta i 实验室也吸引了国际上许多知名学者参与机器视觉的理论、 算法、系统设计的研究。其中的d a v i dm a r r 教授于1 9 7 7 年提出了不同于 “积木世界”分析方法的m a r r 计算视觉理论( m a r r c o m p u t a t i o n a lv i s i o n ) ，系 统地概括了心理生理学、神经生理学等方面业已取得的所有重要成果，建立 了计算机视觉的理论框架，是视觉研究中迄今为止最为完善的视觉理论。 m a r r 的视觉理论使计算机视觉研究有了一个比较明确的体系，并大大推动 了计算机视觉研究的发展。 计算机视觉在2 0 世纪8 0 年代成为全球研究热点，获得了蓬勃发展，新 概念、新方法、新理论不断涌现，比如，基于感知特征群的物体识别理论框 架，主动视觉理论框架，视觉集成理论框架等。 现有的绝大多数立体视觉系统均采用双臼视差( b i n o c u l a rd i s p a r i t y ) 原 理。双目视差简称视差，是我们从不同位置观察客观三维景物而产生的位置 差。人类双眼的深度感知功能，就是由双目视差而形成。基于视差理论的计 算机立体视觉，就是运用两个或者多个摄像机对同一景物从不同位置成像获 得立体图像对，并通过各种算法匹配出共轭成像点，从而计算出视差，然后 采用基于三角测量的方法恢复深度信息。 根据视差理论，确定三维景物的深度需要在立体像对上确定共轭成像 点，也即匹配特征的提取。目前尚没有一种普遍适用的理论可运用于匹配特 征的提取，导致了立体视觉研究中匹配特征的多样性。常用的匹配特征有图 像灰度、边缘、亮度峰值、重一i i , 、高阶特性等。 标定出摄像机的内外参数是利用立体图像对视差计算三维信息的先决条 件。在摄像机标定方面，二步法是较经典的算法1 8 l ，但其要求使用立体模板 或位置可测的平面模板，使用不便。而张正友根据位于同一平面上的定标点 ：一：= ：竺堡些三兰些鲨鳖：一：一：! ： 可以建立起关于摄像机内部参数的：二个方程这特点，提出了可以根据通过 不同位置和方向的几个平面来求解内部参数，然后再计算摄像机的外部参数 的方法p 】。由于张正友的方法中标定模扳是一个平面，且标定过程只需将平 面模板按任意角度在摄像机前放置即可，这样实施起来简单有效，柔性好。 由于以上优点，张正友标定法被愈来愈多的研究人员采用。 赵业等1 1 0 1 提出了一种基于边界点方向的新的边界检测方法。他们先用 简单的线性一阶微分算子对原始图像边界作初步的提取，并定义各可能边缘 点的方向，再利用此方向信息迸行边界的进一步检测以及冗余边界点的去 除、单像素宽边界的生成等多步处理。由于有方向的指导，这样得出的图像 边界沈直接使用非线性算子得出的计算结果更能有效的抑制噪声，也不需要 像k i r s c h 算子】等方法那样必须使用多个代表不同方向的模扳来计算，大 大减少了运算量。冯斌等1 1 2 1 提出了图像外边缘检测的两种新方法：邻域灰 度检测算法和模板检测算法。这两种方法对于模糊图像的处理能力较强，不 仅处理速度快，处理图像面积小，而且处理后的图像边缘清澈、完整，不需 要细化、序列化等进一步处理。 i s t a m o s 和p a l l e n i 3 l 实现了一个完整的系统，他们同时获取了室外 大型建筑的深度图像和色彩图像，最终得到了个具有色彩真实感的建筑物 3 d 模型。s f e 1 h a k i m 等人搭建了自己的硬件平台，将激光扫描仪和照 相机融合进一个d c r 系统( 数据采集和配准系统) 中，也实现了场景的重 建。y y u 等人t l s l 在对真实场景建模的同时，将场景中的一些实物提取出 来，从而可以编辑和移动。b e s l 和j a i n 1 6 1 提出了一个基于二次表面拟合的 分割算法，具有很好的通用性。i s t a m o s 和p a l l e n 1 3 j 将上面的算法具体到 了平面拟合，得到了相对简洁快速的算法。在深度图像配准方面，b e s l 和 m c k a y 提出了著名的i c p ( i t e r a t i v ec l o s e s tp o i n t ) 算法，这比基于特征的 配准算法有更好的鲁棒性和准确性。但它需要一个不错的初始位姿估计，i s t a m o s 和p a l l e n 使用了直线作为特征来实现配准。马颂德和张正友【9 】则详 细描述了利用对应的三维特征进行运动分析的方法。 1 2 3 计算机视觉在机器人领域的应用 由于计算机视觉技术的目趋完善成熟和机器人发展的迫切需求，计算机 视觉已经在机器人领域有了一些较成熟的应用。 第1 章绪论 a ) b ) 图1 - 2d r , e t i e n n e - c u m m i n g s 和他的机器人 f i g 1 - 2d r e t i e n n e c u m m i n g s & h i sr o b o t 美国约翰霍普金斯大学( j o h nh o p k i n su n i v e r s i t y ) 的d r e t i e n n e c u m m i n g s 成功研制一个有视觉的机械人，它可以循著指定的路线行走，但 当“看见”前路有障碍物时，它会自动绕过障碍物而前行。它上面的微型摄 像头，可将行进路面的景象拍摄后传送到处理器，处理器再将数据分析计 算，然后发送给机械人如何运动的指令。图l 一2 是机器人及装置在机械人上 的微处理器和摄像机。 图1 3 的左图是美国风险企业e v o l u t i o nr o b o t i c s 的第一代开放式移动 机器人平台e r l ( e v o l u t i o nr o b o t ) 。e r l 己实现了商业化，它的零售价仅 2 9 9 美元，但基本的e r l 不包括控制系统的。也就是说它是一个开放的平 台，我们可以使用笔记本电脑作为e r l 的控制系统，也可以通过购买迷你 电脑或普通台式机作为它的控制系统。图1 3 中的右图是e r l 加装了笔记 本电脑后的样子。 e r l 最大的特色就是其配套的r c c ( r o b o tc o n t r o lc e n t e r ) 控制软件中 有一套较完善的图像识别软件，只要事先让软件“看”过要识别的物体并进行 定义，软件以后就可以很轻松的对它进行识别。它的主要功能和特点有：通 过图像处理功能，在各种环境下识别，追踪物体；自行控制或者根据遥控操 作移动拍摄照片或录像：语音的合成，识别功能：用于控制机器人的直观的 用户接口；通过电子邮件接收命令。 b ) 3e r l 3e r l 图1 - 4 是索尼公司的q r i o 娱乐机器人，它不仅实现了双足步行功 能，还可以通过头部配备的2 个c c d 彩色摄像头的视差计算出障碍物的距 离，并据此在行走时避开前方障碍物及寻找出最佳径。 图l 一4 索尼公司的q r i o 娱乐机器人 f i g 1 - 4q r i oo f s o n y b ) 图咆 )a 第1 荜绪沦 q r i o 的摄像头还可以进行图像识剐，能对凹凸不平的地面迸行检测， 进一步提高行进速度；其能识别多达1 0 个人类个体的脸部特征，以用来 “认识”家庭成员及其亲朋好友。 综上所述，国外在机器人视觉系统上的研究已全面展开，而且很多研究 成果是较先进的并已经得到商业应用。而国内在这方面的研究才起步不久， 与国外先进水平有着较大差距，应该多开展在这方面的研究。 1 3 主要研究内容 本课题的研究内容分为以下几个方面： 1 ) 双目视觉平台的建立。 大多数机器人视觉系统多采用的是传感器加单个摄像头的形式来构建， 摄像头只是被用来进行图象识别。而本课题中的双目视觉平台则是模仿人体 的视觉系统结构布局来设计，可以不依赖传感器，只通过两个摄像头的视差 来计算物体距离、建立物体三维模型。系统在机构上可实现转动和仰俯等动 作，为以后扩展动态目标跟踪等功能建立良好基础。 2 ) 模板处理和c c d 摄像机的标定。 计算模板中的有效成像点像素坐标值以进行下一步的标定计算；选定合 适的摄像机标定法进行研究并对双目系统使用的摄像机进行标定，计算出相 关摄像机及系统参数。 3 ) 建立系统的深度值计算数学模型。 分析双目立体视觉的定位原理，根据摄像机成像数学模型公式建立适于 本系统的数学模型，并推导相关计算公式。 4 ) 构建实验以验证算法。并在此基础上对一些简单图形进行空间重 构。 以标定模板为定位目标，计算出模板所有有效成像点的深度值，然后重 构模板分析计算结果，验证标定结果及深度算法。最后使用颜色分割处理彩 色图像，对一些简单的单色彩图形进行空间重构。 哈尔滨工业大学工学硕士学位论文 第2 章双目视觉研究平台的设计 2 1 系统总体规划 2 1 1 系统选型 计算机视觉系统种类繁多，形式多样。按系统中摄像机个数可以分为单 目视觉系统、双目视觉系统和多目视觉系统。 其中，单目视觉系统结构简单，在景物与摄相机间位姿固定且场景不变 的情况下，可以快捷精确的匹配物体、确定景物位置。所以，单目视觉系统 在现代工业生产线的零件识别与定位、产品质量检测、电子元件装配等领域 得到了广泛的应用且技术成熟。然而，在智能移动机器人工作环境中，景物 位姿不断变化、场景复杂多变，单目视觉系统则显然是无能为力了。 多目视觉系统又以三目系统为多，它通常是在双目视觉系统的基础上， 于场景的固定位置安装第三个摄相机构成。由于有第三个摄相机的矫正，三 目系统计算精度较高，但系统相对复杂，且要以双目视觉系统为基础。在没 有一个较成熟的双目视觉平台的情况下，直接设计三目系统将会造成资源浪 费，增加研究风险。 综上说述，本课题选择相对简单而又能满足机器人工作要求的双目视觉 系统来设计研究。 双目视觉系统按摄相机之间位姿是否可变又可分为两种。对于位姿可变 类型，虽然其可以实现对两个物体的分别跟踪，但实际计算物体深度信息 时，相机还是得同时跟踪同一物体。而且，它还要求每个相机有极高的运动 精度，以确定成像时刻每个相机的准确位姿。因为只有这样，才能建立双目 成像模型，并利用三角原理求解。这必将耗费过多的精力与资源，显然是得 不偿失的。 所以，最终的系统结构选择相机相对位姿固定的双目系统形式，然后再 把相机支架固定在一个可水平和竖直旋转的云台机构上。这样结构简单，易 于实现，能够跟踪物体又不用实时计算相机间的位姿转换矩阵。 第2 章双目视觉研究平台的设一一 2 1 2 电机选型分析 实验室现有声光电动机厂的2 4 v 直流电动机，其自带光电码盘和l ：1 0 0 的减速器，额定功率11 w ，输出轴额定转速4 0 r p m 。 两个电机最大负载在水平位置电机的极限位置时发生。初设摄像机质心 到水平电机转轴距离为1 0 0 m m ，又由于摄像机质量通常不超过o 5 k g ，故初 设支架与两个摄像机共重l k g 。 已知，电机主轴与输出轴减速比为1 ：1 0 0 ，电机主轴光电码盘栅格数为 8 ，令光电码盘脉冲数= 疗，输出轴要求转角= 口。，则有 昙= 型jf = 可2 0 叩( 2 - 3 6 0 1 ) 口9 而 = 1 时，妒。= o ，4 5 。即输出轴最小可控运动角度为0 4 5 。 由上知输出轴转动角速度有 甜= 4 0 2 x 6 0 = 4 z 3 ( 弧度s ) 则电机在极限位置应达到的最小功率为 p = m y = m o ) r = 1 0 1 4 x 3 0 4 1 9 w 这显然远远小于额定功率。 由上面的计算可知，此电动机可以满足系统的驱动要求和较精确的运动 控制；而且其结构紧凑，电机加减速器仅为妒3 2 x 9 0 m m 的圆柱体。固选择 其作为系统动力源。 2 1 3 摄像机及视频采集卡 双目视觉系统的摄像机我们选择两部三星公司( s a m s u n g ) 的日夜型彩 色高解超级宽动态摄像机，型号为s h c 一7 2 l a p 。s h c 一7 2 1 a p 采用1 3 英寸 的c c d ( c h a r g ec o u p l e dd e v i c e ，即电荷耦合器件) 芯片，芯片尺寸 4 8 x 3 6 m m ，像素个数7 6 8 5 7 6 。而且s h c 7 2 l a p 的最小照度达到 o 0 1 l u x ，灵敏度较高；信嗓比为5 0 d b 图像虽有少量噪声，但图像质量良 好，完全能满足系统要求。 在6 2 0 m m 处，测得摄像机水平最大可见长度约为4 0 0 m m ，竖直最大可 见长度约为3 2 0 m m ，则由几何知识可知摄像机 水平最大视场届= 2 a r c t a n ( 4 0 0 2 6 2 0 ) z 3 6 。 哈尔滨_ t 业大学。亡学硕上学位论文 竖直最大视场凸= 2 a r c t a n ( 3 2 0 2 6 2 0 ) “1 5 。 图像采集卡采用的是大恒d h c g 3 0 0 彩色黑白视频图像采集卡。d h c g 3 0 0 采用p c i 总线与主板联接，采集及数据传输基本上不占用c p u 时 间，并可将图像直接传送到计算机内存或显存，使用灵活方便。采集卡上有 三路复合视频输入口，可通过软件实现切换，图像分辨率为7 6 8 5 7 6 2 4 位 与摄像头兼容，通过软件设置可实现彩色黑白视频的直接采集，并可软件 设置采集亮度及色度。 但通过使用发现，d h c g 3 0 0 不能实现两路视频的同时采集，需要通过 软件设置切换，其间有约3 0 m s 的延时。这在现阶段的静态图像处理中是不 影响结果的，但以后如果需要处理动态图像，就必须要更换采集卡或再购买 一块d h c g 3 0 0 同时使用。 2 2 双目视觉系统结构设计 双目视觉系统中，首先需要确定的一个重要参数就是摄相机之间的距 离，因为在理论上，视差的大小是与相机间的距离成正比的，而视差越大越 利于计算。但是过大的距离又会使两个相机问视场重合的区域减小，而这一 区域才是双目系统的有效计算区域。故相机间有了合适的距离才会产生适于 计算的视差和足够宽的有效视场以计算物体深度。 在人的视觉系统中，两只眼睛的距离大概是6 0 8 0 m m 。然而，人眼的 视网膜上约有1 1 亿个感光细胞，有着极高的分辨率。这也就是说，入 眼可以分辨出极细微视差从而准确得到物体的深度信息。而现在顶级的 数码摄像机的分辨率也只不过才达到千万像素级别，本系统使用的摄像 机分辨率仅为7 6 8 x5 7 6 “4 4 万像素，所以，必须要使摄像机有较大的间 距。 综合考虑，暂定摄像机阳j 距2 0 0 m m ，但把支架长度设计为2 6 0 m m ，以 预留出足够的摄像机间距调整空间。 最终的系统结构装配图见图2 1 。 第2 章双目视觉研究平台的设计 图2 - 1 机构总体装配图 f i g 2 - la s s e m b l a g ef i g u r eo fs y s t e m 1 一托板2 一左支板3 - 上壳体4 一上壳体底板5 一连接盘6 一下壳体7 一电机座 8 一下壳体底板9 一右支板b 1 b 7 一连接螺钉螺母c 1 一三星摄像机c 2 一松下光电开 关c 3 - 直流减速电机c 4 一控制电路板c 5 一电机驱动器 如图2 2 所示，假设系统两部摄像机有相同的视场，则系统的有效视场 为两部摄像机的相交区域，两部摄像机间距为d = 2 0 0 m m ，则由前面计算可 知图2 - 2 中p = 3 6 。，z = d x 6 2 0 4 0 0 = 1 5 5 d = 3 1 0 m m 。即系统理论上最近可 视距离为3 1 0 m m ，水平视场p = 3 6 。，竖直视场1 5 。 哈尔滨工业大学t 学硕卜学位论义 图2 2 系统有效视场分析 f i g 2 - 2a n a l y z i n g o f s y s t e mv i r t u a lp u r v i e w 2 3 双目视觉系统硬件控制电路设计 2 3 1 电路总体规划 系统硬件电路需要控制两个电机运动；需要通过对光电码盘脉冲计数以 确定电机运动特性；还需要确定电机零位并与上位机通讯。也就是说，控制 电路需要： 1 ) 两个输出口，控制电机； 2 ) 四个输入口，计脉冲和零位； 3 ) 一个i o 口，与上位机通讯用。 经分析可知，整个控制电路并不复杂，使用一片普通的单片机就能完成 所有的控制。最终选择的是实验室库存的a t 8 9 c 5 2 型单片作为主控单元。 a t 8 9 c 5 2 型单片是a t m e l 公司出品的8 位低功耗、高功效c m o s 微 处理器。它内建有8 k b 的内部程序存储器和2 5 6 b 的内部数据存储器、6 个 中断源、3 个1 6 位定时计数器，最高工作频率2 4 m h z ，足够本系统编程使 用。而且，a t 8 9 c 5 2 的指令系统和管脚定义都与8 0 c 5 1 系列单片机相同， 也是d i p 4 0 封装，使用方便。 第2 章取目视觉研究平台的砹计 2 3 2 通讯电路设计 实际上，上、下位机之间需要传送的只有两个电机的转角数据，数据量 很小，选用r s 一2 3 2 窜口通讯标准就能满足现阶段的要求： 假设波特率选用常用的9 6 0 0 b p s 则 每秒传送字节数”= 9 6 0 0 8 = 1 2 0 0 每字节传送时问f = 1 1 2 0 0 z o 8 4 m s 也就是说，每传送1 0 字节，时间还不到9 m s 。而现阶段系统并不要求 太高的实时响应性，数据传输速率完全可以满足要求，且实际应用中波特率 还可以调高。 r s 一2 3 2 信号的电平和a t 8 9 c 5 2 单片机串口信号的电平不一致，必须进 行二者之间的电平转换。在此使用集成电平转换芯片m a x 2 3 2 为r s 。 2 3 2 c c m o s 电平转换芯片。它只使用单+ 5 v 为其工作，配接4 个2 2 uf 电解电容来完成r s 2 3 2 电平与c m o s 电平之间的转换。其电路原理图如图 2 3 所示。 图2 - 3 串口电平转换电路 f i g 2 - 3c i r c u i to f s c lv o l t a g ec o n v e r t i n g 2 3 3 电机驱动电路设计 分析系统的运动情况我们可知，系统的每个电机都需要频繁实现正反 转，故控制电路也应该能够提供双极性信号：由于是直流电机，固单片机输 出数据需要经过数模转换，然后传给驱动器、控制电机旋转。 。妻露 赫一 一骄。 哈尔滨工业大学工学倾士学位论文 德州仪器( t i ) 公司的t l c 7 2 2 6 八位数模转换芯片可通过控制a 。、a 引脚电平，锁存输入数据，实现四端输出，可以只用单片机的一个i 0 口分 时输出数据控制两个电机。更重要的是t l c 7 2 2 6 内部电路具有独特特性， 如果在每一通道外部连接1 个放大器和2 个电阻，便可以使t l c 7 2 2 6 的每 一d a c 都变成双极性输出，这正是控制电机正反转所需要的。图2 - 4 是 t l c 7 2 2 6 双极性输出电路。 tr 1 = r 2 = 1 0 0 1 v o 图2 - 4t l c 7 2 2 6 双极性输出电路 f i g 2 - 4t l c 7 2 2 6b i p o l a ro u t p u tc i r c u i t 图中，由运放特性可知输出电压 半士半r 陋z ， 兄， 、。 如果使蜀= r ：，则化简有 v 0 = ( 2 d a 一1 ) ( 2 - 3 ) 式中，见= 锁存器中数值2 5 5 。 由式( 2 3 ) 可以看出，只要搭建简单的外部电路，就可以用单极性的控 制信号实现t l c 7 2 2 6 的双极性输出，从而满足电机控制的要求。 2 3 4 其他电路设计 由于电机光电码盘和选用的松下( n a i s ) u z j 2 6 1 型光电开关工作电压 都是1 2 v ，而单片机信号是c m o s 电平，所以二者通过一个t l p 5 2 1 - 4 型光 第2 章取目视觉研究平台的设计 藕连接。又由于担心脉冲和零位信号驱动能力不够，难以驱动光藕，故加装 三极管c 9 0 1 3 放大信号。 整块电路板，需要用至l j + 5 v 、+ 1 2 v 、一1 2 v 共三种电压。综合考虑，只 引进1 2 v 电压，而+ 5 v 电压通过一块l m 7 8 0 5 电源转换芯片得到。 整个系统的电路原理图请看附录1 ，图2 5 是电路板实物调试图， 图2 - 6 为实验平台。 图2 - 5 电路板调试图 f i g 2 - 5p i c t u r eo fd e b u g g i n gp c b 图2 - 6 实验平台 f i g 2 - 6p l a t f o r mo fe x p e r i m e n t 2 4 双目视觉系统控制软件设计 2 4 1 软件总体设计 软件设计流程图如图2 7 所示，在电路板上电复位之后单片机不断检测 串口是否有数据，如果有则进行数据校验，当校验正确无误后，主程序根据 通讯协议判断各电机转向、转速、应计脉冲数，并在相应i o 口、计数器和 控制引脚中写入数据，然后电机开始旋转；计数器计数产生中断后，单片机 控制电机掉电，电路又转入对串口数据的查询程序中。 图2 7 主程序流程图 f i g 2 - 7f l o wc h a r to f m a i np r o g r a m 第2 章双目视觉研究平台的设计 在具体的程序编写过程中，电机的上电、掉电控制主要通过对 t l c 7 2 2 6 芯片控制来完成，其中控制信号的时序尤其重要，直接关系到位 置控制的精度。 上电时，首先写入一个电机的电平控制量，通过t l c 7 2 2 6 的控制引脚 将之锁存；然后再写入另一个电机的电平控制量，并锁存在t l c 7 2 2 6 的另 一个锬存器中：最后，单片机发出使能信号t l c 7 2 2 6 产生相应输出信号给 电机驱动器，于是电机上电转动。 而在电机转动时，单片机将在t l c 7 2 2 6 的数据输入端写入零电位对应 数，当每个电机对应的计数器产生中断时，在中断程序中直接使能 t l c 7 2 2 6 的各控制字，于是电机直接掉电停转。 2 4 2 数据传输的约定 因为上位机需要同时控制下位机的两个电动机实现正反转运动，所以上 下位机问的通讯需要一次传送由多个控制字构成的控制信号数据包，这就要 求制订一个简单的通讯协议，以在上下位机间确定每组数据包中的每个控制 字所代表的具体含义。 分析系统运动可知，每个电机都需要实现正反转，故数据包中要有转向 控制字：又由于单片机通过对电机光电码盘脉冲计数来控制电机位置，故数 据包中要有电机转动角度对应的光电码盘脉冲数也即位置控制字。 由于系统机械结构上的约束，每个电机的最大转角( 正、负向极限位置 夹角) 一般不大于1 2 0 。( 实际上，人体的颈部关节运动角度也不超过 1 8 0 。) 。 由2 1 2 小节知道每个脉冲对应输出轴转角妒= 0 4 5 0 ，则最大转角对 应的码盘脉冲数”= 1 2 0 o 4 5 z2 6 7 ，由于每字节最大可以表示的数值仅为 2 5 5 ，故数据包中的位置控制字使用两个字节传送。 综上所述，每个控制包中应至少：肓6 字节的控制字，又考虑到扩展速度 控制及数据校验的需要而增加3 个字节。最终，每个数据包有9 字节控制 字，其中，每个控制字的含义如下： 1 ) 1 - 4 字节为水平位置电机控制字，其中l 字节为方向控制字，2 字 节为速度控制字，3 、4 字节为计数器应计脉冲数； 2 ) 5 - 8 字节为竖直位置电机控制字，每字节具体含义同上； 3 ) 9 字节为数据校验字，为前8 个字节按位与计算的结果，单片机把 接收数据的前8 个字节按位与后再与第9 字节比较，如果相等则认为接收数 据正确，可以之控制电机运动。 2 4 3 系统初始化程序设计 出于是机电一体化系统，故系统的初始化除了设置单片机控制字，还要 使机构的机械位置复位。图2 罐是系统初始化程序流程图。 机构机械位置复位是系统初始化中的重要组成部分，不可或缺。装配时 把零位光电开关分别放在两个电机的极限位置上，这样无论机构在上电前处 于何种位置，都将处于极限位置的确定一方上。于是，机构复位上电时只要 使电机往与之相反的方向运动，当光电开关产生中断信号后电机掉电停转， 机构就复位到零位了。 图2 - 8 系统初始化