济南大学毕业设计方案2014

1、毕业设计方案题 目 机器人视觉识别系统设计 学 院 自动化与电气工程 专 业 自动化 班 级 自动1002班 学 生 徐秋实 学 号 20100321288 指导教师 程金 二一四年三月三十一日学院 自动化与电气工程学院 专业 自动化 学生 徐秋实 学号 20100321288 设计题目 机器人视觉识别系统设计 一、选题背景与意义1. 机器人视觉技术的研究现状科技发展的最终目的是为了人类更舒适的生活。因此，将人从繁重、机械的劳动中解放出来也是科学技术不断发展的动力之一。但是，现阶段机器能完成的工作大都是那些简单的、预先编程好的工作。对于外部环境的变化，各类机器的适应能力非常有限。怎么样才能使机

2、器人像人一样，灵活处理所遇到的问题，对外界变化做出及时的调整，也是各国科学家与工程师一直在研究的问题。机器之所以不能像人一样对外界变化做出合理反应，究其原因重要的一点就是他们没有像人一样的快速，准确的感知能力。机器人视觉的研究正是顺应这一趋势的成果。随着机器人应用领域的扩展和计算机硬件技术的不断发展，图像传感器和相关处理器也不断的被更新，图像处理的速度也不断加快。基于机械视觉进行控制的机器人相对普通机器人有着非常明显的优势：灵活性更高，精准度更高以及更强的鲁棒性1。而在现在的自动化生产中，机器视觉也已经成为提高生产效率和保证产品质量的关键技术，如产品外观的自动检测、生产线的自动监控等。在日常生

3、活中领域, 机器视觉应用意义也很重要, 如车辆自动避障、自动行驶导航、智能家居系统以及智能路灯系统等2-4。目前，机器视觉的研究分为两个方向：视觉导航与视觉识别。其基本的原理是一样的，即通过图像传感器（常用的有CCD和COMS）将目标转换为图像信息，通过分析图像中的各个像素的分布、亮度、颜色等信息提取目标的关键特征值，然后根据相关识别信息控制现场机械的动作。总体来说图像处理要经过以下几个步骤：图像预处理，特征提取，图像分割，图像识别几个步骤4。图像预处理特征提取图像分割图像识别图1 图像处理流程图图像预处理的目的是滤除图像中的噪声，改善图像的质量，以便后续工序的处理。由于传感器和电器本身的特性

4、，噪声是图像采集过程中不可避免的一个问题。此外，包括图像的旋转、变形、失真等问题也要在预处理进行解决。常见的图像预处理方法有逆滤波，维纳滤波，中值滤波等。特征提取是指将图像信息的简化，即从有较高维数的数据中提取出包含主要有效信息的较低维数数据,便于图像分割和图像识别。图像分割是根据图像中某些特性的不同将图像划分为不同的区域，同一区域内的图像有有相同的特性，不同区域图像特性各不相同。比较传统的方法是运用灰度图像中像素灰度的变化来区分图像的不同区域，例如灰度阀值法分割、边缘检测法、区域生长和聚合。图像识别是现代图像处理中非常重要的一个领域，并且已经得到广泛应用。如人脸识别、指纹识别、OCR技术、医

5、学图像诊断等。简而言之，图像识别就是对图像中的目标的模式进行分类，以及目标本身特征的确定，例如方向、位置和大小等。由于图像的处理需要进行大量的数据处理及信息计算，要求运算速度快、识别准确率高，人工神经网络的高实时性和高容错性的特点使其成为图像识别处理中一种理想的选择。目前使用人工神经网络进行视觉识别已经成为主流。而BP神经网络是目前应用最广的神经网络,它是一种单向前进的多层复合网络。网络除了有输入输出节点外,还有一层或多层的隐层节点,同层节点中没有任何耦合。输入信号从输入层节点依次传过各隐层节点,然后传到输出节点,第一层节点的输出只影响下一层节点的输出5。目前应用BP神经网络技术进行图像识别和

6、特征提取的方法已经比较成熟，实际应用结果也表明这是一种识别准确率高，识别速度较快的方法，因此的得到了比较广泛的应用。2. 包装瓶自动分类线的意义随着社会经济的不断发展，瓶装饮料已经走进了千家万户。口味丰富，饮用方便的瓶装饮料给我们的生活带来很大方便，但是也带来了一个不容忽视的问题环境污染。现在大部分的饮料瓶是聚酯（PET或PETP）原料生产的，在自然界中需要几百年的时间才能降解。虽然废旧饮料瓶回收有巨大的经济价值和社会效益，但是目前的废旧包装瓶的回收利用率是非常低的。大部分包装瓶被直接填埋或者作为燃料焚烧。这样不仅浪费了宝贵的资源，还会造成环境的二次污染。究其原因，最重要的一点就是因为回收的包

7、装瓶瓶型混杂，不同颜色不同材质的包装瓶混在一起。这给包装瓶的回收利用带来了很大的困难。现在的废旧包装瓶分类基本全部依靠工人手工分类。工人站在传送带的两侧，通过目测挑选出不同种类的包装瓶，然后放置到不同的区域中。这种分类方法，分类速度慢，并且错误率高。而且回收的包装瓶往往比较脏，带有各类致病菌，长期在这种环境下工作，会对工人的身心健康造成巨大的伤害。此外，在汽水瓶以及酒类包装瓶的回收利用过程中同样的问题也存在。这些饮料的包装瓶都是多次使用，使用过的旧的包装瓶需要经过分类，清洗，杀菌等过程才可以重新进行灌装。而回收的包装瓶很多时候瓶型混杂，需要人工进行分拣。目前，已有专门针对包装瓶进行分类的相关设

8、备大都依靠于条码识别或者是射频无线标签识别。依靠于条形码的识别技术，在瓶身有污垢遮蔽条形码或者条形码本身残缺时将受到很大影响。而射频无线标签识别技术需要在瓶身中加入射频识别标签，这将增加包装瓶的制造与回收的成本。随着机器视觉技术的不断进步，依靠视觉识别技术对包装瓶进行分类已经成为可能。相对以前的分类技术，依靠视觉识别的识别技术进行分类的方法拥有适用范围广，设备简单，工作效率高等优点，具有较高的应用价值和社会效益。二、设计内容本次设计的主要工作是研制一套基于机器视觉识别的包装瓶自动分类的机器人流水线。该流水线内的机器人以视觉识别为基础，通过颜色与形状复合识别的方式对流水线上不同种类的包装瓶进行分

9、类。设计要研究的首要内容是使用C+语言编写基于神经元算法的包装瓶识别程序。其次要对整体控制与机械系统提出合理的可行性方案。对于使用C+语言编写相关识别程序的研究主要分为两个方面。首先是对包装瓶进行颜色识别的方法的研究。目前常用视觉传感器多为CCD传感器，常用的视觉颜色识别方法有RGB模式和HSI模式两种。在本次设计中，要研究这两种识别方法的优劣，从识别正确率、识别速度、硬件资源占用等方面进行综合评价，选择较优的方法编写识别程序，并根据实际情况对现有算法进行优化改进。然后是对包装瓶进行形状识别的方法的研究。这是本次设计的重点任务，也是难点任务。在本次设计中，将使BP神经网络训练的模板匹配法对包装

10、瓶进行识别和匹配。实际设计中，要使用合理方法，进行图像分割。借助OpenCV中的模式识别相关函数进行训练，并在其及基础上对算法进行改进。本次设计研究预期的结果是：借助于神经元网络算法，经过充足样本训练的智能机器人可以对进入流水线的多瓶型混杂的包装瓶进行快速准确的分类，并将不同种类的包装瓶运送至指定区域。在实际设计中，有关的识别算法将借助OpenCV中有关的算法，参阅其中模式识别函数并在其基础上进行改进。6三、设计方案设计方案的流程图如下图2 基于视觉识别的包装瓶自动分类流水线工作流程示意图整个设计方案的重点在于编写基于人工神经网络算法的包装瓶自动识别程序。整个程序分为颜色识别和形状识别两个线程

11、同时进行。程序会根据两个线程的识别结果综合判断包装瓶的种类，并给出最终的识别结果。总体程序流程图图如下：图3 包装瓶识别程序流程图1. 滤波与去噪由于传感器和电器系统的本身的特性，噪声的产生在所难免。噪声的存在不仅会降低图像的质量，也会对后续的图像分割和相关识别带来麻烦。目前来说，比较流行的去噪方法就是中值滤波法。中值滤波的核心思想是用在图像上划定一个较小区域（区域内含有奇数个像素），用区域内所有像素的中值来代替区域中心像素的值。用这个中值来对区域内其他的突变点进行滤除，就可以起到降噪作用。 原图像 中值滤波效果图4 中值滤波效果示意图2. 图像分割由于采集到的图像既有目标的图像，又有背景图像

12、，因此要对图像进行分割，提取出目标的图像。常见的阀值分割的基本思想是在一定区域内选取一个阀值，将像素点的色彩值与阀值进行比较可得出某个像素是否属于某一区域。 去色后的图像 图像直方图信息图5 包装瓶直方图信息由包装瓶去色后的图像和其相关的直方图信息可以看到，去色后的包装瓶图像呈现出明显的双峰，由于在本次设计中，饮料瓶和背景的颜色差别较大，适于使用阀值分割法对图像进行分割。目前阀值分割方法已经形成了四种比较经典方法：最小值点域值选取方法、最优域值搜寻方法、迭带域值选取方法和大律法7。以下对四种方法进行简要介绍：(1)最小值点域值选取法 在这种方法中，将直方图的包络看成曲线，借助求曲线极小值的方法

13、求出此直方图的谷。设f（x）表示直方图，则极小值点应满足下列条件： (1) (2)和这些极小值点相对应的灰度值即作为图象分割的域值。(2)最优域值搜寻法 最优域值是指能将误分割减小到最低的分割域值。将图像的直方图近似看成图像像素灰度值的概率分布函数，若一幅图像包括目标和背景，那么它的主要灰度值区域就可以分为两类，其 直方图所近似的灰度值概率分布函数就对应着目标和背景的单蜂分布密度函数之和。这种方法需要先求出其密度函数，再根据其密度函数计算出一个最优域值。(3)迭代域值选取法 迭代域值选取法的基本思想是逼近。它首先要求出图像的最大域值T1和最小域值T2，假设初始域值T=（T1+T2）/2；然后根

14、据TN将图像分为目标和背景，再求出目标和背景的平均灰度值T11，T22；计算出新的域值TK+1=（T11+T22）/2；比较TK+1 和TK是否相等，若相等，则为域值，否则，重复上述步骤。4)大律法 大律法即类别方差自动门限法。其基本思想是利用方差：若某一阈值能使目标物体与背景部分的灰度分布方差越大，则物体与背景分离的就越准确。若用C0表示目标，C1表示背景，C0和C1的方差分别为： (3) (4)C0 和 c1 类的类间方差为： (5)C0 和 c1 类的类内方差为： (6)t的等价判断准则为： (7)最佳阈值为： (8)用大律法所选取的阈值对图像进行分割，分割所得的图像比较稳定，

15、在分割质量上来说，大律法是一种较稳定的分割方法。3. 颜色识别常用的颜色模型有RGB模型、HSI模型、CYMK模型、XYZ模型等。在图像处理中，最常用的是RGB模型和HSI模型。RGB颜色模型RGB模型使用红、绿、篮三种颜色作为基色，它建立在笛卡儿坐标系统上，其3个坐标轴分别表示R（red，红色），G（green，绿色），B（blue，蓝色），其形状如图6所示，可用一个正方体来描述。正方体边界中的任一点可用一个三元组（R、G、B）来表示，其中R、G、B的取值范围在0到1之间，灰度由正方体的原点到这一点的主对角线上的位置来表示 ，其中原点（0，0，0）对应黑色，离原点最远的点对应白色（1，1，1

16、），立方体中其余各点对应着不同的颜色，这些颜色都可以用原点到这点的矢量来表示。图6 RGB 颜色模型立方体RGB模型的缺点有：（1）RGB用R、G、B的混合比例定义不同的色彩，使色彩难以用准确的数值来定量分析。（2）在RGB模型中，各分量之间的相关性很高，合成后图像的饱和度偏低，色调变化不大，图像视觉效果较差；（3）色调和饱和度与R、G、B的关系是非线性的，难以在RGB模型中对图像进行直接处理。HSI颜色模型8HSI颜色模型用H、S、I三参数描述颜色特性，其中H定义颜色的波长，称为色调；S表示颜色的深浅程度，称为饱和度；I表示强度或亮度。色调H(Hue)： 与光波的波长有关，它表示人的感官对不

17、同颜色的感受，如红色、绿色、蓝色等，它也可表示一定范围的颜色，如暖色、冷色等。饱和度S(Saturation)： 表示颜色的纯度，纯光谱色是完全饱和的，加入白光会稀释饱和度。饱和度越大，颜色看起来就会越鲜艳，反之亦然。强度I(Intensity)： 对应成像亮度和图像灰度，是颜色的明亮程度。图7 HSI模型的圆锥表示HSI颜色模型用双六棱锥表示，I是强度轴，色调H的角度范围为，其中，纯红色的角度为0，纯绿色的角度为，纯蓝色的角度为。饱和度S是颜色空间任一点距I轴的距离。当然，若用圆表示RGB模型的投影，则HSI色度空间为双圆锥3D表示。HSI模型有以下几点好处：1.在处理彩色图像时，可仅对I分

18、量进行处理，结果不改变原图像中的彩色种类；2.HSI模型完全反映了人感知颜色的基本属性，与人感知颜色的结果一一对应。因此，HSI模型被广泛应用于人的视觉系统感知演的图像表示和处理系统中。3. 形状识别与匹配形状匹配是计算机视觉和模式识别的一个基本问题,它被应用到很多领域,如目标识别、基于内容的图像检索、文字识别、医疗诊断等10。在经典的几何理论中,面积、周长、长轴、短轴、主轴方向、凹凸面积、紧密度、实心度、偏心率这些特征在形状匹配方面得到了广泛的应用11。OpenCV 为使用者封装了大量的特征点检测、特征点描述以及匹配的算法。使用这些算法，足可以完成一般的形状识别与匹配工作。在OpenCV中，

19、常用的特征识别算法有SURF、SIFT、BRISK、FAST、ORB等12。其中效费比最好的是 SURF 算法，SURF 算法与其他算法的区别在于其保证特征点检测质量的同时可以获得很高的运行速率。SURF 算法是在 SIFT 算法上发展而来的，相较于SURF，SIFT检测出得特征点质量更高，但运行时间更长。需要注意的是：随着 Hessian 值的逐渐增大，无论在运行时间还是特征点检测数量上 SURF 与 SIFT 都会逐渐趋同。在具体的应用设计中，将比较几种算法，找出最快捷，匹配率最高的算法，并在其基础上进行适用性改进。结合颜色识别算法，使整条流水线能快速、平稳、高效的完成分类工作。 四、参考文献1 王麟琨,徐德,谭民. 机器人视觉伺服研究进展J. 机器人，2004，26(3)：277-2812 张红霞，刘义才. 机器视觉技术的