（信号与信息处理专业论文）基于智能相机的油罐口识别.pdf

哈尔滨工程大学硕士研究生毕业论文 i ii 摘要 智能相机作为一种无接触，高可靠性、易于实现的机器视觉解决方案广 泛的应用于工况监视、成品检验和质量控制等领域。该领域在我国尚处于起 步阶段，课题的研究对于机器视觉在我国工业领域的应用与推广有一定的现 实意义。 本文主要研究了v c 4 0 1 8 智能相机的开发方法和性能，光照不均匀等情 况下的圆检测问题。论文中以v c 4 0 1 8 智能相机为开发平台研究了三种圆检 测方案，霍夫变换圆检测，最小二乘拟合和模板匹配。由于边缘图像对光照 变化较不敏感，探讨了常用的边缘检测技术，圆检测均以边缘为基础。霍夫 变换是经典方法，鲁棒性好，精度高，但缺点是计算量大，适合于对速度要 求不高的场合；最小二乘拟合速度快，精度高，对由光照引起的边缘缺失具 有一定的适应性，在低光照情况下系统能够快速准确的完成检测；边缘匹配 对伪边缘具有适应性j 不适于边缘缺失严重的情况，在低光照情况下需要进 行适当补光，由于匹配方案在v c 4 0 1 8 上实时运行有一定困难，论文中研究 了程序的优化问题。 关键词：智能相机，最小二乘拟合，边缘匹配 哈尔滨t 程大学硕士研究生毕业论文 a bs t r a c t a sam a c h i n ev i s i o ns o l u t i o nw i t hn o n - c o n t a c t ，h i g hr e l i a b i l i t ya n de a s y i m p l e m e n t a t i o n , s m a r tc a m e r ai sw i d e l ya p p l i e di n f i e l d s s u c h 雒w o r k i n g c o n d i t i o ns u r v e i l l a n c e ，p r o d u c tt e s t i n ga n dq u a l i t yc o n t r o le t c i no u rc o u i l t i y ，t h i s f i e l di sj u s ta ts t a r t i n gs t a g e ，a n dr e s e a r c ho ft h i st h e s i sh a sa p p l i c a b l em e a n i n gf o r a p p l i c a t i o na n dp r o m o t i o no fm a c h i n ev i s i o ni nt h ei n d u s t r yf i e l di nc h i n a t h i st h e s i sm a i n l ys t u d i e sd e v e l o p m e n tm e t h o d sa n dp e r f o r m a n c e so f v c 4 018s m a r tc a m e r aa n dc i r c l ed e t e c t i o np r o b l e mu n d e ru n e v e nl i g h tc o n d i t i o n e t e t h i st h e s i st a k i n gv c 4 018a sd e v e l o p m e n tp l a t f o r ms t u d i e st h r e ek i n d so f c i r c l ed e t e c t i o nm e t h o d si n c l u d i n gh o u g ht r a n s f o r mc i r c l ed e t e c t i o n ，l e a s t - s q u a r e ，c i r c l ef i t t i n ga n de d g em a t c h i n g a se d g ei m a g ei sn o ts e n s i t i v et ol i g h tc h a n g e ， u s u a le d g ed e t e c t i o nt e c h n o l o g i e sa r ed i s c u s s e d ，a n dc i r c l ed e t e c t i o n sa r ea l lb a s e d o ne d g e h o u g ht r a n s f o r mc i r c l ed e t e c t i o ni sac l a s s i c a lm e t h o d ，w i t hg o o dr o b u s t a n dh i 曲p r e c i s i o n ，b u tw i t hd e f e c to fl a r g ec o m p u t a t i o n a lc o m p l e x i t y , a n di ti s s u i t a b l ef o rs c e n e sw i t hn o th i g hr e q u i r e m e n tf o rs p e e d ；l e a s t - s q u a r ec i r c l ef i t t i n g h a sf a s ts p e e da n dh i 【g hp r e c i s i o n ，a d a p t i v et oe d g el o s sc a u s e db yl i g h t ，a n dc a n f i n i s hd e t e c t i o nf a s ta n da c c u r a t e l yu n d e rl o wl i g h t ；e d g em a t c h i n gi s a d a p t i v et o f a l s ee d g e ，n o ts u i t a b l ef o rs e r i o u se d g el o s s ，a n dn e e d sp r o p e rl i g h ts u p p l e m e n t ，u n d e rl o wl i g h t ；s i n c em a t c h i n gm e t h o dh a ds o m ep r o b l e m si nr e a l t i m eo p e r a t i o n o fv c 4 018 ，t h i st h e s i ss t u d i e sp r o g r a mo p t i m i z a t i o n k e y w o r d s ：s m a r tc a m e r a ；l e a s t s q u a r ef i t t i n g ；e d g em a t c h i n g 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的 指导下，由作者本人独立完成的。有关观点、方法、 数据和文献的引用已在文中指出，并与参考文献相对 应。除文中已注明引用的内容外，本论文不包含任何 其他个人或集体已经公开发表的作品成果。对本文的 研究做出重要贡献的个人和集体，均已在文中以明确 方式标明。本人完全意识到本声明的法律结果由本人 承担。 作者( 签字) ： 日期：伽譬年弓月f e t 哈尔滨工程大学硕士研究生毕业论文 1 1 机器视党 1 1 1 机器视党的概念 第1 章绪论 人类在征服自然、改造自然和推动社会进步的过程中，面临着自身能力、 能量的局限性，因而发明和创造了许多机器来辅助或代替人类完成任务。人 类感知外部世界主要通过视觉、触觉、听觉和嗅觉等感觉器官，其中8 0 的 信息是视觉获取的，这既说明视觉信息量巨大，也表明人类对视觉信息有较 高的利用率。视觉的最终目的从狭义上说是要对场景做出对观察者有意义的 解释和描述，从广义上讲，还有基于这些解释和描述并根据周围的环境和观 察者的意愿制定出行为规划。因此，对于智能仪器来说，赋予机器以人类视 觉功能对发展智能仪器是极其重要的，也因此形成了一门新的学科一机器视 觉。 机器视觉是指用计算机实现人的视觉功能一对客观世界三维场景的感 知、识别和理解【t 】。这里主要有两类方法：一类是仿生学的方法，参照人类 视觉系统的结构原理，建立相应的处理模块完成类似的功能和土作：另一类 是工程的方法，从分析人类视觉过程的功能入手，并不去刻意模拟人类视觉 系统的内部结构，而仅考虑系统的输入和输出，并采用任何现有的可行的手 段实现系统功能。 机器视觉的主要研究目标可归纳成两种，它们既互相联系又互为补充。 第一个目标是建成机器视觉系统，完成各种视觉任务。换句话说，即要使计 算机能借助各种视觉传感器( 如c c d ，c m o s 摄像器件等) 获取场景的图像， 而感知和恢复三维环境中的几何性质、姿态结构、运动情况、相互位置等， 并对客观场景进行识别、描述、解释，进而做出津新笛一个研容日标皂扣 哈尔滨工程大学硕士研究生毕业论文 该研究作为探索人脑视觉工作机理的手段，进一步加深对人脑视觉的掌握和 理解( 计算神经科学) ，主要研究的是生物学机理。 机器视觉是一个相当新而且发展十分迅速的研究领域，成为计算机科学 的重要组成部分。 1 1 2 机器视觉理论 在机器视觉研究中迄今为止最为完善的视觉理论是m a r r 建立的视觉计 算理论，但该理论不是十分完善，许多方面还有争议【2 1 。m 打把视觉过程看 成一个信息处理过程，把这一过程的研究分为三个不同层次，即计算机理论 层次、表示与算法层次、硬件实现层次。m a r t 建立的视觉计算理论立足于计 算机科学，使机器视觉研究有了一个比较明确的体系，大大推动了机器视觉 研究的发展。人们普遍认为，机器视觉这门学科的形成与m a n 的视觉理论有 着密切的关系。 计算理论层次要回答系统各个部分的计算目的与计算策略，亦即各部分 的输入输出是什么，之间的关系是什么或具有什么约束。视觉系统的任务是 对环境中三维物体进行识别、定位与运动分析，但这仅仅是一种对视觉行为 ( b e h a v i o r ) 的目的性定义，而不是从计算理论层次上的目的性定义。三维物 体千差万别，应存在一种计算层次上的一般性目的描述，达到了这一“目的”， 则不管是什么具体的物体，视觉任务均可完成。m a n - 认为，这一“目的”， 就是要通过视觉系统，重建三维物体的形状、位置，而且，如在每一时刻， 都能做到这一点，则运动分析也能做到。 对于表达与算法层次，视觉系统的研究应给出各部分( 或称各模块) 的 输入、输出和内部的信息表达，以及实现计算理论所规定的目标的算法，算 法与表达有关，不同的表达方式，完成同一计算的算法会不同。 最后一个层次是解决用硬件实现上述表示和算法的问题，比如计算机体 系结构及具体的计算装置及其细节。 2 哈尔滨工程大学硕士研究生毕业论文 i i i i i i i i i -i t i i i i i i i i i i i i i i i i i i i 从信息处理的观点来看，至关重要的乃是最高层次，即计算理论层次。 这是因为构成知觉的计算本质，取决于解决计算问题本身，而不取决于用来 解决计算问题的特殊硬件。换句话说，通过正确理解待解决问题的本质，将 有助于理解并创造算法。 1 1 3 机器视觉的组成 机器视觉是机器对图像进行自动处理，识别图像中的内容。机器视觉由 两部分组成：特征度量和基于这些特征的模式识另l j o ) 。 1 特征度量 我们关注于对图像的元素( 像素) 进行处理，并从这些像素以及像素集合 中提取一组度量，这些度量可以表示整幅图像或其某些组成的特点。 2 模式识别 模式识别被定义为，对度量做出决策的过程，即给定一个未知物体的某 个度量或一组度量，根据未知物体属于哪些类的知识，从这些度量做出决策。 图1 1 表示机器视觉系统的组成。首先对未知物体进行度量，并确定一 组特征的度量值，其数值就被送到一个实现决策规则的过程中去。这种决策 规则一般用一个子程序实现。它对度量值进行计算，并根据度量值确定物体 最可能属于的类别。 正如图1 1 所示，机器视觉系统的结构相当简单。然而，每个模块的细 节会相当复杂，并且对设计分类器与特征度量系统的不同选择很多。 特征度量模块可以进一步分解成详细操作，如图1 2 所示。在这个层次 上，结构流程会变得更加复杂，因为要执行具体的操作，随图像的类型以及 任务实现的目标变化而变化，许多机器视觉应用并不需要使用所有的模块， 信息也常常以别的方法流动。例如，可以直接对图像进行匹配。 3 哈尔滨工程大学硕士研究生毕业论文 1 1 4 机器视觉的应用 由于机器视觉系统可以快速获取大量信息，易于自动处理，也易于同设 计信息以及加工控制信息集成，因此，在现代自动化生产过程中，人们将机 器视觉系统广泛地用于工况监视、成品检验和质量控制等领域【4 】。机器视觉 系统的特点是提高生产的自动化程度。在一些不适于人工作业的危险工作环 境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。而且机 器视觉易于实现信息集成，是实现计算机集成制造的基础技术。现在机器视 觉技术已经在欧美等发达国家得到广泛应用，如p c b 检测，智能仪器等。在 中国，以上行业本身就属于新兴的领域，再加之机器视觉产品技术的普及不 够，导致以上各行业的应用几乎空白，即便是有，也只是低端方面的应用。 图1 1 机器视觉系统的组成框图 图1 2 特征度量系统的一般组成 1 2 课题来源及主要指标 本课题来源于输油与油气回收系统的视觉定位研究项目，采用以v c 4 0 1 8 4 哈尔滨工程大学硕士研究生毕业论文 智能相机为核心的嵌入式图像处理系统作为开发平台。目前炼油企业进行大 批量的油料运输多采用铁路油罐车，因此油料装卸是炼油及油料销售企业生 产和经营的重要环节。传统的输油方式是利用人工引导大鹤管进行罐口定位。 这种方式下操作工人劳动强度大，易疲劳，且罐口定位不准确，容易引发安 全事故。视觉系统采用图像定位方式，实时获取并处理罐口图像定位精度高， 可实现油料装卸的自动化操作，对于提高生产效率，避免安全事故具有重大 意义。 该项目要求开发出一种视觉定位技术来自动定位铁路油罐车的标准 6 0 0 r a m 圆形罐口，为执行机构可编程控制器( p l c ) 提供罐口相对位置坐标， 主要技术指标如下： ( 1 ) 图像分辨率为6 4 0 x 4 8 0 ，灰度图； ( 2 ) 圆心定位误差不超过3 个像素； ( 3 ) 在低光照及照明不均匀的情况下仍能有效识别； ( 4 ) 具备一定的抗噪声性能。 课题的难点主要集中在以下两个方面： ( 1 ) 场景中诸多因素的干扰。罐口成像质量受罐口污染程度、光源角度、 照度、镜头畸变、离散化引起的误差等因素的影响，具有较大的不确定因素。 要自动适应各种因素对图像的影响是非常困难的。 ( 2 ) 实时性的要求。即算法的实现时间问题。 1 3 本文主要内容 本文在铁路油罐车罐口视觉定位的工程背景下，将罐口识别定位问题转 化为圆检测问题，重点研究在背景较为复杂和光照不均匀并且强度变化较大 的情况下，并在v c 4 0 1 8 智能相机为开发平台进行圆检测系统算法的实现和 优化。主要内容有如下几个方面： ( 1 ) 介绍了智能相机v c 4 0 1 8 结构、功能和开发方法。 5 哈尔滨工程大学硕十研究生毕业论文 i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i - ： iiit j7 i i i i i i i i i i ( 2 ) 由于系统工作在半露天环境下，光照不均匀且强度变化范围较大， 这种情况对普通的基于灰度的识别会产生较大的影响，甚至会导致系统失效。 本文基于边缘图像进行识别定位，研究了常用的边缘提取算法并对算法的性 能和结果进行了比较。 ( 3 ) 对常用的圆检测技术如霍夫变换、最小二乘圆拟合和模板匹配进行 了研究和分析。 ( 4 ) 给出了系统算法解决方案和不同实验情况下的结果，并研究了算法 优化。 6 哈尔滨工程大学硕士研究生毕业论文 i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i 宣i 一 imi - - - - i 宣i i i i i 2 1 引言 第2 章系统的构建 典型的机器视觉系统可分为两大类：p c 式或称板卡式机器视觉系统( p c - - b a s e d v i s i o ns y s t e m ) ，以及嵌入式机器视觉系统，亦称“智能相机 ( s m a r t c a m e r a ) 。p c 式视觉系统是二一种基于个人计算机( p c ) 的视觉系统，一般由 。光源、光学镜头、图像传感器、图像采集卡、图像处理软件以及一台p c 机 构成。基于p c 的机器视觉应用系统尺寸较大、结构复杂，但软件系统丰富， 灵活性好，能实现较为复杂的系统功能。另一类是嵌入式视觉系统，嵌入式 视觉系统具有易学、易用、易维护、易安装等特点，可在短期内构建起可靠 而有效的机器视觉系统，从而极大的提高了应用系统的开发速度1 5 1 。 2 2 基于p c 的机器视觉系统 基于p c 的计视觉系统构成图如2 1 所示 图2 1 基于p c 机的视觉系统构建框图 7 哈尔滨1 = 程大学硕士研究生毕业论文 光源是计算机视觉系统中的重要组成部分，照明设计是视觉系统设计的 重要环节，直接影响成像质量。高质量的图像能够降低算法的复杂性。在无 法保证稳定的成像条件下，算法复杂度会相应提高，并很难保证算法的适应 性。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要 选择相应的照明装置，以达到最佳效果。本文讨论的罐口检测问题处在半露 天环境中，当夜间或者阴天时，需要利用光源照明以保证成像质量，获得较 高的定位精度，因此课题中所设计的圆检测算法必须具有一定的适应性，以 保证在低光照与光照不均匀等情况下仍能较好地检测和定位目标。 图像传感器，例如c c d ( c h a r g ec o u p l e dd e v i c e ) 摄像机、红外摄像机、 医学上常用的核磁共振成像、x 射线成像等，将光信号转换为表示景物的电 信号。分辨率、转换速度和信噪比是主要参数。 图像采集卡是计算机视觉的重要组成部分，图像采集卡通常要占用p c 机总线的一个插槽，并带有外接的c c d 摄像头、图像监视器、视频信号接口。 它完成的主要功能是把摄像机模拟的视频信号转换成为离散的数字量。图像 采集卡的工作过程为：对摄像机输出的景物的视频信号进行实时采集，经a d 转换后将数字图像存放在图像存储单元的一个或多个信道中，通过计算机发 出指令，将某一帧图像静止在图像存储信道中，即采集或捕获了一帧图像， 计算机对采集的图像进行处理。图像采集卡上的d a 转换电路自动将图像实 时显示在图像监视器上，是协调整个系统的重要设备。 在基于计算机的视觉系统中，图像处理工作是由计算机来完成的。计算 机首先从图像采集卡的帧存储器中取图像数据到内存，然后利用图像处理软 件来完成对数据的处理。这种模式下图像处理的速度取决于处理器的性能， c p u 的运算速度越快，图像处理的速度也越快。 图像处理软件主要通过对图像的分析、处理和识别，实现对特定目标特 征的检测。由于计算机视觉系统在现代工业领域的广泛应用，使应用于计算 机视觉系统的视觉软件技术得到了高速发展。优秀的计算机视觉软件可对图 8 哈尔溟工程大学硕士研究生毕业论文 像中的目标特征进行快速而准确地检测，并最大限度地减小对硬件系统的依 赖性。 基于p c 机的计算机视觉系统，要求有较好的工作环境，其算法应用灵 活，适合于经常需要对算法做出修改的场合。另外这种系统可以较方便地调 整摄像机参数以不同的状态获取图像，以适应不同场合的需求。 2 3 基于智能相机的机器视觉系统 基于智能相机的机器视觉系统框图如图2 2 所示，和基于p c 的系统相比， 系统得到简化，本课题便是采用智能相机v c s b c 4 0 1 8 为核心构建的系统。 图2 2 基于智能相机的视觉系统构建框图 2 3 1 智能相机的概念 智能相机( s m a r tc a m e r a ) 与传统意义上的相机有着本质的不同，它并 不是一台简单地将光信号转化为电信号的设备。智能相机内部除了普通相机 具备的图像( 光电) 传感器、a d 转换等部件，还具备图像信号处理、图像 缓存、通讯接口等模块，将图像的采集、处理与通信功能集成于单一装置内， 从而提供了多功能、模块化、高可靠性、易于实现的机器视觉解决方案。 2 3 2 智能相机的功能与构成 智能相机不仅能完成普通相机的图像采集功能，而且能在装置内部完成 对于图像信息的处理和分析，并将处理后的信息发送出去，相当于将传统机 器视觉系统中图像传感器、图像采集卡、p c 机以及图像和视觉处理软件同时 9 哈尔滨工程大学硕士研究生毕业论文 集成于一个完整的装置内，是一种高度集成化的微小型机器视觉系统。传统 相机完成从光信号到电信号的转换，输出模拟数字电信号，而智能相机不仅 完成了光电信号的转换，而且完成了图像处理的工作，输出的除了图像电信 号，还有经过处理、提取的图像信息和有关控制指令。 智能相机主要由图像采集单元、通讯模块、图像处理单元三大部分组成。 其中图像采集单元相当于传统的普通相机，而图像处理单元是智能相机的核 心。 图像采集单元将光学信号转变为模拟数字图像信号，发送给图像处理单 元，相当于传统的c c d c m o s 相机和图像采集卡。 图像处理单元包括了图像处理、存储的硬件平台和相应的处理软件，可 对图像进行存储和处理。运算的硬件平台采用的微处理器一般有d s p 、f p g a 。 处理软件在微处理器的支持下，完成图像处理的功能。软件可由外部写入， 一般的智能相机中，常用的图像处理算法均封装成了固定的模块，用户可以 直接调用。 通讯模块是智能相机的重要组成部分，完成图像数据、提取的信息、处 理结果的发送和控制信息通信任务。智能相机一般均有内置以太网通信接口， 并可支持多种网络和总线协议。 2 3 3 智能相机和p c b a s e d 系统的比较分析 智能相机出现以来，以其独特的优势在一些应用中表现出较好的性价比， 市场份额逐步上升，以智能相机为代表的嵌入式机器视觉系统与p c b a s e d 机器视觉系统已并列成为机器视觉领域的两大主流模式。对比起来，智能相 机与p c b a s e d 系统各有其优点。 高度集成的结构给智能相机带来了许多优点，首先是可靠性高，比之不 同厂商的部件通过线缆连接而成的基于p c ( p c b a s e d ) 的视觉系统，智能相 机具有更高的稳定性和效率。其次是智能相机体积小，结构紧凑，在生产线 l o 哈尔滨工程大学硕十研究生毕业论文 和各种设备内部安装时便于布置，且拆卸和移动都相对容易。智能相机实现 了图像信号的“就地”处理，避免了图像长距离传输带来的干扰。 从体积和功耗来说，无疑是智能相机占优。智能相机的体积与普通相机 基本相当，而p cb a s e d 系统中，除了相机外，还需要图像采集卡、工控机、 相应的连接件和线缆，体积较大且不便于安装、拆卸、移动。在一些对设备 体积限制较严的场合，如生产装置内部、移动装置、生产线改造等环境，更 适合采用智能相机。 可靠性是系统的重要指标。p c b a s e d 系统中，系统分为光源、图像采集 设备( 普通相机) 、图像传输线缆、图像采集卡、主机等多个部分，各部分由 不同厂家生产，又涉及兼容性、连接件接插、信号传输等中间环节，在恶劣 环境下、长时间工作时容易出现问题，而智能相机将图像采集、处理和网络 通信部件集成到一个设备中，经过专业人员的系统性和可靠性设计与测试， 其可靠性和工作的稳定性高于p c b a s e d 系统，且设备维护要简单得多。一因其 可靠、简单易用、维护方便，极大地降低了维护支出和设备工作不稳定带来 的损失。 智能相机特别适用于多点检测、联网使用，符合分布式计算和分布式控 制的理念。在一个复杂的视觉系统中，多个智能相机可以作为前端，将多通 道的图像数据进行并行处理，将处理后的图像或提取出的特征( 数据量己大 大压缩) 发送给中央计算机，提高系统的处理能力和效果。 但智能相机这种集成化也带来了灵活性不足的缺点。在p c b a s e d 视觉系 统中，开发者可以在系统的各环节根据实际需要选择性能最合适、成本最低 廉的产品，或者根据新的需求更换某些部件，达到较好的灵活性。在面临多 种选择时p c 机提供了更大的灵活性。例如在选择相机时可以使用线扫描相 机也可以使用面阵相机，你还可以选择第三方的软件包，而智能相机中硬件 电路和器件都已固定，灵活性较差。同样，智能相机构成的视觉系统功能可 扩展性差于p c b a s e d 系统。例如智能相机分辨率固定，无法灵活地满足不同 哈尔滨工程大学硕士研究生毕业论文 分辨率的需求。 智能相机由于其操作系统进行了“瘦身”处理，系统架构和算法进行了专 门的优化，对同样的算法，其实现速度要高于p c b a s e d 系统，实时性更好。 但受器件水平的制约，目前智能相机在实现复杂的算法，实现高精度、大数 据量的处理方面，比之p c b a s e d 系统还有较大的差距。 速度方面，p c b a s e d 系统可以配置高速相机，采用高速处理器，可以达 到运动速度非常快的检测要求，而智能相机如果达到同样的处理速度，则成 本将是非常高昂。大部分智能相机目前的运行速度无法和p c b a s e d 匹敌。 精度方面，p c b a s e d 的检测精度更高。在目前的技术水平下，智能相机 因受其处理器、内存等各方面影响而不利于做更复杂的算法，所以目前无法 达到p c b a s e d 的检测精度。在检测幅面方面，智能相机的劣势也较为明显。 智能相机虽然也可以采用高像素分辨率的图像芯片，但涉及到一些生产工艺 的、电路设计的问题，其成本会非常高昂，高档的配置未必可以轻松的选用。 p c b a s e d 系统可以做更复杂的应用，可以更灵活的进行控制。目前智能 相机多用于中低端的视觉系统，更多地用于一些相对简单的场合，如基础的 有无判断、读条形码、识别数字和其他简单的任务。 当我们在设计一个特定的机器视觉系统时，到底是使用智能相机还是使 用基于p c 的视觉系统，二者谁最合适并不是很容易做出的选择，只能综合 考虑性能要求、成本、应用限制等多方面因素进行综合评价，或者考虑将两 者综合使用。 从长远发展看，尽管智能相机仍然存在种种不完善，但其简单、易用、 价格便宜的特点，系统应用的稳定性、易于维护性、功能上的强大与灵活性， 给客户提供了更高的价值。自问世以来，它凭借独特的优点得到了许多视觉 系统集成商和最终用户青睐，市场占有率节节攀升。随着技术水平的进步， 这种趋势更为明显。 1 2 兰尘至三耋奎兰至圭至圣圭兰兰兰圣 2 4 智能相机v c s b c 4 0 1 8 2 4 1 相机系统结构简介 v c s b c 4 0 1 8 德国v i s i o nc o m p o n e n t s 公司一款专门针对o e m 厂商开发 的一款智能相机，相机如图2 3 所示： 图2 3v c s b c 4 0 1 8 智能相机 v c s b c 4 0 1 8 是一款高性能的智能相机，用户可以任意二次开发专用程 序，处理器采用公司的d s p t m s 3 2 0 c 6 4 0 1 ，计算能力达到3 2 0 0 m i p s ，内 嵌操作系统可以实现多任务运行，意味着用户的命令可以在不影响相机正常 工作的情况下并行执行，并且可以在后台任务通过t c p i p 实时传输图像。当 相机收到一个开始脉冲后，相机就会启动曝光和读取图像的过程， v c s b c 4 0 1 8 能够在一秒钟内获取逐行扫描的v g a 图像3 2 帧，相机对图像 的捕获过程做了优化，图像的曝光，读取和图像数据的处理能够同时执行， 这也就意味着如果曝光和图像处理的时间之和小于图像的传输时间( 大概3 1 毫秒) ，相机将保持最佳的帧获取速率。并可以通过以太网接口把实时获取的 图像传送到p c ，还包括高速的脉冲触发器，1 2 - - 2 4 v 的数字i o ，附加的m 哈尔滨t 程大学硕士研究生毕业论文 i o 和一个照明控制器。 相机的结构【6 1 框如图2 4 所示 图2 4v c s b c 4 0 1 8 智能相机的结构框图 2 4 2 软件开发平台 v c s b c 4 0 1 8 的软件开发平台 7 1 主要包括内嵌操作系统v c r t ，开发编译 环境c o d ec o m p o s e rs t u d i o ，v c l i b 3 0 图像处理库。 1 操作系统v c r t 操作系统v c r t t s l 不仅是多任务的而且是实时的，如读取图像的同时， 可以处理上一幅图像和实时p l c 操作。v c 册控制着相机各个功能组成部 分，并且提供给用户一个简单的命令解释程序( s h e l l ) 控制相机的各个资源， 也为用户在调试和测试阶段提供了方便。v c r t 资源列表如表2 1 。内核功 能上包括以下几个部分： ( 1 ) 上电或重启时，载入器载入s h e l l 。驻留程序“e x e c 0 ”能够在任何时候 实现调用。 ( 2 ) 时间控制的中断函数。通过中断，任何与时间相关的功能都可在毫 1 4 哈尔滨工程大学硕士研究生毕业论文 秒内执行完成。 ( 3 ) 通信功能( 串口和以太网) 的功能控制。 ( 4 ) p l c 输出输入的中断控制。 ( 5 ) 图像获取和显示的d m a 控制。通过d m a ，可以控制任何和图像获 取和显示的功能。 表2 1v c r t 资源列表 资源功能 c c d 传感器 图像的获取，重现和各种不同控制功能 帧输出显示控制 f l a s he p r o m 读取和保存文件和程序，删除分区 s d r a m 存取和管理内存，分配和删除内存 r s 2 3 2 接口数据缓冲和后台1 0 控制 以太网 高速t c p i p 堆栈 中断各种不同中断资源的控制 2 s h e l l s h e l l 是加载器加载的一段程序，s h e l l 通过以太网连接和p c 上的用户终 端程序t e r at e r m 通信。像所有的操作系统一样，命令可以通过输入( 带参 数或者不带参数) 被s h e l l 程序解释。s h e l l 本身包含很多可以直接执行的有 用命令。 除了输入命令的用户接口，加载和执行程序，s h e l l 还有以下特点： ( 1 ) 任何以a s c i i 文件形式存放的s h e l l 命令或者程序都可以简单输入其 名字而执行。 ( 2 ) 任何s h e l l 命令都可以以参数的形式在运行的程序里调用。 ( 3 ) s h e l l 本身可以被用户程序调用。 3 v c l i b 3 0 图像处理库【。】 v c l i b 3 0 是相机自带的图像处理函数库，提供了一些常用的图像处理功 15 哈 、滨t 程大学硕十研究生毕业论文 能函数，丰要有： ( i ) 常用宏 ( 2 ) 灰度陶像处理函数 ( 3 ) j p e g 文件压缩解压缩函数 ( 4 ) 二值图像转换为游程编码函数 ( 5 ) 轮廓编码函数 ( 6 ) 图形函数 ( 7 ) 为有经验的程序员提供的基本函数 v c l i b 30 图像处理库，虽然没有p c 上的商用图像处理软件库强大，但 它提供了些基本的函数功能，并做了一定程度的优化，开发人员可以根据 需要使用这些函数功能，当无法满足需要时，可以自己进行开发。 4 软件编译环境c c s v c s b c 4 0 1 8 智能相机的程序编译链接，f 发环境是t i 公司的c o d e c o m p o s e rs t u d i o ，c o d ec o m p o s e rs t u d i o ( c c s ) 是t i 公司推出的一个集成 性d s p 软件开发工具，c c s 内部集成了如代码生成器、软件模拟器( s i m u l a t o r ) 等软件t 具，开发者可以对软件进行编辑、编译、调试、代码性能测试和项 目管理等工作。如图25 所示： 图2 , 5 c c s 开拉环境 通过t e r at e r m 把目标文件上载到相机后，相机便可工作了，通过s h e l l 命令可对其进行调试。 6 哈 ：滨上样人学砸士研究# 毕业论文 25 系统构建模型 图26 t e r a t e r m 界面 系统构建模型如图27 所示，通过智能相机对罐口的检测发出前进或后 退的信号给p l c 控制油罐车的运动，当罐口的中心处于注油鹤管正下方时， 鹤管下行深入罐口内，完成注油过程。 2 6 本章小结 图27 系统构建模型示意图 本章对现在主流的两种机器视觉平台进行了客观的比较，两种视觉系统 哈尔滨工稗大学硕士研究生毕业论文 者需要根据考虑性能要求、成本、应用限制等多方面因素进行综合评价做出 选择。考虑工程现场和成本的原因我们选择智能相机作为开发平台，并对 v c s b c 4 0 1 8 智能相机的结构和开发方法进行了介绍。 1 8 哈尔滨工程大学硕士研究生毕业论文 3 1 引言 第3 章边缘检测 边缘检测m 【1 3 l 是图像处理中的重要内容。边缘是图像的基本特征。所谓 边缘是指图像周围像素灰度有阶跃变化或屋顶变化的那些像素集合，边缘或 许对应着图像中物体( 的边界) 或许并没有对应着图像中物体( 的边界) ，但 是边缘具有十分令人满意的性质，它能大大减少所要处理的信息但又保留了 图像中物体的形状信息。 边缘检测对于物体识别是很重要的。主要有以下几个理由：首先，人眼 通过追踪未知物体的轮廓( 轮廓是由一段段的边缘片组成) 而扫视一个未知 的物体。第二，经验告诉我们：如果我们能成功地得到图像的边缘，那么图 像分析就会大大简化，图像识别就会容易的多。 机器视觉处理可以看作是为了实现某一任务从包含有大量的不相关的变 量中抽取不变量即扔掉一些不必要的信息而尽可能的利用物体的不变性质。 而边缘就是最重要的不变性质：光线的变化显著地影响了一个区域的外观， 但是不会改变它的边缘。 本课题中的圆检测考虑到光照不均匀及光照强度变化等因素的干扰，如 果基于图像灰度进行检测，检测结果会出现较大误差，在光照变化较剧烈的 情况下甚至会出现误识别现象。为避免上述情况的发生，可利用对光照较不 敏感的边缘图像进行检测。 3 2 边缘检测算法 引起图像灰度不连续性的物理过程可能是几何方面的，也可能是光学方 面的。几何方面包括深度的不连续性、表面取向、颜色和纹理的不同；光学 方面包括表面反射、非目标物体产生的阴影以及内部倒影等。这些景物特性 1 9 哈尔滨工程大学硕士研冤生毕业论文 i ii ii i 混在一起会使随后的解释变得非常困难。而且，在实际场合中，图像数据往 往被噪声污染。因此边缘检测方法要求既能检测到边缘的精确位置，又可以 抑制无关细节和噪声。 边缘检测算法主要有如下三个步骤： ( 1 ) 滤波：边缘检测算法主要是基于图像强度的一阶和二阶导数，但导 数的计算对噪声很敏感，因此必须使用滤波器来改善与噪声有关的边缘检测 器的性能。， ( 2 ) 增强：增强边缘的基础是确定图像各点邻域强度的变化值，增强算 法可以将邻域( 或局部) 强度值有显著变化的点突显出来，边缘增强一般是通 过计算梯度幅值来完成的。 ( 3 ) 检测：在图像中有许多点的梯度幅值比较大，而这些点在特定的应 用领域中) 并不都是边缘，所以应该用某种方法来确定哪些点是边缘点。最简 单的边缘检测判据是梯度幅值阈值判据。 边缘检测中对梯度设定相应的阈值，进行二值化处理，保留图像中重要 信息，去除多余信息，尽量减少运算量，完成边缘检测。人们提出了很多种 边缘检测的方法。通常采用两类方法提取边缘：第一类方法是直接对灰度图 进行处理，如检测算子法、灰度形态学法、小波变换法、神经网络法、模糊 算子法等等；第二类方法是首先对灰度图进行阈值分割，然后对得到的二值 图检测边缘。其中比较常用的方法是第一类方法中的检测算子法和第二类方 法。对于第二类方法，其最大的特点是速度快、实现简单，但使用该方法对 图像的质量要求较高，否则边缘定位精度将不能满足要求。针对第一类方法， 在经典算子之上也提出了一些改进方法，如c a n n y 边缘检测等。 3 2 1 经典算子 由于各种边缘检测算子都有优点和缺点，没有绝对的好或者坏，因此要 根据具体的情况选择合适的算法。另外，由于噪声、不均匀的照明而产生的 2 0 哈尔滨工程大学硕士研究生毕业论文 边缘间断以及其他由于引入虚假的亮度间断所带来的影响，利用检测算子检 测的一组像素点很少能完整地描绘一条边缘。因此，这就需要在使用边缘检 测算法后紧跟着使用连接算法将边缘像素点组合成有意义的边缘，这将增加 边缘提取过程的复杂度。传统的边缘检测算法通过梯度算子来实现。在求边 缘的梯度时，需要对每个象素位置计算，在实际中常用小区域模板卷积来近 似计算。模板是n 的权值方阵。经典的梯度算子模有：s o b e l 模板、k i r s c h 模板、p r e w i t t 模板、r o b e r t s 模板、l a p l a c i a n 模板、点模板、线模板( 分0 度，4 5 度，9 0 度，4 5 度四个方向) 等。对于方向模板卷积，可同时得到边 缘方向和沿该方向的强度。若待检测图像产生模糊，则用模板卷积得到的边 缘常常有一定的宽度，此时可使“非最大值压制”算法得到单象素宽的边缘 线条。 1 r o b e r t s 算子 任意一对相互垂直方向上的差分可以看成是对梯度的近似，r o b e r t s 边缘 检测算子利用该原理，采用对角线方向相邻两像素之差代替梯度，即： g ( f ，_ ，) = i 厂( f ，_ ，) 一f ( i + l ，+ 1 ) + f ( i + l ，) 一( f ，+ 1 ) | ( 3 1 ) 用卷积模板表示，上式可变为 c ( i ，- ) = l g ( x 】+ l g ) i ( 3 2 ) 其中g g ) 和g ) 为下列模板形式： g c z ，= 三一0 ， g ，= ；苫 c 3 3 ， 在计算梯度时，计算空间( x ，y ) 同一位置处的真实偏导数非常重要。采用 2 x 2 邻域模板计算的梯度近似值g ，和g ，并不位于同一位置，! g ，是内差点 ( f ，+ 1 2 ) 处的近似梯度，g ，是内差点( f + i 2 ，) 处的近似梯度。因此，r o b e r t s 算子是该点连续梯度的近似值，而不是预期点o ，) 处的近似值。为避免这种 问题，通常采用3 3 的邻域模板计算梯度值。 2 l 耻雕习蠢= 睢弭， 1 三1 三i 习 1 1 - 2 1 - j 1 j 。： 二。 - 1 - t 1 1 | | 二1 圳雕- 1 - 1 习 2 2 哈尔滨工程大学硕士研究生毕业论文 八个方向的模板定义为： 4 l a p l a e i a n 算子 。r o b e r t s ，s o b e l ，p r e w i t t 算子属于一阶导数边缘检测器，获取边缘的方法 是通过梯度幅值与阈值比较来检测边缘点，但这样做导致检测出的边缘点比 较多，边缘较粗，而且阈值选择也是一个问题。一种改进的方法是，通过检 n - 阶导数过零点来确定边缘点，由于一阶导数局部最大值对应着二阶导数 过零点，因此通过零交叉点可以确定精确边缘点。l a p l a c i a n 算子就是常用的 二阶检测算子。 ，l a p l a e i a n 算子是二阶导数的二维等效式，函数g ，y ) 的l a p l a e i a n 算子 公式为： v 2 厂= 警+ 等 协5 ， 使用差分方程对x 和y 方向上的二阶导数近似如下： a 2 厂一a g ， 0 2 x a ， a x 8x8l = 厂( f ，+ 1 ) 一2 f ( i ，_ ) + 厂( f ，) ( 3 6 ) 等= 几+ 1 ，小2 厂+ 厂( f - l ，) ( 3 7 ) 协8 ， l a p l a e i a n 算子对灰度突变比较敏感，可以检测出绝大部分的边缘，但其 哈尔滨工程大学硕士研究生毕业论文 3 2 2 坎尼( c a n n y ) 边缘检测 边缘检测的过程并不仅仅是对梯度简单的取个阈值，我们需要更精确的 知道边缘的位置而不只是对梯度简单的取个阈值后加以检测。在这个领域最 著名的方法c a n n y 边缘检测器 1 4 1 。 c a n n y 算子的基本思想是：首先用高斯滤波器平滑图像；然后使用差分 模板近似计算梯度值和方向：再在梯度方向上确定局部极大值点，用双门限 法去除噪声并保留边缘点；最后进行插值将边缘点连接起来以形成连贯的曲 线。对图像应用c a n n y 算子运算，可直接获得单像素宽的图像边缘连贯曲线。 ( 1 ) 设用，( f ，) 表示图像，平滑图像就是用高斯平滑滤波器与图像作卷 积 s ( f ，j ) - - g ( f ，仃) 奉，( f ，- ，) ( 3 9 ) 其中：“代表卷积符号，仃是高斯函数的散布参数，它控制平化程度 s ( i ，_ ，) 的梯度可以用2 x2 一阶有限差分近似式来计算： p ( ，- ，) = $ ( f ，+ 1 ) 一s ( f ，_ ，) + s ( i + 1 ，j + 1 ) 一s ( i + 1 ，- ，) ) ? ( 3 1 0 ) o ( i ，力= ( f ，) 一s ( i + i ，- ，) + s ( f ，_ ，+ 1 ) 一s ( i + 1 ，j + 1 ) ) 2 ( 3 1 1 ) ( 2 ) 幅值与方向