（模式识别与智能系统专业论文）基于图像识别技术的机械手视觉系统的研究.pdf

摘要 机器视觉是图像技术、模式识别技术，以及计算机技术发展的新产物，是实 现智能化、自动化、信息化的先进技术领域。 本课题主要研究机器视觉在机械手上的应用，完成对不同形状物体的识别、 分类、定位功能。将摄像机获取的图片进行图像处理，如二值化等，然后利用 b l o b 算法检测目标图像的内点和边界点，求出物体的周长、面积，进而计算6 个不变矩和圆形度，将这7 个数据作为特征量输入神经网络，通过神经网络进 行识别、分类，对识别的结果进行定位，确定中心坐标以及物体某一斜边与x 轴的夹角口，然后将上述信息通过串口传递给p l c ，再由p l c 去控制机械手准确 地抓取放在传送带上的目标物体。 在本项研究中采用b l o b 算法对目标物定位。利用b l o b 分析法求出指定平面内 任意形状目标物的中心坐标，以及某一斜边与x 轴的夹角等几何参数，并且显示 出来。本项研究工作中主要是对采集到的图像序列进行处理，确定目标的位置。 这种算法用来从背景中分离出目标，并测量任意形状目标物的形态参数，它与基 于像素的算法相比，处理速度能够加快。本项目直接利用v c 智能摄像机来完成机 械手视觉系统的图像采集及量化任务，并利用其自带的操作系统及开发平台进行 二次开发，编写了相应的目标定位程序。 本项研究工作的目的是利用神经网络和图像识别技术的机器视觉问题的研 究成果，提高机械手系统的智能化程度。本系统是以智能相机为代表的嵌入式系 统。有许多独特的优点，如：分辨率高、帧率高、包含信号处理器d s p 、与p c 机 相匹敌的运算速度等，这也是机器视觉发展的主流，因此本项研究工作具有较大 的实际应用价值。 关键词机器视觉；图像处理；神经网络；b l o b 算法；目标定位 a b s t r a c t a b s t r a c t m a c h i n ev i s i o ni st h en e wp r o d u c t sw i t ht h e d e v e l o p m e n to ft h ei m a g e t e c h n o l o g y 、p a a e r nr e c o g n i t i o nt e c h n o l o g ya n dc o m p u t e rt e c h n o l o g y ，i st oa c h i e v e i n t e l l i g e n t ，a u t o m a t i o n ，i n f o r m a t i o na n da d v a n c e dt e c h n o l o g yf i e l d s t h es t u d ym o s t l yd i s c u s st oa p p l ym a c h i n ev i s i o no nt h em a n i p u l a t o r ，a n d r e c o g n i z eo b je c t so fd i f f e r e n ts h a p e s ，c l a s s i f i c a t i o n ，t a r g e t i n g t h ec a m e r aw i l lg e t t h ep i c t u r e i m a g ep r o c e s s i n g ，s u c ha sb i n a r y ，a n dt h e nu s i n gb l o bd e t e c t i o n a l g o r i t h mw i t h i nt h et a r g e ti m a g e ，a n db o r d e rp o i n t s ，o b t a i n e do b j e c t sp e r i m e t e r , a r e aa n dt h e nc a l c u l a t e dt h es a m em o m e n ta n ds i xr a d i o ，t h e s es e v e nc h a r a c t e r i s t i c s o fi n p u td a t aa san e u r a ln e t w o r k ，t h r o u g ht h en e u r a ln e t w o r kt oi d e n t i f y , c l a s s i f y , i d e n t i f yt h el o c a t i o no ft h er e s u l t st od e t e r m i n ec e n t e rc o o r d i n a t e sa n do b j e c t so fa b e v e le d g ea n dt h ex a x i sa n g l e ，t h e nt h ea b o v ei n f o r m a t i o nt h r o u g ht h es e r i a l p o r t t r a n s f e rt ot h ep l c ，b yt h ep l ct oc o n t r o lt h em e c h a n i c a lh a n da n d a c c u r a t e l yc r a w l o nt h ec o n v e y o rb e l to nt h et a r g e to b j e c t s i nt h i ss t u d yt h eu s eo fb l o ba l g o r i t h mt a r g e tp o s i t i o n i n g b l o ba n a l y s i so b t a i n e d u s i n gt h ed e s i g n a t e dp l a n eo ft h eg o a lo fa n ys h a p ea tt h ec e n t r ec o o r d i n a t e s ，a n da b e v e le d g ew i t ht h ex a x i s ，s u c ha st h ea n g l eb e t w e e nt h eg e o m e t r i cp a r a m e t e r s ，a n d d i s p l a y e d t h i ss t u d yi sm a i n l yt h ew o r ko ft h ei m a g es e q u e n c et ot h ea c q u i s i t i o n p r o c e s st od e t e r m i n et h ep o s i t i o na n dw i l lc o n v e yt h i si n f o r m a t i o nt ot h ep l c ， c o n t r o l l e db yt h em e c h a n i c a lh a n dt oc r a w lt h et a r g e ta c c u r a t e l y t h i sm e t h o du s e d t os e p a r a t eo u tf r o mt h eb a c k g r o u n do fg o a l s ，o b j e c t i v e sa n dm e a s u r i n gt h es h a p eo f a n yf o r mo fp a r a m e t e r s ，a n dp i x e l b a s e da l g o r i t h mc o m p a r e dt os p e e du pt h e p r o c e s s i n gs p e e d t h ei t e mc o m p l e t ei m a g ea c q u i s i t i o nw i t hv cs m a r tc a m e r a ，a n d u s eo fi t sb u i l t i no p e r a t i n gs y s t e mt os e c o n d a r ye m p o l d e r , t h ep r e p a r a t i o no ft h e c o r r e s p o n d i n gt a r g e t i n gp r o c e d u r e s t h ep u r p o s eo ft h i ss t u d yi st h eu s eo fn e u r a ln e t w o r k sa n di m a g e r e c o g n i t i o n t e c h n o l o g yt od i s c u s sm a c h i n ev i s i o np r o b l e m s ，t oe n h a n c et h ei n t e l l i g e n c eo ft h e m a n i p u l a t o rs y s t e m t h es y s t e mi ss m a r tc a m e r a sa st h er e p r e s e n t a t i v eo ft h e e m b e d d e ds y s t e m ，t h e r ea r em a n yu n i q u ea d v a n t a g e s ，s u c ha s i d e n t i f yh i g hr a t e ， l l i 曲f r a m er a t e ，i n c l u d i n gs i g n a lp r o c e s s o r sd s p ，a n da sp cc o m p u t i n gs p e e d ，w h i c h i st h em a i n s t r e a mo fm a c h i n ev i s i o nd e v e l o p m e n t ，s ot h es t u d yh a sa h i g h e rv a l u eo f t h ep r a c t i c a la p p l i c a t i o n i i i 北京t 业大学t 学硕：卜学位论文 k e y w o r d sm a c h i n ev i s i o n ；i m a g ep r o c e s s i n g ；n e u r a ln e t w o r k s ；b l o ba l g o r i t h m ； t a r g e t i n g i v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均己在论文中作了明确的说明并表示了谢意。 签名：一曼玉军一目期：弛趾丑一 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名： 马亟耸 导师签名： 1 绪论 第1 章绪论 1 1 课题背景及研究的意义 1 1 1 机器视觉系统的应用及社会需求 机器视觉是研究计算机模拟生物宏观视觉功能的科学和技术，即用摄像机和计算 机等机器代替人眼对目标进行测量、跟踪和识别，并加以判断。主要应用于如工业检 测、工业探伤、精密控制、自动生产流水线、邮政自动化、粮食优选、显微医学操作， 以及各种危险场合工作的机器人等。 机器视觉的应用研究，已经拓展到几乎每个可能的工业领域。最主要的应用行业 为汽车、制药、电子与电气、制造、包装、食品、饮料、医学等。在现代工业自动化 生产中，涉及到各种各样的检查、测量和零件识别应用，例如汽车零配件尺寸检查和 自动装配的完整性检查、电子装配线的元件自动定位、饮料瓶盖的印刷质量检查、产 品包装上的条码和字符识别等。这类应用的共同特点是连续大批量生产、对外观质量 的要求非常高。这种带有高度重复性和智能性的工作，过去是靠人工检测来完成。人 工执行这些工序，在给工厂增加巨大的人工成本和管理成本的同时，仍然不能保证 1 0 0 的检验合格率( 即“零缺陷”) 。0 1 的缺陷的存在，对企业在市场上的竞争也是 极为不利的。有些时候，如微小尺寸的精确快速测量、形状匹配、颜色辨识等，用人 眼根本无法连续稳定地进行。机器视觉的引入，代替传统的人工检测方法，避免了人 眼的视觉疲劳。由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易 于同设计信息以及加工控制信息集成，因此，在现代自动化生产过程中，机器视觉系 统广泛地应用于工况监视、成品检验和质量控制等领域。机器视觉系统的特点是提高 生产的柔性和自动化程度。在一些不适合人工作业的危险工作环境或人工视觉难以满 足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人 工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率 和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基 础技术，极大地提高了投放市场的产品质量，提高了生产效率。典型的线径在线检测 与控制，如被加工工件的直径测量、铜线的拉线线径测量与控制，传统的接触式测量 方法存在缺陷，人工在线测量是不可能的。采用线阵c c d 线径测量方法，是较早期机 器视觉成功应用的例证。机器视觉的特点是自动化、客观、非接触和高精度，与一般 意义上的图像处理系统相比，机器视觉强调的是精度和速度，以及工业现场环境下的 可靠性。机器视觉极适用于大批量生产过程中的测量、检查和辨识。线阵c c d 在连续、 扫描在线测量中的应用非常具有优势，如面积测量1 2 j ，不仅得到的结果准确，而且实 时、快捷；再如，零件装配完整性、装配尺寸精度、零件加工精度、位置角度测量、 北京t 业大学t 学硕= ：学位论文 零件识别、特性字符识别等。在零售业界，p o s 的终端设备，如条码识读机，也是线 阵c c d 在机器视觉上的典型应用。连续流动流体测量，如，透明管道水的澄清度、异 物测量，为自来水、工业污水水质测量与控制，江河污染监测；此外，如在线食用油 品油质监测，为保证生产出合格的油品提供保障。 随着图像处理和模式识别理论研究的进展，采用二维图像的机器视觉系统在最近 几年得到了成功应用。如指纹、掌纹、虹膜和人脸等实物特征识别的机器视觉系统， 已经在机场、车站安检、考勤、门禁认证、海关通关等场合使用；在恐怖主义威胁下， 不仅对人的识别更加重视，货物运输中也逐步考虑使用更加先进的机器视觉系统，如， 采用计算机断层扫描技术的货物安检和成分识别研究正在开展。在医学诊疗过程中， 病症的识别离不开机器视觉系统的使用。如，超声波、c t 、磁共振、基于c c d 的内 窥镜等装备，在大、中型医院已经获得普遍推广。目前，国际上视觉系统的应用方兴 未艾，国内，机器视觉系统也进入应用的快速发展期，主要的视觉系统采用进口，不 同类型的应用，均可以采取购买成熟系统的方法。国内形成产品的视觉系统主要有， 用于粮食的色选机、线径测量系统等。 机器视觉足图像技术、模式识别技术，以及计算机技术发展的新的产物，是实现 智能化、自动化、信息化的先进技术领域。机器视觉系统的应用，大大提高装备的智 能化、自动化，提高装备的使用效率、可靠性等性能。随着新的技术、新的理论在机 器视觉系统中的应用，机器视觉将在国民经济的各个领域发挥更大的作用，一方面可 以带来新的产业增长点，向市场推广满足各种需求的机器视觉系统产品，产生直接的 经济效益；另一方面，通过机器视觉系统的应用，更加有效地发挥自动化装备的效能， 提升自动化生产水平，提高产品质量，带动整个产业的生产效率大幅提高。 1 1 2 机器视觉系统的技术难点及研究意义 机器视觉从诞生到今天才只有短短的三十多年时间，在机器视觉中承担“大脑”作 用的图像分析处理、图像理解和模式识别理论和技术基础还非常不完善 3 1 。甚至，机 器视觉的图像获取系统也存在许多局限，比如高速图像采集实现困难、价格过高，图 像分辨率、灵敏度等不高，敏感元件的制造困难，视觉系统的体积较大，自适应的图 像获取无法实现等。 机器视觉系统在我国仍属于低组合水平，单功能，低效率，低准确度。虽然我们已在 算法软件，光路系统，硬件结构等等方面取得了一定的经验，但要更上一层楼，上升到实 用化水平，做成一个兼容性强、用途广、功效高的功能模块仍然有一定距离。因此，必 须加大力度，投入人力财力，集中力量攻关。 机器视觉软件已经从追求功能转变为算法的准确性和高效率。常规的机器视觉软 件尽管均能提供上述功能，但其检测效果和运算效率却有很大差别。优秀的机器视觉 软件可对图像中目标特征进行快速而准确的检测，对图像的适应性强；而不好的软件 绪论 则存在速度慢、结果不准确、鲁棒性差的缺点。从硬件平台的角度说，计算机在c p u 和内存方面的改进给视觉系统提供了很好的支撑，多核c p u 配合多线程的软件可以成 倍提高速度。伴随d s p 、f p g a 技术的发展，嵌入式处理模块以其强大的数据处理能 力、集成性、模块化和无需复杂操作系统支持等优点而得到越来越多的重视。 机器视觉在工业、农业、医学等领域的应用研究得到了广泛开展，但我们应当看 到，机器视觉从诞生到今天这短短三十多年时间中，其相关研究、发展和应用还远没 有达到成熟的程度。在未来的几年内，随着中国加工制造业的发展，对于机器视觉的 需求必将逐渐增多，随着机器视觉产品的增多，技术的提高，国内机器视觉的应用状 况也将由初期的低端转向高端。实现实时在线、智能化、高精度检测与控制必将成为 我国机器视觉的发展趋势。 本课题对机器人的视觉识别问题进行探讨，采用神经网络法对图像进行识别，来 完成视觉系统的设计。在设计中，依据图像处理技术相关知识，首先对智能摄像机采 集来的图像进行预处理，预处理包括图像增强、图像滤波、图像分割，然后通过边缘 检测算法对图像进行边缘检测，并对图像进行特征提取和特征向量归一化处理，最后 将归一化后的特征输入神经网络分类器，由分类器对这组特征进行分类、判断，得出 识别结果，再经过目标定位，从而支配机械手作出相应的抓取动作。 在相关的图像处理的书籍及期：f i j 中介绍了许多种有关目标物定位的方法，如参考 文献1 4 j 【5 j ，本项研究中采用b l o b 算法。利用b l o b 分析法求出指定平面内任意形状目标 物的中心坐标，以及某一斜边与x 轴的夹角等几何参数，并且显示出来。本项研究工 作中主要是对采集到的图像序列进行处理，确定目标的位置，并将此信息传递给p l c ，由 其控制机械手准确地抓取该目标。这种算法用来从背景中分离出目标，并测量任意形 状目标物的形态参数，它与基于像素的算法相比，处理速度能够加快。本项目直接利 用v c 智能摄像机来完成机械手视觉系统的图像采集及量化任务，并利用其自带的操 作系统及开发平台进行二次开发，编写了相应的目标定位程序。 本项研究工作的目的是利用神经网络的机器视觉识别问题的探讨，以提高机械手 系统的智能化程度。另外，虽然本项研究中所用的图像处理、分类、定位算法在p c 机上已经有很多的应用实例，但本系统是基于d s p 的一个硬件平台，它直接利用v c 智 能摄像机来完成机械手视觉系统的图像采集及量化任务，并利用其自带的嵌入式操作 系统及开发平台进行二次开发，因此本项研究工作具有较大的应用价值。 1 2 机器视觉系统及研究现状 1 2 。1 机器视觉系统概述 机器视觉又称为计算机视觉( c o m p u t e rv i s i o n ) ，是研究用计算机模拟生物外显 或客观视觉功能的科学和技术。它是由代替人眼的图像传感器( c c d 或c m o s 摄像 北京 d i r 大学t 学硕士学位论文 机) 获取对象的图像，将图像数据存储于计算机硬盘，并用代替人脑的c p u ( 计算 机) 来分析图像。 机器视觉系统是指通过机器视觉产品( 即图像摄取装置，分c c d 和c m o s 两种) 将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、 颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取e l 标的特 征，进而根据判别的结果来控制现场的设备动作。机器视觉是多学科的交叉和结合， 涉及到数学、光学、计算机及信号处理等诸多学科，该技术是2 0 世纪7 0 年代初期在 遥感图片和生物医学图片分析两项应用技术取得卓有成效的成果后开始兴起的。其后 开始了多方面的研究，并在多种产业领域中得到应用。机器视觉技术目前已广泛应用 于各个领域如医学辅助诊断、气象、资源调查、灾害监测中的船舶和卫星图像的解释 和分析、军事制导等。 1 2 2 机器视觉系统的构成 从机器视觉系统的物理结构上来讲，典型的机器视觉系统一般包括以下几个部 分：光源、摄像机和镜头、图像采集卡、机器视觉软件和电机、p l c 等运动控制部分。 在机器视觉系统中，合适的光源为视觉系统提供良好的外界条件，使得系统得到的图 像信号有很高的信噪比。非接触式传感器( 如c c d 相机等) 将目标转换为视频信号 并输送到图像采集卡，图像采集卡对视频信号进行解析、数字化后输送给专用的图像 处理系统，图像处理系统对图像信号施加各种运算来提取目标的特征，最后根据预先 设定的条件做出决定，以控制外部的p l c 、电机等执行机构的动作，同时记录相应的 数据到数据库中，以便事后分析。 i一一一一1：iij；iii母一一一一一j 图i - i 典型工业机器视觉系统的构成 f i g u r e1 - 1 t h ec o n s t i t u t i o no f t y p i c a li n d u s t r i a lm a c h i n ev i s i o ns y s t e m 机器视觉系统的精度取决于摄像机视场和所包含的像元数量，视场越小，每个像元 代表的距离也越小，识别精度也越高。本课题中选用v c s b c 4 0 1 8 智能摄像机，分辨率 为6 4 0 x 4 8 0 。它可程序控制或者外触发采集图像，采集速度为3 2 f p s s ；快门时间可以 6 2 5 1 x s 为步幅来设置，最小达到3 3 3 p s ；带1 0 0 m b 以太网接口，视频通过以太网口显示 到p c 机上；具有多任务操作系统v c r t 5 x x 和高度开放的大量常用库函数 绪论 v c l i b 3 0 。该摄像机可以实时传输采集图像，并交由图像处理与识别单元处理。 机器视觉系统的核心足专用高速图像处理与识别单元，如何把存入存贮单元大量 离散的数字化信息与模板库信息进行比较处理，并快速得出结论是处理单元软、硬件 面对的问题。目前，已有多种视觉专用硬件处理器芯片、d s p 芯片等等不断涌现并被广 泛应用于计算机、通讯、娱乐等产品之中，进行高速图像计算、数据压缩，解压缩、贮 存与传输【6 】。图像信号的处理是机器视觉系统的核心，因此本课题选用t e x a s i n s t r u m e n tc 6 4 系y l j d s p 作为图像信号处理卡，其工作频率高达4 0 0 m h z ，指令周期为 2 5 n s ，峰值运算能力为3 2 0 0m i p s ，而且还提供了3 2m bd r a m 和4m bf l a s h e p r o m 。这样可以满足实时要求。 智能摄像机是指将图像采集与图像处理功能融为一体的摄像机，也就是说智能摄 像机是包括摄像、图像采集、图像处理、c p u 、输入输出接口的摄像机。与传统的摄 像机相比，智能摄像机具有智能化程度高、体积小、功耗低、使用方便等优点，是将 来机器视觉产品的一个主要发展方向。智能摄像机将光学成像系统、图像捕捉系统、 图像采集与数字化、智能图像处理与决策模块集于身，本课题采用智能摄像机构成 机械手系统，系统构成如图l 。2 所示。 图1 2 基于智能摄像机的机器视觉系统构成 f i g u r e1 - 2 t h ec o n s t i t u t i o no fm a c h i n ev i s i o ns y s t e mb a s e do ni n t e l l i g e n tv i d i c o n 1 2 - 3 机器视觉系统的特点 由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信 息以及加工控制信息集成，因此，在现代自动化生产过程中，人们将机器视觉系统广 泛地用于工况监视、成品检验和质量控制等领域。机器视觉系统的特点是提高生产的 柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要 求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视 觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生 产的自动化程度，而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技 术。以智能相机为代表的嵌入式系统因其有许多独特的优点而为许多专家所看好，高 度模块化、价格低廉的视觉传感器组成的机器视觉系统将有一个广阔的未来。由智能 摄像机构成机器视觉系统的特点： 1 系统结构简单，紧凑小巧，节约现场的安装空间 2 运行故障率低，可长时间运行，维护成本低 3 分辨率高、帧率高、包含了信号处理器d s p 北京t 业大学t 学硕十学位论文 4 与其它现场设备连接简单，与p c 机相匹敌的运算速度 5 与生产线上其它设备直接互联 6 能直接在显示器上输出s v g a 或s x g a 的视频图像 7 厶进行源码级的二次开发，可以满足用户各种机器视觉应用的需求，为用户的系 统搭建节约了成本 总之，随着机器视觉技术自身的成熟和发展，可以预计它将在现代和未来制造企 业中得到越来越广泛的应用。 1 2 4 机器视觉技术的现状和发展趋势 机器视觉是一个光机电计算机高度综合的系统，其性能并不仅仅由某一个环节决 定。每一个环节都很完美，也未必意味着最终性能的满意。系统分析和设计是机器视 觉系统开发的难点和基础，目前，以智能相机为代表的嵌入式系统因其有许多独特的 优点而为许多专家所看好，高度模块化、价格低廉的视觉传感器组成的分布式网络给 我们展示了一个令人激动的画面。 然而，在机器视觉中最令人担忧的是，一些基础性的技术和器件，如相机的图像 传感器：苣= 片、高级镜头，仍全部依赖外国的产品，国内的机器视觉厂商仍基本处于应 用层面开发，十分不利于该技术在我国的普及推广。 机器视觉自起步发展到现在，已有几十年的发展历史。应该说机器视觉作为一种 应用系统，其功能特点是随着工业自动化的发展而逐渐完善和发展的，机器视觉不会 有人眼的疲劳，有着比人眼更高的精度和速度，借助红外线、紫外线、x 射线、超声 波等高新探测技术，机器视觉系统在探测不可视物体和高危险场景时，更具有其突出 的优点。机器视觉技术现己得到广泛的应用。目前，机器视觉己成功地应用于工业检 测、农业、医学、图像、安防、交通管理等领域，大幅度地提高了工作的效率和执行 的可靠性，保证了生产和研究及管理的顺利进行。 当前全球整个视觉市场总量大概在6 0 7 0 亿美元，是按照每年8 8 的增长速度增长 的。而在中国，这个数字目前看来似乎有些庞大，但是随着加工制造业的发展，中国 对于机器视觉的需求将成上升趋势。 在国外，机器视觉的应用普及主要体现在半导体及电子行业，其中大概4 0 5 0 都集中在半导体行业。而在中国，以上行业本身就属于新兴的领域，再加之机器视觉 产品技术的普及不够，导致以上各行业的应用几乎空白，即便是有，也只是低端方面 的应用。在现代自动化生产过程中，人们将机器视觉系统广泛地用于工况监视、成品 检验和质量控制等领域。在中国，这种应用也在逐渐被认知，且带来最直接的反应就 是国内对于机器视觉的需求将越来越多。 在机器视觉赖以普及发展的诸多因素中，有技术层面的，也有商业层面的，但制 造业的需求是决定性的。制造业的发展，带来了对机器视觉需求的提升；也决定了机 绪论 器视觉将由过去单纯的采集、分析、传递数据、判断动作，逐渐朝着开放性的方向发 展，这一趋势也预示着机器视觉将与自动化更进一步的融合。 更快、更便宜、更准确、更可靠是机器视觉发展的需求。通常针对不同应用目的 要在这些需求中进行折衷，例如要使机器视觉系统更加准确或可靠性更高，通常要在 速度上作牺牲。而机器视觉技术的发展方向就是要消除这种折衷，高性能和低价位不 再相互排斥。当今机器视觉的发展有以下几大趋势： 平台发生变化 传统的机器视觉系统是一种专用系统，具有为获取和处理图像专门设计的嵌入系 统。这些系统有自己专用的操作系统和编程语言，使用自己设计的a s i c 来完成处理 工作。这种高度用户化的方法使得早期的机器视觉系统极其昂贵，并且难以使用。降 低成本的方法之一就是采用开放标准。近几年己经有基于w i n d o w s 的系统出现，一些 专用技术已经被基于w i n d o w sn t 的板卡级系统所替代。 更加灵活的软件 传统的机器视觉系统令人望而生畏的地方就是编程十分困难，而且难以改动。改 变这一局面的方法就是使用更加容易掌握的编程工具，使用功能灵活的处理工具。 人机界面更加友好 d o s ，u n i x 和专用的操作系统都有其不同的界面，但通常都需要一个熟练的程序 员来操作它们。机器视觉系统向开放标准的靠拢和基于w i n d o w s 的通用界面将使得系 统更加友好，更加易于使用。 视觉和控制的集成 目前很多与控制有关的机器视觉系统需要两块板卡：图像采集卡和控制输出卡， 一旦视觉和控制被紧密集成在一起成为一个单独的产品，那么所构成的机器视觉系统 将会具有更高的性能以满足发展的需要。 机器视觉技术的诞生和应用，极大地解放了人类劳动力，提高了生产自动化水平， 改善了人类生活现状，其应用前景极为广阔。目前在国外，机器视觉技术已广泛应用 于生产、生活中，而我国正处于起步阶段，急需广大科技工作者的共同努力，来迅速 提高我国机器视觉技术的发展水平，为我国的现代化建设做出自己的贡献。 1 3 论文的主要研究内容 本课题主要研究机器视觉在机械手上的应用，完成对不同形状物体的识别、分类、 定位功能。将摄像机获取的图片进行图像处理，如二值化等，然后利用b l o b 算法检 测目标图像的内点和边界点，求出物体的周长、面积，进而计算6 个不变矩和圆形度， 将这7 个数据作为特征量输入神经网络，通过神经网络进行识别、分类，对识别的结 果进行定位，确定中心坐标以及物体某一斜边与x 轴的夹角秒，然后将上述信息通过 串口传递给p l c ，再由p l c 去控制机械手准确地抓取放在传送带上的目标物体。 北京t 业大学t 学硕：t 学位论文 在本项研究中采用b l o b 算法对目标物定位。利用b l o b 分析法求出指定平面内任意 形状目标物的中心坐标，以及某一斜边与x 轴的夹角等几何参数，并且显示出来。本 项研究工作中主要是对采集到的图像序列进行处理，确定目标的位置。这种算法用来 从背景中分离出目标，并测量任意形状目标物的形态参数，它与基于像素的算法相比， 处理速度能够加快。本项目直接利用v c 智能摄像机来完成机械手视觉系统的图像采集 及量化任务，并利用其自带的操作系统及开发平台进行二次开发，编写了相应的目标 定位程序。 第2 章机械手视觉系统的设计 第2 章机械手视觉系统的设计 2 1 机械手视觉系统的组成 机械手视觉系统是机器视觉在机械手上的应用，机械手视觉系统的组成框图如图 2 1 所示。 | 剞像采集 哼处理 刳像特征 挺暾 分类器设 计 物体矧像 的识别 视觉e l 标 物定位 图2 1 机械手视觉系统结构框图 f i g u r e2 - 1 t h ec o n f i g u r m i o nf i go ft h em a n i p u l a t o r 首先采用智能摄像机获得被测目标的图像信号，然后通过d 转换变成数字信 号传送给专用的图像处理系统，根据像素分布、亮度和颜色等信息，进行各种运算来 抽取目标的特征，然后再根据分类器预设的判别准则输出判断结果，对确定的目标物 定位，最后去控制驱动执行机构进行相应处理。 智能摄像机是指将图像采集与图像处理功能融为一体的摄像机，也就是说智能摄 像机是包括摄像、图像采集、图像处理、c p u 、输入输出接口的摄像机。与传统的摄 像机相比，智能摄像机具有智能化程度高、体积小、功耗低、使用方便等优点，是将 来机器视觉产品的一个主要发展方向。 图像处理的目的是使目标物的特征增强，在完成对目标物增强的同时，抑制非目 标物；图像特征提取是抽取目标物的特征：分类器根据目标物的特征将要识别的物体 分类，完成物体的识别；通过视觉目标定位提取目标物的位置信息，实现目标定位。 2 2 数字图像处理基本原理 把图像摄入计算机的过程中，因为种种原因，比如光照不均、干扰、摄像机镜面 和被测物不平行等等，造成图像的某些部分不清晰，有用信息混杂在背景中。如果想 要分析图像的话。就必须先把图像中有用的信息提取出来，这就需要使用图像处理技 术来处理。现介绍一下在本课题中所用到的些图像处理方面的基本技术知识。 2 2 1 图像增强 图像增强是按特定的需要突出一幅图像中的某些信息，同时削弱或去除某些不需 要信息的处理方法。其主要目的是使处理后的图像对某种特定的目的来说比原始图像 更适用。因此，这类处理是为了某种目的去改善图像质量的。处理的结果使图像更适 用与人的视觉特性或机器的识别系统。应该明确指出的是增强处理并不能增强原始图 北京t _ q k 大学丁学顾十学位论文 摹i 一一 i 詈曼曼曼! ! 曼兰皇! ! ! ! 曼鼍詈曼! 曼! 皇曼皇皇! ! 詈! 暑 像的信息，其结果只能增强对某些信息的辨别能力，而这种处理有可能损失一些其他 信息。 图像增强按照处理方法的不同可以分为空域方法和频域方法，因为在本课题中用 到的大部分都是空域方法，所以下面就只介绍一下空域方法。空域方法又可以分为点 变换和模板处理，点变换主要是对图像的灰度进行处理，模板处理多数用来滤波。 下面分别介绍： 1 点操作 基于点操作的增强方法也叫灰度变换，常见的几类方法为： ( 1 ) 将原始图像的每个象素按照增强操作直接变换以得到增强图像： ( 2 ) 借助原始图像的直方图进行变换； ( 3 ) 借助对一系列图像间的操作进行变换。 针对上述方法，下面分别介绍： ( 1 ) 直接灰度变换 直接灰度变换有很多种方法，最常用的有图像求反、增强对比度和灰度切分。对 图像求反足将原始图像灰度值翻转，简单说束就是使黑变白，使白变黑。增强图像对 比度实际是增强原始图的各部分的反差。实际中往往是通过增加原始图里某两个灰度 值间的动态范围来实现的，需要注意的是增强原始图像对比度的同时，会丢失一些原 始图像中的细节信息。灰度切分的目的与增强对比度相仿，是要将某个灰度值范围变 得比较突出，而将其余灰度值变为某个低灰度值。 ( 2 ) 直方图修正技术i 7 j 直方图修正技术就是一种空域处理方法。直方图是指反映一幅图像中的灰度级与 出现这种灰度的概率之问的关系的图形。一幅给定图像的灰度级分布在r 0 ，1 】的范围 内，可以对【o ，1 】区间内的任一个值r 进行如下变换：s - t ( r ) ，也就是说通过该变换，每 个原始图像的象素灰度值r 都对应产生一个s 变换函数，t ( r ) 应满足下列条件： ( a ) 在0 垡1 区间内，t ( r ) 单值单调增加。 ( b ) 对于0 r ! - _ l ，有0 玎( r ) 5 1 因为s = t ( r ) 是单调增加的，由数学分析可知它的反函数也是单调函数，在这种情 况下，求随机变量q 的分布函数为： f r l ( s ) = e ( u s ) = 尸眵 ，】= i p , ( x ) d x ( 2 一1 ) 对上式两边求导可得到随机变量的分布密度函数为 尸s ( s ) = p r ( 厂) d d s t 一1 ( s ) 】= p r ( ，) d r d s ( 2 2 ) 通过变换函数可以控制图像灰度级的概率密度函数，从而改变图像的灰度层次。 直方图均衡化处理足以累积分布函数变换法为基础的直方图修正法。假定变换函 数是： s = 丁( ，) = i p r ( w ) d ( 们 ( 2 3 ) 第2 章机械于视觉系统的设计 对上式r 求导得 d s & = p d ：r )( 2 - 4 ) 由上面的推导可见，在变换后的变量s 的定义域内的概率密度是均匀分布的。由此可 见，用p 。( s ) 的累积分布函数作为变换函数可产生一幅灰度级分布具有均匀概率密度 的图像，其结果是扩展了象素取值的初态范围。 ( 3 ) 图像间运算 有些图像增强技术是靠对多幅图像进行图像间的运算而实现的，常用的一种方法 就是对图像进行相减运算。在以后的测试靶的处理中，就应用了图像相减运算。 2 模板处理 模板处理在图像处理中有很多应用，对图像的滤波一般都是在图像空问借助模板 进行领域操作完成的。根据实现的功能不同，可以分为两类： ( 1 ) 平滑( 低通) 滤波器：它能削弱或消除傅立叶空间的高频分量，但不影响低频分量。 因为高频分量对应图像中的区域边缘等灰度值具有较大较快变化的部分，滤波器将这 些分量滤去可使图像平滑。 ( 2 ) 锐化( 高通) 滤波器：它能削弱或消除傅立叶空间的低频分量，但不影响高频分量。 因为低频分量对应图像中灰度值缓慢变化的区域，因而与图像的整体特性，如整体对 比度和平均灰度值等有关，高通滤波器将这些分量滤去可使图像锐化。 尽管这些滤波器的剖面形状不同，但是在空域实现这些功能的方式是相似的，即 都是利用模板卷积，主要步骤为： ( 1 ) 模板在图中漫游，并将模板中心与图中某个象素位置重合： ( 2 ) 将模板上系数与模板下对应象素相乘； ( 3 ) 将所有乘积相加； ( 4 ) 将和( 模板的输出响应) 赋给图中对应模板中心位置的象素。 2 2 2 图像分割 在对图像的研究和应用中，人们往往仅对图像中的某些部分感兴趣。这些部分常 称为目标或前景( 其它部分称为背景) ，它们一般对应图像中特定的、具有独特性质的 区域。为了辨识和分析目标，需要将这些有关区域分离提取出来，在此基础上才有可 能对目标进一步利用，如进行特征提取和测量。图像分割就是指把图像分成各具特性 的区域并提取出感兴趣目标的技术和过程。这里的特性可以是灰度、颜色、纹理等， 目标可以对应单个区域，也可以对应多个区域。 图像分割是由图像处理进到图像分析的关键步骤【8 】，也是一种基本的计算机视觉 技术。这是因为图像的分割、目标的分离、特征的提取和参数的测量将原始图像转化 为更抽象更紧凑的形式，使得更高层的分析和理解成为可能。下面介绍一下在本课题 中应用到的图像分割技术： 北京t 业大学t 学硕士学位论文 1 边缘检测【8 】【9 】 边缘检测是所有基于边界的分割方法的第一步。两个具有不同灰度值的相邻区域 之间总存在边缘。边缘是灰度值不连续的结果，这种不连续常可利用求导数方法方便 地检测到，一般常用一阶和二阶导数来检测边缘。 边缘的检测可借助空域微分算子通过卷积完成。实际上数字图像中求导数是利用 差分近似微分来进行的。下面介绍几种简单的空域微分算子，它们不仅可以用于检测 2 d 边缘，也可以用于检测3 一d 边缘。 ( 1 ) 梯度算子 梯度对应一阶导数，梯度算子是一阶导数算子。对一个连续函数f ( x ，y ) ，它在位 置( x ，y ) 的梯度可以表示为一个矢量： v f ( x , y ) = 随q r = i 篆考 ( 2 - 5 ) m a g ( v f ) = 陵+ 嘭j i 以 ( 2 - 6 ) ( x ，y ) = a r c t a n ( g ，g 。)( 2 - 7 ) 以上三式中的偏导数需对每个象素位置计算，在实际中常用小区域模板卷积来近 似计算对g y 和g x 各用一个模板，所以需要2 个模板组合起来以构成一个梯度算子， 根据模板的大小，其中元素( 系数) 值的不同，人们提出了许多种不同的算子。最简单 的梯度算子是罗伯特交叉( r o b e r tc r o s s ) 算子，它的2 个2 x 2 模板见图2 。2 ( a ) 。比较常用 的还有蒲瑞维特( p r e w i t t ) 和索贝尔( s o b e l ) 算子。它们都是2 个3 x 3 的模板，分别见图( b ) 和图( c ) ，其中索贝尔算子是效果比较好的一种。算子运算时是采取类似卷积的方式， 将模板在图像上移动并在每个位置计算对应中心象素的梯度值，所以对一幅灰度图求 梯度所得的结果是一幅梯度图。在边缘灰度值过渡比较尖锐且图像中噪声比较小时， 梯度算子工作效果较好。 田田 1 01 101 。1 0l l l1 o 0o 1 11 。101 2o 2 1 01 ( a ) r o b e r t s ( b ) p r e w i t t ( c ) s o b e l 图2 - 2 几种常用梯度算子的模板 f i g u r e2 - 2 s e v e r a lt e m p l a t e sg r a d i e n to p e r a t o r sb ec o m m o n l yu s e d ( 2 ) 拉普拉斯算子 拉普拉斯( l a p l a c e ) 算子是一种二阶导数算子，对一个连续导数f ( x ，y ) ，它在位置 ( x ，y ) 的拉普拉斯值定义如下： v z m 川：宰+ 宰( 2 - 8 ) 第2 幸机械于视觉系统的设计 在数字图像中，计算函数的拉普拉斯值也可借助各种模板实现。这里对模板的基 本要求是对应中心象素的系数是正的，而对应中心象素邻近象素的系数应是负的，且 它们的和应该是零。常用的两中模极见下图。图2 3 中的( a ) 和( b ) 就是最常用的两种