（管理科学与工程专业论文）基于二维视觉的工业检测算法研究与应用.pdf

基于二维视觉的工业检测算法研究与应用 摘要 机器视觉技术在工业在线检测中的应用是近年来的研究热点之一。机器视觉技术可 以大幅降低检测成本，提高产品质量，提高生产速度和效率，因而在工业检测和控制领 域得到了广泛的应用。本文以机器视觉技术为基础，以图像处理技术为主要方法，对印 刷体数字字符识别算法进行了研究。 本文首先介绍了工业视觉检测技术系统的功能、结构以及特点。研究了机器视觉系 统的检测原理和方法。根据字符识别系统的预处理流程顺序，叙述了图像直方图均衡、 二值化、噪声去除、文字倾斜校f 、切分、字符f 规化等预处理算法，对其中的关键技 术给出了详细的阐述、分析，根据本系统的特点，我们有针对性的提出了一些适应于奉 系统预处理方法，例如采用图像离散去噪方法消除噪声、利用简单斜率法对字符倾斜校 f ，利用投影和字符宽度分割法对单个字符进行分割，解决了在系统中遇到的图像倾 斜、干扰严重、字体类型多等各种各样的问题。这些方法涉及到当今图像处理领域的前 沿技术。我们还具体讨论了在常用数字字符识别系统中所用的特征提取方法，并分析了 它们的特点。最终采用了粗网格特征提取算法，对数字字符特征进行了提取。在字符识 别方面，比较了字符识别中用到几种识别算法，并详细介绍误差反向传播神经网络( b p n n ) 的原理和方法以及取样、训练问题。最后采用o p e n c v 和v c 十十语言对实验系统进行了实现。 在论文的最后，我们对系统作了总结，并给出了未来工作的方向和同标。 关键字：识别；视觉：图像处理；o c r ；神经网络 t h er e s e a r c ha n d a p p l y i n go fi n d u s t r yi n s p e c t i n g b a s e do nt w o d i m e n s i o n a lv i s i o n a b s t r a c t t h ea p p l i c a t i o ni ni n d u s t r yo n l i n ed e t e c t i o nu s i n gm a c h i n ev i s i o nt e c h n o l o g y ( m v t ) h a sb e e ni n v e s t i g a t e dl a r g e l y ，t h em v t c a nr e d u c et h ei n s p e c t i o nc o s tl a r g e l y a n di m p r o v ep r o d u c tq u a l i t y ，s p e e da n de f f i c i e n c y ，s oi th a sb e e nu s e dw i d e l yi n i n d u s t r yi n s p e c t i o na n dc o n t r o lf i e l d b a s e do nm v t ，t h i sp a p e rd o e sd e e p l yr e s e a r c h f o rp r i n t e dc h a r a c t e rr e c o g n i t i o na l g o r i t h mt h r o u g hi m a g ep r o c e s s f i r s t ，t h i sp a p e ri n t r o d u c e st h ef u n c t i o n ，s t r u c ta n dc h a r a c t e ro fi n d u s t r yv i s i o n i n s p e c t i n gs y s t e m ，a n ds t u d i e st h ep r i n c i p l e sa n dm e t h o d so fm v t a n db a s e do nt h e o r d e ro fp r o c e s sf l o wo ft h i s s y s t e m ，t h i sp a p e re x p r e s s e st h ea l g o r i t h m s a n d p r i n c i p l e so fs y s t e ma p p l y i n g ，t h ek e yt e c h n i q u e sa b s o l u t e l y ，a n dc o m p a r e sw i t ho t h e r r e l a t e dt e c h n i q u e si n c l u d i n gi m a g ep r e p r o c e s s i n g sh i s t o g r a me q u a l i z a t i o n ，b i n a r y ， n o i s er e m o v a la n dc h a r a c t e rs l a n tc o r r e c t i o na n d s y n c o p a t e ，a n d c h a r a c t e r n o r m a l i z a t i o n d u r i n gt h ei m a g ep r e p r o c e s s i n go ft h ed i g i t a l c h a r a c t e rn u m b e r r e c o g n i t i o ns y s t e m ，w ep r o p o s e ss o m en e wm e t h o d ss u c ha si m a g ed i s c r e t en o i s e r e m o v a l ，c h a r a c t e rs l a n ta n ds y n c o p a t e ，a n ds o l v et h ep r o b l e m so fi m a g es l a n t ， d i s t u r b a n c eg r a v e n e s sa n dm u l t i t y p eo fc h a r a c t e rt h a tf r o n t e di n s y s t e m t h e s e m e t h o d sr e f e r st ot h ea d v a n c e dt e c h n i q u e so ft h ec u r r e n ti m a g ep r o c e s s i n gf i e l d ，s u c h a so s t ub i n a r y ，n i b l a c kb i n a r y ，c o n n e c t i n ga r e aa n a l y s i sa n di m a g es e g m e n t a t i o n o fc h a r a c t e ra n di m a g e ，a n dw ed i s c u s st h ei d e n t i t yo fc h a r a c t e ra b s t r a c t i n gm e t h o d w h i c hu s e dw i d e l yi nd i g i t a lc h a r a c t e rr e c o g n i t i o n ，a n dc o m p a r et h er e c o g n i t i o n a l g o r i t h m s ，a n de x p r e s st h ee r r o rp r i n c i p l e ， m e t h o d ，s a m p l i n ga n dt r a i n i n go f n e u r a ln e t w o r ku s i n gb a c kp r o p a g a t i n g a n dt h e nt h i sp a p e re x p r e s s e st h ed e s i g n a n di m p l e m e n t a t i o no fs y s t e ms i m p l y l a s t l y ，w es u m m a r i z et h es y s t e ma n dg i v et h eo r i e n t a t i o na n da i mo ff u t u r ew o r k k e y w o r d s ：r e c o g n i t i o n ，v i s i o n ，i m a g ep r o c e s s i n g ，o c r ，n e u r a ln e t w o r k 插图清单 图2 1 图像采集6 图3 一l 灰度变换1 4 图3 2 均衡化图片1 4 图3 3 采用3 3 邻域的中值滤波器示意图t 6 图3 - 4 中值滤波窗口形状1 7 图4 1 树分类法2 7 图4 2 神经网络模拟图。：3 0 图4 3 单输入神经元神经模型3 2 图4 4 神经网络示意图3 3 图5 1 实验产品实物图3 7 图5 2 系统总流程图4 0 图5 3 图像预处理流程图4 l 图5 4 神经网络数字识别流程图4 1 图5 5 灰度转换流程图，4 2 图5 6 图像灰度化4 2 图5 9 图片的锐化4 3 图5 7 垂直荻度投影直方图4 4 图5 8 字符分割流程图4 5 图5 1 0 图片去噪4 6 图5 一儿倾斜校正流程图4 6 图5 1 2 图像倾斜校正4 7 图5 一1 3 没有粘连的垂直投影直方图4 7 图5 一1 4 字符分割流程图4 8 图5 一1 5 字符分割事例图4 8 图5 一1 6 字符归一化事例图4 9 图5 1 7 训练样本事例5 l 表格清单 表3 1 直方图均衡方法比较1 5 表3 2 平滑滤波算法比较1 7 表3 3 二值化算法比较l9 表3 4 字符分割算法比较2 l 表3 5 倾斜校正算法比较2 2 表3 6 插值法算法比较。2 4 表4 一l 数字字符常用特征提取方法3 6 表5 一l 摄像机接口比较3 7 表5 2 在清晰条件下图像的识别率5 2 表5 3 在有噪声条件下识别率5 2 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所 知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得佥目b 王些盔堂 或其他教育机构的学位或证书而使用过的材料。与我- n z 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意k 学位论文作者签字：砬旁乞掘签字日期：力- ) 年名月哆日 学位论文版权使用授权书 本学位论文作者完全了解佥墨王些太堂有关保留、使用学位论文的规定，有权保留并向 国家有关部门或机构送交论文的复印件和磁盘允许论文被查阅或借阕。本人授权盒8 1 王些本 i l 可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存、汇编学位论文。 ( 保密的学位 学位论文者签名： 签字目期：另矽年1 f 月哆日 学位论文作者毕业后去向： 工作单位： 通讯地址： 用本授权书) 新繇韵丢烈 签字嗽知声月 日 电话 邮编 致谢 值此论文完成之际，衷心感谢我的导师杨善林教授，感谢他三年来在科研和学术工 作上给予我的支持和关怀。他对问题深刻的理解和敏锐而深邃的洞察力，使我的科研工 作一直保持着正确的方向。杨老师深厚的学术造诣、严谨的工作作风、勇往直莳的歼拓 精神都使我受益匪浅。 衷心感谢马溪骏老师，感谢他三年来对我生活和学习上的关心。感谢她对我的谆谆 教导和无微不至的关怀。正是她的关心和关怀使得我能顺利地完成学业。 衷心感谢褚伟老师，感谢他不仅为我提供了良好的科研工作平台，还在我学业上关 心和指导。本论文的选题、论文修改等阶段给予了很大的帮助，并启发一些新颖的观点， 还提出了不少中肯的建议，使得本论文能够顺利的完成。他的工作作风、学习态度、为 人处世各个方面为我树立了良好的榜样。 衷心感谢科技楼所有老师和同学们，特别要感谢高丽萍、李光成、孟光、沈旭杰、 童健翔、吴睿、邹道生等同学所给予我的热情帮助和支持，感谢他们在有益讨论中所给 予的启发! 衷心感谢我的家人，尤其要感谢妻子和岳母对我生活上的照顾和学业上的支持，使 我有一个好的工作学习环境，同时要感谢我的小宝贝，在我的学习工作之余，给我带来 欢乐。这篇论文的顺利完成是与她们分不开的。 除了上面提到的各位，还有很多同学都给予了我耐心的帮助、很多的鼓励，这里， 向所有关心和帮助过我的人们表示衷心的谢意。 作者：熊艳根 2 0 0 7 年6 月 第一章概论 本章主要介绍了课题所研究的背景，本课题在国内外研究的现状，以及本 文的主要工作要点。 1 1 课题背景 现代工业自动化生产中，涉及到各种各样的检查、测量和零件识别应用， 例如各种零配件尺寸检查、电子装配线的元件自动定位、烟丝异物检测、棉花 杂质检测、钢板外观缝隙检测、饮料瓶盖质量检查、产品包装上的条码和字符 识别、印刷质量检测、啤酒饮品等。这类应用的共同特点是批量生产、对外观 质量的要求非常高。通常这种带有高度重复性和智能性的工作只能靠人工来完 成，在一些工厂的现代化流水线后面经常能看到数以百计甚至逾千的工人来执 行这道工序，在给工厂增加巨大的人工成本和管理成本的同时，仍然不能保证 产品的质量( 即“零缺陷率”) ，有些质量问题不仅使企业失去竞争力，而且可 能给客户造成无法挽回的损失。人们开始考虑把计算机的快速性、可靠性、结 果的可重复性，与人类视觉的高度智能化和抽象能力相结合起来，由此产牛了 机器视觉的概念。机器视觉，采用电子成像和数字化系统，完成对事物影像的 自动摄取、图像的自动分类及辨识，并传输指令到运动机构，完成自动控制或 是自动报警。 本课题是由合肥瑞华电子有限公司针对自动生产线上的i d 卡编号识别提 出的，瑞华电子公司主要从事i d 卡销售、i d 卡封面的制作以及i d 卡考勤管理系 统的开发，在考勤管理中每个员工的人员编号必须打印在i d 卡的封面上，为了 检测i d 封面是否漏印，以及打印的编号是否j 下确，所以要求对打印在i d 卡封面 上的编号进行识剐。在将识别出的编号，与数据库内人员的编号比较，看编号 是否正确印刷。该系统成熟后，可应用于产品包装编号识别，图书分类号识别、 邮件系统识别、身份证号识别、车号识别等系统。本系统所设计到的数字识别 是一个范围很广的课题，是智能计算机的组成部分，也是办公自动化的毖础。 可以应用到很广的场合：如银行支票的自动录入等。 1 2 所研究课题的国内外现状 1 2 1 计算机视觉的国内外发展 机器视觉的起源可以追溯到1 9 5 1 年利用计算机对显微图片的分析。此阶 段，机器视觉主要应用在二维图像的分析和识别上，如光学字符识别、工件表 面和航空图片的分析和解释等。6 0 年代，r o b e r t s 在1 9 6 5 年通过计算机程序从数 字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构，并对物体 形状及物体的空间关系进行描述，r o b e r t s 的研究工作开创了三维场景三维 机器视觉系统。到7 0 年代，己经出现了一些视觉应用系统。 7 0 年代中期，d a v i dm a r r 教授就是1 9 7 7 年提出分析方法的计算视觉理论 ( c o m p u t a t i o n a lv i s i o n ) ，m a r r 的视觉计算理论，该理论在8 0 年代成为机器 视觉研究领域中的一个十分重要的理论框架“，。 2 0 世纪8 0 年代中期，机器视觉的全球性研究热潮开始出现，这时的机器视 觉获得了非常大的发展，新理论不断涌现。到目前为止，机器视觉仍是一个非 常活跃的研究领域，许多会议论文反映了该领域的最新进展”“7 。 近两年计算机视觉检测技术的应用研究得到了蓬勃的发展，计算机视觉检 测技术被广泛的应用于各种工业检测及测量、电子、制药、食品工业、半导体、 医学影像分析、材料分析、智能安防、金融、交通化工，农产品分级等领域在 北京、上海、深圳等地出现了一大批专门提供检测方案的公司，如北京大恒图 像视觉技术公司，北京凌云光子，东冠科技上海有限公司，深圳市视觉龙科技 有限公司等。 1 2 2 字符识别( o c r ) 的国内外发展 自2 0 世纪5 0 年代中期以来，随着模式识别作为一门新兴的学科逐步形成， o c r 一直是一个非常热门的研究领域。o c r 是利用光学技术对文字或字符进行扫描识 别并转换成计算机内码。其概念首先由德国科学家t a u s h e c k 于1 9 2 9 年提出。几 年后，美国科学家h a n d e l 也提出了利用光学技术对文字进行识别的想法。这种 梦想直到计算机的发展才变成了现实。它采用光学的方式将文档资料先转换成 为原始资料黑白点阵的图像文件，然后通过识别软件将图像中的文字转换成文 本格式。在6 0 7 0 年代，世界各国相继开始了o c r 的研究，而研究的初期，多以 文字的识别方法研究为主，且识别的文字仅为0 至9 的数字。日本作为研究o c r 较早的国家之一， 1 9 6 0 年左右开始研究o c r 的基本识别理论，初期以数字为对 象，直至1 9 6 5 至1 9 7 0 年之间开始有一些简单的产品，如印刷文字的邮政编码识 别系统，识别邮件上的邮政编码，帮助邮局作区域分信的作业。对于汉字的识 别最早可以追溯n 6 0 年代，1 9 6 6 年，i b m 公司的c a s e y 和n a g y 发表了第一篇关于 印刷体汉字识别的论文，在这篇论文中他们利用简单的模板匹配法识别了l ，0 0 1 个印刷体汉字。7 0 年代以来，同本学者做了许多工作，其中有代表性的系统有 1 9 7 7 年东芝综合研究所研制的可以识别2 0 0 0 个汉字的单体印刷汉字识别系 统：8 0 年代初期，日本武藏野电气研究所研制的可以识别2 3 0 0 个多体汉字的印刷 体汉字识别系统，代表了当时汉字识别的最高水平。此外，日本的三洋、松下、 理光和富士等公司也有其研制的印刷汉字识别系统”1 。 同国外相比，我国的光学字符识别研究起步较晚。我国在字符识别方面较 西欧及日本要晚近二十年的时间。 我国对印刷汉字识别的研究始于7 0 年代末、8 0 年代初，大致可以分为三大 阶段： ( 1 ) 第一阶段从7 0 年代末期到8 0 年代木期，主要是算法和方案探索。 ( 2 ) 第二阶段是9 0 年代初期，中文o c r 由实验室走向市场，初步实用。 ( 3 ) 第三阶段也就是目i j i ，主要是印刷汉字识别技术和系统性能的提高， 包括汉英双语混排识别率的提高和稳健性的增强。 我国从七十年代起开始进行了主要用于邮政信函分拣的数字识别和计算机 输入用的英文字母、数字和符号识别的研究。1 9 7 4 年底，完成了限制性手写阿 拉伯数字的实验系统。1 9 7 8 年8 月制成了我国第一台全自动信函分拣流水线手写 体阿拉伯数字识别机的样机，通过对l 力个中上等质量的字样进行识别，结果是 错误率为0 4 9 ，拒识率为4 9 。清华大学电子工程系、中国科学院计算所智能 中心、北京信息工程学院、沈阳自动化研究所等单位分别研制开发出实用化的 印刷体汉字识别系统。尤其是由清华大学电子工程系研制的清华t h o c r 产品， 始终处于技术与产品发展的最前沿，并占据着最大的市场份额，代表着中文o c r 技术发展的潮流。 1 3 研究的内容： 该课题内容不仅涉及图像采集、图像处理、模式识别等领域。而且还涉及 到机器视觉图像处理的技术。而这其中，又以图像识别为关键。主要讨论研究 数字字符的预处理和识别问题，在研究目前比较常见的一些图像处理和模式识 别算法，结合此课题的特殊性后，选取了较适合于本课题的一些算法。在模式 识别方面，对字符的特征进行了研究，研究了相关的特征提取算法和识别算法， 分析了当前数字识别所采用识别思想，采用了b p 神经网络识别算法对数字字符 图像进行识别。主要工作和研究内容如下 一调研与学习 主要学习是机器视觉控制软件丌发方法，了解机器视觉检测系统在工业控 制系统中的应用现状，调查了机器视觉和字符识别领域最新的发展情况。研究 了o p e n c v 库。 二图像处理算法与研究 研究了图像的预处理相关算法( 如图像均衡化，滤波等算法) 、数字图像的 分割算法、字符的模式识别和匹配算法，分析各种算法的应用场合，各自的优 缺点。 三基于o p e n c v 开源库的v c + + 开发语言数字识别实验软件的实现。 1 4 论文结构 第一章概论：主要介绍项同的背景及意义，相关领域的研究现状及本文 所研究的内容，最后介绍了论文的组织结构。 第二章工业视觉检测系统：介绍了工业视觉研究系统的功能、特点、内 容，以及机器视觉的检测原理与方法。 第三章图像分析中常用的处理算法：首先介绍数字图像基本概念和处理 方法，分析数字系统的几种常用预处理算法。图像的二值化处理、图像滤波、 图像的平滑处理、图像的细化处理等。 第四章数字字符识别算法分析：介绍了三种常见的字符识别算法，基于 结构模式识别算法，基于统计分析识别算法，基于神经网络识别算法，分析了 他们的优缺点。重点介绍了人工神经网络b p 算法。 第五章实验系统的实现： 首先介绍了实验系统的体系结构和系统的处理 流程，接着介绍开源软件库o p e n c v ，用o p e n c v 库实现了软件编码，最后对系统 进行了演示。 第六章结论与展望：对本文所采用的算法进行总结，并提出了下一步的 设想。 1 5 本章小结 本章主要介绍了课题所研究的背景、国内外研究的现状，以及本文的主要 工作要点和论文结构。 4 2 1 机器视觉 第二章机器视觉检测系统 2 1 1 简述 机器视觉是指用摄像机和计算机代替人眼对目标进行识别、跟踪和测量等； 机器视觉伴随计算机技术、现场总线技术的发展，技术日臻成熟，已是现代加 工制造业不可或缺的产品，广泛应用于食品和饮料、化妆品、制药、建材和化 工、金属加工、电予制造、包装、汽车制造等行业“1 。 机器视觉系统一般采用c c d 照相机摄取检测图像并转化为数字信号，再采 用先进的计算机硬件与软件技术对图像数字信号进行处理，从而得到所需要的 各种目标图像特征值，并由此实现模式识别，坐标计算，灰度分布图等多种功 能。然后再根据其结果显示图像，输出数据，发出指令，配合执行机构完成位 置调整，好坏筛选，数据统计等自动化流程。与人工视觉相比较，机器视觉的 最大优点是精确、快速、可靠，以及数字化。 机器视觉系统的应用可分为两个方向“：工业视觉检测系统和工业机器人 系统。工业视觉检测系统是利用视觉手段获取被测物体图像并与预先己知标准 图像进行比较，从而确定被测物体的质量状况。工业机器人系统是一种基于视 觉测量并进行制导和控制的系统。比较而苦，工业视觉检测系统比工业机器人 系统具有更广泛的应用，本文主要工业视觉检测系统。 2 1 2 机器视觉系统的功能及结构 机器视觉就是用各种成像系统代替视觉器官作为输入信息手段，用计算机 来代替大脑完成处理和分析。机器视觉的最终研究目标就是使计算机能像人那 样通过视觉观察和理解世界，具有自主适应环境的能力。因此，视觉系统功能 主要是研究用计算机来模拟人的视觉功能从客观事物的图像提取信息，进行处 理并加以理解，最终对获得的图像进行分析并给出反馈信息“3 一个典型的机器视觉系统包括光源、图像采集、图像数字化、图像处理、 特性提取、判决和控制等部分。如下图，首先采用c c d 摄像机或者其他的图像采 集装置将目标转换成图像信号，然后通过图像数字化模块转变成数字化信号传 给图像处理系统，图像处理系统再利用图像信息，进行各种分析运算来抽取其 中感兴趣对象的特征，最后，图像的智能决策模块对对象特征进行分析和判断， 输出所需的结果。 图2 - 1 图像采集 图像采集 光学系统采集图像，图像转换成模拟格式并传入计算机存储器，主要由三部分 组成：照明、光学成像系统、图像确定和形成输出信号的摄像机。 图像处理 处理器运用不同的算法来提高对结论有重要影响的图像要素。它包括图像增强、 数据编码和传输、平滑、边缘检测、分割等内容 特性提取 处理器识别并量化图像的关键特性，获取图像中感兴趣的部分的特征。然后 这些数据传送到控制程序。 一判决和控制、显示。 处理器的控制程序根据收到的数据做出结论。进行相应的控制和在显示器上 进行信息的提示 2 1 3 机器视觉系统的特点 机器视觉与人类视觉相比的优点在于它的速度，精确和可靠性。人类很难 通过人眼在一秒内数次测量，而机器视觉系统可以很容易的一秒内对被测对象 做上百种测量。有些测量我们根本就无法用眼睛来精确识别，如p c b 板的焊接， 工件表面微小的裂缝等，必须通过机器视觉等先进的测量系统进行精确的测 量机器视觉系统得到的测量结果精确度不仅高，而且还能连续工作。总的来 说，机器视觉的特点是自动化、客观、非接触、高精度，检测速度快、可重复 性高。 计算机视觉与机器视觉关系：广义的机器视觉的概念与计算机视觉没有多 大的区别，泛指使用计算机和数字图像处理技术达到客观事物图像的识别，理 解和控制。工业中的机器视觉与普通的计算机视觉相比，差别还是很大的。 ( 1 ) 机器视觉是计算机视觉在工厂自动化的一个应用。正如监视员在一 个装配线上工作，可视地监视物件并判断其质量，因此机器视觉系统使用照相 机和图像处理软件来完成类似的监视。一个机器视觉系统是一个在基于数字图 像分析上作决定的计算机。 ( 2 ) 机器视觉更强调实用性，要求能够适应工业生产中的恶劣的环境。 6 ( 3 ) 机器视觉要有很好的实时性，要求高速度和高精度，因而计算机视觉 和数字图像处理理论中的许多技术目前还难以应用于机器视觉，他们的发展速 度远远超过其工业生产中的实际应用速度。 2 1 4 机器视觉研究的内容 机器视觉研究可以分为如下四大研究内容”1 ： 输入设备 低层视觉 中层视觉 高层视觉 输入设备( i n p u td e v i c e ) 包括成像设备和数字化设备。成像设备是指通过 光学摄像机或红外、激光等设备对周围场景或物体进行探测成象，得到关于场 景或物体的二维或三维数字化图像，获取数字化图像是机器视觉系统的最基本 的功能。 低层视觉( 1 0 wl e v e l ) 主要是对输入的原始图像进行处理。这一过程采用了 大量的图像预处理算法，如图像滤波、图像增强、图像的变换、边缘检测等， 以便从图像中抽取诸如角点、边缘、线条、边界以及色彩等关于场景的基本特 征；这一过程还包含了各种图像的处理算法如图像变换( 如校诈) 、图像纹理 检测、图像运动检测等。 中层视觉( m i d d l el e v e l ) ：二维视觉而占，中层视觉主要是对图像的分 割，特征提取。三维视觉中，中层视觉毛要任务是恢复场景的深度、表面法线 方向、轮廓等有关场景的2 5 维信息，实现的途径有立体视觉、测距成像明暗 特征、纹理特征等所谓的从x 恢复形状的估计方法。系统标定、系统成像模型 等研究内容一般也是在这个层次上进行的。 高层视觉( h i g hl e v e l ) ：在二维视觉中，高层视觉的主要任务是对物体 的识别。在三维视觉中，高层视觉的主要任务是在以物体为中心的坐标系中， 在原始输入图像、图像基本特征、2 5 维图的基础上，恢复物体的完整三维图， 建立物体三维描述，识别三维物体并确定物体的位置和方向。 2 2 视觉检测原理和方法 2 2 1 检测原理 视觉检测的原理“是通过成像设备把被测目标的影像信息记录下束并通 过一系列的采样过程，如a d 转换等，把图像信息数字化后送入数字图像处理设 备，利用图像处理设备对数字图像进行分析、处理，从而得到所需要的测量信 息。它不仅可以实现对物体二维特征的检测，如线条、字符、图形和片状物体 等平面内可识别的目标的理解。也可以检测包括深度信息的物体三维轮廓信息， 7 实现三维物体的识别重建和测量。 2 2 2 二维检测方法 二维检测是机器视觉在工业检测中应用最广的检测方法，主要是对所采集 的二维图像进行定性的检测和定量的测量。定性检测主要用于测量物体的表面 缺陷或判定物体的合格与否等，定量测量主要用于提取待测目标的特征参数、 利用其特征对测量对象进行分析，识别等。 二维检测方法一般分为基于参考的检测方法、非参考型检测方法和混合检 测方法。这些方法目前成功应用于p c b 检测阳1 ，其他的方面的检测也可应用这些 检测方法。 a 基于参考的视觉检测方法，该方法采用或特征对特征比较，利用匹配 方法，它利用了检测目标的完整知识。这类方法主要有：剪影法、模板匹配法、 句法方法和图匹配方法。 b 非参考型检测方法该方法利用的是待检侧目标的一般特性，而不是特 定的一个检测目标的知识。它不需要任何参考模式，如果模式不符合设计的规 则，就认为不合格或有缺陷，因此也称为设计一规则验证方法。该方法依据工 件设计规则判断工件是否有缺陷，无须逐点比较待测工件图像和标准图像。 c 混合检测方法上述两类方法各有其优缺点，混合检测方法的思想足采 两者之长，避两者之短。其典型方法有：一般方法、用边界分析的模式检测法、 射线匹配算法、形状比较法、圆形模式匹配法等。 2 2 3 三维检测方法 三维检测方法是利用快速的、非接触的检测手段，对于实际空间中的物体 进行数字化建模，并在虚拟环境中再现的一种现代检测技术。三维检测技术以 近现代物理、控制论、信息论和系统论为理论基础，以现代光学技术、电子技 术和计算机技术为技术背景，为空间模式判断、机器人视觉等学科提供技术支 持，又为工业自动化、虚拟现实等提供模型资源供应，是一门跨学科领域、多 应用层次的关键技术。由于本文不涉及到三维检测，所以不作过多的介绍。 2 3 机器视觉的应用 机器视觉工业检测系统类型机器视觉工业检测系统就其检测性质和应用 范围而言，分为定量和定性检测两大类，每类又分为不同的子类。机器视觉在 工业在线检测的各个应用领域十分活跃，如：印刷电路板的视觉检查、钢板表 面的自动探伤、大型工件平行度和垂直度测量、容器容积或杂质检测、机械零 件的自动识别分类和几何尺寸测量等。此外，在许多其它方法难以检测的场合， 利用机器视觉系统可以有效地实现。机器视觉的应用j 下越来越多地代替人去完 成许多工作，这无疑在很大程度上提高了生产自动化水平和检测系统的智能水 平。 具体的应用主要包含以下几个领域“”： 口电子与半导体 芯片的测量与加工 p c b 装配 光束特性分析 口制药 药品生产过程中的质量检测 药品的形状、厚度 药品装瓶数量统计 口工业包装 外观完整性检测 条码识别 生产日期、密封性检测 口汽车制造 零部件外形尺寸检测 装配完整性检测 部件的定位与识别 口印刷 钱币、纺织品印刷质量检测 印刷质量检测 印刷对位 字符识别 口食品饮料 液位高度检测 瓶装饮料外观检测 条码识别 口医学应用 血液分析 光电内诊镜测试 细胞分析 口其他工业应用 量具的校准 工业品的尺寸测量 表面质量检测 9 2 4 本章小结 本章简要概述机器视觉理论，给出了视觉检测的基本原理以及视觉检测常 用的方法。最后介绍了机器视觉的应用情况 1 0 第三章图像分析中常用预处理算法 目i i i ，视觉系统一般都使用c c d 摄象机为传感器。工业产品a v i 首先需要 获取被检测物体的图像，为能够提取图像中物体的特征，需要先对图像中的物 体进行低层处理，这些处理包括对摄取的原始图像进行降噪处理、被检测物体 边的提取、图像分割等等。在将计算机视觉技术应用于自动检测时，可以将这 种低层处理认为是实行检测前的预处理，预处理过程在整个检测中占有非常重 要的地位，图像预处理可认为是前述的计算机视觉的二个阶段中的低层处理阶 段。对于物体的识别与检测实际上是对物体的图像进行系列的处理与计算，进 行这些工作的第一个步骤就是要对图像进行预处理。预处理中出现的错误和偏 差会直接影响到后续处理与计算的正确性。精确的预处理可为后续处理提供置 信度高的输入数据。能否正确地提取被检测物体的特征参数；能否尽可能少地 受到图像中噪声的影响导致结果的准确性下降，这些都在很大程度卜取决于对 原始图像的预处理措施是否有效、是否符合实际情况。视频的低层处理实际上 是对数字图像的预处理，所以我们首先介绍一下数字图像的有关概念。 3 1 数字图像的概述 一幅图像可定义为一个二维函数f ( x ，y ) ，这里x 和y 是空自j 坐标，而在任何 一对空间坐标( x ，y ) 上的幅值f 称为该点图像的强度或灰度。当x ，y 和幅值f 为 有限的、离散的数值时，称该图像为数字图像；数字图像处理是指借用数字计 算机处理数字图像，数字图像是由有限的元素组成的。每一个元素都有一个特 定的位置和幅值这些元素称为图像元素、画面元素或像素。像素是广泛用于 表示数字图像元素的词汇。 3 1 1 数字图像处理概念 数字图像处理是指利用数字计算机及其它有关数字技术，对图像施加某种 运算和处理，从而达到某种预想的目的。从广义上可看作是各种图像加工技术的 总称。它包括利用计算机和其它电子设备完成图像处理的所有工作。这里的图 像处理是狭义上的概念。主要包括图像的预处理，图像的边缘检测、图像的分 割等操作。本文主要是针对字符识别的图像处理算法进行了研究，它主要包括 灰度变换、直方图均衡、二值化、倾斜校正、字符分割、归一化处理、差值法。 本文的主要识别算法是基于二值化图像的，所以首先第一步必须将彩色图像空 间r g b 转换成y u v 空间，减少存储量。直方图均衡主要是处理图像由于偏暗或偏 亮的图像，使灰度更加均匀。二值化是输入图像分割的内容，整个图像的灰度 只要两级，一个是背景色，另一个是目标色。处理的目的是加快图像的处理速 度，减少图像的存储空间。倾斜校j 下的主要是因为图像在获取时，图像有可能 倾斜，为了便于图像的分割，所以要进行倾斜校正。字符的分割主要足将单个 字符分开，以便提取，一般包括字符的行分隔、单字分割。归一化是字符识别 中处理的一个关键环节，主要是将字符的转换成相同的大小，并且位置也一致。 3 1 2 数字图像处理的方法 一般情况下，成像系统获取的图像也就是原始图像由于受到相机成像噪声、 检测目标对照明光的吸收和反射、图像采集过程的量化等限制和随机干扰，往 往不能在视觉系统中直接使用，必须在视觉系统的早期阶段对原始图像进行灰 度矫正、噪声过滤等图像预处理。对机器视觉系统而言，所用的图像预处理方 法并不考虑其图像降质原因，只将图像中相关的特征有选择地突出，拟制起不 需要的特征，所以并不需要将贻处理后的输出图像去逼近原，这类图像通称为 图像增强，图像的增强技术主要有两中，空问域法和频率域法，空间域方法主 要是在空问域内对图像直接预算处理空域处理法主要有下面两大类： 1 空域处理法 领域处理法，包括：梯度算法( g r a d i e n ta l g o r i t h m ) ，拉普拉斯算 子运算( l a p l a c i a no p e r a t o r ) ，平滑算子运算( s m o o t h i n go p e r a t o r ) 和卷积 运算( c o n v o l u t i o na l g o r i t h m ) 。 点处理法，包括：灰度处理( g r e yp r o c e s s i n g ) ，面积、周长、体积、 重心运算等等。 2 变换域法 数字图像处理的变换域处理方法是首先对图像进行j 下交变换，得到变换域 系数阵列，然后施加各种处理，处理后再变换到空间域，得到处理结果。这 类处理包括：滤波、数据压缩、特征提取等处理。 3 2 图像的增强及滤波 通过图像输入设备获得的原始的数字图像，往往不能满足图像检测和识别 的需要。由于成像过程中数字图像不可避免的掺杂了噪声，如光照不均匀导致 景物各部分之间明暗程度不一致，或者由于光照过强或过弱导致的数字图像的 灰度只能在很小的范围中变化，数字图像不能完全准确的刻画景物的外观。另 外，在图像识别中，往往关心图像的某些特征，对其他特征则不关心或者希望 加以抑制。为了提高图像检测和识别的精度和速度，必须首先对采集到的数字 图像进行预处理，使系统关心的特征更加明显，而对其他不关心的特征加以抑 制。这种先于图像检测和识别的操作被称为预处理操作，预处理操作主要包括 滤波和直方图均衡等。 对于图像中掺杂的噪声和对于于图像检测和识别没有任何好处的信息，必 须首先加以分离和消除；由于光照不均匀，在景物本身的外观基础上又糅合了 光源的因素，这种不均匀性必然会导致分析上的误差，也必须采取一定的方法 加以消除。这种把图像信息中的某部分分离出来并消除的操作称为滤波。 光照过强或过弱或者背景较深或背景，导致数字图像各像素的灰度只在很 狭窄的区域中取值，不能完全利用图像系统本身所能表达的所有灰度等级。这 种情况下，图像的表达能力必然受到限制，其局部的细节变化也往往不明晰。 为了充分利用图像的灰度空间，必须进行灰度变换，以满足系统分析的要求。 3 2 1 直方图均衡 量化后的数字图像，各像素点的灰度是一些离散值，我们称呼这些不同的 离散取值为灰度级。如果某个图像系统最多可以有k 种灰度级，我们称呼这种图 像系统的图像为k 级灰度图像。在计算机处理中，往往采用2 5 6 灰度级图像系统， 用o 2 5 5 这2 5 6 个自然数表示不同灰度级。称呼集合 g = 伉ik z 0 k 2 5 5 ) ( 3 1 ) 为图像的灰度空间。为了表示方便，在不造成误会的情况下，用区间符号屈 6 ，代表a 到6 之阃的整数，所以此时6 = 0 2 5 5 。 所谓直方图，就是指图像在 各灰度级上的统计百分比。即一幅2 5 6 级灰度图像在灰度在某个灰度级上的点数 占所有图像像素点的百分比。假设某幅图像是c 个像素宽，d 个像素高，陔图像 共有n = c x d 个像素，如果该图像中像素为，的像素个数是n ，则该图像的直方图 是一个l 维数组，数组中包含的元素个数为该图像的灰度级数2 5 6 。该数组定义 为 川f 】_ f n i 1 图像尺度变换： ( 3 2 ) 最直观、最简单的直方图均衡方法是图像尺度变换，把在灰度区间 口，b 】内 的像素点映射到 毛，缸】区间一般情况下，由于曝光不充分，原始图像灰度区 间【a b 】常常为空间 气，气】的子空间，此时，将原区间内的像素点z 映射成新区白j 内像素点z ，的函数表示为 ，= 二二_ l ( z 一口) + 而 ( 3 3 ) d a 上述函数的曲线形状见图3 1 ( a ) 上述映射关系实际上将【口，b 区间扩展到 区间 毛，缸】上，使曝光不充分的图像黑的更黑，白的更白。 如果图像的大多数像素灰度值分布在区问【口，b 】，则可以使用图3 1 ( b ) 所示 的映射函数： 扛p 心l a z b z b 若要突出图像中具有某些灰度值物体的细节，而又不牺牲其它灰度上的细 节，可以采用分段厌度变换，使需要的细节灰度值区间得到拉伸，不需要的细 节得到压缩，以增强对比度，如图3 一l ( c ) 所示当然也可以采用连续平滑函数 进行灰度变换，见图3 一l ( d ) 鼽：l 匦 图3 1 灰度变换 2 统计特征均衡法 按照上述尺度变换方法对图像进行直方图均衡时，往往关心的是图像直 方图在哪个区间取值，而忽略了各取值点之间的关系，所以在某个狄度缴上像 素点多和少都是同等对待的。因此直方图均衡后，就会导致某些细节反而被掩 盖了。统计特征均衡法考虑到各个灰度级之间的关系，利用图像的累加直方图 进行均衡，可以得到更好的效果。对于2 5 6 级灰度系统来说，假设h 2 5 6 是 某幅图像的直方图，则其累加直方图h 2 5 6 可以用下式求得： 【，1 = h i 1 0 2 5 5 】 5 ) t o 累加直方图反映了图像灰度值小于某一给定值得像素点占所有像素点的比 例情况。可以看出，h 2 5 5 必然是l 。利用累加直方图进行的直方图均衡公式如 下：g = 2 5 5 + h g 】g 【o 2 5 5 】 ( 3 6 ) 由于g 代表最大灰度值，因此这个变换的值域将是整个灰度区间。这个变换 根据不同灰度级上拥有的像素点所占的比例这个特征，突出了那些灰度级上拥 有大量像素点的情