（检测技术与自动化装置专业论文）用于啤酒瓶视觉检测的实时图像处理器的设计与开发.pdf

浙“人学坝i ：学位论文 摘要 啤酒空瓶在罐装之前要经过清洗和检验这两道工序，以保证其符合生产标 准。传统的验瓶采用人工验瓶方式，精度和速度都很难达到要求。依靠光学技术、 高分辨率摄像技术和图像处理技术来对回收空瓶进行非接触检测的视觉检测装 置，具有信息处理量大，速度快，精度高等优点，可以有效克服人工验瓶的不足， 大大提高了生产效率和生产的自动化程度。 本文介绍了视觉检测的原理、研究现状和发展趋势，针对啤酒空瓶视觉检测 的特点，论述了系统的总体设计方案。并对两方面作了深入的研究：一、根据视 觉检测过程实时性的需要，建立合理的图像处理硬件平台。二、图像采集与图像 处理等算法在f p g a 或d s p 上的实现。开展的主要研究工作如下： 一、比较了目前国内外已有的几种视觉检测系统，设计了一种用于视觉检测 的实时图像处理器的应用模型，采用f p g a + d s p 的混合结构，既能保证图像处理 的准确性，又能保证较高的计算性能。 二、根据建立的实时图像处理器的应用模型，选取了相应的硬件，完成了系 统的硬件电路和p c b 的设计。 三、以f p g a 为核心，在x i l i n xi s e 4 1 集成开发环境中，利用v h d l 语言完 成了视频图像采集程序的设计。 四、以t m s 3 2 0 c 6 2 0 1 为核心，研究了中值滤波、边缘检测等图像处理算法的 实时实现技术。对执行软件进行了设计和开发，实现了空瓶视觉检测的全过程。 并给出了系统软件设计的详细说明和程序流程图。 关键词：视觉检测，空瓶检测，图像采集，图像处理，中值滤波，边缘检测 d s p ，f p g a ，u s b 浙江人学倾i j 学位论文 a b s t r a c t t om e a s u r eu pw i t l lt h er e q u e s t s b e e rb o t t l em u s tb ew a s h e da n di n s p e c t e d b e f o r eb e i n gb o t t l e d t r a d i t i o n a li n s p e c t i o nm o d ei s t o i n s p e c tb yh u m a nu s i n g l i g h t i n g ，b u t i t s p r e c i s i o na n ds p e e d i sd i f f i c u l tt om e e to u rn e e d s b o t t l ev i s u a l i n s p e c t i o ns y s t e mu s i n go p t i c st e c h n o l o g y , c c dt e c h n o l o g ya n di m a g ep r o c e s s i n g t e c h n o l o g y o a n i n s p e c t b e e rb o t t l ew i t h o u t a n yt o u c h i t i s p r o v i d e d w i t ht h e a d v a n t a g e o f h i g hs p e e d a n d h i 曲p r e c i s i o n m o r e o v e r i tc a no v e r c o m et h e d i s a d v a n t a g e o fh u m a n s e y e s a n d i m p r o v eg r e a t l yp r o d u c t i o ne f f i c i e n c y a n d a u t o m a t i o nd e g r e e i nt h i sd i s s e r t a t i o n ，t h et h e o r y , r e s e a r c ha c t u a l i t ya n dd e v e l o p m e n tt r e n do fv i s u a l i n s p e c t i o na r em a i n l yd i s c u s s e d a i m i n g a tt h ec h a r a c t e r i s t i co fb e e rb o t t l ei n s p e c t i o n ， t h i sd i s s e r t a t i o nd i s c u s s e st h ep r o j e c ta saw h o l ea n df o c u s e so nt h er e a c ho ft h e f o l l o w i n gt w os e c t i o n s ：o n ei st ob u i l dar a t i o n a lr e a l i z i n gh a r d w a r ep l a t f o r i l lf o rt h e r e q u i r e m e n t o ft h er e a lt i m e t h eo t h e ri st o d e s i g nt h e s o f t w a r eo ft h e i m a g e a c q u i s i t i o n a n d p r o c e s s i n ga l g o r i t h m i nf p g ao rd s p n l em a i nw o r ki nt h i s d i s s e r t a t i o ni sa sf o l l o w s ： 1 c o m p a r i n g t h ev i s u a l i n s p e c t i o ns y s t e m s a t p r e s e n t i nt h e w o r l d ，a n a p p l i c a t i o nm o d e lo ft h ei m a g ep r o c e s s o ri sd e s i g n e d t h ep r o c e s s o rc o m b i n e sa r e c o n f i g u r a t i o nh a r d w a r ef p g a a n das o f t w a r e p r o g r a m m a b l ed s p i ti s p r o v i d e d w i t h h i g h e rp e r f o r m a n c e a n d h i g h e ro p e r a t i o nv e r a c i t y o v e r g e n e r a l p u r p o s e p r o c e s s o r 2 a c c o r d i n g t o a p p l i c a t i o nm o d e l ，h a r d w a r e i ss e l e c t e d f i r s t l y , a n d t h e n p a r t i c u l a rh a r d w a r e c i r c u i ti sd e s i g n e d 3t h es o f t w a r ed e s i g no f i m a g ea c q u i s i t i o na r i t h m e t i cb a s e df p g a i sf i n i s h e d u s i n gv h d ll a n g u a g e i nx i l i n xi s e 4 1 4 t h i sd i s s e r t a t i o nd e s c r i b e st h er e a l i z a t i o nm e t h o d so fm e d i a nf i l t e ra n de d g e d e t e c t i o ni nt m s 3 2 0 c 6 2 0 1 a n da l s o ，t h es o f t w a r ed e s i g no ft h i sa r i t h m e t i c i s d i s c u s s e di nt h i sd i s s e r t a t i o n ，t h ef l o wc h a r to f 也es o f t w a r ea n di t si l l u s t r a t i o ni s p r e s e n t e dp a r t i c u l a r l y k e y w o r d s ：v i s u a li n s p e c t i o n ，e m p t y b o t t l ei n s p e c t i o n ，i m a g ea c q u i s i t i o n ，i m a g e p r o c e s s i n g ，m e d i a nf i l t e r , e d g ed e t e c t i o n ，d s p , f p g a ，u s b i i 浙江大学硕士学位论文 第一章绪论 【摘要】 计算机视觉是利用计算机等技术模拟人的视觉功能，从图像中提取信息的技 术科学。视觉检测是建立在计算机视觉基础上的一门新兴的检测技术，利用计算 机视觉手段获取被测物体图像与预先已知标准进行比较，从而确定被测物体的状 况。视觉检测具有非接触、速度快，现场抗干扰能力强等突出优点。 啤酒罐装之前必须对啤酒瓶进行多项指标的检测，传统的检测方式为人工检 测，精度和速度都难以保证。利用基于视觉的空瓶验瓶技术来对回收空瓶进行精 确的非接触检测，极大的提高了空瓶检测的速度和准确性，同时也降低了人力成 本。 本章主要介绍了视觉检测技术的概述与发展，视觉检测的必要性及意义，以 及基于视觉的啤洒空瓶检测技术及其国内外f ! _ l 前的研究现状。最后，对本文的主 要研究工作和创新点及本文的章节安排进行了简要说明。 【主要内容】 视觉检测技术概述与发展 视觉检测的必要性及意义 基于视觉的啤酒空瓶检测技术 本文的主要研究工作及创新点 本文的章节安排 浙江大学硕士学位论文 1 1 视觉检测技术概述与发展 1 1 1 视觉检测概念的引入”f 1 0 j 检测技术是现代工业的基础技术之一，是保证产品质量的关键。在现代工业 生产中，涉及到各种各样的检测，例如汽车零配件尺寸和自动装配的完整性，电 子装配线的元件自动定位，饮料瓶盖的印刷质量，产品包装上的条码和字符识别， 电路板焊接的好坏等。这类应用的共同特点是连续大批量生产、带有高度重复性 和智能眭、对质量的要求非常高。有些时候，不仅仅要求外观的检测，同时需要 准确获取检测数据，比如零件的宽度，圆孔的直径，形状的匹配，以及基准点的 坐标等等。 现代产品的制造精度大大提高，要求相应高精度的检测方法，用人眼根本无 法连续稳定地进行。现代制造业强调实时、在线、非接触检测，确保对制造过程 实现全面控制，提高生产效率和产品的合格率，靠人工检测来完成，在给工厂增 加巨大的人工成本和管理成本的同时，仍然不能保证检测的精度和速度。传统的 检测技术已不能满足现代制造业的需要，制造业的发展要求相应的新的产品检 测技术。这时，人们开始考虑把计算机的快速性、可靠性、结果的可重复性，与 人类视觉的高度智能化和抽象能力相结合，由此产生了计算机视觉的概念。 计算机视觉是研究用计算机模拟人和生物的视觉系统功能的技术科学，就是 让计算机具有对周围世界的空间物体进行传感、抽象、判断的能力，从而达到识 别、理解的目的。视觉检测技术是建立在计算机视觉研究基础上的一门新兴检测 技术，和计算机视觉研究的视觉模式识别、视觉理解等内容不同，视觉检测技术 利用计算机视觉研究成果，重点研究物体的几何形状尺寸及物体的空间状态。它 作为一种检测手段已经越来越引起人们的重视，并逐步形成一种新的检测技术一 一计算机视觉检测( a v i ) 技术，广泛的应用于工业、商业等领域。 利用光学技术、高分辨率摄像技术和图像处理技术等计算机视觉手段对被测 对象的形状、尺寸、距离和运动特征( 方向和速度) 等进行测量和判断，具有在 线非接触检测，生产效率和产品合格率高等诸多优势，这是许多传统的检测手段 无法提供的。 视觉检测的过程：首先，采用c c d 摄像机摄取目标的图像信息，传送给专用 的图像处理系统，转变成数字信号；然后采用先进的硬件与软件技术对图像信号 进行各种运算束抽取目标的特征，如：边缘、面积、长度、数量、位置等，并山 此实现模式识别，坐标计算，狄度分布图等多种功能；最后，根据预发的闽值和 浙江大学硕士学位论文 其他条件输出结果，如：尺寸、角度、个数、合格不合格等，并发出指令，配 合执行机构完成位置调整，好坏筛选，数据统计等自动化流程。 1 1 - 2 视觉检测技术在工业生产中的应用 视觉检测技术强调的是精度和速度，以及工业现场环境下的可靠性，具有非 接触、可在线、客观、自动化等突出优点，极其适用于大批量生产过程中需要重 复检测相同部件或产品的场合，非常适合于现代制造业的产品检测，可用于工业 的很多方面。一些不适于人工作业的危险工作环境或人工视觉难以满足要求的领 域，如：零件尺寸、角度测量，零件形状、位置、加工精度、缺陷检查，零件装 配完整性，特性、字符识别，微电子器件检测，工业机器人视觉引导，锅炉火焰 检测等，视觉检测技术都有重要的应用价值【6 7 l 、【6 9 l 。 其最大的应用行业为电子工业，如高速贴片机上对电子元件的快速定位，对 管脚数目的检查，对i c 表面印字符的辨识；其次是汽车、制药、纺织、包装、 食品加工、医学等，如对汽车仪表盘加工精度的检查、胶囊生产中对胶囊壁厚和 外观缺陷的检查、轴承生产中对滚珠数量和破损情况的检查、食品包装上面对生 产日期的辨识、对标签贴放位置的检查。此外，在许多其它方法难以检测的场合， 利用视觉检测系统可以有效地实现。 已经研究的汽车车身视觉检测系统、无缝钢管直线度、截面尺寸视觉检测系 统、微电子器件封装( b g a ) 引脚平面度视觉检测系统等实际应用系统显示了视 觉检测技术具有良好的应用前景 3 】。 1 1 3 视觉检测技术的发展 计算机视觉是门新兴的发展迅速的学科，八十年代以来，计算机视觉的研 究已经历了从实验室走向实际应用的发展阶段。从简单的二值图像处理到高分辨 率多灰度的图像处理，从一般的二维信息处理到三维视觉机理以及模型和算法的 研究都取得了很大的进展。而计算机性能的飞速提高以及人工智能、并行处理和 神经元网络等学科的发展，更促进了计算机视觉系统的实用化和应用于许多复杂 视觉过程的研究。大部分工业视觉系统主要用在检测方面，用于提高生产效率、 控制生产过程中的产品质量、采集产品数据等。 国外对视觉系统的研究时间长，技术比较成熟。目前已经有几家公司生产和 出售该类产品，主要集中在美国和德国，以美国n i 公司和德国s i e m e n s 公司为 代表。美国n i 公司的基于p c 的视觉检测系统，在使机器视觉和运动控制功能 与其被广泛应用的l a b v i e w 虚拟仪器软件相结合方面做的比较突出i 。 浙江大学硕士学位论文 德国s i e m e n s 公司在1 9 9 9 年推出的智能化工业视觉系统s i m a t i cv s 7 1 0 ，提 供了一体化的、分布式的高档图像处理方案j 。它将c c d 、图像处理器、i o 集 成在一个小型机箱内，提供p r o f i b u s 的联网方式或集成的i o 和r s 2 3 2 接口。 通过p cw i n d o w s 下的p r o v i s i o n 参数化软件进行组态。具有集成数字化照相机 和快速图像处理器，标准连接接口，p r o v i s i o n 组态软件等优点。 而在国内，工业视觉系统尚处于概念导入期，各行业的领先企业在解决了生 产自动化的问题以后，已开始将目光转向视觉测量自动化方面。总之，随着机器 视觉技术自身的成熟和发展，可以预计它将在现代和未来制造企业中得到越来越 广泛的应用。 1 2 视觉检测的必要性和意义l l l l l 0 通常，检测和质量控制都是由人工来完成的。虽然人工检测在很多场合可以 比机器检测效果更好，但是人工慢于机器，并且在一些乏昧和条件恶劣的检测场 合，很容易使人变得疲劳，降低检验的准确性。在一些场合需要快速重复的获得 确切的信息，还有一些危险场合，如水下、化工、核工业等检测场合对人体有害， 靠人工很难实现。 因此，随着生产过程的高度自动化和产品质量的曰益提高，在有些工业生产 中，必须使用更有效、更精确和高速度自动检测手段。图像处理技术的日益完善 和可靠，成本日益降低，推动视觉检测技术广泛应用于工业领域。利用图像处理 及计算机视觉技术进行检测可以有效的解决上述诸多的现实问题，取代人工检 测。 视觉检测的应用正越来越多地代替人去完成许多工作，很好的满足了现代制 造业的需求，这无疑在很大程度上提高了生产自动化水平和检测系统的智能水 平。用视觉检测方法可以大大提高生产效率和生产自动化程度，保证产品质量， 而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术，是一种很 有前途的产品检测手段。 1 3 基于视觉的啤酒空瓶检测技术 啤酒工业中大都采用玻璃瓶包装，而且重复使用，但回收空瓶的种类与质量 参差不齐，在罐装前，回收的i 口啤酒瓶都必须经过清沈，然后经检测符合卫生毒 i 浙江大学硕士学位论文 准后才能进行罐装。空瓶检测主要包括瓶底检测、瓶壁检测、瓶口检测和瓶内残 留液检测几个部分，具有处理信息量大，速度快，精度要求高等特点。目前，在 罐装速度为2 0 0 0 0 瓶h 的啤酒罐装线已相当普遍，快的可以达到5 0 0 0 0 瓶h 左 右。按此计算，每秒钟要完成7 1 5 个啤酒瓶的检测。单靠人眼在如此之高的速 度下进行检测，很难保证检验结果的正确性和稳定性。 由于视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信 息以及加工控制信息集成。因此，基于机器视觉的空瓶验瓶机便逐渐为啤酒厂所 接受。空瓶验瓶机主要依靠高分辨率摄像技术和光学技术来对回收空瓶进行精确 的检测，瓶口、瓶底、瓶壁等每个检测项目都有c c d 摄像镜头对其进行摄像， 图像处理单元将模拟视频图像转化成数字图像，并通过高速计算和分析来判断输 送带上高速运动的空瓶是否有异物或瑕疵，识别出其中不合格的瓶子，将其击打 出灌装线。采用视觉检测技术避免了人工检验时，长时间工作在强光照射下对眼 睛的伤害，并提高了空瓶检测的速度和准确性，同时也降低了成本。 该技术跨越了多个学科的专业知识范围，需要各学科的融合。检测系统主要 涉及到了机械工程技术、电气、自动化、计算机软硬件技术、人机接口技术、电 子电路设计、光源照明技术、光学成像技术、模拟和数字视频技术、传感器技术、 数字信号处理( d s p ) 、数字图像处理技术、模式识别和人工智能等各个方面的知 识和经验，这些相关技术相互协调才能构成个成功的啤酒瓶内液位和杂质检测 系统。 在国外发达国家，对啤酒瓶检测研究时间长，技术比较成熟，已经有几家公 司生产出售该类产品。美国工业动力机械有限公司开发了两种检测系统 7 1 ：采用 传感器技术的空瓶验瓶机和采用摄像技术的全方位空瓶检测机。传感器技术空瓶 验瓶机采用高分辨率的双基座扫描系统，包括圆周扫描和左右扫描，以检测瓶底 的异物。此外还配合颜色自动补偿系统、检测微量残余液体的红外线检测技术、 瓶口破碎检测器、高瓶检测器等，对空瓶底部的厚度、密度、颜色变化、瓶口及 残余液体等进行精确检测。 摄像技术空瓶验瓶机采用反射光学系统、高分辨率摄像技术和自动变焦镜 头，对各个检测项目进行精确的检测。对于直径为9 5 m m 的瓶子，可检测的异物 面积大于等于3 5 3 5 r a m 2 ，精确度为9 8 。检测6 4 m m 口径的啤酒瓶时，检测 速度可达7 0 0 瓶分钟。 我国啤酒瓶的质量尚未完全过关，瓶高、瓶底和瓶壁的厚度都有较大的差异， 使窆瓶视觉检测的推广应用存在定的阻力。国内对啤酒瓶的自动捡测刚刚于近 浙江大学硕士学位论文 几年开始起步，在空瓶检测技术上已经取得了一些成果，但多是采用了国外公司 比较成熟的技术和算法，产品也不成熟。而且在灌装后啤酒瓶内液位和杂质检测 方面，尤其是啤酒瓶杂质的检测更是一个空白。因此，设计出具有自主知识产权 的空瓶验瓶机对我国啤酒生产装备的国产化有重要的社会效益和经济效益。 1 4 本文的主要研究工作及创新点 本课题的最终目标是建立一个完整的应用于啤酒灌装过程的空瓶视觉检测 系统。本文从探索d s p 新应用领域的角度出发，将d s p 技术应用于视觉检测领域， 研究了基于d s p 的图像处理技术，并在理论研究的基础上，开发了具有一定通用 性的基于f p g a 和d s p 的实时图像处理器，并对图像分析、处理和识别等算法在 f p g a 或d s p 上的实现技术作了研究。从课题实际情况来看，本文主要围绕以下 问题进行研究： 1 建立什么样的应用模型。 2 硬件的选取和设计。 3 系统的软件设计。 针对以上几个问题，本文作者主要完成了以下的任务： 设计了视觉检测系统中最重要的一部分基于d s p 的实时图像处理器。采 用f p g a + d s p 的混合结构，f p g a 时钟频率高，内部时延小，适合于简单高速的 图像采集，而d s p 具有运算速度快，存储量大等优点，适于图像运算，把f p g a 和d s p 有机的结合起来，能适用实时图像处理的需要。 根据图像处理器的模型，选取相应的硬件，完成了图像处理器的电路原理图 设计与p c b 设计。 在x i l i n xi s e 4 1 集成开发环境中，利用v h d l 语言完成了基于f p g a 的视频 图像采集程序的设计。 在c c s 2 0 开发平台上使用c 语言和d s p 汇编语言开发了图像处理与图像识 别算法软件，程序采用模块化结构，各算法可以独立运算，也可以组合起来完成 空瓶检测的任务。 浙江大学硕士学位论文 1 5 本文章节安排 本文共分六章，第一章为绪论，首先对视觉检测技术的概述、发展及意义等 作了简单的介绍，然后介绍了基于视觉的啤酒空瓶检测技术及其研究现状，并在 本章的最后简要介绍了本文的主要研究工作和创新点及本文的章节安排。第二章 为文献综述，对视觉检测技术的原理、d s p 的特点和d s p 系统设计的流程及实 时图像处理技术进行了综述。第三章阐述了啤酒瓶视觉检测系统结构的总体方案 设计，以及利用d s p 和f p g a 实现的基于u s b 接口的可重构实时图像处理器的总 体设计。第四章首先根据建立的应用模型选取了相应的硬件，然后分别针对各个 功能单元的特点，介绍了具体的硬件设计，并阐述了所设计的图像处理器的性能 特点。第五章根据建立的系统模型及硬件，讨论了实时图像处理算法的实现技术， 介绍了系统的软件设计及调试。第六章对本文所作的工作做了一个简单的总结， 并对后续的工作提出了展望。 1 6 本章小结 本章首先对视觉检测技术的基本概念和发展，视觉检测必要性和意义进行了 论述：然后对基于视觉的啤酒空瓶检测技术及其研究现状进行了简单的介绍；最 后简述了一下本文主要研究工作及章节安排。 浙江大学硕士学位论文 【摘要】 第二章文献综述 视觉检测过程一般包括图像的获取、图像的分析与处理、结果输出与执行三 个步骤。组成一个视觉检测系统包括两方面的内容：一、高速稳定的硬件平台的 设计；二、实时图像处理算法的实现及其优化。 本章主要对视觉检测技术原理进行了简单的综述，分析了d s p 的特点及系统 设计开发的流程，同时对实时图像处理技术进行综述。 【主要内容】 视觉检测技术原理综述 d s p 的特点及系统设计开发的流程综述 实时图像处理技术综述 本章小结 浙江大学硕士学位论文 2 i 视觉检测技术原理f 4 1 1 3 1 1 9 1 1 1 0 视觉检测技术采用图像传感器( c c d 器件等) 和图像处理器实现对被测物体 的尺寸、质量等的非接触测量。视觉检测系统检测生产线上的产品，决定产品是 否符合质量要求，并根据结果，产生相应的信号传输到主控计算机，进行质量分 析和产品控制，若发现不合格品，则报警，并将其排除出生产线。 不同的视觉系统工作方式和过程不尽相同，但视觉检测的过程大致包括三个 步骤： 首先是图像获取，利用图像输入装景( 如光源和图像传感器) 获耿被测物体 的图像，并对源图像作a d 转换，进行数据采集。 其次是图像数据处理、特征提取及分析。由于种种原因得到的图像不够理想， 如模糊、噪声、变形等，通过对图像进行滤波、增强、校正等系列预处理的操 作，使其尽可能与实际景物一致。注意预处理虽然能改善图像的质量，增强视觉 效果，但是它常常会改变图像的原始信息，因此在许多视觉系统中预处理操作比 较简单。然后，对预处理后的图像的特性进行检测，得到图像在不同区域的灰度、 色彩或纹理等特性参数，利用这些差别把图像划分区域或者抽取它们的轮廓边 界。 最后是识别分析等操作，并输出检测结果。根据机器预先设定的模型知识， 对各种区域进行识别，把图像转变成能正确描述视觉空间中物体的类型、位置和 关系的符号表示，作为整个视觉系统的最后结果，并将检测结果输往执行机构。 设计和开发一个视觉检测系统的要求，取决于它所应用的领域以及所完成的 任务、速度、环境等。例如：视觉检测场合，系统必须能够区分生产线上的产品 哪些是可以接受的，哪些产品是有缺陷不能接受的。其它一些应用场合，系统必 须能够完成测量等任务。没有哪个视觉系统可以适用于所有的应用领域，只有确 定了应用领域，设计开发的工作才可以确定。首先需要解决的问题是清楚系统所 要获得何种类型的信息，以及这些信息是如何转变成从图像中提取的特征的。 其次是系统必须可靠，必须尽可能的减少“误检率”和“漏检率”。系统 的可靠性是图像处理单元的职责，但获取的图像的质量也会影响系统的可靠性。 工业视觉系统还必须具有鲁棒性，系统必须能够适应现场照明、背景条件、角度 和位置等的变化。鲁棒性很难实现，高的识别率只有通过良好的照明条件及低噪 声来得到。最后，好的视觉系统必须实时性好，并且价格合理。 一个典型的视觉检测系统立| l 图2 一l 所示，主要三部分组成：矧像的获墩、 浙江大学硕士学位论文 图像的处理和分析、结果输出及执行。图像获取设备包括光源、c c d 摄像机等， 图像通过安装于被测对象上的c c d 摄像机采集，实时的摄取被测物体的图像，把 客观世界的光学特性转变成二维信息的电视信号。被测对象的位景般是固定不 变的，所以摄像机位置通常固定。为保证获取必要的图像信息，必须确保光源的 稳定和被测对象的定位准确；图像采集与处理设备包括相应的硬件和软件系统， 为了提高系统图像处理的实时性，可以应用特殊的硬件( 如d s p 、a s i c 、f p g a 等) 来提高处理的速度，以减轻计算机的负担；输出设备是与制造过程相连的有 关系统，包括过程控制器、执行装置和报警装置等。 图2 - 1 视觉系统结构图 2 。1 1 图像的获取 图像的获取实际上是一个光电转换过程，即将被测物体的图像转换成能被系 统处理的图像信号，它主要由c c d 摄像机和光源组成。 1 、c c d 摄像机 c c d ( c h a r g ec o u p l e dd e v i c e s ) 电荷耦合器件是2 0 世纪7 0 年代初发展起 来的新型半导体集成光电器件，是由美国贝尔电话实验室首先提出的。它由分布 于各个像元的光敏二极管的线性阵列或矩形阵列构成，通过按一定顺序输出每个 二极管的电压脉冲，实现将图像光信号转换成电信号的目的。近3 0 年来，c c d 器件及其应用技术的研究取得了惊人的进展，特别是在图像传感和非接触测量领 域的发展更为迅速。 c c d 是现在最常用的机器视觉传感器，作为光电传感器出于具有灵敏度高、 动态范幽j 、像素精度高等特点，配以合适的光学系统可以获得很高的空问分辨 浙江大学硕士学位论文 率，因而越来越多的应用于高精度非接触测量中。 2 、光源 光源是影响视觉检测系统图像输入的一个非常重要的因素，它直接影响输入 数据的质量。由于要求测量时间短，测量精度高，因此对物体的照明提出了较高 的要求。由于没有通用的机器视觉光源设备，所以针对每个特定的应用实例，要 选择相应的光源装置，以达到最佳效果。对于测量精度要求高，测量点多，又要 求以较高速度自动完成测量的高精度测量系统，照明光源是满足测量系统精度要 求的关键之一。在实际应用中应注意以下几点： ( 1 ) 相对光谱功率分布应与c c d 的光谱响应相匹配。 ( 2 ) 安装位置与方向应保证视场有足够的照度 ( 3 ) 发光效率、光亮度要高 过去，许多工业用的机器视觉系统用可见光作为光源，这主要是因为可见光 容易获得，价格低，并且便于操作。常用的几种可见光源是白炽灯、日光灯、水 银灯和钠光灯。但是，这些光源的一个最大缺点是光能不能保持稳定。以目光灯 为例，在使用的第一个i 0 0 小时内，光能将下降1 5 ，随着使用时间的增加，光 能将不断下降。因此，如何使光能在一定的程度上保持稳定，是实用化过程中急 需要解决的问题。另一个方面，环境光将改变这些光源照射到物体上的总光能， 使输出的图像数据存在噪声，一般采用加防护屏的方法，减少环境光的影响。 由于存在上述问题，在现今的工业应用中，对于某些要求高的检测任务，常 采用x 射线、超声波等不可见光作为光源。但是不可见光不利于检测系统的操作， 且价格较高，使用寿命短，易损坏，性价比低。 发光二极管作为照明光源始于2 0 世纪7 0 年代末，由于它具有体积小、重量 轻、光源单色性好、发光亮度高、亮度便于集中调整等优点，目前正广泛应用于 数字仪表显示和c c d 应用技术中。发光二极管作为半导体光源，它的光谱分布与 半导体光电接收器( c c d ) 光谱响应相匹配，这既能节省能量，又能减少多余能 量而造成的热稳定性差以及杂光过大等不利影响。 光源系统按其照射方法可分为：背向光源、前向光源、结构光和频i j 光等。 其中，背向光源是被测物体放在光源和摄像机之间，它的优点是能获得高对比度 的图像。前向光源是光源和摄像机位于被测物体同侧，这种方式便于安装。结构 光照明是将光栅或线光源等投射到被测物上根据它们产生的畸变，解调出被测 物的三维信息。频闪光照明是将高频率的光脉冲照射到物体上，摄像机拍摄要求 浙江大学硕士学位论文 与光源同步。 2 1 2 图像的处理和分析 图像的处理过程包括预处理、特征提取和分析决策。采集到一副图像，首先 进行滤波以除去背景噪声，平滑图像。图像重建以纠f 图像采集过程中的几何畸 变，从而提高图像质量。特征提取用于计算被测目标特征，如利用边缘检测算法 计算尺寸、位置、轮廓等。最后，利用模式识别等算法对图像迸行分析决策。一 般的图像处理系统，包括图像a d 转换、图像存储和计算机接口几部分，图像处 理系统按运行环境可以分为p c - b a s e d 和d s p b a s e d 两类。 基于p c 的图像处理系统充分利用了p c 的开放性、高度的编程灵活性和友好 的w i n d o w s 界面，同时系统成本较低。系统内含高性能的图像捕捉卡，一般可接 多个c c d 器件，并提供标准库函数支持。以美国d a t at r a n s l a t i o n 公司的产品 为例，系统的p c 机内装有高性能的图像捕捉卡，可接多个镜头，与之相应的配 套软件方面，从低到高有几个层次，如w i n d o w s 9 5 9 8 n t 环境下c c + + 编程用的 d l l ；可视化a c t i v e x 控件提供v b 和v c + 十下的图形化编程环境；直至w i n d o w s 下的面向对象的机器视觉组态软件，用户可以用它快速开发复杂高级的应用。提 供类似产品的还有美国n i 公司，该公司在使机器视觉和运动控制功能与其被广 泛应用的l a b v i e w 虚拟仪器软件相结合方面做的比较突出。 在基于d s p 的图像处理系统中，图像处理单元独立于系统，通过串口、p c i 或u s b 等接口与p c 交换数据。系统硬件一般利用高速f p g a 和d s p 芯片进行图像 处理，系统软件固化在图像处理器中，基于d s p 的图像处理系统体现了可靠性高、 集成化、小型化、高速化、低成本的特点。 2 1 3 结果输出及执行 图像处理单元将处理后的信息传输到计算机，进行分析和产品控制，若发现 不合格品，则报警器告警，并通过控制器将其排除出生产线。 检测结果输出及执行是与制造过程相连的有关系统，包括过程控制装置和报 警装置等。控制装置主要是采用p l c 控制系统，控制本装置内电气设备的运行。 2 2 d s p 的特点及系统设计开发的流程1 1 4 1 1 1 5 1 1 1 6 2 2 1d s p 的特点 1 9 8 2t f ，i 【公司推出了通用呵编程d s p 。出片以来，d s p 技术取得了突飞猛进 l2 浙江大学硕士学位论文 的发展，在d s p 技术和d s p 芯片的相互推动下，在计算机与微电子技术飞速发展 的基础上，d s p 芯片的性能得到了极大的提高。d s p 是伴随着微电子学、数字信 号处理技术、计算技术等学科的发展而产生的，其主要特点可以概括如下： 改进的哈佛结构与冯诺依曼结构相比，其主要特点是程序和数据具有 独立的存储空间，有着各自独立的程序总线与数据总线，可以同时对数据和程序 进行寻址，大大提高了数据处理能力。t i 公司的d s p 芯片结构是基本哈佛结构 的改进类型，允许数据存放在程序存储器中，并被算术运算指令直接使用，增强 了芯片的灵活性。 流水线操作t i 公司的t m s 3 2 0 系列d s p 广泛采用了流水线操作以减少指 令的执行时间，在t m s 3 2 0 c 6 0 0 0 中深度达到了8 级，可以同时运行8 条指令。不 仅如此，可以并行运行的指令条件在不断降低，指令的范围也在不断扩大。 硬件乘法器在一般计算机上，乘法( 除法) 由加法和移位来实现，与一 般的计算机不同，数据信号处理器都有硬件乘法器，乘法运算可以在一个指令周 期内完成。 快速的指令周期目前，c 6 0 0 0 系列、c 5 0 0 0 系列的最高工作主频已经达 到6 0 0 m h z ，指令周期降到了1 6 7 n s 。随着微电子技术的不断发展，工作频率还 将进一步提高指令周期进一步缩短。 特殊的d s p 指令d s p 芯片有专门为数字信号处理而设计的指令系统。 此外，d s p 还具有良好的多机并行运行特性、内部r a m 等不同于普通单片机 的特点，正是由于这些特征，使得d s p 芯片非常适合于实时的数字信号处理。 2 2 2d s p 系统的硬件设计流程 系 统 分 析 _ - 系 统 综 | 塾| 2 2d s p 系统碰件驶汁流程 墨季圆 浙江大学硕士学位论文 第一步：设计硬件实现方案，根据性能指标、成本、工期等，确定最优的硬 件实现方案。 第二步：进行器件的选型，一般系统中常用a 1 ) 、d a 、内存、电源、逻辑 控制、通信、人机接口、总线等基本部件，他们大致的确定原则如下：根据采样 频率、精度、是否要求片上自带采保、多路器、基准电源等来确定a d 型号；内 存( s r a m ，e p r o m ，s d r a m ，s b s r a m 等) 的选择主要考虑工作频率、内存容量位 长、接口方式、工作电压等。 第三步：进行原理图的设计，原理图的设计是关键的一步，在原理图的设计 时必须清楚的了解器件的使用和系统的开发，对于一些关键的环节有必要做一定 的仿真。原理图设计的成功与否，是d s p 系统能否正常工作的最重要的一个因素。 第四步：p c b 图的设计，p c b 即印刷电路板，p c b 的设计要求设计人员清楚 布线工艺和系统原理图。 第五步：硬件调试。 2 2 3d s p 系统软件编程的步骤 1 、用汇编语言、c 语言或汇编语言和c 语言的混合编程来编写程序，然后把它 们分别转化成t m s 3 2 0 的汇编语言并送到汇编语言编译器进行编译，生成目标 文件。 2 、将目标文件送入链接器进行链接，得到可执行文件。 3 、将可执行文件调入到调试器进行调试，检查运行结果是否正确，如果正确进 入第四步，如果不正确则返回第一步。 4 、进行代码转换，将代码写入e e p r o m ，并脱离仿真环境运行程序，检查结果是 否正确。 5 、软件测试，如果测试结果合格，则软件调试完毕，如果不合格，返回第一步。 在完成系统的软硬件设计之后，将进行系统集成。所谓系统集成，是将软硬 件结合起来，并在实际系统中运行，进行系统测试。在系统测试中往往可能会出 现一些问题，如精度不够等。出现问题时，一般采用修改软件的方法，如果软件 修改无法解决，则必须调整硬件。如果系统测试结果符合指标，则设计完毕。 浙江大学硕士学位论文 2 3 图像处理技术综述【1 3 1 z t i 1 2 3 2 3 1 图像处理系统的体系结构 根据处理系统在构成、处理能力以及计算问题到硬件结构映射方法的不同， 将现代图像信号处理系统分为三大类： 硬连线结构系统：主要是指由专用集成电路( a s i c ) 构成的系统，其基本 特征是功能固定、通常用于完成特定的算法。这种系统适合于实现功能固定和数 据结构明确的计算问题。不足之处主要在于：设计周期长，成本高，没有可编程 性，可扩展性差。 指令集结构( i s a ) 系统：在由各种微处理器、d s p 处理器或专用指令集处 理器等构成的信号处理系统中，都需要通过系统中的处理器所提供的指令系统 ( 或微代码) 来描述各种算法，并在指令部件的控制下完成对各种可计算问题的 求解。 可重构系统：基本特征是系统中有一个或多个可重构器件( 如f p g a ) ，可 重构处理器之间或可重构处理器与i s a 结构处理器之间通过互连结构构成一个 完整的计算系统。 从处理系统的构成方式来看，常用的处理机结构有以下几种：单指令流单数 据流( s i s d ) 、单指令流多数据流( s i m d ) 、多指令流多数据流( m i m d ) 。 s i s d 结构：通常由一个处理器和一个存储器组成，它通过执行单一的指令 流对单一的数据流进行操作，指令按顺序读取，数据在每时刻也只能读取一个。 缺点是单片处理器处理能力有限，同时，这种结构也没有发挥数据处理中的并行 性潜力，所以在实对系统或高速系统中，很少采用s i s d 结构。 s i m d 结构：系统由一个控制器、多个处理器、多个存储模块和一个互连网 络组成。所有处理器在同一时刻执行同一指令，但每个处理器执行这条指令时所 用的数据是从它本身的存储模块中读取的。对操作种类多的算法，当要求存取全 局数据和对于不同的数据作不同的处理时，它是无法独立胜任的。另外，s i m d 一般都要求有较多的处理单元和极高的i o 吞吐率，如果系统中没有足够多的适 合s i m d 处理的任务，采用s i m d 是不合算的。 m i m d 结构：就是通常所指的多处理机，典型的m i m d 系统由多台处理机、 多个存储模块和一个互连网络组成，每台处理机执行自己的指令，操作数也足各 取各的。m i m d 结构中每个处理器都可以单独编程，因而这利- 结构的可编程能力 浙江大学硕士学位论文 是最强的，但由于要用大量的硬件资源解决可编程问题，硬件利用率不高。 提高图像处理系统的运行速度有两种方法，一种是采用高速运算部件；另一 种是应用并行技术。流水线连接是一种最基本的并行处理连接模式，在图像处理 中，可以采用如下的流水线技术： 运算操作流水线，运算操作级的并行。流水线型图像处理系统主要采用这种 流水线方式。 指令流水线，指令级的并行。在采用高级别d s p 的数字信号处理器的高速 图像处理系统旱，取指令、指令译码、取操作数、执行指令4 个操作按流水线方 式运行。 处理机流水线，程序级的并行。如用多个d s p 作为流水线功能块，由此组 成处理器流水线。 2 3 2 图像处理算法 图像处理是针对性很强的技术，根据不同应用、不同要求采用不同的处理方 法。图像处理主要采用两大类方法，一类是在空域中处理，即在图像空间中对图 像进行各种处理；另一类是把空间图像经过变换，变到频率域，在频率域中进行 各种处理，然后再变回到图像的空间域。视觉检测系统中，所获得信息的处理技 术j ：要依赖于图像处理算法它包括图像增强、平滑、边缘锐化、图像分割、特 征抽取、图像t 别畸理解等内容。 1 、图像的灰度修正 图像的灰度修正用于调整图像的对比嫂，突 l5 图像咔r 的晕要细节，改善枧觉 质量。通常根据图像不同的降质现象而采用不同的修正方法：针对图像成像不 均匀而对图像逐点进行不同程度的灰度级校正。针对图像某部分或者整体曝光 不足而进行灰度级校正。直方图修正，使图像具有期望的灰度分布。采用狄度 直方图修改技术进行图像增强非常常用。 灰度直方图是灰度值的函数，描述的是图像中具有该灰度值的像素的个数， 表示t 幅矧像扶艘分布情况的统计特性。如果获得幅图像的岛办阁效果不理 想，可以通过修改直方图的方法来调整图像的灰度分布情况，即把一幅已知扶度 概率分椰矧像中的像素狄度作某融映射变换，使它变成幅具钶均匀灰度概率分 布的新矧像，实现使劁像清晰的| i 的。常用的方法有直方图均衡化技术和直方图 规定化技术。直方图均衡化处理足以累积分撕i 函数为基础的直方图修改法，目的 魁将原始蚓像的直方图变为均衡分和的形式，即将一副已知扶度概率密度分布的 浙江大学硕士学位论文 图像，经过某种变换，变成一副具有均匀灰度概率密度分布的新图像。在实际应 用中，有时不需要图像具有整体的均匀分布直方图，而是希望有目的的增强某个 灰度级分布范围内的图像，采用直方图规定化处理即可以按照预先设定的某个形 状来调整图像的直方图。 2 、图像的平滑 实际成像过程中，因光源和环境等噪声的影响会造成图像失真。图像传输、 采集和处