（检测技术与自动化装置专业论文）基于机器视觉的纸张缺陷检测系统的研究.pdf

一 at h e s i ss u b m i t t e df o rt h e a p p l i c a t i o no f t h em a s t e r sd e g r e eo fe n g i n e e r i n g l r e s e a r c ho f i n s p e c t i o ns y s t e mo fp a p e r d e f e c t sb a s e do nm a c hi n ev i s i o n c a n d i d a t e ：g us h u a i s p e c i a l t y ：m 钯n 沁抓瓣毗伽砒沁 s u p e r v i s o r ：p r o f e s s o rq i us h u b o s h a n d o n gi n s t i t u t eo fl i g h ti n d u s t r y , j i n a n ，c h i n a m a y , 2 0 1 0 ， 学位论文独创性声明 本人声明，所呈交的学位论文系在导师指导下本人独立完成的研究成果。文 中引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法律意义上 已属于他人的任何形式的研究成果，也不包含本人已用于其他学位申请的论文或 成果，与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示谢意。 论文作者签名： ； 同期： 臣i ! 年月l 同 学位论文知识产权权属声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属山东轻工 业学院。山东轻工业学院享有以任何方式发表、复制、公丌阅览、借阅以及申请 专利等权利，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成果时，署名 单位仍然为山东轻工业学院。 论文作者签名： 导师签名： f 1 期：逸f ! 年j 月l 同 f 期：迎! ! 年j 月同 i 山东轻t ：业学院硕i ：学位论文 目录 摘要i a b s t r a c t i 第l 章绪论1 1 1 机器视觉检测技术概述与发展l 1 1 1 机器视觉检测的概念1 1 1 2 机器视觉检测技术在工业生产中的应用1 1 1 3 机器视觉检测技术的发展一2 1 2 基于机器视觉检测技术的纸张缺陷检测技术概述3 1 3 本文的主要研究工作5 第2 章纸张缺陷视觉检测系统的方案研究7 2 1 纸张的机器视觉检测技术原理综述7 2 1 1 纸张图像的获取7 2 1 2 图像的处理和分析8 2 1 3 结果输出及执行8 2 2 纸张缺陷视觉检测系统的总体设计方案9 2 2 1 系统的总体结构设计。9 2 2 2 成像单元设计l o 2 3 图像处理器的设计方案1 1 2 4 基于f p g a + d s p 的图像处理器的总体设计1 2 2 5 系统的工作流程1 4 第3 章基于f p g a 的图像预处理算法及仿真实现1 5 3 1 预处理滤波方法简介1 5 3 2 中值滤波技术介绍一l5 3 2 1 中值滤波原理1 6 3 2 2 中值滤波与均值滤波在v c + + 下的仿真1 6 日录 3 3 中值滤波的f p g a 实现l7 3 3 1 基于f p g a 的3 x 3 模板的硬件构成1 7 3 3 2 基于f p g a 的移位寄存器块的实现1 8 3 3 3 基于f p g a 的排序模块2l 3 3 4 中值滤波实现及试验结果2 3 第4 章基于f p g a + d s p 的图像处理器的硬件设计2 5 4 1d s p 的特点及系统设计开发流程2 5 4 1 1d s p 的特点2 5 4 1 2d s p 系统的硬件设计流程2 5 4 2 图像处理器芯片选择2 6 4 2 1d s p 芯片的选择2 6 4 2 2f p g a 芯片的选择2 7 4 3 基于f p g a 的图像采集预处理电路设计2 8 4 3 1s a a 7 1l1 a 视频解码芯片介绍2 8 4 3 2s a a 7 1l1 a 视频解码电路设计2 9 4 4d s p 电路设计3 0 4 4 。lt m s 3 2 0 d m 6 4 2 的外部存储器e m i f a 接口3l 4 4 2t m s 3 2 0 d m 6 4 2 的外部存储器扩展3 3 4 4 3t m s 3 2 0 d m 6 4 2 的时钟系统3 8 4 4 4d s p 监控复位系统3 8 4 5u s b 主机接口设计3 9 4 5 1u s b 总线及其接口芯片i s p l 5 8 1 3 9 4 5 2t m s 3 2 0 d m 6 4 2 的u s b 接口设计4 0 4 6t m s 3 2 0 d m 6 4 2 的电源设计41 j 4 7 硬件设计的其它问题4 2 4 7 1 解码芯片的采样速率4 2 4 7 2 系统时序问题4 2 4 8 印制电路板( p c b ) 的设计4 2 第5 章系统软件设计与系统实现4 5 5 1d s p 的系统设计开发流程4 5 5 1 1 项目建立4 5 2 山东轻t 业学院倾l ：学位论文 5 1 2 项目调试一4 5 5 2 系统软件的整体结构描述4 6 5 3 视频图像采集预处理软件设计4 9 5 3 1 图像采集预处理的f p g a 实现4 9 5 3 2d s p 中断响应流程4 9 5 4 图像处理识别算法的软件设计5 0 5 4 1 边缘检测算法的软件设计5 l 5 4 2 图像分割算法的实现5 2 5 4 3 缺陷分类识别算法的实现5 3 5 5 检测系统的组成与运行结果测试5 5 第6 章结论与展望5 7 参考文献5 9 致 谢6 3 攻读硕士学位期间发表学术论文6 5 山东轻t 业学院硕 j 学位论义 摘要 纸张缺陷视觉检测是利用相机对纸幅快速拍照，利用计算机进行处理、分类， 然后自动判别纸张缺陷类别。典型的纸张缺陷有孔洞、裂痕、污点、褶子、透明 点、尘埃等。纸病的性质如形式、大小、结构、位霄等能反映出纸病的起源，可 以根据其有效特征进行精确分类。 本文介绍了机器视觉检测技术的概念、原理、研究现状和发展趋势，针对纸 张缺陷视觉检测的特点，论述了基于机器视觉的纸张缺陷视觉检测系统的总体设 计方案，及各个组成部分的设计。本文的主要内容以及完成的主要工作如下： 一、本文简要介绍了机器视觉的概念，并将机器视觉检测技术应用到纸张缺 陷检测中，并简单介绍了基于机器视觉的纸张缺陷检测的研究现状和发展前景。 二、针对纸张缺陷检测速度高、精度高、实时性处理的要求，提出了一种基 于f p g a + d s p 的嵌入式图像处理器的设计方案用f 纸张缺陷视觉检测系统。 三、在x i l i n xi s e 4 1 集成丌发环境中，利用v e r i l o gh d l 语言完成了基于 f p g a 的视频图像采集及预处理程序的设计，并完成仿真。 四、根据建立的基于f p g a + d s p 的图像处理器模型，完成系统的硬件设计及 p c b 设计并分别进行了介绍。 血、研究了图像处理算法在高性能d s p 中的实现，开发出了高效实用的图像 处理识别程序，并给出了程序流程图及详细说明。 六、系统实现了视频图像采集处理板的软硬件设计和调试，完成了整个视觉 检测系统的初步搭建，并对系统的性能进行了初步测试。 关键字：机器视觉；f p g a + d s p ；图像采集；预处理；边缘检测：图像分割 a b s t r a c t s u a li n s p e c t i o ns y s t e mo fp a p e r d e f e c t su s e sc a m e r at ot a k ep h o t o so fp a p e r sf a s t ， a n du s e sc o m p u t e rp r o c e s s i n g ，c l a s s i f i c a t i o n ，a n dt h e na u t o m a t i c a l l yd e t e r m m e t h e 啪e o fp a p e rd e f e c t s t y p i c a lp a p e rd e f e c t sa r eh o l e s ，c r a c k s ，s t a i n s ，c r e a s e s ，t r a n s p a r 既t s p o t s ，d u s ta n ds oo n t h en a t u r eo ft h ep a p e rd e f e c t s ，s u c h a sf o m ，s l z e ，咖c t u e ， l o c a t i o n e t c c a nr e f l e e tt h eo r i g i no fp a p e rd e f e c t s ，b a s e do n i t se f f e c t i v ec h a r a c t e r i s t l c s ， i tc a nb ep r e c i s e l yc l a s s i f i e d t h i sp a p e rd e s c r i b e st h ep r i n c i p l eo ft h em a c h i n e v i s i o ni n s p e c t i o n ，r e s e a r c hs t a m s a n dd e v e l o p m e n tt r e n d ，a c c o r d i n gt o t h ec h a r a c t e r i s t i c so ft h ep a p e rd e f e c t s v 1 s 1 0 n i n s p e c t i o n d i s c u s s e st h eo v e r a l ld e s i g ns c h e m e o ft h es y s t e m t h em a i nr e s e a r c hw o r k c a r r i e do u ta sf o l l o w s ： f i r s t t h i sp 印e ti n t r o d u c e dt h ec o n c e p to fm a c h i n ev i s i o na n d i t su s i n gmp a p e r d e f e c t sd e t e c t i o n ，锄dg i v e dab r i e fi n t r o d u c t i o no fr e s e a r c h s t a t u sa n dd e v e l o p m e n t p r o s p e c t so fp a p e rd e f e c ti n s p e c t i o n b a s e do nm a c h i n ev i s i o n s e c o n d a c c o r d i n gt o t h er e q u i r e m e n t so fh i g hs p e e d ，h i g hp r e c i s i o n ，r e a l t 姗e p r o c e s s i o ni np a p e r d e f e c t sd e t e c t i o n d e s i g n e da v i s u a li n s p e c t i o nf o rt h ea p p l l c a t l o no f r e a l t i m ei m a g ep r o c e s s o rm o d e l ，u s i n gt h em i x e ds t r u c t u r e o ff p g a + d s e t h i r d i nt h ex i l i n xi s e 4 1i n t e g r a t e dd e v e l o p m e n te n v i r o n m e n t ，u s m gv e r i l o g h d ll a n g u a g ec o m p l e t e dav i d e oi m a g ea c q u i s i t i o n a n dp r e t r e a t m e n tp r o 伊锄m g d e s i g n ，a n dc o m p l e t e dt h es i m u l a t i o n f o u r t h a c c o r d i n gt o t h ee s t a b l i s h m e n to ff p g a + d s p - b a s e dl m a g ep r o c e s s o r m o d e l ，d e s i g n e dt h e h a r d w a r ea n df i n i s h e dt h ep c bd e s i g n ，w h i c hw e r e d e t m l e d i n t r o d u c e d f i f u l r e s e a r c h e d t h e r e a l i z a t i o n o fi m a g ep r o c e s s i n ga l g o r i t h m m h i g h - p e r f o r m a n c e d s p d e v e l o p e d e f f i c i e n ta n dp r a c t i c a l i m a g e p r o c e s s m g i d e n t i f i c a t i o np r o c e d u r e s ，a n dg i v e dt h ep r o g r a mf l o w c h a r ta n dd e t a i l e d1 n s 。m c t i o i l s s i x t h ，r e a l i z e dt h ev i d e oi m a g ea c q u i s i t i o na n dp r o c e s s i n gh a r d w a r e a l l ds o f t w 跚e d e s i g na n dd e b u g ，i n i t i a l l yc o m p l e t e dt h e s e tu po fv i s u a li n s p e c t l o ns y s t 锄，肌d c o n d u c t e dt h ep r e l i m i n a r yt e s to f t h es y s t e m sp e r f o r m a n c e k e 、州o r d ： m a “i n ev i s i o n ； f p g a + d s p ； i m a g ea c q u i s i t i o n ； p r e t r e a t m e n t ； e d g e d e t e c t i o n ；i m a g es e g m e n t a t i o n 山东轻1 ：业学院硕i ：学位论文 第1 章绪论 1 1 机器视觉检测技术概述与发展 1 1 1 机器视觉检测的概念 检测技术是现代自动化技术的重要组成部分，也是当代工业高度发达的基础 技术之一。在当代工业生产过程中，涉及到各种各样的产品检测技术，如机器零 件尺寸测量、商品外观包装检测、产品表面缺陷检测、组装配件自动定位、商品 包装条码字符识别等。这螳应用的共同特点是产品大批量生产、检测环节高度重 复性、产品检测速度快、特殊区域检测精度要求高。传统的检测技术，如人工视 觉检测，由于速度很慢、易疲劳、精度较差，已经越来越不能满足当代某些制造 业领域的需要，这就促使了当代视觉检测领域的革新【i 】。人们利用仿生学的原理， 充分利用计算机的快速性、可靠性、大存储量、高可重复性、高计算性能，把传 统的检测环节、处理环节、执行环节与计算机技术密切配合，实现了产品检测的 高度智能化，由此产生了机器视觉的概念。 机器视觉是研究利用仿，学的原理，用计算机的高性能计算能力、处理能力 来模拟生物宏观视觉功能、抽象能力、判断功能，从而完成对被测物体的识别判 断。机器视觉检测技术重点研究产品的外部形状、空间位置、运动状态，它主要 利用照明技术、成像技术和图像处理、模式识别等技术手段，主要用来满足当代 工业生产过程中对检测环节高效率、高速度、高精度的需求，这是其应用的原动 力，这是人工视觉检测手段无法实现的【2 】。机器视觉检测作为一种新兴的自动化技 术，其市场推广是达成社会共识的基础。 1 1 2 机器视觉检测技术在工业生产中的应用 机器视觉检测技术的市场推广需要其在工业生产中达到最大效率，从而实现 更多的利润。这来源于技术的革新，机器视觉检测技术已经在理论基础、技术基 础不断发展的基础上发展壮大，其应用领域也在不断扩展。 机器视觉检测技术最大的应用行业为半导体及电子工业，其中大概4 0 5 0 都集中在半导体行业【3 】。应用领域主要有： p c b 印刷电路：各类生产印刷电路板组装技术；单面、双面、多层线路板， 覆铜板及所需的材料及辅料；辅助设施以及耗材、油墨、药水药剂、配件；电子 封装技术与设备；丝网印刷设备及丝网周边材料等。 m s t 表面贴装：m s t 工艺与设备、焊接设备、测试仪器、返修设备及各种辅 助工具及配件、s m t 材料、贴片剂、胶粘剂、焊剂、焊料及防氧化油、焊膏、清 第1 章绪论 洗剂等；再流焊机、波峰焊机及自动化生产线设备。 电子生产加工设备：电子元件制造设备、半导体及集成电路制造设备、元器 件成型设备。 除此之外，机器视觉还应用于产品质量检测等其他很多领域。汽车、制药、 纺织、包装、食品加工、医学等领域，如汽车碰撞试验的检测，轴承生产中对滚 珠数量和破损情况的检测，对汽车仪表盘加工精度的检查，医药生产中对胶囊壁 厚和药品灌装的检查，食品包装中对生产只期的辨识，对标签贴放位置的检查， 医学检测中对血细胞的识别等【4 】。 1 1 3 机器视觉检测技术的发展 机器视觉自起步发展到现在，已有接近1 5 年的历史。在理论基础上，从图像 处理应用到模式识别，再到神经网络、人工智能，在技术基础上，从单片机、a r m 到d s p 、f p g a ，这些理论研究和技术革新促进了机器视觉检测从单纯的理论研究 向广泛的实际应用领域的发展【5 】。据不完全统计，目前全球整个视觉市场总量大概 在7 0 亿荚元这个规模，并且按照每年8 8 的速度在增长。目前机器视觉朝着两个 大方向在发展，一个是嵌入式解决方案，另一个是基于p c 的采用板卡和s d k 的 解决方案，它们都有各自的优势和适用场合。 基于p c 的采用板卡和s d k 的产品有着比较悠久的历史，它把机器视觉的底 层算法进行模块化封装，对机器视觉的处理过程进行流程化的设计，用户可以利 用这些处理模块，可以在较短时间内开发出高性价比的行业解决方案【6 j 。软件方面， 它需要用户有比较好的编程基础和对现场应用有比较丰富的经验以进行软件二次 开发。硬件方面，基于p c 的系统都整合有图像采集、图像处理、在线显示、标准 的i o 包括串口、并口、网络接口等，同时还集成有与外部工业控制设备连接的数 据i o 、运动控制、p l c 等接口。这类产品加上开发费用一般价格都比较昂贵，所 以一般只在一些高端场合如要求高精度的医学检验、汽车碰撞检测等应用。 在基于嵌入式的视觉产品中，视觉检测处理单元被集成到一个图像处理器中， 并可以通过串口、并口、p c i 总线、c a n 总线、以太网或u s b 总线等多种总线接 口与p c 交换数据。系统硬件一般利用高性能图像处理器进行运算，并将系统软件 固化在图像处理器中，这些图像处理器可以以d s p 、f p g a 等作为核心，配合外围 器件可以完全脱离通用p c 机工作。基本上可以满足低中高端应用场合，这使得嵌 入式产品已经可以覆盖高中低端的需求，从而不断地抢占了原来基于p c 的采用板 卡和s d k 的产品的市场。 一般来说，嵌入式的视觉产品大多定位于中低端的应用，基于p c 的这类丌放 式的产品因为其需要一定量的二次丌发，能够灵活地适应多种需求，因此大多定 位于中高端的产品应用。可以说嵌入式系统以及基于p c 的系统都在往前发展【7 1 。 2 一 山东轻t 业学院硕l ：学化论文 国外对机器视觉的工业应用研究比较早，技术也比较成熟，有代表性的国家 主要有美国、同本、德国、英国等副引。像美国的机器视觉在医学领域、国防安全 领域、空间技术的应用世界领先；同本的工业机器人，尤其是具有机器视觉的工 业机器人技术世界领先；德冈的啤酒制造业领域的机器视觉技术、汽车制造业领 域的应用领先世界。其余的典型的应用还有北欧国家的在造纸、纺织、机电产品 等领域的机器视觉检测技术也很发达。 而在国内，机器视觉检测还处于新兴领域，机器视觉在各行业的应用仅限于 低端方面的应用【9 】。近年来，困内的科研院所和企业也在机器视觉检测技术领域进 行了积极探索和尝试。目前在制药、印刷、电子、汽车、食品等领域逐渐得到了 应用，应用领域不断扩大。随着中国加工制造业的崛起，对机器视觉检测技术的 需求会逐渐增加，国内的机器视觉检测应用领域也将由低端转向高端。总之，随 着自身的成熟和发展，机器视觉检测技术必将在当代和未来制造企业中得到越来 越广泛的应用。 1 2 基于机器视觉检测技术的纸张缺陷检测技术概述 在现代造纸工业中，裁切、选别和包装是最后的生产环节，也是非常关键的 环节。该环节将已卷成筒状的纸卷多支，用裁纸机裁成一张张的纸，再经人工或 机械的选别，剔除有破损或污点的纸张，最后包装起来l l o l 。纸张的选别在整个造 纸过程中起着非常重要的作用，直接决定着成品纸张的质量。在纸张生产过程中， 由于照明系统、纸机故障、人工操作不当、纸浆不均匀等原因，会造成纸张存在 大量尘埃、斑点、条痕、皱褶、空洞及破边等外观缺陷，给纸张的生产造成巨大 损失。 现代造纸工业的特点是纸张幅值宽、纸机速度快，造纸厂纸张的裁切、选别、 检测、包装基本上实现自动化。现代纸机的幅宽超过9 米，速度可达5 0 0 米分钟， 这样的机器每秒钟大约生产1 0 9 n l l t l 2 的纸张【1 1 1 ，由于很多纸张缺陷尺寸在1m m 2 以下，这样的缺陷靠人工视觉检测已经不可能，人工视觉检测难以适应大面积， 高速度纸张生产的要求，也难以保证缺陷检测的正确性和稳定性，这给纸张缺陷 检测造成了很大的团难。技术难度的提高，使得缺陷检测算法的改进尤为重要。 阈值法是比较常见的纸张缺陷检测方法。当纸张出现缺陷时，缺陷部分及其 边缘的对比度比周围i f 常纸张的对比度有明显的提高，对比度的提高量与纸张缺 陷的类型有直接的关系，我们可以根据这种关系，通过对比度的提高量是否超过 预设阈值来判断纸张缺陷的类型【l2 1 ，阈值法结合图像荻度的纸病检测方法，可以 检测出褶皱、斑点、孔洞、条痕等纸病，其分类关键在于预设阈值与对比度提高 量的关系。在设定阈值时，由于孔洞的灰度值较低，可以将阈值设为较低的阈值， 第1 章绪论 凡是灰度值低于该阈值的区域町认定为有孔洞；而像褶皱、条痕、玻璃花等纸病 狄度值较高，可以选择较高的阈值，凡灰度值大于该阈值的区域，可以认定为存 在褶皱、条痕等纸病【l3 1 。 基于统计处理的纸病检测，文献 1 4 】利用纸张纤维结构的统计特性，可以得出 纸张图像随机信号所满足的统计规律，用统计的方法来检测各种纸病。在纸病模 型定义中规定正常纸张的纤维分布是层状的，纤维取向一致，层与层之间纤维的 耿向相互正交。图像的灰度分布服从正态统计分布规律，如果纸张纤维结构分布 偏离了标准模型的纤维结构的理想结构，就可认为产生了纸病，其分类天键在于 偏离程度，偏离程度的不同对应纸病的类型、区域大小和数量。 形态学方法也是纸病检测中常用的方法，其基本方法是用形态学描述被测区 - 域的形状，并预测和快速处理如过滤、细化、修饰等，把纸张图像的形态特征为 研究对象，设计一整套算法来描述纸病的基本特征和基本结构。步骤是先利用腐 ， 蚀、膨胀、丌运算和闭运算滤除图像噪声，然后用腐蚀和膨胀的边缘检测算子进 行纸病边缘检测，这种方法呵以有效保护图像的细节，而且形态学算法易f 用并 行处理方法有效实现，而且硬件实现容易。 在纸张缺陷检测领域，美国、同本、加拿大、芬兰、挪威等造纸工业发达的 国家进行了深入的研究，研究时问长，技术比较成熟。目前，a b b 、h o n e y w e l l - - m e a s u r e x 、m e a s u r e xr o i b o x 、o m r o n 等公司已经研制出在线纸病检测系统。这 些系统的基本原理是：在被检测的整个幅面上，用若干个c c d 摄像机在线检测专 用光源在纸张上反射光的变化，并转换成电信号，经计算机处理，判断出产品各 种外观纸病的类型、尺寸及位置。其中，美国的a b b 公司是最早研制丌发基于机 器视觉的纸张缺陷检测系统的公司之一，该公司的u l m a n t i 系列纸张缺陷视觉 检测系统，可以实现对斑点、尘埃、条痕、皱褶、孔洞和破边等多种缺陷类型进 行实时检测【i 引。 国内也只有极少数企业引进了国外的纸病在线检测系统，珠海红塔仁恒纸业 有限公司从美国h o n e y w e l l - - m e a s u r e x 公司引进了一套m x o p e nw i s 纸病枪测系 统，使纸张质量得到了较大幅度的提高。广州造纸有限公司于2 0 0 1 年下半年先后 对p m 5 p m 8 纸机安装了a b b 公司的u l m a n t t 纸病检测系统，对新闻纸的在线 - 纸病监控及复卷时对具体纸病掌握起到了较大的作用，提高了新闻纸的出厂质量， 并可以根掘监控结果查找纸病原因。国内的纸病检测技术研究尚处于起步阶段， 最早报道的纸张缺陷视觉检测系统是浙江大学双元公司于2 0 0 4 年推出了 s y w l s 3 0 0 0 纸病检测分选系统【1 5 】，是国内第一个自行开发的纸病检测系统，然而 该系统的应用也仅限于实验室，未见其应用于国内的企业。 我国的造纸业历史悠久，造纸术是四大发明之一，当代的造纸工业也很发达， 传统的采用人工视觉分拣纸张已经不可能，因此采用机器视觉检测技术势在必行。 4 山东轻丁业学院顾i j 学位论义 而国外成套视觉检测设备，价格昂贵。因此研究和开发具有自主知识产权的纸张 的机器视觉检测设备我国的造纸工业将产生深远的影响。 1 3 本文的主要研究工作 本论文的工作是建立个完整的、高精度的、高速度的应用于高速纸机运行 过程中对纸张缺陷的视觉检测系统的设计。本文从大数据量、实时性的检测要求 出发，探索了f p g a + d s p 结构的可行性与优越性，将基于f p g a + d s p 的嵌入式技 术应用于纸张的机器视觉检测领域，研究了基于f p g a + d s p 的图像处理器的设计， 并在算法仿真的基础上，对高速视频图像采集及图像预处理、图像处理识别等算 法作了研究，并将这些算法移植到图像处理器中。 本论文围绕以下几个问题展丌： 1 建立什么样的纸张缺陷视觉检测系统。 2 采用什么样的缺陷识别算法。 3 系统软硬件平台的搭建。 4 缺陷检测算法在硬件平台上的实现。 针对以上几个问题，本文主要完成了以下的任务： 一、设计了基于f p g a + d s p 的实时图像处理器，该图像处理器采用f p g a + d s p 的结构，结合了f p g a 和d s p 的各自优势，f p g a 可重构性能好，时钟频率高， 内部时延小，速度快，只需要在对其编写合适的硬件描述语言，即可实现相应的 硬件电路，适合于算法简单、需重复计算、高速的图像采集及预处理。而d s p 具 有特殊乘加器、多级流水线操作、特殊指令等特点，适于边缘检测、图像分割、 图像i , , t j , 另l l 等复杂算法运算。 二、在x i l i n xi s e 4 1 集成开发环境中，用v e r i l o gh d l 完成了基于f p g a 的 视频图像采集及预处理程序的设计，并对算法做了仿真。 三、根据图像处理器的模型，选取相应的元器件，完成了基于f p g a + d s p 的 图像处理器的电路原理图设计和p c b 设计，并介绍了详细的设计规则。 四、在c c s 6 0 0 0 丌发平台上开发了图像处理与图像识别算法软件，完成了纸 张缺陷检测的任务。 山东轻t 业学院颇i j 学位论义 第2 章纸张缺陷视觉检测系统的方案研究 2 1 纸张的机器视觉检测技术原理综述 无论是基于p c 的板卡式视觉系统还是基于嵌入式的视觉系统，其检测的原理 和过程都如下三个步骤： 首先是图像的采集，在光源照明条件下，被测物体表面的光被反射到视觉传 感器的感光元件上，产生与光照强度成j 下比的电信号，并经过模数转换并将信号 存储或直接传输给图像处理器。 其次是图像处理、特征提取及分析。由于信道信噪比的限制，外界的干扰以 及采集设备的自身等原因使得采集到的原始图像出现大量的噪声、模糊、变形等 不同程度的降质【i6 | 。这时候需要对这些图像进行滤波等预处理操作，使图像尽可 能真实。虽然图像预处理能抑制图像的降质，但这也往往会给处理带来负面影响， 例如滤波会去除图像中的一些细节，因此要保证算法的可靠性。然后对预处理后 的图像进行进一步处理，如图像的边缘检测、图像分割、通过计算获取图像的特 征参数，根据预设阈值，把这些具有相同特征参数的区域归为相同区域或进行区 域分割。 最后是识别分类等操作，并输出检测结果。这个过程也可称之为图像理解， 即根据机器预设的先验知识，通过对预设先验知识的程序化，把图像转变成能正 确描述其空间特征的符号表示f 1 7 】。并通过和先验知识的对比，比较结果作为整个 视觉系统的最后结果，并由主控计算机进行数据分析，并输出结果给执行机构。 2 1 1 纸张图像的获取 纸张图像的获取实质是一个光信号向电信号转换的过程，相当于人眼的视网 膜成像，主要作用是将镜头感光所成的像，即光信号转变能被系统处理的图像信 号，即电信掣1 8 】。c c d 光电转换需要光源的配合。 1 、c c d 摄像机 c c d ( c h a r g ec o u p l e dd e v i c e s ) 电荷耦合器件已经有近4 0 年的应用历史。c c d 的工作原理是被摄物体反射光线到c c d 像面上，c c d 根据光的强弱积聚相应的 电荷，产生与光电荷量成正比的弱电压信号，经过滤波、放大处理，通过驱动电 路输出标准的视频信号【旧】。c c d 是敏感元件也是现在最常用的机器视觉传感器。 c c d 具有灵敏度高、动态范围广、像素精度高等特点，其性能的好坏直接影响视 觉检测质量，在高精度非接触测量检测领域中，c c d 相机的性能不断改进，作用 同益凸显。 第2 章纸张缺陷说觉榆测系统的方案研究 根据成像方式，c c d 相机主要分为线阵c c d 相机和面阵c c d 相机【2 0 1 。面阵 c c d 相机的优点在于适合静念的目标测量，而对于高速运动物体的测量，往往会 产生模糊等噪声，算法实现较为复杂。而线阵c c d 相机的优点是采样速度快，分 辨率高，实时性强，适合动态目标测量，在扫描方向上的精度高于面阵c c d 相机。 由于高速纸机速度可达5 0 0 米分钟，因此动念纸张图像的扫描我们采用线阵c c d 相机。 2 、光源 光源足影响机器视觉检测系统重要的因素，它影响图像的灰度、清晰度和图 像对比度等，因此照明光源的j 下确选择与设计是视觉检测的关键问题之一。对于 要求测量精度高，速度快的检测系统，照明光源在实际选择应用中应注意以下几 - 点要求i 引j ： 照度要适中：光源照度的大小将直接影响图像的狄度高低。 ， 亮度要均匀：如果视场内亮度不均匀，将会产生附加灰度造成测量误差。 亮度要稳定：理想的光源应保证照度稳定不变，避免影响图像灰度级。 相对光谱功率分布应与c c d 的光谱响应相匹配。 l e d 作为照明光源已经近有3 0 年的历史，l e d 具有诸多优点，如价格便宜、 结构简单、节省能源、便于大规模集成、发光效率高等，因此i f 广泛应用于液晶 背光显示和c c d 照明、新照明技术中【2 2 】。l e d 作为半导体光源，它的光谱分布与 c c d 光谱响应相匹配，这既能提高成像系统的热稳定性，而且能避免杂光等光学 干扰使成像更稳定清晰，而且l e d 光谱易于被纸张吸收，使成像稳定，因此l e d 作为照明光源在纸张机器视觉领域得到了广泛的应用。 2 1 2 图像的处理和分析 纸张图像的处理过程主要包括原始图像预处理、图像处理、特征提取和模式 识别。对于采集到的一幅图像，首先对其进行图像预处理以除去噪声，以纠正图 像采集过程中各种原因造成的图像降质【2 3 1 。然后是进一步图像处理，利用边缘检 测、图像分割、纹理分析等技术对预处理后的图像作进一步处理。然后是特征提 取，计算被测纸张的目标特征，如粘料、麦草芥、裂缝、褶皱、玻璃花等缺陷。 最后，利用模式识别等识别手段把这些缺陷根据预定义分类。 2 1 3 结果输出及执行 检测结果输出及执行包括过程控制装置、报警装置、标记装置等。控制装置 主要是采用外部的单片机控制系统或者p l c 控制系统，也可是直接利用处理单元 内部的图像处理器。 图像处理单元将处理后的信息传输到监控管理单元，进行数据分析、参数修 改和产品控制，若发现不合格产品，则报警器报警，剔除，并且可以将不同类型 山东轻t 业学院硕 ：学位论文 的缺陷产品在相应位置作出标记，便于数据的分析。 2 2 纸张缺陷视觉检测系统的总体设计方案 纸张缺陷视觉检测系统的设计难点主要有实时性要求高、检测精度要求高、 检测缺陷类型多、算法复杂等。在设计中应注意以下几点：实时性要求，现代 纸机的速度可以达到每分钟几百米，这要求相机的采集速度和处理器的处理速度 能够达到性能方面的要求；检测参数易修改要求，纸张的缺陷类型繁多，缺陷 微小，需要根据不同类型的纸张设定不同的检测参数，并可以随时修改参数，以 适应灵活性的要求。这两个要求足设计成败的关键，因此系统结构的选取、细节 的设计至关莺要。 2 2 1 系统的总体结构设计 纸张缺陷视觉检测系统应首先检测图像是否存在缺陷，如果存在缺陷，则保 存图像，以待进一步的分类，并在纸张缺陷处用色标器进行标记。如果没有，则 不保存这幅图像【2 4 1 。这一过程需要将视频信号转换成图像信号，并处理采集的每 一幅图像，识别分类，因此在算法设计与硬件的选取上应满足系统对实时性的要 求。结合纸张生产的实际，设计了包含成像单元、图像采集与处理单元、执行单 元的检测系统。该系统主要由l e d 光源、光电感应丌关、c c d 摄像机、图像处理 器、执行装置、监视器等几部分构成。整个视觉视觉检测系统的结构如图2 1 所示： 光电开关 机械手 色标器电机 图2 1 纸张缺陷视觉检测系统的结构 成像单元由l e d 照明光源、线阵c c d 摄像机、光电开关等设备构成，负责 触发采集信号、完成纸张的成像，经过光电信号转换并向图像采集与处理单元输 出模拟视频信号。 图像采集与处理单元负责接收模拟视频信号，并进行数字化，并对得到的图 像数据进行中值滤波等预处理运算，并将检测结果传输给监视器，并根据检测结 9 第2 章纸张缺陷视觉榆测系统的方案研究 果控z l j ；, i - 阐执行电路，执行相应的操作。 监控管理单元主要由计算机构成，主要完成系统参数设定、图像显示、检测 结果获取、统计分析等功能。 执行单元是一个闭环柔性系统【2 4 1 ，由报警单元、变频电机、纸病标识设备等 器件构成，由嵌入式处理单元来控制，分别用来完成缺陷纸张的报警、缺陷类别 识别标识等功能。 整个系统的大致工作流程是：首先，成像单元机架上的光电丌关触发采样信 号，c c d 摄像机在图像处理单元的控制下开始采集纸张图像：然后c c d 摄像机将 采集到的数据传输给图像处理单元( 嵌入式处理单元) ；然后图像处理单元将处理 结果传递给监控管理单元，监控管理单元p c 机可以显示图像数据，也町以提供图 像处理单元的配置参数：最后图像处理单元的d s p 处理器可以直接根掘得到的结 果控制执行单元的报警器、色标器、机械手等装置，分别作出缺陷报警、分类标 记等功能。 2 2 2 成像单元设计 现代纸机运行速度快，纸幅宽，为了达到快速采集图像的目的，系统应 该选用适于高速运动过程中采集图像的相机，因此成像单元将采用线阵c c d 摄像机来采集纸张图像。此外，光源设计也是成像单元设计的重要环节，光 源必须有足够的照度，保证相机成像有足够的分辨率，同时光源和相机要密 切配合，保证光谱响应相匹配，同时相机应具有足够的采样频率、分辨率【25 1 。 本系统采用加拿大d a l s a 公司生产的基于图像传感器i l p 1 4 0 9 6 的工业相 机。i l p 1 4 0 9 6 的精度高、感光响应快，在工业控制和测量领域该器件具有很强的 实用性。该器件的像素尺寸足l ol am x 1 0l ar n 、像素线阵长度为4 1 m m 、相邻像素 中心距距也是1 0l am 。线阵列的像素共有4 0 9 6 个，分两路输出，每相输出数据频 率为2 5 m h z ，线扫描速率为8 7 k h z l 2 6 1 。线阵c c d 图像由于存在像元问距和扫 描行距，像素点在两个坐标方向上的距离分别是像元问距和扫描行距，一般 来说扫描行距受机械传动部分的限制，远大于像元| 日j 距【2 7 1 。图2 2 是c c d 元 素工作示意图。 1 0 山东轻丁业学院硕f ? 学位论支 列像素4 0 9 6 个 图2 2c c d 元素l ：作示意图 系统的配置决定了该检测系统能检测出的最小纸病的尺寸： 列向最小尺寸= 纸幅宽度( 相机列像素数相机个数) 行向最小尺寸= 车速x ( 相4 c j l y , j 像素数相机数据率) 例如：对于车速为5 0 0 m m i n 、抄宽为2 4 6 m 的纸机，使用2 个i l p 1 - 4 0 9 6c c d 相机所组成的检测系统，能检测出的列向纸病的最小尺寸为： 列向尺寸= 2 4 6 1 0 0 0 ( 4 0 9 6x2 ) = o 3 0 ( m m ) 行向尺寸= 5 0 0 x ( 1 0 0 0 6 0 ) x 【4 0 9 6 ( 2 5x1 0 0 0 0 0 0 ) 】= 1 3 7 ( m m ) 同时也可以根据需要检测的最小纸病的尺寸，利用上述公式，反过来推算需 要用相机的类型和个数【2 8 】。 l e d 光源的设计采用l e d 点阵正投射照明方式，即背光照明，其亮度采用恒 定亮度，这需要严格控制自然光或工厂照明光照的影响。光