（机械电子工程专业论文）基于机器视觉的钢板表面缺陷图像处理算法研究.pdf

摘要 摘要 为了满足顾客对钢板质量和生产效率的不断提高，钢板表面缺陷检测技术 在生产过程中已变得日益重要。传统基于人工目视的抽样检测方法，由于劳动 强度大，误检率高，极大地限制了生产效率的提高和产品质量的提升。而随着 计算机技术的不断进步，基于机器视觉技术的钢板表面缺陷检测系统，已成为 钢板表面缺陷检测技术的研究热点。 本文针对于钢板轧制中常出现的划痕缺陷检测的一些关键技术进行了研 究。提出了缺陷检测系统的总体方案，分别介绍了系统的硬件结构和软件结构， 并着重研究了系统的图像滤波方法、图像灰度增强方法、缺陷图像分割方法， 主要研究内容如下： 1 根据热轧钢板表面缺陷自动检测系统的技术要求，设计出了表面缺陷检 测系统的总体方案，并对系统的硬件结构和软件流程进行了介绍； 2 通过对钢板生产现场特性的研究，提出图像采集系统的噪声特性，并针 对此特性设计了一种组合优化的滤波器； 3 根据表面划痕缺陷特点，对灰度增强、缺陷区域分割等常规的处理算法 进行了深入研究，并在此基础上设计了适合本系统的检测算法，最后在m a t l a b 中进行了算法仿真； 本文较为深入地研究了图像处理技术在钢板表面缺陷检测领域的应用。经 实验验证，本文提出的算法对突显表面缺陷能取得较好的效果。 关键词：机器视觉；钢板表面缺陷；图像处理技术；缺陷分割 a b s t r a c t a b s t r a c t i no r d e rt os a t i s f y i n gc u s t o m e rr e q u i r e m e n t so fc o n t i n u a l l yr a i s et h es p e e da n d e f f i c i e n c yo fs t e e lp r o d u c t i o n t h ea u t o m a t i ci n s p e c t i n gt e c h n o l o g ya b o u ts u r f a c e d e f e c to fs t e e lp r o d u c t i o nb e c o m e sm o r ea n dm o r ei m p o r t a n t t r a d i t i o n a ls u r f a c e d e f e c t s i n s p e c t i o nd o n eb yh u m a ni n s p e c t o r s i sf a rf r o ms a t i s f a c t o r y , f o ri t s l a b o r - i n t e n s i v ea n dh i g hr a t eo ff a l s ed e t e c t i o n w i t ht h ed e v e l o p m e n to fc o m p u t e r c a p a c i t y , a u t o m a t i cs t r i p s u r f a c ei n s p e c t i o nb a s e do ni m a g eh a sb e c o m ef a v o r a b l e q u e s t i o nf o rs t u d y r e s e a r c h i n go ns c r a t c ho nt h es u r f a c eo fs t e e lp r o d u c t i o n ，t h i sp a p e rr e s e a r c h e s t h ek e yt e c h n i q u e so ft h e i n s p e c t i o ns y s t e m t h eg e n e r a ld e s i g ns c h e m eo fs u r f a c e d e f e c t si n s p e c t i o ns y s t e mf o rh o tr o l l e ds t e e lp l a t ei sg i v e n ，h a r d w a r ea n ds o f t w a r eo f t h e s y s t e m i sd e s c r i b e d ，a n da l g o r i t h m sf o ri m a g en o i s er e m o v i n g ，i m a g e e n h a n c e m e n ta n dr e g i o ns e g m e n t a t i o na l ed i s c u s s e d 1 1 l em a i nw o r ki n c l u d e di nt h ed i s s e r t a t i o ni ss h o w na sf o l l o w s ： 1 a c c o r d i n gt oi n s p e c t i o ns y s t e m st e c h n i c a lr e q u i r e m e n t ，i t so v e r a l ld e s i g n p l a ni sp u tf o r w a r d i ti n c l u d eh a r d w a r ea n ds o f t w a r ed e s i g ns c h e m e 2 p u t t i n gf o r w a r dt h em e t h o df o rt h ea c q u t r e m e n tt h en o i s yi m a g e ，f m d i n gt h e n o i s yc h a r a c t e ra n da d v a n c i n gt h ec o m b i n a t o r i a lo p t i m i z a t i o nf i l t e r 3 a c c o r d i n gt ot h es u r f a c ed e f e c tc h a r a c t e r i s t i c so fs c r a t c h , t h ec o n v e n t i o n a l d e f e c tp r o c e s s i n ga l g o r i t h m so fg r a y - s c a l ee n h a n c e m e n t ，s e g m e n t a t i o na r es t u d i e d i n d e p t h , a n do nt h i sb a s i s ，i n s p e c t i n ga l g o r i t h mw h i c ha d a p t i n gt ot h i ss y s t e mi s d e s i g n e do u t ，a n ds i m u l a t e do nm a t l a b t h i st h e s i ss t u d i e s t h ei m a g ep r o c e s s i n gi ns t e e ls u r f a c ei n s p e c t i o nf i e l d s e x p e r i m e n t ss h o wt h a tt h ep r o p o s e da l g o r i t h m st oh i g h l i g h ts u r f a c e d e f e c t sa r e e f f e c t i v e k e yw o r d s ：c o m p u t e r - v i s i o n ；s t e e l s u r f a c ed e f e c t s ；i m a g ep r o c e s s i n g ；d e f e c t s e g m e n t a t i o n 。 i l 目录 目录 第1 章绪论1 1 1 课题背景及研究意义1 1 1 1 课题背景及意义1 1 1 2 课题来源1 1 2 机器视觉技术概述2 1 3 国内外发展现状3 1 3 1 国外的研究现状3 1 3 2 国内的研究现状5 1 4 本文主要研究内容6 第2 章钢板表面缺陷检测系统7 2 1 引言7 2 2 检测原理7 2 3 系统总体设计8 2 3 1 检测系统构成8 2 3 2 图像采集系统1 0 2 3 3 软件系统设计1 2 2 4 本章小结13 第3 章图像滤波去噪1 4 3 1 引言1 4 3 2 图像噪声分析1 4 3 3 滤波去噪算法1 8 3 3 1 领域平均法1 8 3 3 2 中值滤波2 0 3 3 3 自适应门限组合滤波器2 3 3 3 4 滤波效果评价2 9 3 4 本章小结3 0 第4 章图像增强处理- 3 1 i i i 目录 4 1 引言31 4 2 灰度增强3 2 4 2 1 灰度变换3 2 4 2 2 灰度变换实验结果图。3 4 4 3 直方图增强3 6 4 3 1 直方图变换3 6 4 3 2 直方图变换效果图及分析4 0 4 4 增强效果评价4 2 4 5 本章小结4 4 第5 章缺陷图像分割4 5 5 1 引言4 5 5 2 边缘的定义和分类4 5 5 3 边缘检测算子4 6 5 3 1 一阶算子4 8 5 3 2 二阶算子。5 1 5 3 3c a n n y 算子5 6 5 3 4p a l k i n g 算子5 9 5 4 边缘二值化6 4 5 4 1 迭代式阈值分割法6 5 5 4 2 基于类间方差阈值分割法6 5 5 4 3 改进的阈值分割法6 6 5 4 4 实验图效果图对比6 7 5 5 本章小结。6 8 第6 章结论与展望6 9 6 1 结论6 9 6 2 展望6 9 致谢7 l 参考文献7 2 攻读学位期间的研究成果7 6 i v 第1 章绪论 第l 章绪论 1 1 课题背景及研究意义 1 1 1 课题背景及意义 钢材是国民生产中不可缺少的原材料，被广泛地应用于汽车生产、机械制 造和造船等行业。随着国民经济近年来的高速发展，对钢材的需求也在逐年增 加，但是在钢坯连续铸造轧制过程中，由于轧制设备和轧制工艺等因素的影响， 会使得钢板表面产生裂纹、划痕、结疤、氧化皮等缺吲1 2 】。这些缺陷不仅会影 响产品表面质量，降低了产品性能，严重的甚至可能会造成生产事故。如果能 及时发现并清除表面缺陷，则可以提高钢材质量，保证安全生产。因此，必须 加强对钢板表面缺陷的检测。 目前，国内大部分钢铁企业对钢板表面缺陷大多采用人工检测的方法【3 1 ，但 是这种方法存在很多的弊端： ( 1 ) 检测效率低，实时性差。由于生产线是高速运行的，而用人工检测这种 方法会使得抽检率低，不能完全反映钢板表面质量，造成实时性差，无法满足 在线高速生产的要求。 ( 2 ) 检测结果受质检员主观因素影响大。因不同的质检员其检测水平存在差 异，所以缺乏了检测的科学性，结果可信度低。而且，现场工作环境十分恶劣， 会对质检员产生较大的身体损害。 由于以上的这些缺点，人工检测方法越来越无法适应现代化工业生产的需 要，因而极需研发出快速、准确的表面缺陷自动检测设备，发展钢板自动化在 线检测技术对我国钢铁工业的生产发展具有非常重要的价值和意义。 1 1 2 课题来源 本课题是以某大型钢厂的铸坯表面质量检测系统为背景的。由于人工目测 方法的局限性，使得研究和开发具有自动化和智能化的检测系统成为必要的趋 势。随着近年来计算机技术、自动化技术和光电技术的发展，以机器视觉技术 为核心的智能化检测技术已经被广泛地应用在了钢板的缺陷检测中。 机器视觉( 又称计算机视觉) 是以机器视觉理论和数字图像处理理论为基 第1 章绪论 础，利用计算机实现对客观世界进行视觉感知和解释的行为 4 1 。机器视觉系统一 般采用c c d 摄像机( 或其他图像获取设备) 摄取图像并转化为数字信号，采用 先进的计算机硬件与软件技术对数字信号进行处理，从中获得所需要各种目标 图像的特征值，并由此实现模式识别等多种功能。机器视觉作为一门新兴、实 用和高效的技术，具有非接触、速度快、精度合适、现场抗干扰能力强等突出 的优点，非常适合应用于钢板的现场在线检测。 在国外，机器视觉技术研究的相对较早，其理论体系也较为成熟，已研制 出用于冷轧带钢的表面质量检测系统，而国内的研究则较为落后，一直还没有 成熟的产品问世，导致国内的钢铁厂家为提高产品质量，不得不从国外进口价 格昂贵的检测系统，不仅花费巨大，维修不便，而且国外的产品也不一定能完 全满足现场检测的要求。因而，进行此课题的研究具有较高的经济价值和实用 价值，开发出具有自主知识产权的钢板表面缺陷智能化检测系统有着重要的现 实意义。本文正是在这样的发展趋势下，为机器视觉技术在钢板表面缺陷检测 领域的实际应用做一点有益的尝试。 1 2 机器视觉技术概述 机器视觉技术【5 】是指利用各种成像系统来代替人的视觉功能，将摄取的客观 事物转变为图像信号，并由计算机对图像信息进行处理和理解，进而产生数字 信号来用于实际检测、测量和控制，也就是用计算机来实现对客观三维世界的 感知和认识。主要包括图像的获取、处理、分析、输出和显示等方面的研究。 机器视觉是一项综合技术，包括数字图像处理技术、机械工程技术、控制 技术、电光源照明技术，光学成像技术、传感器技术、模拟与数字视频技术、 计算机软硬件技术、人机接口技术等。因此，机器视觉技术具有提高生产的柔 性和自动化程度的特点。常用其来替代人工在一些艰苦且危险工作环境或人工 视觉难以满足要求的场合中进行作业，同时在大批量工业生产过程中，用人工 视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产 效率和生产的自动化程度。 机器视觉技术作为计算机科学的一个重要分支，在近3 0 年中得到迅猛的发 展，已被应用到许多领域，如遥感、生物医学、通信、工业、航空航天、军事、 安全保卫等【6 1 。通过计算机技术向无损检测技术的交叉和渗透，机器视觉技术已 2 第1 章绪论 成为无损检测技术中的主力军。 1 3 国内外发展现状 利用计算机视觉技术进行检测，可以将计算机的快速性、可靠性和结果的 可重复性与数字图像处理技术进行有机的结合。使检测系统具有自动化、非接 触、高精度和快速等特点，极大提高了检测效率，具有十分广泛的应用前景。 目前，机器视觉技术具有代表性的是基于激光扫描的计算机检测技术和固体摄 像器件检测法掣训。 激光扫描检测可以显著提高缺陷灵敏度、检测的实时性和数字信号处理结 构的通用性。但是它对于微小的或对比度小的缺陷和某些缺陷的分辨能力不足； 其专用的光学系统结构复杂，可维护性和可升级性较差；油膜会严重影响激光 光路，对信号产生很大噪声，严重降低了系统的识别能力。以上这些不足限制 了激光扫描检测技术在表面自动检测领域中的进一步实用化和工程化【7 - 9 】。 固体摄像器件检测法主要是基于c c d 成像的机器视觉检测方法【1 0 】，特别适 合在线实时检测的需要，能同时保存缺陷图像，确定缺陷出现的位置，并能识 别缺陷的类别。这些优势无疑使基于线阵c c d 或面阵c c d 成像的机器视觉检测 技术成为目前研究和应用的主流技术。 1 3 1 国外的研究现状 。 了 c c d ( c h a r g ec o u p l e dd e v i c e s ) ，即电荷耦合器件，是一种新型的固体成像器 件，是近代光电成像领域里非常重要的一种新技术产品。c c d 器件由于具有体 积小、重量轻、耐振动冲击、受环境电磁场影响小、工作距离大、测量精度高、 成本低等优点，因此目前以c c d 摄像机作为图像传感器的检测系统已经成为钢 板表面缺陷质量检测的主流系统【1 1 1 。固体摄像器件c c d 检测原理是用特殊光源 以一定方向照射到钢板表面上，c c d 摄像机在带钢上扫描成像，扫描所得的图 像信号经过图像采集卡输入计算机，通过图像预处理、二值化、确定检测区域 等处理方法后得到钢板表面缺陷的二值图像，提取二值图像中的几何特征参数， 然后再进行图像识别，判断出是否存在缺陷。检测系统结构示意图如图1 1 所示： 3 第1 章绪论 投一 d b 采簟t r 纛镌 图1 1c c d 表面缺陷检测系统结构不慈图 1 9 8 3 年在美国能源部的资助下，h o n e y w e l l 公司【l l 】完成了连铸板坯表面在 线检测装置的研究。该装置采用线阵c c d 器件，通过增加c c d 芯片的有效象 元数和提高其帧转移速率，并采用先进的数字图象处理部件，使该装置能可靠 地检出针孔等微细的表面缺陷。该项研究工作对于带钢表面质量检测系统的指 导意义在于确立了线阵c c d 图像传感系统、专用图像阵列处理机的体系结构、 基于树分类器和句法模式识别理论的缺陷分类器设计思想及自动检测过程的离 线数字仿真等技术路线的主流地位。 1 9 8 6 年在美国钢铁协会( a i s i ) 的资助下，w e s t i n g h o u s e 公司和e a s t m a nk o d a k 公司【1 2 】提出了各自的系统解决方案，其中w e s t i n g h o u s e 系统采用线阵c c d 摄像 机和高强度的线光源监视运动带钢表面，在最高带速和最大带宽下可提供 1 7 m m x 2 3 m m 的横、纵向缺陷分辨率，并提出了将明域、暗域及微光域三种照 明光路形式组合应用于检测系统的思路。 美国c o g n e x 公司先后研制成功了i s 2 0 0 0 自动检测系统和i l e a m 自学习分 类器软件系统【1 3 】。通过此两套系统的无缝连接，整体系统可以提供8 0 g o p s 的 运算性能，并有效的改善了传统自学习分类方法在算法执行速度、数据实时吞 吐量、样本训练集规模及模式特征自动选择等方面的不足之处。在带钢上下表 面分别设置工作于明域和暗域的各两台c c d 摄像机，并通过明、暗域光学图像 的匹配，以增加缺陷检出的数量；将数字图像的分辨率由8 b i t 像素提高到1 0 b i f f 像素；在摄像机a d 变换单元中具备自动增益校正功能，并在摄像机数字接口 部件中配置了自适应的规格化器，可动态补偿照明光源的不均匀和衰变的特性 及带钢表面反射光的不规则；综合运用了多只阀值化器( 恒定阀值化器、基线 4 第1 章绪论 跟随阀值化器、边缘检出阀值化器、条纹检出阀值化器和低对比度阀值化器) ， 这些算法分别适用于各自特定的缺陷类型，并可编程为固定的和自适应的运行 模式，其综合效果可将缺陷检测阀值严格控制在带钢正常表面像素值偏差的1 0 倍至1 6 倍，大大高于其他检测系统中2 5 至3 o 倍的水平。 德国p a r s y t e c 公司开发了h t s 2 与h t s 2 w 表面缺陷检测系统【1 4 】，分别应 用于冷轧和热轧的钢板表面缺陷检测。h t s 系统是面阵c c d 图像拼接法成功实 现表面缺陷检测的最为成功的例子。该系统采用半导体l e d 阵列作为光源 ( h t s 2 w 采用氙闪光灯作为光源) ，通过高灵敏度的摄像头，光学成像上明域 与暗域成像相结合，各个摄像头的视场搭接，使获取的图像能够覆盖整个钢板 表面，并有足够的分辨率，采用了并行计算机处理进行表面分析、采集图像的 处理、缺陷分类1 0 0 由软件完成。1 9 9 7 年为韩国浦项制铁公司研制冷轧钢板表 面缺陷检测系统，系统首次将基于人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ， a n n ) 分类器设计技术实用于钢板检测领域。系统可以在轧制速度为3 0 0 m m i n 的情况下，检测最小尺寸为0 5 m m 的钢板表面缺陷。h t s 系统的最大优点是对 不同车l * j j 生产线状况的适应能力非常强。 1 3 2 国内的研究现状 r 在国内，钢板表面缺陷检测的研究工作起步较晚，整体水平还较低，因此， 基于机器视觉的检测技术尚处于发展阶段。 1 9 9 5 年华中理工大学罗志勇掣1 5 】提出一种新型的表面自动检测系统。采用“ 了多台面阵c c d 成像、几何分段、数据合成的检测方法，选择了全可编程的图 像数字化器和全可编程的高速数字信号处理器作为数字图像处理的平台，构造 了多d s p 并行工作的主从式信号处理体系结构，形成了高效实时的p c 环境下 的多d s p 系统，并通过该系统所构成的图象处理平台进行了冷轧带钢表面孔洞、 重皮和边裂等缺陷检测和最小带宽测量实验。同年，哈尔滨工业大学机器人研 究所开始进行带钢表面主要缺陷的静态检测和识别方法的研究【l6 1 。 上海宝钢在国内最早采用带钢表面质量自动检测系统：宝钢的1 4 2 0 m m 电 镀锡机组出口配置了在线激光表面检测仪，在带钢高速运行情况下客队带钢正 繁忙同时检测，能自动识别出巾0 1 m m 以上各种缺陷，分类能力达到9 5 以上 【1 7 1 。同时，宝钢1 5 5 0 m m 冷轧生产线采用激光式自动表面缺陷检测仪对带钢表 面质量进行检查和记录。 5 第1 章绪论 2 0 0 2 年北京科技大学徐科等人提出了基于机器视觉的连铸板坯缺陷区( r o i ) 检测方法【1 8 】，他们利用多个面阵c c d 摄像头同步采集图像的方式，并通过由 l e d 光源构成的“暗场照明 方式采集连铸坯表面图像，提取出r o i 图像的几 何特征、投影特征、纹理特征等，并对不同位置的同类r o i 进行搜索、提取及 合并；同时，提取r o i 区域的多维特征向量，采用模式识别统一熵理论对多维 特征向量进行降维处理，实现了对钢板表面缺陷的在线检测。整套系统的结构 如图1 2 所示： 纷溯麓霹 褐 艟钐器 稔嬲旋鬻莽纷计麓 图1 2 系统的总体结构 2 0 0 5 年西安建筑科技大学王快利1 9 】等人研制出带钢表面缺陷检测装置，能 检测出数十种0 5 m i n x 0 5 m m 的表面缺陷，且检出率在8 5 以上。该装置配备了 两种不同的照明方式，可以将不同类型的缺陷( 两维的或三维的) 在采集到的图 像中有效地显示出来；其中所有的图像处理和缺陷分类算法都由软件实现，以 便于系统的使用和更新，同时还使用了一些新的图像处理和缺陷分类算法，使 检测和分类结果更为理想可靠。 1 4 本文主要研究内容 本文主要以基于机器视觉的钢板表面缺陷图像处理算法为科研背景，在研 究常规的图像处理算法基础上结合钢板缺陷的特点，提出改进的算法以达到能 有效进行缺陷分割的目的，论文具体研究工作可以概括为以下几个部分： 1 研究系统的硬件结构方案和软件结构方案； 2 研究图像滤波算法和图像增强算法，根据实际情况选择适合本系统的算 法并进行改进； 3 研究图像边缘检测和阈值分割方法，分析传统的经典算法，并设计适合 本系统的算法。 6 第2 章钢板表面缺陷检测系统 第2 章钢板表面缺陷检测系统 2 1 引言 表面质量检测系统要求在生产线正常运行的情况下能实时地、无遗漏地检 测出热轧钢板表面上主要的缺陷类型，在参照产品质量等级评定标准的基础上 通过统计分析，评价出产品的质量状况，并将产品质量等级提供给质量控制部 门，作为其决策的依据。 表面缺陷的检测是利用人眼能够感受到的光，照射被测对象表面，通过模 拟人眼的视觉机理检测局部区域的表面特性和与之相邻区域的表面特性的差 异，来判断此局部区域是否出现缺陷及缺陷的类别。本课题欲检测的是钢板表 面划痕缺陷，如图2 1 所示，其特点是：多平行于轧制方向且形状为较长的线状 缺陷，有一定的深度，零散或成排分布。对于这种缺陷的检测，就是利用缺陷 表面的光学特性与正常表面光学特性之间的差异以及缺陷的几何尺寸和形状等 特征来判断和识别的。 图2 1 钢板划痕缺陷 目前，基于机器视觉的检测技术是实现钢板表面缺陷无损在线检测的最佳 方法，同时也是未来钢板表面质检设备向着智能化、高精度、高可靠性方向发 展的主流【2 们。 2 2 检测原理 光线以一定的角度照射到物体表面上后，光能一部分被物体表面吸收，一 7 第2 章钢板表面缺陷检测系统 部分被表面反射，另一部分则会被散射，反射光和散射光的强度取决于物体表 面的粗糙度和缺陷的情况。就钢板表面缺陷而言，由于表面缺陷的存在，导致 表面粗糙度和反射平面法线方向发生变化，进而引起反射光及散射光强度的变 化，且由表面缺陷导致的光强变化将大于由表面粗糙度不同所引起的光强变化。 因此，通过大量的实验，根据反射光和散射光强度的变化，我们就可以从中提 取出缺陷的信息，进而可以判定出缺陷的类型【2 1 j 。 检测原理如图2 2 所示： 反射 台僚纠 光线线 图2 2 机器视觉的检测原理 在光源的照射下，表面质量合格的钢板图像呈现出表面光照度分布比较均匀， 而存在表面缺陷的钢板由于光线的漫反射呈现出光照度的突变。 2 3 系统总体设计 2 3 1 检测系统构成 机器视觉检测系统构成如图2 3 所示，系统主要分为两大部分即图像采集部 分和图像处理部分。图像采集系统一般由光源组成的照明系统、镜头、c c d 摄 像机等组成，而图像处理系统则通过编写软件算法实现。在一定的光照( 包括可 见光，红外线等各类光源) 条件下，成像设备将物体成像并放大，然后由图像采 集系统将数字图像信号送入计算机内，形成二维灰度矩阵( 即原始图像) ；图像处 理单元首先对采集到的原始图像进行预处理以改善图像的质量，然后通过边缘 检测进行边缘定位；再进行缺陷的特征提取，最后构建分类器进行特征的识别 完成对图像的分析，达到所要求的测试任务。 8 第2 章钢板表面缺陷检测系统 图2 3 机器视觉的系统构成 整个系统由两部分组成：硬件系统和软件系统。其中硬件系统的主要任务 是要实时采集钢板图像，并将图像信息转变为计算机所能识别的数字信号。软 件系统的主要任务是对采集到的图像进行相应的处理、缺陷识别和数据存储。 其核心部分是图像处理系统。 为搭建出用于本课题研究的表面缺陷检测系统，首先必须根据系统分辨率 和检测精度的要求合理地选择检测系统的图像成像、图像采集及图像处理等硬 件单元。以下是这些主要硬件单元的选择原则： ( 1 ) 光源 用于机器视觉系统的光源一般要求为无频闪、光强稳定、光场分布均匀、 高亮度且亮度可调等【6 】。同时，光源与照明方案的配合应尽可能地突出物体特征 量，在需要被检测出来的部分与那些不重要的部分之间应尽可能地产生明显的 区别，增加图像的对比度。 ( 2 ) 摄像机 相机的一个核心部件就是图像传感器，从很大程度上说，图像传感器的性 能决定了相机的性能，即决定了相机采集图像的质量。目前市场中的固体图像 传感器，以两大类为主，它们分别是电荷耦合器件( c h a r g e c o u p l e dd e v i c e ，c c d ) 和互补金属氧化物场效应管( c o m p l e m e n t a r ym e t a lo x i d es e m i c o n d u c t o r ，c m o s ) 图像传感器【2 2 1 。c c d 与c m o s 几乎是同时起步的，但是由于受工艺水平的限制， c m o s 不论是在图像质量还是在分辨率和灵敏度等方面都要逊色于c c d ，这使 得很长一段时间内，c m o s 都无法与c c d 进行抗衡 2 3 】。 随着近年来c m o s 工艺的快速发展，c m o s 图像传感器过去的像素大、信 噪比小、分辨率低等缺点都得到了大幅度的改进，目前c m o s 画面质量已能与 9 第2 章钢板表面缺陷检测系统 c c d 图像传感器相媲美，加之保持了体积小、重量轻、功耗低、集成度高、价 位低等优点，使其具有了比c c d 图像传感器更广阔的应用前景【2 4 】。 综合工业应用中图像传感器研究的发展趋势以及c m o s 图像传感器的自身 优势，课题采用基于c m o s 的面阵相机来进行钢板表面缺陷检测的研究。 ( 3 ) 图像处理系统 机器视觉软件用来完成对输入的数字图像信号进行处理，通过一定的运算 得出结果，这是检测系统的核心。 2 3 2 图像采集系统 图像采集系统由摄像机、光源、镜头和电源组成。其结构图如下图所示： 光源 钢板 相机 电源 图2 4 钢板缺陷检测系统的基本硬件组成示意图 本课题主要针对钢板表面的划痕进行检测，划痕是由于轧机在轧制过程中 高速打滑而引起的，轧制速度越快，其发生的概率越大【2 5 】。划痕的宽度多为 2 - 3 m m ，个别为5 i 砌，长度一般都大于2 0 r a m ，两头呈笔尖状【2 6 1 。为了能有效 地识别出划痕缺陷，就必须考虑摄像机单位像素检测精度，选择一款合适的相 机。图像采集系统的分辨率是决定整个检测系统精度的重要参数，因此，选择 相机时首先必须考虑的是分辨率与精度要求，同时还必须考虑相机成像速度、 快门速度等问题。 考虑到课题是在实验室静态检测环境对钢板表面划痕缺陷进行研究的，且 1 0 第2 章钢板表面缺陷检测系统 检测精度要求达到0 1 m m ，钢板的表面尺寸为2 2 0 m m 5 0 m m ，因此相机的分辨 率至少需要2 2 0 0 5 0 0 p i x c e l ，基于实验室现有的硬件条件，课题选用基于c m o s 图像传感器的c a n o ne o s4 5 0 d 面阵数码相机，它有多级分辨率，最高分辨率可 达4 2 7 2 2 8 4 8 p i x c e l ，总像素达到1 2 4 0 万像素，完全可以满足课题需要。并且 该款相机自配有镜头( 1 8 5 5 m m 3 5 5 6 i s ) ，该配套镜头是变焦镜头，可以实现 焦距在1 8 m m 5 5 m m 范围内的焦距变换。 光源是系统中的另一个关键问题，光源的选择直接影响到采集到的图像质 量以及缺陷是否能在图像中明显表露出来。系统选用白色高亮l e d 光源作为照 明光源1 2 ，这是因为， ( 1 ) 响应时间短，发光效率高，光强稳定分布均匀； ( 2 ) 形状可以根据需要进行改变： ( 3 ) 光源颜色丰富，有红、蓝、绿、白。不同的颜色对应不同的波长，所以 l e d 光源与相机匹配的峰值响应范围广； ( 4 ) 寿命长，可靠耐用。 摄像机和光源不同的位置可对应不同的检测方式。研究表明，有两种表面 缺陷检测方式：“明视野方式和“暗视野方式”【2 引。摄像机放置的位置是在入 射光的反射光路上的属于明视野照明方式( 直射光照明) ，反之，摄像机位于散 射光路上的是暗视野方式( 散射光照明) ，如图2 5 所示： 薹援光照明 。c d o 数乱光照明 图2 5 直射光和散射光照明方式 经过前人实验总结出裂纹、划痕、刀纹等为暗域照明能够检测出的缺陷。 其图像表现为背景暗而缺陷仅仅可见。因为，如果钢板表面没有缺陷，那么光 源在钢板表面产生镜面反射，摄像头采集不到光源发射的光，图像的背景是黑 第2 章钢板表面缺陷检测系统 的。如果钢板表面有划痕缺陷，那么入射光在钢板表面产生漫反射，摄像头就 可采集到光线，在图像中缺陷区域是亮的。因此，本检测系统应该采用暗视野 照明方式。 2 3 3 软件系统设计 软件处理系统的核心任务是使用特定的算法从某- n 图像中识别出所需要 的信息。通常都有多种方法可以达到目的，然而采用不同的算法或步骤所获得 的效果和效率可能会有比较大的差别。本课题所采用的软件采用了模块化设计， 每个模块间相对独立，因此可以根据实际需要对图像处理步骤进行一定的调整。 检测划痕的基本流程如图2 6 所示： 匝 应 图2 6 钢板缺陷图像处理流程 图形处理的第一步是对图像进行去噪处理，主要完成对目标平滑的操作， 以便去掉噪声的干扰给后面的处理提供尽可能有效的图像数据： 第二步是图像增强，即通过某种算法突出图像的灰度对比度，因为，只有 提高图像缺陷和背景的对比度才能有效地将划痕缺陷提取出来，所以这是很关 键的一步； 第三步是边缘检测，即利用图像中缺陷灰度区域与背景灰度区域的明显不 同来提取边缘特征，因为有划痕的区域和没有划痕的区域最大的差别就是灰度 不一样，而由于各种边缘检测算子都有比较强的针对性，所以我们会对各种算 法都进行介绍并对比它们在我们的应用中的实际效果； 1 2 第2 章钢板表面缺陷检测系统 第四步是图像二值化，这一操作将缺陷和背景分离，虽然这一操作容易理 解，但使用不同的方法所获得的效果还是有很大差别的。 2 4 本章小结 本章首先介绍了缺陷检测系统的原理，在此基础上提出了钢板表面缺陷机 器视觉检测系统的原理性框图，并对各个关键模块进行概要性的阐述。最后， 依据钢板表面划痕缺陷的特点，提出了系统的硬件设计方案和软件设计方案， 下面几章会对图像处理系统进行详细的讨论。 1 3 第3 章图像滤波去噪 第3 章图像滤波去噪 3 1 引言 在钢板的实际生产现场，由于环境的影响，照明的光源，以及图像采集设 备灵敏度、分辨率等限制，导致采集到的板坯图像不仅含有干扰噪声而且对比 度较低，边缘非常模糊。使得在图像处理过程中，对我们的判断产生干扰，这 对后期的缺陷形状、灰度、纹理特征的检测分析是十分不利的，会直接影响到 缺陷识别的准确度。所以首先要清除这些噪声，避免将外界的影响误认为是产 品的缺陷，而对整个检测系统的性能造成影响。对噪声的滤波是一个良好的图 像处理系统必备的处理手段，也是需要首先作为主攻的第一级目标。 3 2 图像噪声分析 实际上，图像噪声其本质上就是灰度值的突变，在灰度连续变化的图像中， 如果出现了与相邻像素灰度值差别很大的点，则很有可能这个点就是噪声点 2 9 j 。 图像的噪声种类很多【3 0 1 ，对图像信号幅度和相位的影响复杂，有些噪声和图像 信号互不相关，有些是相关的。因此想要有效地减少图像中的噪声，必须针对 具体情况采用不同的方法，否则难以获得满意的处理效果。所以，有必要研究 下图像常含有的噪声模型。噪声在理论上可以定义为“不可预测，只能用概率 统计方法来认识的随机误差 。因此，完全可以借用随机过程的描述方法描述噪 声，即用其概率分布函数和概率密度分布函数来描述。 图像噪声主要来自采集过程和传输过程。在图像采集的时候，设备的电路 阻性器件发热和光电转换时会产生高斯噪声，而图像在传输过程中则主要由于 所用的传输信道受到干扰所产生椒盐噪声，其表现为黑图像上的白点，白图像 上的黑点噪声【3 1 1 。因此，在数字图像中常常采用这两种噪声给图像做加噪处理。 图像的噪声模型： ( 1 ) 高斯噪声：高斯噪声就是其概率密度函数服从高斯分布的一类噪声。高 斯噪声的一维概率密度函数为 脚) = 忑1e x p i _ 警i ( 3 1 ) 1 4 第3 章图像滤波去噪 其中x 为灰度值，均值为，方差为仃2 ，具有高斯函数形状的直方图分布。高 斯函数的曲线如图3 1 所示： 图3 1 高斯噪声概率密度函数 当x 服从上式( 3 1 ) 的分布时，其值7 0 落在 ( 一仃) ，( j l l + 仃) 范围内，且有9 5 落在i ( u - 2 0 ) ，( + 2 仃) i 范围内。设图像厂( x ，y ) 被高斯白噪声e ( x ，y ) 污染，则 含有噪声的图像为： f 。( x ，y ) = f ( x ，y ) + p ( x ，y ) = f ( x ，少) + p + 仃x ，x n ( o a ) ( 3 2 ) ( 2 ) 椒盐噪声：脉冲噪声值将类似于随机分布在图像上的胡椒和盐粉微粒， 因而也称为椒盐噪声。脉冲噪声的概率密度函数为 f z = 口 e ( x ) = z = b ( 3 3 ) 10其他 在一幅图像中，椒盐噪声是由于某些原因在图像中产生的一些灰度值很小 ( 接近黑色) 或灰度值很大( 接近白色) 的污染点，这些点往往与其周围像 素的灰度值相差很多。这样，我们通常假设其是饱和值。在数字化图像中，它 们等于所允许的最大值和最小值。由于这一结果，负脉冲以一个黑点出现在图 像中，正脉冲以白点出现在图像中。在一个8 位图像中，意味着a = 0 ，b = 2 5 51 3 2 。 图3 2 显示了脉冲噪声的概率密度函数， 1 5 第3 章图像滤波去噪 图3 2 脉冲噪声的概率密度函数 强度为d 的黑白像素点噪声。假设图像中灰度级最大级别为2 5 5 含有椒盐噪 声的图像表达式为： 厂( x ，y ) = 0 2 5 5 f ( x ，y ) m ，y ) 詈 詈厂( x ，y ) d ( 3 4 ) 其他 图3 3 ( a ) ( b ) ( c ) 显示了钢板划痕原图以及受高斯噪声和椒盐噪声污染的缺陷 图像及其直方图， 莸0 5 0 t o ot 5 0 翮。，溺 ( a ) 钢板划痕缺陷图及其直方图 1 6 第3 章图像滤波去噪 ( b ) 含有椒盐噪声的钢板划痕缺陷图及其直方图 规0 5 01 0 01 5 0 鞠。：期融 ( c ) 含有高斯噪声的钢板划痕缺陷图及其直方图 图3 3 钢板划痕缺陷图及其噪声图 从噪声图像的直方图我们可以看出，含有椒盐噪声的图像，其直方图较原 图总体变的平坦，但是在最低灰度级和最高灰度级上存在有大量的像素点，使 其总体上呈现出图3 2 所示的形状，而含有高斯噪声的图像，其直方图很明显地 呈现出图3 1 所示的高斯曲线形状。所以，用这两种噪声模型可以足够表示图像 中的绝大部分噪声。 图像平滑的作用是抑制图像的噪声，提高图像质量。图像中的噪声通常是 和信号混交在一起的，如果噪声抑制的不当，就会使线条等细节模糊不清，反 而导致图像质量下降。由于平滑总是要以一定的细节模糊为代价，因此噪声滤 除的原则是应尽量不损坏图像中边缘和细节【3 3 】。图像的噪声滤除技术有很多种， 主要是采用空间域滤波的方法，可分为线性滤波算法和非线性滤波算法，均值 滤波和中值滤波分别是线性滤波和非线性滤波的代表。 1 7 第3 章图像滤波去噪 3 3 滤波去噪算法 3 3 1 领域平均法 邻域平均法( 均值法) 是一种简单有效的图像平滑方法【3 4 1 。该方法的基 思想就是将图像取出一个子区域( 通常选为3 3 的矩阵) ，让被干扰的像素 于区域中央，求出其邻域各像素灰度的平均值，以该均值取代被干扰像素的 度值，从而提高该图像的质量。均值法计算量小，易于实现，效果也较好。 令被污染的像素灰度值为f ( i ，) ，以其为中心选取一个3 x 3 的窗口，窗 像素组成的点集以a 表示，点集内像素数以l 表示。经邻域平均法滤波后， 素f ( i ，) 对应的输出为 g ( x ，y ) = 了1 f ( i ，) ( 3 厶( ，j ) 即为窗口像素的平均值，用它代替f ( i ，j f ) 原来的灰度值。 设噪声e ( x ，y ) 是高斯噪声，均值为0 ，方差为了仃2 ，而且噪声与图像f ( x ， 互不相关。受噪声干扰后的图像为 g ( x ，y ) = f ( x ，y ) + p ( x ，y ) 则经均值法处理后的图像g ( x ，y )