（计算机应用技术专业论文）基于机器视觉的带钢表面缺陷识别研究.pdf

武汉科技大学 研究生学位论文创新性声明 本人郑重声明：所呈交的学位论文是本人在导师指导下，独立进行研 究所取得的成果。除了文中已经注明引用的内容或属合作研究共同完成的 工作外，本论文不包含任何其他个人或集体己经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者签名：染走秀2 日期：塑 堡：篁：丝 研究生学位论文版权使用授权声明 本论文的研究成果归武汉科技大学所有，其研究内容不得以其它单位 的名义发表。本人完全了解武汉科技大学有关保留、使用学位论文的规定， 同意学校保留并向有关部门( 按照武汉科技大学关于研究生学位论文收录 工作的规定执行) 送交论文的复印件和电子版本，允许论文被查阅和借阅， 同意学校将本论文的全部或部分内容编入学校认可的国家相关数据库进行 检索和对外服务。 论文作者签名： 指导教师签名：旦玉堡：益 日期：塑蚀：生! 至! f 一 武汉科技大学硕士毕业论文 第1 页 摘要 随着社会的快速发展，人们对于制造业生产线提出了更高的要求，既要提高生产效率 又要保证质量。带钢作为汽车制造、航空航天、日常生活用品的原材料，其质量要求越来 越严格。然而，国内钢铁公司的带钢生产线上，由于带钢表面缺陷带来的经济损失却居高 不下。主要原因是没有实时控制生产过程中出现的问题。 本文在传统用人工进行实时质量监督的前提下，提出了基于机器视觉来监控生产线的 方法。通过摄相机实时抓拍的图像，经过快速检测和预处理，找出图像中存在的缺陷区域。 利用机器学习的方法训练出分类模型，然后对缺陷区域进行分类。这样可以大大提高生产 效率并保证质量，同时也降低了劳动强度。 本文具体研究了带钢表面缺陷的识别，用到的机器学习方法有b p 神经网络和支持向量 机。在对目标图像进行特征提取前，根据不同缺陷的灰度均值设定两种阈值化情况进行二 值化。在特征提取时，结合目标图像和二值化图像提取了几何特征、形状特征和灰度特征 三类特征。在用b p 神经网络训练分类器时，用三层神经网络模型，通过多次实验确定隐 含层神经元数。在用s v m 训练分类器时，用高斯径向基函数作为核函数，通过交叉验证 确定参数c 和，采用“一对一 的方法进行多分类。 文中对定义的五种带钢表面缺陷分别用两种分类模型进行研究，主要用o p e n c v 开发 包完成相关实验。实验结果表明，s v m 模型分类准确率更高，b p 神经网络平均识别时间 则优于s v m ，但两种方法都能满足系统的实时性要求。 关键词：带钢表面缺陷；机器视觉；b p 神经网络；s v m ；o p e n c v 第1 i 页武汉科技大学硕士毕业论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fs o c i e t y , p e o p l eh a v eah i g h e rr e q u i r e m e n ti np r o d u c tl i n eo f m a n u f a c t u r i n g i ti sn e c e s s a r yt oi n c r e a s ep r o d u c t i v i t yb u ta l s og u a r a n t e eq u a l i t y d u et os t e e l s t r i p sa l et h eo r i g i n a lm a t e r i a l si na u t o m o b i l em a n u f a c t u r i n g , a v i a t i o n , d a i l yn e c e s s i t i e s ，i t s q u a l i t yr e q u r i m e n t sa l em o r ea n dm o r es t r i c t h o w e v e r , i nc i c i li r o na n ds t e e lc o m p a n y , t h e e c o n o m i cl o s s e sa r es t i l lh i g l li np r o d u c t i o nl i n eo fs t e e ls t r i p s t h em a i nr e a s o ni st h a tp r o b l e m s d u r i n gm a n u f a c t u r i n gb a n ds t e e l sa r en o tc o n t r o l l e di nr e a lt i m e i nt h i sp a p e r , w ep u tf o r w a r da na p p r o a c ht om o n i t o rt h ep r o d u c t i o nl i n eu s i n gm a c h i n e v i s i o n , r e p l a c i n gt h em e t h o dd e p e n d so nw o r k e r st os u p e r v i s eq u a l i t y t h r o u g ht h ec a m e r at o c a p t u r ea ni m a g e ，a f t e rr a p i dd e t e c t i o na n dp r e t r e a t m e n t ，u s i n gd e f e c td e t e c t i o nt e c h n o l o g i e st o i d e n t i f yd e f e c ta r e a si nt h ei m a g e u s i n gm a c h i n el e a r n i n gm e t h o d st ot r a i n ac l a s s i f i c a t i o n m o d e l ，a n dt h e nd i s t i n g u i s ht h ed e f e c ta r e a s t h i sm e t h o dc a ni m p r o v ep r o d u c t i v i t ya n de n s u r e 厂 武汉科技大学硕士毕业论文 第1 i i 页 目录 摘要i a b s t r a c t i i 目录i i i 第l 章绪论l 1 1 课题研究的背景及意义l 1 2 国内外研究现状及分析2 1 3 相关研究工作3 1 4 本文的主要工作”4 1 5 本文结构安排4 第2 章带钢表面缺陷检测识别系统及特征提取6 2 1 机器视觉系统6 2 2 带钢表面缺陷检测识别系统模型6 2 3 带钢表面缺陷图像特征提取8 2 3 1 几何特征9 2 3 2 形状特征9 2 3 3 灰度特征1 2 2 4 本章小结1 3 第3 章带钢表面缺陷识别模型”1 4 3 1 人工神经网络1 4 3 1 1b p 神经网络简介1 4 3 1 2 设计b p 神经网络时应考虑的问题1 7 3 1 3 用b p 神经网络识别带钢表面缺陷的主要步骤1 8 3 2 支持向量机“1 9 3 2 1 统计学习理论简介1 9 3 2 2s v m 分类原理2 0 3 2 3s v m 核函数一2 4 3 2 4s v m 多分类方法2 4 3 2 5 用s v m 识别带钢表面缺陷的主要步骤2 6 3 3 本章小结2 7 第4 章实验结果与分析2 8 4 1 目标图像的二值化“2 8 4 2 特征提取及归一化3 0 4 3 分类模型训练与预测3 l 第页武汉科技大学 硕士毕业论文 4 3 1b p 神经网络训练与预测结果3 2 4 3 2s v m 训练与预测结果”3 4 4 4 两种分类模型比较3 7 4 5 本章小结3 7 第5 章总结与展望”3 8 参考文献4 0 致 谢4 3 附录a 攻读学位期间发表的论文”4 4 附录b 实验中主要用到的o p e i l c v 函数及方法4 5 附录c 部分缺陷图像的特征向量4 6 武汉科技大学硕士毕业论文 第1 页 第1 章绪论 对于带钢表面缺陷检测和识别一直是一个比较热门的研究课题。本章先对这一课题的 背景及意义进行了详细的阐述，然后对带钢表面缺陷检测研究现状进行了介绍和分析，并 总结了带钢表面缺陷识别研究中用到的相关技术和不足之处，最后简要介绍了本文的研究 内容和具体安排。 1 1 课题研究的背景及意义 随着社会生产力的发展和人们生活水平的提高，人们对产品质量提出了更高的要求。 带钢作为汽车生产、机械制造、化工、航空航天、造船等工业不可缺少的原材料，其在国 民经济发展中的重要地位可见一斑。然而，国内一些大型钢铁公司因为带钢表面缺陷带来 的经济损失却居高不下。主要是因为，在带钢生产过程中，没有对其质量进行实时、有效 的控制。由于部分缺陷在出厂前未能有效地被检测出来，不仅影响了用户的使用，而且用 户索赔在给企业带来了巨大的经济损失的同时，也严重影响了产品的市场形象。影响带钢 表面质量的主要因素有原材料质量、轧制设备和加工工艺等。根据国内各大钢铁公司生产 的实际情况，其表面出现的缺陷主要有：“擦伤 、“结疤 、“划痕”、“粘结 、“辊 印”、“孔洞、“乳化液班 、“边印 、“锈斑 等类型。这些缺陷不仅会影响产品 的外观，而且降低了产品的抗腐蚀性、耐磨性等性能。因此，必须加强对带钢表面缺陷的 检测和控制，这对于剔除废品、减少原材料浪费、提高企业生产效率、改善工人劳动条件 等方面都具有重要意义。 而如何在生产过程中有效检测出钢带表面的缺陷，控制和提高带钢产品的质量，一直 是钢铁生产企业非常关注的问题。传统的带钢表面缺陷的检测一般采用人工目视抽验和频 闪光检测等方法，经过概率计算并结合质检员得到的相关数据形成钢带表面质量的综合评 估。这些方法具有以下一些弊端：抽检率低，只能用于检测运行速度很慢( 速度在1 5 n 1 s 以下) 的钢带生产线，这种方法不能真实的反应钢带上下表面的质量情况，远不能满足企 业高速的生产节奏；很难检测到比较小的缺陷，当出现表面缺陷( 直径小于l m m ) 时可能 就出现了大量漏检的情况；检测结果很容易受检测人员主观因素影响，缺乏一致的、科学 的指导性；检测环境恶劣、枯燥、对人身体危害较大。 显然以上的检测方法已不能适应企业和社会的发展需要。国内各家钢铁企业，都迫切 需要先进的带钢表面缺陷的检测技术和质量控制方法，以满足生产需求、增强企业竞争力。 而现在大多数钢铁生产企业实现带钢表面自动化缺陷检测大都是依靠购买外国的设备和 技术，这不仅要花费大量的资金购买，而且没有自主的知识产权，技术受制于人，维护费 用高昂。这些存在的问题都迫使我们要研发出符合企业发展需要的自动化缺陷检测设备和 软件。考虑到更为广泛的造纸、塑料、纺织等行业，将该技术推广应用到这些制造业，在 节省巨大的设备进口开支同时也降低了潜在的技术封锁的危险。同时这一课题的研究对图 第2 页武汉科技大学硕士毕业论文 像处理和模式识别等领域都有一定的指导意义。 本文就是在这样的背景下，提出了“基于机器视觉的带钢表面缺陷检测识别系统”这 一研究课题。以国内某大型钢铁公司的带钢生产线为研究条件，结合机器视觉、图像处理 和模式识别等技术对带钢表面缺陷识别进行研究。 1 2 国内外研究现状及分析 国外开展带钢表面自动检测系统的研究开始于上个世纪7 0 年代。1 9 7 1 年，英国钢铁公 司、伦敦c i t y 大学、s i r a 工学院联合开发出了一套以5 m w 的h e h e 激光器作扫描源、1 2 面反射棱镜和柱面镜作光学系统、使用光电倍增管接收的表面检测系统，成为带钢表面检 测技术发展的基础【l 】【2 1 。之后，新日铁、千叶及歌山等日本钢铁公司在冷轧镀层板和电工 钢板生产线上安装了“激光扫描表面缺陷检测系统 【引。1 9 8 5 年，荷兰h u g w n s e 钢铁公司 在马口铁生产线上采用了一套在线质量检测系统，其中使用了2 0 k h z 驱动频率的c c d 摄像 机来获取图像【6 】，将c c d 成像技术成功应用在钢铁表面质量监测上。1 9 8 8 年，德国s i c k 公 司在冷轧厂检测线安装五台表面缺陷检测设备，主要采用一个抛物面反射镜的远心光系统 进行缺陷检测【7 】。到上个世纪九十年代以后，钢带表面检测技术从早期的激光扫描发展到 c c d 成像技术【3 1 1 4 1 。1 9 9 5 年瑞典研发的表面缺陷检测系统将神经网络理论用于缺陷的识别 和分类中，这一研究将数学理论、知识工程、模式识别、神经网络等理论都运用在带钢表 面缺陷的检测中，具有很好的指导意义【5 1 。德 p a r s y t e c 公司采用c c d 相机分别针对冷轧钢 板开发的h t s 2 和热轧钢板开发的h t s 2 w 表面缺陷检测系统，在钢带生产速度为5 r r g s 的情 况下，能检测出尺寸为0 5 m m 的带钢表面缺陷，基本上能够满足工业生产的要求【1 4 】。 国内因带钢生产线的实际情况，研究经费和技术力量的所限，带钢表面缺陷检测的研 究开始较晚。1 9 9 5 年，华中理工大学( 现为华中科技大学) 研制出采用多台面阵c c d 成像 图像采集装置，通过基于计算机和d s p 系统构成的图像处理平台，实现了对冷轧带钢表面 “孔洞 、“重皮 、“边裂”等缺陷检测的实验系统【9 1 。同年，哈尔滨工业大学机器人 智能研究所开展了对带钢表面缺陷在静态场景下的检测和识别的研究。在此期间，上海宝 山钢铁( 集团) 公司与原航天部二院联合研制出冷轧带钢表面缺陷的在线检测系统，并进行 了大量的在线试验研究。1 9 9 8 年，鞍钢技术中心开发出冷轧带钢表面缺陷智能在线检测系 统，并投入到工业生产中【7 】。2 0 0 1 年，北京科技大学高效轧制国家工程研究中心与武钢集 团海南有限责任公司紧密结合，在实验室中成功的开发了冷轧带钢表面缺陷的在线监测系 统，系统对“乳化液斑痕、“锈痕 、“压入氧化铁皮 、“辊印、“折印”和“边 裂 等六种常见的冷轧带钢表面缺陷类型识别率达到9 0 以上【i o 】【1 5 】。2 0 0 6 年颜云辉等人利 用差影法进行缺陷检测，运用了一种序列提取法进行标准图像的选取，完成了带钢表面缺 陷的实时检测及分割定位系统【1 2 1 。同年北京科技大学徐金梧等人利用边界局部搜索算法实 现了冷轧带钢表面质量在线检测系纠乃】。2 0 0 7 年，重庆大学杨天怡等人利用c 籼y 边缘检 测算法，实现了基于机器视觉的带钢表面缺陷检测系统【l l l 。 从以上国内外研究现状可以发现，带钢表面缺陷检测系统的研究主要分为两个阶段【引。 武汉科技大学硕士毕业论文 第3 页 第一个阶段：主要采用激光描述和c c d 成像来对带钢表面缺陷进行检测。这一阶段主 要在上个世纪六十年代到八十年代。激光扫描检测的主要工作原理是：以激光作为光源， 用旋转反射镜反射激光束来对带钢表面扫描，通过将光信号转换成电信号，并分析电信号 以达到检测的目的。用c c d 成像检测技术的大致过程是：用高亮度光源照射带钢表面， 以c c d 相机对钢带成像，将c c d 相机输出的电信号作处理和分析，得到检测结果。这一 阶段的方法代替了人工目视检测方法，在一定程度上提高了检测率，并降低了工人们的劳 动强度。但是由于当时的检测器件不够完善、检测理论不够充分等因素，这两种方法逐渐 被社会淘汰。 第二个阶段：主要以机器视觉为理论背景，运用图像处理、机器学习、模式识别等相 关技术来对带钢表面质量进行实时检测。这一阶段的研究工作主要开始于上个世纪九十年 代。检测流程大致是：在钢带生产线上用高速相机抓取图像，然后对获取的图像进行快速 预处理和检测( 一般用专门的d s p 器件来实现) ，然后用相应的图像处理技术对可能含有缺 陷的图像进行缺陷定位，用训练好的分类模型对缺陷进行识别。这种方法理论依据充足， 而且，随着检测器件和计算机软硬件的高速发展，这种方法得到了广泛的研究。目前，对 带钢表面缺陷检测系统的研究工作主要是以此为背景来展开。 1 3 相关研究工作 针对带钢表面缺陷监测系统的研究，主要分为表面缺陷检测和缺陷识别两大块来进行。 对于缺陷识别，主要用到的技术有：缺陷图像特征提取、特征选择和分类器设计等。 对于缺陷图像的特征提取，主要用到的特征类型有：几何特征、灰度特征、形状特征、 纹理特征、投影特征等几大类。几何特征主要包括：区域面积、周长、矩形区域宽高之比 等一些简单的特征，这些特征计算简捷但表达的信息比较有限。对于灰度特征提取，主要 根据像素点灰度值、灰度直方图相关等统计特征来表示。形状特征的提取主要从边界和区 域两个方面来进行。需要先对缺陷区域进行二值化，然后对二值化图像进行相应的特征提 取。由于忽略了颜色和纹理等特性，所以这一特征也有一定的局限性。纹理特征主要根据 像素灰度值在空间分布情况来提取特征，主要用到的方法有灰度共生矩阵、小波变换等。 但纹理特征提取需要花费较多的计算时间，这也限制了纹理特征的应用。投影特征主要原 理是将图像信号映射成波形，将二维信号转化成一维信号，然后根据波形特征进行相应的 特征提取。这种特征一般从不同的方向进行映射，在投影过程中可能会引起信息的丢失。 以上所述的这些特征，各自存在优缺点，因此在进行特征提取时，为保证缺陷图像有比较 完整的信息描述，应结合多种特征来进行特征提取。 在特征提取后，一般需要从大量的特征中选择一些有效的特征来减少计算复杂度，这 一过程被称为特征选择。对于缺陷特征的选择，目前国内外研究的方法主要有以下三种： 基于信息熵的特征选择方法【1 5 】、基于遗传算法的特征选择方法【1 3 】、基于b p 神经网络的特征 选择方法【1 4 】。基于信息熵的特征选择方法是根据某个特征量对某种缺陷类型的信息熵值来 决定该特征量对该缺陷是否有效，这样得到的往往是局部最优解而不是全局最优解。基于 第4 页武汉科技大学硕士毕业论文 遗传算法的特征选择方法注重特征的整体综合效果，但是这种方法要确定适合表面缺陷特 征选择的各种参数。基于b p 神经网络的特征选择方法是利用输入层到输出层非线性映射这 一原理来进行特征选择，这种方法只有在与神经网络分类器相结合时，特征选择效果才比 较明显。 对于带钢表面缺陷识别过程中的分类器设计，国内的研究机构，比如北京科技大学 【1 3 1 5 【1 6 1 、重庆大学【1 4 】、东北大学【1 2 】【1 7 】【1 8 】、西安建筑科技大学【1 9 】等都有过相关的研究。主 要用到的分类模型有：b p 神经网络、l v q 神经网络、支持向量机。利用神经网络来进行 缺陷识别时，对于隐含层神经元个数确定尚没有一个成熟的理论知识来引导，训练过程容 易出现“过拟和 现象，而且无法对其决策过程得到透彻的理解。用s v m 来进行缺陷识 别时，能消除高维特征向量计算复杂这一维数灾难问题。但s v m 对于核函数及其相应参 数的确定主要通过先验知识进行获取。同时，由于s v m 最开始用于解决二分类问题，用 它来解决多分类问题，一般情况下需要构造多个子分类器。这样也就增加了分类模型训练 的时间和预测时间。理论上来说，用s v m 分类准确率要高于神经网络。 1 4 本文的主要工作 本文在前人研究的基础上，从机器视觉的角度出发，讲述了带钢表面缺陷检测识别系 统，并用o p e a c v 计算机视觉库对带钢表面缺陷识别进行了相关实验。 文中用机器学习方法中的b p 神经网络和支持向量机两种模型进行分类器设计，在特征 提取方面，主要用到了几何特征、形状特征和灰度特征三类特征。在特征提取前，根据不 同缺陷灰度均值进行两种不同的二值化。在特征提取时，根据特征类型的不同分别对特征 值进行归一化处理。文中对定义好的五类带钢表面缺陷，分别用两种分类模型进行了研究， 最后比较了两种分类方法的优缺点。 1 5 本文结构安排 本文共分为六章，各章内容大致如下： 第1 章简要介绍了基于机器视觉带钢表面缺陷检测系统的研究背景、意义和发 展情况，分析了国内外的研究现状和对缺陷识别研究的相关工作，并介 绍了本文的主要工作及结构安排。 第2 章从机器视觉的角度介绍了带钢表面缺陷检测识别系统的大致流程。并从 几何特征、形状特征、灰度特征三类特征，介绍了带钢表面缺陷的特征 提取。最后根据缺陷检测结果，对缺陷图像进行了相应的特征提取实验。 第3 章着重介绍了机器学习方法中的两种分类模型：b p 神经网络和s v m 的分 类原理、参数确定等理论知识，以及用其解决带钢表面缺陷识别的基本 步骤。 第4 章对带钢表面缺陷识别系统进行了相关实验。主要介绍了两种二值化情 武汉科技大学硕士毕业论文 第5 页 况，特征提取及归一化，b p 神经网络分类，s v m 分类，及两种模型中 的相关参数确定，最后对两种分类模型结果进行了对比。 第5 章总结了本文的研究工作和不足之处，并对将来的工作做出了展望。 第6 页武汉科技大学硕士毕业论文 第2 章带钢表面缺陷检测识别系统及特征提取 根据机器视觉相关原理，本文设计了一个基于机器视觉的带钢表面缺陷检测识别系统。 本章对系统中的各个模块进行了简单介绍，并根据三大类图像特征介绍了缺陷图像特征提 取。 2 1 机器视觉系统 机器视觉系统是指通过摄相机获取图像，然后将该图像传送至图像处理单元对其进行 数字化处理。根据颜色、形状、纹理等信息，来对目标图像进行尺寸、形状、颜色等相应 分析，根据分析的结果来指导和控制现场的相关设备。它为制造工业在提高产品质量、生 产效率和保证操作安全性上提供了许多技术。 对于在一些人工作业比较危险的工作环境或人工视觉难以满足要求的场合下，常用机 器视觉来替代人工视觉完成相关工作。同时在大批量工业生产过程中，用人工视觉检查产 品质量不仅效率低而且准确率不高，用机器视觉检测方法在提高企业生产效率和生产自动 化程度的同时，也大大降低工人们的劳动强度。目前，机器视觉系统已广泛地应用于自动 化控制、实时监控、产品检验和质量监测等领域。 一般一个典型的机器视觉系统主要由：光源、图像采集装置、图像处理单元、图像处 理相关软件、输a , 输出设备等硬件和软件组成【4 2 】。光源，为图像的采集提供条件，光线强 度、光照是否均匀等因素将直接影响获取到的图像质量和相应的处理。图像采集装置主要 由镜头、相机和图像采集卡等器件组成。镜头获取光学信号；相机主要将光信号转换成数 字信号并成像，按图像摄取方式可以分为c c d 和c m o s 两种，按扫描方式可以分为线阵 相机和面阵相机两种。图像采集卡主要将相机获取到的数字图像传送至图像处理单元或计 算机。图像处理单元主要对相机获取到的图像进行快速预处理和检测。图像处理相关软件 主要对目标图像用图像分割、边缘检测等技术进行目标定位，找出感兴趣区域，对该区域 进行特征提取与分析，并判断结果。输入输出设备主要用于显示判断结果、人机通讯等。 2 2 带钢表面缺陷检测识别系统模型 本文研究的实时带钢表面缺陷检测识别系统大致流程是：在高速带钢生产线上架设高 亮度光源和摄相机，通过摄相机抓取到一帧图像后，进行快速预处理并检测，对包含有缺 陷信息的目标图像进行检测，找出缺陷的具体位置并用矩形框描述出来，然后对矩形区域 进行特征提取，用训练好的分类模型识别出其属于哪一类缺陷，并对缺陷信息入库并实时 报警。系统主要由图像采集模块、缺陷检测模块、缺陷识别模块和人机通信模块组成。系 统流程图如图2 1 所示。 武汉科技大学硕士毕业论文第7 页 高速运动带钢 图 + 像 光源及摄相机 图2 1 基于机器视觉的带钢表面检测识别系统流程图 1 图像采集模块 系统中光源采用上海维朗公司( v - l i g h t ) 生产的高亮度l e d 线性光源。该光源采用高 功效的l e d 颗粒进行照明，具有高亮度、光照均匀等特点。摄相机采用e 2 v 公司的a v i i v a m 2c 锄e m l i l l l ( 黑白数字线阵c c d 相机，线扫描速率为2 8 l z 。该相机具有：高灵敏度、 高信噪比和工作环境适应范围广等优点。图像采集卡采用加拿大m a t r o x 公司生产的m a t r o x m e t e o r 系列中的标准型m a t r o xm e t e o ri is t a n d a r d 。此采集卡支持n t s c p a l 瓜s 1 7 0 c c 瓜 等制式，具有彩色黑白p c i 采集，7 路视频输入，4 m b 视频传输缓存等功能。通过该采集 卡上的v i a ( d e oi n t e r f a c e a s i c ) 可以使图像高速传输到系统主存或其他p c i 设备上，最高 传输速率可达到1 3 2 m s 。通过本图像采集模块，可以快速获取高质量的带钢表面图像。 2 缺陷检测模块 本模块主要由图像预处理、快速检测、缺陷分割及定位等模块组成。 由于在带钢实际生产过程，常常有粉尘、抖动等现象发生，所以在获取图像时容易出 现噪声和光照不均匀的情况。因此，需要对图像进行相应的去躁和增强等处理。对获取到 的图像快速检测，本系统采用高斯背景建模的方法来进行。即采用j 下常图像作为背景，然 后将获取到的图像与该背景图像进行对比，根据预先设定的阈值找出可能存在的缺陷图 像，并动态更新背景图像这一原理来实现。对于缺陷分割本系统主要采用c 猢y 边缘检测 算法来完成，然后将缺陷存在的区域在图像中标定出来。 3 缺陷识别模块 本模块主要由缺陷特征提取和缺陷识别两个步骤来进行。 对于缺陷特征提取，系统中主要用到了几何特征、形状特征和灰度特征三大类特征。 第8 页武汉科技大学硕士毕业论文 进行特征提取时，需要对缺陷目标图像进行二值化，结合目标图像和二值化图像来完成缺 陷特征提取工作。在缺陷识别过程中，首先要针对几类存在的缺陷训练好分类器，然后根 据缺陷特征向量进行识别。这也是本文的研究重点，文中采用机器学习方法中的b p 神经 网络和支持向量机两种分类模型来展开缺陷识别研究。 4 人机通讯模块 通过检测与识别模块对带钢表面缺陷进行检测和识别，将检测出的结果( 主要包括缺 陷类别、尺寸和位置等缺陷信息) 存入数据库中便于操作人员查阅与核对，并将缺陷信息 传入监视终端进行报警。 2 3 带钢表面缺陷图像特征提取 特征提取是模式识别中的一个关键问题，一组有效的特征向量是保障识别系统实时性 和准确性的重要前提。在实际分类问题中，样本数据特征向量的复杂性和有效性也是模式 识别系统中最为困难的任务之一【4 5 】。 在进行带钢表面缺陷识别的过程中，必须确定目标图像中哪些属性可以描述缺陷的特 性，这些被数值化的特殊属性就称之为缺陷的特征，所求得的数值组成了缺陷的特征向量。 一般表示目标图像的特征有很多，主要包括几何特征、形状特征、灰度特征、纹理特征等 几大类型。不同特征类型中，根据计算方法的不同又有许多不同类型的特征。如果用这几 类特征中的全部特征进行分类模型的训练和预测，不仅计算量大，而且分类效果不一定最 好。因此选择一些最有效的缺陷特征，才能从整体上提高分类器的性能，更好的识别各种 缺陷。 本文主要通过几何特征、形状特征和灰度特征三大特征类型，对目标缺陷图像进行特 征提取。在对目标图像进行特征提取时，一般需要对目标图像进行二值化，将r o i ( r e g i o no f i n t e r e s t ，目标图像中缺陷可能存在的区域) 设置为前景( 该区域内像素点狄度值设定为 2 5 5 ) ，将r o i 以外区域设置为背景( 该区域内像素点灰度值设定为o ) 。然后将二值化图像 和目标图像对照进行相关特征提取。本节通过缺陷检测模块的检测结果，结合具体的缺陷 图像，对三类图像特征进行了逐一介绍。 通过对国内某钢铁公司带钢生产线上采集到的一幅带有缺陷的图像进行缺陷检测，其 检测结果见图2 2 ： 图2 2 缺陷检测结果示意图 武汉科技大学硕士毕业论文第9 页 将检测出的缺陷从原图像中分割出来，并对目标图像进行二值化操作，实验中设定阈 值为9 0 ，结果见图2 3 ： 2 3 1 几何特征 ( a ) 目标图像 ， i l 一 ( b ) 二值化图像 图2 3 目标图像和二值化图像 几何特征是缺陷图像的基本特征。缺陷图像的几何特征可以通过r o i 面积、目标图像面 积、r o i 与目标图像面积之比、目标图像宽高之比等特征来表示。 ( 1 ) r o i 面积 r o i 面积用a r e a 来描述其大小，可以通过统计二值化图像的前景像素点个数来表示r o i 的面积： a rea=。善。=怯絮川y)=：2。5fxy r 5 ( 2 ) ( ，) el ”， ”、“，一” 式( 2 1 ) q b r 是目标图像组成的像素点集合，f ( x ，y ) 为目标图像，b ( x ，y ) 为二值化图像。 对图2 2 中的矩形区域面积通过计算目标图像像素值得到。这一类特征提取详细结果见表 2 3 2 形状特征 表2 1 几何特征提取结果 特征编号特征值特征描述 11 1 7 6 4r o i 面积 21 8 0 5 5 目标图像面积 30 6 5 1 5 6 5r o i 与目标图像面积之比 41 3 6 5 2 2 目标图像宽高之比 物体的形状是图像表达的一个重要特征，形状特征的描述必须以图像中不同于背景区 域的划分区域来进行计算。通常来说，物体的形状特征有两种表示方法，种是基于边界 的特征表示法，种是基于区域的特征表示法。前者主要关一t l , 物体的外边界形状，而后者 第1 0 页武汉科技大学硕士毕业论文 主要关心物体的整个区域的形状。比较典型的方法有：傅立叶形状描述符和形状无关矩。 ( 1 ) 形状无关矩 形状无关矩( m o m e i l ti n v 蜘t s ) 是一种基于区域的物体形状表示方法。用此方法对目标 区域提取出的特征具有对平移、旋转、尺度变换等不变性。 对于一幅数字图像，= ( 五y ) ，f ( x ，y ) 表示像素点( 工，y ) 的灰度值，则，的p + q 阶矩 定义为： m p ，= x p y g f ( x ，y ) ( 2 2 ) 工 y 可以证明，m ，。和，是相互唯一的。，的p + g 阶中心矩定义为： p 叮= ( x i ) ，( y - 歹) gf ( x ，y ) ( 2 3 ) ，g 式( 2 3 ) 中，了= 盟，歹= 堕，即为，的重心坐标。i 的归一化中心矩可以表示为： ，l0 0m 0 0 = 等，其中厂= 半+ 1 p + g - 2 ，3 ， ( 2 4 ) 厂0 0 h u 3 6 】七阶不变矩是由归一化的二阶和三阶中心矩经过几何运算得到的： m l = 7 7 0 2 + 7 7 2 0 m 2 = ( 7 7 0 2 一刁2 0 ) 2 + 4 7 7 m 3 = ( 刁3 0 一3 7 7 1 2 ) 2 + ( 3 玎2 l 一7 7 0 3 ) 2 m 4 = ( 叩3 0 + 7 7 1 2 ) 2 + ( 7 7 2 l + 7 7 0 3 ) 2 m 5 = ( 7 7 3 0 一3 刁1 2 ) ( 刁3 0 + 刁1 2 ) ( 7 7 3 0 + 7 7 1 2 ) 2 3 ( 0 2 l + 7 7 0 3 ) 2 】+ ( 3 7 7 2 i 一刁。3 ) ( 7 7 2 。+ 7 。3 ) 【3 ( 叩3 。+ 7 7 1 2 ) 2 一( 7 7 2 。+ 7 7 。，) 2 】 ( 2 5 ) m 6 = ( 7 7 2 0 一刁0 2 ) ( 7 7 3 0 + 刁1 22 一( 7 7 2 l + 7 7 0 3 ) 2 】+ 4 刀l l ( 7 7 3 0 + 刁1 2 ) ( 7 7 2 l + 叩0 3 ) m 7 = ( 3 印2 l 一刁0 3 ) ( 7 7 3 0 + 7 7 1 2 ) ( 7 7 3 0 + 7 7 1 2 ) 2 3 ( 0 2 l + 7 7 0 3 ) 2 】+ ( 3 7 7 1 2 7 7 3 0 ) ( 刁2 l + 0 0 3 ) 3 ( 7 7 3 0 + 7 7 1 2 ) 2 一( 7 7 2 i + 7 7 0 3 ) 2 】 文中对二值化图像提取形状无关矩，得对一组7 维的特征向量。针对图2 3m ) 中的图像 提取h u 形状无关矩，结果见表2 2 ： 武汉科技大学硕士毕业论文第1 1 页 表2 2h u 不变矩特征提取结果 特征编号特征值特征描述 57 1 3 1 3 1 e _ 4h u 一阶不变矩 65 5 5 0 2 4 e 8h u 二阶不变矩 74 9 6 0 2 7 e , 1 1h u 三阶不变矩 81 0 2 8 7 4 e 13h u 四阶不变矩 92 313 5 8 e 2 5h u 五阶不变矩 1 01 8 3 1 2 3 e - 1 7h u 六阶不变矩 1 12 1 8 4 3 9 e - 2 6h u 七阶不变矩 ( 2 ) 傅立叶形状描述符 傅立叶形状描述符【饿l ( f o u r i e rs h a p ed e s 嘶p t o r s ) 是基于边界的物体形状表示方法。其基 本思想是利用物体边界的傅立叶变换系数作为形状描述子。假设封闭边界由n 个数据点组 成，则： s ( k ) = z ( 七) + 抄( 七) ，= = 了，k = o ，l ，一1( 2 6 ) 其中，s ( k ) 为从任一点开始绕边界一周的复数序列。对序列s ( 尼) 的离散傅立叶变换 为： s ( w ) = 寺s ( k ) e 2 椰“，k = o ，l ，一1 w = o ，1 ，一l ( 2 7 ) jyk ；0 根据傅立叶变换的性质，高频分量表示物体细节，低频分量表示总体形状。因此，在 对图像进行傅立叶变换后，可以用前面m ( m - - j 系数，万，为实际输出值与期 望输出值的误差值。 在实际计算时，为了加快收敛速度，往往在权值修正量中加上前一次的权值修正量， 即动量因子。该方法是在反向传播法的基础上在每一个权值的变化上加上一项正比于前次 权值变化的值，并根据反向传播来产生的新的权值变化： z x w u c k + 1 ) = ( 1 一m c ) r l a j o ，+ m c a w l i ( k ) ( 3 1 0 ) 式( 3 1 0 ) 中，m c 为动量因子，一般取0 9 5 左右。 3 1 2 设计b p 神经网络时应考虑的问题 在用b p 神经网络进行训练时，一般需要注意的问题有：隐含层神经元个数、初始权值 及学习速率选取、训练样本的选择等几个方面。 ( 1 ) 隐含层神经层元个数确定 对于三层神经网络来说，一般输入层神经元个数为输入的向量维数，输出层神经层元 个数为需要分类的类数。但对于隐含层神经元个数的确定现阶段没有确切的理论依据，个 数过少，网络不能很好的学习，且需要训练的次数也多；个数过多会延长网络的收敛时间， 且也不一定能达到训练的精度。一般情况下可以用以下公式计算得到： m = ( + m ) + 口 ( 3 11 ) 式( 3 1 1 ) 中，n 。表示隐含层神经元个数，n 为输入层神经元个数，m 为输出层神经元 个数，a 为1 10 的一个常整数。一般在具体应用中，需要根据多次的实验来确定隐含层 神经元个数。 ( 2 ) 初始权值及学习速率的选取 一般初始权值的选取为【一l ，1 】之间的随机整数。 学习速率决定每一次迭代训练中所产生的权值变化量。大的学习速率可能导致训练过 第1 8 页武汉科技大学硕士毕业论文 程中的不稳定，即容易出现训练抖动现象；但小的学习速率导致较长的训练时间，而且容 易出现不收敛现象，但能保证网络的网络值不跳出误差表面的低谷而最终趋于误差最小 值。所以一般情况下更倾向于选择较小的学习系数，一般选取范围为：o 0 1 o 8 。 ( 3 ) 训练样本的选择 用神经网络进行分类器设计时，需要大量的数据来进行训练才能保证分类模型的准确 性。训练样本必须对整个样本的总体分布具有代表性，使得网络能对针对每一类样本进行 训练。而且训练样本的输入顺序应该是随机的，如果按样本的类别顺序地输入各类样本， 可能会引起网络训练难收敛、降低识别的准确率等问题。 用b p 神经网络进行分类，生成的模型不易理解，像一个“黑盒子 ，外面对里面的规 则没有什么规律可循。而且在训练时容易陷入误差局部最小化，即有些输入向量经过训练 后，产生的误差比期望误差小很大，有些输入向量经过训练后，产生的误差比期望误差大 很多，但整个网络的平均误差还是达到了期望的误差精度，这样将直接影响其预测能力。 3 1 3 用b p 神经网络识别带钢表面缺陷的主要步骤 在使用b p 神经网络识别带钢表面缺陷时，我们首先要对缺陷特征向量进行归一化， 然后选择合适的激活函数，确定各层神经元个数，学习系数，误差精度，最大迭代次数等 参数，然后结合缺陷图像训练样本对网络进行训练。最后用训练好的b p 网络模型来进行 未知样本的分类。具体步骤如下： ( 1 ) 对数据进行归一化操作。 在用b p 神经网络训练分类器之前，一般要对输入的数据进行归一化值操作，主要是 为了避免向量中极大值对极小值的影响。同时归一化后的数据也可以降低计算的复杂性。 文中将缺陷特征向量值全部归一化在卜1 ，+ 1 】范围内。 ( 2 ) 网络结构的选择。 理论上说，带有一层隐含层的三层前向神经网络可以实现任意的非线性映射。对于b p 神经网络的输入层神经元个数，文中与缺陷特征向量维数相同；对于输出层神经元个数， 文中与缺陷类别数相同：对于隐含层神经元个数的确定，由于没有一定的先验知识，则需 通过多次实验，将隐含层神经元数设定不同的值，根据训练好的网络模型对缺陷图像测试 样本集的预测能力来确定最优值。 ( 3 ) 激活函数和相关参数的确定。 对于b p 神经网络，常用的激活函数有：阀值型函数、线性型函数、s 型函数、辐射基 函数等。由于神经网络的学习规则主要是根据梯度下降法来找到误差收敛方向，需要学习 函数的可导处，因此文中选用s 型函数中的双曲正切函数作为激活函数【4 8 】。同时需要设定 的参数主要有：学习系数、最大迭代次数、期望误差等。 ( 4 ) 设定期望输出。 根据b p 神经网络的特点，需要在训练前设定期望输出。文中针对每一类缺陷的不同i ) i i 武汉科技大学硕士毕业论文第1 9 页 练样本，设定同一个输出向量，根据缺陷类别不同，将某一类缺陷的期望输出值与其它类 缺陷最大化分开。 ( 5 ) 训练分类模型，预测并推广。 用确定好的激活函数和相关参数来训练网络模型。对缺陷图像测试样本集进行预测时， 将提取出的缺陷特征向量按( 1 ) 中的规则归一化，用归一化后的向量对训练好的b p 神经网 络进行一次前向计算，找出与( 4 ) 中设定的期望输出最接近的类别作为最后的分类结果。统 计模型分类准确率，最后将分类模型用于缺陷识别模块中。 3 2 支持向量机 3 2 1 统计学习理论简介 传统的统计模式识别方法只有在训练样本趋向无穷大时，其识别性能才有理论上的保 证。而在实际应用中，我们已知的样本数量是有限的，如何克服传统模式识别方法对大量 训练样本的要求成为一个有待研究的问题。统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y , s l t ) 正是针对有限样本情况下的提出的一种机器学习方法理论【2 7 1 。传统的统计模式识别方法