（计算机应用技术专业论文）基于多视角信息融合的在线视觉棒材计数分钢系统研究.pdf

摘要 中南大学为涟源钢铁集团研发的“棒材自动计数和分离系统”已 研发成功并已在现场使用，然而系统无法处理以下特殊问题：1 ) 链 床上捧材缩进、倾斜摆放造成目标互遮挡的问题；2 ) 端头暗棒利无 法识别的问题；3 ) 棒材在分离处出现较多堆叠时因检测速度慢造成 的分钢超时问题。 针对上述三个问题，本文提出了多视角识别信息融合的方案和基 于投影积分的分钢状态快速检测算法。多视角识别信息融合方案从顶 部视角和前端视角分别识别棒材，利用融合识别结果，消除互遮挡和 目标特征不明显对识别的影响。 在棒材识别方面，重点研究了从顶部视角对棒材的识别。首先提 取端头水平边缘，其次采用平滑度和平滑方向可调的序贯快速滤波算 法滤掉垂直边缘噪声和其他噪声。最后采用桶聚类算法将端头边缘信 息聚集为一点，成为识别出的棒材中心点。 在识别结果的信息融合方面，推导出了两视角图像对位的线性关 系，制定了信息融合法则，根据法则建立了空间上信息融合的数学模 型，并通过实验验证了融合模型的有效性和可行性。最后对融合结果 在时间上进行信息融合，用改进后的彤级计数方法对融合结果进行容 错处理，解决了误识别和漏识别问题。 在快速分钢方面，提出了基于投影积分法的快速分钢状态检测方 法，详细介绍了该方法的原理和步骤，并讨论了该方法的使用条件及 满足这些条件的对策。之后设计并实现了端头分钢系统仿真平台，给 出了本章的算法在仿真系统和实际应用系统的试验结果。 实验表明，本文所设计的系统结构和算法是有效的、可行的，为 新系统的推广奠定了良好基础。 关键词多视角视觉，信息融合，棒材识别，积分判定，棒材分离 a bs t r a c t t h es t e e lb a r sa u t o m a t i cc o u n t i n ga n ds p l i t t i n gs y s t e mm a d eb y c e n t r a ls o u t hu n i v e r s i t yf o rl i a n g y u a ns t e e lg r o u ph a sb e e nu s e di n p r o d u c t i o nl i n es u c c e s s f u l l y h o w e v e rt h es y s t e mc a nn o tc o p ew i t hs o m e s p e c i a lp r o b l e m s a s f o l l o w s ：1 ) t a r g e t - o c c l u s i o np r o b l e mc a u s e db y s l a n t i n ga n ds h r i n k i n gl y i n go fs t e e lb a r s ；2 ) t a r g e t u n r e c o g n i z e dp r o b l e m f o rd a r kb a r s ；3 ) s t a t u sd e t e c t i n gp r o b l e mw h e ns p l i t t i n ga ts t e e lb a r s s t a c k i n gp o s i t i o n t os o l v et h ea b o v ep r o b l e m s ，t h i sp a p e rp r o p o s e dm u l t i - c a m e r a s o l u t i o na n dp r o j e c t i o n i n t e g r a la l g o r i t h mt od e t e c ts p l i t t i n gs t a t u sq u i c k l y i nt h i ss o l u t i o ns t e e lb a r sa r ec a p t u r e da n d r e c o g n i z e df r o mt o pa n df r o n t a n g l e s ，t h e nt h er e c o g n i z e dr e s u l t sa r ef u s e dt os o l v eo c c l u s i o na n dd a r k b a r sp r o b l e m c o n c e r n i n gs t e e lb a r sr e c o g n i z i n g ，t h i sp a p e rf o c u s e do ns t u d y i n g h o wt or e c o g n i z eb a r sf r o mt o pv i e w t h ee d g e so fb a r se n ds e c ta r e f i r s t l yd e t e c t e d ，a n dt h e naq u i c kf i l t e ra l g o r i t h m ，i nw h i c ht h ef i l t e r o r i e n t a t i o nc a nb ea d ju s t e d ，i sa d o p t e dt of i l t e rn o i s e f i n a l l ye d g e sa r e c l u s t e r e dt op o i n t sa sb a r sc e n t e ru s i n gab u c k e tc l u s t e r i n ga l g o r i t h m a sr e g a r dt or e c o g n i z i n gr e s u l t sf u s i o n ，t h i sp a p e rd e d u c e dm a p p i n g r e l a t i o nb e t w e e n p i c t u r e so ft w ov i e w s ，s e td o w nf u s i o nr u l e s ，a n ds e tu p af u s i o nm a t hm o d e la c c o r d i n gt ot h a tr u l e s e x p e r i m e n t sv a l i d a t e dt h e v a l i d i t ya n df e a s i b i l i t yo ft h a tf u s i o nm o d e l f i n a l l yt h i sp a p e ri m p r o v e d t h ek - t i m ec o u n t i n ga l g o r i t h mt or e c t i f yf u s i o nr e s u l t ，a i m e da ts o l v i n g m i s r e c o g n i t i o n s a st ot h eb a r ss p l i t t i n gp r o b l e m ，t h i sp a p e rp a r t i c u l a r l yp r e s e n t e dt h e t h e o r ya n ds t e p so fp r o je c t i o n - i n t e g r a la l g o r i t h mt od e t e c ts p l i t t i n gs t a t u s q u i c k l y , d i s c u s s e dt h el i m i t a t i o no ft h i sa l g o r i t h ma n dh o wt oc o p yw i t h t h e l i m i t a t i o n f i n a l l ye x p e r i m e n t sf r o ms i m u l a t i n gs y s t e ma n dr e a l s y s t e ma r ep r e s e n t e da n ds h o wt h a tt h ea l g o r i t h mw o r k sw e l le v e ni n c o m p l e xs i t u a t i o n e x p e r i m e n t ss h o wt h a tt h es t r u c t u r ea n da l g o r i t h m sd e s i g n e di nt h i s p a p e ra r ef e a s i b l ea n du s e f u l ，w h i c hm a k eg o o dc o n t r i b u t i o nt ot h e s y s t e me x t e n d i n g 1 1 k e yw o r d s m u l t i c a m e r a ，i n f o r m a t i o nf u s i o n ，s t e e lb a r sr e c o g n i z i n g ， i n t e g r a ld e t e r m i n a n t ，s t e e lb a r ss p l i c i n g 1 1 1 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得中南大学或其他单位的学 位或证书而使用过的材料。与我共同工作的同志对本研究所作的贡献均已在论文 中作了明确的说明。 作者签 隅嘲心疑7 日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保留学位 论文，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容， 可以采用复印、缩印或其它手段保存学位论文；学校可根据国家或湖南省有关部 门规定送交学位论文。 作者签导师签名：日期：邋年月9 日 i ， 硕十学位论文第一章绪论 1 1 研究背景 第一章绪论 棒材( 俗称钢筋) 出厂前要按规定的根数打捆，这就需要在生产过程对棒材 计数。涟源钢铁集团公司棒材二厂( 注：后文简称“棒材二厂 ) 的连轧生产线技 术先进，设各自动化程度高，然而先进的自动化设备并没有为厂家带来预期的生 产效率和经济效益，这主要是由整个生产过程中的人工计数环节所造成。一方面， 人工计数速度慢，严重影响了整个生产线的生产速度，成为整个生产流水线的巨 大瓶颈，造成了极大的资源浪费。另一方面，由于人工计数的错误率高，使得厂 家只能按照重量计量，不能从国际上流行的负公差轧制方式获得应有的经济效 益，厂家在声誉上和经济上都蒙受了一定的损失。 基于上述情况，棒材二厂委托中南大学研制一套高效准确的棒材自动计数系 统。经双方反复研究讨论，最终提出了运用工业视觉技术对棒材进行自动计数及 基于视觉反馈控制的前后捆棒材分离( 注：以下简称“计数分钢”) 的新方案。 该方案用一台工业摄像机实时捕获链床上棒材端面图像，用图像处理技术识别并 跟踪棒材目标，实现对生产线上的棒材进行计数，当计数满一捆后，通过液压驱 动控制分钢楔将前后捆棒材的端头分开，再通过控制链床一链、二链的运动使前 后捆棒材完全分开，实现计数和分离的自动化。项目经反复调研论证后立项，于 2 0 0 2 年8 月启动。项目分两期工程，第一期为自动在线视觉棒材计数系统，2 0 0 4 年1 2 月成功研制并投入生产现场实际使用，实现了对生产线上的棒材进行了自 动计数，解决了棒材二厂的实际需求。第二期为基于视觉反馈控制的棒材分离系 统，要将计数满后的前后两捆棒材分离，系统于2 0 0 6 年7 月研制成功并投入生 产现场实际使用。在线视觉棒材计数和分离系统的成功研制和使用，解决了棒材 二厂连轧生产线上的瓶颈，实现了轧钢生产线的全线自动化，大幅提高了生产效 率和经济效益。 系统虽已实现棒材计数和分离的自动化，但以下三种特殊情况无法处理，需 人工干预。 1 棒材在链床上缩进、倾斜摆放的情况，这些情况造成从棒材端头前面用 摄像头识别棒材时有些棒材目标被遮挡而无法识别的问题，如图1 1 所示，左边 第二根被第三根遮挡，在前端视角无法识别出这根棒材。这个目标遮挡问题仅用 端头前面的单目视觉难以解决，需工人将未进入计数窗口的缩进、倾斜摆放的棒 瑚j 学位论女 第一章绪论 材摆正摆直米解决此问题。 2 棒材端头发黑发暗的情况。当生产节奏过快时，有些棒材出炉后冷却时 f r j 不够，高温剪切使得棒材端面因氧化而发黑，成为所谓的“暗棒材”，与正常 低温剪切出的端头晶亮的棒材在亮度特征上很不一致，用现有的棒材识别算法难 以识别。如图1 - 1 所示，右边第二根棒材是暗棒材，在前端视角没能将其识别出 来。当出现暗棒材时，需工人在控制面板按“加1 ”按钮柬调整系统计数值，解 决暗捧材未能识别计数的问题。 a ) 透视幽b j 前端视角拍摄囤c j 前端视角识别结果 图1 _ 1 相互遮挡及暗棒材示意图 3棒材分离时堆叠严重的情况。棒材堆叠情况下分钢楔上捅时顶层捧材容 易蹿动，从而造成分钢出错。系统虽能检测出分钢出错的情况并控制分钢楔重新 分钢，但系统对分钢正误判断的耗时过多，容易造成分钢超时，导致分钢失败。 分销超时后需要工人辅助将前后捆棒材分开。 上述三种情况是包括山东济南钢铁厂( 注：后文简称“济钢”) 在内的轧钢厂 普遍存在的情况。系统在棒材i 厂的成功研制引起了济钢的极大兴趣，经济铜内 部讨论研究，决定引进在线视觉棒材计数和分离系统，且要求计数分钢时都无人 监守。为提高系统的适用性和可靠性，满足厂方需求，需要研究上述三种情况， 提出切实可行的解决方法，以解决复杂工况下棒材准确计数和快速分离的问题。 1 2 研究现状及意义 1 21 棒材计数分钢系统研究现状 由于国外棒材生产j 家多聚用单支剪切工艺经过流水线的棒材呈单行排 列没有堆叠现象，采用机械式计数系统完全可以满足需求。因此，目前国外还 没有基于视觉技术的在线棒材计数系统的研究。与国外棒材生产状况不同，国内 的棒材生产厂家多采用成批剪切工艺，经过流水线的棒材堆叠严重，小直径棒材 硕十学位论文 第一章绪论 有时可堆至5 、6 层，人工计数劳动量大，计数误差严重，而机械式计数系统在 国内生产线上根本不能使用。在这种情况下，出现了在线棒材自动计数系统的研 究，主要的技术路线都是采用视觉图像处理的方案。文献【1 ，2 】提出一种透光的 方案，利用摄像头获得棒材经过背光设备时明暗不同的图像，通过测算暗条纹的 数量来达到计数的目的。这种方案仅对单层棒材有效，对于多层堆积的棒材仍然 无能为力。中南大学信息科学与工程学院针对涟钢棒材二厂的实际需求开发了一 套在线视觉棒材点支计数系统1 3 1 ，通过摄像头实时采集运动棒材图像，逐帧识别、 跟踪棒材端面图像实现棒材计数。实践证明，系统的总体技术路线和结构设计合 理，在棒材摆放整齐和其他工况条件良好的情况下，系统的核心算法能够实现对 棒材正确计数，但对因棒材倾斜、缩进摆放造成的遮挡和暗棒材问题，核心算法 难以处理。 目标遮挡问题是目标识别跟踪过程中常碰到的问题，近年来对这方面的研究 取得了一定进展。一类方法是利用动态分层表示方法【4 击l 来判断和跟踪遮挡目标， 并从理论上建立了较完全的解决方案，但这类方法基于全局概率估计，检测精度 有待提高，且计算量大。另一类方法是根据运动物体的特征，建立遮挡判决函数 来检测遮挡，如基于交迭系数判断法【_ 7 1 和基于目标区域的估计面积与观测面积之 差的判断方法l s ，9 】。和动态目标分层方法比较，这类方法的计算效率有一定提高， 但已有的这类方法对目标区域的面积变化较为敏感，误判率较高。也有学者提出 基于仿射不变量的方法解决运动目标遮挡问题【i o l ，该方法有较高的鲁棒性，响 应速度也较快，但要求目标被遮挡的帧数很少。本项目中棒材因倾斜和缩进排放 造成的目标遮挡情况存在序列图像的大部分帧中，且要求有很高的处理速度，已 有的仅用单目视角解决遮挡问题的方法都难以解决快速遮挡棒材的识别问题。本 文将从多视角视觉角度来解决目标遮挡问题。 在图像识别方面，h o u g h 变换1 1 1 】是较常用的几何图形识别方法，它通过坐标 空间的变换，将识别问题转化为空间坐标系中点的聚类问题。其优点是对于边缘 不连续的图像能够有效检测，抗噪能力强。然而由于其运算时间复杂度太高无法 应用于在线棒材计数系统一类的实时系统。文献 1 2 提出一种模板覆盖的棒材计 数方法，其优点是避免了对粘连图像进行分割，简化了图像预处理过程。其缺点 是虽然避免了去粘连，对噪声有较强的抑制能力，但仍然非常依赖二值化图像的 质量。就其测试结果来看，9 7 的计数准确率也无法满足本课题的计数精度。文 献 1 3 提出了一种基于融合技术的图像识别方案，用阈值化和基于边界的方法对 图像进行初始分割，对分割后的图像进行融合去粘连，利用文献 1 2 提出的模板 覆盖法实现对棒材计数。此方案仍然基于一种去除粘连的思想，虽然采用数据融 合技术分割图像能够较好地去除粘连，但图像预处理的时间代价却大大增加，对 3 硕：学位论文 第一章绪论 于实时性要求很高的在线棒材计数系统来说相当不利。另外，文献 1 2 ，1 3 所采 用的模板覆盖法只是简单的基于连通域，没有很好的利用图像的其他特征对目标 进行识别，模板对棒材大小也比较敏感，因此无法应用于本课题。文献 1 4 提出 了图像距离概念，试图通过计算并比较棒材图像区域各像素点的图像距离来确定 各根棒材的中心。这种方法对图像预处理要求相当高，棒材区域的粘连和图像分 割后的孔洞区域都对识别结果有严重影响，因此不适用于计数精度要求相当高的 在线计数系统。文献 1 5 提出了一种不规则类圆形团块目标图像识别新算法，采 用8 方向检测算子提取棒材边缘，根据边缘方向对棒材进行中心增强，然后利用 合适的聚类判别算法检测得到棒材中心。此方法有效克服了图像粘连和孔洞对棒 材识别计数的影响，根据图像边缘特征和方向性能够非常有效的识别棒材。但该 方法要求棒材目标边缘特征要明显，而暗棒材端头亮度暗，跟背景区别小，棒材 边缘信息微弱，文献 15 的算法对于暗棒材依然无法识别处理。 在物体计数方面，文献 1 2 1 5 研究了成捆棒材的计数问题，然而都是针对 静态图像的研究，并没有对运动物体的计数进行探讨。文献 1 6 ，1 7 同样仅对静 态目标的计数进行了研究。文献 1 8 提出了一种利用实时视频图像识别技术， 对无规则行进队伍的人员进行检测与统计的系统模型和算法设计。基于颜色模型 转换、减影、膨胀、腐蚀、聚类、匹配、跟踪等技术，实现了对特定检测区域内 运动对象的识别、检测和计数。着重讨论了系统的设计原理和实现方法，以及对 象运动的物理模型和多目标识别跟踪算法。然而，一方面，系统仅对人数进行统 计，对计数精度要求不高，识别跟踪等算法的设计精度要求也不高。另一方面， 该应用中的计数目标移动速度慢，目标特征丰富，识别和跟踪的难度相对较低。 因此文献中提出的算法不能直接应用于高速运动、特征简单、位置紧靠、数量繁 多的在线棒材的计数。文献 1 9 针对在线棒材的运动特点提出一种级容错跟踪 计数算法，能够非常快速有效的对良好工况条件下的在线棒材进行计数，其计数 准确达到9 9 9 9 。然而，由于计数分钢过程的特殊性，导致容错机制不同，要 用新的计数容错算法。 在分钢系统研究方面，除涟钢棒材二厂外国内外没有任何正在使用的成熟系 统。基于视觉反馈控制的研究主要集中于机器人。最早基于视觉的机器人系统， 采用的是静态l o o ka n dm o v e 形式【2 1 ，2 2 1 ，即先由视觉系统采集图像并进行相应处 理，然后通过计算估计目标的位置来控制机器人运动。这种操作精度直接与视觉 传感器、机械手及控制器的性能有关，这使得机器人很难跟踪运动物体。8 0 年代 以后，计算机及图像处理硬件得到飞速发展，使得视觉信息可用于连续反馈，出 现了基于视觉的伺服( v i s u a ls e r v o i n g ) 控制形式1 2 引。这种方式可以克服模型 ( 包括机器人、视觉系统、环境) 中存在的不确定性，提高视觉定位或跟踪的精 4 硕士学位论文第一章绪论 度。涟钢棒材二厂计数分钢系统采用基于视觉反馈的控制将前后两捆棒材分开 2 3 j ，用改进后的模板更新算法跟踪分钢过程中的每根棒材，从而检测出当前的 分钢状态，当分钢出错时控制分钢楔重新分钢。改进后的模板更新算法在棒材不 堆叠、棒材蹿动小的情况下能准确跟踪棒材，但当棒材堆叠严重、棒材蹿动位置 大时，算法在跟踪准确度和速度上满足不了实际应用要求。因此，有必要研究更 好的分钢过程中状态检测算法。 1 2 2 棒材计数分钢系统研究意义 综上所述，目前并没有非常成熟的技术能够完全解决轧钢厂在线棒材的计数 问题，基于视觉反馈控制的自动分钢系统的研究也是刚起步。因此，研究复杂工 况条件下的在线棒材自动计数与分钢具有非常巨大的技术研究价值和实际应用 价值。在技术研究方面，本课题虽是针对棒材计数而提出的，但其原理和方法却 能适应其他场合，对因存在遮挡和光照条件限制而造成的多目标识别和计数问题 有一定的普适性，有广阔的应用价值。视觉反馈控制中最大的瓶颈是反馈的实时 性问题，基于视觉反馈的分钢控制中对分钢状态的快速检测的研究对解决该问题 有一定的参考价值。在实际应用方面，国内钢铁厂普遍采用的是人工计数方式， 本课题研究能大幅提高棒材计数和分离系统的对复杂环境的适应性和可靠性，研 究成功后能加快系统推广的速度，如果能够成功地将该系统推广到全国的轧钢厂 生产线上，为国家带来的经济效益和社会效益将不可估量。 1 3 多视角棒材在线计数分离系统简介 1 3 1 多视角计数分钢系统方案 为解决被遮挡棒材和暗棒材的识别问题，本文提出多视角识别信息融合技术 方案。新系统在棒材前端和顶端两个视角同时捕获棒材图像，分别识别棒材目标， 然后融合两视角棒材识别结果，对单视角目标识别结果进行补偿，消除互遮挡的 影响，达到准确计数的目的。新系统在棒材顶部加一摄像头采集顶部视角棒材图 像( 如图1 2 所示) ，其余部分跟原系统1 3 ，2 3 ，2 4 大致一致。系统示意图及组成关 系如图1 3 所示，分钢机的示意图如图1 4 所示。 新系统总体上还是基于计算机视觉的工业现场检测控制系统，包括输入子系 统、处理子系统和输出控制子系统。输入子系统只有一个图像采集模块，利用普 通的工业摄像头获取棒材端面和项部图像，再通过图像采集卡输入工业控制计算 机( 注：以下简称工控机) 。处理子系统包括棒材识别模块、识别结果融合模块 和棒材跟踪计数模块。输出控制子系统包括链床控制模块、分钢控制模块和结果 显示模块。链床控制模块根据当前计数值和每捆棒材的根数控制链床的运行，为 硕f ：学位论文第一章绪论 分钢控制服务；分钢控制模块根据棒材和分钢楔的位置状态，控制分钢楔动作， 达到按支数分捆的目的；结果显示模块则实时显示计数和分钢的处理结果。 系统整个处理过程如图1 5 所示。 图1 - 2 双目视觉棒材识别示意图 摄像头4 图1 - 3 系统示意图及组成关系 ：)珊( ) ( ：。( ) k 一 ( ： “。5 书 il 图1 - 4 分钢机示意图 6 1 链床2 前捆棒材 3 后捆棒材4 水平液压闽 5 垂直液压阀6 分钢楔 l 学r 硷文第章绪论 茹x ；i i 一j 一五i ；i 磊j i ；i 磊箱；i 磊j i 区困 p ；区困 ! 厂= i 竺墨兰! 竖竺i 图1 5 棒材计数分钢系统总体模块图 132 系统的硬件架构 棒材在线视觉计数分制系统的硬件结构主要分成三人部份：主控制柜、现场 控制桓和分钢机组成。 控制宅主控制柜是棒材在线计数分钢系统的核心控制部份，包括工业控制训 算机、视频采集卡、显示器、挣制电路板等。现场控制桓主要由工业摄像头、操 作控制板、显示器组成，另外还包括一些辅助硬件设备如现场照明系统等等。分 铡机由液压站、液压阀、油缸、角杆和分钢楔等部件组成。主控制柜和液压站如 图l - 6 所示，分钢机结构如图1 7 所示。 曲主控制拒b ) 分钢机液压站 图1 - 6 部分系统硬件现场实物图 圆圈 顶学位论文 第一章绪论 斟1 7 分钢机结构图 13 3 系统的软件组成 棒材计数分钢系统软件部分可以大致分为如下七个模块：图像采集模块、图 像预处理和棒材识别模块、识别结果信息融台模块、棒材跟踪和计数模块、分钢 控制模块、链床控制模块和结果显示模块。系统模块如图1 5 所示，系统数据流 如图1 - 8 所示。 1 图像采集模块 视频图像采集模块的主要软件功能是采集位置台适、清晰、实时的现场图像， 供图像预处理和棒材议剐模块进行后续处理。利用图像采集卡，采集由摄像头拍 摄的现场图像，并通过采集卡输入工控机，为以后的图像处理做好准备。图像采 集卡具有以下优点：采用p c ! 总线设计，图像采集不占用处理机c p u 的时间，可 以很好地支持实时处理。同时使用多缓冲区循环采集策略，可以保证，即使在多 任务操作系统上，图像中棒材数目较多时处理时间可能大于2 0 m s 情况下不会出 现丢场现象( 场的间隔是2 0 m s ) 。因为场与场之日j 棒材的运动量较小，这为提高棒 材的准确跟踪打下良好的基础。 2 图像预处理和棒材识别模块 图像预处理和棒材识别模块主要功能分别是分割出要识别的棒材目标和最 终识别出棒材及其中心位置。该模块分前端视角图像处理和项部视角图像处理两 个子模块组成。 i ) 前端视角图像处理。为了满足提高图像处理效率和实时处理的要求，系 统采用特殊的蓝色灯光对棒材端面进行照明，然后利用色彩信息实现简单的阈值 分割。具体采用蓝色和亮度综合阐值分割的方法，可以比较理想地将棒材端面从 图像中分离出来。对分割出来的棒材目标，用干杯算法求出类圊型棒材目标的中 心团块，接着用桶聚类的方法确定棒材的中心。 硕上学位论文 第一章绪论 2 ) 顶部视角图像处理。为便于识别处理，在链床底部装白色光源的灯箱， 使得在顶部实际拍摄的图像中，背景亮，而棒材目标暗。用水平边缘提取的方法 求出棒材目标的端头边缘，再滤掉噪声，最后用桶聚类的方法求出棒材的中心。 图卜8 系统数据流图 3 两视角棒材识别结果融合模块 该模块先将顶部和前端视角棒材识别的结果归一化为棒材的置信度，再用已 求得的两视角图像位置映射关系将同一根棒材在两个视角的识别结果进行对应。 之后用融合法则将两个识别结果融合。 4 棒材跟踪和计数模块 在识别得到棒材中心坐标点后，需要进一步跟踪棒材，计算出经过当前视窗 范围的棒材数目，达到棒材计数的目的。棒材跟踪和计数模块的主要功能就是对 相邻帧图像中识别的棒材进行对位跟踪，并在合适的时候对棒材进行计数。 为了提高棒材跟踪和计数的实时性，棒材计数系统不再考虑棒材的任何外在 特性，而是把所有识别出来的棒材抽象成质点来处理。棒材跟踪和计数模块的核 9 硕上学位论文第一章绪论 心内容是：首先根据前后两帧的灰度投影曲线计算出整体偏移量，并在整体偏移 量的基础上进一步将投影曲线分段，求出分段后每个子段的偏移量，得到更为准 确的棒材偏移量。在此基础上，通过严格对位和多次强制对位跟踪棒材，同时利 用改进后的k 级容错技术算法，当某根棒材的置信度达到一定阈值后将棒材计 数，并且打上已计数标记，以次免重复计数。 5 分钢控制模块 该模块根据棒材计数满一捆后前后两捆棒材问的位置，控制分钢楔将前后两 捆棒材分开。在分钢过程中，用积分校验法实时判断棒材是否分离正确，如果在 分离过程中出现棒材滚过分钢楔造成分钢错误的情况，系统将控制分钢楔下移， 重新进行分钢，直至分钢成功或分钢超时。 6 链床控制模块 该模块根据当前计数值和设定的每捆棒材根数控制一号链床和二号链床运 动。当计数值未满一捆值时，协调控制一、二链运动，以减少棒材堆叠情况；当 计数值达到额定值，等待一定时间后停止一链运动，使分钢位置停于分钢窗口左 边，以便快速准确的完成端头分钢。 7 结果显示模块 该模块实时显示系统运行时计数和分钢状态。计数状态包括当前计数值、当 前帧图像中己计数棒材、已识别但未确认的棒材。分钢状态包括分钢楔位置、分 钢楔运动状态、前后捆棒材的分隔线等。 1 4 论文的研究内容及难点 根据课题背景和研究现状分析提出以下研究内容及难点： 1 顶部视角对棒材的识别 研究内容为从顶部视角图像中识别棒材目标。对于离散分布的棒材，在顶部 采集的图像中，用边缘检测算子检测垂直边缘，然后用h o u g h 变换求出棒材边 缘直线，根据棒材的宽度不难识别棒材。但对于棒材堆叠时，无法通过棒材宽度 来识别和确定棒材根数。用h a r r i s 或其他角点检测法检测棒材端部角点能识别出 棒材，但对噪声和参数敏感，且耗时，不能用于实时图像处理。 2 。两视角识别结果融合 识别结果融合包含以下工作： 1 ) 两视角图像中位置映射关系的建立，即建立棒材在顶部视角图像位置和 前端视角图像位置的对应关系； 1 0 硕上学位论文第一章绪论 2 ) 空间上的信息融合。制定合适的法则，融合不同视角的目标识别结果， 对单视角识别结果进行补偿，消除互遮挡和目标特征不明显影响，达到准确计数 的目的。 3 ) 时问上的信息融合。识别结果空问上的信息融合可解决单视角漏识别问 题，但无法处理误识别问题，并且无法处理同一目标在两视角都漏识别的问题， 需要对融合结果在时间上进行信息融合，以解决误识别和漏识别问题。 3 视频监控下的准确分钢 在端头分钢过程中，棒材在分钢楔的作用下运动，尤其是在堆叠情况下，棒 材运动方向和规律难以掌握，因此需判断分钢楔上捅后是否准确地把前后两捆棒 材分开。若多分或少分，需控制分钢楔下移再次上捅，直至把前后捆棒材准确分 开。难点是如何快速准确的判断出分钢是否正确。 1 5 论文章节安排 本文分为六章进行论述。第一章主要对课题的研究背景、国内外研究现状、 计数分钢系统软硬件构成、研究内容与难点进行了简要介绍。二至五章主要针对 如何解决多视角在线棒材计数系统存在的问题及如何准确快速地端头分钢展开 论述。第二章介绍了现有的端面视角对棒材的识别方法，对原有识别方法进行了 算法融合。第三章介绍了顶部视角对棒材的识别，通过对棒材水平边缘提取和垂 直边缘的过滤，再用聚类方法识别出棒材。第四章主要介绍如何将两视角识别结 果进行融合计数及如何容错处理。第五章主要解决端面分钢正确与否的判定问 题，提出的一种快速简便的积分判定法，并分析了该方法的使用条件及如何保证 条件得到满足。第六章对课题研究工作做了全面总结，并对后续研究工作进行了 探讨和展望。 硕十学位论文 第二章前端视角棒材识别 第二章前端视角棒材识别 2 1 原有系统中的识别算法 棒材二厂计数系统研制期间，针对棒材识别方面遇到的种种问题，提出了几 种适用性强、识别率好的识别算法。这些算法主要包括：改进的模板匹配算法、 环匹配识别算法、干杯算法。本节将介绍原有的棒材识别算法的，在下一节分析 各自的优点及其不足并将算法进行融合。 2 1 1 改进的模板匹配算法 模板匹配技术是图像识别中最常用也是最简单的一种重要处理方法。其原理 是：选择已知的对象作为模板，与图像中选择的区域进行比较，根据一定的相似 度评价标准来判别匹配对象是否与模板属于同一类物体，从而识别目标。传统的 模板匹配算法为： 设已知目标的图像模板为丁，大小为m x n ，待匹配的图像为s ，大小为三 形( 必胗) ，模板所覆盖的一块待匹配图像叫做子图s j 其中( o i l m ， o s j _ w - n ) ，( 为这块子图的左上角像素点在图s 中的坐标。通过模板丁叠放 在待匹配图像s 上平移，比较r 和& ，的相似程度就可以确定在图像s 中是否存 在一个或多个与模板图像，属于同一类的目标。匹配过程的数学描述如下： d ( l ) = 丑( 朋，刀) 一t ( m ，叫2 ( 2 1 ) 磊石 上式中d 化越小，说明子图像& 与模板丁匹配程度越好。 由于棒材端面呈类圆形，并且相同规格的棒材端面大小基本一致，可以根据 不同规格设置相应大小的简单圆形模板，在图像中的有效区域进行匹配即可得到 识别结果。简单圆形模板如下： t ( m , n ) ： 1 、( m - r ) 2 ：一r ) 2 r ( 历，刀：0 ，l ，2 ，2 r 一1 ) ( 2 2 ) 7 io 其它 一 一7 7 其中，刀为圆的半径。 系统前期的丌发过程中，将棒材的类圆形特征作为识别的主要依据，需要尽 量突出圆的边界，因此采用简单圆模板。它主要不足之处在于对形状特征不敏感。 例如，图像中包含一个边长工大于圆模板直径刃的正方形，匹配输出的结果和圆 形目标匹配输出结果将非常接近，则无法区分圆模板和正方形两种对象。因此， 1 2 一硕士学位论文 第二章前端视角棒材识别 为了使模板对识别目标的形状更加敏感，更加突出棒材的圆形边界，增大圆内外 的差异，将简单圆形模板进行修改，以一对同心圆组成改进模板，内圆半径为， 圆内取值为1 ，对匹配输出做正贡献；外圆半径为足，内外圆之间的圆环中的取 值为k ( k 为一负数) ，对匹配输出作负贡献。模板图像的其他部分取值为0 ，不 对匹配输出作任何贡献。当足值太大，k 值太小时，圆环对匹配输出影响较大， 会减弱目标匹配输出；r 值太小，k 值太大时，模板又无法很好的抑制非目标对 匹配的干扰，因此必须设置合适的k 、r 值。通过反复实验，在r = i 1 r ，k = - 3 时， 匹配输出较理想，识别效果比简单圆模板匹配有显著提高。 模板生成如公式2 - 3 所示( 其中，r 为圆的半径) 。 t ( m ，刀) = k ， 而j 矿而 尺 1 而五矿而厂7 ( 朋，刀= 0 ，l ，i 一，2 r 一1 ) ( 2 3 ) 0 其它 2 1 2 环匹配棒材识别算法 根据同一规格的棒材大小基本一致，以及棒材端面类圆形的对称性特性，环 匹配棒材识别算法在轮廓降维匹配算法基础上进行改进，得到速度更快、识别率 更高的棒材识别算法。 物体轮廓降维匹配算法的基本思想是【2 4 】：对于一个具有明显外围轮廓的目 标，以参考点( b 帕) 为起点沿个等间距的角度方向发射射线，在射线方向寻找 目标外围轮廓，必定得到一序列关于角度0 的距离值( 岛) ，( 晓) ( 皖) 。 ( 秒) 构成反映目标外围轮廓形状的角度一距离一维曲线( 如图2 - 1 所示) 。这样 就把原来二维模板匹配的问题，转化为一维曲线匹配的问题。虽然较二维模板匹 配算法时间复杂度减少很多了，但该算法需要对角度距离曲线进行规则化，并且 对于一个考察点需要进行多次平移计算最小匹配误差或最大相关度，效率仍有待 提高。 ( 像素) ( 度) 图2 一l 轮廓降维匹配算法示意图 环匹配算法【2 4 1 在此基础上进行了改进，由轮廓降维匹配算法的轮廓线匹配 作为当前点的参考权值，改为以目标轮廓梯度的总和作为参考权值，这样就生成 1 3 硕7i ：学位论文第二章前端视角棒材识别 一幅参考值的二维图像，在此基础上查找二维的区域最大值，接着利用桶聚类算 法对合并距离较近的最大值，最终得到要识别目标的中心位置。为了提高环匹配 算法的实时性，使用了环匹配i j 的快速预判、查表求得环上坐标等等方法。 2 1 3 干杯算法 干杯算法【l5 】是一种新颖的类圆形目标识别算法，该方法用边缘检测得到类 圆形团块目标图像的边缘信息以及提取边缘时得到的方向信息，使团块中心信 息增强，再采用中心聚合算法获得团块中心位置并进行评价确认。、 利用如图2 2 所示的八方向模板对整个图像进行边缘检测，对于图像中任一 像素点，顺次将八个方向标记为方向0 到方向7 ，对每一像素点计算得到的八个 边缘梯度结果进行比较，梯度值最大的结果设为当前点的评价值，方向为当前点 的梯度方向。 圈圈 1 方向2 方向 田园 5 方向6 方向 图2 - 2 八方向边缘检测算子 根据边缘检测得到的梯度结果及其方向，在其理论中心位置进行梯度的叠 加，这就起到中心增强的作用。因为这种中心增强的方法和酒桌上众人各自面对 中心举杯，所有的酒杯都聚集到中心的情况很相似，所以此方法又称为干杯算法。 得到中心增强后的团块，再采用聚类算法获得团块中心位置就得到棒材的中心位 置。 2 2 性能比较与改进 2 2 1 各算法性能分析 模板匹配算法不依赖任何边缘信息，利用了各个目标的全部像素特征。但是 对于棒材的识别而言，由于各个目标仅是类似于圆形，而并非真正的圆形，并且 存在严重的粘连，甚至大小也不一致，因此模板匹配算法的同样漏识别与误识别。 改进的模板匹配算法虽然显著的提高了扁平度小的棒材计数的准确性，但该算法 1 4 硕上学位论文第二章前端视角棒材识别 对变异较大的类圆形目标匹配结果明显减弱。对于小棒材端头被轧成不规则扁头 或类三角形渣头等尺寸相对不规则的棒材，经常出现漏识别的现象，并且该算法 也是经典模板匹配，其时间复杂度大，不适合快速的实时识别。 环匹配算法虽然是基于对象的边缘特征，但它并不依赖边缘检测的结果，而 是直接统计目标范围内边缘信息的强弱关系，因此它对于边缘模糊的情况也有较 好的识别较果。但是由于算法只从有限的方向( 一般为3 6 个方向) 进行边缘扫 描，因此当棒材半径较大时，这一算法仅仅利用了目标边缘很少的一部分信息， 当图像发生变化，边缘特征的评价值变化较大。 若环匹配算法中射线条数取得相当大，则算法利用的边缘信息也会增加， 但其时间开销也迅速增长，对单个像素点的运算开销极大，接近一次模板匹配相 关度运算的运算量。同时，算法最后求取局部极大值的步骤也使得识别结果非常 敏感，识别结果的摄动相当的大。 环匹配算法的优点是对于棒材端面不规整、变形严重的棒材识别率依然高 ( 如端面呈现不规则扁头或类三角形渣头的棒材) ，并且算法的时间复杂度较模板 匹配等算法明显减少，提高了系统的实时性。但因为该算法是利用棒材的边界梯 度总和作为棒材的评价值，所以对于端面呈现黑色边界不明显的棒材或者部分端 面边界被遮挡的棒材识别率依然低。 对干杯算法而言，边缘检测算子往往对图像变化较为敏感，但由于干杯算法 是对大量边缘点沿法向平移聚类后得到，当目标边缘发生变化或者个别边缘点的 检测出现错误时对整体聚类结果的影响较小，因此其稳定性反而比较高。此外， 该算法对于不同光照条件下的目标识别也有较好的适应性，只要棒材的边缘能够 被提取出来，图像的明暗程度不会对识别结果造成影响。 对整个图像都进行边缘检测是不经济的，在实际应用中往往以灰度值作为判 定条件，仅对灰度值超过一定阈值的像素点进行边缘检测，从而能够提高算法的 执行速度。而算法最后聚类过程的时间开销也较小，因此干杯算法的执行速度较 快。 在对比分析了现有的三种棒材识别算法之后，可以将其相对的优缺点定性的 描述在表2 1 中。 表2 - 1 现有棒材识别算法性能比较 硕上学位论文第_ 二章前端视角棒材识别 2 2 2 算法融合机制 从表2 1 可以看到这三种识别算法各有各的长处，因此本文考虑将它们融合 起来。首先用干杯算法和环匹配算法进行目标识别，相同的识别结果直接输出， 不同的识别结果再用模板匹配进行校验。具体融合方法如下： 首先对原图像进行预处理，去掉噪声，得到预处理后图像尸。对p 用干杯算 法处理后得到n 个识别结果0 1 = q i ，d ；1 ，d ： ，对p 用环匹配算法处理得到聊个 识别结果0 2 = d i ，d ，2 ，d 。2 ) 。干杯算法和环匹配算法执行速度快，但识别的准确 性一般，识别结果可能存在误识别和漏识别，但同一目标在两种算法中都被漏识 别或漏识别的可能性很小，两个算法共同的识别结果是误识别的概率很小。因此， 将集合和d 2 中公共点0 。，d 。= d 1n d 2 作为最终结果，对剩余的每一个识别 点q ，o = 1u2 1 2 用执行速度慢但准确性很高的模版匹配算法进行校o 0 0 0n o 验。校验方法如下：对q 中的每个点0 ，以0 ，所在位置为中心，在半径为d 邻域 内进行模板匹配，其中d 比识别结果的最大摄动值稍大。若在此邻域内模板匹配 的最大响应输出值小于某一阈值，则认为0 。是误识别结果，应该舍弃，否则将0 ， 作为模板匹配确认后的结果并输出。算法融合的数据流图如图2 3 所示。 识 果 图2 - 3 算法融合数据流图 。 这样的算法融合，充分发挥了各算法的优势，同时又避免了各算法的缺点。 1 6 颂1 学位论立第前端视伯棒村m 环匹配算法和下杯算法执行速度快，故先用这两个算法对例像进行预识别，相同 的识别结果作为最终结果保存，而仅对不同的识别结果进行模版匹配算法进行处 理。这样一方面避免了模板匹配的全局搜索，另一方而又尽可能的提高了识别结 果的稳定性。 2 3 识别结果 改进后的算法对端而棒材识别具有很好的快速性和准确性，对端而形状币规 则且料连的棒材有很高的识别率，在计数分钢系统中应用良好。图2 - 4 给端面棒 材的识别结果。 8 ) 通过摄像头获得的原始图像 2 4 本章小结 ”识别结果( 在目标分割结果上显示 图24 前端视南棒材识别结果 本章分析了从前端视角识别棒材的原有方法一改进的模扳匹配算法、环匹 配算法和干杯算法，井对这些算法的性能进行了比较，讨论了融合方法。最后给 出了试验结果。 顺1 学论史 第三章项部祧角棒材识别研究 第三章项部视角棒材识别研究 3 1 识别方法探讨 项部视角拍摄图像的棒材目标特征与端面拍摄的完全不一样，棒材目标不为 类圆形而为矩形，如图3 一l 所示。 哪7 皿 蹬3 - 1 顶部视角拍摄棒材图片 对于矩形目标的识别，可以先用边缘识别算于如c a n n y 、s o b e l 算子识别目 标的左右边缘，然后比较左右边缘的距离和棒材直径来识别确定棒材。但此方法 无法处理堆叠的棒材。 顶部视角拍摄的棒材角点特征明显，可以考虑用角点信息来识别棒材。目前 常用的角点检测算法有h a r r i s 角点检测算法【2 5 i 、s u s a n 角点检测算法、多尺 度角点检测法 2 7 1 等。h a r r i s 角点检测