（通信与信息系统专业论文）图像处理在仪表识别和布匹瑕疵检测中的应用.pdf

摘要 随着工业生产向着自动化、智能化方向的发展，计算机视觉和图像处理技术 在工业中应用越来越广泛。仪表的自动识别和布匹瑕疵的自动检测就是图像处理 技术在工业生产中的两个应用热点。本文分别针对数显式仪表和指针式仪表的特 点，提出了不同的仪表自动识别算法，并在此基础上开发了一套指针式仪表实时 识别系统。同时本文还讨论了布匹瑕疵检测系统中瑕疵定位的关键技术。 仪表识别方面，对数显式仪表的数字利用基于分块统计的方法对图像提取特 征，然后采用最短距离法对其识别。对指针式仪表，为了克服现有算法在识别精 确度和运算复杂度上的不足，本文提出了基于微积分算子的指针式仪表识别算法， 算法首先利用微积分算子精确定位出扇形刻度所形成的弧度的圆心和半径，然后 以此圆心为极坐标原点将扇形刻度图像归一化为水平刻度，最后利用投影法进行 刻度定位和读数。实验表明该算法运算量小精确度高、抗干扰性强，能很好的满 足仪表实时监控系统和高精度仪器的校验系统的高实时性和高精确性的要求。 布匹瑕疵定位方面，本文选择具有方向和尺度特性的g a b o r 滤波器对布匹图 像进行分析，通过滤波输出能量与正常纹理的能量比较来定位瑕疵。对纹理在方 向和尺度上变化较大的瑕疵类，通过对典型瑕疵特征的学习选取区分度大于1 的 g a b o r 滤波器构成滤波器组对布匹图像进行多通道滤波，然后把各通道的滤波结果 进行融合作为最后滤波输出；对于纹理特征比较一致的瑕疵类，则根据区分度选 择滤波器组中最优滤波器进行滤波。 关键词：仪表识别布匹瑕疵检测微积分算子g a b o r 滤波器 a b s t r a c t w i t ht l l e d c v e l o p m 朗to ft l l ei n d u s 仃yi l la u t o m a t i z a t i o n 趾di n t e l l i g e l l c c ，m e c o m p m e rv i s i o n 觚di m a g ep r o c 器s i i l ga r cw i d e l yl l s e di ni n d u s 扛y ，w h i c ha r ep m m o t i n g l h em e t e ri d e n t i f i c a t i o na n dt h ef a b r i cd e f b c td e k c t i o nt ob e c o m et w oi n d u s h i a l a p p l i c a t i o n s d i 虢r c n ti d e n t m c a t i o na l g o 删m sa r ep r o p o s c df o r 铆ob n d so fm e t 郇： t h ev a l u e - d i s p l a ym 打a n dt h ei i l d i c a t o rm c t 既a 硎砸m ei d e n t i 蜘n gs y s t 锄f o rt h e i n d i c a t o rm 曲邸a d e v e l o p e db 鹤e do nt l l ea l g o r i n l 】【i l si l lt l l i sp 印盯m e a i l w h i l e ，n l e k c yt 。d m i q u 鼯o f f a l 试cd e 矗耐d e t 鲥i o n 盯ed i s c i l s s e d h lt l l er c s e a r c ho nm c t e ri d c l l t m c a t i o l l ，m ef e a t l l r 髓o ft l l ed i 酉t a lo nv a l u e - d i s p l a y m c t e ra r ec x 虹t c du s i n gt h er e 舀o ns 协t i s t i c sa l g o r i m ma l l dt 1 1 en e a r e s td i s t a i l c c m e a s u r ei su s e df o ri d e n t i f i c a t i o n f o rt l l ei n d i c a t o rm 鼬龇a l g o r i t l l 】 i lb a s c d n l e c a l c u l u so p 盯a t o rf o rt h ei d e n t i f 蜘gs y s t e mo fi n d i c 栅m e 嬲u r i n gi n s 协l m e n ti s p r c s c n t c dt oo v 删em ed e f i c i e n c yo fe x i s 缸gm e t ：h o d s f i f s tt h er e 百o fa r c h c d s c a l ai s i d e a l l yl o c 曲e db yt l l e c a l c u l u s o p e m t o r 1 1 1 e l lt l l ea r c h c ds c a l 髓a r c s t a n d a r d i z e di n t op a r a l l e ls c a l e sa n dl o c a t e db ym ei m a g ep r o j e c t i o n nc a i lb er e a c ht h e d 锄锄do f t h er e a l t i m em o n i t 耐n gs y s t e ma n d p r e c i s i o na d j u s 恤l e n tf o ri t sf c wo p e m d 柚dh i g l lp r e c i s i o n mt h es t u d yo nt i l ef a b r i cd e f b c td e t e c t i o n ，t l l eg a b o rf i l t e r sw h i c hh a v es p e c i a l f b a t i l l 髑o r i c i l 伽o n 柚ds c a l ea r cu s c dt oa n a l y z et h ef a b r i ci m a g e s 锄dt h ed e f c c t s a l o c a t c db yc o m p a r i n gt h eo u t p l l t 锄e 画髓b e 帆c e i lt l l ed c t e c t e di m a g e 锄dt h e n 咖a li m a g e f o rd e t e c t i n gt h ed e f c c t sv a r y i n gw i d e l yb o t hi no r i e n t a d o n sa n ds c a l e s ， t l l em u h i c h 咖e lg a b o rf i l t e r sw h o s ed i s 商m i n a t i o ni sa ：b o v e1a r es e l c c t e db y 虹a i n i n g ， 锄da l lt l l ef i l t e r sr e s p o n s 嚣d a t aa r cf h s 。d 嚣m ef i n a lo u t p u t w h 锄t l i ed 曲。c t 甜f a b r i c d c f a 吣h a v et l l es t e a d yo r i 锄洲o n sa 1 1 ds c a l e s ，t h eo u t p u tc 缸b ea c h i e v c do n l yw i t l lt 1 1 e o p t i m a lg a b o rf i l t c rt l l a tp r o “d 铭t h eb e s td i s 耐m i n a t i o n k e yw o r d s ： m e t e ri d e n t i n c a 廿o f a b r i cd e f e c td e t e c 廿蛆 c a l c i i l u so p e r a t 盯g a b 叫f n t e r 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：日期碰：! ：! ： 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留 送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容， 可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合 学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 导师签名：篁鳖i ? 日期坦星立! = 第一章绪论 第一章绪论 1 1 研究背景及意义 随着现代社会信息技术的高速发展，我们的生活和生产也向着数字化、智能 化和网络化方向不断发展，机器视觉及图像处理技术在这个发展过程中发挥了重 要作用，它被广泛的应用到文件处理、办公自动化、邮政自动化、生物医学、工 业自动化、导航、交通管理和军事侦查等领域。而基于图像处理技术的仪表自动 识别和布匹瑕疵自动检测正是在这种环境下而出现的两种具体研究课题，随着工 业生产自动化、智能化的更高要求的提出，这两个研究课题越来越受到学者及各 个研究机构的重视。 1 1 1 仪表自动识别 仪表自动识别系统是对图像采集系统采集到的图像通过图像预处理和仪表特 征分析进行定位之后自动识别仪表读数的过程，而各式各样的仪表在工业和控制 领域应用非常广泛，因此仪表自动识别的应用研究具有巨大的现实意义： ( 1 ) 在医疗、机械、化工、土木等行业中，每一类数据的测量都有最合适的测 量方法和仪器，如检测气体、液体参数的非电子仪器( 如用于气压检测的气压表， 用于液体流量检测的水表等) 因其本身所固有的优势，仍将长期存在而很难被电子 仪器所取代。在信息技术逐渐应用到各个行业和领域的今天，要使它们在一个现 代化、自动化系统中与其它电子设备联合协作工作，发挥它们自身的作用，就需 要解决它们与电子系统之间的通信问题。 ( 2 ) 在一些需要人工读取仪表数据的测量现场，其操作环境往往是恶劣而且危 险的( 如一些高温、高压、高辐射的环境) 。基于图像处理的仪表自动识别系统可以 避免人在此环境下作业，减少意外事故发生。 ( 3 ) 利用人工对仪表进行读数记录或者根据其读数判断仪表的质量，在很大程 度上受人的主观因素如人的观测角度、观测距离等影响，因此人工对仪表读数记 录不稳定、可靠性不高，而且数据的处理工作量大，检定效率低。 采用基于图像处理的技术，可以对仪表图像进行自动采集、分析，从而自动 识别其读数，最后达到自动记录、处理、传输其识别结果的目的，此过程克服了 人工检测所造成的种种不足，提高检测的精度和效率。 图像处理在仪表识别和布匹瑕疵检测中的应用 1 1 2 布匹瑕疵检测 在布匹生产中，产品的质量至关重要，而布匹的瑕疵检测正是质量把关的关 键环节。目前这个任务主要是由人工来完成，和仪表的人工识别样，布匹瑕 疵人工检测主要是效率低下的闯题，其检测速度一般在1 5 2 0 米分钟，而且人工 检测依靠验布人员的经验和被培训的熟练程度，使得在对瑕疵判评的标准上不一 致。同时瑕疵的检测对验布人员来说是一种繁重无味的体力劳动，而且有可能严 重伤害其视力。通过机器视觉和图像处理技术实现自动化的布匹检测系统可以模 拟人工检测过程，无须人工的长期干涉独立完成一系列流水线作业，完成对不同 纹理布匹的检测和分类，不仅提高了效率和可靠性，同时还具有如下优越性： ( 1 ) 能对快速转动的布匹表面进行扫描，实时鉴别出布面可能存在的多种瑕 疵。 ( 2 ) 对不同产品中的瑕疵具有自学习的功能。 ( 3 ) 能检测出瑕疵，记录和输出瑕疵信息，如瑕疵的种类、位置和尺寸。 1 2 1 仪表自动识别 1 2 国内外研究现状 s a b l a t n i n g 等人1 9 9 4 年提出了一种基于h o u 曲变换的指针式仪表自动识别方 法。王三武、戴亚文等人在对复杂仪表的特点分析研究基础上，提出了复杂仪表 的自动识别原理和方法，以水表为实例证明了所采用的方法的正确性和有效性， c o n aa 1 e 鲥a 等人首先选用指针位于不同位置的两幅图像，通过对这两幅图像进行 相减运算得到指针变化情况，利用h o u 曲变换得到指针在图像坐标系中的角度， 从而通过对此角度的分析来识别读数【3 】。2 0 0 5 年，张海波等人针对数显式仪表上 的数字提出了一种快速识别算法，该算法先分割出图像中的单个数字区域，然后 对每个数字图像提取了一组典型特征，最后基于模糊识别的最多隶属原则构造了 一种数字识别器，实现数显式仪表的识别【4 】。 虽然在仪表识别领域已有相当多的成果，但是这些方法的抗干扰性还有待改 进，而且其识别率还不能满足高精度仪表的读数要求。这些文献卜3 1 中对指针式仪 表的自动识别算法都是基于h o u 曲变换对指针和刻度定位的思想，然而在复杂的 表盘图像( 表盘上除了指针和刻度图案，还有如刻度示数、仪表商标、型号等图案) 中利用h o u 班变换精确定位出指针和若干刻度往往是难于实现的，而且h o u 曲变 换在耗时方面也不利用实时系统的开发。 第一章绪论 3 1 2 2 布匹瑕疵检测 布匹瑕疵自动检测方面，国外许多研究机构和企业从事了大量的研究工作， 并于9 0 年代末出现了价格不菲的商品化自动布匹检测系统，下面对典型的系统做 简单的介绍。 u s t e rt c c h n o l o 酉嚣公司于1 9 8 3 年就开始研制布匹瑕疵检测系统，刚开始的产 品由于硬件的昂贵，品种适应差，使得市场很小。1 9 9 8 年，u s t c rt e c h l l o l o g i 嚣展 出了高性能的自动验布系统。该系统能够检测布幅为1 6 0 、4 4 0 锄，运作速度为1 5 5 米秒的本色坯布，染色坯布，平纹和斜纹织物。其采用的主要技术是基于傅立叶 变换的布匹纹理分析方法和基于神经元网络的自学习瑕疵分类算法。图1 1 是u s t e r 1 鼢n 0 1 0 9 i e s 公司的一套布匹瑕疵自动检测系统。这套瑕疵检测系统可以根据瑕疵 的大小及其外观对瑕疵进行分类，并按照指定的质量标准对布匹分级，同时也可 以根据使用部门自己的需求来确定瑕疵的分级。 图1 1u s t e rf a b l u s c a n 布匹瑕疵自动检测系统 香港大学的自动检测系统c a v i s 在布匹运动速度为1 英尺秒的情况下可以达 到实时9 8 的主要瑕疵检测率。其采用g a b o r 滤波器的方法对采集到的布面图像 进行处理用以提高检测效果，并对最终得到的结果进行分析，从中得到几何特征 以便于模式识别和分类。对于分类，采用了多层反馈的神经网络技术，使得瑕疵 分类所花费的时间减低，而且可以达到很高的识别率。 从上个世纪9 0 年代到现在，利用机器视觉和图像处理技术对布匹瑕疵检测的 研究一直都是热点，特别是美国、日本、以色列和瑞士等国家的研究者发表了此 领域的大量论文，理论水平不断提高。中国虽然是世界上纺织大国之一，但是对 布匹瑕疵检测的自动化、智能化研究相对前面提到的国家而言起步较晚，而且国 外的一些比较成熟的瑕疵检测商用系统己陆续的开始在中国抢占检测设备的市 场，此类系统价格非常昂贵，一般每套可达$ 1 0 0 ，o o o 5 0 0 ，o o o 。因此布匹瑕疵自动 检测的研究对促进我国的纺织工业的智能化、满足我国纺织工业的发展需求、代 替进口及发展自主知识产权的产品等方面具有重大意义。 4 图像处理在仪表识别和布匹瑕疵检测中的应用 1 3 本文主要工作及内容安排 论文主要从理论和应用的角度研究了图像处理技术在仪表识别和布匹瑕疵检 测方面的运用。 本文实现了对数显式仪表和指针式仪表的识别，特别针对现有基于h o u 曲变换 指针式仪表识别算法的精确度不高，耗时量大的不足，提出了基于微积分算子的 指针式仪表识别算法，该算法利用微积分算子搜索到刻度弧形所对应的圆心和半 径，以此圆心和半径对刻度和指针区域归一化，从而利用简单的投影对指针和刻 度进行精确定位，进而获得仪表读数。实验证明该算法在满足高识别精度的情况 下还具有运算量小的特点。 本文还对布匹瑕疵检测系统中瑕疵定位的关键技术进行了研究。首先用g a b o r 滤波器组对典型瑕疵纹理进行学习，得到每个滤波器对此类瑕疵纹理的区分度， 对瑕疵纹理在方向和尺度上变化较大的瑕疵类型，本文通过区分度来选择一组有 利于瑕疵纹理特征提取的滤波器组对待检测图像进行多通道滤波，而对于特征稳 定的瑕疵类，在g a b o r 滤波器组中选出区分度最大的滤波器作为最优滤波器来对待 检测图像进行滤波，最后通过和正常纹理滤波结果的比较定位出瑕疵的具体位置。 论文主要内容和章节安排如下： 第二章首先概述了图像处理技术应用在工业生产中的一般步骤，然后介绍了 三种图像预处理技术：图像连通域分析、图像细化和图像中的直线检测。这三种 技术是本文后续章节研究的基础。 第三章讨论了数显式仪表的识别方法。数显式仪表是直接用数字符号显示读 数的一类仪表。由于仪表数字具有背景简单、样本类内差异小的特征，本文提出 了一种基于区域分块统计的识别算法，此算法简单易行，识别率高。然后本文针 对数码管数字和电能表半截数字这两种特殊情况分别做了讨论，最后给出了实验 结果及分析。 第四章首先介绍了现有指针式仪表识别算法，并分析了这些算法在实际应用 中的不足，然后针对这些不足提出了基于微积分算子的指针式仪表识别算法。本 章还介绍了利用此算法设计出的仪表实时识别系统，并对此系统中的若干问题进 行了讨论，最后在此实时识别系统下进行了数据的测试和实验结果的分析。 第五章介绍了布匹瑕疵检测系统的任务，讨论了布匹瑕疵检测系统中的定位 关键技术。实现了基于g a b o r 滤波器的布匹瑕疵检测算法，并分别讨论了对纹理特 征丰富的瑕疵类采用多通道滤波和对纹理特征固定的瑕疵类采用最优滤波器滤波 的两种情况，最后对瑕疵布匹进行了检测并对检测结果进行了分析。 第六章是对本文工作的总结，并提出了进一步研究方向。 第二章图像预处理技术 第二章图像预处理技术 利用计算机进行图像处理，改善图像质量的有效应用开始于1 9 6 4 年美国的喷 气推动实验室用i b m 7 0 9 4 计算机对“徘徊者七号”太空船发回的4 0 0 0 多张月球照 片进行的处理，并获得了巨大的成功，这标志着第3 代计算机问世以后数字图像 处理的概念开始得到应用。在2 0 世纪6 0 年代后期到7 0 年代中期这十年里，随着 成像技术、数字计算机以及信号处理技术在速度、规模和经济效益上面的改善， 数字图像处理技术得到了迅猛的发展，其理论和方法进一步完掣”。 我国在2 0 世纪7 0 年代后期开始了较大规模的研究，使得我国数字图像处理 技术逐步跻身于世界日新月异发展的行列。目前已经成为工程学、计算机科学、 工业自动化、物理学、生物、医学甚至社会科学等领域学习和研究的对象。 2 1 图像处理在工业中的应用 数字图像处理技术在工业自动化、工业检测方面的应用相当广泛。在电站的 燃料燃烧中，需要实时对燃烧火焰进行检测和诊断，利用图像处理技术的火焰自 动诊断系统通过对采集到的火焰图像中的灰度对比度、颜色分布情况以及火焰的 有效面积等指标来对火焰进行实时诊断和分析，它可以避免锅炉房恶劣的工作环 境对火焰检测人员的健康安全构成的威胁，并且提高了检测效率【“。在电容制造工 业中，利用图像处理技术，可以进行器件的内部结构分析、可靠性筛选。对人眼 直接看不到的电容内部结构，依靠图像处理，就可以清楚的再现电容的内部图， 进而可以方便地检测出里面的断焊、阻焊等问题。在纺织工业中，采用图像处理 技术，不但可以检测出纺织品中存在的孔洞等明显瑕疵，还可以检测出它在纹理、 图案方面的疵点。图像处理技术也用在对仪表的实时识别工程中，达到记录数据 的自动化。其中基于图像处理技术的布匹瑕疵检测和仪表识别正是本文讨论的研 究课题。 图2 1 是图像处理技术在工业应用中的一般步骤。图像采集系统主要作用是通 过摄像机、x 光成像仪或者红外线成像仪对感兴趣物体成像，并通过图像采集卡 转化为数字信号传递给图像处理系统【7 】。图像预处理模块是整个流程中非常重要的 一步，它负责把采集到的数字图像进行基本的预处理，为图像特征分析和提取做 准备，其处理结果的好坏直接影响到特征分析和提取的效果。图像特征分析和提 取是利用图像的灰度统计、频域变换和信号滤波等信号分析手段对图像中感兴趣 区域进行分析，并期望通过对其处理能够得到与其它图像能区分开来的特征，并 6 图像处理在仪表识别和布匹瑕疵检测中的应用 以此特征作为图像判别模块中的判别依据。 图2 1 图像处理技术在工业应用中的一股流程 在图2 1 中，图像预处理是待检测图像进入系统的第一次处理和分析，通过预 处理之后我们希望增强图像中那些更有利于计算机识别和理解的信息，消弱对分 析和理解图像起干扰作用的噪声或者背景。灰度图像二值化、直方图均衡化、图 像连通域分析、图像细化分析、图像平滑、图像增强、图像边缘检测、直线检测 等都是图像预处理中的一些重要技术，它们在本文识别算法中有选择性地被使用 到，其中连通域分析主要是为了寻找图像中的大目标( 图像中目标的大小是指为了 形成目标现有的面积而使用像素点的多少) ，去除小目标对特征提出的影响。而细 化是用单像素来描述图像形状信息的一种方法，在特征提取的时候它能够有效地 去除图像中一些冗余信息，而保留形状的重要信息。直线检测是对图像中的线段( 或 者是不连续的线段) 所在直线进行的定位，它是仪表识别中用来定位仪表指针和刻 度的重要技术之一。本章主要介绍这三种预处理技术及处理结果。 2 2 1 图像连通域分析 2 2 图像预处理技术 连通域分析是在图像中提取出相互独立的各个目标，因为其分析能统计出某个 目标的大小f 被连通的像素个数) ，所以经常用连通域分析来提取图像中较大目标， 以除去小目标的噪声干扰，在对半截数字的识别中，需要对两个半截数字进行定 位，经过分析，我们知道两个半截数字分别是图像中第一大连通区域和第二大连 通区域，因此我们采用图像连通域分析的方法来对其定位。 对一个坐标为( x ，y ) 的像素p ，它可能在水平和垂直方向上各有两个近邻像素， 它们的坐标是( x + 1 ，y ) 、( x 1 ，y ) 、( x ，y + 1 ) 、( x ，y - 1 ) 。这些像素( 用r 表示) 组成p 的4 一邻域，如图2 2 ( a ) 所示。坐标为( x ，y ) 的像素p 与它各个4 一邻域近邻像素是1 个单位的距离【8 】。像素p 的四个对角近邻像素( 用s 表示) 的坐标是( x + 1 ，y + 1 ) 、 ( x + 1 ，y + 1 ) 、( x 1 ，y + 1 ) 、( x 一1 ，y - 1 ) 。这些像素加上p 的4 一邻域像素组成了p 的8 - 邻域，如图2 2 f b ) 。 第二章图像预处理技术 p s ( a ) 4 邻域( b ) 8 - 邻域 图2 2 像素p 的邻域 当p 和它的4 邻域像素点都属于同一集合，称p 和r 是4 连通的，同理p 、r 和s 属于同一集合，称它们是8 连通的，对二值图像而言，两个像素属于同一集合 是指它们的像素值相等，要么都为白，要么都为黑。 本文以递归函数实现二值图像的4 邻域连通域分析，此函数对图像中每一个 白点进行扫描，如当扫描到图像中的点( x ，y ) 时，如果该点属于连通域( 白点) 而且 该点没有被扫描过，则对连通域像素个数计数器加一，并进行标记，防止重复扫 描，然后再对此点的4 _ 邻域像素分别进行判断，如果( x ，y ) 某一个方向的邻域像素 点仍然属于此连通域( 白点) ，则调用此函数本身，从而达到递归，如果点( x ，y ) 不 属于此连通域( 即该点为黑点) 或者已经被扫描过，函数则返回。 图2 3 显示了用连通域分析的方法定位到图像中的两个半截数字，对于图2 3 ( a ) 中两个半截数字( 数字“6 ”的下部和“7 ”的上部) ，它们两边的白色目标对其定位 来说都属于噪声，而此时很难利用其它滤波方法消除噪声的干扰( 大多数滤波只能 对图像中的椒盐噪声具有抑制作用) 。图2 3 ( b ) 是对图2 3 ( a ) 连通域分析的结果，第 一大连通域的灰度值被标记为2 5 5 ( 图像上半部分的白色区域) ，第二大连通域灰度 值被标记为1 2 8 ( 图像下半部分的灰色区域) 。可以看出连通域分析可以很好去除图 像中的小目标噪声干扰，有利于后面对半截数字的特征提取。 ( a ) 原二值化图像( b ) 连通域分析之后的图像 图2 3 半截数字图像中的第一大和第二大连通域 2 2 2 图像细化分析 在图像处理中，形状信息是十分重要的。为了描述和提取特征，对于那些细 长的区域常用它的“骨架”来表示，先对图像进行细化处理有利于突出形状的特 点和减少冗余的信息量。 图像处理在仪表识别和布匹瑕疵检测中的应用 中轴变换( m e d i a la x i st r a n s f o m ，m a t ) 是一种用来确定物体骨架的细化技 术。具有边界b 的区域r 的m a t 定义如下 9 】= 对于每个r 中的点p ，我们在b 中 搜索与它最近的点，如果对p 能找到多于1 个这样的点( 即是b 中有2 个或2 个以 上的点与p 同时最近) ，就可以认为p 属于r 的中线骨架，或者说p 是一个骨架点。 在细化幅图像x 的过程中应该满足下面两个条件：第一，在细化过程中， x 应该有规律地缩小；第二，在x 逐步缩小的过程中，其连通性保持不变1 0 】。 对二值图像，设目标点标记为1 ，背景点标记为o 。定义边界点是本身标记为 1 而其8 一连通邻域中至少有一个点标记为o 的点。其细化分析算法如下： ( 1 ) 考虑到边界点为中心的8 一邻域，记中心点为用，其邻域的8 个点按顺时 针方向分别为尸2 ，丹，p 9 ，如图2 4 所示首先标记同时满足以下条件的边界 点： ( 1 1 )2 z ( 尸j ) 6 ( 1 2 ) z ( p ，) = 1 ( 1 3 ) 脚彤= 0 ( 1 4 ) 彤朋= o 其中 z ( 尸，) 是p j 的非零邻点的个数，z ( p j ) 是以彤，丹，p 9 ，户2 为序时这 些点的值从o 到1 的变化次数。当对所有边界点都检验完毕之后，将所有标记了 的点除去( 把这些点标记为o ) 。 ( 2 ) 类似于第一步，仅将前面条件( 1 3 ) 和( 1 4 ) 分别改为条件： ( 2 3 ) 尸2 朋= o ( 2 4 ) p 2 所朋= o 同样对所有边界点检验完毕之后，将所有标记了的点除去。 p 9 p 2 p 3 p 8 p lp 4 p 7p 6 p s 图2 4 目标点p 1 的邻域像素 以上2 步操作构成迭代，算法反复迭代直到图像中没有点再满足标记的条件， 这时剩下的就是区域的骨架，即细化结果。在以上各标记条件中，条件( 1 1 ) 除去了 p j 只有一个标记为1 的邻域点；条件( 1 2 ) 除去了对宽度为单个像素的线段进行操 作的情况以避免将骨架割断；条件( 1 3 ) 和条件( 1 4 ) 除去了用为边界点的右或下端 点( 丹：o 或月仁o ) 或左上角点( p 2 = o 或p 乒0 ) 不是骨架的点的情况。同理，条件( 2 3 ) 和条件( 2 4 ) 除去了p j 为边界的左或上角点或右下角点不是骨架的情况。 图2 5 显示了对电能表数字和指针式仪表图像的细化结果。从图中可以看出细 第二章图像预处理技术 9 化的结果是在原来区域内与原形状相似且简单的曲线组成的图形。经过细化的文 字图像既保留了原来图像的绝大多数特征，又去掉了很多冗余的信息，为后面的 特征提取提供了方便。图2 5 ( b ) 中的仪表图像在利用h o u g h 变换定位指针所在直线 之前需要对其细化，因为h o u 曲变换是对图像中每一个目标点( 图2 5 ( b ) 中的黑点) 都需要投票累计到参数空间去，所以图像中目标像素点的个数直接影响到h o u g l l 变换的计算量。经过统计，图2 5 ( b ) 左边未经细化的目标点占图像总像素个数的 6 8 ，而右边细化之后的目标点只占1 9 ，减少了3 5 倍，这会大大降低h o u g l l 变换的运算量，而且在未细化图像中，指针区域存在大量的目标点，这有可能使 得在此区域检测出多条相互平行的直线或者让最后检测出来的直线偏离指针的真 实方向，从而严重影响到h o u 曲变换检测直线的准确性，而细化之后的图像避免 了这些问题。 ( a ) 数字符号细化对比 ( b ) 指针式仪表图像细化对比 图2 5 图像细化前后对比 2 2 3 基于h o u g h 变换的直线检测 在仪表检测中需要对指针所在直线进行定位，求出直线的参数。h o u g l l 变换是 最常用的直线检测技术，利用h o u 曲变换还可以直接检测某些已知形状( 如圆) 的目 标，并有可能确定边界到亚像素。 设给定图像中的n 个点，要从中确定连在同一条直线上的点的子集，这可以 图像处理在仪表识别和布匹瑕疵检测中的应用 看作已检测出一条直线上的若干个点，需要求出它们所在的直线。解决上面问题 的一种直接办法是先确定所有任意两点所决定的直线，再找到接近具体直线的点 的集合，这种算法的复杂度是d ( n 3 ) ，不能满足实际应用中的需要【1 ”。 采用h o u 曲变换可以用较小的计算量来解决这个问题。h o u 曲变换是基于点一 线的对偶性思想。在图像x y 里，所有过点( x ，y ) 的直线的方程为 y = p x + q( 2 1 ) 其中p 为斜率，q 为截距，它也可以改写成如式( 2 2 ) 的形式： q=一px+y(22) 式( 2 2 ) 可以看作为代表参数空间p q 中过点( p ，q ) 的一条直线。 如图2 6 所示，在图像空间中x y 中过点( t ，咒) 的直线可以写成只= 既+ q ， 也可以参考式( 2 2 ) 写成q = 一p t + 咒，后者表示在参数空间p q 中的一条直线。同 理，过点 ，y ，) 有y ，= 渺，+ q ，也可以写成q = 一p x ，+ y ，它表示在参数空间 中另外一条直线，这两条直线在参数空间中相交于点( p ，q 7 ) ，这一点就对应着图 像空间中一条经过点( ，乃) 和( x ，y ，) 的直线。 i ( a ) 图像空间( b ) 参数空间 图2 6 点线对偶性 由此可知，在图像空间中共线的点对应在参数空间里面相交的线，反过来， 在参数空间里面相交于同一个点的所有直线在图像空间里面都有共线的点与之对 应，这就是点一线的对偶性。h o u 曲变换就是根据这样的关系把空间里面的检测问 题转换到参数空间，通过参数空间里面进行简单的累计统计来完成直线的检测任 务。 在运算式( 2 1 ) 直线方程时候，如果直线接近竖直方向，则会由于p 的值都接 近无穷而使得计算量增大，此时我们使用直线的极坐标方程来表示直线，如图2 7 ， 其方程如式( 2 3 ) a = 工c o s 口+ y s i n p( 2 3 ) 第二章图像预处理技术 图2 7 直线的极坐标表示 根据这个方程，原来图像空间的点对应新参数空间中一条正弦曲线，即原来 的点一线对偶性变成了现在的点正弦曲线对偶性，如图2 8 所示，图2 8 ( a ) 标示图 像空间x y 中的5 个点，在图( b ) 参数空间中对应着5 条曲线，这里的p 为 卜9 0 。，+ 9 0 。】，a 的取值范围为 芝万2 ，+ 互_ 2 】，为图像的宽度。 ( a ) 图像空间 ( b ) 参数空间 图2 8 点一正弦曲线对偶性 由图2 8 可知，图像空间中各个点可以看作它们在参数空间里面的对应曲线。 在图2 8 ( b ) 中，曲线l ，3 ，5 都过k 点，这表示在图( a ) 中点1 ，3 ，5 处于同一条 直线上，同理，图( a ) 中点2 ，3 ，4 处于同一条直线上，在图( b ) 中它们对应的曲线 2 ，3 ，4 都通过点l 。 本文中h o u g h 变换的具体实现步骤如下： ( 1 ) 建立一个参数( 旯，口) 空间的二维的数组，该数组相当于一个累加器。 ( 2 ) 顺序搜索图像中所有目标( 黑色) 像素，对于每一个目标像素，在参数空间中 根据式( 2 3 ) 找到对应位置，然后在累加器的对应位置加1 。 ( 3 ) 求出参数空间( 累加器) 中最大值，其位置为( a ，曰) 。 ( 4 ) 通过参数空间位置( a ，口7 ) ，根据式( 2 3 ) 找到图像空间中相对应的直线参数。 图2 9 给出了利用h o u g h 变换对指针式仪表进行指针检测的效果，图2 9 ( a ) 是表盘二值图像直接检测的效果，而图2 9 ( b ) 是对二值图像进行细化之后的检测结 果。可以看出h c r u 喀h 变换对图像中的直线具有很好的定位效果，而且经过细化之 1 2 图像处理在仪表识别和布匹瑕疵检测中的应用 后的图像，不仅减少了h o u 曲变换的运算量( 细化图像减少了目标像素个数) ，而且 细化图像提高了检测的精度( 减少了冗余像素在参数空间中的累加影响) 。 1 1 1 1 i i 4 1 ( a ) 原始图像及h o u 曲变换检测结果 ( b ) 对图( a ) 的细化及h o u 曲变换检测结果 图2 9h o u g l l 变换检测仪表指针 2 3 本章小结 本章首先对图像处理技术在工业自动化、智能化中的应用做了简要概述，然 后对其应用的一般步骤做了阐述，本章最后主要介绍了在后续工作中经常用到的 三种图像预处理技术的原理并给出了在仪表识别方面的一些实验结果，它们是图 像的连通域分析、图像细化和基于h o u 曲变换的直线检测。连通域分析很好的去 除了图像中的噪声干扰，适合图像中大目标的提取和定位；h o u 曲变换是图像处 理技术中常用的检测直线的手段，本文利用其原理对仪表图像中的指针所在直线 进行了检测；图像细化在保持原图像的形状特征的同时去除了冗余的信息，使得 目标的特征更为突出，而把它应用到h o u 曲变换检测直线中可以提高检测精度和 减少运算量。 第三章数显式仪表识别 1 3 第三章数显式仪表识别 3 1 数显式仪表数字特征分析 在实际中，许多仪表是以数字符号直接显示读数的，称之为数显式仪表。数 码管显示仪表( 图3 1 ( a ) ) 和电能表( 图3 1 ( b ) ) 就属于这类仪表。图3 1 ( c ) 、( d ) 分别显 示了这两种仪表中待识别的数字符号。从图( c ) 中可以看到数码管数字的结构比较 明显，数字笔画基本横平竖直。电能表数字分为完整数字和半截数字，半截数字 往往是由于电能表表头最后一个转轮缓慢转动时形成的。与手写体及其它复杂背 景中的数字图像相比，数显式仪表数字具有在同一个数字样本类之间差异较小， 特征稳定，而且图像背景简单的特点。 在对数字进行特征提取时，常用的提取方法大致可以分为两大类：基于统计的 方法和基于结构的方法。数字符号的统计特征通常包括笔画密度特征【1 ”、矩特征 等；结构特征通常包括数字形状中的圆、端点、交叉点等( 13 1 。这两类特征各有优 点：基于统计的特征易于提取，复杂度低；而结构特征方法充分利用了数字的结 构特性，其可靠性较高，但是特征提取过程往往比较复杂【4 】。本章针对数显式仪 表数字的特征以及系统对速度要求等角度出发，采用基于区域分块统计的模板匹 配算法对其进行识别。 ( a ) 数码管显示仪表 ( b ) 电能表 ( c ) 数码管数字符号( d ) 电能表表头数字符号 图3 1 数显仪表及其表盘数字 1 4 图像处理在仪表识别和布匹瑕疵检测中的应用 3 2 基于区域分块统计的数字识别 在对待检测图像进行二值化、分割、轮廓定位等预处理之后，数字符号区域 归一化成大小相同的二值图像( 黑色o 代表数字符号，白色1 代表背景) 。区域分块 统计是把归一化后的二值图像划分成m n 个区域，然后统计出每个区域中黑色像 素( 代表数字符号) 占这块区域总像素个数的比例，称此比例为数字在这个区域内的 一个特征。这样待检测的数字经过区域分块统计之后就拥有了m n 个特征c ( f ) ， 如式( 3 1 ) ： 1 一 c ( f ) = 音l 一， y ) ，f 2 t z 彤 n l ( ，) 磷f 其中s 代表图像中被划分出来的第f 个区域，r 代表第f 个区域的面积。 图3 2 显示了数字“7 ”和“9 ”经过5 1 0 区域分块统计后的结果，图中用星 号标示了特征值大于o 2 5 的区域块。 图3 2 数字“7 ”和“9 ”的区域分块统计 区域分块统计对每个数字样本提取了m n 个特征，可以从图3 2 中看出各个 样本的类间特征差异性非常明显，这有利用特征匹配。同时，在区域分块统计运 算过程中主要是对像素的扫描和累计，其运算量非常小。 在特征提取之后需要对待检测样本特征和模板特征进行匹配，本算法采用最 小距离法来判别，即： m n ，( f ) = i 删一嘶叫，f = n 上9 ( 3 2 ) 女= l 其中，( f ) 是待检测样本和第f 类模板间的距离，y 阳是待检测样本的第_ j 个特征， 磁矽是第f 类模板的第七个特征。我们将和待检测样本距离最小的类作为最后的 识别结果。 3 3 数码管数字识别 一个典型数码管数字的笔画分布区域如图3 3 所示，由于其笔画基本横平竖直 且区域固定，主要集中在m 1 、m 2 、m 3 、n 1 、n 2 、n 3 、n 4 七个区域，因此利用 第三章数显式仪表识别 式( 3 1 ) ，我们只需考察区域m l 、m 2 、m 3 、n 1 、n 2 、n 3 、n 4 中的特征，即对数码 管数字，只提取七个特征。 图3 3 数码管数字“8 ”的笔画区域 把这七个特征二值化，即： 婴2 型p ( 翼f - ，7 ( 3 - 3 ) c ( f ) 0 ，日x i + 1 ) o ”? 竺 ( 4 6 ) 同，2 2 5 5 ，( 2 5 5 一砸+ 例) ) = o 其中砸，) 表示待处理的图像，肼( f ，) 表示刷子刷完之后的图像，m 表示横向刷子 的宽度，m 越大，表示刷子刷到的水平像素点就越多，刷子宽度的选取与刻度宽度 和稀疏程度密切相关。图4 5 显示了表盘图像经过横向和竖向刷子运算之后的效果， 可以看出在图4 5 ( a ) 中，相互孤立的刻度之间形成的弧形的灰度梯度比较小，对于 搜索最大灰度梯度的微积分算子来说，对这样的弧形定位很容易受到周围噪声图 案的影响，而经过刷子运算后的图4 5 ( b ) ，在刻度处特别是其中间段形成了一道很 明显的弧形边缘，增强了其灰度梯度，有利于弧形的精确定位。 g h 穰 ( a ) 原始表盘 第四章指针式仪表识别 ( b ) 经过刷子运算之后的表盘 图4 5 刷子运算 在对刻度投影分配读数时，先根据最小刻度( 代表仪表最小读数的刻度) 位置、 最大刻度( 代表仪表最大读数的刻度) 位置和仪表的最小分度( 即仪表的精度) 计算每 个刻度之间应该具有的平均间隔，由于此间隔是根据仪表的最小分度计算，计算 前提是假设刻度之问都均匀分布，因此称这个平均间隔为理论间隔，而如图4 3 ( d 中定位出来的刻度之间的间隔称为实际间隔。利用实际间隔和理论间隔的比较来 分配读数。在实际情况中，由于仪表表盘上面的刻度本身分布不均匀或者弧形的 圆心和半径定位有一定的偏差，使得刻度投影在最大刻度和最小刻度之间分布非 常不均匀，所以利用最大刻度和最小刻度之间的理论间隔无法正确分配读数。因 此还必须在最小刻度和最大刻度之间寻找另外一些刻度位置来帮助我们对投影分 配读数。如图4 2 中的仪表，可以看出，居于1 5 0 伏和3 0 0 伏处的刻度投影跨度比其 它中间刻度宽，因此可以充分利用此先验知识，先找出1 5 0 伏和3 0 0 伏的刻度投影 位置，然后利用这两个位置把整个投影区域分成三个区域来分别计算出各区域内 的理论间隔，此时的刻度投影在本区域相对于整个区域( 最大刻度和最小刻度之间 的区域) 均匀分布性明显增强，从而可以通过判断实际间隔和理论间隔误差大小来 正确分配读数。 不同样式的仪表表盘，其圆心的位置不尽相同，有的圆心甚至不在图像区域 内，为了让此系统能适应多种样式的仪表，在粗定位弧形的圆心和半径时，我们 采用交互式方法，即由用户提示系统当前仪表表盘样式。当然，如果需要完全自 动的识别某一种仪表只需要稍微改变粗定位模块就可以实现。 图4 6 是系统对两种不同款式的仪表进行识别的运行界面，左上部分显示实 时采集的图像视频，中间显示识别读数，右上部分显示定位出来的刻度和指针的 位置。下面区域显示了刻度归一化效果、刻度定位和分配读数效果，最下面是指 针定位效果。系统对第一帧图像进行如图4 4 中所示所有模块操作，由于在实际应 用中仪表和摄像头的相对位置是不变的，所以第一帧所得到的刻度信息和弧度参 数对以后识别来说是可用的，因此从第二帧系统不用去重新定位图像中弧形的圆 心和半径，而是直接对指针区域归一化，定位出指针的位置，然后用第一帧得到 的刻度信息和指针位置相比较，得到第二帧的读数。 4