基于halcon的ic卡喷码符号识别技术研究与实现.pdf

广东工业大学 硕士学位论文 基于halcon的ic卡喷码符号识别技术研究与实现 姓名 彭晓辉 申请学位级别 硕士 专业 测试计量技术及仪器 指导教师 朱铮涛 20060501 摘要 摘要 现代化的卡片生产都是流水线式的大规模生产 在流水线的前端喷码机喷码 后 在喷码过程中难免会出现诸如部分字符漏印 字符不完整 字符混乱 字符 位置不对 字符的字体不对或不一致等缺陷 因此 需要在线实时的对喷码结果 进行识别检测 以便及时剔除喷印错误的卡片 减少或消除卡片发行公司的损失 为此有必要研究一种检测速度快 准确率高 鲁棒性好的i c 卡字符识别系统 对 喷印字体符号进行可靠的检验 基本达到真正的 零缺陷 本课题研究高速运 动中的喷码字符定位和识别 包括数字 字母和条码 解决机器视觉在高速运动 中由于图像对比度差 r o i r e g i o no fi n t e r e s t 区域变化范围大 图像运动 模糊和信噪比低 图像处理时间长影响生产率 识别准确率低 鲁棒性差等技术 难题 满足包装业 制卡业等对喷码质量存在在线检测要求的场合 基于以上思想 我们通过在生产线上安装数字摄像机 与管理微机相连 获 取移动i c 卡的喷码字符 本文应用德国m v t e c 公司的机器视觉软件h a l c o n 来搭建 整个视觉系统 提出了一种先进行字符分割再提取目标字符区域的新的字符定位 算法 并用基于图像处理底层的h a l c o n 函数实现改进的神经网络识别字符算法和 新的条码识别和译码算法 通过这些算法的实现 解决包装 制卡业高速生产线上喷码后字符 数字 字母和条码 的检测与识别的难题 达到每小时识别3 0 0 0 0 张卡片字符的速度和 9 9 9 9 识别准确率的技术要求 突破包装 制卡等行业在生产过程中提高生产速 度所面临的技术瓶颈 提升该行业设备的整体水平和在国际市场上的竞争力 本文综合应用了图像采集 图像处理 模式识别 信息传输与存储 数据库 的建立与访问 h a l c o n a c t i v v i s i o n t o o l s v c n e t 2 0 0 3 等知识和软件开发 工具 关键字 机器视觉h a l c o n 图像处理字符识别喷码条形码 广东工业大学工学硕士论文 a b s t r a c t t h em o d e m i z e dc 盯dp r o d u c t i o na r ea l li na s s e m b l yl i n e l i l el a r g es c a l e i n 髂s e n l b l yl i n eb e 百皿i n gh 嬲am a m 两n t i n gm a c h i n e i ni 1 1 k j c t t c dc o d eo nc a r d m 趴yn a w sm a yb ep r o d u n s u c h 蕊p 枷a lc h 盯a c t c r sa r ei l o tp r i n t e d c h a o t i c 锄d p o s i t i o ni sn o tr i 曲t e c t s om e ri n k j e t t e dc o d eo nc a r d t l l e ym u s tb ec x 眦i i l e d i i m n e d i a t e l yi no r d e rt oe l i m i n a t et l l ew r o n gc a r dt i m e l yt or e d u c eo re l i n l i n a t et h e l o s s e sc a r di s s u i n gc o m p a l l i e s s oi t sn e c e s s a 哆t or e s e a r c hak i n do f i cc a r d c h a r a c t e rr e c o 印i t i o ns y s t e l l lw i i hh i 曲s p e e d p p e c i s i o na 1 1 db e t t e rm b u s t n e s s w h i c h c a nm a k el o o r e l i a b l ec h e c ko n 也ec h a r a c t e ra n ds y r n b o l a c t l i c v i n gr e a l z e r o n o d e f t s n i sp a p e rr e s e a r c h e sm ec h a r a c t e rl o c a t i n ga 1 1 dr e c o g n i t i o ns y s t e mm h i 咖s p e e d i n c l u d i n gf i g u r e l e t t e ra n db a rc o d e s 0 1 n gt l l ep r o b l e m s u c ha sl o wi i l c o n 呱s t n o i s em e m 榭l c e h i 曲m r l g co f r o i r c g i o no f i n t 盯c s t v 耐e 饥i l l e 咖i l 的 o fm em o v i n gp i 咖r e 1 0 ws n r s i 弘a ln o i s er a t i o m ei n n u c n c co np r o d u c t i v 时 a n d 1 ed e l a yi np i c t u r e 仃e a t i i i 舀l o wp r e c i s i o na n dr o b l l s t n e s s w h i c hc a nm e e tm e o n l i i l ec k 埒l d n gd e m a n do f p a c k a g ea i l dc a r d m a l i n gi i l d u s 时 b 船c do n 也ea b o v ct l l o u 曲t w ei i l s t a l lt l l ed i 西t a lc 锄e r a w h i c hi sc o 皿e c t e dw i t l lt t l em a i l a g 锄e n tm i c m c o m p u t e ro nm e p 加d u d i o nl i i l et og a i nc h a m c t e 幅砸n t e d o ni cc 矾s a l s or e c o g i l i z et h e n lw i ls o m ek i n d so f e 虢c t i v er c c o 印i t i o na l g o r i m m t h et 1 1 e s i su s 韶h a l c o nw m c ha p p l i e su n i v e r s a l l ya c c 印t c dh a st l l eb e s tp o t c n c ym a c h i l l e 讥s i o ns o f t w a r et od e s i 弘an e wl o c a l i z a t i o na l g 嘶t h r n c a r i yo nt l l ec h a r a c t e r s e g m e n t a t i o na t6 r s t t l l e nd i s t i l lt b eg o a lc h a r a c t e rr e 舀o n u s e 劬c t i o n so f h a l c o n t oa c h i e v ei m p r o v 酣n e u r a ln e 咖o r ka l g o r i m m st oi d 跖d 母c h a r a c t e r s 姐dn e wb a r c o d ei d e n t i t i c a t i o na n dd e c o d i n ga l g o r i t h m s 1 1 l r o u g ht h e s ea l g 耐 l m s w t l i c hc a ns o l v cp r o b l 锄so fc h a r a c t c i n u i i l c r a l l e t t e ra i l db a rc o d e r e c 0 印i 饰n 锄de x 锄i i l a t i 蚰o nl l i 曲s p e e dp r o d u c t i o n1 i n e s a t i s 母t e c h n o l o g yr a 叮u i r 锄e n t ss u c h 器e x 锄i i l a t i o ns p e c da c h i e v e d t o3 0 0 0 0c 觚l s p e rh o u ra n dr e c o g r l i 怕n sr a t e so fa c c u r a c y a c h i e v e dt o9 9 9 9 a n db r e a k t h r o u g hl h ec h o k ep o i n ti ni m p m v 访gt l l e 驴e do fn l em a 肌f a c t u r cp r o c c s so fm e i i p a c k a g ea n dc a r d m a k i n gi n d u s 缸y h 恤c hi m p r o v e sm em a l l u f a c t u r ec 印a d t yo fm e e q u i p m e n nt l l i sf i e l d 柚d t h ec o m p e t e n c ei ni n t e m a t i o n a lm a r k e t 1 1 1 ep 印e ri n t e g m t e 印p l i c a t i o no f i m a g ea c q u i s i t i o n i m a g ep r o c e s s i n g e l e c 咖n i c s i i i f o r n l a t i o n 仃a i l 锄i s s i o na i l ds t o r a g eo f t h ee s t a b l i s l l i n e n to f ad a t a b a s ea n dv i s i 一 曲 h a l c o n a c t i v v i s i o n t 0 0 1 s v c n e t 2 0 0 3 k n o w l e d g ea n ds o r w a r ed e v e l o p m 锄t t o o s k e yw o r d s m a c h i n ev i s i o n h a l c o n i m a g ep m c e s s c h a r a c t e rr e c o 印i t i o n i n k j e 船dc o d e b a r c o d e i i i 第一章绪论 第一章绪论 1 1 机器视觉国内外研究现状 机器视觉是利用光电成像系统采集被控目标的图像 经计算机或专用的图像 处理模块进行数字处理 根据图像的象素分布 亮度和颜色等信息 进行尺寸 形状 颜色等的识别 通俗地讲就是用电子眼代替人眼 电脑代替人脑 通过自 动成像和自动识别处理技术 来观测目标并对目标地外观进行测量和判断 机器 视觉的特点是自动化 客观 非接触和高精度 与一般意义上的图像处理系统相 比 机器视觉强调的是精度和速度 以及工业现场环境下地可靠性 一个典型的 工业视觉应用系统包括光源 光学系统 图像捕捉系统 图像数字化模块 智能 判断决策模块和机械控制执行模块 机器视觉和计算机视觉并没有很清晰的界限 而是紧密的联系在一起 它们 有着相同的理论 只是在应用中根据具体实际应用目标的不同而不同 计算机视 觉的目的就是根据人类的视觉特性来给计算机带来 光明 让它更好的来替代 人来工作或者完成人类不能完成的工作 更好的为企业减少劳动力 也更大的提 高生产效率 同时也不断在提高人们的生活质量 研究机器视觉是更好为工业中 的制造业提供更多有利于提高产品质量和提高生产效率的支持 机器视觉中把计 算机作为载体或者说是工具 主要是利用计算机高效率的c p u 因为视觉里看到 的都是图像 而对图像的处理往往比较耗时 所以能更快的完成图像处理 为以 后的控制赢得时间 计算机是 当仁不让 了 随着计算机的硬件和外设及软件的飞速发展 机器视觉的实际应用成为可 能 视觉检测技术是机器视觉的重要研究领域之一 是进行非接触式测量的重要 手段 该技术的优越性不仅仅在于提高生产的自动化程度 还可以提高检测的安 全性与可靠性 增强产品的质量监控 机器视觉现己成为加工制造业不可或缺的 手段 f 泛应用于食品和饮料 化妆品 制药 建材和化工 金属加工 电子制 造 包装 汽车制造等行业 几乎在所有需要人类视觉的场合 机器视觉都能派 上用场 并且由于机器视觉不会像人眼那样容易疲劳 精度高 并且在特殊光谱 下可感知人眼不可见的物体 因而尤其适用于那些需要重复 快速的从图像中获 取精确信息的场合 而且机器视觉易于实现信息集成 是实现计算机集成制造的 广东工业人学工学硕士论文 基础技术 机器视觉在国内还没有发展成一个完整的行业 从供应商到系统集成商到 终端客户 整条产业链还处于培育阶段 在应用方面 国内仅仅出现了一些零星 的案例 而且往往较为初级 无论是在深度上还是广度上 都与国外水平相去甚 远 这与我国整体工业水平不高也有关系 当前 我国工业面临着产业结构调整 的任务 所谓用信息化带动工业化 就是要用先进的技术来武装传统产业 机器 视觉市场潜力巨大 虽然目前国内还没有这方面市场容量的统计 但是国际权威 统计资料显示 全球机器视觉市场总量正在向l o o 亿美元挺进 技术的进步是一 种趋势 国内的制造技术终归要和国际接轨 所以对机器视觉的市场需求肯定会 旺盛起来 至于应用高潮的来临 大概需要5 年左右的时间 从一个行业发展的 规律来看 它必须有这样的轨迹 有些阶段也是不能逾越的 而且 这个时间更 多是取决于市场需求是否旺盛 发展的大环境将起到很大作用 值得一提的是 2 0 0 4 年6 月1 9 日首届国际图像和机器视觉技术及工业应用研讨会在北京成功召 开 大会邀请到了国际机器视觉的知名专家 a i a 协会主席 世界一流的图像和 机器视觉技术领先企业的代表 开展了广泛的交流和合作 这预示着对我国传统 的工业自动化而言 机器视觉这个全新领域将迎来广阔的发展前景 1 2 课题的来源与现实意义 随着信息产业和网络的飞速发展 市场上对各种i c 卡如手机充值卡 腾讯q q 卡 网络游戏充值卡等的需求量日益增大 为制卡行业的发展提供了锲机 同时 也对制卡设备厂商提出了挑战 必须生产出满足速度快 精度高 可靠性好的卡 片生产和检测设备 卡片印刷生产在高速运转过程中会产生各种废品 例如号码的错号 空号 条形码的印刷错误 部分字符漏印 字符不完整 字符混乱 字符位置不对 字 符的字体不对或不一致等等 这些质量问题一旦出现 通常给用户带来使用的不 便和给卡片发行公司造成极大的经济损失 国内多数厂家起初是采用人工对卡片 质量进行在线或离线检测 但是 这种在线检测只能实行人工抽检 效率低而且 精度也不高 离线检测无法防止废品连续出现 也不能克服人疲劳带来的误差 所以 很多厂家慢慢开始尝试引进机器视觉来检测 但是国内与喷码设备配套的 n 2 第一章绪论 视觉系统多采用国外的嵌入式视觉产品 如广州市兴利森 明森 机电设备有限 公司采用美国的d v t 视觉检测喷码符号 日本的欧姆龙视觉检测覆盖膜 但检测 速度在1 2 0 0 0 张 小时 不能很好地解决高速运动中的检测问题 影响整条流水线 的生产效率 国内在这方面所做的研究工作也不多 广东工业大学的郑胜林教授 研究了一种i c 卡喷码实时检测系统 3 分析了系统原理 卡片的检测处理 粘连 字符分割算法及识别方法 提出用自适应浮动模板法识别i c 卡的码号 二次比对 法对识别结果进一步处理 系统实现了i c 卡的实时检测 但检测速度仅为3 张 秒 西安交通大学硕士研究生丁正针对南海油脂工业 赤湾 有限公司生产的 金 龙鱼 系列油脂产品上喷玛符号进行了 识别数字喷玛算法的研究与应用 作 者重点研究喷玛字符的识别算法 但并没有给出实际使用的效果 1 本课题致力于利用h a l c o n 视觉工具快速构建基于p c 视觉的卡片质量视觉系 统 解决包装 制卡业高速生产线上喷码后字符 数字 字母和条码 的检测与 识别 达到每小时识别3 0 0 0 0 张卡片字符的速度和9 9 9 9 识别准确率的技术要 求 突破因提高生产速度所面临的技术瓶颈 提升该行业设备的整体水平和在国 际市场上的竞争力 1 3 课题主要研究内容和创新点 本课题研究高速运动中喷码字符的定位和识别技术 包括数字 字母和条码 的识别 解决机器视觉在高速运动中由于图像对比度差 r o i r e g i o no f i n t e r e s t 区域变化范围大 图像运动模糊和信噪比低 光照不均匀 图像处理 时间长影响生产率 识别准确率低 鲁棒性差等技术难题 满足包装业 制卡业 等对喷码质量有在线检测要求的场合 目前制卡业如手机充值卡 腾迅充值卡的 市场需求量非常大 这些卡上存在着序列号 卡号 密码 条形码等诸多标识 喷码机按计算机数据库中的要求将这些标识喷于卡片的指定位置 视觉系统必须 在喷码的下游位置完成这些标识的检测 识别和控制 本文的主要研究内容包括 1 研究一种准确提取识别区域的方法 在高速运动拍摄的图像中 快速 准确地 定位待识别的字符或者条码区域 2 研究一种选取阈值的智能方法 使阈值分割能适应现场复杂环境 光照不均匀 运动模糊等因素 提取待识别区域的完整喷码字符 广东工业大学工学硕士论文 3 研究喷码字符 数字和字母 的神经网络识别算法 研究根据高速运动中喷码 符号识别的特殊性 有针对性地采用数学形态学和特殊滤波算法 在提取出的 字符区域内利用神经网络识别算法识别字符 使算法对诸如断裂 遮挡以及喷 码多点和少点等实际工况具有很强的适应性 4 深入研究和学习h a l c o n 视觉软件 运用利用h a l c o n 基于底层的图像处理算法 提高图像处理的速度和检测精度 满足高速检测对图像处理速度的要求 目前印刷体字符识别的研究比较成熟 已在实际生活中得到广泛的应用 但 是大多数光学字符识别 o c r 系统都基于这样的假定 待识别字符能容易地从 背景图像中提出来 然而在实时卡片字符识别与校验中 待识别字符随卡片的 不同其字体和大小会有较大的变化 当待识别字符较小时就难以清晰提取字符的 轮廓 要实时识别出卡片上的字符 就要综合考虑字符提取 分类策略等多种问 因素 针对高速运动中喷码符号 数字 字符和条码 的定位识别 本课题主要 有以下创新点 1 目前常规的字符识别步骤是先定位 后阈值化处理 再分割和识别 本课题 提出先阈值化处理再定位 结合特殊的形态学处理算子和字符区域的先验信 息提取字符区域的新思路 在整个图像或者设定区域内寻找定位基准 根据 定位基准自动更新字符或者条码的r o i 区域 在新的r o i 区域内进行图像闺 值分割 由分割的字符特征经过数学形态学和特殊的滤波处理形成若干侯选 区域 再根据目标区域的先验信息 快速定位待识别字符区域的准确位置 解决卡片在成像区域中位置变化和本身喷码区域的位置变动对字符区域定位 带来的困难 增强算法对现场噪声的鲁棒性 2 高速运动拍摄图像由于运动模糊和光照不均匀 造成图像的质量相对较差 图像对比度不均匀 阈值分割时不可能采用单一或者几个固定的闽值对图像 进行分割 本项目对高速运动中拍摄的图像采用智能阈值法进行图像分割 根据r o i 区域内像素周围局部区域的均值和方差计算阈值 以利在现场复杂 环境下提取喷码的完整字符 3 研究一套特殊的条码处理和译码方法 在获取条码准确区域之后 根据条码 的类型描述 提取条码元素的宽度 解码 区分条码类型再输出最终的结果 使算法对诸如断裂 遮挡等实际工况具有很强的适应性 4 第一章绪论 4 利用世界上功能最强大 效率最高的视觉工具h a l c o n 快速搭建本课题的视觉 检测系统 目前国内对h a l c o n 的研究和应用较少 可用的中文资料几乎没有 通过本文的研究 为机器视觉的快速开发和研究提供借鉴 1 4 论文组织结构 本文首先介绍了该系统应用背景和重要意义 接着阐述项目研究所需的相关 图像处理知识 基于神经网络的字符识别 条码编码原理和识别技术 针对高速 运动 喷码字符等特点 研究高速卡片喷码符号在线识别的关键技术 并在v c 平台上 利用h a l c o n 低层函数 开发高速卡片喷码字符在线视觉识别和检测系统 最后论述系统的主要功能 特点 使用效果 并与其他典型系统进行比较 证明 算法的优越性 本文的结构如下 第一章绪论 主要介绍机器视觉及其国内外研究 发展和应用现状 项目的背景 研究现状 存在的问题及研究意义 本文所做的工作及创新点 最后介绍了论文 的组织结构 第二章卡片检测视觉系统设计相关理论与实现工具介绍 介绍了实现本系统要用 的相关知识如数字图像处理 神经网络及其发展现状及存在问题以及实现工具 h a l c o n v c 什 n e t 等工具 第三章目标快速定位及其条形码和字符识别算法研究 简要介绍了模式识别系 统 详细介绍了本文提出一种新的定位算法 条形码识别算法和喷码字符识别算 法 第四章介绍了i c 卡片工业喷码流程和卡片检测视觉系统的h a l c o n 具体实现 详 细介绍了系统的硬件组成和系统软件的h a l c o n 实现 第五章系统的应用分析与试验 介绍系统的试验环境 并认真分析试验和调试结 果 第六章结论与展望 对本文所采用的算法进行总结 并提出了下一步的设想 广东工业大学工学硕士论文 第二章卡片检测视觉系统设计相关理论与 实现工具 2 1 图像处理基本知识 2 1 1 图像的数字化 为了用数字计算机对图像进行处理 首先必须把连续图像函数f x y 进行 空间和幅值的离散化处理 空间连续坐标 x y 的离散化 我们称为图像的采样 幅值的离散化 我们称f x y 灰度级的量化 两种离散化合在一起 称为图像 的数字化 离散化的结果便称为数字图像 2 1 2 图像滤波 为了消除图像中的各种噪声 必须用到滤波器 滤波器分为线性滤波器和非 线性滤波器 线性滤波器使用连续窗函数内象素加权和来实现滤波 特别典型的 是 同一模式的权重因子可以作用在每一个窗口内 也就意味着是空间不变的 这样就可以使用卷积模板来实现滤波 如果图像的不同部分使用不同的滤波权重 因子 且仍然可以用滤波器完成加权运算 那么线性滤波器就是空间可变的 任 何不是象素加权运算的滤波器都属于非线性滤波器 非线性滤波器也可以是空间 不变的 也就是说 在图像的任何位置上可以进行相同的运算而不考虑图像位置 或空间的变化 这里均值滤波器和高斯滤波器属于线性滤波器 而中值滤波器属 于非线性滤波器 下面就数学形态学滤波 均值滤波器 中值滤波器 加权中值 滤波器和高斯滤波器的原理和图像处理的效果做以比较 并结合卡片检测系统的 特点选用一种滤波器 2 1 2 1 数学形态学滤波 1 数学形态学是一种非线性滤波方法 可以用于抑制噪声 特征提取 边缘检 测 图像分割等图像处理问题 数学形态学首先被用来处理二值图像 后来也被 用来处理灰度图像 现在又有学者开始用软数学形态学和模糊形态学来解决计算 机视觉方面的问题 本节中主要介绍二值数学形态学 二值数学形态中 最基本的变换运算是膨胀和腐蚀 所谓膨胀就是两个集合 中元素的向量和 具体定义如下 6 第二章卡片检测视觉系统设计相关理论与实现工具 为 定义 2 1 设a b 是n 维欧氏空间e n 中的两子集 那么a 被b 膨胀定义 或 爿0 口 c e c 日 6 d 爿 6 曰 a 固b 2 芝b a b o0 2 3 456 o1 2 1 2 2 a 输入信号a b 结构元素b c a o b 图2 1 二值图像膨胀示意图 f i 9 2 1as c h e m a 血d 印i c t i o no f t h eb i 衄r yi m g ed i l a t i o n o 目 o oooc n oo o n oooc l o ol2 3 4 5 一 o o1 a 输入信号a b 结构元素b c a b 图2 2 二值图像腐蚀示意图 f i g 2 2as c h 锄a 石cd 印i c t i o no f m eb i l l a r yh n a g ee r o s i o n 数学形态中的腐蚀运算是膨胀运算在一定意义下的对偶 其定义如下 定义 2 2 设a b 是n 维欧氏空间f 中的两子集 那么a 被b 腐蚀定义 为 一o 雪 和 e c 6 4 如 e v e y6 曰 2 3 或 彳 曰 c e 皿 一 2 4 广东工业大学工学硕士论文 或 一 2 4 2 5 在实际应用中 膨胀与腐蚀运算常常都是级连复合使用 对图像先做膨胀运 算 再对膨胀后的图像做腐蚀运算 或先对图像做腐蚀运算 再对腐蚀后的图像 做膨胀运算 称为开启和闭合 这样图像中小于结构元的一些细节将被滤除 同 时使保留的图像特征集合不失真 相当于对图像进行了平滑滤波 定义 2 3 设a b 是n 维欧氏空间e n 中的两子集 用b 对a 做开运算定义 为 一 曰 爿 曰 0 b 2 6 用b 对a 做闭运算定义为 一 曰 一 曰 o 曰 2 7 开 闭运算对图像的平滑滤波作用表现在 开运算可以清除图像中的边缘毛 刺及孤立斑点 闭运算可以填补图像中的边缘间隙及消除小孔 ol 23 4 5 6 a 输入信号a 寸 n n 01234 c a o b b 结构元素b d a o b a o b o b 图2 3 二值图像开运算示意图 f i g2 3 a s c h 锄a 6 c d 印i c d o no f m c 陆a r y i m a g e o p e t l i n g 第二章卡片检测视觉系统设计相关理论与实现工具 a 输入信号a ooo 101 b 结构元素b c a o b d a b a o b b 幽2 4 二值图像闭运算示意图 f i g 2 4 as c h e m a t i cd 印i c d o no f m eb i n a r yi l a g ec l o s i n g 2 1 2 2 均值滤波算法 均值算法又叫邻域平均法 它是简单的空域处理方法 1 这种方法的基本 思想是用几个像素灰度的平均值来代替每个像素的灰度值 邻域的选取通常为以 单位距离ux 构成的4 邻域和以 2 个单位距离为半径 构成的8 邻域 如图2 5 所示 下面分析它的滤波特性 噪声模型如公式 2 8 所示 经邻域平滑后得 到的图像为 謇 i j 2 击 磊 撕 2 吉 磊 邝舶 吉 磊 嘶 cz s 式中s 为 i j 点的邻域 m 为邻域中的总点数 根据统计分析 第二项中噪声 的方差为 吉 磊 椰棚 古 磊 c 砸 瑚 吉吒2 c z 一 式中d 表示求噪声方差运算 吒2 为未经邻域平滑前原图像噪声的方差 由 o o o 7 o o o 0 6 o o o o o 5 o o o 4 o u o 3 o o o 0 2 o o o 一 n 一0 寸n n 广东工业大学工学硕士论文 于图像经邻域平滑处理后 噪声的方差缩小了m 倍 因此起到了降低噪声 平 滑图像的作用 曩 4 邻域 a 4 m i g h b o w 嫩 t b 8 邻域 8 m j g h b o 幽2 5 4 领域和8 邻域 f i g 2 5 4 一n e i g h b 伽r 锄d8 一眦i g h b o u r 公式2 8 表明 上述选择邻域的方法对抑制噪声是有效的 但是随着邻域的加大 图像的模糊程度也愈加严重 为克服这一缺点 可以采用闽值法减少由于邻域平 均所产生的模糊效应 其基本方法由下式决定 蝴 忙 磊 肋朋卜炉吉 磊 肋 l r 厂瓴y 其他 式中t 是规定的非负阈值 这个表达式的物理概念是 当一些点和它邻域内点 灰度值的平均值相差不超过规定的阈值t 时 就仍然保留其原灰度值不变 如 果大于闽值t 时就用它们的平均值来代替该点的灰度值 这样就可以大大减少 模糊的程度 2 1 2 3 中值滤波算法 1 对受到噪声污染的退化图像的复原可以采用线性滤波方法来处理 在许多情 况下是很有效的 但是多数线性滤波具有低通特性 在去除噪声的同时也使图像 的边缘变得模糊了 中值滤波方法在某些条件下能得到较满意的复原 可以做到 既去除噪声又保护图像的边缘 中值滤波是一种去除噪声的非线性处理方法 它 是由t u r k y 在1 9 7 1 年提出的 开始 中值滤波用于时间序列分析 后来被用 到图像处理 在降噪复原中收到了较好的效果 中值滤波的基本原理是把数字图 像或数字序列中一点数值用该点的某个邻域中所有点的中值代替 中值运算的定 义如下 1 0 一 十 抟 第二章卡片检测视觉系统设计相关理论与实现工具 一组数x x x x 把n 个数按大小顺序排列于下 户删 戎 一卜 玉 2 n 为奇数 2 一1 1 为偶数 式中y 称为序列x x x 3 x 的中值 例如有一序列为 8 0 9 0 2 0 0 1 1 0 1 2 0 这个序列的中值为1 1 0 把一个点的特定长度或形状的邻域称为窗口 在一维情形下 中值滤波器是 一个含有奇数个像素的滑动窗口 窗口正中间那个像素的值用窗口内各像素值的 中值代替 设输入序列为 i i i 为自然数级或子集 窗口长度为n 则滤波器输出 为 y j l 如d 玉 j i 榭 玉一 21 2 式中 i i u n 一1 2 例如有一序列如下 j 0 o 0 8 o o 2 3 2 o 2 3 o 3 5 3 o 3 5 3 o 0 2 3 4 5 5 5 5 5 0 o 0 在此序列中前面的8 是脉冲噪声 在此采用长度为3 的窗口 得到的结果 为 y 0 o o o 0 o 2 2 2 2 2 2 2 2 o 3 3 3 3 3 3 3 o 0 2 3 4 5 5 5 5 5 0 o o 0 显然 经中值滤波后 脉冲噪声8 被滤除掉了 振荡被平滑了 斜坡和阶 跃部分被保存了下来 中值滤波的概念很容易推广到二维 此时可以利用某种形式的二维窗口 设 x i j i i 表示数字图像各点的灰度值 滤波窗口为a 的二维中值滤波 可定义为 y f 胁d f f a d x f r s j 一 f 2 一1 3 二维中值滤波的窗口可以取方形 也可以取近似圆形或十字形 该方法在去 除脉冲噪声 椒盐噪声的同时又能保留图像边缘的细节 这是因为它不依赖于邻 域内那些与典型值差别很大的值 中值滤波在一定条件下 可以克服线性滤波器 厂 东工业大学工学硕士论文 如均值滤波等 所带来的图像细节模糊 而且对滤除脉冲干扰即图像扫描噪声最 为有效 在实际计算过程中并不需要图像的统计特性 也给计算带来不少方便 但是对一些细节多 特别是线 顶尖等细节多的图像不宜采用中值滤波 2 1 2 4 高斯平滑滤波算法 高斯滤波器是一类根据高斯函数的形状来选择相应权值的线性平滑滤波 1 高斯平滑滤波器对去除服从正态分布的噪声很有效的 一维零均值的高斯 函数为 上 g 算 p 2 一 2 1 4 其中 高斯分布参数盯决定了高斯滤波器的宽度 对图像处理来说 常用二 维零均值离散高斯函数作平滑滤波器 函数表达式 幽 g f e 2 一 2 一1 5 高斯函数具有五个重要性质 这些性质使得它在早期图像处理中特别有用 这些性质表明 高斯平滑滤波器无论在空间域还是在频率域都是十分有效的滤波 器 高斯函数的五个十分重要的性质是 1 二维高斯函数具有旋转对称性 即滤波器在各个方向上的平滑程度是相同的 一般来说 一幅图像的边缘方向是事先不知道的 因此 在滤波前是无法确定 一个方向上比另一个方向上需要更多的平滑 旋转对称性意味着高斯平滑滤波 器在后续边缘检测中不会偏向任一方向 2 高斯函数是单值函数 这表明 高斯滤波器用像素邻域的加权均值来代替该 点的像素值 而每一邻域像素点权值是随该点与中心点的距离单调增减的 这 一性质是很重要的 因为边缘是一种图像局部特征 如果平滑运算对离算子中 心很远的象素点仍然有很大作用 则平滑运算会使图像失真 3 高斯函数的傅立叶变换频谱是单瓣的 这一性质表明高斯函数傅立叶变换等 于高斯函数本身 图像常被不希望的高频信号所污染 噪声和细纹理 而所希 望的图像特征 如边缘 既含有低频分量 又有高频分量 高斯傅立叶变换的 单瓣意味着平滑图像不会被不需要的高频信号所污染 同时保留了所需信号 4 高斯滤波器宽度 决定着平滑程度 是由参数盯表征的 而且盯和平滑程度的 关系是非常简单的 盯越大 高斯滤波器的频带就越宽 平滑程度越好 通过 第二章卡片检测视觉系统设计相关理论与实现工具 调节平滑程度参数盯 可在图像特征过分模糊 过平滑 和平滑图像中由于噪声 和细纹理所引起的过多的不希望突变量 欠平滑 之间取得折中 5 由于高斯函数的可分离性 大高斯滤波器可以得以有效地实现 二维高斯函 数卷积可以分两步来进行 首先将图像与一维高斯函数进行卷积 然后将卷积 结果与方向垂直的相同一维高斯函数卷积 因此二维高斯滤波器的计算量随滤 波模板宽度成线性增长而不是成平方增长 线性滤波器有完善的理论基础 数学处理方便 易于采用f f t 和硬件实现 等优点 但是线性滤波器存在着计算复杂度高 不便于实时处理等缺点 虽然它 对高斯噪声有良好的平滑作用 但对脉冲信号干扰和其它形式的噪声干扰抑制效 果差 信号边缘模糊 而中值滤波器 比较理想地将图像从噪声中恢复出来 并 且能保护图像的轮廓边界 不使其变模糊 2 1 3 图像分割方法 图像分割的结果是图像特征提取和识别等图像理解的基础 只有在图像被分 割后 图像的分析才成为可能 图像分割在计算机视觉和图像识别的各种应用系 统中占有相当重要的地位 它是研制和开发计算机视觉系统 字符识别和目标自 动获取等图像识别和理解系统首先要解决的问题 自2 0 世纪7 0 年代至今 已提出上千种各种类型的分割算法 如 门限法 匹配法 区域生长法 分裂一合并法 水线法 1 马尔可夫随机场模型法 多尺度法 小波分析法 数学形态学 等 这些分割算法都是针对某 一类型图像 某一具体的应用问题而提出的 并没有一种适合所有图像的通用分 割算法 通用方法和策略仍面临着巨大的困难 本节重点研究基于闽值的图像分 割方法和阈值选取策略 2 1 3 1 基于阈值分割方法 基于阈值的分割方法是一种应用十分广泛的图像分割技术 闽值分割方法的 实质是利用图像的灰度直方图信息得到用于分割的阈值 它用一个或几个闽值将 图像的灰度级分为几个部分 认为属于同一个部分的象素是同一个物体 阈值 分割方法的最大特点是计算简单 在实时图像处理中 它得到了广泛的应用 基 广东工业大学工学硕士论文 于阈值的分割方法主要有以下几种 1 全局单阈值法 该方法的基本思想是 当灰度级直方图具有双峰特性时 选取两峰之间的谷 对应的灰度级作为阈值 如果背景的灰度值在整个图像中可以合理地看作为恒 定 而且所有物体与背景都具有几乎相同的对比度 那么 选择一个正确的 固 定的全局闽值会有较好的效果 这种方法虽然简单易行 但是因为同一个直方图 可能对应若干种不同的图像 所以使用双峰法需要有一定的图像先验知识 而且 该方法不适合用于直方图中的双峰差别很大或双峰之间的谷部较宽广而平坦或 者只有单峰的图像 2 自适应阈值 自适应阈值就是对原始图像分块 对每一块区域根据一般的方法选取局部阈 值进行分割 由于各个子图的阈值化是独立进行的 所以在相邻子图像边界处的 阈值会有突变 因此应该以采用适当的平滑技术消除这种不连续性 子图像之间 的相互交叠也有利于减小这种不连续性 自适应闽值常用的方法有 c h o 霄和k a n d e k o 哳1 将图像均匀划分成若干不相重叠的7 x 7 子图像 对每个具有 双峰直方图的子图像用最小误差法确定闽值 而对于具有单峰直方图的子图像 由内插得到分割阈值 b e r n s e n 1 出了一种比较简单的局部阈值法 它是对每个像素确定以它为中 心的一个窗口 计算窗口内灰度级的最大值和最小值 并取其平均值作为阈值 总的来说 这类算法的时间和空间复杂度都较大 但是抗噪能力强 对一些 使用全局阈值法不宜分割的图像具有较好的分割效果 3 多阈值分割 在多阈值分割中 分割是根据不同区域的特点得到几个目标对象 所以提取 每一个目标需要采用不同的阈值 也就是说要使用多个阈值才能将它们分开 这 就是多阈值分割 对于多闺值分割 常用的方法有 幅值分割方法啮1 和递归的多 阈值方法幽川 2 1 3 2 基于熵的分割 熵是平均信息量的表征 在数字图像处理和模式识别上有很多应用 熵的定 义为 1 4 第二章卡片检测视觉系统设计相关理论与实现工具 h e 酊 一 s 1 0 甙s f i h 称为熵 其中 是信息的描述 墨 l o 颤1 s 一l o 甙s e 表示的是信息 量的期望值 s 是随机变量i 的概率密度函数 对于数字图像 i 可以是灰度 区 域灰度 梯度等特征 基于熵的图像分割方法 减少了图像分割造成的信息损失 且对图像的统计 特性无特殊要求 因此可用于复杂背景图像的分割 常用的基于熵的图像分割方法有 最大熵法 和最小交叉熵法 1 2 1 3 3 基于色度和空间的分割方法 该方法主要是用来对彩色图像进行分割 彩色图像分割算法包括基于颜色像 素的图像分割算法和基于区域 也就是基于空间 的图像分割方法 基于图像颜色像素信息的方法一般包括闽值直方图和聚类方法 比如 模糊 k m e a n 模糊c m e a n f c m 方法 唧等 在这些方法中 阈值直方图由于其简 单性 且能保证图像处理的实时性而倍受人们的关注 其常用的技术有多阈值分 割技术 和自适应阈值技术 等 但上述基于颜色信息的方法在选取阈值时 只考虑了图像的象素颜色信息 没有考虑空间信息 因此在进行图像分割时经常 会得出不符合人的视觉的结果 基于图像空间信息的图像分割方法可以分成两种 其一是利用图像区域 像 素 之间的边缘进行图像分割 其二是利用区域 像素 之间的邻接和相似性进行 图像区域生长与合并算法进行图像分割 而且区域生长可以看作是区域合并的一 个特例 尽管基于区域的图像分割既考虑到彩色空间中颜色的贡献 又考虑到与 邻近像素之间的联系 是一种比较有效的图像分割方法 但是 在具体应用过程 中 这种方法或多或少将受到如下诸因素的限制 1 区域个数主要依赖于初始种 子数的选择 如果初始种子数选择不当 也会得出不符合人的视觉的分割结果 2 生长与合并起停规则的合理制定 对于彩色图像分割 既要选择合适的颜色空间 也要采用适合此空间的分割 策略和方法 目前 采用传统单一的方法来分割彩色图像 在大多数情况卜都不 广东工业大学工学硕士论文 能满足实际要求 2 1 3 4 基于g a b o r 小波纹理分割方法 纹理是图像中一个重要而又难以描述的特性 至今还没有公认的定义 但是 纹理图像对于我们来说是非常熟悉的 通过观察可以看出 纹理图像在局部区域 内呈现出了不规则性 而在整体上却表现出某种规律性 习惯上把图像中这种局 部不规则 而在整体上又有规律的特性称为纹理 它具有粗糙性 周期性 方向 性 尺度性 由于纹理表现出准周期性的统计特征 不 一j 的纹理有一个主要频率和其它一 些次要频率分量 其频带宽度一般较窄 而g a b o r 小波滤波器是一组窄带带通滤波 器 在空间域和频率域均有较好的分辨能力 有明显的方向选择和频率选择 特性 因此适合用于分析 处理纹理图像 基于g a b o r 小波纹理分割方法的基本步骤如下 1 纹理特征提取对于纹理特征的提取 采用g a b o r 小波滤波器 获得一组初始 的纹理特征 采用线性技术 能够得到输入纹理图像的不同局部特征 如反 映空间频率和方向变化的特征等 2 纹理分类属于同一纹理区域的象素点有相同的纹理特征 在特征空间中彼 此令i 近 无监督图像分割就把这些象素点进行分类 也可采用无监督的 h o p f i e l d 神经网络 通过松弛迭代算法实现纹理图像的快速分割 由于本系统是在高速运动的流水线上拍摄运动物体 以及周围复杂环境对打 光的影响 导致拍摄的图像亮度不均匀 图像存在一定程度的运动模糊 加上各 种成像噪声以及喷点噪声 本文采用基于局部区域特征的可变阈值分割法 对待 识别字符区域进行闽值化处理 具体算法将在第三章中论述 2 2 人工神经网络及其在字符识别中的应用 2 2 1 神经网络简介 神经网络是人们在模仿人脑处理问题的过程中发展起来的一种新型智能信 息处理理论 它通过大量的称为神经元的简单处理单元构成非线性动力学系统 第二章卡片检测视觉系统设汁相关理论与实现工具 对人脑的形象思维 联想记忆等进行模拟和抽象 实现与人脑相似的学习 识别 记忆等信息处理能力 1 9 4 3 年 心里学家m c c u l l o c h 和数学家p i t t s 合作提出了形式神经元的数 学模型 成为人工神经网络研究的开端 1 9 4 9 年 心理学家d 0 h e b b 提出神经 网络的学习算法 为人工神经网络的发展奠定了基础 现代串行计算机的奠基人 v o nn e u m a n n 在2 0 世纪5 0 年代就已注意到计算机与人脑结构的差异 对类似于 神经网络的分布系统做了许多研究 5 0 年代末 r o s e n b l a t t 提出了感知器模型 首先把神经网络的研究付诸工程实践 引起了许多科学家的必趣 1 9 6 9 年 人 工智能创始人之一的m i n s k y 和p a p e r t 以 感知器 为名出版了一本书 从数学 上深入分析了感知器的原理 指出了其局限性 加之当时串行计算机正处于全盛 发展时期 早期的人工智能研究也取得了很大成就 从而掩盖了发展新的计算模 型的迫切性 使有关神经网络的研究热潮低落下来 在此期间仍有不少科学家坚 持这一领域的研究 对此后的神经网络研究提供了很好的理论基础 1 9 8 2 年 h o p f i e l d 提出了神经网络的一种数学模型 引入了能量函数的概 念 研究了网络的动力学性质 紧接着又设计出用电子线路实现这一网络的方案 同时开拓了神经网络用于