（机械设计及理论专业论文）棒材自动计数在线图像处理方法应用研究.pdf

一 m e t h o d s b yf e n g 处p i n g s u p e r v i s o r ：a s s i s t a n tp r o f e s s o rh a nq i n g d a n o r t h e a s t e r nu n i v e r s i t y j u n e2 0 0 8 k l i 墟 i _ 【- | u - _ 、 、p t 一 东北大学硕士学位论文 摘要 棒材自动计数在线图像处理方法应用研究 摘要 钢厂棒材的定量打包仍停留在比较低的水平上。棒材的计数靠人工进行，这项工作 机械单调，误差难免，给产品销售带来麻烦。研制自动化程度较高的计数打包系统成了 钢厂的现实需要。鉴于现场情况复杂特殊，采用光电传感器和重量传感器检测的计数方 案都无法满足要求，本文提出了基于数字图像处理技术的自动计数方案。该方案是在打 包之前对传送带上的棒材计数，这对棒材生产线的自动化及生产与销售的便利化更具意 义。 为了实现棒材自动计数这个目标，我东北大学设备诊断工程中心与抚顺新钢铁有限 责任公司对“棒材自动计数系统”进行了联合开发，本论文主要围绕“基于图像处理方 法的棒材计数系统”实现方法进行图像处理方法的研究。论文包括三部分内容：简要介 绍了棒材计数软件编程的基础；重点是通过对棒材图像的处理方法研究，分别提出了图 像分割方法和二值图像形态学处理的方法；棒材图像目标标记与计数的方法研究。 在对现场图像处理的算法研究与实现上，现场图像因为工艺的不同分两类。一类是 棒材端面较亮( 发白) 的图像，对这类图像采取灰度阈值分割的策略得到了二值图；另 一类是棒材端面普遍发蓝或发黄的亮度较暗图像，本文对这类图像采用伪彩色编码实现 了灰度图像到彩色图像的转化，进而获得到较好的灰度转化图，最后得到了比较理想的 二值图像，达到准确计数。 本文主要研究即包括图像的预处理、图像分割和图像识别。在图像的预处理部分， 本文重点研究了图像的二值变换算法。在图像分割部分，本文采用了基于r o b e n s 算子， s o b e l 算子，p r e w i t t 算子，k r i s c h 算子，c a n n y 算子等边缘检测算法，其中重点是c a i l n y 算子的应用。对于图像的识别计数，本文使用了种子搜索法和面积法，重点是种子搜索 法的应用，先对处理好的二值图像进行距离变换，得到各个区域的核心点，再对这些核 心点进行搜索，进而实现对棒材的计数。 关键字：棒材；计数；灰度图像；伪彩色图像；图像分割 i i j 、 人t ， j ：j ， ， -， ， l 气 x 一 、 东北大学硕士学位论文 a b s t r a c t r e c o g n i t i o n i i lt h ep a r to fi m a g ep r e t r e a t m e n t ，t h i sp a p e rf o c u s e so nt h eb i n a r yi m a g e s t r a n s f 0 姗a l g o r i t h m i nt h ep a r t0 fi m a g es e g m e n t a t i o n ，t h i sp a p e ri s b a s e do nt h ee d g e d e t e c t i o na l g o r i t h ms u c ha sr o b e n s0 p e r a t o r ，s o b e lo p e r a t o r ，p r e w i t to p e r a t o r ，l ( r i s c h o p e r a t o r ，c a n n yo p e r a t o r 锄ds oo n 1 m ec a i l n yo p e r a t o ri s t h em o s ti m p o n a n to fa ui n t h i s p a p e r i nt h ei m a g ei e c o g n i t i o nc o u n t i n gp a n ，i nt h i sp a p e r ，t h eu s e0 f t h es e e dl a wa n dt h e s e a r c ha r e ao fl a w w i t haf o c u so ns e e dl a wo fs e a r c h ，f i r s t l y ，d o i n gd i s t a n c et m s f o 加a t i o nt 0 t h ep r o c e s s e db i n a r yi m a g e s ，t h e ny o uc a ng e tt h ec o r e so fa ur e g i o n s ，s e a r c ho nt h e s ec o r e s p o t sa g a i na n d a c h i e v et h eb a rc o u n ta t1 a s t k e yw o r d s ：s t e e lb a r ；c o u n t i n g ；g r a yh n a g e ；p s e u d o c o l o “m a g e ；i i i l a g cs e 舯e n t a t i o n i v j y ， 囊 - ， 东北大学硕士学位论文目录 目录 独创性声明i 摘要i i a b s t r a c t i i i 第1 章绪论1 1 1 课题背景和来源1 1 2 国内外的研究现状2 1 2 1 数字图像处理在过程控制领域的应用2 1 2 2 数字图像处理在棒材计数过程中的应用3 1 2 3 目前棒材数目统计技术的研究现状4 1 3 棒材自动计数的研究意义6 1 4 课题主要研究工作”6 1 5 论文的结构6 第2 章棒材计数软件编程实现基础8 2 1 数字图像及图像文件格式8 2 2 系统软件开发环境1 0 2 3 系统软件总体流程“1 1 2 3 1 获取数字图像一1 1 2 3 2 图像感兴趣区域提取1 2 2 3 3 图像分害0 1 2 2 3 4 搜索计数1 3 2 4d i b 函数库1 3 第3 章图像预处理：1 5 3 1 数字图像预处理概述1 5 3 2 彩色图像的灰度变换1 6 3 2 1 图像调色板1 7 3 2 2 灰度图像一1 7 3 2 3 图像的灰度化1 8 v 东北大学硕士学位论文 目 三2 2 薹12 3l 3 2 4 图像的灰度拉伸 3 3 图像二值化” 3 3 1 迭代阈值法 3 3 2 最小误差法” 3 3 3 最大类间方差法 3 3 4 最小偏态法 3 3 5 效果对比分析2 6 3 4 图像增强2 8 3 4 1 图像增强概述2 8 3 4 2 图像的平滑处理2 8 3 4 3 图像的伪彩色编码一3 1 3 5 图像的形态学处理”3 2 3 5 1 形态学基本原理一3 2 3 5 2 数学形态学中的基本符号3 3 3 5 3 ：常用形态学算法3 4 3 5 4 形态学处理在棒材图像处理中的应用3 7 第4 章棒材图像边缘检测与轮廓跟踪4 0 4 1 边缘检测的基本概念4 0 4 2 一些经典的边缘检测算子4 1 4 2 1 差分边缘检测4 1 4 2 2r o b e r t s 算子”4 1 4 2 3s o b e l 算子4 2 4 2 4p r e w i t t 算子4 3 4 2 5 i s c h 边缘算子4 5 4 2 6l a p l a c e 算子”4 5 4 2 7c a n n v 算子一4 7 4 3 实验结果对比分析：5 0 第5 章棒材计数算法研究及实验结果分析5 4 5 1 棒材数目统计算法5 4 5 1 1 种子搜索法计数5 4 5 1 2 面积法计数5 7 5 2 实验结果分析5 9 v i 东北大学硕士学位论文目录 5 2 1 图像处理算法流程图分析5 9 5 2 2 棒材的位置及大小对计数的影响6 1 第6 章结论与展望6 4 6 1 结论与创新点6 4 6 2 未来工作6 4 附录6 6 参考文献7 2 致谢7 6 j 东北大学硕士学位论文第1 章绪论 第1 章绪论 本章首先简要介绍本课题的背景和来源，接着概述相关问题的国内外研究现状， 随后提出了课题的主要研究工作，最后对论文的结构进行了说明。 1 1 课题背景和来源 钢厂棒材的定量打包仍停留在比较低的水平上。棒材的计数靠人工进行，这项工作 机械单调，工作人员长时间的高度紧张，极易产生精神恍惚、疲劳，人工计数结果受人 为因素影响较大，误差难免，给产品销售带来麻烦。把计数人员从长期枯燥的事务中解 脱出来，研制自动化程度较高的计数打包系统成了钢厂的现实需要。 最初的生产线本是以链轮形式的机械手分拣棒材来实现计数的，但小直径棒材难以 分开，加之故障率高，已被钢厂拆除。科研人员曾采用光电传感器的方法来计数，这种 方法对于单排、不粘连的棒材是可以实现准确计数的，但生产线经常会出现多排的、粘 连严重的情况，这种方法得到的结果误差非常大，无法接受。也有人考虑采用重量传感 器的方法计数。但钢厂为了获取较高的经济效益，尽可能的采用负公差【l j 生产，而且负 公差由于受工艺的影响也不恒定，加之棒材落入打包架时冲击非常大，所以采用重量传 感器的检测方案也难以满足要求，必须探索新的方案。 目前，棒材的分捆打包设备自动化程度也不高，需要进一步改进。液压装置体积小， 重量轻，动作灵活，力量大，控制、调节和操作比较方便，它与自动计数系统联合控制， 可以容易地实现复杂的自动工作循环和远距离控制1 2 j ，这些特点，很好地满足了对打包 设备的要求。 近年来，随着科学技术的迅猛发展，计算机运算速度越来越快，高质量图像获取设 备的价格日益下降，加之高效的图像处理算法不断涌现，图像处理技术在过程控制领域 应用越来越多。我们知道，由于图像文件数据量庞大，以前受处理能力的限制，数字图 像处理技术在工业现场并未得到广泛应用。现在我们可以通过获得棒材生产线合适部位 的图像，并通过对图像进行数字处理，来实现对生产线上的棒材自动计数。 综合上述考虑，本课题以数字图像处理技术为基础，结合成熟的自动化技术，研制 一套全新的棒材定量打包系统，满足生产所需，进而提高钢厂生产线自动化水平。 本课题由东北大学设备诊断工程中心与抚顺新钢铁有限责任公司联合开发。该课题 已由辛颖、宋增旺等同学做过相应研究，但均处于实验室研究阶段，而本人将实验室研 究转向现场研究，由于系统涉及多个专业，研制工作量较大，需要多人分工完成。我的 工作主要集中在数字图像处理部分，目标是对抚顺钢厂现场棒材端面数字图像进行处 理，实现棒材的在线计数，其他研究工作由他人完成。 1 东北大学硕士学位论文第1 章绪论 1 2 国内外的研究现状 1 2 1 数字图像处理在过程控制领域的应用 近年来，不断提高的计算机处理能力和越来越多的现实要求促进了数字图像处理技 术的推广，使其在通讯、航天探测、遥感、生物医学、军事公安、视频多媒体、工业工 程等领域获得了非常广泛的应用1 3 】。现仅就与本课题研究对象、研究方法相关的有关研 究作一介绍。 荷兰有公司推出了一套计算机系统可用来跟踪和观察动物的行为。研究人员可以检 索视频图像中有兴趣的片断，深入研究动物行为与习性。图像处理软件与w i n d o w s 兼 容，用户可以设定感兴趣的区域，一旦动物进入这个区域两三秒钟，系统会自动供给动 物食物l 训。 交通与公共场所是实时视频图像处理技术应用最成熟的领域。通过对视频图像经过 滤波、特征抽取与匹配、并利用神经网络理论判断，可以得到重要路段的实时交通【5 j 信 息。香港城市大学利用图像处理技术和神经网络理论，估计地铁站台人群密度1 6 j 。我国 内地学者也进行了类似研究。利用普通c c d 采集图像，综合利用帧间图像差异和消除 背景图像的处理技术来有效监测图像中的运动人群，并依据所检测的图像前景区域面积 与整个图像有效面积的比例来估测当前图像中人群数目【7 】。还有人利用实时视频图像识 别技术，通过颜色模型转换、减影、膨胀、聚类、匹配、跟踪手段，实现了对无规则行 进队伍的人员进行识别、检测与计数【引。另外，几年来公路系统中车牌、车型识别成为 一个热点，使用了图像增强、图像分割、图像匹配与识别等等多种手段【9 】【1 0 】【1 l 】【1 2 1 3 1 ，成 果喜人。 在自动生产线上，视频图像处理技术也获得成功的应用。通过对图像运动补偿滤波， 图像特征参数提取等方法实现传送带上运动物体的图像恢复及几何参数测量，并将其应 用到羽毛球生产中毛片在线弯度、粗细测量中【1 4 】。 火腿肠生产线需要判断火腿肠是否到达某点。图像获取后，并不对整帧图像进行处 理，只是处理火腿肠的前端区域，大大减少了数据处理量，采用一般配置的计算机就能 实现实时处理1 1 5 j 。 有时检测生产线产品异常也用到数字图像处理技术。先用c c d 摄像机和视频采集 卡采集数据获取图像，去除图像中不必要的部分，平滑直方图去除噪声信号，按合适的 阈值得到二值图像，最后评判和决策【1 6 】。 焊缝检测利用实时图像处理技术能获得高质量的图像，并能提高工作效率。针对焊 件检测过程中需大量采集和分析实时图像的要求，利用小波分析的特点，相关跟踪识别 视频图像运动状态，实现自动采集，分析处理存储一并完成【1 7 l 。 2 厶 东北大学硕士学位论文第1 章绪论 但是，数字图像处理技术毕竟是一门涉及计算机应用、网络、通信、多媒体、光学 等等的综合技术，对计算机硬件和软件要求较高，其在民用领域特别是自动生产线上应 用还不是很多，没有通用的办法能解决所有问题。绝大多数实用方案都与具体问题的特 点和研究者个人对技术手段的了解密切相关，但我们还是可以分析参考已有的成果。归 根到底，还是要深入分析我们课题的实际特点，提出合适可行的解决方案。 1 2 2 数字图像处理在棒材计数过程中的应用 在棒材计数方面，数字图像处理技术在国内已有相对研究，也有不少应用事例，并 取得一些成果，但是远远不能满足复杂的环境需求，不够完善。 有人通过获取成捆棒材端面的灰度图像，采用局部阈值化技术对图像进行阈值分割 获得二值图像；然后实施形态学运算，使粘连部分彼此分离；最后通过8 一邻域标注计 数【1 8 】。由于实施了形态学运算，为了克服粘连和伪目标带来的误差，在算法中引入了“修 正原则”。而“修正原则 受人为影响甚大，且一旦确定，并不能保证算法有很强的适 应性。 针对棒材端面图像粘连严重的问题，周群、胡光锐提出了基于模板覆刮1 9 j 的计数方 法，该方法能有效克服图像粘连问题，但其结果在很大程度上依赖于预处理时所得到的 二值图像的质量，对普遍发蓝的棒材端面难以识别，所以存在一定的局限性。 为了提高计数的准确性，王培珍等人提出了融合计数的方法l 冽1 2 1 1 。他们采用特征级 目标特性融合的方案对初始分割的结果以加权平均的方法加以关联融合，以提高图像分 割的准确性。 针对同一批次棒材横截面形状大致是圆形、相差不大的特点，李强、陈遵德在模板 匹配中引入几何和模糊数学的思想，提出了基于模糊圆周模板匹配的方法瞄j 。该方法中 的模糊圆周模板是由一个隶属函数确定的具有一定半径和线宽的圆周数据，匹配时判断 待匹配位图中的物体与模板中的模糊圆周的相似程度。遗憾的是，某些普遍发蓝的棒材 端面并非该方法中预设的“大致是圆形”的前提条件，所以其适用性和准确性不很高。 以上这些工作都有一个共同的特点，它们处理的都是灰度图像，仅仅适用于棒材端 面比较光亮的情况。对于普遍发蓝的棒材端面图像，用上述方法分割后端面会发生严重 的变形，计数结果不可避免地会带来较大误差。 另一方面，上述工作的工作对象都是针对打包后的棒材端面图像计数，属于“事后 计数 性质，即使计数准确，也无法保证每次打包数量的恒定性，仍然会给后续的销售 工作带来麻烦。由于打包之前生产线每批次棒材数目的随机性，为了使每次打包的棒材 数稳定在一定水平，钢厂仍然需要安排人员在打包前进行人工计数。显然，在打包之前 实现自动计数，对于提高生产线自动化水平，具有更为重要的实际意义。须指出的是， 同“事后计数”相比，这种“过程计数”对实时性要求更高，需要探索高效的算法。其 3 场和应用前景。本课题就是针对棒材的计数，通过采集线材端面图像进行自动化计数的 研究。 长沙天海分析检测自动化有限公司设计出一种棒材点支计数仪【2 5 1 ，如图1 1 所示， 它是一种针对钢铁企业质量、计量检验检测部门对实施定尺轧制的成捆棒材的包装数量 进行检验和抽查而设计的笔型专用仪表。 图1 1 棒材点支计数仪 f i g 1 1b a r sc a l c u l a t i n gi n s t m m e n t 它的计数原理是在装置的头部加装一个有颜色的笔头，手持仪器垂直对准被计数物 件轻压一下使其着色，仪器即可自动记录次数，并产生1 次声、光提示；反复循环使所 4 东北大学硕士学位论文第1 章绪论 有物件着色，仪器即可记录下其累计值，并在显示屏上显示。它通过在棒材表面着色， 减低了对工人记忆的要求，提高了计数准确率、在一定程度上提高了计数速度，但是它 仍然是一种基于人工的计数仪器，效率提高不够明显。 在章家岩的棒材生产在线计数问题的研究1 2 6 j 一文中提出了种用光电方法进行 计数的实现方式。它是针对钢铁棒材生产工艺现状，分析棒材传输过程中的运行规律， 采用双重传感器检测手段和技术设计的自动计数电路及机电一体化检测装置。它通过棒 材随流水线横向经过光电感应器件时，会阻挡光线，随棒材连接情况的不同产生不等宽 度的光线扫描波形，通过计算波形宽度得到相应的棒材数目。 光电方法棒材计数系统的实现原理如图1 2 所示， 螨= 缸一 懈 棒结n 懈 黼嘉厂 r 厂 nn 厂 爰凳墨嚣霎l | | l 团l | 1 i l l 陬l | | | | | l l 弼脚i | 1 ；l 册| 1 1 0 l l 雕l 团l | 1 1 1 f o l o l0 翻l l 经向驻裹 | 一一i - 一i卜一一ii i 卜叫卜一l 图1 2 光电方法棒材计数系统的实现原理 f i g 1 2t h ea c h i e v i i l gp 血c i p l eo fp h o t o e l e c t r i cm e t h o do fc o u n t i n gs y s t e m 但是这种设计方法是以棒材通过光线扫描器件形成的间隔为计数依据的，这样做将 棒材的二维端面信息转换为一维的直线信息，造成了一定的信息损失，如果图1 2 所示 的第四个连接区域的下面两个棒材结合更加紧密，或者当连续有多根棒材以此类情况重 叠堆放连接，就会造成径向距离与棒材数目之间的线性比例关系被破坏，从而使计数准 确性降低。 从上世纪8 0 年代末，国内开始从事使用计算机图像处理的方法进行线材的在线自 动计数研究，结合图像处理方法在医学细胞图像分割中的应用【2 7 】【2 8 】【2 9 】【3 0 1 【3 1 】【3 2 1 ，取得了 一定的成果，但还处于理论研究阶段，没有出现成熟的产品。1 9 9 4 年上海钢铁三厂研制 了棒材在线计数仪【3 3 1 ，该仪器采用模板覆盖技术对所采集的图像进行计算机识别、计数。 其后，山东莱芜钢厂与安徽工业大学合作也进行了此类研究，发表了采用数学形态学方 法进行准确计数阴l 的论文。上海第二工业大学与合肥工业大学也都发表了这方面的论 文，前者采用极限腐蚀的方法f 3 5 】，后者采用信息融合和边缘检测的方法【3 6 1 。 5 东北大学硕士学位论文第1 章绪论 总之，从8 0 年代末，国内就开始了用数字图像处理方法进行棒材在线计数的研究， 在一定的限制条件下，试验了一些算法，取得了很大的进展【3 7 1 ，但距离可广泛应用于棒 材生产工业的成熟系统尚有差距，还需要进一步提高系统图像处理的能力和计数精度。 1 3 棒材自动计数的研究意义 棒材计数问题是长期困扰我国钢铁企业的一个难题，既使在世界范围内也没有得到 很好的解决。棒材图像识别系统的研制与开发，是实现棒材自动计数的一个重要组成部 分，因此本课题具有很重要的现实意义。 首先，棒材图像计数系统的研发有利于降低钢铁企业的成本，提高企业的生产率， 促进钢铁企业的进一步发展，填补该项目在国内的空白。由于钢铁企业是我国的支柱产 业，而且，钢材是我国工业和建筑业不可替代的材料，钢铁企业的稳步发展必将带动整 个国民经济的发展，因此具有重要的现实意义。 其次，棒材图像计数系统的研发具有很高的经济价值。随着国民经济的快速发展， 钢材在国民经济生活中占据着越来越重要的地位，而钢铁企业为了提高劳动生产率，越 来越迫切的希望实现棒材的自动计数。 最后，棒材图像识别系统的研发将促进图像处理与识别技术的发展，加快图像处理 与识别技术的产业化进程。本课题的研究不仅适用于冶金工业的棒材自动计数，而且对 其它相似领域，这是本课题的另一个价值所在。 1 4 课题主要研究工作 本文的主要研究工作是针对“事前计数 的要求，首先，选择适合棒材计数系统所 需要的软件程序，能够完成棒材端面图像的采集，并转换成相应的格式传送到计算机中。 其次，对采集到的图像如棒材端面光亮的图像以及棒材端面普遍发蓝或发黄的图像 进行分析处理，算法研究，最终获得较为满意的二值图，进而提出能有效识别棒材根数 的算法，并对其进行实验验证；对棒材排列杂乱无章，端面参差不齐，以及有遮挡的情 况时的棒材图片进行研究，达到准确计数。 最后，运用v c + + 软件编译该计数系统，验证系统的实用范围，并提出完善系统的 一些建议。 1 5 论文的结构 第一章概述了课题背景和课题来源，国内外的研究现状，以及论文的主要研究工作； 第二章介绍了棒材计数软件编程的实现基础，包括软件的开发环境和编程语言的选 择，软件开发的总体流程图，以及个别程序函数的简要介绍； 第三章集中介绍了与本课题研究相关的数字图像处理基础，包括灰白端面图像的分 6 东北大学硕士学位论文第1 章绪论 割和发蓝或发黄端面图像的处理，这是计数前的最为重要和关键的处理； 第四章着重介绍图像的边缘检测算法，为后序的棒材计数提供帮助； 第五章着重论述了棒材计数算法研究及实验结果分析； 第六章对全文进行总结并提出了未来工作； 最后是致谢和参考文献。 - 7 东北大学硕士学位论文第2 章棒材计数软件编程实现基础 第2 章棒材计数软件编程实现基础 本系统中的硬件部分由图像采集、外部控制和显示等三个模块构成，其中包含了计 算机控制系统、线扫描c c d 摄像头、摄像头移动导轨及电机驱动系统、照明系统、稳 压电源、控制开关和电子显示屏等几部分。由于计数效果的好坏完全取决于拍摄图像的 质量，因此硬件系统的各个环节均十分重要。为了达到良好的计数效果，必须科学的选 择各个器件。 要完成棒材的自动计数就必须对输入的图像进行预处理、分析识别等操作。虽然自 动检测技术应用成功的实例为我们提供了许多算法和经验，但是针对不同的处理问题需 要我们自己来编制适合不同要求的软。因此系统的软件编制和处理算法的研究是系统设 计的重点和难点。 系统软件所要完成的主要功能为：操作环境为中文，操作方式为键盘、鼠标双重有 效；能完成对输入图像的处理及识别，实现棒材的自动计数，并对计数结果进行保存， 以备查询。 根据棒材在线自动计数系统的工作原理，图像采集卡驱动程序提供了丰富的库函 数，可以用来对图像采集卡采集参数和采集过程进行设置。函数库函数可以在s u a lc + + 环境下方便地调用。 从本章开始，将展开介绍对图像的处理。这是本文的研究重点。为了便于后文的叙 述及全文结构的严整性，本章介绍棒材计数软件编程基础。 2 1 数字图像及图像文件格式 由于计算机只接受和处理数字量，因此需要将一幅模拟图像， ，y ) 的坐标x 、y 及 幅度厂离散化。取那些离散点的函数值的过程成为图像取样，那些离散点的函数值成为 样本，对样本值离散化称为量化，取样和量化过程称为数字化，被数字化后的图像称为 数字图像【3 9 】f 加1 。一幅数字图像可定义为由二维函数组成的一个数字矩阵，其行和列用x 和y 表示，x 和y 同时是空间坐标，而在任何一对空问坐标( x ，y ) 上的幅值厂 ，y ) 称为该 点图像的强度或灰度。x ，y 取值范围为大于等于o 的整数，最大值由图像设备硬件决 定。 图像根据其颜色性质可分为灰度图和彩色图。灰度图( g r a y s c a l e ) 是指只含亮度信 息，不含彩色信息的图像。灰度中像素的灰度值分为0 2 5 5 共2 6 6 个值，0 最暗，表示 纯黑色，2 5 5 最亮，表示白色，中间值表示不同亮度的灰色。 对于彩色图像，最常见的观点认为每种颜色都是由红( r ) 、绿( g ) 、蓝( b ) 三原 色合成的。同灰度图相比，彩色图中每个像素含有红、绿、蓝三种颜色分量的亮度值， 8 一 东北大学硕士学位论文第2 章棒材计数软件编程实现基础 每个亮度值取值范围也为0 2 5 5 。 图像文件有很多种格式，其中图像处理所涉及的图像格式有t i f 、j e m p 、b m p 等 等。b m p 图像作为、i n d o w s 环境下主要的图像格式之一，以其格式简单，适应性强而 倍受欢迎。本文处理的图像即为2 5 6 级的狄度b m p 图像和伪彩色b m p 图像。 本文的研究工作中，软件的编写都是基于图像的b m p 格式的，程序操作与b m p 格 式密切相关，所以必须清楚b m p 文件的结构。一个b m p 文件1 4 1 】大体上可分为4 个部 分： 第一部分为位图文件头b i t m a p f i l e h e a d e r ，它是一个结构，其定义如下： t y p e d e fs t r u c tt a g b i t 【a p f i l e h e a d e r w o r d b 仃i y p e ； d w o r db f s i z e ； w o r db 瓜e s e r v e d l ： w o r db 瓜e a e r v e d 2 ： d w o r db f o f ! f b i t s ： ) b 删a p f i l e h e a d e r ，e p 汛宰l p b l t m a p f i l e h e a d e r ， p b i t 【a p f i l e h e a d e r ； 该结构的长度是固定的，为1 4 个字节。其中，b 仃y p e 指定文件类型，所有“b m p ” 文件的头两个字节都是“b m ”；b f s i z e 指定文件大小，包括1 4 个字节；b 依e s e e d l 、 b 依e a e r v e d 2 是保留字，无含义；b f o f m i t s 是从文件头到实际的位图数据的偏移字节数。 第二部分为位图信息头b i t m a p i n f o h e a d e r ，它也是一个结构： t y p e d e f s t r u c tt a g b i t m a p i n f o h e a d e r d w o r db i s i z e ； l o n gb i 、m d t h ： l o n g b i h e i g l l t ； w o r d b i p l a l l e s ； w o r db i b i t c o u n t ； d w o r d b i c 0 m p r e s s i o n ； d w o r d b i s i z e i i i l a g e ； l o n g b i x p e l s p e r m e t e f ； l o n gb i y p e l s p e r m e t e r ： d w o r db i c l r u s e d ： d w o r db i c l r i m p o r t a n t ； b i t m a p i n f o h e a d e r ，f a r 木l p b i t m a p l n f o h e a d e r ， 謇p b i t m a l p i n f o h e a d e r ： 9 东北大学硕士学位论文 笫2 章棒材计数软件编程实现基础 该结构的长度也是固定的，为4 0 个字节。其中，b i s i z e 指定这个结构的长度，为 4 0 个字节；b i w i d t h 、b i h e i 曲t 指定图像的宽度和高度，单位是像素；b i b i t c o u n t 指定表 示颜色时要用到的位数，图像为黑白二色图时其值为1 ，2 5 6 色时其值为8 ，真彩色时其 值为2 4 。程序获取此参数可判别图像的类型。b i c o m p r e s s i o n 表明位图是否被压缩； b i s i z e i i i l a g e 指定实际位图占用的字节数，b i s i z e l l l l a g e = b i w i d t h b i h e i g l l t ，b i w i d t h 表示 大于或等于b i w i d t h 的离4 的整数倍最近的数；b i x p e l s p e r m e t e r 和b i y p e l s p e r m e t e r 指目 标设备的水平分辨率和垂直分辨率，单位是像素米。 第三部分是调色板。有些位图需要调色板，有些位图如真彩色图不需要调色板，它 们的b i t m a p i n f o h e a d e r 后面直接是位图数据。调色板实际上是一个数组，共有 b i c l r u s e d 个元素。数组中每个元素的类型是一个结构，依次表示蓝色( b ) 、绿色( g ) 、 红色( r ) 分量值。 第四部分是图像的数据。对于用到调色板的位图，图像数据就是该像素颜色在调色 板中的索引值，对于真彩色图，图像数据是实际的r 、g 、b 值。 一般来说，b m p 文件的数据是从下到上、从左到右的。即从文件中最先读到的是 最下面一行的左边第一个像素，然后是左边第二个像素接下来是倒数第二行左边第一 个像素，左边第二个像素依次类推，最后得到的是最上面一行的最右一个像素。真彩 色图像中每个像素的三个颜色分量，第一个字节为蓝色分量( b ) ，第二个为绿色分量( g ) ， 第三个字节为红色分量( r ) ，这是应该注意的。 2 2 系统软件开发环境 w i n d o w s 操作系统以其友好的界面、良好的性能得到了广泛的应用，开发w i n d o w s 下的视频图像处理软件为时势所趋。 s u a lc + + 是w i n d o w s 环境下最重要的应用开发系统，它实时性好，运行速度快， 是开发图像处理、图像通信及其应用程序的良好工具。比如，w i n d o w s 中最基本最常 见的编程模式是图形设备接口( g d i ) ，任何时候当程序需要实现在屏幕上显示时，都需 要调用g d i 函数。在v i s u a lc + + 下能够有效地使用g d i ，实现对图像图形的操作。其次， v i s u a lc + + 提供了非常方便的动态链接库向导，支持正规d l l 的编写，从而可以将部分 图像处理功能做成动态链接库，提高图像处理的灵活性。充分利用这些有利因素，可以 减轻一般图像操作程序繁琐的编制工作，将主要精力投向面向课题技术目标的软件设计 中去。当然，如何有效地利用这些现成的图像处理程序，并结合课题实际要求，开发高 效的具有实时性和实用性的视频图像计数软件，是程序编写过程中需要注意的问题。 图像采集卡驱动程序和v i s u a lc + + 是兼容的，可以在v i s u a lc + + 环境下调用图像采 集卡驱动程序提供的丰富的库函数，这给软件丌发工作带来了非常大的便利。 基于上述原因，本课题的软件丌发工作在w i n d o w s x p 操作系统中v i s u a lc + + 环境 】0 东北大学硕士学位论文第2 章棒材计数软件编程实现基础 下实现。 。， 2 3 系统软件总体流程 棒材计数系统软件总体流程如图2 1 。下面介绍其中的几个重要环节： 图2 1 棒材计数系统软件总体流程图 f i g 2 1b a rc o u n tn o wc h a r to ft h e0 v e r a us y s t e m s o f 咐a f c 2 3 1 获取数字图像 首先根据参考文献【4 2 】设置图像采集的有关参数，内容包括：分配系统资源、释放图 像卡资源占用、设置图像卡视频源输入通道、视频源颜色值、图像卡视频源制式、图像 卡视频源采集格式、视频源窗口大小、图像显示窗口大小等等。系统初始化和参数设置 之后，可调用内存采集函数将激活的实时图像采集到内存。图像采集卡将摄像机摄取的 1 1 东北大学硕士学位论文 第2 章棒材计数软件编程实现基础 模拟图像信号转换成数字图像信号，使计算机得到所需要的数字图像信号。图像采集卡 对摄像机输出的景物的视频信号进行实时采集，经a d 转换将数字图像存放在图像存储 单元的一个或多个通道中，通过计算机发出指令，将某一帧图像静止在图像存储通道中， 即采集或捕获了一帧图像，计算机对采集的图像进行处理，采集卡上的d a 转换电路自 动将图像实时显示在图像监视器上。 棒材自动计数图像处理系统要求采集到的图像能清晰、正确、稳定地反映被测棒材 的视觉信息。因此要求采集卡空间分辨率高、灰度精度高、处理速度快、有良好的颜色 校正能力等。 2 3 2 图像感兴趣区域提取 在采集到的图像中，链传送带上的棒材成条形排列，所占区域只是整副图像中很小 的一部分。实际上我们感兴趣的只是棒材所在的一片区域，其他地区对棒材的计数没有 意义。为了节省后续处理的时间，减少不必要的干扰，可对图像进行感兴趣区域提取， 只保留棒材所在的狭长区域。 须注意的是，伪彩色图像数据存储时，每个像素存储了红绿蓝三个颜色分量的值， 所有像素红绿蓝分量色度值依次排列，如果限制区域的起始点位于一个像素三个颜色分 量内部，那么得到的图像颜色序列在显示时经过行排列就可能失真，如果刚好位于两像 素之间，则不会失真。为了解决这个问题，把起始点坐标值除以3 ，对商取整，再将商 乘以3 ，这样就保证起始点坐标值是3 的整数倍，就不会出现颜色失真了。 2 3 3 图像分割 图像分割1 4 3 】【删1 4 5 1 1 4 7 】【4 8 】根据棒材生产的工艺分两种情况：一种情况是棒材端面主 体呈高亮的灰白色，只有少数孤立小区域发暗，对这种情况先将其直接转换为灰度图。 一般情况下将2 4 位位图图像每个像素用三个字节表示，每个字节对应着尺、g 、曰分 量的亮度，转换后的黑白图像的一个像素用一个字节表示该点的灰度值，它的值在0 2 5 5 之间，数值越大，该点越白，即越亮，越小则越黑。 转换公式为【2 7 1 ： g 凡哕( f ，- ，) = 0 3 r o ，) + 0 5 9 g o ，) + 0 1 1 b o ，_ ，) ( 2 1 ) 其中o ，j ) 表示位于第f 行第j 列的像素，g r 口y ( f ，_ ) 为转换后的黑白图像在o ，j ) 点处 的灰度值。再对灰度图进行灰度阈值分割，其结果为二值图像。另一种情况是棒材端面 主体普遍发蓝( 含发黄发紫) ，即整幅位图图像比较偏暗时的情况。针对这种情况的位 图，要首先对其进行伪彩色编码，这样将目标与背景明显的区别歼，之后再进行灰度化，进 而得到较为理想的二值图像。二值图像是只含纯黑和纯白的图像，数据量小，二值化可 12 东北大学硕士学位论文第2 章棒材计数软件编程实现基础 以提高后续处理速度。 f t。 2 3 4 搜索计数 对得到的二值图像进行种子搜索计数或面积法计数。经实验证明，种子搜索计数法 是相对目前人们通用的棒材点支计数仪以及光电法计数等有较多的优点，对棒材图像， 经图像处理后，种子搜索法基本能够较准确计数。详细原理后文叙述。 2 4d i b 函数库 v i s u a lc + + 的编译器提供了丰富的m f c ( m i c r o s o f tf o u n d a t i o nl i b r a r v ) 类库【捌，给 编程带来了极大的便利。但m f c 中没有封装d i b 。d i b 是d e v i c e i n d e p e n d e n tb i t m a p ( 设备无关位图) 的缩写，它自带颜色信息，因此调色板【2 6 】管理非常容易。任何运行 w i n d o w s 的计算机都可以处理d l b ，它通常以b m p 文件的形式被保存在磁盘中或者作 为资源保存在e 文件和d l l 文件中。为了后面使用d i b 的方便，有必要先建立d i b 函数库。d i b 函数库包含了常用的d i b 操作函数，其函数原型和功能如下： ( 1 ) b o o lw i n a p ip a i l n d i b ( h d ch d c ，l p r e c tl p d c r e c t ，h d i bh d i b ，l p r e c t l p d i b r e c t ，c p a l e t t e 宰p p a l ) 该函数主要用来绘制d i b 对象。输出的设备由由参数h d c 指 定；绘制的矩形区域由参数l p d c r e c t 指定；输出d i b 的区域由参数l p d i b r e c t 指定。 ( 2 ) b o o 【，w l n a p ic r e a t e d i b p a l e t t e ( h d i bh d i b ，c p a l e t t e 木p p a l ) 该函数按照d i b 创建一个逻辑调色板，从d l b 中读取颜色表并存到调色板中，最后按照该逻辑调色板创 建一个新的调色板，并返回该调色板的句柄，这样可以用最好的颜色来显示d i b 图像。 ，( 3 ) l p s t rw 玳a p if i n d d i b b i t s ( l p s t rl p b i ) 该函数计算d i b 中图像象素的起始 位置，并返回指向它的指针。 ( 4 ) d w o r dw 玳a p id i b w i d t h ( l p s t rl p d i b ) 该函数返回d i b 中图像的 宽度。对于、m n d o w s3 0d i b ，返回b i t m a p i n f o h e a d e r 中的b i w i d t h 值；对于其它 返回b 丌m a p c o r e h