（电路与系统专业论文）面向捆扎棒材计数系统的图像处理算法研究.pdf

摘要 摘要 统计捆扎棒材支数是钢铁企业在仓库管理和销售过程中必不可少的一个环 节。目前，钢铁企业普遍采用人工手动的原始方法统计捆扎棒材中的棒材数目。 这种原始的人工手动统计方法枯燥繁重且效率低下，还可能出现棒材计数 员错误计数甚至恶意虚假计数的现象。因此，人工手动的统计方法已经成为制 约钢铁企业管理自动化的一种瓶颈。本课题来源于国内某钢铁物流公司在捆扎 棒材计数自动化方面的实际需求，根据公司要求研制捆扎棒材自动计数系统。 本文结合捆扎棒材自动计数系统的功能和应用场合。提出了一种小型便携 的基于a r m 9 嵌入式硬件平台的计数系统，设计并实现了硬件电路和计数软件。 捆扎棒材自动计数系统选用s 3 c 2 4 4 0 a 芯片作为嵌入式微处理器，w m d o w s e m b e d d e dc e6 0 作为嵌入式操作系统，并在此基础上开发了计数软件，实现了 现场图像采集、实时图像处理和显示计数结果等功能。 本文提出了一种适合课题要求的图像预处理和识别计数方法，并在嵌入式 平台上实现。本文使用o v 9 6 5 0 数字图像传感器采集捆扎棒材图像，通过多边形 区域选择的方法提取感兴趣区域，预处理感兴趣区域得到棒材断面二值图像， 提出基于连通性和圆形度检测的多模板匹配算法识别棒材并显示计数结果。和 现有的模板匹配算法相比，主要有以下两点改进：首先，该算法采用多个模板 探测可能性更大的匹配点，并仅在可能的匹配点上执行相似度运算，从而减少 了在非匹配点上的运算时间，提高了算法的实时性。其次，在衡量相似度时综 合考虑棒材断面的面积、连通性和圆形度特征，能够有效克服棒材被识别之后 的残留像素对后续模板匹配的干扰，提高了计数精度和识别准确度。为了方便 用户判断计数结果的优劣性，本文的计数软件除了用数字显示计数结果外，还 用红色区域标识了被识别棒材的位置。 实验结果表明，该系统计数效果良好，能够满足钢铁企业对棒材计数自动 化的需求。 关键词：计数模板匹配连通性圆形度 a b s t r a e t a b s t r a c t c o u n t i n gt h en u m b e ro f b u n d l e ds t e e lb a r si sa ne s s e n t i a lp a r ti nt h ew a r e h o u s e m a n a g e m e n ta n ds a l e sp r o c e s so f i r o na n ds t e e le r 吐e r p r i s e s a tp r e s e r e , i nt h ei r o na n d s t e e le n t e r p r i s e s ，t h eo r i g i n a lm a n u a lm e t h o di sc o i t l r r l o l l l yu s e dt oc o u n tt h en u m b e r o fb u n d l e ds t e e lb a r s t l l eo r i g i n a lr r 皿n u a lm e t h o di sb o r i n g 。h e a v ya n di n e f f i c i e n t , w h i c hm a yc a i i s c $ c o u n t i n ge l t o i s ，e v e nt h ep h e n o m e n o nt h a tt h eb a rc o u n t e r m a l i c i o u s l ya n df a l s e l yc o u r t st h en u m b e ro fb a r s t i m - e f o r e ，t h em a n u a lc o u n t i n g m e t h o dh a sb e c o m eab o t t l e n e c kw h i c hr e s t r i c t i n gt h em a n a g e m e r 吐a u t o m a t i o no f i r o na n ds t e e lc m e r p r i s e s n l i ss 刨e c ti sd e r i v e dl 丘- o mad o m e s t i ci r o na n ds t e e l l o g i s t i c sc o m p a n yw h i c hh a s t h ea c t u a ld e m a n di nb u n d l e ds t e e lb a r sc o u n t i n g a u t o m a t i o n , a n dd e v e l o p st h eb u n d l e ds t e e lb a r sa u t o m a t i cc o u n t i n gs y s t e mb y r e q u i r e m e r 吐so f t h ec o m p a n y i nt h i s p a p e r , c o r 曲i n i n gf u n c t i o na n da p p f i e a t i o no ft h eb u n d l e ds t e e lb a r s a u t o r m t i ec o u r t i n gs y s t e m , i ts m a l lp o r t a b i ec o u n t i n gs y s t e mb a s e do i la r m 9 e m b e d d e dh a r d w a r ep l a t f o r mi sp r o p o s e x l , b o t ho ft h eh a l d w a l ec k e u i ta n dt h e c o u n t i n gs o t t w a r e 纠呛d e s i g n e da n di m p l e m c n t e a i nt h eb u n d l e ds t e e lb a r sa u t o r m t i e c o u n t i n gs y s t e m , s 3 e 2 4 4 0 ai s u s e da st h ee r c 出e d d e d m i e r o p r o e es s o r , w i n d o w s e m b e d d e dc e6 0i su s e d 髂t h ee m b e d d e do p e r a t i n gs y s t e m , a n db a s e d0 1 1t h i s ，t h i s p a p e rd e v e l o p st h ee o u m i n gs o t t w a r e ，w h i c hr e a l i z e df u n c t i o n ss u c ha sf i e l di m a g e a c q u i s i t i o n , r e a lt i m ei m a g ep r o c e s s i n g , a n dc o u n t i n gr e s u l ts h o w i n g , t h 瓷p a p e rp r o p o s e sa s e to fm e t h o dw h i c hi ss u i t a b l ef o rt h es u b j e c t , i n c l u d e s r e q u i r e m e r 吐i r n a g cp r e p r o e e s s i n g ，r e c o g n i t i o na n de o u r 吐i n & a n dr e a l i z e di ti nt h e e m b e d d e dp l a t f o r m t h i sp a p e ra e q u k e sb u n d l e ds t e e lb a r si m a g eb yt h e d i g i t a l i m a g e 璐o r0 v 9 6 5 0 ，e x t r a c t sr e g i o no fi n t e r e s tb yt h ep o l y g o na 他as e l e c t i o n m e t h o d ，p r e p r o c e s s e st h er e g i o no fi n t e r e s tt og e tt h eb i n a r yi m a g eo fb a rs e c t i o n , p r o p o s e s8t e m p l a t em a t c h i n gb a s e do i lc o n r 譬c t i v i t ya n dc i r c u l a r i t yd e t e c t i o nt o i d e r c i f yb a r sa n ds h o wt h ec o u n t i n gr e s u l t c o m p a r e dw i t he x i s t i n gt e m p l a t e m a t c h i n ga l g o r i t h m s 。t h e 聘a 糟t w oi m p r o v e m e n t sa sf o l l o w s f i r s t l y , t h ea l g o r i t h m p r o b e st h e n l o l e l i k e l y m a t c hp o i n t s b ym u l t i p l = t e m p l a t e s 。a n do n l yc o m p u t e s - 塑型 s i n c a r i t yo nt h e s em a t c hp o i n t s ，s ot h a tt h ec o m p u t i n gt i m eo nt h e s e1 1 0 1 1 m a t c h p o i n t si sr e d u c e d ，t h er e a lt i m ea b i l i t yo ft h ea l g o r i t h mi si m p r o v e d s e c o n d l y , t h e s i m i l a r i t yi t b a s l e em e t h o dc o n s i d e r i n gm u l t i p l ef e a t m e so ft h eb a rs e c t i o n , i n c l u d e s a r e a , c o n n e c t i v i t ya n dci c u h r i t y , i tc a ne f f e c t i v e l yo v e r c o m et h ei n t e r f e r e m eo f r e s i d u a lp i x e l sa t i e rt h eb a rh a sb e e ni d e n t i f i e dt ot h ef d l l o w - u pt e m p l a t em a t c h i n g , i m p r o v et h ec o u n t i n gp r e c i s i o na n dc o v e r i n ga c c u r a c y i no r d e rt of a c i l i t a t eu s e r st o j u d g ew h e t h e rt h ec o u n t i n gr e s u l ti sc o r r e c t , i na d d i t i o nt os h o wt h ec o u n t i n gr e s u l t s w i t hn u m b e r , t h ec o u n t i n gs o f t w a r eo ft h i sp a p e ra l s o i d e r 吐i f i e st h ep o s i t i o no ft h e r e c o g n i z e db a rw i t har e da r e a t h ee x p e r i m e r m lr e s u l t ss h o wt b a tt h es y s t e mc a nc o u n tt h eb u n d l e db 铷瞎 e f f e c t i v e l y , a n dc a l ls a t i s f yt h ed e m a n do ft h ei r o na n ds t e e le n t e r p r i s e s0 1 1s t e e lb a r s c o u n t i n ga u t o r r 皿t i o n k e yw or d s ：c o u r l i n g ，t e m pl a t ec o v e r i n g ，c o n n e c t i v i t y , ci r c u l a r i t y m l 绪论 1 绪论 1 1 课题的背景、来源和意义 近年来，随着科学技术的发展和社会的进步，人们对生活和工作过程中的 自动化程度要求越来越高。国内的钢铁企业也不例外，其中一项是实现自动计 算捆扎棒材中的棒材数目。 钢铁企业为提高自身的经营效益，普遍采用负公差轧制的方式生产棒材1 。 国家规定了棒材的型号( 直径) 标准以及允许的误差范围，公差是对允许误差 范围的简称。负公差轧制的生产方式是指在生产时使棒材的实际尺寸略小于国 标，但误差在允许的范围内，这种方式使单支棒材的实际重量小于其理论重量。 钢铁企业采用将总支数乘以单支棒材的理论重量计重并定价的销售方式，一定 程度上增加了销售利润。棒材在存储和销售时通常捆扎在一起，不同型号的棒 材捆扎支数有不同的标准。然而，由于某些原因，捆扎棒材钢的实际支数可能 和标准支数不符，因此，钢铁企业的仓库管理管理员在记录棒材的库存量时， 就需要逐捆确认棒材的支数。另外，也存在采购人员对捆扎棒材的支数质疑的 现象。综上可知，统计捆扎棒材中的棒材数目是钢铁企业在仓库管理和销售过 程中必不可少的一个环节，具有重要的意义。 目前，钢铁企业普遍采用人工手动的原始方法统计捆扎棒材中的棒材数目。 在统计过程中，棒材计数员用毛笔蘸取广告色或彩色油漆来标记己计数的棒材， 当整捆棒材都标记完成后实现对棒材数目的统计。实际上，捆扎棒材中的棒材 数目从数十支到数百支不等，棒材计数员在枯燥繁重的“眼看心算 统计过程 中很容易因分神而出错，得到错误的统计结果。在这种情况下，棒材计数员不 得不使用另外一种颜色重新统计被错误计数的捆扎棒材。可见，这种原始的人 工手动统计方法枯燥繁重且效率低下，还可能出现棒材计数员错误计数甚至恶 意虚假计数的现象。因此，人工手动的统计方法已经成为制约钢铁企业管理自 动化的一种瓶颈，钢铁企业迫切需求一种能够自动统计捆扎棒材支数的新型装 置。 l 绪论 对象自动识别技术是数字图像处理的一种重要应用p 儿，它通过研究人眼识 别对象的机制，利用计算机模仿人眼分析和理解图像中对象的特征去识别对象。 以前，由于对象自动识别方法运算量较大，计算机处理速度相对较慢，使得基 于数字图像处理的自动识别检测系统的实时性通常不能满足要求，没有在工业 现场被广泛应用。近年来，随着计算机处理能力的提高，人们摆脱了数字图像 处理系统实时性的束缚，对象自动识别技术在工业现场中的应用也越来越多。 同样，捆扎棒材支数的自动统计也可以采用对象自动识别技术来解决。首先采 集单捆捆扎棒材的图像，然后利用棒材断面的图像特征去识别单根棒材并实现 自动数目统计。 本课题来源于国内某钢铁物流公司对捆扎棒材计数自动化的实际需求。捆 扎棒材自动计数系统的研究和设计对于改善棒材计数员的枯燥繁重的工作方 式、提高工作效率和计数准确度、杜绝恶意虚假计数、节省人力成本及管理自 动化等方面都具有重要的意义。 1 2 国内外研究现状 钢铁企业中棒材数目统计自动化问题可分为在线棒材自动计数和捆扎棒材 自动计数两种。在线自动棒材计数是指在棒材生产线上分批统计棒材支数，累 加计数结果并定支捆扎，不同规格的棒材有不同的捆扎支数标准。捆扎棒材自 动计数是指统计捆扎后的成捆棒材中的棒材支数，通常出现在仓库管理和销售 环节中。在采用图像处理的方法统计棒材数目时，在线棒材自动计数由于棒材 数目较少，棒材间的距离比较分散且摆放整齐，能够取得较好的效果。然而。 在线棒材自动计数的图像处理方法并不完全适用于捆扎棒材自动计数，原因是 捆扎棒材中棒材数目多间距小，还可能存在部分捆扎整齐度较差的棒材，影响 了识别计数的精确度。 国外在捆扎棒材自动计数方面的文献较少。2 0 0 6 年，美国的c h a dg e , o r 萨、 j a n 偿sw o l f e r 等r 1 提出了一种群体智能混合算法来统计堆叠对称物体的数目，并 应用在钢管棒材的自动计数中，取得了较好效果。 国内从2 0 世纪8 0 年代末期开始研究棒材的自动计数问题，至今已有数位 研究人员或机构提出了不同的解决方案。 2 邓凯，谢树林等p 1 首先采用基于o s m 算法的欠阈值分割方法提取棒材断面， 其次运用形态学处理消除棒材断面间相互连通的现象，然后采用连通域标记算 法计算棒材断面的平均面积，最后通过比较每个连通域的实际面积和平均面积 实现棒材数目统计。用数字显示计数结果。欠阈值分割方法虽然能够有效减小 棒材断面局部区域灰度较小现象的影响，但是加剧了棒材断面间相互连通的现 象，甚至会形成一个由多支相邻棒材构成的大的连通域，仅依赖形态学处理很 难将其分开。面积法比较简单，运行速度快，但仅利用了连通域中像素个数的 信息，故而计数精确度不高。同时，用数字显示计数结果的方式不利于棒材计 数员对计数结果的优劣性进行判断，很难发现计数误差产生的原因。 李邦明h 首先对对采集到的彩色图像进行感兴趣区域提取，将捆扎棒材图像 和背景图像分离，再采用二值化的方法分割出棒材断面区域，然后采用形态学 处理将棒材断面分割成孤立的连通区域，最后标记连通域并根据参考面积计数。 该方案的感兴趣区域提取有利于减小背景图像的干扰，但是在后续处理中过于 依赖形态学算法的处理，可能将局部区域灰度较小的棒材断面从二值图像中去 除，影响计数结果的准确性。 王培珍、杨维翰等。采用图像融合的方法提取捆扎棒材断面，分别采用二维 阈值法和边缘检测法分割图像，然后采用遗传算法融合两幅分割图像，以期得 到最优的结果。该方法能够有效减小棒材断面局部灰度较小现象的影响，但难 以消除棒材断面间相互连通的现象。 邹应国和康宜华嗍在采集图像前向棒材断面喷涂闪光银色油漆，采用阈值分 割的方法提取棒材断面，并通过寻找圆心点的方法辨识棒材。 陈浩，王景中等p 儿1 7 1 对二值化后的棒材断面图像采用基于凹点分割的方法消 除连通现象，并通过寻找类圆圆心的方法辨识棒材。凹点分割的思想基于棒材 断面是近似圆形的假设，认为在两根棒材的连通处必会形成一对凹点，凹点的 连线能够将连通棒材分割开来，从而消除相互连通现象的干扰。 宋强，徐科等u 通过分步阈值法分割图像，第一步用较大阈值消除连通现 象。然后将具有最大图像距离的前景点作为棒材断面中心：第二步用较小阈值 消除孔洞，再次依据图像距离寻找棒材断面中心，中心点的个数之和即为棒材 数目。 周群和胡光锐卅在二值化后采用模板覆盖法辨识棒材断面，在虚覆盖时利 l 绪论 用模板中心点和目标对象在该行的左右端点之间的距离关系来确定模板中心点 的最佳位置，然后计算模板覆盖下的目标像素个数，并判断是否覆盖了一个完 整的棒材端面。该方案能够有效克服相邻棒材相互连通现象的影响，并能标出 被识别棒材的位置，直观显示计数结果。但是仅利用了棒材断面的面积特征， 棒材定位不够准确，且逐点覆盖的方法实时性较差。 其他研究人员也提出来了一些不同的解决方案。，限于篇幅不一一列举。 已提出的方案虽然已经取得了一定的成果，但是并不具有普遍适应性，不能被 大规模应用于工业现场，系统的计数准确度和实时性都有待提高。 1 3 论文主要工作与结构安排 本课题针对捆扎棒材的图像特征和计数系统的应用场合，设计了一套实现 棒材自动计数的数字图像处理方法，提出了一种改进的基于连通性和圆形度检 测的多模板匹配算法，开发了用于棒材自动计数的嵌入式硬件系统和计数软件。 本论文的结构安排和各章节的主要内容如下： 第一章：绪论。首先阐述了本课题的背景、来源和意义，然后介绍了国内 外在棒材自动计数方面的研究现状。 第二章：嵌入式棒材计数系统设计。首先介绍了捆扎棒材自动计数系统的 总体设计方案，然后分别介绍了嵌入式硬件系统和计数软件的设计方法。 第三章：图像采集和预处理。首先介绍了捆扎棒材计数系统图像采集和感 兴趣区域提取的软件实现，然后按照计数软件的处理流程介绍了图像预处理的 方法和中间实验结果。 第四章：识别与计数。首先介绍了模板匹配算法，分析了传统模板匹配算 法实时性较差的原因，并给出了改进方法。然后介绍了棒材计数系统选择的模 板以及棒材断面识别计数算法，并分析了识别结果。 第五章：结论和展望。总结了本文的主要工作和后续研究的改进点。 4 2 嵌入式棒材计数系统设计 2 嵌入式棒材计数系统设计 2 1 系统总体方案设计 开发基于数字图像处理的嵌入式棒材计数系统的目的是取代人工对捆扎棒 材进行准确计数，从而提高计数效率，降低计数工人的劳动强度。本文提出的 棒材计数系统主要用于钢铁企业的仓库管理、物流、销售等过程中，为了使棒 材计数员能够随时随地对捆扎棒材进行计数，并及时判断计数结果的正确性， 在系统设计过程中除考虑计数系统的准确性和实时性等因素之外，还兼顾了便 携性和直观性。因此要求棒材计数系统具有以下功能和特点： ( 1 ) 能够现场采集并处理捆扎棒材图像； ( 2 ) 以数字形式实时显示计数结果； ( 3 ) 在原图像上标记已计数的棒材，方便棒材计数员判断结果的正确性。 ( 4 ) 方便棒材计数员携带和使用。 基于以上功能和特点。参考通用数字图像处理系统的结构，设计捆扎棒材 自动计数系统总体结构如图2 1 所示。 图2 1 捆扎棒材自动计数系统总体设计 2 嵌入式棒材计数系统设计 图2 1 中，棒材计数系统由硬件层和软件层两部分组成，硬件层是软件层的 载体。在硬件层中，选用c m o s 摄像头作为图像采集和数字化设备，将采集到 的模拟图像信号进行数字化处理，直接获得数字化的捆扎棒材图像。图像存储 设备采用s d r a m ，存储采集到的数字图像。为了减小棒材计数系统的体积和重 量，提高便携性，采用嵌入式微处理器作为图像处理设备，对采集到的数字图 像进行运算和识别。同样，考虑到便携性和易用性，采用集成了触摸屏功能的 t f t - l c d ( 薄膜晶体管液晶) 显示器来完成计数结果的显示和人机交互。 软件层由嵌入式操作系统和棒材计数软件构成。嵌入式操作系统介于底层 硬件设备和棒材计数软件之间，屏蔽了不同底层硬件设备之间的差别，为棒材 计数软件提供了统一的接口和服务。棒材计数软件的作用是采集捆扎棒材图像， 并通过输入的人工指令，采用数字图像处理的方法对采集到的捆扎棒材图像进 行运算处理和识别计数。 2 2 硬件系统设计 2 2 1 硬件系统结构设计 在设计棒材计数系统的硬件系统时，为了缩短开发周期，对飞凌公司的 0 k 2 4 4 0 核心板进行二次开发，采用了核心板加底板的设计方式。首先自行设计 了电路板底板，并利用核心板对底板进行调试，调试通过后，再进行核心板的 开发设计。硬件系统结构框图如图2 2 所示。 图2 2 硬件系统结构框图 6 2 嵌入式棒材计数系统设计 硬件系统包括电源电路模块、复位电路模块、基于a r m 9 ( 芯片为$ 3 c 2 4 4 0 a ) 的核心板模块、c m o s 摄像头模块、触摸屏和l c d 模块、u s b 接口模块、u a r t ( 通用异步串行口) 接口模块。 ( 1 ) 电源电路模块：为a r m 9 核心板和其他模块提供不同的电源供电电压。 ( 2 ) a r m 9 核心板模块：以s 3 c 2 4 4 0 a 微处理器为核心，内存为6 4 m ( 可扩 展至1 2 8 m ) s d r a m ，2 5 6 mn a n df l a s h 。$ 3 c 2 4 4 0 a 微处理器采用a m 9 2 0 t 内核和1 6 3 2 位赳s c 体系结构，具有高集成度，低功耗，高速处理的特点，最 高工作频率可达5 3 3 m h z ，适用于计算量较大的图像处理系统。主要功能是为嵌 入式操作系统、驱动程序、和棒材计数软件提供运行平台。 ( 3 ) 摄像头模块：采用美国o m n i v i s i o n 公司推出c m o s 图像传感器芯片 o v 9 6 5 0 ，图像分辨率最高可达1 3 0 万象素，电压要求低，是一种常用的嵌入式 摄像头设备，且其性能能够满足系统要求。主要功能是采集数字化捆扎棒材图 像。 ( 4 ) 触摸屏和l c d 模块：采用四线电阻式触摸屏和3 5 英寸的t - l c d 液 晶显示器，用于输入人工指令，辅助摄像头完成图像采集，并显示棒材计数软 件的计数结果。 ( 5 ) 复位电路：产生复位信号，使系统复位。 ( 6 ) u s b 接口模块：通过u s b 线和上位机相连，用于远程桌面连接、调试 以及部署棒材计数软件。 ( 7 ) u a r t 接口模块：通过串口线和上位机相连，用于下载操作系统、在调 试驱动程序和棒材计数软件的过程中打印串口调试信息。 2 2 2 电源电路设计 棒材计数硬件系统中，删9 核心板模块要求的电源电压为5 v ，摄像头模 块要求供电电压为3 3 v 和1 8 v ，触摸屏和l c d 模块、u s b 接口模块和u a r t 接口模块均要求5 v 电压供电。可以看出，电源电路需要提供5 v 、3 3 v 和1 8 v 3 个直流供电电压给不同的模块。本系统设计时是在实验室条件下进行试验和调 试的，因此没有采用电池供电的模式。采用2 2 0 v ( a c ) 一5 v ( d c ) 稳压电源 将2 2 0 v 市电交流电转换为5 v 直流电压输出，作为棒材计数硬件系统的电源供 电电压。3 3 v 和1 8 v 直流供电电压分别由5 v 电压通过d c d c 芯片l m l l l 7 3 3 7 2 嵌入式棒材计数系统设计 和l m l l l 7 1 8 输出。5 v 和3 3 v 电压输出的电路原理图如图2 3 所示。 图2 35 v 和3 3 v 电源电路原理图 1 8 v 电压输出的电路原理图如图2 4 所示。 图2 41 s v 电源电路原理图 2 2 3 摄像头模块设计 摄像头模块采用c m o s 图像传感器o v 9 6 5 0 ，通过一个2 0 引脚的双列直插 排座和电路板底板相连。o v 9 6 5 0 芯片具有v g a 、c i f 、q c w 、s x g a 等多种分 辨率和y c b c r 4 2 0 、y c b c r 4 2 2 、r a wr g b 等多种视频数据输出格式，数据输出 2 嵌入式棒材计数系统设计 格式8 1 6 位可选。该芯片采用的两线制s c c b ( s e r i a lc a m e r ac o n t r o lb u s ) 总线 是一种双向同步串行总线，和i i c 总线基本兼容，可以通过其实现对摄像头的控 制。摄像头模块和电路板底板的接口电路原理图如图2 5 所示。 图2 5 摄像头模块接口电路原理图 2 2 4 触摸屏和l e d 模块 触摸屏和l c d 模块采用一体化的四线电阻式触摸屏和3 5 英寸l c d ，通过 一个5 0 引脚的双列直插排座和电路板底板相连。触摸屏和l c d 模块和电路板 9 2 嵌入式棒材计数系统设计 底板的接口电路原理图如图2 6 所示。 图2 6 触摸屏和l c d 模块接口电路原理图 2 3 软件系统设计 完成捆扎棒材的自动计数需要采用数字图像处理算法对捆扎棒材图像进行 运算和处理。硬件系统是整个嵌入式捆扎棒材自动计数系统的基础，为软件系 统提供运行平台。然而，自动计数需要软件系统按照特定的处理算法来实现。 因此，软件系统的设计和图像处理算法的研究是嵌入式捆扎棒材自动计数系统 的核心。 2 3 1 系统软件开发环境 嵌入式操作系统是嵌入式系统重要组成组成部分，程序设计者可以不用过 1 0 2 嵌入式棒材计数系统设计 多了解底层硬件的工作原理，而将更多的精力放到软件设计上。常见的嵌入式 操作系统有很多种，如e m b e d d e dl i n u x 、w i n d o w sc e 、v x w o r k s 、p a l mo s 等。 本文基于以下几点考虑使用w i n d o w se m b e d d e dc e6 0 作为操作系统： ( 1 ) w i n d o w se m b e d d e dc e6 0 是m i c m s o r 公司推出的一款实时嵌入式操作 系统，具有开源性、模块化、图形用户界面友好等优点。 ( 2 ) m i c m s o t t 公司开放了w i n d o w se m b e d d e dc e6 0 中除g u i 图像用户界面 外的其它源代码，嵌入式设计人员可以选择其中的一部分，构建专用的操作系 统，从而缩短产品的开发周期。 ( 3 ) 和以前版本的内核相比，w i n d o w se m b e d d e dc e6 0 的内核具有3 2 0 0 0 个处理器的并发处理能力，单个处理的虚拟内存寻址空间为2 g b ，且系统能够 实时响应每个处理。 ( 4 ) w i n c ee m b e d d e dc e6 0 的a p i 集是w i n 3 2a p i 的一个子集，使得熟悉 w i n d o w s 程序设计的人能很快适应w i n c e 编程，并使w i n d o w s 下的图像处理应 用软件能够很容易地移植到w i n d o w sc e 平台。 m i c r o s o r 公司将v i s u a ls t u d i o2 0 0 5 专业版作为w i n c ee m b e d d e dc e6 0 的 一部分一起推出。慷ls t u d i o2 0 0 5 专业版是一种集成开发环境，具有较高的实 时性，运行速度快。p l a t f o r mb u i l d e r 被作为一个插件集成在其中，从而使整个 开发链一体化，缩短了产品开发周期。本文在开发计数软件时采用面向对象的 程序设计方式，以c + + 为语言基础，在v k u a ls t u d i o2 0 0 5 下开发了基于m f c 的 单文档视图结构的应用程序。 2 3 2 ib 类的构建 棒材计数系统处理对象的是设备无关位图( d i b ) 图像，但m f c 中并没有 定义用于处理d i b 图像的类，给面向对象的程序设计带来很多不便p “。为方便 应用，本文定义了一个c d 如类，并根据程序的需要封装了d i b 数据成员和成员 函数，用于d i b 位图的处理。 c b i t m a p 类是m f c 中用于操作d d b 设备相关位图的一个基础类，不具有 处理d i b 位图的操作方法，尤其是不支持文件串行化( s e r i a l i z a t i o n ) 操作。由 于d i b 位图在存储和交换时是一种文件形式，因此c b k r m p 类不适合作为c d m 类的父类。m f c 中有很多类派生自c o b j e e r 类，主要有以下两点原因。首先， 2 嵌入式棒材计数系统设计 派生类可以继承c o 协c c t 类为对象提供的以下服务：支持文件串行化，能够方便 地读写对象文件；支持运行时类型识别；支持错误诊断，检查对象的有效性并 打印诊断信息。其次，c o b j c c t 类数据成员和成员函数是最少的，从c o b j e c t 类 中派生出新类的成本较小。因此，本文定义的c d 如类选择从c o b j e c t 类派生。 考虑到d i b 位图文件的共有特点，本文定义的c d 幻类的成员函数具有下列 基本的操作方法：读写d i r 位图文件数据，用于打开和保存位图文件：将d i b 文件绘制在显示器或其他输出设备上，用于显示位图文件；输出d i b 位图文件 的图像特征或属性，如位图的分辨率、颜色深度等；输出d i b 位图文件的内存 分配状态，如图像数据块的起始地址、调色板的起始地址等。另外，除了以上 几种基本的操作方法，随着计数软件开发的深入，本文还逐步将用到的数字图 像处理算法添加到c d 玉类中。 2 3 3 捆扎棒材自动计数软件流程 捆扎棒材计数系统软件处理流程如图2 7 所示。 图像采集 i 一 - 。- - 。- - - 感兴趣区域提取 - 一 r i i ，1 i 图像处理和计数 i l i i 【一 r 计数结果显示 i l 图2 7 棒材计数系统软件处理流程 1 2 2 嵌入式棒材计数系统设计 图像采集和数字化部分：通过c m o s 摄像头o v 9 6 5 0 采集单帧捆扎棒材数 字图像，并保存在s d r a m 中，以备后续处理和识别。图像数据有多种存储格 式，从是否对图像数据进行压缩的角度可分为压缩格式和未压缩格式两类。常 见的压缩图像格式有j p e g 、g i f 等，其优点是压缩后的图像数据量较少，便于 传输和存储。b m p 图像格式是未压缩格式的典型代表，占用较大的数据存储空 间，但可以不经过解压缩的步骤直接进行对图像进行处理。本系统每采集一幅 捆扎棒材图像就会进行识别计数，在采集下一幅图像时会自动将已计数图像删 除，不需要考虑图像的数据存储空间。因此，选取b m p 格式来存储图像，有利 于提高系统的实时性。 感兴趣区域提取部分：在工业现场，棒材存放时通常堆叠在一起，在采集 某捆棒材的图像时，不可避免的会把不属于该捆的其它棒材采集到背景中，从 而对后续识别和处理造成干扰。因此，要对采集到的棒材图像进行感兴趣区域 提取，将该捆棒材图像提取出来，作为后续识别的原始图像。 图像处理和计数部分：运用特定的图像处理算法对棒材图像进行处理和识 别，判断图像上某区域是否存在棒材并计数。现场采集到的是2 4b i t 的r g b 8 8 8 格式的彩色图像，为了减少存储空间，对彩色图像执行灰度变换，转化为8b 赴 位图格式的灰度图像；在灰度图像中，大部分棒材的断面灰度和背景灰度有明 显差异，对灰度图像进行二值化处理，将棒材断面区域从背景中提取出来。对 二值图像执行数学形态学处理，平滑图像轮廓；用多模板覆盖算法搜索待定的 棒材断面区域的位置；用连通度和圆形度检测算法进一步判断在该区域中棒材 是否存在并计数： 计数结果显示部分：显示该幅捆扎棒材图像上的棒材支数。在用数字显示 该捆棒材支数的同时，在原始彩色图像上用红色区域标识出识别到的棒材的位 置，从而使用户能够直接观察计数结果，判断计数结果的准确性，作为人工修 正计数结果的依据。 2 3 4 软件界面及菜单功能 捆扎棒材自动计数软件由研制者自行开发。用户界面的菜单功能清晰，方 便用户操作。棒材计数软件的主菜单由文件、图像采集、图像处理、辅助操作 四部分组成并包含多个子菜单选项，实现不同的功能。棒材计数软件运行时 2 嵌入式棒材计数系统设计 的界面外观如图2 8 所示。 幽2 8 棒利计数系统软什运行时界面 文件菜单：包括打开图像、保存图像、图像另存为和退出四个子菜单，打 开图像子菜单的功能是使b m p 文件和c d i b 对象相关联，并利用文档视图结构 显示图像。保存图像和图像另存为子菜单的功能是将处理后的图像数据保存为 b 船文件。退出子菜单的功能是退出系统。 图像采集菜单：包括视频预览和拍照两个子菜单。视频预览子菜单用于帮 助用户在视频图像中定位待计数的捆扎棒材，以便选择最佳的距离和角度采集 图像。照相子菜单的功能是采集待计数的捆扎棒材图像，并保存为b m p 文件。 图像处理菜单：包括自动计数a 、自动计数b 、彩色图像灰度化、阈值分割、 形态学处理五个子菜单。自动计数a 子菜单的功能是处理捆扎棒材图像并显示 计数结果，采用基于连通性和圆形度检测的模板匹配算法识别棒材断面。最后 四个子菜单是在程序设计时为了调试方便而设置的，用于分步显示图像处理的 1 4 2 嵌入式棒材计数系统设计 效果，在软件设计完成后可以删除。彩色图像灰度化子菜单的功能是完成从彩 色图像到灰度图像的转换，并显示灰度图像。阈值分割子菜单用于灰度图像二 值化，并显示灰度图像。形态学处理子菜单采用半径为3 的平坦的o c t a g o nc a 边形) 结构元素执行了一次开运算操作，并显示处理后的图像。自动计数b 子 菜单的功能和自动计数b 子菜单类似，区别是在执行模板匹配算法时没有考虑 连通性和圆形度。 辅助操作菜单：包括多边形区域提取、多边形区域去除、设置模板直径、 调整模板直径、预处理力口、后处理加、后处理减7 个子菜单。多边形区域提 取和多边形区域去除子菜单用于感兴趣区域提取和不相干区域的去除，用户通 过触摸笔选取多边形区域的顶点。设置模板直径和调整模板直径子菜单用于在 自动计算的模板直径误差较大的情况下手动设置后重新计数。在计数前，若用 户发现图像中存在被遮挡或断面灰度较暗等会影响计数结果的棒材，预处理一 加子菜单可以在该处手动添加一个白色模板，从而该支棒材能够被图像处理程 序识别。在计数后，若用户发现存在未被识别的棒材或被错误识别为棒材的区 域，后处理一加和后处理一减子菜单能够在该处手动添加或去除一个红色模板， 同时计数结果加l 或减1 。 2 4 本章小结 本章首先分析了捆扎棒材自动计数系统应具备的功能和特点，然后据此给 出了系统的总体设计方案，介绍了各个模块的功能。然后介绍了捆扎棒材自动 计数系统中硬件系统的设计方法，重点阐述了电源电路、摄像头模块、触摸屏 和l c d 模块的电路设计。最后介绍了捆扎棒材自动计数系统中软件系统的设计 方法，重点阐述了系统软件开发环境的选择、c d i b 类的构建方法、捆扎棒材自 动计数软件处理流程、软件界面设计及菜单功能。 3 图像采集和预处理 3 图像采集和预处理 3 1 图像采集 3 1 1 视频预览 棒材计数系统是通过对捆扎棒材图像进行处理来识别计数的，因此首先需 要采集捆扎棒材图像。视频预览用于帮助用户从最佳的角度和距离定位捆扎棒 材，从而采集到合适的图片。视频预览的流程如图3 1 所示。 ， 、 ( 初始化 ) i 士 打开摄像头 上 设置摄像头信息 上 设置l c d 信息 1 l l 使能摄像头捕捉 r 结束、 图3 1 视频预览流程图 在初始化阶段，主要工作是填充c a m n f o ( 摄像头信息) 结构体d i s i n f o ( 显示信息) 结构体。c a m i n f o 结构体用于设置摄像头的类型、采集源的像素 1 6 3 图像采集和预处理 类型、预览( p ) 和编解码( c ) 通道的图像分辨率、编解码方式以及窗口的水 平和垂直偏移量等。d i s l n f o 结构体用于设置l e d 的显示分辨率和视频图像的 起始位置。在初始化之后，调用c r e a t f i l c o i 函数打开摄像头，获得摄像头句柄。 在打开摄像头后，应用程序对摄像头接口的控制都由d e v i c e l o c o n t r o l o 函数来完 成，只是不同的功能其控制字不同。c a mi o c t ls e tc a mn f o 控制字使用 c a m i n f o 结构设置相应的寄存器来更新摄像头信息，同时为预览通道和编解码 通道各分配4 组环形缓冲区，用于暂存这两个通道的图像数据。 c a mi o c t ls e td i si n f o 控制字使用初始化的d i s m o 结构体设置相应寄 存器来更新l c d 信息，并使显示使能变量d 卸l a y e m b l e = l 。最后，应用程序调 用i o c t lc a mc o n t 控制字使能摄像头捕获，驱动程序进入具有阻塞臌活模 式的中断服务线程。摄像头每采集一帧图像就会发出中断信号，激活中断服务 线程。在中断服务线程中，当显示使能变量d i s p h y e m b l e 为1 时，驱动程序先 判断应该读取预览通道中哪一组缓冲区中的数据，然后将数据从该缓冲区逐行 拷贝到l c d 缓冲区，显示一帧图像并结束中断。当摄像头采集图像的频率较快 时，视频预览图像产生。 3 1 2 照相 在视频预览图像的帮助下，用户通过点击棒材计数软件中的照相菜单，采 集单帧捆扎棒材图像。照相流程如图3 2 所示。 在初始化阶段，主要工作是分配两个缓冲区，一个用于暂存从编解码通道 读出的y c b c r 4 2 0 格式的图像数据，另一个用于存储转换后的r g b 8 8 8 格式的图 像数据。在分配缓冲区时，需要注意的是，w m d o w sc e 要求在内存中位图的每 一行数据必须对齐到一个双字( d w o r d ) 的边界，如果一行数据的