（通信与信息系统专业论文）目标自动识别算法研究及硬件实现.pdf

摘要 本文阐述了目前目标识别、跟踪系统的研究现状及相关技术的发展 动态：对可见光图像的分割、识别、跟踪算法进行了深入的、系统的研 究。结合高性能d s p ( t m s 3 2 0 c 6 2 0 2 ) 对实时图像目标识别、跟踪算法加 以实现。为了满足系统的宾时性要求，运用大规模可编程逻辑阵列c p l d 进行逻辑控制和现场可编程门阵列f p g a 对采集的视频图像做预处理。 最后提出了一种可行的实时图像识别、跟踪算法。 关键词：实时处i 里图像目标跟踪t m s 3 2 0 c 6 2 0 2f p g a 相关匹配图像目标识别搜索 a b s t r a c t 1 1 1 1 et h e s i sd e s c li b e st h es t a t eo fa u t o m a t i ct a r g e tr e c o g n i t i o n t r a c k s y s t e ma l l dt h ed e v e l o p i n gt r e n d so ft h er e l a t i v et e c h n o l o g y ，d e e p l ys y s t e m i c i e s c a l c ht h ei m a g es e g m e n t a t i o n ，r e c o g n i t i o na n dt r a c k i n ga l g o r i t h m t h e d s i ( d i g i t a ls i g n a lp r o c e s s o r ) ，w h i c h i s h i g h - s p e e d ，i n t e l l i g e n t a n d p r o ga m m a b l e ，i su s e d t or e a l i z et h ei m a g eo b j e c t r e c o g n i t i o n ，t r a c k a l g oi t h m l of e a 】i z et h er e a l t i m et r a c k i n gi m a g et a r g e t ，w eu s e t h e c i i ，1 ) ( c o n l p l e xpz + o g l , 。u n m a b l el o g i cd e v i c e ) t oc o n t r o lt h es y s t e ml o g i ca n d r i s ef i ( i a ( i ? i e l dp l o g r a m m a b l eg a t ea r r a y ) t op r e p r o c e s s i n gt h ei m a g e a t l a s t af e a s i b l er e a l - t i m ei m a g eo b j e c tr e c o g n i t i o nt r a c ka l g o r i t h mi s c o l l c l l i d e c lj nt l l et h e s i s k e ) , v o i 【i s ：r e a l t i m ep r o c e s s ，i m a g eo b j e c tt r a c k i n g ，t m s 3 2 0 c 6 2 0 2 ，f p g a c o n e l a t i o nm a t c h i n g ，i m a g eo b j e c tr e c o g n i t i o ns e a l c h 1 1 引言 第一章绪论 运动目标的检测、识别与跟踪技术是一个对实时性和识别精度有较 高要求的高科学技术。在过去的二十多年里，目标跟踪与识别一直是一 项非常活跃的研究领域。当前以自动f l 标识别( a t ra u t o m a t i ct ar g e t r e c o g n i t i o i l ) 为关键技术的领域是研究的重点和发展方向。 目标跟踪技术在许多领域内有着广泛而实际的应用。其中包括：导 弹的地形和地图匹配，飞机导航，武器投射系统的制导，光学和雷达的 图像跟踪，工业流水线的自动监测等等。 1 12 自动目标识别技术概述 自动目标检测、识别是指从通过成像系统进来的图像，自动地提取 目标并识别出来，即：通过一系列图像数据实现对目标的获取、识别和 跟踪。图像的类型主要有三种：可见光图像、红外图像、雷达图像。其 中可见光图像是通过光学成像原理得到的；红外图像是通过不同物体表 面辐射的热量不同的原理成像得到的：雷达图像是合成孔径雷达、毫米 波雷达、激光雷达等不同成像手段得到的图像。图像目标的范围主要是 空中目标( 如飞机) 、地面目标( 如坦克) 、和海上目标( 如军舰) 。这三 种图像的研究，由于其在军事领域中的重要意义，近年来一直受到各国 政府和军事科研机构的重视m 。 自动目标识别系统的主要算法包括图像数据的预处理、图像分割， 目标检测、特征提取、相关匹配，识别和归类、运动分析、目标跟踪、 瞄准点选择等”1 。目的是要实现这些功能的实时性，并应用于动态战术 环境。目前这些算法的研究，既有基于对以往算法的改进，同时也致力 于新算法的产生，尤其是将相关领域的研究成果应用进来，例如人工智 能、并行处理等技术，这就大大推动了自动目标识别技术的发展，从而 在软件上借助算法的改进和新算法的提出，同时在硬件上借助高速数字 信号处理器的开发和换代，使实时务件下实现目标的检测、提取、识别、 跟踪技术不仅成为可能，而且使准确性更高，实时性更强。 但是目前，自动目标识别技术研究仍存在很大的局限性。对于某类 目标的研究当在实验室中进行时可能识别效果很好，而一旦用于实际环 境中，由于许多不可预知的环境务件的影响，例如光照、气候，能见度 等，使得图像的识别变得困难，而不能正确识别。尤其当目标本身变得 复杂或是背景结构变得复杂时，目标的自动识别是非常困难的。例如对 于空中目标，天空中的云及光照等条件对其产生影响时，分割出来的目 标往往会产生断续或是目标与背景连续起来；而对于地面目标，当地形 变化，目标所处的自然环境变化时，就往往很难将目标从背景中分割出 来；结果是同一目标具有不同的形状或不同的目标具有相似的形状，从 而使目标失去了本身所具有的结构特点，而识别所选用的特征剧烈变 化，造成7 t j l 错误，影响系统的输出。 1 2 1 识别跟踪算法研究动态 图像分割一直是图像处理领域中的重点和难点。图像在分割后的处 理，如：特征提取、目标识别等都依赖图像分割的质量，所以分割被视 为图像处理中的瓶颈。在图像分割最初发展的二十年里，人们主要对三 种分割方法：阈值分割、边缘检测和区域提取进行研究。进入八十年代 以后，越来越多的学者开始将模糊理论、马尔可夫模型、遗传算法理论、 分形理论和小波理论等研究成果运用于图像分割的研究，取得了很大进 图像分割技术从兴起到现在，算法上得到了不断的改进和创新，已 经取得了很大的进步。但由于图像种类的多样性，很难用一个精确的数 学公式来表征图像分割的过程。因此，尽管分割的方法很多，还没有一 种对任何图像都适用的分割方法。一般来说，对图像分割方法的选择都 应依据图像和目标而异。能否找到一个统一的方法来用于所有图像的分 割，是现在许多学者研究的方向。 特征提取是图像识别的必要条件，决定着图像识别的成功率。目前， 用于识别的图像特征主要有：1 ) 视觉特征，如图像的边缘、轮廓、形 状、纹理、区域等：2 ) 图像的统计特征，如直方图、各种矩特征等； 3 ) 变换系数特征，如傅立叶描绘子、自回归模型系数等：4 ) 代数特 征，如图像矩阵的奇异值分解等 目标识别的特征根据识别情况又可分为两类：全局的和局部的特 征。全局特征包括：矩特征、傅立叶描绘子、自回归模型等，通常是有 x - y 坐标、链码、轮廓序列来计算的，代表了整个目标，它对于随机噪 声具有鲁棒性。但是当目标有部分缺损时，由于全局特征是基于整体统 计特性的特征，受缺损部分的影响很大，因此识别效果将会变差。这说 明全局特征用于a t r 中其性能将受到限制。局部特征代表了目标的局部 信息，这些局部信息通常是指目标边界上关键点之间的部分，而关键点 又是边界上的高曲率点，一般由角点检测或多边形近似的算法来得到。 局部特征既有由计算顶点处的角度和相邻边的长度来得到，也有用求局 部轮廓序列等方法来得到。识别时，即使目标的一部分局部特征有所改 变，而其余部分的局部特征仍然存在。因此局部特征对于目标受到遮挡 或部分缺损具有较好的识别，但是对于噪声较为敏感。 1 2 2 数字信号处理器( d s p ) 发展状况“ 自从2 0 世纪8 0 年代初期第一片数字信号处理器芯片问世以来，d s p 就以数字器件特有的稳定性，可重复性，可大规模集成，特别是可编程 性和易于实现自适应处理特点，给数字信号处理的发展带来了巨大机 遇，并使得信号处理手段更灵活，功能更复杂，应用领域也拓展到国民 经济生活的各个方面。第一代d s p 以a m d 2 9 0 0 ，n e c 7 7 2 0 和t m s 3 2 0 1o 为 代表。其中t i 公司的t m s3 2 叽0 第一次使用了哈佛总线结构和硬件乘法 器。由于开发工具的问题，最初的d s p 开发非常困难，要设计并实现一 个基于o s p 得系统是一个专业性很强的工作。美国t i 公司给d s p 引入 许多通用计算机微处理器特点，并为其产品开发了汇编语言和c 语言代 码产生工具以及各种软硬件调试工具，使得d s p 的开发难度大大降低， i ) s p 在2 0 世纪8 0 年代末和9 0 年代初进入了快速发展的时期。现在t i 公司的d s p 包括了定点，浮点，多处理器三个类型的产品，每个类型又 有不同性能和价格的具体系列可以供用户选择。例如，t i 公司的定点 系列d s p 有c 2 0 x ，c 2 4 x ，c 5 x ，c 5 4 x ，c 6 2 x x ；浮点系列d s p 有 c3 x ，c 4 x ，c 6 7 x x 。 近年来，由于d s p 运算速度的提高，能够实时处理的信号带宽也大 大增加，数字信号处理的研究重点也由最初的非实时应用转向了高速实 时适应。随着d s p 芯片性价比和开发手段的不断提高，d s p 已经在社会 生活各个领域得到广泛应用。 d s p 芯片作为实时数字信号处理的主要方法和手段，无论在性能上 还是价格上，都取得了突破性的迅猛发展。从定点到浮点直到并行处理 芯片，d s p 芯片的功能越来越强，速度越来越快，t i 公司的并行处理芯 片c 6 0 0 0 系列的速度达到了2 4 0 0 m i p s ”1 的高指标i ) s p 越来越高的性能 价格比，日渐完善的开发方式使d s p 的应用范围越来越大，已经广泛地 应用于通信，雷达，声纳，遥感，生物医学，机器人，控制，精密机械， 语音和图像处理等领域。可以毫不夸张地说，以d s p 芯片为基础的数 字信号处理技术已成为当代电子，通信和信息处理技术不可或缺的重要 手段。 1 3 任务来源、研究内容及研究结果 本课题是长春光机所与外单位合作的机载项目光电测量系统，本丈 是其中的电视跟踪分系统。 本文所研究的内容为图像目标识别跟踪算法和基于d s p 的硬件实 现。电视跟踪器是利用电视成像技术，在主控计算机控制下，对运动目 标进行自动搜索或人为选定目标，进行捕获，跟踪和监视的设备。 由于电视跟踪系统的工作方式是被动的，因而不易被发现和干扰， 并能精确跟踪目标，显示直观，有利于截获和识别目标：同时，它也能 跟踪冷目标，不同于红外跟踪要依赖于目标的红外辐射。 电视跟踪器的主要不足是跟踪效皋受距离、天气的影响，但由于近 年来光电技术的迅猛发展，特别是光电经纬仪、高倍望远镜、 c c i ) ( c h ar g e c o u p i c dd e v i c e $ ) 等性能的大大提高，以及数字图像处理 技术和数字信号处理( d s p ) 器件的目渐成熟，电视跟踪器广泛地应用于 民用和军事领域。如今，a 4 f 普遍重视电视跟踪系统，特别是高精度的 智能型数字电视跟踪系统的研究，它和雷迭跟踪、红外跟踪等多种手段 配合，已成为精确制导的核心。 1 ，4 论文章节安排 第一章主要介绍了论文的研究背景，以及数字图像处理的基本概念和 研究数字图像处理的重要意义，并介绍了d s p 的发展情况及其在数字信 号处理中的应用。 第二章详细研究了目标识别、跟踪中用到图像分割和图像匹配算法以 及图像匹配的加速算法，并在试验中分析比较了各算法的处理效果和耗 时情况。同时对目标的提取作了简要的介绍。 第三章主要介绍了目标识别跟踪系统中用到的硬件d s p 组成、设计原 理及d s p 的软件开发环境。对其中的主要器件和关键技术作了详细介 绍。 第四章主要介绍了目标识别跟踪系统的软件设计思想和各软件模块的 工作过程。 第二章识别跟踪算法研究 2 1 图像的分割方法 2 11 图像边缘分割算法 边缘是指图像用围像素灰度有阶跃变化或屋顶状变化的那些像素 的集合，它存在与f 二l 标与背景、目标与目标、区域与区域之间。图像边 缘信息在图像分析和人的视觉中都是十分重要的，是图像识别中提取图 像特征的一个重要膈性。 图像的边缘有方向和幅度两个特性。通常沿边缘方向的像素变化平 缓，一而垂直于边缘走向的像素变化剧烈。这种变化可能呈现阶跃型和房 顸型。如图2 1 所示。 厂， b 房顶型 图2 1 灰度变化的类型 这些变化分别对应景物中不同的物理状态。例如阶跃型变化常常对 应目标的深度和反射边界，而房项型变化则常常反映表面法线方向的不 连续。 如果一个像素落在图像中某一个物体的边界上，那么它的邻域将成 为一个灰度级的变化带。对这种变化最有用的两个特征是灰度的变化率 和方向它们分别以梯度向量的幅度和方向来表示。边缘检测算子检查 每个像素的邻域并对灰度变化率进行量化，也包括方向的确定，一般使 6 用基于方向导数掩模求卷积的方法。 常用的边缘检测算子有r o b e r t 梯度算子、s o b e l $ f f - 、拉普拉斯 ( l ap 1 ia 1 1 ) 算子等等。 r o t ) c ll 边缘检测算子是一种利用局部差分算子来寻找图像边缘的 算子，它由下式给出： g 【1 1 ：瓜百万瓦百面可鬲五再丽( 2 1 ) 其中l ( x , y ) 是具有整数像素坐标的输入图像”。 s 曲e l 算子是先做加权平均，再微分。s o b e l 算子有两个，一个是 r 一1 2 1 f 一1 0 1 检测水平边缘的i ? ：? i 另一个是检测垂直边缘的l 二i0 。；j 。 s o b e l 算子的另一种形式是各向同性s o b e l 算子，也有两个： 一l 一压 0 0 l2 0l i o 压l ，与普通s 。b e l 算子相比，各向同性 0l l s o b c l 算子的位置加权系数更为准确，在检测不同方向的边沿时梯度的 幅度一致。 拉普拉斯算子是不依赖于边缘方向的二阶微分算子，它是一个标量 而不是向量，具有旋转不变性即各向同性的性质，其算子为 f 0 】0 1 l1 4 ll ，与一阶微分( s o b e l 算子，r o b e r t 算子) 相比，二阶微 l o j o j 分h 口1 ia n 算子对噪声更敏感，它使噪声成分加强，在实际应用中通 常先进行平滑处理。也可以采用高斯拉普拉斯( l o g ) 算子，常用的l o g 一7 一 一，一 ，1 箕哥为 2 4 40 48 40 24 4 4 2 8 04 2 484 n 04 442 pr e w it t h a ji c k 等人用原始图像对最佳拟合曲面作近似，然后 在拟合t 由面上作边缘检测，取得了较好的效果。近年来许多学者提出用 人工利，经网络、小波算法来检测边缘，都取得了一定的进展。但边缘检 测同样存在着算法4 ：完善的问题，即没有一种边缘检测算法适用与所有 图像。匹j 此，在对具体图像进行边缘检测时，需要根据图像的特点选用 适当的算法。 下面对各种算干作一下比较。 原始圈傅b r o b e r t 算子处理结果 d s o b o l 算子处理结果c l a p l a c i a n 算子处理结果 图2 2 边缘捡测结果 通过上面的比较可以看出，r o b e r t 算子和s o b e l 算子具有更广泛 的适用性，但由于s o b e l 算子只能对水平或垂直一种边缘检测，会丢失 一些边缘信息，为此可将s o b e l 算子作一定的改进，使之能同时检测水 平和垂直边缘，改进后的算子如下： 使用改进后的s o b e l 算子处理效果如下 9 1，j l，i o o o 1 2 l 一 一 一 忙iiiiiijjjhjh卜 + 刈iij o t 0 2 0 o _。l ，。，l 图2 3 改进s o b e l 算子 通过对比可以看出，改进后的s o b e l 算子保留了水平和垂直两个边 缘信息，效果较好。 2 1 2 图像阚值分割 图像闽值分割是一种广泛使用的图像分割技术，它利用了图像中要 提取的目标与其背景在灰度特性上的差异，把图像视为具有不同灰度级 的两类区域( 目标和背景) 的组合，选取一个合适的阈值，以确定图像 中的每一个像素点应该属于目标还是背景区域，从而产生相应的二值图 像。阎值分割不仅可以大量压缩数据，减少存储容量，而且能大大简化 在其后的分析和处理步骤。 闳值分割的方法很多，但目前很难找到适用于各种场合的分割方 法。本文针对实际情况，介绍几种分割方法。 i 、直方图分割法 图像的灰度级范围为0 ，i ，k - i ，设灰度级i 的像素数为n 。，图 像的总像素为n ，则灰度级i 出现的概率定义为p l = 鲁。灰度直方图为 灰度级的像素数n ；与灰度l 的二维关系，它反映了一幅图像上灰度分布 1 0 的统计特性。 6 0 年代中期，pr e w l t t 提出了直方图双峰法。假定一幅图像是浅色 的，其中有一个深色的物体，如图2 4 ，物体中的深色像素产生了直 方图上的左峰，而背景中大量的灰度级产生了直方图上的右峰。物体边 界附近具有两个峰值之间灰度级的像素数目相对较少，从而产生了两峰 之间的谷。选取两峰之问的谷所对应的灰度级作为阈值将能得到合理的 物体边界。 灰度+ 图2 - 4 双峰直方图 应用直方图双峰法来分割图像，需要有一定的图像先验知识，因为 同一个直方图可以对应不同的图像，直方图只表明图像中各个灰度级上 有多少个像素，并不能描述这些像素的位置信息。因此只根据直方图选 择阈值并不一定合适，还要结合图像的内容来确定。此外，该方法不适 用于单峰或多峰直方图的情况。现在很多学者将研究3 - 作致力于直方图 变换法，即将图像的原始灰度直方图经过某种变换使之能利用直方图双 峰法来确定闽值。但无论是那种方法，由于只考虑了图像的灰度信息而 忽略了图像的空间信息，在复杂图像情况下，常常会导致阈值选取失败。 2 、基于灰度期望值的阈值分割 数字图像中的每一个像素值均属于一个有限集，该集合为可能的灰 度等级，像素的取值不同，形成了不同的图像，因此可以用离散随机变 量来描述任意一幅图像数据。 设图像的尺寸为m ，其灰度值为l i , l ：，l ，用离散随机变量x 来表示图像中任意像素x l ，2 ，m ，y 1 , 2 ，n 。l i ，l 2 ，l ，即 为的，个可能取值。图像的灰度分布情况可以用概率分布来描述。各 个灰度级的出现概率为： n = p ( l 1 ) ，p 2 = p ( l 2 ) ，p ，= p ( l ，) 且有 p ，= 1 对于这种随机变量。可以用下述密度矩阵来描述： = 群2 ，o 可以看出，对于不同的图像，其密度矩阵是不同的。 在对随机变量的统计过程中，期望值是一个十分重要的统计特征， 它反映了随机变量的平均取值。从力学观点来看它代表了物体的质量中 心，是随机变量取值较为集中的地方。由于灰度值在图像中是一个随机 变量，所以灰度“中心”可以看作分割的一个最佳平衡点，它使取黑像 素的灰度值和白像素的灰度值均等。设来表示阈值，则有： ，l ，p ( l 。) ( 2 2 ) 若用h ( l 。) 表示图像中灰度l 出现的次数，则由式( 2 2 ) 可以推出： ：虹p ( l 扣圭学盟 ( 2 3 ) 8 ”。 ( ，) 式( 2 ，3 ) 摆脱了传统基于直方图的阈值分割法对图像模型的假定，适 用范围比较广泛，对于具有不同灰度的图像均可应用。 2 、最大类问方差闽值分割“ 最大类问方差法由o s t u 提出，是在最小二乘法原理的基础上推导 得出的，算法比较简单，适用范围较广，是一种受到关注的阈值选取方 法。 设原始灰度图像的灰度级为l ，灰度级为i 的像素点数为n ；，图像 的全部像素为n ，归一化直方图，则： 旷景，跏叱 用阈值t 将灰度级划分为两类：c 产( 0 ，1 ，t ) 和c 。= ( t + l ，t + 2 ，l - i ) 。 c 。和c ，类的出现概率及均值分别为： = p ，= ( ，) i c o ( t ) 卢。= 护c o 。= ，f ( f ) 珊( ，) i - - o “：争汤矾：丝嫂：鲤! “2 弘砌，2 饼 f - f + l 一vj 其中： ( f ) = 驷， ( 2 6 ) ( 2 7 p 一 = 甜 脚( f ) = 驴， c 。和c 。类的方差 o - ；= ( i - ) 2 p c a 。 一i 盯? = ( f 一，f ) 2 p ，m 类问方差为： 盯。2 = 甜。盯：+ 0 9 i 盯? 类内方差为 ( 2 9 ) ( 2 1 0 ) 仃；= 锄o ( ，1 0 一7 ) 2 + 脚l ( 声，l 一7 ) 2 = 脚。i ( l i 一o ) 2 ( 2 12 ) 总体方差为 引入关于t 的等价的判决准则 ( 2 13 ) 可选最佳阈值： t = a r g m a x ，7 ( t ) ( 2 1 5 ) o 鲥s ，一 4 、最大熵阈值分割 熵是平均信息量的表征，在数字图像处理和模式识别上有很多应 用。熵的定义为： 日= 一e p ) i g p ( x ) 出 ( 2 1 6 ) 式中p ( x ) 是随机变量x 的概率密度函数。 对于数字图像来说，随机变量x 可以是灰度级值、区域灰度、梯度 等特征。灰度的最大熵，就是选择一个闽值，使图像用这个阁值分割出 的两部分的一阶统计的信息量最大。设门为图像中灰度级f 的像素点数， p 为灰度级i 出现的概率，则： 胪志f _ 1 ，l ( 2 17 ) 式中：n n 为图像总的像素数，三为图像的总的灰度级数。 假设图像中灰度级小于f 的像素点构成目标区域a ，灰度级大于t 的 像素点构成目标区域b ，那么各概率在基本区域的分布分别为： a 区：p p ， i = 1 , 2 ，r b 区：p ，( 1 一p ，) 扛1 , 2 ，f 其中：p ，= p 目标区域和背景区域的熵分别定义为： h ( ，) = 一( ，) ，p ，) 【g ( n p 。) f - l ，2 ，t 片。( ，) = 一m ( 1 一，) l g e p ，( 1 一p f ) 1 i = r + l ，h 2 ，l 则熵函数定义为： 妒o ) ：h 。州。：i g ) , ( 1 一只) + 旦+ 粤生 p tl p t 式中： = 一p 1 9 p ， i = 1 ，2 , - - - , ， 吼= p ，i g p ， i = 1 , 2 ，l 当熵函数取得最大值时对应的灰度值玎就是所求的最佳阈值 玎= a r gn l a x 舻( f ) ( 2 1 8 ) ( 2 1 9 ) ( 2 2 0 ) ( 2 2 1 ) ( 2 2 2 ) 5 、循环分割”1 循环分割是由0 1 1 l a n d e r 等人提出的一种复杂图像的分割方法，这 种方法首先根据图像的全局直方图，将取了阎值后得到的区域看成是它 的子图像，再次对各予图像作直方图选峰点及区域值，不断重复上述过 程，直到找不到新的峰点或区域变得太小为止。在这种循环中，每次选 择最“显著”的峰，这种算法循环利用不断更新的子图像直方图，随着 循环次数的增加，越来越细的考虑了图像的局部特性，可以获得精细的 分割。这种方法在分割纹理区域时也十分有效。 算法的实现步骤如下： a 求图像的最大和最小灰度值互和z 。，令阁值初值 r o ：拿善 ( 2 2 4 ) b 根据阁值t 将图像分割成目标和背景两部分，求出两部分的平均 灰度值z 一”z 。： z ( i ，) n ( i ，) 乙2 型订 22 5 z lj ，) ( 7 z h = z ( i ) n ( i ，) n ( i ，) z ( i ，卜7 ( 2 2 6 ) 式中：2 ( i ，) 是图像上( f ，) 点的灰度值，n ( i ，) 是( f ，) 点的加权系数 一般取n ( i ，) = l 。 c 求出新的阈值 7 ：r 兰宰生 ( 2 2 7 ) d ，如聚7 j = 瓦州结束，否则k - - k + 1 ，转到步骤b 。 6 、实验结果比较 下面对几种阀值分割方法的效果作一下比较 a 原始图b 灰度期望法处理结果 c 类问方差法处理结果d 最大熵法处理结果 e 循环分割处理结果 图2 5 阚值分割结果 图像尺寸 算法森 6 4 6 41 2 8 1 2 82 5 6 2 5 6 5 1 2 5 1 2 灰度期望 0 2 m s0 7 m s 2 7 m s 1 2 8 m s 最大类间方差 3 o m s3 6 m s5 7 m s15 9 m s 最大熵 o 2 m s0 8 m s3 5 m s1 4 5 m s 循环分割 0 2 m s0 7 m s 2 7 m s1 2 。9 m s 表2 1 阈值分割算法时闸对比 可以看出，用类间方差法、最大熵法和循环分割法具有较好分割效 果，通过大量的实践证明，类间方差法和循环分割法具有更广泛的适用 范围。而循环分割法与类问方差法相比在处理小图像时更具有速度优 势。 2 1 3 基于数学形态学的图像分割“o 1 、形态学运算予 由随机集合、几何理论发展起来的数学形态学理论是近年来日益受 到重视的一种图像处理技术。该技术一般以二值图像为处理对象，通过 一系列的集合运算进行图像处理。 基本的形态学运算是腐蚀和膨胀。腐蚀是消除物体图像无用点的一 种过程，其结果使剩下的物体比处理前减少了一些像素。一般意义的腐 蚀定义为： e = b o s = l ，1 i 墨，毋 也就是说，由s 对口腐蚀所产生的二值图像是这样的点( x ，y ) 的集合， 如果s 的原点位移到( x ，y ) ，则s 将完全在b 之中。 膨胀是腐蚀运算的对偶运算( 逆运算) ，它是将与物体接触的所有 点合并到该物体的过程，过程的结果是使物体的面积增大了相应数量的 像素。膨胀在填补分割后物体中的空洞很有用，其定义为： d = b o s = x ，y i s 。n b o ) 也就是说，由s 对b 膨胀所产生的二值图像d 是这样的点( x ，y ) 的集合， 如果s 的原最位移到( x ，y ) ，那么它与口的交集非空。 先腐蚀后膨胀的过程称为开运算。它具有消除细小物体、在纤细点 处分离物体和平滑较大的边界时又不明显改变其面积的作用。开运算的 定义为： 曰o s = ( bes ) o s 先膨胀后腐蚀的过程称为闭运算。它具有填充物体内部细小空洞、 连接邻近物体、在不明显改变面积的情况下平滑其边界的作用，定义为： b s = ( b o s ) 0s 通常，当有噪声的图像用阈值二值化时，所得到的二值化图像中目 标区域的边界往往不是平滑的，目标区域具有一些因错判而形成的孔， 背景区上有一些因错判而形成的粒状噪声连续的开和闭运算可以显著 地改善这种情况。有时几次连续的腐蚀迭代之后，加上几次相同次数的 膨胀，才可以产生所期望的效果。 下面是用腐蚀、膨胀算法对图像进行一次形态开、闭运算后的处理 结果以及中值滤波的处理结果 a 原始图b ，开运算 c 闭运算e 中值滤波 图2 6 形态学运算子与中值滤波处理结果 可以看出，形态滤波后的图像噪声点基本上都被除去了，但同时也 丢失了一些图像信息。下面是对不同大小图像做开、闭运算和中值滤波 所花费时间的对比。 里像大小 6 4 6 41 2 8 1 2 82 5 6 2 5 65 1 2 5 1 2 算法类型、 中值滤波 1 7 m s2 8 m s7 1 m s2 6 1 m s 开运算 1 3 m s2 1 i l l s4 9 m s17 2 m s 闭运算 1 2 m s 2 1 i n s4 9 m s 17 2 m s 表2 - 2 滤波算法时间对比 2 、形态算子的变形运算 形态学运算中还包括一些其它的处理方式，如收缩( s h r i n k i n g ) 、 细化( t h i l l l l i n g )骨架( s k e i e c t o n ) 、剪枝( p r u n i n g ) 和粗化 ( t 1 1 ic k e n i n g ) 等。 当腐蚀以一种不触及单像素物体的方式进行时，这个过程称为收 缩。当物体总数必须保持不变时，这种方法很有效。收缩可以分为两个 步骤进行，第一步是一个正常的腐蚀，但它是有条件的，那些被标记为 可除去的像素点并爿：立即消去。在第二步中，只将那些消除后并不破坏 连通性的点消去，否则保留。以上每一步都是一个3 3 的邻域运算，可 用查表运算快速实现。 细化是将一个曲线物体细化为一条单像素宽的线的过程，从而图形 化地显示其拓扑结构性质。一个与细化有关的运算是抽骨架，也称为中 轴变换( m e d i a l a x ist r a n s f o r m ) ，中轴是所有与物体在两个或更多非 霹f 近边界点处相切的圆，e 2 轨迹。抽骨架的实现与细化相似，可分两步有 条件地实现腐蚀，但删除像素的规则有所不同。通常，细化和抽骨架过 程会在所产生的图中留下毛刺，这些毛刺是一些小的分支。每个分支在 距分叉处三个像素左右处有一个端点。毛刺是由边界上单元像素尺寸的 起伏造成的，这些起伏产生了小的分支。它们可以通过一系r j , j 的消除端 点的3 3 运算除去，然后再重建那些留下的分支。 2 2 图像跟踪算法 跟踪方法分为形心跟踪和相关跟踪，一般情况下，当目标较小或目 标较单一时采用形心跟踪方式，当目标较复杂情况下采用相关跟踪方 式。 2 21 形心跟踪算法1 数字信号处理器t m s3 2 0 c 6 2 0 2 对波门内的数字图像进行处理，包括 噪声滤波、边缘增强自适应求阁值，根据该阎值再从波门内的数字图 像中分割出目标象元。然后根据分割出的全体目标象元位置数据和目标 象元的总点数，计算出目标的形心；该形心数据则作为下一场波门的跟 踪数据：目标的形心相对于视场中心的位置数据，则作为目标的偏差数 据。噪声滤波可采川平滑滤波或中值滤波。边缘增强在这里作为提取目 标的特征，我们采川了改进的s o b e l 算子提取目标的边缘。 在跟踪窗口中，目标的形心计算公式如下： f ( x ，y ) 2 2 2 图像匹配跟踪算法 图像模板匹配是目标跟踪的关键，在图像处理的研究中是一个很重 要的研究方向。两幅图像之间的匹配算法可以归结为二者的某一特征值 的相关一 生度量。通过：阡模板图像与待匹配图像进行相关运算，得到一个 相关值。再根据这一相关值的大小就可以判断二者是否匹配。 ( x 。h = c 属 图像匹配涉及到两大方面：匹配特征的选择和对特征进行相关性计 算的方法的选择。匹配的特征有三个不同层次的选择：图像像素的灰度 值、图像的物理形状特征和图像内容描述的特征。 根据图像匹配特征的不同层次，匹配算法大致可分为三类： 1 直接利用原始图像的像素值进行匹配。 可以充分利用图像的所有信息来高精度地区分不同对象，但因此处 理的信息量很大，计苹复杂度高。这类算法的特点是对图像之间的微小 差别非常敏感。一个细微的变化( 如光照条件的微小变化而导致的图像 灰度值的细微变换) 就会对匹配算法的计算结果产生很大的影响，有可 能导致匹配的失败。所以这种算法抗噪声，抗干扰能力比较差，适用于 两幅图像具有相同外界奈件的情况下作精细的匹配。 2 用图像的物理形状特征进行匹配。 图像的物理特征、如边缘、骨架、角点等等，需要进行相关计算的 像素点数有了明显白勺减少，并具有了更强的适应能力。这种算法对于一 些细微的干扰不太敏感，而是依赖于提取的图像特征。其关键是寻找易 于 7 , 1 1 1 和区分的特征，基于特征集之间的相似性度量来找到模板在图像 中的匹配位置。 3 用高级特征的算法：如基于约束的树搜索， 可以利用深度优先的搜索策略，依靠解译树寻找局部一致的匹配。 基于多尺度特征作特性匹配，则是对图像信息引入多种级别的抽象，遵 循先轮廓后细节，先宏观后微观，先易于辨认的部分后较为模糊的部分 的人类视觉匹配规律，能够提高图像匹配的可靠性。 本文讨论的匹配算法主要是针对灰度信息和图像物理形状特征的。 图像像素的灰度值信息包含了图像所记录的所有信息。基于图像像素灰 度值的匹配是最基本的匹配算法。匹配算法有绝对平衡搜索法a b s ( h b s o lo t eb a l a n c es e a r c h ) 、归一化相关算法、灰度投影算法、基于 统计矩的匹配算法等等。 1 ) a b s ( a b s 0 1 t l t e 醣l a l i c es e ar c h ) m 1 这种算法的思想很简单，就是用模板图像和待匹配图像上的搜索窗 口之间的像素灰度彳j l 的差别，来表示二者的相关性。如果差别小于预定 的阈值认为相关成功，否则就认为匹配失败。 计算a b s 值有两种算法，可以根据不同的匹配场合来选择合适的算 法，它们是最小均方溪差函数( m s e ) 、最小平均绝对值函数，它们定义 如下： m s e ( i 肛志萎善口l 旷m 什f 肘助2 ( 2 3o ) 蜊聊2 赤萎善旧( 钟m ( 肘和 ( 2 3 ” m s e ( i ，) = f ( i ，) 其中 r ( n t , 7 ) 一翟。“”+ 班 ( 2 3 3 ) 嚣官 f 为估算闽值，根据式( 2 3 3 ) ，小于阁值t 的像素被归入匹配像素， 否则被归入非匹配像素。 这种方法的思路简单，实现方便，但有明显的局限性，一旦待匹配 图像或模板图像之一的灰度值发生线性变化，这种算法就无所适从了。 而且由于不同的模板和图像有不同的背景灰度值和不同大小的搜索窗 口，所需的合适的闻值也各不相同，很难事先选定一个合适的阈值。 2 ) 归一化互相关匹配” 归一化互相关匹配算法是一种经典的匹配算法，经常写为1 4 c ( n o r n l a l iz e dc o r r e l a t i ( 1 1 1 ) 算法。通过计算模板图像和待匹配图像的互相关 值来确定匹配的程度。互相关值最大时的搜索窗口位置决定了模板图像 在待匹配图像中的位置。互相关定义一般有如下两种形式： ma 7 1 ( m ，n ) f ( m + i ，订+ ，) n c ( i ，) = ( 2 3 4 ) n c ( i ，) 式中 村n ( 7 1 ( m ，n ) - t ( m ，n ) ) ( f ( m + f ，n + j ) - - f ( m + i ，h + j ) ) 志薹善狮， ( 2 3 6 ) r m “+ ，) = 志萎荟f ( 卅，斛d 娌_ 3 7 ) n c 算法具有很高的准确性和适应性，对图像灰度值的线，陛变换具 有“免疫性”，即所求的n c 值不受灰度值的线性变换的影响。但是考虑 到图像中的自相关值都比较大，因此在互相关计算过程中，相似度形成 以模板存在的真实位置为中心的平缓的峰，往往无法检测到准确的尖峰 位置，使得确定模板的准确位置很难。n c 搜索算法的缺点是计算耗时 过于庞大，在应用时所用的计算时间过长但可以通过其它加速算法来 进行改进，如s s d a ( 序贯相似度检测算法) 、图像金字塔等等。此外， 还可以利用快速傅立叶变挟在频域进行互相关运算，在实际应用中也有 一定的实用意义。 3 ) 其它匹配算法 a 图像投影匹配算法 投影匹配算法是把二维图像的灰度值投影变换成一维的数据，再在 一维数据的基础上进行匹配的运算。由于减少了数据的维数，而使待计 算的数据量减少，从而有效地提高了匹配的速度，在投影计算中常用的 是对x 轴和对y 轴的投影。 b 矩匹配1 矩是一种统计特征，在图像处理中常用不同阶次的矩计算模板的位 置、方向和尺度变换参数。 对于灰度分布为f ( x ，y ) 的图像，其( p + q ) 阶矩定义为 。= f i x ”y ”厂( x ，y ) d r d y ( p + ( i j 阶中心距定义为： 一。= f ( x 一膏) ( y - y ) ”似，y ) d x d y 如hi ：盟 1 1 1 0 0 百：塑 o o ( 2 3 8 ) ( 2 3 9 ) ( 2 40 ) ( 2 4 1 ) 当图像发生变化时，m 。也将发生变化，而。则具有平移不变性， 但对旋转依然敏感。 归一化中t 心矩 ，：监 f j l t _ 式中：掣 1 = y + j 0 2 ( 2 42 ) 从二阶和三阶矩可以导出七个不变矩，定义如下 ( 2 43 ) ( 2 44 ) ( 2 4 5 ) ，d = ( j ，0 + y l2 ) 2 + ( y 2 l + y 0 3 ) 2 ( 2 4 6 ) 厶2 ( w 一- j7 1 2 ) ( y + y l2 ) + y 1 2 ) 2 3 ( y 2 l + 儿3 ) 。 ( 2 4 7 ) ( 3 j ! i y o ，) ( y 2 1 + ，) 【3 ( y 砷+ y l2 ) 2 一( ) l + 3 ) 2 】 ，6 = ( j 7 如一j d 2 ) 【( y 加+ y 1 2 ) 2 一( y 2 l + j 7 叮) 2 】+ 4 _ y l l ( y 3 0 + y 1 2 ) ( y 2 i + y 0 3 ) ( 2 48 ) 这7 个不变矩在连续图像条件下对平移、旋转、变比能保持不变的 性质。在离散图像条件下，通过试验可得出在旋转4 5 。以下，比例放大 两倍以下时仍具有保持不变的性质。 c 直方目统计匹配“” 直方图是一种统计后得出的数据，直方图反映了图像中像素的分布 特性，因，r , 7 能够描述出图像的一些统计特征( 均值、方差、互相关值等) ， 根据这些统计特征可以判断两幅图像是否匹配。 由于直方图只反映了图像的一种统计特征，没有精确的反映出图像 中某一特征像素所特有的位置信息，如两幅完全不同的图像却可能拥有 完全相同的直方图统计特征。因此，直方图匹配方法一般作为匹配的一 种辅助的必要判定条件来排除一些候选点，从而减轻计算的工作量。直 方图统计的匹配算法具有对旋转的免疫性，可以利用这一特性来实现旋 转的匹配。 下面定义了几个位移及尺度变化无关的图像直方图不变矩对于一 幅离散图像f ( m ，n ) ，设图像的灰度值为r o ，r i ，“则概率： ，( ，j ) = 灰度为的像素数图像的总像素数 其中 一l i = o 1 2 ，k l ，目- g r 尸( = 1 ) ，t o 当图像转为直方图处理时，由于处理的对象由二维降为一维，可以 提高处理速度。对一维函数p ( r ) ，k 阶矩定义为： ，= 旷，( r ) 咖( k = o ，1 ，) ( 2 5 0 ) k 阶中心矩定义为： ，f = p f ) p ( r ) d r ( k = o ，l ，) ( 2 5 1 ) 的 埘忖 + 卜 慨也 r n如帅 + +麓 川嘲邛 l 其中 i ：旦 归- - 4 j ek 阶中心矩定义为： 仇= 等 ( 2 52 ) 由上面的归一化中心矩可以生成几个不变量，它们具有位移、比例 及线性不变性： = 粤q , - ； = 旦1 1 1r h ；厶2 鲁班 当基准图在待匹配图中移动时，计算窗口内的不变矩特征。在移动 过程中，不同的子图像的矩特征可能是相似的，但在匹配点附近，他们 的相似程度最大。因此可定义如下的匹配函数： 口，= 1 1 “n 概 ( 2 53 ) 其中 c 。= 喜l 厶一厂，( 害刀 i 式中 = l ，2 ，s ，s 为图像移动的次数，为由基准图计算得到的 不变矩牲征， 为待匹配困图像中窗口移动到第k 个位置时计算得到 的不变矩特征，则在移动中第i 个位置所对应的区域即为匹配区域。 2 2 3 图像匹配的加速算法 随着图像匹配技术的发展和完善，现代的匹配技术已经能够比较智 能地完成匹配和定位功能，因而图像匹配技术在各个领域的应用范围也 越来越广泛。尤其是在一些需要无人干扰的情况下自动完成任务的环境 中，图像匹配作为定位和识别的核心作用显得更为重要。为了完成实时 任务( 如目标跟踪、定位等) ，必须研究和发展图像匹配算法的加速。 作为一个有实际应用意义的图像匹配系统，必须满足快速匹配的要 求。在不损失或基本不损失匹配效果的基础上，高速完成匹配过程。这 就要求在一般的图像匹配算法的基础之上，再进行匹配算法的研究。从 而得到既保证匹配效果又兼顾匹配速度的图像匹配算法。 这一节的研究内容就是在已有的图像匹配算法基础之上，研究一些