（航空宇航科学与技术专业论文）基于序列图像的机载测速系统设计与分析.pdf

国防科学技术大学研究生院硕士学位论文 摘要 飞行速度是无人机导航中的一个重要参数，特别是在某些需要通过速度来定 位的应用领域，高精度的测量速度是至关重要的。本文紧扣武器装备发展的实际 需要，研究了飞行器测速的相关因素，提出了一种基于序列图像的飞行器速度大 小的测量方法，使用该方法完成了无人机速度大小测量和月球着陆器着陆下降过 程横向速度测量；介绍了基于实时图与基准图匹配的无人机速度矢量测量方法， 针对该方法工程中遇到的大地测量学的问题进行了研究，提出了解决方法。 基于序列图像的无人机速度大小的测量方法和月球着陆器着陆下降过程横向 速度测量方法使用了基于生物视觉的目标识别与匹配方法，基于实时图与基准图 匹配的无人机速度矢量测量方法则比较了分别使用协方差相关亚像素定位方法、 最小二乘影像匹配方法和基于生物视觉的目标识别与匹配方法得到的测速结果。 本文针对基于生物视觉的目标识别与匹配方法进行了大量的半实图仿真实验，给 出了该方法的适应范围和在适应范围内的匹配精度。 基于序列图像的无人机速度大小的测量方案利用无人机上已有的惯导装置、 高度计和可见光或红外摄像机，在连续成像的条件下，通过匹配跟踪得到地面同 名点在相邻两帧实时图中的位置，利用飞行高度、姿态信息和成像帧频实时计算 得到无人机的瞬时速度大小。在无人机的匀速平飞段，通过大量数据拟合实时得 到了高精度的径向平均飞行速度。 月球着陆器着陆下降过程横向速度测量方法与基于序列图像的无人机速度大 小的测量方法由类似之处，其区别在于测速过程中前后两帧图像成像时无人机的 高度发生明显的变化，因此测量过程中应在上一方法的基础上消除高度变化的影 响。 基于实时图与基准图匹配的无人机速度矢量测量方法中实时图与基准图匹配 得到的机下点坐标以及由此计算得到的横向和纵向分量都是在大地测量中的高斯 投影坐标系中表示的，无人机在飞行过程中需要得到的是大地坐标系中的东、北 向速度分量，因此本文研究了两者的区别，给出了解决方法。同时本文给出了根 据实时图与基准图匹配坐标来修正无人机上的惯导速度时所需要的高精度的实际 飞行速度与惯导速度的差别，进而将这一差别传送给惯导以修正其误差。 分别对速度大小测量方法和速度矢量测量方法进行了实验，分析了其中的误 差因素，介绍了景象匹配的置信度，提出了一种测速测量结果置信度的评价方法。 通过挂飞试验对方法进行了验证，得到了满足工程实时性和高精度要求的测速结 果。 主题词：无人机、生物视觉、速度测量、高斯平面子午线收敛角、置信度 第i 页 国防科学技术大学研究生院硕士学位论文 a b s t r a c t v e l o c i t yi so n eo ft h em o s ti m p o r t a n tp a r a m e t e r sf o ru a vn a v i g a t i o n ，e s p e c i a l l y w h e nv e l o c i t yw a su s e dt ol o c a t ei t sp o s i t i o n c l o s e l yt ot h en e e do fm i l i t a r ye q u i p m e n t s d e v e l o p m e n t ，v e l o c i t ym e a s u r e m e n tr e l a t e di n g r e d i e n t s w a ss t u d i e da n dar a d i a l v e l o c i t ym e a s u r e m e n tm e t h o db a s e dr e a l - t i m es e q u e n t i a li m a g e sw a sp r o p o s e da n d u s e d t oe s t i m a t et h eu a vr a d i a lv e l o c i t ya n dt h el a n d s c a p eo r i e n t a t i o nv e l o c i t yw h e nt h e m o o nl a n d e rw a sl a n d i n gt ot h em o o ns u r f a c ei nt h i sd i s s e r t a t i o n m e a n w h i l eav e l o c i t y v e c t o rm e a s u r e m e n tm e t h o db a s e do nm a t c h i n go fr e a l - t i m ei m a g e sa n dr e f e r e n c e i m a g ew a si n t r o d u c e d ，a n dt h et o p o g r a p h yp r o b l e mr e l a t e d i nt h i sm e t h o dw a s t h o r o u g h l ys t u d i e d o n ei m a g em a t c h i n gm e t h o db a s e do nb i o l o g i c a lv i s i o nw a su s ei nt h ef i r s ta n dt h e s e c o n dv e l o c i t ym e a s u r e m e n tm e t h o d ，w h i l et h r e ei m a g em a t c h i n gm e t h o di n c l u d i n g t h em e t h o db a s e do nb i o l o g i c a lv i s i o n ，n o r m a l i z e dc o v a r i a n c ei n t e r c o r r e l a t i o nm e t h o d a n dl e a s ts q u a r e si m a g em a t c h i n gm e t h o dw e r es u e di nt h et h i r dv e l o c i t ym e a s u r e m e n t m e t h o df o ra c c u r a c yc o m p a r i s o n i no r d e rt ov e r i f yt h ea c c u r a c yo ft h ei m a g em a t c h i n g m e t h o db a s e do nb i o l o g i c a lv i s i o n ，al a r g en u m b e ro fs i m u l a t i o ne x p e r i m e n t sw e r e c a r d e do u ti nt h i sd i s s e r t a t i o n a f t e rm a t c h i n ga n dt r a c k i n gg r o u n df e a t u r e sa m o n gs e q u e n t i a li m a g e sg i v e nb yt h e v i s i b l eo ri n f r a r e dc a m e r a ，t h ef i r s tv e l o c i t ym e a s u r e m e n tm e t h o du s e dt h ec a m e r a f r a m er a t ea n dt h ef l y i n gp a r a m e t e r sg i v e nb yt h ei n e r t i a ls e n s o r sa n dl a s e rr a n g e f i n d e r s t og e tt h ei n s t a n t a n e o u sv e l o c i t y w k l eu a vw a sf l y i n gi nu n i f o r mv e l o c i t y ，t h e a v e r a g ev e l o c i t yw a sr e c e i v e db yd a t ap r o c e s s t h ef i r s ta n dt h es e c o n dv e l o c i t ym e a s u r e m e n tm e t h o d sh a dal o ti nc o m m o n ，t h e s i g n i f i c a n td i f f e r e n c ew a s t h a td u r i n gt h em e a s u r e m e n t ，t h ef l y i n gh e i g h tg r a d u a l l yf e l l d o w n s oh o wt oe l i m i n a t ei t si n f l u e n c ew a st h ek e yp o i n t t h er e f e r e n c em a pc o o r d i n a t e si nt h et m r dv e l o c i t ym e a s u r e m e n tm e t h o dw a s g a u s sp l a n ec o o r d i n a t e s ，t h em a t c h i n gp o i n t sa n dt h ev e l o c i t yd i r e c t l ym e a s u r e dw e r e b o t hi ni t b u tt h eg e o d e t i cs u r v e yc o o r d i n a t e sw h i c hi sn e e d e di nu a vn a v i g a t i o ni s e l l i p s o i dc o o r d i n a t e s i no r d e rt og e tt h ee s t e r na n dt h ew e s t e r nv e l o c i t y ，t h ed i f f e r e n c e w a sa n a l y s e da n das o l u t i o nw a sp r o p o s e di n t h i sd i s s e r t a t i o n m e a n w h i l eam e t h o dt o g e tt h ev e l o c i t ym o d i f i c a t i o no f t h ei n e r t i a ln a v i g a t i o ns y s t e mw a sp r o p o s e dh e r e t h er a d i a lv e l o c i t ym e a s u r e m e n tm e t h o da n dt h ev e l o c i t yv e c t o rm e a s u r e m e n t m e t h o dw e r et e s t e di nf l y i n ge x p e r i m e n t s ，a n dt h ee r r o rf a c t o r sw e r ea n a l y s e d t h e p o s s i b i l i t yo fc o r r e c tm a t c h i n ga c q u i s i t i o nw a ss t u d i e da n dam e t h o dt oe s t i m a t et h e p o s s i b i l i t yo fc o r r e c tv e l o c i t ya c q u i s i t i o nw a sp r o p o s e d k e yw o r d s ：u n m a n n e d a e r i a lv e h i c l e ( u a v ) ，b i o l o g i c a lv i s i o n ，v e l o c i t y m e a s u r e m e n t , g a u s sg r i dc o n v e r g e n c e ，p o s s i b i l i t yo fc o r r e c ta c q u i s i t i o n 第i i 页 国防科学技术大学研究生院硕士学位论文 图目录 图1 1 测速系统组成示意图4 图2 1 最小二乘影像匹配迭代步骤1 0 图2 2 视皮层内的超柱组织1 3 图2 3 不同朝向的g a b o r 模板1 7 图3 1 基于序列图像的无人机速度大小测量工作流程2 7 图3 2 基于序列图像的无人机速度大小测量方法基本原理示意图2 8 图3 3 倾斜像片校正示意图2 9 图3 4 定位误差的方差为o 2 米时，连续2 0 秒得到的速度3 1 图3 5 模板中心点选取策略3 2 图3 6 第一组序列图结果比较3 5 图3 7 第二组序列图结果比较3 5 图3 8 低帧频计算结果比较3 6 图3 9 飞行器在月球表面登陆示意图3 7 图3 1o 分辨率校正示意图3 8 图3 1 1 测速精度随高度的变化4 0 图4 1 速度解算示意图4 3 图4 2 机下点修正示意图4 4 图4 3 子午面直角坐标系与大地坐标系的关系4 5 图4 4 空间直角坐标系与大地坐标系的关系4 7 图4 5 大地纬度的计算方法4 8 图4 6 平面子午线收敛角示意图5 0 图4 7 东向速度比较5 3 图4 8 北向速度比较5 3 图4 9 地物起伏引起的定位误差5 4 图4 1 0 地物起伏对机下点的影响5 5 图a 1 参考椭球示意图7 2 图a 2 大地坐标系及点在大地坐标系中的表示方法7 4 图a 3 空间直角坐标系及点在空间直角坐标系中的表示方法7 5 图a 4 子午面直角坐标系及点在子午面直角坐标系中的表示方法7 6 图b 1 高斯投影示意图7 8 图b 2 高斯投影分度带示意图7 9 第v 页 国防科学技术大学研究生院硕士学位论文 表目录 表2 1 测试参数范围2 l 表2 2 零噪声水平下旋转测试结果2 1 表2 3o - = 5 时旋转测试结果表2 1 表2 4 萨1 0 时旋转测试结果表2 2 表2 5o = l o 时缩放测试实验结果2 2 表2 6 平移测试结果2 2 表2 7 拍摄角度对匹配影响2 3 表2 8 测试像素距离偏差分布2 3 表2 9 单因素匹配精度及识别率测试实验结论2 3 表2 1 0 综合实验距离偏差( 提取误差) 的平均值2 5 表2 1 1 参数范围测试实验结论一2 5 表3 1 飞行高度为2 5 0 米时，各误差来源所导致的定位误差3 1 表3 2 指定摄像机参数、不同飞行高度时，速度计算的最大误差和平均误差3 2 表3 3 原始序列图计算结果3 3 表3 4 隔帧序列图计算结果3 4 表3 5 间隔计算结果3 5 表3 6 平移测试结果3 7 表4 2 测速结果比较5 2 表a 1 涉及我国的椭球参数7 4 第1 v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意 学位论文题目 学位论文作者 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目 学位论文作者 作者指导教师 国防科学技术大学研究生院硕士学位论文 第一章绪论 1 1 概述 1 9 1 7 年英国人研制出第一架无人机( u n m a n n e d a e r i a lv e h i c l e ，简称u a v ) ，而 无人机的广泛应用则始于2 0 世纪5 0 年代。在军事上，无人机最先作为靶机。之 后，随着战争的需要和技术的进步，在无人机上安装了光学摄像设备、红外摄像 设备、角雷达反射器、通信侦察接收机和干扰发射机等，从而产生了具有情报侦 察、雷达诱饵、电子对抗和对目标实施攻击等功能的无人机。在近些年来的几场 高技术局部战争中，无人机都发挥了重要的作用。无人机最早于越南战争投入实 战，在海湾战争和伊拉克战争中取得辉煌的成就。在民用上，无人机主要用于大 地测量、气象观测、城市环境检测、地球资源勘探和森林防火等。相对于有人驾 驶飞机而言，无人机具有无人员伤亡风险、成本低、重量轻、等显著特点，因此 其发展受到许多国家的高度重视。 导航参数的精确测量是无人机的使用过程中的一个关键因素。目前较成熟的 无人机导航技术有惯性导航系统( i n s ) 、卫星定位导航系统( 如美国的g p s 导航系 统，俄罗斯的g n s s 导航系统以及我国的北斗导航系统) 、i n s g p s 组合导航系 统等【卜4 】。惯性导航系统敏感的载体的加速度，通过积分运算获取载体的位置与速 度，在长时间飞行后加速度漂移经过积分放大极大的影响了速度和位置测量值的 精度，不能满足无人机的飞行控制需求。g p s 导航系统和g n s s 导航系统分别掌 握在美国和俄罗斯手中战时很可能无法使用，且其信号极易受干扰，战时使用不 稳定；而我国具有自主知识产权的“北斗 导航系统暂时还未达到实用目的。因 此，研制具有自主知识产权的机载自主着陆导航方式是我国军事发展的迫切需要。 利用视觉传感器以及视觉传感器与卫星导航和惯性导航系统组合进行无人机 自主导航测量是近年来国际国内的研究热点。国外研究机构首先将这一方法在无 人机平台上进行实验验证，并在无人探测器等空间飞行器的自主着陆导航任务中 取得了广泛的应用p l o 】。通过对着陆环境的拍摄，采用摄像测量及计算机视觉的方 法，能够在无需地面导引的情况下，在其它机载传感器( 惯性测量设备、激光测高 仪等) 信息的辅助下以视觉信息为核心或仅利用视觉信息，测量出无人飞行器相对 于着陆点的位置、姿态以及当前运动的线速度和角速度，并将结果输出给自主着 陆控制系统。 视觉传感器，作为一种被动传感器，相对于主动传感器而言功耗较小，且因 为仅依赖于拍摄对象的反射光线而可以进一步提高无人飞行器进场的隐蔽性，有 助于提高无人飞行器的战场适应能力。要实现仅利用视觉信息的自主着陆导航， 第1 页 国防科学技术大学研究生院硕士学位论文 需要首先解决的关键i 、口j 题就是通过机载视觉传感器采集得到的信息进行分析处理 实现高精度对无人飞行器的飞行状态参数测量。如果视觉传感器选择红外摄像机 或其它谱带的摄像机，则有望实现无人飞行器的高精度自主导航测量。国内在此 方面的研究也刚起步，许多国内研究者都将目光投向了基于视觉的自主着陆导航 测量技术l l 叫6 。 基于生物视觉的图像匹配技术是近年来国际上发展起来一种快速、高精度的 图像匹配识别方法。本课题组研究并发展了这一方法，己成功地将其应用于图像 景象匹配与目标识别当中【1 7 1 。本文对视觉导航测速的相关因素进行了深入的研究， 提出了一种基于序列图像的无人机速度大小的测量方法、一种月球着陆器着陆下 降过程横向速度测量方法和一种基于实时图与基准图匹配的无人机速度矢量测量 方法，并使用基于生物视觉的图像匹配方法对实际挂飞试验的图像进行了处理， 得到了稳定性高、可靠性强、实时性好的速度测量结果，具有很好的工程实用性。 1 2 课题来源 飞行速度是无人机导航中的一个重要参数，特别是在某些需要通过速度来定 位的应用领域，高精度的测量速度是至关重要的。惯导是无人机的自主导航方式， 惯导敏感的是加速度，通过积分得到速度和位置。在长时间飞行以后，由于积分 将加速度漂移不断累计，其速度和位置量误差十分严重，不能用于实际导航。因 此需要通过其他方法高精度实时的测量得到无人机在水平面内的速度大小。在多 数情况下，仅得到无人机的速度大小是不够，无人机在制导过程中需要精确得到 自身速度矢量，以保障顺利进场着陆等任务。 2 0 0 7 年1 1 月2 6 日公布的首幅月球三维照片，标志着中国首次月球探测工程 的圆满成功，是继人造地球卫星、载人航天飞行取得成功之后，中国航天事业发 展的又一座里程碑；是中国科技自主创新取得的标志性成果。嫦娥一号将为二期 工程中月球着陆器着陆点的选择提供有用信息。二期工程的主要目标是发射月球 着陆探测器并携带巡视探测器，实施月面软着陆，在着陆区附近开展详细探测。 三期工程将发射月球着陆探测器，在着陆区附近进行探测，并采集月球样品实现 取样返回地球。 月球着陆器在月面着陆过程中，若其沿水平方向的速度过大可能导致着陆后 、月球着陆器出现翻滚的情况。因此就需要高精度的测量月球着陆器平行于月面方 向的速度。月球着陆器在月面着陆工程中，对其方向没有要求，因此只需要测量 其水平速度的绝对量即可。这一速度绝对量的测量与无人机速度大d , n 量基本相 同，其最大的区别在于，月球着陆器下降过程中，高度不断变小，而无人机在测 速段飞行过程中高度基本恒定。 第2 页 国防科学技术大学研究生院硕士学何论文 目前主要的速度测量方法有惯导、g p s 测速、多普勒雷达测速、风速管测速 等。惯导是无人机的自主导航方式，但是在长时间飞行以后，由于漂移的影响导 致位移和速度精度明显降低【”1 ；对于g p s ，战时不为我用，并且其信号易受干扰； 多普勒雷达可以全天候、高精度的测量，但是其体积和重量大，并且它属于主动 发射源，易于被跟踪识别；风速管测速本身精度不高，而且易受当地风速影响。 在这样的背景下，研究一种独立工作、高可靠性、高精度、体积小、重量轻的视 觉测速系统就成为无人机等小型航空器发展过程中的一个重要环节。 国际上已有利用无人机上的惯导、激光测距仪或雷达高度表和航空器上采集 的序列图像，进行实时处理得到无人机速度大小的报道【l9 1 。常规的无人机上都会 配备惯导、高度计和摄像机，因此视觉导航的速度大小测量方法和速度矢量测量 方法均可以在不增加其它硬件设备的情况下得以实现。 视觉导航速度大小方法的核心是实时高精度地得到图像的光流场或实现高精 度的图像景象匹配。文献 6 】使用k l t 算法在2 0 3 0 h z 的频率下实现了图像序列中 相邻图像间的特征匹配，进而得到的相邻两次成像时的机体位移，经过一段时间 的飞行累加得到无人机的飞行里程；文献 1 9 使用文献【2 0 】中的方法，可以实时高 精度地得到图像序列的光流场。速度矢量测量方法的核心是高精度的实现机载实 时图与基准图的匹配，国内外在相关方向研究 6 1 2 1 】【2 2 1 的也有非常多的报道。在实 时得到机载实时图与基准图的匹配结果之后，根据实时图的成像帧频即可得到基 准图坐标系中无人机的飞行速度。 1 3 系统组成 基于序列下视图像的机载精确测速系统( 以下简称测速系统) 可实现无人机 速度大小测量、月球着陆器月面着陆过程水平方向速度测量和无人机平飞时的速 度矢量测量。不管是速度大小测量还是速度矢量测量，分系统的硬件结构以及与 控制系统之间的数据交互都是相同的，系统主要由摄像机( 可见光红外可选) 、 机载d s p 实时图像处理系统及应用系统软件组成。 测速系统与无人机的接口采用r s 4 2 2 通过该接口，系统从无人机接受启动指 令、飞行姿态和飞行高度信息，并发送求得的无人机径向平均速度或速度矢量的 东北向分量。基于序列图像的无人机速度大小测量方法的输入为摄像机的视场角、 无人机飞行阶段的高度、无人机的姿态参数、以及系统时间( 触发时间) 。输出 为拍摄时间段内无人机的轴向平均飞行速度。其组成结构及与控制系统的工作协 同关系如下图所示： 第3 页 国防科学技术大学研究生院硕士学位论文 图1 1 测速系统组成示意图 1 4 本文主要研究内容 本文紧扣武器装备发展的实际需要，广泛查阅了国内外的研究进展，深入分 析了视觉测速方法的各种影响因素，主要进行了以下几个方面的研究。 ( 1 ) 深入研究了图像匹配的协方差相关亚像素定位方法、最d x - 乘影像匹配 方法和基于生物视觉的目标识别与匹配方法，对基于生物视觉的目标识别与匹配 方法进行了大量的半实图仿真实验得到了该方法的匹配精度和适用图像畸变参数 范围； ( 2 ) 提出了一种基于序列图像的无人机速度大小的测量方法，使用该方法完 成了无人机速度大小测量和月球着陆器着陆下降过程横向速度测量，介绍了基于 实时图与基准图匹配的无人机速度矢量测量方法的基本原理，针对该方法工程中 遇到的实际问题进行了深入细致的研究； ( 3 ) 对实际飞行试验的图像，使用基于生物视觉的目标识别与匹配方法，分 别对速度大小测量方法和测速矢量测量方法进行了实验，分析其中的误差因素； ( 4 ) 研究了卫片高斯坐标系与地理坐标系中的方向差异，给出了解决方法， 并应用到实际测速中； ( 5 ) 给出了一种由实时图与基准图匹配坐标和惯导数据高精度得到惯导速度 修正量的方法； ( 6 ) 研究了景象匹配的置信度及其使用方法，提出了一种测速测量结果置信 度的评价方法。 第4 页 国防科学技术大学研究生院硕士学位论文 第二章景象匹配方法及基于生物视觉的匹配精度实验 2 1 引言 景象匹配的精度是影响测速精度的最关键因素，本文应用的图像匹配方法主 要有归一化协方差互相关亚像素定位方法【2 3 】、最小二乘景象匹配方法【2 4 】和基于生 物视觉的景象匹配方法【2 0 】。 本章介绍了归一化协方差互相关亚像素定位方法、最小二乘景象匹配方法和 基于生物视觉的景象匹配方法的原理，由于前两种方法已经是国际上较通用的方 法，本章仅对基于生物视觉的景象匹配方法进行了大量的半实图仿真，以检验其 匹配精度。 2 2 归一化协方差互相关亚像素定位方法 2 2 1 归一化协方差互相关方法 归一化互相关方法【2 5 1 是根据统计学给出的测度两幅图像相似程度的较普遍和 一般的理论和方法。所有n x n 的数字图像表示成矢量形式以后便构成一个疗维 矢量空间k ，佗= n n 。 设k 中的两个矢量： i 三 ：耋i ：妻荨 c 2 m 如果我们将其中一个平移一个适当的位置：6 = ( 6 ，6 ，6 ) t 后，其中一个矢量 是另一个矢量的某个倍数聊，就称它们完全相似。作准则函数： j2 去三( 轨一6 一耐( 2 2 ) 求b ，历使j j m i n ，可得： b = 歹= 麻( 2 3 ) ( 甄一z ) ( 珧一歹) m = 立l 市一 ( 一虿) 2 t = 1 ( 2 4 ) 第5 页 国防科学技术大学研究生院硕士学位论文 其中 所求得的为最小值厶： 厶2 丢喜( 圹珊一盔) 其中： ( 一万) ( 。一歹) 2 万_ l 1 謦t 可) 2 融- - ) 2j ( 2 5 ) ( 2 6 ) ( 2 7 ) 相对误差函数： e 02 r 忐“一盔 ( 2 8 ) 寺( 圹歹) 2 根据式( 2 6 ) ，取极大值时取得j 最小值, i o ，再根据式( 2 8 ) 此时相对误差e 0 取得极小值，故取极大值时对应的坐标位置即为匹配结果。对于数字图像积分 应用离散和代替。在运用匹配检测方法时，需将要检测出的目标图像作为模板， 通常模板图像 ，( i ，歹) m ，比待检测图像【夕( i ，歹) l 小，图像厂应在g 上滑动，对于 厂的每一个可能位置都要按式( 2 7 ) 的离散形式进行计算，故厂和g 的匹配测度定义 为 e f ( i ，_ ，) 一7 g ( f + 七，_ ，+ 沪季】 p ( x ，y ) = m - i n - i 厂( f ，) 一7 zm - i n - i z g ( i + 七，+ ，) 一季】z v 2l 厂( f ，) 一7 2 + 七，+ ，) 一季】2 l li = oj = o i = 0j = o j p ( x ，j ，) 取得极大值的像素位置即为匹配结果。 2 2 2 归一化协方差互相关方法亚像素定位方法 ( 2 9 ) 由该方法得到的匹配结果是目标的整像素位置，实际目标位置不一定在整像 素点上。由于相关函数矩阵在以最大值为中心的一个单峰区域上通常近似满足二 次多项式，因此可以通过拟合方法得到该区域相关系数的解析曲面函数，取曲面 极值点为目标的亚像素位置【2 3 】。该曲面的方程可由式( 2 1 0 ) 表达： 第6 页 轨 。两n曲 1 一n l 一亿 = = 一z y 国防科学技术大学研究生院硕士学位论文 f ( x ，y ) = 口o + 口1 x + a 2 y + c i 3 x 2 + 口4 x y + a 5 y 2 ( 2 1 0 ) 卜= 警嚣 卜繁老 ( 2 1 1 ) 实际使用时，一般以整像素最大值点为中心取3 3 或5 5 的小窗口，记窗 1 2 1 中任意一点的坐标为( 屯，珧) ，则该点的相关系数均满足式( 2 1 0 ) ，即： ( t ，y i ) = a 0 + a i x i + a 2 y i + a 3 x 2 + a 4 x i y i + a s y 2 = 1 x iy 。x 2 x 龇蚺 ( 2 1 2 ) 式中有口0 ，a l ，a 2 ，a 3 ，a 4 ，0 5 六个未知数，需要有六个及以上的方程进行求解。设 参与拟合的窗口中共有胆个点，则： 则： f f ( x l ，m ) i i l = 【- 厂( 矗，虼) j c = 1 q 可1 巧2x l y l 薪 1 蛎 oo 第7 页 ( 2 1 3 ) ( 2 1 4 ) 跏研现仍以鹏 踟饥以彩纵仍 2 2 打 朋； 只 m 以 机 靠 砰； m； 而； 靠 一11一 国防科学技术大学研究生院硕士学位论文 一( c 7 c 饿 亿 在得到曲面的参数a o ，a l ，a 2 ，a 3 ，a 4 ，a 5 之后，由式( 2 1 1 ) 即可计算得到匹配定位 点的亚像素位置。理想的情况下，这种亚像素定位的精度为0 0 1 0 1 个像素。在 图像噪声较大的情况下，该方法仍然能够得到较高精度的定位结果，这是因为最 小二乘拟合方法是以噪声方差最小为约束条件。 2 3 最小二乘影像匹配方法 最小二乘法在影像匹配中的应用是2 0 世纪8 0 年代发展起来的。德国 a c k e r m a n n 教授提出了一种新的影像匹配方法一一最小二乘影像匹配( l e a s t s q u a r e si m a g em a t c h i n g ，l s i m ) 。该方法充分利用了影像窗口内的信息进行平差 计算，使影像匹配可以达到1 1 0 甚至1 1 0 0 像素的精度。该方法具有灵活、可靠 和高精度的特点，因而受到了广泛的重视，得到了很快的发展。 实时图与基准图之间的影像灰度变形有两大类：辐射畸变和几何畸变。产生 辐射畸变的原因主要有：照明及被摄影物体辐射面的方向不_ 致、大气与摄影机 物镜所产生的衰减和摄影处理条件的差异以及影像数字化过程中所产生的误差等 因素；产生几何畸变的因素主要包括摄影机方位不同所产生的影像的透视畸变、 成像时的镜头畸变和地形高差引起的几何畸变等方面。 实时图与基准图的灰度分布函数分别记为夕1 ( z ，y ) ，夕2 ( z ，y ) ，两者之间的几何变 形可以使用仿射模型来描述： y x ，= ：a 6 0 0 + + 6 l a l x x + + 6 2 a 2 y y ( 2 6 ) 其中o ，少) ，( ，y ) 分别为实时图与基准图中同名点的坐标，a o ，a i , a 2 , b o ，2 j l ，b 2 为几何畸变参数。两者之间的灰度变形使用线性模型近似，因此有： g l ( x ，y ) + n l ( x ，y ) = h o - i - 7 i 1 9 2 ( a o + a l x + a 2 y ，b o + 6 l x + b 2 y ) + n 2 ( x ，y ) ( 2 1 7 ) 其中，h o ，抚为灰度线性畸变参数，确，为随机噪声。 2 3 1 最小二乘影像匹配原理 影像匹配中判断影像相似性的度量很多，其中一种是“灰度差的平方和最小”。 第8 页 跏伪现毋m 仍 国防科学技术大学研究生院硕士学位论文 若将灰度差记为v ，则上述判据可写为： f 钉口：m i n( 2 1 8 ) z _ ， 因此，这一方法与最小二乘的原则是一致的。当仅认为影像灰度只存在偶然 误差( 随机噪声) 的情况下，即： g l ( x ，y ) + ，z l ( x ，y ) = 9 2 ( x ，y ) + 吻( x ，y ) ( 2 1 9 ) 此时： 口= g l ( z ，y ) 一9 2 ( x ，y )( 2 2 0 ) 这就是一般的按照f 删= r a i n 原则进行影像匹配的数字模型。若在此系统中 引入式( 2 1 7 ) 所描述的系统变形参数，按照该原则求解变形参数，就构成了最小二 乘影像匹配系统。 2 3 2 最小二乘影像匹配解算方法 在式( 2 1 7 ) 所描述的系统变形模型中，点( z ，y ) 处基准图与实时图之间的灰度误 差为： 勘= h o + 锄夕2 ( 0 0 + 0 1 z + 吻y ，b o + 6 1 z + 剪) 一g l ( z ，y ) ( 2 2 1 ) 经一阶泰勒展开可线性化为： v = c l d h 0 + c 2 d + c 3 d a o + c 4 d a i + 岛d 如+ c 6 d b o + c 7 d b l + c s d b 2 一a g ( 2 2 2 ) 其中d h o ，砒，d a o 也是待定的参数改正值， 参数初值取为 h o ，7 j l ，a o ，a i ，a 2 ，b o ，6 l ，5 2 】= 0 ，1 ，0 ，1 ，0 ，0 ，0 ，1 】，观测值a g 是两幅图像相应像素的灰度 差，误差方程式的系数为【2 6 】： 雪2 ) 工y = y 垂 ( 2 2 3 ) 雪2 ) y = g y 官2 ) y x - x 岛 雪2 ) y y = y 岛 第9 页 g x = = 惯 、厅 l g g = = 一堕呐 2 2 2 2。&趣一一 = = i i = 所以 句 “ 一鸭眺一强钆一呐钆一魄鱼鱼鱿慨一饥一钆 = i l = = _ c 巧 叩 嚯 国防科学技术大学研究生院硕士学位论文 由于使用的是数字图像，式( 2 2 3 ) 中的偏导数使用差分代管： 垂= 寺( ( ，j + 1 ) 一g ：( ，一1 ) ) 雪y = 去( 9 2 ( ，+ l ，) 一9 2 ( ，一l ，j ) ) 2 4 ( 2 ) 按式( 2 2 2 ) 、( 2 2 3 ) 、( 2 2 4 ) 在目标模板内逐个像素建立误差方程式： v = c x l ( 2 2 5 ) 其中x = d ，崛，d ，d o l ，d 0 2 ，d 6 0 ，鸸，d 6 2 。由误差方程式建立法方程式： ( c t c ) x = c t l ( 2 2 6 ) 最d - 乘影像匹配迭代过程如图4 1 所示，其具体步骤如下图所示： 图2 1 最小二乘影像匹配迭代步骤 ( 1 ) 几何变形改正。根据当前的几何变形改正参数口o ，a l ，a 2 ，b o ，b l ，6 2 ，根据式 ( 2 1 6 ) 将基准图变换到实时图上的目标阵列。 ( 2 ) 重采样。由于换算得到的目标阵列的坐标点( x 7 ，y ) 不是整像素点，所以 需要重采样得到9 2 ，本文采用双线性插值。 第1 0 页 国防科学技术大学研究生院硕士学位论文 ( 3 ) 灰度畸变改正。利用最d , - 乘图像匹配求得的灰度畸变改正参数h o ， 对重采样的结果做灰度改正+ 嘎9 2 ( x 7 ，y ) 。 ( 4 ) 计算实时图与几何及灰度改正后的目标图像的相关系数，判断是否需要 继续迭代。 ( 5 ) 采用最d , - - 乘图像匹配，根据公式( 2 2 6 ) 解求本次迭代中参数的改正值 硎，酬，碱，砌：，d a ：，d b l ，如：，叫。 ( 6 ) 计算本次迭代的变形参数。由于变形参数的改正值是根据经过几何、辐 射改正之后的基准图影像灰度阵列求得的，因此变形参数应求解如下：设前一次 变形参数为酊1 ，矿1 ，i - i ，a 。i - i ，a ：i - i ，6 ：- 1 ，6 。i - i ，够1 ，训，叫，嘁，出：，砌：，叫，乃f ，趟为 本次迭代求解的改正值，则本次几何改正参数，省，响i ，6 1 i ，6 1 i ，b 。i ，b i ，芝满足： i z ， 秒 1 00 = i 酝 b 0 o la l i2 b ：荆荔 1 + d a d b 。 d a 。 2 1 + d 呸 1 奇1 b 一l o 0 0 i 一1 l 6 一l 0 a f 一1 2 磋一1 ( 2 2 7 ) 而辐射畸变满足： 【三】= 【三罢1 【三1 = 【d ：1 上硝1 【毒。掌。1 三】 c 2 2 8 ， 故本次几何改正参数可由下式计算： 矗= 嘞i - 1 + d 罐+ 茚1 d a i + 盼1 d a i 口：= 口f 1 + 茚1 d a i + 矸1 d 口；= 吃i - 1 + 孝1 叫+ 够1 删 = j - i + 磷+ 蒈1 叫+ 酊1 硝 ( 2 2 9 1 ) 2 j f = 6 f _ + q i 叫叫+ 矿1 叫 、 芝= 磅1 + 孝1 酬+ 砖1 遄 = 酊1 + 碱+ - 1 驯 叼= 蹦q + 研叫酬 迭代结束之后，目标点的匹配位置为： 艇蠹：乏 仁3 。， 其中( x o ，y o ) 为迭代初始坐标，( g 2 , 6 2 ) 为迭代计算结束时得到的仿射变换模型 中的平移向量。 第l1 页 国防科学技术大学研究生院硕士学位论文 2 3 3 最小二乘影像匹配精度分析 最小二乘影像一维匹配位置误差的方差【2 4 】为： 。 二2 1 箧2 丽茜 2 3 1 ) 其中，子：为匹配位置误差，( s n r ) 2 为信噪比，_ h ( s n r ) 2 = 1 ( 1 一p 2 ) ，p 为 相关系数，佗为模板中总的像素点数。仃- 。2 为图像功率，彦：为图像梯度功率。 由式( 2 3 1 ) 可得到以下有用结论： ( 1 ) 相关系数愈大则精度愈高 ( 2 ) 信噪比愈大，则匹配的精度愈高，信噪比可以通过影像功率谱估计，故 可以在进行影像匹配之前估计出影像匹配精度的验前方差。 ( 3 ) 匹配精度与影像的纹理结构有关，即彦；愈大，影像匹配精度愈高。当 彦；= 0 ，即目标模板内灰度没有变化( 如湖面、雪地、沙漠等) 时，无法进行影 像匹配。 2 4 基于生物视觉的目标识别与匹配方法 2 4 1 原理描述 神经生物学的研究发现，生物视觉神经中的识别过程( 决定目标的特征) 与 跟踪过程( 决定目标的空间位置和运动) 是分开的【2 7 1 。生物视觉对目标的跟踪不 需要连续