（通信与信息系统专业论文）平面机构的运动轨迹测量.pdf

中文摘要 机构运动分析是机构分析的重要工作之一。由于在理论研究和工程应用中， 经常需要获取平面运动构件的真实运动参数，如构件上点的位移、速度、加速度 以及构件的角位移、角速度和角加速度等，因此获得真实构件上点的位移、轨迹、 速度和加速度以及构件的角位移、角速度和角加速度非常必要。为此，本课题针 对平面机构中典型的曲柄滑块机构，对c c d 采集得到的机构运动时变序列图像 加以处理，得到构件上点的不同时刻的坐标，并利用数值方法计算出构件的速度、 加速度等运动参数。该方法凸现了c c d 的非接触测量的优点，弥补了其它传感 器的使用局限。 课题以计算机数字图像处理技术和数值分析理论为基础，在v i s u a lc 抖软件 平台上，对c c d 采集得到的机构运动图像进行匹配处理。在比较去均值归一化 相关法、不变矩法以及序贯相似性检测法的抗干扰能力、抗旋转能力的基础上， 提出了一种以去均值归一化相关法为主的改进匹配算法，该改进算法不但在处理 旋转目标的匹配时具有较高的精度，而且通过改进其搜索策略，使改进算法具有 了算法速度快、误匹配率低的优点。最后通过对几种数值计算方法在计算机上进 行实际比较，确定采用基于最小二乘原则的多项式拟合方法计算出机构的运动参 数。 关键词；去均值归一化，不变矩法，序贯相似性，搜索策略，最小二乘 m a b s 仃a c t m o t i o n 觚a l y s i so fm e c h a n i s mi si l n p o r t 锄ti n 锄a l y s i so fm e c h 锄i s m 1 1 1 a t a c q u i r m g 协ed i s p l a c e m e n t ，v e l o c i t ) ，锄da c c e l e m t i o no fp o i n t so nt h ec o m p o n e n t sa n d 锄g u l a rd i s p l a c e m e n t ，a n g u l a rv e l o c 时锄d 锄g u l a ra c c e l e r a t i o no fc o m p o n e n t si s v e r yn e c e s s a r yb e c a u s er e a lm o t i o np a r a m e t i ：r sa r co r e nr e q u i s 沁f o r 嬲a l y s i si i im e m e o 巧r e s e a r c h i l l g 柚dp r o j e c ta p p l i c a t i o n i nt h i st h e s i s ，w i t l lc c d a n d d i g i t a ii m a g e p r o c e s s m gt c c h n o l o g y m et i m e - c h 锄g e - s e q u e n c ei l n a g e so fs l i d e r - c r 砌【m e c h 锄i s m w h i c hi sa 虹n do ft ) ，p i c a lp l a n 盯m e c h a n i s ma r ep r o c e s s e d ，a n dt h e s ei m a g e sa r e g a m e r e db yc c dc 锄e r a r n l i sm e t h o ds h o w sm ea d v a n t a g eo fn o n - c o n t a c t m e 硒u r e m e n to fo c d 锄dc o v e r st h es h o r t a g eo fo t h e r 仃a n s d u c e r s b a s e d0 nt 1 1 em e o 巧o fd i g i t a l i m a g ep r o c e s s i n ga n dn u m e r i c a la n a l y s i s ，d i g i t a l i m a g ep r o e e s s m gp r o 伊锄a r ew r i t t | e nb yv i s u a lc + + ，m a t c h i n go p e r a t i o na r ea p 讲i e d t ot h ei m a g e sg a t h e r e db yo c dc 锄e r a a f t e rc o m p 曲gt h e 枷一i n t e r f e r e n c ea b i l i t ) ，a n d 恤 雅t i - r o t a l t i o na b i l i 够o f m 岬r o d ，v i ，s s a wm 撒t l i n gm 甜l o d 、) i d l i c hb 嬲e d0 nn n p i 的di s p 舱s e n 钯d t h i sn e wm e t h o df o r 删i i 培t a r g e t sn o to n l yh 嬲h i 酉1 e ra c c u r a c y ，b u ta l s ow i 血h e l po f i m p r o v e ds e 盯c 1 1 i n g 蛐眦e g y ，t h i sn e wm e n l o dh a s1 1 i g h e ra l g o r i 廿1 ms p e e da n dl o w e ri n a ：t c h i n g 1 1 1 i s 切l l ( e s a f t e rc o m p a r e d 谢也o t h e rs e v e r a ln 眦r i c a l 锄a j y s i sm e m o d s ，p o l y n o m i a lf i t t i n g m e m o di sa p p l i e dt oc a l c u l a t et t l ep a r a m e t c r so fm o t i o no ft l l em e c h a n i s m k e yw o r d s ：m 岬r o d ，i m ，s s d a ，s e a r c h i n gs 蛔t e g ) ，p o l ”o m i a lf i t t i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得：叁鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名： 谢 签字日期：护苦年7 月砌同 学位论文版权使用授权书 本学位论文作者完全了解苤凄盘鲎有关保留、使用学位论文的规定。 特授权鑫盗盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 刊0 。 导师签名：学位论文作者签名：唰l 竹导师签名： 签字日期：扩g 年f 月如同 似誓旅 签字日期：矽1 7 孚年f 月哆同 第一章绪论 1 1 课题研究背景及意义 第一章绪论 利用c c d 技术进行测量是计算机视觉技术的主要应用之一，目前在很多领 域上都得到一定的研究和应用，如材料形变检测、工厂自动化、医疗等。以c c d 作为传感器进行测量测试，弥补了传统传感器的不足，所以这一技术必将得到更 加广泛的应用。为此本课题提出利用c c d 技术和计算机数字图像处理技术为主 的实验方法，进行平面机构运动研究。 机构的真实运动规律受机构中各构件的质量、转动惯量和作用于构件上的 力、构件的弹性变形和运动的间隙等因素影响，实际情况常与理论分析存在差别 】。利用本课题的研究结果，可以直接测量机构的构件上点的位移和轨迹及构件 的角位移，通过数值计算方法，可以得到速度和加速度，对机构运动情况做出直 接的分析评判；还可以对机构运动的理论分析结果进行验证。 此外，本课题的研究结果在一定程度上可以作为未来有关机器视觉研究的基 础，也可以提供一种检验平面物体运动、构件间相对位置和相对位移甚至变形的 新方法，同时在机构运动分析、动力学研究、精密机械的定位和质检工序等智能 化制造方面得到实际应用。 本课题硬件选择了平面机构中具有代表性的曲柄滑块机构作为实验对象，实 验平台是由杭州星辰仪器设备公司制造的q i d i i i 型曲柄滑块导杆凸轮实验台， 该实验台主要由s z 9 4 1 型直流电动机、f c a 蜗轮减速机、g j f ，2 型光栅角位移 传感器、同步信号发生器、工作台、滑块导轨等构成。c c d 器件采用日本伽c 公司的w a t - 9 0 2 h ( c c 鼬型黑白工业c c d 摄像头。 1 2 课题研究现状 图像匹配指的是把一个图像区域从另一个往往由别的传感器摄取的相应景 象区域中确定出来或找到它们之间对应关系的一种重要的图像分析与处理技术。 当图像由不同的传感器或者不同的时间、不同的视角获取时，往往要进行图像匹 配的处理。 图像匹配最早是美国7 0 年代从事飞行器辅助导航系统，武器投射系统等应用 研究中提出的。经历了1 0 多年的发展，从8 0 年代以后，其应用已逐步从原来单纯 第一章绪论 的军事应用扩大到其它领域。如模板匹配定位、生理病变检测、文字识别、人脸 识别等，它也是其它一些图像分析技术的基础，如双目视觉和运动分析等【2 1 【3 】。 1 2 1 常用匹配算法介绍 现今大量的文献中都提出了各种各样的图像匹配方法，旨在提高图像匹配的 精度、速度、匹配方法的通用性以及抗干扰性，这些方法多半集中于按图像像素 值的匹配方法和按图像特征的匹配方法。前者包括全局相关算法、快速傅立叶算 法等等，这种算法简单，易于实现。按图像特征的匹配方法是指在原图像和变换 后的图像中进行提取对比例、伸缩、旋转具有不变性的特征进行匹配的方法，在 原图中，常使用的特征包括边缘、区域、线的端点、线交叉点、区域中心，曲率 不连续点等，其中边缘和区域边界最常用，它们可以由边缘检测方法和区域分割 方法得到。一般说来，基于特征的方法因它们不直接依赖于像素值，所以经常需 要较复杂的图像处理以抽取特征，因此不利于硬件实现【4 】。 下面简单介绍目前常用的相关算法： 由于f o u r i e r 变换具有独特的优点，k u g i n 和h i i l e s 提出了相位相关法，a l l i n e y 提出了一维f o u r i e r 变换的方法，l e e 提出了谱方法。 c o n ，i 用聚类方法得到了变换模型的旋转和平移参数的初始值，并进一步对 特征点用最小距离方法匹配。 s t o c m 锄采用闭区域的中心作为控制点，对具有几何变换关系的图像，利用 线交叉点和线段端点匹配，并且用聚类方法进行图像匹配。 “将轮廓检测与灰度局部统计特性结合起来提取特征点。并对特征点进行初 始匹配和精确匹配，最后得到真实匹配。 b o u r r e t 采用多尺度边缘检测和边缘闭合过程，并计算图像分割后的能量函数 进行图像分割，并用模拟退火算法极小化能量函数完成图像匹配。 d 锄a 用多分辨率边缘检测得到不同分辨率下的图像边缘，然后采用分层优 化得到图像变换参数。 p i 锄对两幅图像用“a t r o u s ”算法进行小波分解得到特征点，进行匹配运算。 u n s e 崆用二维三次连续样条函数的多分辨率结构，由粗到细采用迭代策略 和最速下降方法寻找图像仿射变换的参数进行图像匹配。 1 3 相关课题应用 上世纪，国内的视觉系统大多是随着国外跨国企业的生产线进入中国。经过 数年发展，现在国内很多自动化设备制造商正将机器视觉技术应用于其产品设 第一章绪论 计，以提高功能及性能档次，改善产品及加工质量。 1 3 1 课题应用领域 对于图像匹配的应用领域，有以下的分类f 5 】： ( 1 ) 不同传感器的信息融合。 数据融合一般分为三个层次，即数据级融合、特征级融合和决策级融合，在 数据级融合中，由于数据是不同传感器获取的，往往要先进行图像的配准，找到 同一物体在两幅图像中的对应关系，作为下一步处理的基础。 ( 2 ) 在不同时间或不同条件下的成像的差异分析。 在自然资源分析、天气预报、环境研究、变迁检测、生理病变等应用领域中， 同一物体在不同时间的成像之间的差异隐含了重要的信息，而这种差异分析是建 立在图像匹配基础之上的。 ( 3 ) 在序列图像中推断场景和物体的三维信息。 在摄像机或成像目标运动的图像序列中，通过图像匹配找到相邻、两幅图像 之间的对应关系，在此基础上可以获取运动参数或物体的三维信息双目图像相 当于摄像机从一个角度到另一个角度对目标的成像，是特殊的运动序列图像。 ( 4 ) 基于模型的目标识别 图像理解的高层分析部分主要完成图像的识别、解释和描述等任务，一般是 基于一个系统内部模型来进行的，系统内部模型可以分为基于图像特征、基于空 间几何形状和基于知识的三大类，它们对应的方法和效果有较大的区别，但都是 建立在图像与内部模型的匹配、比较的基础上的。如指纹识别，不管是基于原始 数据的匹配，还是基于主量分析( p c a ) 的匹配，或者基于特征点的匹配，都是 图像匹配。在地图与地形导航匹配中，确定实时图在基准图中的位置，以进行匹 配定位，其实质是在基准图中识别出实时图。 1 3 2 国内外农业生产中机器视觉的应用 瓜果品质的无损检测技术。目前，国外对利用机器视觉进行果实品质自动识 别研究的对象非常广泛。t a y l o r 等( 1 9 8 4 ) 首先报道了分别利用线扫描和模拟摄像 机检测苹果损伤的试验，结论为利用数字图像技术检测苹果损伤可以达到人工分 级的精度：r e h l ( u g l e r 和p ( 1 9 8 6 ) 研究了利用机器视觉进行苹果表面碰伤检测， 研制成了利用机器视觉进行缺陷检测和分级的苹果处理设备。在国内，王江枫、 罗锡文等( 1 9 9 9 ) 探讨了应用计算机视觉技术进行芒果重量及果皮损坏检测的方 法，确立了所需图像区域的算法，建立了芒果重量与其投影图像的相互关系；杨 秀坤等( 1 9 9 7 ) 提出了应用计算机视觉技术检测苹果表面缺陷的方法：陈晓光等 第一章绪论 ( 19 7 7 ) 设计了用于综合评价苹果果型的计算机视觉系统。在机器识别黄花梨果形 的研究中，研究人员研究了不规矩果品的形状描述方法，提出采用f o 耐e r 变换 和f o 嘶c r 反变换对来描述果形，其识别的精确率可达到9 0 【7 1 。 可以预见，将人工智能技术和图像处理技术相结合，使今后应用计算机视觉 技术进行水果品质评价的重要发展方向。 机器视觉在大米、小麦、玉米以及其他谷物的识别和分级的研究中也取得了 很大进展。例如根据应力裂纹、形态、染色后颜色特征等，应用神经网络、高速 滤波等技术来进行识别和分类。 研究人员研究了烤烟烟叶质量的检测方法，用h l s 颜色模型对大量烟叶样 本进行颜色分析，得到各类样本颜色特征值得分布情况；采用轮廓跟踪算法对烟 叶的整体图像外型轮廓进行提取，采用链码表示法进行描述；通过烟叶对光的透 过特性，对叶片结构和身份特征进行综合提取和描述；采用b p 神经网络对烟叶 成熟度与其他因素的关系建立数学模型。 此外，农产品分选机械是机器视觉技术在农业机械中应用最早、最多的一个 方面。主要是利用该项技术进行无损检测，即利用农物表面所反映出的一些基本 物理特性对产品按一定的标准进行质量评估和分级。农产品加工机械视觉技术的 研究工作是在2 0 世纪9 0 年代开展的，主要用于在农产品加工过程中进行品质自 动监测及反馈控制。机器视觉技术在收获机械中的应用研究始于2 0 世纪8 0 年代 中后期，是近年来最热门的研究课题之一，主要研究集中在农产品收获自动化( 包 括蔬菜、水果的收获) 。其基本原理都是在收获机械上配备摄像系统，采集田间 或果树上作业区域图像，运用图像处理与分析的方法判别图像中是否有目标( 如 水果、蔬菜等) 出现。发现目标后，引导机械手完成采摘。机器视觉技术在动植 物生长情况监测中也得以应用，可以精确自动地监测动植物生长情况。在农业生 产机器人上用于对作业对象的正确识别。 1 ：3 3 工业生产中机器视觉的应用 采用面阵c c d 器件检测纸张匀度。获取被测纸张的数字图像，然后应用计 算机视觉理论与方法，结合纸张匀度测试理论，对图像中的相关信息进行分析。 不仅能模拟人类视觉，对整个测定面积内的纤维、絮块在纸面上的分布状况进行 分析和描述，而且能综合各种参数，确定一个更加全面、正确的匀度指数【7 】。 在机动车辆车牌自动识别的应用中，彩色图像灰度化、平滑、二值化、去除 噪声、字符分割等方法得到研究。二值化方法用以将有意义的特征或需要应用的 特征提取出来。 综合运用光学、机械、电子、计算机图像处理等相关技术，研制了基于视觉 第一章绪论 检测p c b 板自动定位钻孔系统，解决了关键的定位靶标非接触在线精确检测及 定位钻孔的原理和技术实现问题。 彩色瓷砖自动分类系统，使用低端采像设备，提出了一种矩形物体图像分割 的简易算法，实现精确色彩测量。 在钢板表面缺陷的无损检测技术与应用中，利用绝大多数表面缺陷的光学特 性之间存在着明显差异的特点，取得了较好的使用结果。视觉技术在工业无损检 测领域已得到普及。基于机器视觉钢板形位检测系统，根据现场情况，采用多台 面阵c c d 摄像机获取整块钢板的图像，由计算机灰度图像预处理，完成边缘提 取、人工标记的自动识别，从而得到钢板的长宽尺寸。 在基于机器视觉的汽车仪表板智能检测方法的研究中，应用小波分析，精确 描述了仪器板指针与刻度间的相对位置。基于机器视觉的螺纹检验仪的研究，设 计了理解图像并提取螺纹参数的算法和螺纹图像边缘的提取算法。 基于机器视觉的芯片管脚尺寸自动检测设备，模拟人眼进行检测，实现非接 触式的测量。机器视觉技术用于电子网板( 彩色显像管的重要部件) 检测，由二维 视觉检测系统检测待测参数。 在其他行业中，机器视觉应用于细胞分析来找出包含异常细胞概率最高的标 本：用激光作为照射源，c c d 作为检测器，从图像上计算出对应景物点的三维 信息；原本体积非接触测量系统的研究针对原本枝多的特点，采用结构光方法， 实现对运动状态下单根原木体积进行非接触在线测量。 计算机视觉以其信息量大、精度高、检测范围大等特点，在焊接领域也得到 了广泛应用，为实现焊接操作自动化提供了有力手段。借助c c d 摄像机、红外 摄像仪、x 光探伤仪、高速摄像机等图像传感设备及智能化的图像处理方法，许 多机器人及特定的自动焊机也具备了一定的视觉功能。它们不仅可以模拟熟练焊 工的视觉感知能力，而且可以超越人的局限，完成诸如获取并处理强弧光及飞溅 干扰下焊接图像、实时提取焊接溶池特征参数等工作，实现人类难以直接作业的 特殊场合( 如水下、空间核辐射环境等) 的自动焊接施工。 在国内外研究人员的共同努力下，计算机视觉广泛应用于焊缝跟踪、溶池形 状与溶透控制、焊道形貌检测与控制等领域，为焊接生产和过程自动化、智能化 作出了重要贡献。展望未来，采用最新的计算机视觉理论，开发焊接机器人视觉 传感器与控制技术，研制能够识别目标环境、随时精确跟踪轨迹并调整焊接参数 的智能焊接机器人已经成为焊接领域的重要发展趋势之一。国外知名的焊接机器 人厂家如k u k a ，g m f ，m o t o m 觚，a d e p t 等相继开发出装备有新型视觉传感器 系统得机器人。国内也相继开发出具有视觉传感功能的智能化的特种机器人产 品。具有视觉功能的机器人已经应用于汽车、航天和重型构件的生产及锅炉、管 第一章绪论 道、大型球罐的焊接生产。 日本在机器视觉研究上较为领先，从工业产品的制造、质量控制到农产品、 水产品的检查和分级等广泛领域，已有很多的机器视觉应用软件被实际使用。具 体的典型应用事例如下p 1 ： ( 1 ) 形状及表面缺陷检测( s u r f k e1 1 1 s p e c t i o n ) ：电视显像管的缺陷检查( 日本， 东芝，富士通) ；螺钉形状的检查( 大阪府) ；钢铁、不锈钢的缺陷检查( 神户 制钢，东芝，欧姆龙) ；发动机内壁的损伤检查( 冈山县工技能中心，三菱电机) ； 精密测量( 高岳制作所) ；焊锡检查( 富士通，日立，欧姆龙，松下电工) 。 ( 2 ) 非破坏性检验( n o n d es _ t m “v ei n s p e c t i o n ) ：焊接部位x 线照片( 东大， 三菱重工) ；超声波探伤( 东大，三菱电机，日立，新目铁) ；连接部检查( 三 菱重工，日立建横，川崎重工，富士重工) 。 ( 3 ) 工业机器人视觉( i n d u s t r i a lv i s i o n ) ：机器人视觉( 佳能，东芝，丰田， 三菱重工) ；位移、畸变测量( 日本自动车，滨江，n k k ) ；距离测量( 佳能， 丰田，中京大) ；焊接机器人( 东芝，三菱重工) ；物体的识别( 日立) ；零部 件组装( 东芝，n t t ，精工电子，三协精密机械，日本电装) 。 ( 4 ) 产品区分( 1 i l d u 矧a la s s o 咖e i l t ) ：新鲜食品的区分( 三菱电气) ；医 药品的区分( 富士电气) ；光敏器件的区分( 日电) ；机械零部件的区分( 丰田) 。 文献报道了c c d 摄像机在热成型工艺、机械系统研究及有关测量技术中的 应用，这些应用一般是采用线阵c c d 建立相应得测量系统。并且，通常都给定 了一个相对单一的背景条件。 综上所述，借助c c d 摄像机的计算机视觉技术，在许多领域都得到了广泛 的应用，并取得了较多的成果，这些成果为该领域的深入研究提供了有价值的借 鉴。但是，在机械领域应用中，这项技术的应用还比较有限，特别是使用面阵 c c d 并在复杂背景条件下对机构构件或物体运动参数及其相对位置和相对位移 进行非接触检测和分析方面，尚未有相关报道。 第二章图像匹配概述 2 1 概述 第二章图像匹配概述 图像匹配在近几十年来一直是人们研究的热点和难点，它是在变换空间中寻 找一种或多种变换，使来自不同时间、不同传感器或者不同视角的同一场景的两 幅或多幅图像在空间上一致【8 】。 由于拍摄时间、拍摄角度、自然环境的变化、多种传感器的使用和传感器本 身的缺陷，使拍摄的图像不仅受噪声的影响，而且存在严重的灰度失真和几何畸 变。在这种条件下，匹配算法如何达到精度高、匹配正确率高、速度快、鲁棒性 和抗干扰性强以及并行实现成为人们追求的目标。在过去的几十年中，各种图像 匹配算法相继出现，而且结合许多数学理论和方法，人们又不断提出了新的匹配 方法。基于匹配的基本原理将图像匹配算法分为基于灰度相关的匹配、基于特征 的匹配以及基于变换域的匹配，本课题根据课题实际情况，将分别采用基于灰度 相关的匹配与基于特征的匹配进行比较选择。 图像匹配是一个多步骤的过程。总的来说，大概可分为图像输入、图像预处 理、图像匹配、输出结果等。由于所采用的方法各异，不同的匹配算法之间步骤 也会有很大的不同，本课题着重研究图像匹配这一环节。 2 1 1 图像匹配的数学描述 如前所述，图像匹配指的是把不同传感器从同一景物录取下来的图像在空间 上进行对准，以便确定出两幅图像之间相对平移的过程。图2 1 显示出了图像匹 配的过程： 图2 1 图像匹配的数字描述 拍摄得到的基准图x 、实时图】，一般来说必须经过预处理，预处理的作用在 第二章图像匹配概述 于减少环境因素对图像的影响，具体的预处理方法将在第三章中作讨论。 2 2 图像匹配算法分类 图像匹配的算法很多，根据图像的维数可以分为2 d 2 d 、2 d 3 d 和3 d 3 d 匹配；根据图像特征提取的层次可以分为基于灰度的匹配、基于低级特征的 匹配和基于高级特征的匹配。该文将匹配算法分为基于灰度相关的匹配、基于特 征的匹配以及基于变换域的匹配吲。 ( 1 ) 基于灰度相关的匹配 基于灰度相关的匹配算法是一种对待匹配图像的像元以一定大小窗口的灰 度阵列按某种或几种相似性度量顺次进行搜索匹配的方法。简单的说，就是一大 一小两幅图像，让小图像在大图像上移动，建立一个或几个具有可行性的判别函 数( 相似性度量) ，根据所有得到的判别函数的值，判断匹配位置。这类算法的 性能主要取决于相似性度量及搜索策略的选择上。匹配窗口大小的选择也是该类 方法必须考虑的问题，大窗口对于景物中存在遮挡或图像不光滑的情况会出现误 匹配的问题，小窗口不能覆盖足够的强度变化，因此可自适应调整匹配区域的大 小来达到较好的匹配结果。 ( 2 ) 基于矩特征的匹配 矩作为图像的一种形状特征，已经广泛应用于计算机视觉和模式识别等领 域。h u 在代数不变量的基础上首先提出了几何矩的概念，并使用几何矩的非线 性组合，导出了具有尺度、平移和旋转不变性的矩不变量。几何矩存在信息冗余 方面的缺欠，而且对噪声比较敏感。后来，人们又推导出了正交的z e m i k e 矩和 l e g e n d r e 矩。h u 锄g 和c o h e n 提出了一个曲线匹配的算法，使用加权b 样曲线矩， 解决了仿射变换和遮挡问题。使用矩的匹配方法无需建立点的对应信息，它的缺 点是不能检测图像的局部特征，需要对图像进行分割，而且只适用于发生了刚体 变换的图像。 基于特征的匹配对于图像畸变、噪声、遮挡等具有一定的鲁棒性，但是它的 匹配性能在很大程度上取决于特征提取的质量。 ( 3 ) 基于变换域的匹配 频域匹配技术对噪声有较高的容忍程度，检测结果与照度无关，可处理图像 之间的旋转和尺度变化。常用的频域相关技术有相位相关和功率倒谱相关，其中 相位相关技术使用相对广泛。由于频域匹配技术不具有高度的精确度，本课题不 做过多讨论。 第二章图像匹配概述 2 3 图像匹配算法的关键要素 同一场景在不同条件下投影所得到的二维图像会有很大的差异，这主要是由 如下原因引起的：传感器噪声、成像过程中视角改变引起的图像变化、目标移动 和变形、光照或者环境的改变带来的图像变化以及多种传感器的使用等。为解决 上述图像畸变带来的匹配困难，人们提出了许多匹配算法，而它们都是由如下四 个要素组合而成【8 1 ： ( 1 ) 特征空间 特征空间是由参与匹配的图像特征构成的，选择好的特征可以提高匹配性 能、降低搜索空间、减小噪声等不确定性因素对匹配算法的影响。匹配过程可以 使用全局特征或者局部特征以及两者的结合。 ( 2 ) 相似性度量 相似性度量指用什么度量来确定待匹配特征之间的相似性，它通常定义为某 种代价函数或者是距离函数的形式。经典的相似性度量包括相关函数和 m i l l l ( o w s k i 距离，近年来人们提出了h a u s d o r f 距离、互信息作为匹配度量。 h a u s d o l l f 距离对于噪声非常敏感，h a u s d o l l f 距离能处理当目标存在遮挡时的情 况，但计算费时；基于互信息的方法因其对于照明的改变不敏感已在医学等图像 的匹配中得到了广泛应用，它也存在计算量大的问题，而且要求图像之间有较大 的重叠区域。 ( 3 ) 图像匹配变换类型 图像几何变换用来解决两幅图像之间的几何位置差别，它包括刚体变换、仿 射变换、投影变换、多项式变换等。 仿射变换是常用的一种图像几何变换。设( 五，少。) 是图像中某一像素点的坐 标，经过仿射变换后的坐标为( 而，n ) ，则： ( 2 1 ) 其中f ，和f y ，是x 和y 方向的平移量，秒是旋转角，s 是尺度因子，求解这四 个参数即确定了一个仿射变换。 ( 4 ) 搜索策略 搜索策略是用合适的搜索方法在搜索空间中找出平移、旋转等变换参数的最 优估计，使得图像之间经过变换后的相似性最大。搜索策略有穷尽搜索、分层搜 而虼 秒 n 口 确 | 宝髫 + = x y 第二章图像匹配概述 索、模拟退火算法、动态规划法、遗传算法和神经网络等。遗传算法采用非遍历 寻优搜索策略，可以保证寻优搜索的结果具有全局最优性，所需的计算量较之遍 历式搜索小得很多；神经网络具有分布式存储和并行处理方式、自组织和自学习 的功能以及很强的容错性和鲁棒性，因此这两种方法在图像匹配中得到了更为广 泛的使用。 在成像过程中，由于噪声及遮挡等原因，导致一幅图像中的特征基元在另一 幅图像中有几个候选特征基元或者无对应基元，这些都是初级视觉中的“不适定 问题”，通常在正则化框架下用各种约束条件来解决。常用的约束有唯一性约束、 连续性约束、相容性约束和顺序一致性约束。 2 4 图像匹配算法的性能比较 匹配性能包括三个方面的内容：匹配速度、匹配精度和匹配概率9 1 。 匹配速度说明了搜索的快速性，是由算法的计算量和算法结构( 并行还是串 行运算) 来决定的。而计算量又是由两方面决定的，一方面是进行相似性比较时 的计算量，另一方面则是搜索的点数。一般情况下总的计算量等于相似性度量计 算量乘以搜索点数。并行计算需要硬件的支持，但它是一种能够非常有效地提高 匹配速度的方法。 匹配精度描述了匹配的准确性。由于噪声和其他误差因素的影响，当两幅图 像匹配时，最终得出的匹配位置和真正的匹配位置是不同的。也就是说，估计匹 配点和真正匹配点之间存在一定的随机偏差，该偏差称为匹配误差。显然匹配误 差的方差越小，则定位精度越高。 匹配概率是每次匹配操作能够把匹配误差限定在精度范围内的概率。它不仅 和算法本身有关系，还和匹配区域的特征密切相关。往往是结构特征密集的区域 匹配概率大，变化缓慢的区域的匹配概率小。 2 4 1 影响匹配性能的因素 在图像匹配过程中各种误差因素对匹配性能影响很大，我们应当设法消除或 者削弱这些误差对匹配结果的影响。实际上，匹配算法的研究很多都是围绕如何 消除各种误差因素进行的【l o 】。 ( 1 ) 噪声 噪声可分成两大类：系统固有噪声和量子噪声，它们在统计规律上是服从高 斯分布和泊松分布的随机空间波动。固有噪声包括影像系统的结构噪声，光源噪 声，电路系统噪声( 包括量化噪声) 等，它们都是以高斯分布的白噪声形式存在的。 第二章图像匹配概述 量子噪声是由光的统计本质和图像传感器中光电转换过程引起的，在弱光照情况 下，影响更为严重。 ( 2 ) 几何失真 几何失真是由于实时图坐标和基准图坐标之间相对的几何形变而引起的。主 要包括以下几种形式：比例误差，旋转误差等。几何失真这种误差对匹配性能的 影响最大。 ( 3 ) 图像灰度变化 归纳起来有以下因素常常造成实时图灰度相对于基准图灰度发生变化： 1 由传感器引入的整个信号电平的变化。 2 景物反射率或辐射率的变化。 3 由于云或太阳投射角度的变化所引起的亮度变化，阴影和景物遮蔽所引 起的模糊，都会导致实时图灰度不同于基准图灰度。 4 在匹配区域内实际景物发生变化。 5 基准图本身和实际景象之间的灰度误差。 所有这些因素都将引起实时图全部和部分灰度值的变化，即引起实时图均匀 的或局部的灰度变化。 2 5 本章小结 本章介绍了图像匹配的基本理论，包括图像匹配的概念、匹配流程、图像匹 配等研究内容，并对目前的匹配算法加以分类，介绍了不同类别算法的不同之处。 对于在不同类别算法中的关键因素，做了详细的阐述。最后介绍了匹配算法的性 能和影响匹配性能的重要因素，为如何改进算法指明了方法。 第三章图像预处理 第三章图像预处理 预处理是指在处于最低抽象层次的图像上所进行的操作，这时候图像处理的 输入和输出都是亮度图像。这些图像与传感器抓到的原始数据是同类的，通常是 用图像函数值的矩阵表示的亮度图像。 有必要指出，预处理不会增加图像的信息量，相反，一般来说，预处理一般 都会降低图像的信息量。因此，从信息理论的角度看，最好的预处理是没有预处 理，避免预处理的最好途径是着力于高质量的图像获取。然而，预处理在很多情 况下是非常有用的，因为它有助于抑制与特殊的图像处理和分析任务无关的信 息。因此，预处理的目的是改善图像数据，抑制不需要的变形或者增强某些对于 后续处理重要的图像特征f 2 】。 3 1 亮度变换 由于室内照明条件及环境明暗程度的不同，不同时刻拍摄下来的实时图的明 暗程度有可能有很大的不同，本节利用图像亮度变换方法对实时图进行预处理， 以达到后续算法要求。 亮度变换可以看成输入图像到输出图像的点对点变换操作，当考虑的是单色 ( 灰度) 图像时，所谓的点对点中的点指的就是图像像素点的灰度值。若输入图 像为( x ，少) ，输出图像为g ( 石，y ) ，那么亮度变换的数学描述为： g ( x ，y ) = 丁【厂( x ，y ) 】( 3 - 1 ) 其中厂( x ，y ) 表示图像厂中对应点( x ，y ) 的亮度，g ( x ，y ) 表示图像g 中对应点 ( x ，y ) 的亮度，其中丁为变换函数2 1 。 3 1 1 灰度级变换 灰度级变换不依赖于像素在图像中的位置。一个变换丁，将原来的范围 【p 。，p i 内的亮度p 变换为一个新范围 g 。，g 。】内的亮度g ，由下式给出： 鼋= r ( p )( 3 - 2 ) 第三章图像预处理 图3 1 给出了最常见的灰度级变换： 图3 1 一些常用的灰度变换 图3 1 给出了最常见的灰度变换，斜线a 代表原始灰度图，分段线性函数b 将 原图像灰度间距为b ，p ：】变为b ，g ：】，其中p ：一p ， 0 ，利用r ( 聊，以) 的最小值就可以找 到匹配位置伽+ ，露+ ) 。 ( 2 ) 平均绝对差度量 消除图像规模对绝对差距离度量法的匹配结果的影响，即可得到平均绝对差 度量法： ，= 击善饕叫，一 ， ( 3 ) 平方差度量 可以用矢量的欧氏范数的来表示矢量距离： = 丽 ( 4 - 4 ) 为了节省m 。m ：次平方根运算，提高运算速度，在不影响最后匹配结果的情 况下，定义平方差距离度量： ( 4 ) 平均平方差度量 一l 彳，一1 r ( 所，刀) = ( x 胁+ 。一y 。) 2 ( 4 5 ) = q j = 母 y n p 辨+ x 峥脚 枷 = 栉mr 第四章常用匹配算法讨论 蝴，= 志辚k 一。咄2 ， 以上定义的距离相似度量法均具有最小值的性质，即只有当两图匹配时，度 量值又( 彤，嚣) 才有极小值，利用这种性质可以确定出匹配位置。 4 1 2 角度相似度度量 实时图与基准子图的相似程度还可以用两矢量瓦。和歹之间的夹角来度量， 为了便于计算，这里用c o s 秒来定义相似性度量7 】【1 8 】。 定义积相关算法为： r ( 聊，行) = 瓦，。枣歹= 0 l 。0 l l 歹c 。s 口 ( 4 7 ) 利用施瓦兹不等式，有： 瓦，。母歹h 。| | | i 夕| ( 4 8 ) 由上式可以看出，只有当p = o 。，度量值r ( 渐，纷) 出现极大值，利用这种性质 就可以确定出匹配位置( 聊，刀) 。 由于两个矢量的内积等于其元素之积的总和，公式可以改写为： m 广l m 2 尺( 班，刀) = x + 。y “ ( 4 9 ) ，= 0 卸 可见r ( 聊，刀) 实际上是截取互相关函数的一种离散形式，故称之为积相关度 量法。但是积相关度量法即使在理想情况下，它的度量值的极大值也不是唯一的。 当两图完全匹配时，即： 彳一u 盯，一l r ( m ，刀) = 儿，2 ( 4 1 0 ) ，= 0j = 0 如果在不匹配的位置( 聊，以) 出现x m + 。m a x 少“时，积相关的结果： 第四章常用匹配算法讨论 一u h ，一l r ( 研，一) 2 ( 4 - 1 1 ) f = 0 j = 0 此时，最大的度量值就不对应真正的匹配点，这种现象就是伪匹配，为了消 除伪匹配，提出了改进的度量方法，归一化互相关度量法。 定义为： 一l 彳，一l 薯+ 埘，巾y “ 尉功2 匿一 件1 2 ) 归一化互相关法是按矢量间夹角的余弦来定义的，不受刻度因子误差的影 响，但这种方法计算量非常大。 4 2 搜索策略 一幅大小为m 。m ：的实时图与大小为1 ：基准图，以实时图在基准图 上滑动，计算每步移动的相似性度量，这个过程，叫做搜索过程，最简单的搜索 过程当然是逐个像素的搜索，这个过程是最费时间的，尤其在参与匹配运算图像 数据或特征数据比较多时，为了做到实时定位，一定要选择快速的搜索方法。下 面介绍两种改进搜索策略的图像匹配算法，能有效地提高匹配速度【l o 】。 4 2 1 序贯相似性检测算法 序贯相似性检测算法简称s s d a 算法，是在平均绝对差算法似a d ) 的基础上 进行的改进。其基本原理是：如果把两图的各个像素对的误差累加起来，累积误 差是一个或多或少反映两个图像匹配与不匹配的信息量，随着累加次数的增加将 获得越来越多的信息，并且累积误差随着累加次数的增加而单调递增。在不匹配 的位置上，由于两图不相似，累积误差随着累加次数的增加而迅速增加；在匹配 位置上，由于两图相似，累积误差随着累加次数的增加而增加的很慢。因此，如 果选择一个门限，规定累积误差一旦超过该门限就停止计算，那么，在不匹配的 位置上将提前结束计算，累加次数少；在匹配的位置上，则需要经过很多次累加 才达到该门限，累加次数最多的位置判决为匹配位置。序贯相似性检测算法速度 很快，比简单的快几十倍，但算法计算量不确定，而且门限也要视具体图 第四章常用匹配算法讨论 像来决定。 4 2 2 分层搜索匹配算法 分层搜索匹配算法是基于人们先粗后细的寻找事物的惯例而引出的，匹配是 分两步进行的：首先，将实时图与基准图按2 x 2 的窗口逐个像素地进行平均处 理，得到维数较小的图像，然后，将此图像再用同样的方法处理，得到一个维数 更小的图像，将这个过程继续下去，就可得到一组维数由大到小的图像序列。然 后就采用先粗后精的相关搜索方法：第一次相关是从维数最小的图像开始，通过 相关比较确定出最初的匹配位置；第二次相关是在较高维数的图像之间进行的， 相关只需要在由第一次相关确定的粗匹配位置附近进行相关比较，从而确定出可 能性更大的匹配位置；第三次相关处理与第二次相关处理类似；依次对各层进行 搜索，一直到最高维数的实时图在基准图中找到精确的匹配位置。分层搜索匹配 算法也称为时域多分辨率图像匹配算法，当基准图和实时图的尺寸都很大时，算 法速度提升很快【1 9 】。 4 3 几种常用的匹配算法研究 本课题在研究了目前常用的几十种匹配算法后，基于本课题对精度的高要 求，选择以下三种匹配算法作为待选匹配算法，即序贯相似性检测法，去均值归 一化灰度相关法，基于不变矩的匹配算法，并结合实验分析各算法的特点。 4 3 1 序贯相似性检测法( s s d a ) 序贯相似性检测算法( s s d a ) ，是由巴尼亚( b a m e a ) 和西尔弗曼( s i l v e 咖锄) 在 1 9 7 2 年最先提出来的。实践表明，它在处理速度上比f f t 相关算法还要高一个到 两个数量级【1 2 1 。 如果我们设大小为的实时图为s ，大小为m m 的基准图为丁，则s 扩 为基准图覆盖下的那块搜索区域，( 1 ，。则参考图中以( 材，) 为左上角、大小m ，的子图q ( 甜，v ) 与基准图g ，间的去均值归一化互相关度量色( 甜，1 ，) 为： 岛( “，v ) = 兰兰b ( ，+ 材，+ v ) 一砭( “川】2 2 ，釜兰 g ，( 力一e 】2 ，“2 l ，。l - 1 jl ，= i - lj ( 4 - 1 6 ) 式中夕。( “，) 是度量函数位置偏移为( ，v ) 时的匹配度量值，并且有 1 材鸠一鸠+ l ，1 1 ，m 一，+ 1 ，这里砭( 甜，) 与砭分别为g ( ”，v ) 与q 的 灰度均值【2 0 】f 2 l 】。 图像的均值往往不为零，这相当于引入直流分量，使得相关度量值的极值与 背景电平的比值下降。其结果显示在误差曲面上使得相关峰变宽。更重要的是， 去均值后可以使两幅图像获得相同的背景电平，使得相关度量具有了抗亮度干扰 的能力，这样实时图和基准图之间的亮度线性偏差不会对匹配结果产生影响。 图4 3 为归一化相关法以及去均值归一化相关法咖r o d ) 得到的误差曲 面，去均值后相似度量值范围在一1 1 之间，不去均值相似度量值在o 7 0 9 ， 试验表明去均值能够明显优化误差曲面，使得匹配区更加突出，而抑制非匹配区。 总之使得误差曲面得到某种程度上的“锐化”，当然这是以增加额外的计算量为代 价的，但是可以通过改进算法来减少计算量，提高算法的运行速度。 第网章常用匹配算法讨论 参一。：澎。 a ) 归一化相关法误差曲面( b ) 去均值归一化午口关注误差曲面 国43 归一化相关法以及去均值归一化相关法得到的隈摹曲面 433 不变矩法( 1 m ) 对丁二积分区域s ，给定二维连续函数，t ，) t 其中b + g ) 阶矩定义为 m 。= f fx ，9 ，【z ，y ) 劬，( p ，g = o ，1 ，2 ，) ( 4 m ) 如果数字图像函数，【x ，v1 是分段连续的，并且在驯平面的有限部分中有非 。值，则可以证明它的各阶矩存在，并且矩序列。唯一地被，b ，) 所确定。 其中心矩可表示如下： 。= 扛一f ) 9 ( y 一，) 9 ，( x ，y ) 西咖 ( 4 一】8 ) 式中：i 硼t ，m ”i 硼“，m w 对丁数字图像可用求和代替积分 。= 忸一f ) ( y 一厂) 9 ，u ，y ) ( 4 - 1 9 ) 。= z9 y 。，( x ，) ( 4 2 0 ) 0 + q ) 阶规格化中心矩： 口月= 月二 r = l + 0 + g v 2 ，p + q = 2 ，3 ，( 4 2 1 ) 第四章常用匹配算法讨论 利用二阶和三阶规格化中心矩可以导出下面七个不变矩组： 织= ，7 2 0 + 瑁0 2 唬= ( 刁2 0 一，7 0 2