《工学电子稳像》PPT课件.ppt

非线性信号分析课程报告,基于EIS的运动估计技术,内容安排,EIS的介绍 运动估计的基本原理 基于图像块的运动估计技术 基于像素灰度信息的运动估计技术 结论,EIS的发展历程,EIS（即电子稳像）技术的研究已三十多年历史，美国、法国、俄罗斯等国家对电子稳像技术应用于军事方面已经进行了较深入的研究；日本和韩国对家用摄录机的稳定技术也进行了研究和开发。,国内发展现状,国内对电子稳像技术的研究依然处于初级阶段，目前为止，只有中国科学院长春光机所和北京理工大学等单位在这个领域有一定的研究，总体来说，电子稳像技术解决复杂抖动依然不够成熟。,EIS技术的基本原理,单纯的电子稳像技术是指：从视频图像序列的帧间差别中，利用运动估计算法检测代表摄像机运动的参数，并判断该参数是属于随机抖动还是人为扫描运动，且将其区分获得抖动参数，然后通过运动补偿算法来消除或者减轻摄像机的随机抖动对视频图像的干扰，实现视频序列的稳定。,电子稳像系统一般包括三个主要的功能模块，即运动估计模块、运动决定模块和运动补偿模块，对应的，其关键技术为：全局运动估计、运动矢量滤波和图像补偿校正。,系统框图如下：,运动估计技术研究,在视频序列中，帧与帧之间总是存在差异，引起这种差异的原因很多。由摄像机位置或参数的变化引起的整个图像的变化，称之为全局运动；由场景中物体运动引起的局部图像变化，称为局部运动。 电子稳像的运动估计是指全局运动的估计。,运动估计技术研究,运动估计由运动模型选取和模型参数估计两部分组成。,模型选取,在运动估计的初始阶段，首先要根据系统应用环境、模型的性质、适用范围和参数的敏感性等因素正确选取摄像机运动模型。一般说来，运动模型使用的参数越多，运动估计越准确，但计算复杂性也越大。,常用模型,1、刚性变换模型 2、相似变换模型,常用模型,3、仿射变换模型 4、透视变换模型,常用运动估计技术分类,基于图像块的方法 基于模板匹配的方法 基于图像二值位平面信息的方法 基于像素灰度投影的方法 基于图像特征的方法 基于变换域的方法,基于图像块的方法,块匹配运动估计法是基于块内所有像素运动一致性这样的假设。 其基本匹配原理如图：,匹配原理如图,块匹配运动估计准则,块匹配运动估计算法中常用的匹配准则有三种，即最小平均绝对差(MAD)、最小均方误差(MSE)和归一化互相关函数(NCCF)，分别定义如下： 1、最小平均绝对差,块匹配运动估计准则,2、最小均方误差 3、归一化互相关函数,在运动估计中，匹配准则对匹配精度的影响不是很大，由于MAD准则不需作乘法运算，实现简单、方便，所以使用最多。在实际应用中，通常使用SAD(SumofAbsolute Difference)来代替MAD，即求绝对误差和，其定义式如下：,块匹配运动估计搜索路径,1、全搜索法（FS） 2、三步法（TSS） 3、菱形法（DS）,全搜索法,全搜索法(Full Search Method，FS)，也称为穷尽搜索法，是对搜索范围内 所有可能的候选位置计算SAD(i,j)的值，从中找出最小SAD，其对应偏移量即为所求运动矢量。,全搜索法图示,FS算法是最简单、最原始的搜索算法，由于可靠，且能够得到全局最优的结果，通常是其它算法性能比较的标准，但它的计算量的确很大，这就限制了在需要实时应用的场合，所以有必要进一步研究其它快速算法。,三步搜索法,TSS算法的基本思想是采用一种由粗到细的搜索模式，从原点开始，按一定步长取周围8个点构成每次搜索的点群，然后进行匹配计算，跟踪最小块误差（MBD）点。,三步搜索法图示,TSS算法搜索时，整个过程采用了统一的搜索模板，使得第一步的步长过大，容易引起误导，从而对小运动效率较低。当搜索范围大于7时，仅用3步是不够的。总体说来，三步法是一种较典型的快速搜索算法，所以被研究的较多，后来又相继有许多改进的新三步法出现，改进了它对小运动的估计性能。,菱形搜索法,DS算法采用了两种控制模扳，分别是有9个检测点的大模板 (LargeDiamond Search Pattern) LDSP和有5个检测点的小模板 (Small Diamond SearchPattern) SDSP，如图所示。,搜索时先用大模板计算，当最小块误差MBD点出现在中心点处时，将大模板LDSP换为SDSP，再进行匹配计算，这时5个点中的MBD即为最优匹配点。,DS算法搜索图示,DS算法的特点在于它分析了视频图像中运动矢量的基本规律，选用了大小两种形状的搜索模板LDSP和SDSP。先用LDSP搜索，由于步长大，搜索范围广，可以进行粗定位，使搜索过程不会陷于局部最小；当粗定位结束后，可以认为最优点就在LDSP周围8个点所围的菱形区域中，这时再用SDSP来准确定位，使搜索不致于有大的起伏，所以它的性能优于其它算法。另外，DS搜索时各步骤之间有很强的相关性，模板移动时只需在几个新的检测点处进行匹配计算，所以也提高了搜索速度。,块匹配运动估计算法分析,块匹配运动估计算法已经发展比较成熟，并且具有实际应用价值，在稳像处理应用时需要考虑如下几个主要问题。 1、块大小和位置的选择 2、匹配准则 3、搜索策略 4、估计精度 5、块内运动的不一致性,基于像素灰度投影的方法,灰度投影算法的原理是基于行列灰度曲线的变化规律进行的运动估计。,基于像素灰度投影的方法,1、将灰度图像的二维图像信息映射成两个独立的一维波形，即获取图像的行列灰度投影曲线图像，它反映了图像灰度变化的特点。 其投影方法用公式可以表示如下：,基于像素灰度投影的方法,2、投影曲线的互相关计算 利用上式获取图像的行列灰度投影曲线，进行相关运算，找到相关值曲线中的单峰值即为当前图像相对于参考图像的位移值。,示意图,算法分析,由于灰度投影算法利用了图像的整体灰度信息，且只对两个1维向量作相关运算，故对图像的整体灰度变化、像面曝光度及噪声均较不敏感，运动矢量估计精度高、运算量较小，适合实时运动矢量检测。,算法分析,灰度投影算法的应用需要一定的条件： 首先是图像的灰度变化应较丰富，图像有一定的对比度，否则，灰度投影曲线变化不明显，难以精确地求出运动矢量。 其次，成像环境复杂，存在小运动物体，这些因素都会影响投影法的精度。