《电子稳像器工作原理》.doc

电子稳像器工作原理1 引言VS8902型电子稳像器采用的是一种基于特征点匹配的电子稳像算法。本公司开发的这种基于特征点匹配的电子稳像算法具有如下几个优点：稳定精度高；对抖动视频进行水平、垂直和旋转方向上的校正； 稳像算法的实现只使用参考帧和当前帧； 实时性高；鲁棒性好；本产品稳像算法的结构框图如图1所示。 图1 基于特征点匹配的电子稳像算法的结构框架 Fig.1 The basic structure of stabilization algorithm with feature points matching 如图所示。预处理是稳像算法的初始化过程，是对视频数据进行属性等方面的分析，为后续稳像算法的实现和处理奠定基础。预处理实现的功能主要有：初始化A/D和D/A芯片、配置稳像系统的工作模式、建立稳像算法所需的缓冲区、检测视频数据的有无、识别输入视频信号的制式（NTSC制，PAL制信号）等。运动估计是计算当前帧图像和参考帧图像相对运动关系的算法。在稳像算法中运动估计分为局部运动估计和全局运动估计。局部运动估计又分为特征点提取、特征点匹配、匹配验证三个步骤，来获取各个特征点的局部运动矢量。特征点提取采用Harris提取角点的算法，特征点匹配采用块匹配的方法，特征点验证主要采用距离约束的准则。全局运动估计是通过最小二乘法，根据特征点的局部运动矢量求出全局运动矢量。准确求取全局运动估计是电子稳像算法的基础。运动滤波是把全局运动矢量分离成有意运动矢量和无意运动矢量，是稳像算法的难点和重点。若稳像后的图像无法保留摄像机自身的主运动，稳像效果会失真，稳像算法会无法执行，从而导致稳像算法失败。运动滤波直接决定稳像效果的好坏。本文的电子稳像系统采用Kalman滤波器。运动补偿是就是对抖动图像做运动滤波输出结果的反向补偿，以便输出稳定或平滑的图像序列。运动补偿实质上就是对图像做平移、旋转和缩放处理。运动补偿的难点问题是算法的实时性和精度。图像的旋转是一种计算量很大，很耗时的运算，同时如果补偿的精度不高，会出去视频图像模糊的现象。本产品的电子稳像算法采用基于图像线性储存空间的快速旋转算法满足算法实时性的问题。 2 图像仿射方程的建立建立合适的数学模型是开发视频算法的基础，建立什么样的数学模型决定了算法能实现的功能和算法的精度。本稳像算法采用的Similarity模型。这个图像运动模型可以实现图像平移、旋转和缩放的处理。 2.1 Similarity模型 摄像机本身除平移运动外还可能发生旋转运动，例如：在车载摄像系统中，摄像机固定在车体上，在车辆行驶过程中，因为路面不平坦，车辆可能发生左右摇摆，从而使图像旋转。目前一般对绕光轴或者平行光轴的旋转运动进行研究。同时，在存在场景的缩放时，利用缩放因子s对缩放运动进行描述。由此，当图像可能发生平移、旋转、缩放运动时，可采用Similarity运动模型为： (1) 式中 旋转角度； s缩放因子； 某个像素点在参考帧的坐标； 同一像素点在当前第K帧的坐标； 相对于的偏移量。 3 稳像算法中运动估计算法的研究 运动估计算法是稳像算法的第一步，也是基础。运动估计算法的好坏决定整个稳像算法的精度。运动估计算法的主要完成的任务是：根据当前帧与参考帧的图像信息求取两帧图像之间的运动信息。本文采用基于特征点匹配的运动估计算法，这种算法的优点是求取运动信息的精度高。本产品基于特征点匹配的运动估计算法包括：局部运动估计和全局运动估计两个部分。局部运动估计是先求取当前帧中各特征点的运动参数，再从中提取全局运动特征点的过程。全局运动估计是根据当前帧中所有全局特征点的运动参数求取当前帧相对于参考帧的运动参数的过程。其中局部运动估计又包括：特征点提取，特征点匹配，特征点验证三个部分。基于特征匹配的运动估计算法的实现步骤如图2所示。 图2 特征点匹配运动估计示意图Fig.2 The schematic diagram of motion estimation with feature points matching 特征点提取是根据角点提取的算法求取当前帧中的所有特征点。特征点匹配是求取所有特征点运动参数的过程。特征点验证是求取误匹配点和局部特征点的过程。特征点提取是提取当前帧中的特征点。目前，主要被利用的特征量有：角点、直边缘、曲边缘等局部特征和型心、表面积、惯量矩的长短轴等全局特征，其中角点是应用最广泛的一种图像特征。特征匹配结果的好坏，很大程度上取决于角点的提取。本算法采用Harris算子提取当前帧中的角点量做为特征点，被提取出的特征点包含当前帧的大部分信息，他们的运动信息反映当前帧的运动信息。如图2所示稳像算法在当前帧中提取N个特征点。 在正确提取当前帧图像中的特征点之后，就要对所有提取出来的特征点做匹配搜索，求取每个特征点相对于参考帧的运动参数。这种匹配搜索与块匹配稳像算法的思想类似。匹配的方法有全搜索和局部搜索两种。全搜索匹配精度高但很耗时，部搜索精度低但实时性好。特征点匹配采用绝对误差和(SAD)的验证准则，这种验证准则便于计算和实现，而且精度也很高。所以本稳像算法采用全所搜方法和绝对误差和(SAD)的验证准则。特征点匹配将得到所有特征点的最佳匹配块和运动矢量，以及当前帧中特征点与参考帧中的对应的特征点构成一个特征点集对。 特征点验证时取出在特征点提取和特征点匹配的过程中产生的误匹配和局部特征点。由于运动的物体在当前帧中产生和消失，使特征点无法在参考帧中搜索到最佳匹配位置。同时在特征点提取过程中，将局部运动物体的特征点提取出来。这些误匹配的特征点和局部特征点的运动信息会严重影响运动估计的精度，必须将他们剔除。本稳像算法采用空间距离约束的思想剔除特征点中的误匹配点和局部特征点。特征点验证能提高本稳像算法精度和鲁棒性。全局运动估计是采用最小二乘法的思想，通过局部运动估计求取出的全局特征点的运动信息，求取出当前帧与参考帧的相对运动信息。最小二乘法是根据算法是将前面求得的全局特征点对带入算法采用的数学模型并联立成一个超定方程组。这个超定方程组的解，就是全局运动矢量。 4 稳像算法中运动补偿算法的研究在可以精确求解出当前帧相对于参考帧的运动矢量的基础上，如果图像序列不包含摄像机的主运动，根据求取的运动估计对抖动的图像做反向的运动补偿。这样便使当前帧图像补偿到参考帧图像的位置上，使两帧图像完全重合，消除了因抖动造成的视频抖动。这样就可以得到一个稳定的、静止的图像序列。 运动补偿需要对图像做平移和旋转处理。图像旋转处理需要对图像中每一个像素点进行多次的乘法和浮点运算。所以图像的旋转运算量很大，实行性很难保证。为了满足系统的实时性要求，本文采用了一种基于图像线性储存空间的旋转算法。在数据处理上采用图像分块处理和PING-PONG双缓冲方法以满足系统对实时性的要求。5 稳像算法中运动滤波算法的研究 在很多情况下，摄像机是随载体平台一起运动的。这时不能直接根据运动估计求取的全局运动矢量进行运动补偿。为了在载体平台运动的过程中对抖动的图像进行稳像，只能去补偿载体抖动的那部分运动矢量，保留摄像机载体平台的自身主运动矢量。解决这个问题的方法就是把全局运动参数分离成有意运动矢量和无意运动矢量，并只对无意运动矢量进行补偿，而保留有意运动矢量，从而输出平滑的图像序列。 本文采取Kalman滤波实现分离有意运动矢量和无意运动矢量，这种滤波器的算法延迟很小。5.1 Kalman滤波公式Kalman滤波是以最小均方误差为准则的最佳线性滤波。是分线性运动中包含噪声的最有滤波器。Kalman滤波器的信号模型由状态方程和量测方程得到。系统离散时间模型为： Kalman滤波公式为: 5.2 状态空间模型的确定 变量x，y描述的是图像序列帧间的平移运动，而平移运动源于摄像机的主动运动。这里假设摄像机的主动运动为恒速运动，即把摄像机的运动过程看成是一个一阶的线性系统，把摄像机的抖动视为一种噪声。我们要做的任务就是去除或滤掉这写噪声。一般地对恒速运动量测动态建模的方法是：假设它的速度变化为v，而v服从某种随机分布。x的状态空间模型为： (8) 式中V 的变化量； N(0,)高斯白噪声。 我们 y、 两个分量都视做一个一阶线性系统夹杂着高斯白噪声。其状态空间的模型与 完全相同。 所以主动运动的完整状态空间模型可写为： (9) 其中 ， ，y 是相互独立的。 6 总结本产品采用一种基于特征匹配的电子稳像算法。该稳像算法采用特征量匹配的算法。在提取特征量时采用Harris算子提取角点的算法。Harris角点提取算法具有精度高、抗噪声能力强、稳定性好等特点。然后对所有的特征点采用SAD准则在参考帧中做全搜索，求取所有特征点的局部运动矢量。SAD准则运算速度快且匹配高，全搜索虽然计算量很大，但对于稳像这种需要大范围运动搜索的算法只能采用全搜索的策略，避免产生大量的误匹配以致稳像失败。可以根据特征点的约束结构来剔除误匹配点和图像中的局部特征点，保留全局特征点。将保留下来的全局特征点的运动参数带入最小二乘方程中，即可估计出最优全局运动矢量。最小二乘法估算