运动估计与高斯混合模型的

1、运动估计与高斯混合模型的运动估计与高斯混合模型的图像稳定技术研究图像稳定技术研究 Motion estimation and Gaussian mixture models for image stabilization视觉与智能系统实验室 赵 猛 指导老师：朱玉文 副教授贾云得 教 授2003.2.28提纲国内外发展现状数字图像稳定运动估计运动补偿研究背景基于运动平台的视频监控可穿戴系统视频传输编码日用的视频获取设备国内外发展现状基于远方地平线特征基于DFT滤波基于色彩配准基于2.5D运动估计和惰性滤波概率估计框架下的卡尔曼滤波提纲研究背景国内外发展现状运动估计运动补偿数字图像稳定(解决方案

2、)运动估计图像合成运动补偿视频输入视频输出 一般的数字图像稳定系统首先估计摄像机的运动参数，再根据这些运动参数进行运动补偿，最后通过图像的合成得到平滑的视频序列。图像序列的帧间运动估计(Motion Estimation)；运动补偿(Motion Compensation)，或运动滤波；图像合成(Image Composition)。数字图像稳定(关键技术)运动估计运动估计是估计帧间的运动参数，主要是运动模型的选择和图像运动的检测。首先需要选择一定的运动模型，然后在此基础上计算和估计摄像机的运动参数。运动补偿运动补偿是根据运动估计的结果计算出全局的变换参数，或者说是去除不想要的(unwante

3、d)运动，使观察者看起来有摄像机的晃动已被消除或减弱的感觉。图像合成图像合成是根据运动补偿模块的全局变换参数来改变当前帧，即得到了稳定的图像序列，如果需要，也可以完整的合成图像。数字图像稳定(结构框图)视频输入预处理特征点灰度积分特征跟踪聚类配准更新模型先验知识错误报警GMM滤波平滑滤波图像合成视频输出补偿参数先验知识运动估计运动补偿提纲研究背景国内外发展现状数字图像稳定运动补偿运动估计(成像模型)透视投影成像模型透视投影成像模型：透视投影(Perspective Projection)可以用针孔(Pinhole)成像模型来近似表示。透视投影成像模型的特点是所有来自场景的光线均通过一个投影中心

4、，它对应于透镜的中心，经过投影中心且垂直于图像平面的直线称为光轴。运动估计(成像模型) 假设摄像机的光轴与场景平面垂直，场景是静止的。以运动摄像机为参考建立坐标系，设摄像机的光轴中心为坐标原点，则在摄像机的不同状态下同一点的三维坐标关系为： 10011100111000cossinsincos1000cossin0sincoszzSYXYXSYXzyxzyxzyx运动估计(旋转角) 通过小波变换法提取特征点及其方向角，直接采用对两幅图像中特征点之间的角度差进行聚类得到： 建立角度直方图，最大值用来估计两幅图像之间的角度差。 ,.,N,),i,p(ppFfiyixif1121,.,N,),i,q

5、(qqFfiyixif2221)()(,ijjipAqA),(/ ),(tan),(),(),(2),(2 , 1),(),(2),(2 , 1)2/,2/(41),()2 , 1 , 0(2)2 , 1)(,(),(),(,),(),(122212122222221yxfWyxfWyxyxfWyxMyxiyxfyxfWyxfiyxyxkiyxyyxgyxxyxgyxkkkkkkkiikiikkkikiki处的方向角为：点图像的突变点的位置，其局部最大值点代表了时梯度的模为：处在尺度则点下的小波变换为：在尺度任意图像函数时：度被看作小波函数，在尺征点及方向角：通过小波变换法提取特运动估计(平移

6、量) 利用区域灰度变化曲线的匹配获取平移运动参数，该方法是将二维空间内的搜索转化为一维曲线间的配准，减少了计算的复杂性和计算量。通过曲线配准估计整幅图像的平移运动情况，也可以在三通道空间内改进算法，提高其精确度。),(1)(, ),(1)(yxIDygyxIDxfxyxyyyyyyDDDyDyDyxDDyyyxIxygyxIyxfMdyMDdyyxIyxIDdyyxIyyxIyxfxfNMDDRRyxyxyxyxydyxIyxfdyyxIyxfxfxYyxIyxIDDyy),()()(:),()()(1),(),(1),()(),()()()(),max(21(),(),(11),()()()

7、,()()(: )(),(),(,/1)(1)(同理在离散情况下表示为：有则，若由连续函数的性质，对其中后，可表示为：旋转较小的角度记为的曲线，一条关于自变量方向加权积分，则得到沿，将设连续图像函数。表示定义域区间的长度的平滑函数，实验中令为定义域内积分为运动估计(视频演示)运动估计(性能分析)测试数据：共测试了31个视频流，其中室外场景20个，室 内场景11个；图像大小352 288像素，目标窗口112 128像素；平均统计结果。统计结果PC运动估计(ms)旋转 平移求解时间(ms)帧速(帧/秒)聚类配准P3/450 11 15235.7特征跟踪P3/45030330.3提纲研究背景国内外发

8、展现状数字图像稳定运动估计运动补偿(分类方法)运动补偿的方法可分为3类：以图像中的特征作为参考，来稳定当前图像。例如在空中拍摄的图像序列，建筑物可以作为标志物；把当前图像变形映射（warping）到参考帧，使观察者感到摄像机的晃动被消除或减弱；平滑摄像机的运动，通过消除高频率的运动来稳定图像序列。上述3种分类方法对应的算法：帧到帧算法 (Frame-to-Frame Algorithm)帧到参考帧算法 (Frame-to-Reference Algorithm)帧到合成帧算法 (Frame-to-Mosaic Algorithm)运动补偿(FFA、FRA、FMA)帧到帧算法(Frame-to-

9、Frame Algorithm)以相邻帧间的运动为准，累加的结果用来补偿帧间的运动;没有考虑累计误差的问题。由于后续帧的运动估计可能存在误差，会影响稳定的效果.帧到参考帧算法(Frame-to-Reference Algorithm)采用一个参考帧，直接用来估计每一帧的全局运动;参考帧随着时间逐渐孤立，需要限制参数，并自动重置。帧到合成帧算法(Frame-to-Mosaic Algorithm)与FRA相比较，FMA是利用多帧信息合成一个参考帧；合成帧随时间变化。运动补偿(平滑滤波SF)滤波和均值滤波。实验中应用了一维高斯为平滑因子，且其中权值向量示为：当前帧的补偿参数可表图像分析目标的运动，

10、帧。若用前帧的补偿参数向量为设当前帧的第前种分类方法，即属于第平滑滤波器. 1,),(.3)(0210niinnkktktktktktktIInYXIkFMAFilterSmoothtI1tIntItI运动补偿(视频演示)运动补偿(SF性能分析)时称为绝对晃动半径。若下的晃动半径。的值被称为在时，所得到若满足条件对给定值且集合标是运动特征的中心点坐令全集1),10(),(,| ),(),( | ),(22RUAUyxRyxyxAyxyxUFFAFRAFMA0.8稳定前9.19.19.1稳定后7.88.16.21稳定前29.529.529.5稳定后18.621.313.5运动补偿(GMM滤波)高

11、斯混合模型(Gaussian Mixture Models)运动滤波器：属于第三类补偿方法，即FMA； 通过分析摄像机不规则运动的统计学规律，建立高斯混合模型。GMM是一种直观的概率密度模型，反映了某段时间内图像运动的统计特征；系数的自适应性。通过分析前N帧图像运动的统计特征，更新GMM参数；相对于平滑滤波器，更有效的利用先验知识。其它若其它若其它若其它若时刻状态的概率为：的概率分布，则状态集模型表示最近高斯混合若用多元状态集为时刻图像的最近令帧的图像状态为前时刻图像的状态为假定21212111,1,111,2,2)()()1 (2,2)1 ()1 (2,2)()(),()(.,),(),(1

12、ttttTttttttttttittitiititniitnjjtittttKititittitIIIIIIIPIHIPIIIIPtAnKtIntIAntYXSntInYXStIt运动补偿(视频演示)运动补偿(GMM性能分析)测试数据：共测试了15个视频流，其中10个室外场景，5个室内场景；统计量：引入随机变量 ，分别表示相邻帧间图像位移的横纵坐标(像素)及旋转角(弧度)差的绝对值，来统计实验数据；部分统计结果。、YX运动补偿(GMM性能分析)原始值高斯滤波均值滤波GMM滤波E(X)3.782.312.302.01E(Y)3.572.012.081.62D(X)3.912.212.191.92

13、D(Y)4.241.621.711.43 E(X) E(Y) E( ) D(X) D(Y) D( )滤波前 3.51 3.85 0.005 3.87 4.35 0.006滤波后 2.18 2.24 0.003 1.98 2.11 0.004GMM滤波的统计结果不同滤波的统计结果主要工作和创新点提出了一种基于配准技术与聚类技术相结合的运动估计方法。通过对基于整幅图像的灰度积分曲线间的配准进行平移量运动估计，利用小波变换来提取特征点，通过聚类方法来估计旋转角度。提出了一种基于自适应高斯混合模型（GMM）的运动滤波器图像稳定方法。首先采用多分辨率金字塔技术，通过特征跟踪进行运动估计；然后分析前 帧图象的统计特征，求取GMM参数；最后利用GMM运动滤波器对运动参数进行滤波。开发了一套数字图像稳定系统。可以完成图像预处理、特征提取、运动估计、运动补偿以及图像合成等操作