新建文件夹2016第九届二阶段优秀论文5369队B题

第九届数学中国数学建模网络挑战赛 地址：数学中国数学建模网络挑战赛组委会 网址： 电话邮编：010021 Email：2016 第九届“认证杯”数学中国第九届“认证杯”数学中国 数学建模网络挑战赛数学建模网络挑战赛 承承 诺诺 书书 我们仔细阅读了第九届“认证杯”数学中国数学建模网络挑战赛的竞赛规则。 我们完全明白，在竞赛开始后参赛队员不能以任何方式（包括电话、电子邮件、网 上咨询等）与队外的任何人（包括指导教师）研究、讨论与赛题有关的问题。 我们知道，抄袭别人的成果是违反竞赛规则的, 如果引用别人的成果或其他公开的 资料（包括网上查到的资料） ，必须按照规定的参考文献的表述方式在正文引用处和参 考文献中明确列出。 我们郑重承诺，严格遵守竞赛规则，以保证竞赛的公正、公平性。如有违反竞赛规 则的行为，我们接受相应处理结果。 我们允许数学中国网站()公布论文，以供网友之间学习交流，数学中 国网站以非商业目的的论文交流不需要提前取得我们的同意。 我们的参赛队号为：我们的参赛队号为：5369 参赛队员参赛队员 (签名签名) ： 队员 1：郑昊阳 队员 2：尹力康 队员 3：卞天 参赛队教练员参赛队教练员 (签名签名)：王王健健伟教授伟教授 参赛队伍组别（例如本科组） ：本科组参赛队伍组别（例如本科组） ：本科组 第九届数学中国数学建模网络挑战赛 地址：数学中国数学建模网络挑战赛组委会 网址： 电话邮编：010021 Email：2016 第九届“认证杯”第九届“认证杯”数学中国数学中国 数学建模网络挑战赛数学建模网络挑战赛 编编 号号 专专 用用 页页 参赛队伍的参赛队号：（请各个参赛队提前填写好）： 5369 竞赛统一编号（由竞赛组委会送至评委团前编号）： 竞赛评阅编号（由竞赛评委团评阅前进行编号）： 第九届数学中国数学建模网络挑战赛 地址：数学中国数学建模网络挑战赛组委会 网址： 电话邮编：010021 Email：2016 2016 年第九届“认证杯”数学中国年第九届“认证杯”数学中国 数学建模网络挑战赛第一阶段论文数学建模网络挑战赛第一阶段论文 题 目 多帧图像的复原与融合 关 键 词 图像复原；图像融合 摘 要： 随着计算机技术的发展，人们对于图像美观的需求越来越高，图像处理技术也逐渐成 为了一个热点问题。然而，人们所得到的图像并不一定是清晰而且完整的。在对图像的 进行收集时，有众多的因素会引起所收集图像的分辨率的下降和图像失真，其主要表现 为模糊、噪声和丢失像素点。造成模糊的因素有很多，例如由被拍摄的运动对象所带来 的运动模糊现象、 拍摄仪器的大光圈所带来的散焦现象以及当矢量图转化为位图时所导 致的失真现象等。为了解决以上问题，我们对多种算法进行了分析比较： 对于低分辨率下运动图片中的细节缺失问题， 我们使用了基于维纳滤波器的几何均值 滤波算法作为基础的复原模型。我们对多张合适的单色、模糊图片进行统计分析并优化 得到合适的算法。通过实验我们发现：要保证模型所匹配到缺失细节的数量和准确度， 需要重点考虑两点因素：相邻两幅运动图像的相似程度和特征块匹配及其融合。对于前 者，我们使用了交叉熵和峰值信噪比作为评判指标；对于后者，我们在不同情况分别使 用了傅里叶变换、小波变换的方式择优进行融合。 在模型的对比验证阶段， 我们分别利用了传统滤波算法和本文提出的多帧图像复原与 融合模型进行图像复原，并通过实验体现了我们提出模型的效率；最后，我们使用峰值 信噪比、信息熵、均方差等数据进行实验结果分析并验证了模型的健壮性。 关键词：关键词：图像复原；图像融合 参赛队号: #5369 所选题目: B 题 参赛密码 （由组委会填写）（由组委会填写） 第九届数学中国数学建模网络挑战赛 地址：数学中国数学建模网络挑战赛组委会 网址： 电话邮编：010021 Email：2016 Abstract In recent years, with the development of computer graphics and computer vision technology, more and more people pay much attention on digital images. Image processing technology becomes a hot topic. However, the image that people got from their electronic equipment is often incomplete, which will bring negative attitude to users. The process of collecting image influenced by many factors, which will lead to the loss of resolution and image distortion. The mainly reason for incomplete images is blur, noise, loss of pixels etc. Also, there are many factors causing blurred. For example, when a moving object is being photographed, it brings motion blur. At the same time, large aperture shooting instrument will be brought by defocusing and distortion when converted to vector bitmap. For solving details missing problems under low-resolution motion pictures, we use the geometric mean filter model based on Wiener filtering. We found that in order to ensure matching the model, the amount and accuracy of the details are important. And we have to consider two factors: similarity degree of adjacent motion images and feature block matching with fusion. For the former one, we regard cross entropy and Peak Signal to Noise Ratio as the evaluation criteria. For the latte, we use the Fourier transform algorithm and wavelet transform algorithm to solve these issues under different situations. In the phase of model validation, we use the traditional image restoration algorithm and multiple frame image recovery and fusion model proposed in this paper to do the experiment. Through comparing the traditional image restoration algorithm and our rehabilitation model in the use of some indexes like the information entropy, cross entropy, mean square error and soon, we draw a conclusion that our multiple frame image recovery and fusion model show better performance in process blurred images. The data analysis and experiment at the end also indicate the robustness of our model. Keywords: image restoration; image fusion 参赛队号# 5369 目录 1问题重述3 1.1问题背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3 1.2问题提出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3 2问题分析3 3假设与符号4 4模型分析4 4.1亮度矩阵的生成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6 4.2静态图像复原. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6 4.2.1逆滤波法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6 4.2.2维纳滤波 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8 4.2.3等功率频率波 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9 4.3图像识别算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10 4.3.1块匹配算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11 4.4图像融合算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12 4.4.1图像直接融合算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . .12 4.4.2傅里叶变换融合算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . .13 4.4.3小波变换融合算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . .13 4.5图像评价指标. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13 4.5.1信息熵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14 4.5.2交叉熵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14 4.5.3标准差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15 4.5.4均方误差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15 4.5.5峰值信噪比. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15 5模型建立15 5.1图像退化过程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15 5.1.1离焦模糊 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16 5.1.2运动模糊 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16 5.2亮度矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17 5.2.1建立灰度矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17 5.2.2灰度矩阵的变化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17 5.3图像复原过程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18 5.3.1滤波器算法的选择. . . . . . . . . . . . . . . . . . . . . . . . . . . . .18 5.3.2振铃效应的消除 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .19 5.4图像融合模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20 5.5模型建立过程总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21 6模型验证21 6.1数据分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21 7进一步讨论22 1 参赛队号# 5369 8模型的优缺点23 8.1模型的优点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23 8.2模型的缺点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23 9本文模型与传统图像复原算法实验结果25 10 部分程序源代码27 2 参赛队号# 5369 1问题重述 1.1问题背景 数码摄像技术被广泛使用于多种场合中。有时由于客观条件的限制，拍摄设备只能在 较低的分辨率下成像。为简单起见，我们只考虑单色成像。假设成像的分辨率为3264， 成像方式是将整个矩形视野划分成3264个相同大小的矩形格子，图像中每个像素的取值 为对应格子的亮度平均值。每间隔一定时间拍摄一帧图像，运动的画面体现为图像的序 列。 对一副静态的图像而言，每个像素对应于视野中的一个格子，每个格子内部的细节信 息已经无法还原。但如果在视野移动的过程中拍摄系列图像，我们通过对多帧图像进行对 比分析，仍然有可能还原出来一些在单张照片中无法体现的细节。请建立合理的数学模型 和算法，通过对多帧图像进行分析，尽可能多地还原出被摄物的细节。 1.2问题提出 根据上述的基本要求，建立数学模型解决以下问题： 建立利用清晰的多帧图像产生图像退化的模型，模拟图像运动过程中产生的模糊和 噪声。 建立图像复原模型复原退化后的多帧图像，达到单张图片初步复原效果。 建立图像匹配模型将多帧图像匹配相对应的部分。 建立图像融合模型将匹配到的版块进行融合，尽可能多的还原出模糊图像中更多的 细节。 2问题分析 题目要求研究单色成像，那么每一个像素点的区别就是用格子的亮度来表示。对于一 个3264 的矩阵格子，我们可以生成一个大小为3264 的亮度矩阵来模拟视野中观察到的 图像。随着物体在视野区域向某个方向移动，亮度矩阵会随之有规律的变化。 题目没有明确规定间隔多少时间拍摄一帧图像。由于视野向某个方向缓慢运动，不同 的时间间隔拍摄图像，在同一帧中视野区域内容也不一样。将拍摄时间间隔作为变量，建 立的算法要求在足够大的拍摄时间间隔下实现较高的识别度。 题目要求通过多帧图像对比分析还原出在单张照片中无法体现的细节。在建立模型的 过程中，我们仍需考虑现有的单张图片还原算法处理模糊图片，再将本文的算法模型进行 对比，体现出多帧图像处理的优势。 题目要求尽可能多的还原出被摄物的细节。即在不限定算法时间复杂度的前提下（电 脑能够运行完成算法即可） ，还原出被摄物最多的细节。 被摄物的细节可以由主观评价和客观评价组成。主观评价可以由多准则决策方法实 现。但由于该题需要客观地评价被摄物的细节，我们的模型通过大量客观的图像评价指标 评价算法细节还原效率以及准确度，主观评价部分展示经过算法处理的图片，文中不作主 观评价。 3 参赛队号# 5369 3假设与符号 1. 假设计算机能接受的亮度的范围为0至255。那么亮度矩阵表示为由0至255构成，大 小为3264 的亮度矩阵。 2. 假设原始的图像噪声足够少，使得肉眼能够分辨出图片的部分细节。 3. 假设拍摄的时间间隔足够小，使相邻两组视野中图像有相同的特征便于算法提取。 4. 假设相机在运动过程拍摄的照片会产生模糊，从而导致照片细节不清晰。 5. 假设选取的进行实验的20张随机图片样本可以代表总体。 6. 假设算法运行的实验环境相同。 表 1: 符号说明 符号名称符号意义符号名称符号意义 像素t时间 像素变化率x亮度矩阵中的水平坐标 视野移动速度y亮度矩阵中的竖直坐标 像素亮度D特征块向量平均模长 灰度级数目E亮度函数 Pi像素i出现概率F实际融合结果灰度 b移动斜率L模糊长度 d参数R理想融合结果灰度 k参数MAE平均绝对误差 l亮度矩阵中的坐标位置MSE亮度差异 r线性相关系数SAD亮度差异 t时间PSNR峰值信噪比 l亮度矩阵中的坐标位置U光流场中的方向向量 4模型分析 模型需要考虑以下几个部分：亮度矩阵的生成并用亮度矩阵模拟视野的移动、图像复 原算法、图像识别算法以及图像融合算法。 在亮度矩阵模型中，我们要生成一个用于表示32 64 像素大小视野的矩阵，每个像 素的取值为对应格子的亮度平均值。亮度矩阵并不是静态的，它会随着时间变化。需要注 意的是，视野的移动过程并不是简单的在二维平面的移动，还要考虑视野的前后移动。 为了方便图像复原的后续处理，我们先对获得的模糊图像逐张复原。我们分析了较为 实用的图像复原算法（如逆滤波法、维纳滤波法和等功率谱滤波法） ，并希望通过分析算 法及实验对比找到适合我们模型的算法。 在图像的识别模型中，我们根据文献资料总结了经典的图像识别算法，并通过分析决 定本文所需的最优算法。 4 参赛队号# 5369 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 图 1: 模型建立流程图 5 参赛队号# 5369 为了将多帧图片识别得到的相同细节优化，我们查找了相关的图片融合算法（如图像 直接融合算法、傅里叶变换融合算法、小波变换融合算法）获得更加清晰的细节。 在第5章，通过以上模型和算法的对比、研究，我们组提出了针对多帧运动图像复原 的优化模型。最后也通过对比实验验证了该模型的优越性。 4.1亮度矩阵的生成 亮度矩阵模型的生成需要考虑以下因素： 1. 亮度值在模型中用数字0至255的整数表示，亮度越高数值越大；亮度越低数值越小。 当亮度 255 时，表示在屏幕中显示的该像素点接近纯白色；当 0，表明该像 素点接近纯黑色。 2. 亮度矩阵通过对视野中的RGB图像转换为Grey图获得。获得的图像先以R、G、B为 轴建立空间直角坐标系，那么RGB 图的每个象素的颜色可以用该三维空间的一个点 来表示。同时，Gray 图的每个象素可以表示为在空间直角坐标系r=b=g的一条直线。 于是RGB转Gray图的本质就是从三位空间中得到在一维空间中的映射。通过公式(1): = 0.29900 R + 0.58700 G + 0.11400 B(1) 我们可以得到对应的值，也就是视野中出现的亮度值。 3. 在每一次迭代中亮度矩阵会随着视野、视野中物体的变化而变化。物体的变化是无 规律的，因此对应亮度的变化也是无规律的；视野的变化是有规律的，并且视野是 在三维空间内变化，因此亮度矩阵可能只在边缘变化，内部的亮度会平移变化，是 部分有规律的；也有可能会重新合成新的亮度，导致亮度矩阵无规律变化。 4. 亮度矩阵边缘的变化还取决于拍摄时间间隔。在视野变化率、物体变化率相同的条 件下，拍摄时间间隔越长，亮度矩阵的变化越大、越没有规律；反之也成立。 基于以上因素，我们在网络中随机选取图片并用matlab完成了亮度矩阵模型的生成。 4.2静态图像复原 4.2.1逆滤波法 逆滤波复原方法也称为反向滤波法，根据图像退化模型可知： g(x,y) = f(x,y) h(x,y) + n(x,y)(2) 其中g(x,y)为退化图像函数，f(x,y)为原始图像函数，h(x,y)表示点扩散函数，n(x,y)是 噪声函数。 由傅里叶的卷积定理可以推导出： G(u,v) = H(u,v)F(u,v) + N(u,v)(3) 6 参赛队号# 5369 图像的退化过程是原始图像f(x,y)通过系统H并与加性噪声n(x,y) 相叠加二形成退化 图像。逆滤波的方法就是直接将退化过程H的逆变换直接与退化图像进行反卷积。如果利 用傅里叶变换卷积特性，在考虑噪声的情况下，上述过程可以用式(4)表述： b F(u,v) = G(u,v) N(u,v) H(u,v) (4) b f(x,y)就是恢复后图像的傅里叶变换。其中原图像的傅里叶变换过程用F(u,v)表示， G(u,v) 是退化图像的傅里叶变换，N(u,v) 是噪声的傅里叶变换，点扩散函数（即退化 过程）的傅里叶变换表示为H(u,v)，也被称为滤波器的传递函数。 若不考虑噪声的影响，逆滤波法可以简化为式(5)所示： b F(u,v) = G(u,v) H(u,v) (5) 由式(5)取傅里叶反变换，即可得到恢复后的图像： b f(u,v) = F 1b F(u,v) = F 1G(u,v) H(u,v) (6) 这说明如果已知退化图像的傅里叶变换和点扩散函数，则可以求得原始图像的傅里叶 变换。经逆傅里叶变换后就可以求得原始图像f(x,y)的复原图像。这里的G(u,v)/H(u,v)起 到反向滤波的作用，这就是逆滤波复原方法的基本原理。 然而，平面上的有些点或区域可能会存在H(u,v) = 0或H(u,v)趋近于零的情况。 这种情况下，即使没有噪声也无法准确地恢复出原始图像。同时，当有噪声存在时， 在H(u,v)的领域内，H(u,v)的值可能比N(u,v)的值小得多，这样得到的噪声项会非常大， 造成复原出来的图像面目全非。 为了解决这一问题，我们采用一个折中方法处理：不用1/H(u,v)作为逆滤波的点扩散 函数，而是采用另外一个关于u,v的函数M(u,v)作为逆滤波的处理传递函数。 一般H(u,v)的幅度随着离u v平面远点距离的增加而迅速下降，而噪声项N(u,v)的 幅度变化比较平缓。在远离uv 平面的远点时，N(u,v)/H(u,v)的值就会变得很大，而对 于大多数图像而言，此时的F(u,v)值很小。在这种情况下噪声占据优势，无法获得满意的 复原效果，这说明应用逆滤波时仅在原点邻域内采用1/H(u,v)才有效，因此M(u,v) 函数 通常设计为: M(u,v) = 1 H(u,v) u2+ v2 w2 1u2+ v2 w2 (7) w的选择应该将H(u,v)的零点排除在此邻域之外。这种方法的缺点就是恢复结果的振 铃效应比较明显。改进的方法就是取M(u,v)函数如式(8)所示: M(u,v) = 1 H(u,v) H(u,v) d k1H(u,v) d (8) 其中k和d均为小于1的常数，而且d选得较小为好。 因此可以将逆滤波进行图像复原的处理模型总结为图2所示形式。 7 参赛队号# 5369 H(u, v) + M(u, v)F(u, v) G(u, v) N(u, v)N( () F(u, v) 图 2: 逆滤波处理过程 4.2.2维纳滤波 通常功率谱的低频部分以信号为主，而高频部分则主要被噪声所占据。由于逆滤波器 的幅值随着频率的升高而升高，因此会增强高频部分的噪声。为了优化噪声对图像复原带 来的影响，维纳滤波法被用来进行模糊图像的恢复。维纳滤波法可以使原始图像及其恢复 图像间的均方误差最小： minE|f b f|2(9) 因此，这种方法也被称为最小均方估计法(Minimum Mean Square Estimation)。 根据图像退化模型： g(x,y) = f(x,y) h(x,y) + n(x,y)(10) 我们要找到一个用g(x,y)作为输入，输出为复原图像的复原滤波器m(x,y): b f(x,y) = f(x,y) m(x,y)(11) 这个滤波器需满足条件minE|f b f|2。根据线性均方估计中的正交原理，式(11)最小 化的必要条件是估计误差bf f正交于数据g，于是必须有: E(f b f)g = 0(12) 令M(u,v)为m(x,y)的傅里叶变换，Sfg(u,v)和Sgg(u,v)分别为互功率谱和自功率谱。 我们可以将维纳滤波器表示为: M(u,v) = Sfg(u,v) Sgg(u,v) (13) 此外，可以证明: Sgg(u,v) = |H(u,v)|2Sff(u,v) + Snn(u,v) Sfg(u,v) = H(u,v)Sff(u,v) (14) 由以上几个公式可以得到维纳滤波器表达式： M(u,v) = H(u,v |H(u,v)|2Sff(u,v) + Snn(u,v) (15) 其中()表示复数的共扼，Snn(u,v) 和Sff(u,v)分别是噪声和图像的功率谱。 8 参赛队号# 5369 根据卷积定理和谱密度定义我们可以推导出维纳滤波器的复原公式： b F(u,v) = 1 H(u,v) |H(u,v|2 |H(u,v)|2+ Snn(u,v)/Sff(u,v) G(u,v)(16) 其中bF(u,v)是恢复后图像的傅里叶变换，退化图像的傅里叶变换为G(u,v)。因为在实 际操作中很难求得Snn(u,v)和Sff(u,v)，因此可以用比值k代替两者之比，从而得简化维纳 滤波公式为： b F(u,v) = 1 H(u,v) |H(u,v|2 |H(u,v)|2+ k G(u,v)(17) 其中k通常利用先验知识近似取为信噪比的值。 图 3: 灰度图图 4: 退化模糊图图 5: 维纳滤波法复原图 图3, 4, 5显示了维纳滤波方法对实际拍摄的运动模糊图像的恢复效果。 将维纳滤波器与逆滤波器相比较可以看出，维纳滤波器可以看作是一种正则化的逆滤 波器，Snn(u,v)/Sff(u,v)或k起到正则化的作用，从而消除了核函数的频域奇异性造成的 问题。正则化过程能有效降低噪声对图像还原的影响，从而获得较好的复原效果。但是为 了抑制噪声，它使用最小均方误差准则，使得维纳滤波只在平均意义上是最优的，因此复 原图像的平滑过程并不符合人类习惯。此外，维纳滤波器必须假设图像和噪声假定为广义 平稳过程，与现实情况有差异，因此会降低复原效果。 为了改善维纳滤波不符合人类观察习惯的缺陷，人们对维纳滤波进行了改进，得到了 参数维纳滤波： b F(u,v) = 1 H(u,v) |H(u,v|2 |H(u,v)|2+ Snn(u,v) Sff(u,v) G(u,v)(18) 参数维纳滤波即在信噪比的倒数前加一个参数。注意=1时为标准维纳滤波器； =1时为含参数的维纳滤波器。若没有噪声时(Snn(u,v)=0)，维纳滤波器则退化成理想逆 滤波器。在实际应用中必须调节以满足复原需求，一般取值在00.3 之间，从而达到修 正该项、平滑滤波效果和改善滤波器抗噪性能的目的8。 4.2.3等功率频率波 利用图像的等功率谱进行图像复原的基本思想是：原始图像估值bf(x,y)的功率谱等于 原始图像f(x,y)的功率谱，因此该复原方法叫做等功率谱滤波2。 9 参赛队号# 5369 等功率谱滤波假设图像和噪声均属于均匀随机场，噪声的均值为零，且与图像不相 关。根据图像的退化模型和均匀随机场互相关函数的定义，考虑噪声与图像不相关。设恢 复滤波器的传递函数为M(u,v)，则： Sb fbf(u,v) = Sgg(u,v)|M(u,v)| 2 (19) 将Sgg(u,v)的表达式14带入得： Sb fbf(u,v) = Sgg(u,v)|H(u,v)| 2|M(u,v)|2 + Snn(u,v)|M(u,v)|2(20) 根据等功率频谱的定义知Sb fbf(u,v) = Sff(u,v)，可得： M(u,v) = 1 |H(u,v)|2+ Snn(u,v)/Sff(u,v) 1/2 (21) 等功率谱的滤波公式为： F(u,v) = 1 |H(u,v)|2+ Snn(u,v)/Sff(u,v) 1/2 G(u,v)(22) 由式(23)可知，等功率谱滤波器在没有噪声的情况下Snn(u,v) = 0，就简化为逆滤波 器；当有噪声存在时，H(u,v)很小或等于零的区域上，滤波公式为： F(u,v) = Snn(u,v)/Sff(u,v)1/2G(u,v)(23) 因此，根据退化图像计算出退化图像的功率谱场Snn(u,v)后，就可以对图像进行恢复 了。图像功率谱通常都是利用与原始图像统计性质相同的一类图像按定义计算的，如果不 知道随机场的统计特性，也常用式(24)近似表达: F(u,v) = 1 |H(u,v)|2+ k 1/2 G(u,v)(24) 式中，k是根据信噪比先验知识确定的参数。 与维纳滤波方法类似，这种等功率谱滤波器也是没有相移的10。它可以用于无相移 的或者相移可以用其他方法确定的退化函数。当没有噪声时，等功率滤波与维纳滤波都 可以简化为逆滤波；当没有信号时，这两种滤波器都完全截止。然而，不同的是等功率谱 滤波器在传递函数F(u,v)为零处并不截止为零。等功率谱滤波器具有相当强的图像恢复能 力，在某些情况下其性能优于维纳滤波器。尤其对衰减很大的信号高频成分的复原能力超 过维纳滤波，但同时对高频噪声也更加敏感。 4.3图像识别算法 图像识别是指利用计算机对图像进行处理、分析和理解，以识别各种不同目标的技 术。图像识别是人工智能的一个重要领域。自上世纪70年代以来，图像识别获得了长足的 进步。经典的图像识别算法，例如光流法、块匹配算法和图像差分法等5仍被许多新提出 的算法作为基础；近年来，卷积神经网络算法等智能算法研究有了长足的进步4。由于块 匹配算法在处理3264的灰度矩阵时需要的时间不长，并且能穷尽图像的所有细节，因此 本文只讨论块匹配算法。 10 参赛队号# 5369 4.3.1块匹配算法 块匹配算法6通过对图像序列中的相邻两帧图像间的子块的匹配来进行估值。块匹配 算法中，图像被分割为子块。子块中的所有像素的运动矢量被认为是相同的，由于复杂的 运动可以被近似地分解为一组平移运动之和，所以块匹配算法采用的运动模型是假定图像 中的运动物体由做平移运动的刚体组成。块匹配算法需要一个先决条件，即假设图像场景 中没有大的遮挡物。这样，采用块匹配算法就比较简单快速的监测物体，同时也保证了较 高的精度。 块匹配法的基木思想是：对于帧k(当前帧)中的像素(n1,n2) 的位移通过考虑一个中心 定位在(n1,n2)的N1 N2块，同时搜索帧k + 1 来找出同样大小的最佳匹配块的位置。从 计算的因素考虑，搜索通常限制在(N1+ 2M1) (N2+ 2M2)的范围内，称之为搜索窗口。 运动检测中应用块匹配法算法需要以进行以下几个方面的选择: 1. 选择匹配法则。一般方法有最大互相关函数，最小均方误差函数(MSE，meansquare error)，最小平均绝对差值函数(MAD, mean absolute difference)，最大匹配像素统 计(MPC, matching pixel count)。 2. 选择搜索方法。由于搜索的是匹配块，匹配并不与实际的投影运动有好的相关性。 在忽略遮挡的前提下，运动报警检测的运动方向检测，采用块匹配来计算像素的 运动矢量也是合理的，由于采用过于快速的搜索算法可能会产生较大的误差，所 以在算法的选择上要在速度和精度这两个方面进行折衷。如果平均绝对误差(Mean Absolute Error, MAE) 或者平均平方误差(Mean Square Error, MSE)过大，则很难搜索 到相应的匹配块；如果过小，则会影响算法的判断准确度。 3. 选择块的大小。块大小的选定和实际监控场景及监控目的有关，基本上块的大小满 足下列要求:每一个块几乎都只具有单一运动或者没有运动。块不能过小，否则会出 现匹配建立在包含相同亮度等级模式的块上的情况，以保证可以搜索到非常近似的 块。在运动报警算法中，根据判别条件可以检测场景中有无物体运动，同时也筛选 出了需要进行块搜索的点集。对点集中的点进行上述的块搜索，采用块匹配的方法 搜索出点集对应的运动矢量集合，从而估算出主要运动物体的运动方向。 此方法可以较好地解决监控系统中的物体运动方向的判断问题。其缺点是无法解决遮 挡问题，在物体运动过程中如果出现大面积的遮挡现象就会出现计算错误。 块匹配算法常用的匹配标准有MAD和MSE，定义如下: MSE(i,j) = 1 N2 N m=1 N n=1 (f(m,n) f(m + i,n + j)2 w i,j w MAE(i,j) = 1 N2 N m=1 N n=1 |f(m,n) f(m + i,n + j)| w i,j w (25) 其中,l(m,n)表示当前块位置，(m,n)，l(m + i,n + j)表示相应的块在前一帧中位置 为(m + i,n + j)。 块匹配算法对运动方向的估计方法做了说明，但是究竟如何选取匹配区域？经过实 验，我们发现穷尽搜索法符合本文的要求。 穷尽搜索法ES(ExhaustiveSearch)也称为全搜索法FS(FullSearch)，是对(M+2dxmax) (N+2dymax)搜索范围内所有可能的候选位置计算SAD(SumofAbsoluteDifference)值SAD(i,j)， 从中找出最小SAD，对应偏移量即为所求运动矢量。 11 参赛队号# 5369 ? 图 6: 块匹配算法 对于第2帧亮度矩阵，ES法遍历所有像素点来找寻与第1帧的亮度矩阵相似的部分。 假设我们在亮度矩阵中可以找到x y个相同大小且不重复的区域（每一行有x个，每一列 有y个） ，就需要创建一个a b大小的矩阵来储存这些区域和Sij的亮度差异SAD2(a,b)： SAD2(a,b) = i,jS |Sij (i+a1)(j+b1)| |S| (26) 其中|S|表示区域S所包含的像素点数量。 用相同的方法可以求出第3, 4, 5, . , n帧时的亮度差异SADn(a,b)： SADn(a,b) = i,jS |Sij (i+a1)(j+b1)| |S| (27) 其中n必须满足dn(a,b)在亮度矩阵范围内。 4.4图像融合算法 图像融合是指采将集源于多源通道关于同一目标或场景的图像经过一定的处理，提取 每个通道的互补信息，综合成信息更丰富、对同一场景或目标的描述更准确、全面、可靠 的图像或图像特征。图像融合已成为图像理解和计算机视觉领域中一项重要而有用的新技 术，有着广泛的应用潜力9。为了实现多帧图片融合，我们研究并使用了三种融合算法： 图像直接融合算法、傅里叶变换融合算法和小波变换融合算法。 4.4.1图像直接融合算法 图像直接融合算法就是不对参加融合的源图像进行任何变换或分解，而直接对其进行 简单的选择、平均或加权平均，最常见的就是直接对源图像对应的像素灰度值进行加权平 均等简单处理后合成一幅融合图像，这是图像融合算法中最简单的一种方法。但是在许多 情况下，这种简单的融合方法得不到满意的结果。 对于源图像A、B，假设它们的融合结果为F，其加权平均融合过程如式28所示： F(i,j) = w1A(i,j) + w2B(i,j)(28) 其中(i,j)代表图像中像素点坐标位置。w1, w2为加权因子，通常取w1+ w2= 1。 可以看出，像素灰度值的加权平均法进行图像融合简单直观，它在一定程度上提高了 融合的计算速度，但是同时也削弱了图像的对比度，使得图像的边缘和对比度受到了一定 影响。 12 参赛队号# 5369 4.4.2傅里叶变换融合算法 设f(x)为x的函数，如果f(x)满足具有有限个间断点、具有有限个极值点并且绝对可 积，则有下列两个式子成立: F(u) = + f(x)ej2uxdx, f(x) = + F(u)ej2uxdu(29) 式中x为时域变量，u为频率变量。如果令 = 2u，则有: F() = + f(x)ejxdx, f(x) = frac12 + F()ejxd(30) 通常把以上公式称为傅里叶变换对。 函数f(x)的傅里叶变换一般是一个复量，它可以由F() = R() + jI()表示。或写成 指数形式: F() = F()ej(),F() = R2() + I2(),() = arctan(I()/R() 我们把F() 叫做f(x) 的傅里叶谱，而()叫相位谱。 4.4.3小波变换融合算法 小波变换是通过对图像的多尺度、多分辨率的分析从而优化融合结果的算法3。小波 变换的固有特性使其在图像处理中能完善的重构能力，保证信号在分解过程中没有信息损 失和冗余信息。同时，小波变换融合可以把图像分解成平均图像和细节图像的组合，分别 代表了图像的不同结构，因此容易提取原始图像的结构信息和细节信息。 小波变换的计算公式为： Wf(a,b) = + f(t)a,b(t)dt = + f(t)a+(t b a )dt(31) 其逆变换为： f(t) = 1 C + + a2Wf(a,b)a,b(t)dadb C= + (w)2 w dw 32,n 64) 大小的 灰度矩阵。合成公式与公式(48)相同。 拍摄时间间隔变化 拍摄时间间隔会影响相邻两帧上下、左右和前后移动幅度的大小。该 变化会反映前两类变换类型中，因此模型建立的过程不再单独讨论。 物体变化 物体本身的变化是无规律的，并且会体现在每一帧灰度矩阵的不同上。物体的 变化可以通过多帧图像的对比降低对运动方向判断的干扰，但很难从数据处理本身 降低该变化的干扰，因此模型建立过程也不再单独讨论。 5.3图像复原过程 5.3.1滤波器算法的选择 根据在章节4.2中介绍的逆滤波、维纳滤波和等频率滤波，我们将这些算法归纳为几 何均值滤波： b F(u,v) = H(u,v) |H(u,v)|2 H(u,v) |H(u,v)|2+ Snn(u,v) Sff(u,v) 1 G(u,v)(49) 值的选取决定了滤波器的性能，它是上述几种滤波器的一般形式。当=1时，式(49)成 为逆滤波器，令=0可以得到参数化的维纳滤波器；当=1 变为标准维纳滤波器；而如果 令=1/2，=1，则它就变为等功率谱滤波器。通过进一步观察，我们还可以注意到当=1/2 时，式(49)定义的是普通逆滤波和维纳滤波的几何平均，因此等式定义的滤波器为几何均 值滤波器。当=1,降低至1/2 以下，滤波的性能趋近于逆滤波器的性能；当 增加到1/2 以上时，越来越接近维纳滤波的性能。因此，通过调节参数和的数值，我们可以得到不 同性能的滤波函数，从而使复原图像的还原准确度得到改善。 根据公式不难看出：逆滤波法公式简单，物理意义明确。但是没有说明如何去除噪 声，因此处理的图像容易失真；维纳滤波对高频噪声处理较好，但是对高频信号的复原能 力不如等功率谱滤波；等功率频滤波与之相反。 为了对比出不同参数条件下滤波法性能差异，我们随机选取了20张图片在不同滤波参 数条件下进行复原。实验过程需要控制系统运行环境保持一致，除图像复原过程的滤波 参数不同外，其他算法模型均采用相同条件。我们用上文提到的性能指标：信息熵、交叉 熵、标准差、均方误差和峰值