[工程科技]第4章 图像恢复.ppt

2020 2 8 1 图像处理和分析技术 2020 2 8 2 第4章图像恢复技术 4 1图像退化及模型4 2噪声及其描述4 3空域噪声滤波器4 4组合滤波器4 5频域周期噪声滤波器4 6逆滤波4 7维纳滤波 2020 2 8 3 在景物成像过程中 由于目标的高速运动 散射 成像系统畸变和噪声干扰 致使最后形成的图像存在种种恶化 称之为 退化 退化的形式有图像模糊或图像有干扰等 1 什么是图像退化 4 1图像退化及模型 2020 2 8 4 受到孔径衍射造成的图像退化 2020 2 8 5 2020 2 8 6 目标运动造成的图像的模糊 2020 2 8 7 2 图像退化原因 成像系统镜头聚焦不准产生的散焦 相机与景物之间的相对运动 成像系统存在的各种非线性因素以及系统本身的性能 射线辐射大气湍流等因素造成的照片畸变 成像系统的像差 畸变 有限带宽等 底片感光图像显示时会造成记录显示失真 成像系统中存在的各种随机噪声 2020 2 8 8 如果我们对退化的类型 机制和过程都十分清楚 那么就可以利用其反过程来复原图像 2020 2 8 9 图像恢复 是一种使退化了的图像去除退化因素 并以最大保真度恢复成原来图像的技术 3 什么是图像恢复 复原 2020 2 8 10 图像复原的一般过程 弄清退化原因 建立退化模型 反向推演 恢复图像 2020 2 8 11 2020 2 8 12 2020 2 8 13 2020 2 8 14 图像增强是为了突出图像中感兴趣的特征 增强后的图像可能与原始图像存在一定的差异 评判图像增强质量好坏的是视觉效果 主观标准 图像复原是针对图像退化的原因做出补偿 使恢复后的图像尽可能接近原始图像 评判图像复原质量好坏的是客观标准 4 图像增强与图像复原 返回 2020 2 8 15 5 图像退化及模型 图像退化模型图像退化过程被模型化为一个作用在输入图像f x y 上的系统H 它与一个加性随机噪声n x y 的联合作用导致产生退化图像g x y 根据这个模型恢复图像就是要在给定g x y 和代表退化的H的基础上得到对f x y 的某个近似的过程 这里假设已知n x y 的统计特性 2020 2 8 16 H f x y n x y g x y 简单的通用退化模型 2020 2 8 17 1 线性 2 相加性 令k1 k2 1 则 3 一致性 令f2 0 则 4 位置 空间 不变性 图像退化模型性质 2020 2 8 18 4 1图像退化及模型 非线性 摄影胶片的冲洗过程 光学成像系统 由于孔径衍射产生的退化 模糊退化 目标运动造成的模糊退化 随机噪声迭加 随机性的退化 2020 2 8 19 4 2噪声及其描述 噪声是最常见的图像退化因素之一 1 热噪声 2 闪烁噪声 3 发射噪声 4 有色噪声 2020 2 8 20 热噪声 Johnson噪声 热导致的噪声 与物体的绝对温度有关 可以产生对不同波长能量相同的频谱 高斯噪声 空间幅度符合高斯分布 白噪声 指功率谱密度在整个频域内均匀分布的噪声 所有频率具有相同能量的随机噪声 2020 2 8 21 2020 2 8 22 1 建筑声学 为了减弱内部空间中分散人注意力并且不希望出现的噪声 如人的交谈 使用持续的低强度噪声作为背景声音2 紧急车辆的警报器 白噪声能够穿过如城市中交通噪声这样的背景噪声并且不会引起反射3 电子音乐 音频合成 经常用来重现类似于铙钹这样在频域有很高噪声成分的打击乐器4 用于放大器或者电子滤波器的频率响应测试 用在专业级的设备 高端的家庭立体声系统或者一些高端的汽车收音机上5 用于审讯前使人迷惑 并且可能用于感觉剥夺技术的一部分 例如 私密性增强器 睡眠辅助器以及掩饰耳鸣 白噪声的应用 2020 2 8 23 闪烁噪声 电流运动导致的噪声 反比于频率 1 f 的频谱 也称1 f噪声在1000HZ以下的低频时比较明显 粉色噪声粉红色噪音则是针对说话声的遮蔽材料 2020 2 8 24 发射噪声 是电流非均匀流动的结果 或者说是电子运动随机性的结果 房顶雨噪声高斯分布噪声 可用统计和概率的原理来量化 2020 2 8 25 有色噪声 指具有非白色频谱的宽带噪声运动的汽车 计算机风扇 电钻的噪声 周围人们走路的噪声等粉色噪声和褐色噪声 2020 2 8 26 2020 2 8 27 4 2噪声及其描述 噪声概率密度函数噪声本身的灰度可看作随机变量 其分布可用概率密度函数 PDF 来刻画 1 高斯噪声 2 均匀噪声 3 脉冲 椒盐 噪声 1 高斯噪声 高斯噪声是白噪声的一个特例 所谓白噪声 是指图像面上不同点的噪声是不相关的 其功率谱为常量 也即其强度不随频率的增加而衰减 1 高斯噪声 续1 2 瑞利噪声瑞利噪声的概率密度函数为 概率密度的均值和方差分别为 2 瑞利噪声 续1 3 均匀分布噪声均匀分布噪声的概率密度函数为 概率密度的期望值和方差分别为 3 均匀分布噪声 续1 4 脉冲噪声 椒盐噪声 双极 脉冲噪声的概率密度为 表示的脉冲噪声在Pa或Pb均不可能为零 且在脉冲可能是正的 也可能是负值的情况下 称为双极脉冲噪声 1 4 脉冲噪声 椒盐噪声 续1 如果b a 灰度b的值在图像中将显示一个亮点 而灰度a的值在图像中将显示一个暗点 如果Pa或Pb均不可能为零 尤其是它们近似相等时 脉冲噪声值就类似于随机分布在图像上的胡椒和盐粉微粒 所以双极脉冲噪声也称为椒盐噪声 式 1 表示的脉冲噪声如果Pa或Pb为零 则脉冲噪声称为单极脉冲噪声 通常情况下脉冲噪声总是数字化为允许的最大值或最小值 所以负脉冲以黑点 胡椒点 出现在图像中 正脉冲以白点 盐点 出现在图像中 4 脉冲噪声 椒盐噪声 续2 实验表明 对于上述的四种噪声 椒盐噪声是唯一的一种引起退化的视觉可见的噪声类型 高斯 瑞利 伽马 指数 均匀 椒盐 噪声存在下的惟一空间滤波复原 当一幅图像中惟一存在的退化是噪声时 噪声项是未知的 当仅有加性噪声存在时 可以选择空间滤波方法 这一特殊情况下 图像的增强和复原几乎一样 除通过一种特殊的滤波来计算特性之外 执行所有滤波的机理完全如在图像增强中讨论的那样 2020 2 8 40 4 3空域噪声滤波器 直接在图像域中滤除噪声的滤波器均值滤波器排序统计滤波器自适应滤波器 2020 2 8 41 1 算术均值滤波器 均值滤波器 消除噪声的同时模糊了图像 设为g x y 退化图像 为恢复后的图像 W表示中心在 x y 点 尺寸为m n的矩形子图像窗口的坐标 2020 2 8 42 2 几何均值滤波器 均值滤波器 保持更多的细节 2020 2 8 43 a 电路板的X射线图像 b 由附加高斯噪声污染图像 c 用3 3算术均值滤波器滤波的结果 d 用3 3的几何均值滤波器滤波的结果 算术均值和几何均值都能衰减噪声 但比较而言 几何均值滤波器较难使图像变模糊 2020 2 8 44 均值滤波器 3 谐波均值滤波器 设为g x y 退化图像 为恢复后的图像 W表示中心在 x y 点 尺寸为m n的矩形子图像窗口的坐标 则对图像进行谐波均值滤波的谐波均值滤波器可表示为 谐波均值滤波器善于处理象高斯噪声那样的一类噪声 且对 盐 噪声处理效果很好 但不适用于对 胡椒 噪声的处理 2020 2 8 45 均值滤波器 4 逆谐波均值滤波器 其中k称为滤波器的阶数 逆谐波均值滤波器适合于减少和消除椒盐噪声 当k为正数时 该滤波器用于消除 胡椒 噪声 当k为负数时 该滤波器用于消除 盐 噪声 但它不能同时消除 胡椒 噪声和 盐 噪声 当k 0时 逆谐波均值滤波器就退变成算术均值滤波器 当k 1时 逆谐波均值滤波器就退变成谐波均值滤波器 2020 2 8 46 a 以0 1的概率被 胡椒 噪声污染的图像 b 以0 1的概率被 盐 噪声污染的图像 c 用3 3大小 阶数为1 5的逆谐波滤波器滤波的结果 d 用k 1 5滤波 b 的结果 算术和几何适合处理高斯或均匀等随机噪声 谐波更适于处理脉冲噪声 但必须知道是暗噪声还是亮噪声 以便选择k值符号 在逆谐波滤波中错误地选择符号的结果 a 原图像 b 用3 3的大小和k 1 5的逆谐波滤波器滤波的结果 c 用k 1 5滤波的结果 2020 2 8 48 2020 2 8 49 均值滤波器 5 非线性均值滤波器如果权是常数 非线性均值滤波器就简化为同态滤波器 2020 2 8 50 排序统计滤波器 1 中值滤波器 用模板所覆盖的区域中像素的中间值作为滤波结果 消除脉冲噪声 2020 2 8 51 a 由概率Pa Pb 0 1的椒盐噪声污染的图像 b 用尺寸为3 3的中值滤波器处理的结果 c 用该滤波器处理 b 的结果 d 用相同的滤波器处理 c 的结果 对噪声图像多次应用中值滤波器 经过多次处理 逐渐消除噪声 但多次应用中值滤波器 会使图像模糊 2020 2 8 52 排序统计滤波器 2 最大值和最小值滤波器 最大滤波器对消除椒噪声比较有效 最小滤波器对消除盐噪声比较有效 2020 2 8 53 a 用大小为3 3的最大滤波器对上图滤波的结果 b 用最小滤波器对上图滤波的结果 a 加椒噪声 b 加盐噪声 最大值滤波器可以去除 胡椒 噪声 但会从黑色物体边缘移走一些黑色像素 最小值滤波器可以去除 盐 噪声 但会从亮色物体边缘移走一些白色像素 2020 2 8 54 3 中点滤波器 这种滤波器结合了顺序统计和求平均 对于高斯和均匀随机分布这类噪声有最好的效果 在滤波器涉及范围内计算最大值和最小值之间的中点 2020 2 8 55 自适应滤波器 1 自适应局部噪声滤波器 2 自适应中值滤波器滤除脉冲噪声 平滑非脉冲噪声 减少对目标边界过度细化或粗化而产生的失真 自适应滤波器利用由m n矩形窗口Sxy定义的区域内图像的统计特征进行处理 自适应滤波器优于前面介绍的各种滤波器 1 自适应 局部噪声消除滤波器 随机变量最简单的统计度量是均值和方差 这些参数是自适应滤波器的基础 均值给出了计算均值的区域中灰度平均值的度量 而方差给出了这个区域的平均对比度的度量 需要估计 a 由零均值和方差为1000的加性高斯噪声污染的图像 b 算术均值滤波的效果 c 几何均值滤波的效果 d 自适应噪声消减滤波的效果 所有滤波器大小为7 7 处理结果比较 b 噪声被平滑掉 但图像严重模糊 c 也使图像模糊 d 改进很多 消除噪声 但图像更尖锐 更清晰 当 估计不正确时 会发生什么情况呢 b c d 2 自适应中值滤波器 可用于处理更大概率密度的冲激噪声 自适应中值滤波器根据列举的一定条件而改变 或提高 Sxy的大小 决定中值滤波的输出zmed是否是一个脉冲 不是一个脉冲 检测中心点zxy本身是否是一个脉冲 此时Zxy Zmin或Zxy Zmax 找到一个脉冲 增大窗口尺寸 直到找到非脉冲 不是脉冲 直接输出 a 被概率Pa Pb 0 25的椒盐噪声污染了的图像 b 7 7中值滤波器的滤波效果 消除噪声的同时导致图像细节明显损失 c Smax 7的自适应中值滤波器的效果 消除噪声的同时保持图像的细节 2020 2 8 61 4 4组合滤波器 混合滤波器将快速的滤波器 特别是线性滤波器 和排序统计滤波器混合使用线性中值混合滤波 2020 2 8 62 4 4组合滤波器 线性中值混合滤波 2020 2 8 63 4 4组合滤波器 选择性滤波器当图像同时受到不同噪声影响时 可以采用选择滤波的方式 在受到不同噪声影响的位置选择不同的滤波器进行滤除 以发挥不同滤波器的各自特点 取得好的综合效果在消除各种混合比例的混合噪声时使用选择性滤波器的效果比单独使用任何一个滤波器的效果都要好 2020 2 8 64 4 4组合滤波器 周期噪声 a 由正弦噪声污染的图像 b 图像谱 与一个正弦波相对应的每一对共轭脉冲 在图像获取中从电力或机电干扰中产生 惟一一种空间依赖型噪声 周期噪声可以通过频率域滤波显著减少 4 5频域周期噪声滤波器 噪声参数的估计 1 周期噪声的参数可以通过检测图像的傅立叶谱来进行估计 2 噪声PDF的参数一般可以从传感器的技术说明中得到 但对于特殊的成像装置常常有必要去估计这些参数 3 当只有传感器产生的图像可用时 常可以从合理的恒定灰度值的一小部分图像估计PDF的参数 2020 2 8 67 带阻滤波器高斯带阻滤波器 2020 2 8 68 带通滤波器低通滤波器和高通滤波器都可看作带通滤波器的特例 2020 2 8 69 带通滤波器例4 5 2低通滤波器和高通滤波器都可看作带通滤波器的特例 带阻滤波器 在频率域噪声分量的一般位置近似已知的应用中消除噪声 带阻滤波器消除或衰减了傅立叶变换原点处的频段 理想带阻滤波器的表达式 n阶的巴特沃思带阻滤波器 高斯带阻滤波器 带阻滤波器 理想带阻滤波器巴特沃思带阻滤波器高斯带阻滤波器 带阻滤波器 a 被正弦噪声污染的图像 b 图 a 的频谱 c 巴特沃思带阻滤波器 d 滤波效果图 带通滤波器 带通滤波器执行与带阻滤波器相反的操作 可利用带通滤波器提取噪声模式 2020 2 8 74 陷波滤波器 陷波滤波器 陷波滤波器阻止 或通过 事先定义的中心频率领域内的频率 理想陷波滤波器巴特沃思陷波滤波器高斯陷波滤波器 由于傅立叶变换时对称的 因此陷波滤波器必须以关于原点对称的形式出现 陷波滤波器 陷波滤波器 还可以得到另一种陷波滤波器 它能通过 而不是阻止 包含在陷波区的频率 陷波区域的形状可以是任意的 如矩形 a 佛罗里达和墨西哥湾的人造卫星图像 b a 图的频谱 c 叠加在 b 图的陷波带通滤波器 d 滤波后图像的反傅立叶变换 在空间域显示噪声模式 e 陷波带阻滤波器效果 最佳陷波滤波器 当存在几种干扰时 前面介绍的方法有时就不可以采用了 因为在滤波过程中可能消除太多图像信息 另外干扰成分通常不是单频脉冲 最佳陷波滤波器可以处理这一问题 它最小化复原估计函数 的局部方差 最佳陷波滤波器 令 加权函数或调制函数 估计退化函数 退化函数通常未知 因此在复原之前需要估计退化函数 估计退化函数的方法 1 观察法 2 实验法 3 数学建模法 估计退化函数 1 观察法 收集图像自身的信息来估计退化函数 例如 对于模糊图像 选择一小部分图像 强信号区 减少噪声影响 并构建一个不退化的图像 估计退化函数 2 试验估计法 使用与获取退化图像的设备相似的装置 得到准确的退化估计 小亮点 成像系统H 由于冲激的傅立叶变换为常数A 可得 实验估计模型如下 估计退化函数 冲激特性的退化估计一个亮脉冲图像化的 退化的 冲激 估计退化函数 3 模型估计法 建立退化模型 模型要把引起退化的环境因素考虑在内 例如退化模型 就是基于大气湍流的物理特性而提出来的 其中k为常数 与湍流特性相关 估计退化函数 大气湍流模型的解释可忽略的湍流剧烈湍流 k 0 0025中等湍流 k 0 001轻微湍流 k 0 00025 另外也可以从基本原理开始推导出退化模型 如匀速直线运动造成的模糊就可以运用数学推导出其退化函数 2020 2 8 88 4 5频域周期噪声滤波器 2020 2 8 89 4 6逆滤波 无约束恢复仅将图像看作一个数字矩阵 从数学角度进行处理而不考虑恢复后图像应受到的物理约束 2020 2 8 90 4 6逆滤波 逆滤波模型恢复只能在与原点较近的范围内进行 2020 2 8 91 4 6逆滤波 逆滤波 随机函数 避免为零值 限制滤波频率使其接近原点值 当退化为零或很小时 N u v H u v 会变得很大 逆滤波 图像逆滤波用全滤波的结果半径为40时截止H的结果半径为80时的结果半径为85时的结果 2020 2 8 94 4 7维纳滤波 有约束恢复考虑恢复后的图像应该受到一定的物理约束有约束恢复考虑选取的一个线性操作符Q 变换矩阵 使得 Q f 2最小 2020 2 8 95 4 7维纳滤波 维纳滤波器一种最小均方误差滤波器 1 如果s 1 大方括号中的项就是维纳滤波器 2 如果s是变量 就称为参数维纳滤波器 3 当没有噪声时 Sn u v 0 维纳滤波器退化成理想逆滤波器 逆滤波没有说明怎样处理噪声 维纳滤波综合考虑退化函数和噪声统计特征 上式中误差函数的最小值在频率中用下式表达 维纳滤波 括号中的项组成的滤波器通常称为最小均方误差滤波器 或最小二乘方误差滤波器 处理白噪声 噪声的傅立叶谱为常量 时 谱 N u v 2是一个常数 问题可以简化 但 F u v 2未知 1 最小均方差误差滤波 维纳滤波 K为特殊常数 经常用下式近似 1 式的维纳滤波要求 未退化图像和噪声的功率必须是已知的 虽然用 2 近似的方法能得到好的结果 但功率谱比的常数K的估计一般没有合适的解 2 逆滤波和维纳滤波的比较 a 全滤波的逆滤波结果 b 半径受限的逆滤波结果 c 维纳滤波的结果 交互选择K 维纳滤波的结果非常接近原始图像 比逆滤波要好 a 由运动模糊及均值为0方差为650的加性高斯噪声污染的图像 b 逆滤波的结果 c 维纳滤波的结果 d f 噪声幅度的方差比 a 小一个数量级 g i 噪声方差比 a 小5个数量级 本节方法只要求噪声方差和均值的知识 对于处理的每一副图像都能产生最优结果 在有加性噪声的情况下 线性退化模型可以表示成如下方式 约束最小均方差误差滤波器 频率域中的求解方法 约束最小均方差误差滤波器 约束最小二乘方滤波的结果 约束最小均方差误差滤波器 可以仅仅用噪声均值和方差的知识执行最佳复原算法 约束最小均方差误差滤波器 a 用正确的噪声参数迭代地确定约束最小二乘方 b 用错误的噪声参数得到的结果 几何矫正 消除摄像机等导致的几何畸变 桶形失真使正方形膨胀 桶形失真实例 枕形失真使正方形收缩 枕形失真实例 梯形失真 图像几何变换 校正过程 实际空间畸变