第三章 图像空间域增强.ppt

第三章空间域图像增强 张萍 电子科技大学光电信息学院E mail pingzh 图像增强概述基本灰度变换直方图处理用算术 逻辑操作增强空间滤波与空间滤波器 主要内容 参考资料 教材 RafaelC Gonzalez etc DigitalImageProcessing ThirdEdition 电子工业出版社 2010参考书籍 冈萨雷斯等著 阮秋琦等译 数字图像处理 MATLAB版 电子工业出版社 2005章毓晋编著 图像工程 第3版 清华大学出版社 2013吴炜主编 基于学习的图像增强技术 西安电子科技大学出版社 2013 图像增强概述基本灰度变换直方图处理用算术 逻辑操作增强空间滤波与空间滤波器 主要内容 一 图像增强概述 图像对比度增强 微光图像的去噪声 一 图像增强概述 红外图像的伪彩色处理 一 图像增强概述 红外图像的锐化处理 一 图像增强概述 红外图像的边缘检测 便于机器识别 一 图像增强概述 图像在生成 获取 传输等过程中 受照明光源性能 成像系统性能 通道带宽和噪声等诸多因素的影响 往往造成对比度偏低 清晰度下降 并引入干扰噪声 因此 图像增强的目的 就是改善图像质量 获得更适合于人眼观察 或者对后续计算机处理 分析过程更有利的图像 一 图像增强概述 图像增强并不以图像保真为准则 而是有选择地突出某些对人或计算机分析有意义的信息 抑制无用信息 提高图像的使用价值 图像增强是为了使原始图像更适合应用于特定的场合 而对图像进行的改善处理 图像增强是一个主观的过程 一 图像增强概述 背景知识 空域增强实际上就是增强构成图像的像素 用数学表达式可以定义如下 g x y T f x y 其中 f x y 代表输入图像 g x y 代表处理后的图像 T代表对输入图像f的一种图像增强的操作 其定义在 x y 的邻域 像素点 x y 邻域的定义 x y x y 点 x y 的邻域主要是指以 x y 为中心的正方形和矩形的子图像 一般情况下采用正方形表示 原点 单个像素的T操作 输入图像 输出图像 S T r 当灰度变化的T操作针对单个像素时 输出图像的g仅仅依赖于输入图像f在点 x y 的值 T操作变成了灰度级变换函数 强度映射 邻域尺度为N N卷积模板 输入图像 输出图像 卷积模板 g x y w1p1 w2p2 w3p3 w4p4 w5p5 w6p6 w7p7 w8p8 w9p9 模板系数 以邻域尺度3 3为例 图像增强概述基本灰度变换直方图处理用算术 逻辑操作增强空间滤波与空间滤波器 主要内容 一 线性灰度变换当图象成象时曝光不足或过度 或由于成象设备的非线性和图象记录设备动态范围太窄等因素 都会产生对比度不足的弊病 使图象中的细节分辨不清 这时可将灰度范围线性扩展 二 基本灰度变换 设f x y 灰度范围为 a b g x y 灰度范围为 c d 则有 一 线性灰度变换 二 分段线性灰度变换将感兴趣的灰度范围线性扩展 相对抑制不感兴趣的灰度区域 设f x y 灰度范围为 0 Mf g x y 灰度范围为 0 Mg 二 基本灰度变换 二 分段线性灰度变换 0 f x y g x y a b c d Mf Mg 二 分段线性灰度变换 拐点位置决定了变换函数的形状 如果拐点重合 灰度级不变 分段线性灰度变换 对比度拉伸 a 变换函数形状b 低对比度图像c 对比度拉伸结果d 门限化结果 a b c d 分段函数线性变换 灰度切割 a A B 区间灰度加强 其余部分变为恒定 b A B 区间灰度加强 其余部分不变 c 原图d a变换后结果 a b c d 分段函数线性变换 位图切割 假设图像中每个像素的灰度级是256 这可以用8位来表示 假设图像是由8个1位平面组成 范围从位平面0到位平面7 其中 位平面0包含图像中像素的最低位 位平面7包含像素的最高位 8比特图像的位平面表示 一幅8比特分形图像 作用 通过对特定位提高亮度 改善图像质量 较高位 如前4位 包含大多数视觉重要数据 较低位 如后4位 对图像中的微小细节有作用 分解为位平面 可以分析每一位在图像中的相对重要性 分段函数线性变换 位图切割 一幅8比特分形图像的8个位平面 可以只针对某些bit进行增强 此方法可运用在别的领域 例如图像压缩 用于图像增强的一些基本的灰度变换函数 三 非线性灰度变换 1 反转增强嵌入于图像暗色区域的白色或灰色细节 2 对数变换低灰度区扩展 高灰度区压缩 3 指数变换高灰度区扩展 低灰度区压缩 三 非线性灰度变换 1 非线性变换 反转 s T r L 1 r Inputimage Outputimage 灰度级范围为 0 L 1 的图像反转可由反比变换获得 s L 1 r s r 0 Inputimage Outputimage s T r 255 r 1 非线性变换 反转 对数变换的一般表达式为 2 非线性变换 对数变换 c是一个常数 并假设r 0 一般对数函数的所有曲线都能完成图像灰度的扩散 压缩 有时原图的动态范围太大 超出某些显示设备的允许动态范围 如直接使用原图 则一部分细节可能丢失解决办法是对原图进行灰度压缩 如对数变换 2 非线性变换 对数变换 a b 1 降低灰度级 在正比函数下方 使图像变暗 幂次变换的基本形式为 s cr c和 为正常数 3 非线性变换 幂次变换 幂次变换与对数变换不同的地方就是随着 的变换可以得到不同效果变换 例 人体胸上部脊椎骨折的核磁共振图像 3 非线性变换 幂次变换 a 原图b 0 6c 0 4d 0 3 c d a b 1提高灰度级 使图像变亮 c 1 0 6 0 4 0 3 例 航空地面图像 3 非线性变换 幂次变换 a 原图b 3 0c 4 0d 5 0 c d a b 1降低灰度级 使图像变暗 c 1 3 4 5 灰度变换实例 二 基本灰度变换 原始图象 灰度倒置底片效果 原始图象 非线性灰度变换对数效应 原始图象 非线性灰度变换指数效应 原始图象 分段线性化出现假轮廓 招贴画化4级灰度 招贴画化3级灰度 招贴画化2级灰度即二值化 原始图象 亮度倒置底片效果 红色分量置零 红色 绿色分量均置零 原始图象 非线性亮度变换对数效应 非线性亮度变换指数效应 原始图象 分段线性化出现假轮廓 图像增强概述基本灰度变换直方图处理用算术 逻辑操作增强空间滤波与空间滤波器 主要内容 直方图的定义 1 一个灰度级为 0 L 1 的数字图像的直方图是一个离散函数h rk nknk是图像中灰度级为rk的像素个数 rk是第k个灰度级 k 0 1 2 L 1由于rk的增量是1 直方图可表示为 p k nk即 图像中不同灰度级像素出现的次数 三 直方图处理 一个灰度级为 0 L 1 的数字图像的直方图是一个离散函数p rk nk nn是图像的像素总数 nk是图像中灰度级为rk的像素个数 rk是第k个灰度级 k 0 1 2 L 1通常情况下灰度直方图都要采用像素总数n对其进行归一化 P rk 可表示灰度级为rk发生的概率密度函数的估计值 注意 一个归一化的直方图其所有部分之和应等于1 直方图的定义 2 两种图像直方图定义的比较 h rk nk 定义 1 p rk nk n 定义 2 其中 定义 2 使函数值正则化到 0 1 区间 成为实数函数 函数值的范围与象素的总数无关 给出灰度级rk在图像中出现的概率密度统计 直方图的定义 像素出现次数 像素灰度级别 直方图的定义 像素出现概率 像素灰度级别 直方图的定义 直方图描述了一幅图像的灰度 颜色 分布 直方图举例 暗图像 亮图像 低对比度图像 高对比度图像 直方图反映的总体性质 明暗程度 细节是否清晰 动态范围大小等 直方图举例 直方图均衡化是将原图像的直方图通过变换函数修正为均匀的直方图 然后按均衡直方图修正原图像 图像均衡化处理后 图像的直方图是平直的 即各灰度级具有近似相同的出现频数 那么由于灰度级具有均匀的概率分布 图像看起来就更清晰了 1 直方图均衡化 首先 假定连续灰度级的情况 推导直方图均衡化变换公式 令r代表灰度级 P r 为概率密度函数 r值已归一化 最大灰度值为1 1 直方图均衡化 要找到一种变换S T r 使直方图变平直 为使变换后的灰度仍保持从黑到白的单一变化顺序 且变换范围与原先一致 以避免整体变亮或变暗 必须规定 1 在0 r 1中 T r 是单调递增函数 且0 T r 1 2 反变换r T 1 s T 1 s 也为单调递增函数 0 s 1 1 直方图均衡化 直方图均衡化 变换公式推导图示 考虑到灰度变换不影响像素的位置分布 也不会增减像素数目 所以有 1 直方图均衡化 应用到离散灰度级 设一幅图像的像素总数为n 分L个灰度级 nk 第k个灰度级出现的频数 第k个灰度级出现的概率p rk nk n其中 0 rk 1 k 0 1 2 L 1形式为 1 直方图均衡化 Sk称作直方图均衡化 rkr0 0r1 1 7r2 2 7r3 3 7r4 4 7r5 5 7r6 6 7r7 1 nk790102385065632924512281 p rk 0 190 250 210 160 080 060 030 02 例 设图象有64 64 4096个象素 有8个灰度级 灰度分布如表所示 进行直方图均衡化 rkr0 0r1 1 7r2 2 7r3 3 7r4 4 7r5 5 7r6 6 7r7 1 nk790102385065632924512281 p rk 0 190 250 210 160 080 060 030 02 计算步骤 1 由 2 式计算sk rkr0 0r1 1 7r2 2 7r3 3 7r4 4 7r5 5 7r6 6 7r7 1 nk790102385065632924512281 p rk 0 190 250 210 160 080 060 030 02 sk计算0 190 440 650 810 890 950 981 00 sk舍入1 73 75 76 76 7111 2 把计算的sk就近安排到8个灰度级中 rkr0 0r1 1 7r2 2 7r3 3 7r4 4 7r5 5 7r6 6 7r7 1 nk790102385065632924512281 p rk 0 190 250 210 160 080 060 030 02 sk计算0 190 440 650 810 890 950 981 00 rkr0 0r1 1 7r2 2 7r3 3 7r4 4 7r5 5 7r6 6 7r7 1 nk790102385065632924512281 p rk 0 190 250 210 160 080 060 030 02 sk计算0 190 440 650 810 890 950 981 00 sk舍入1 73 75 76 76 7111 sks0s1s2s3s4 nsk7901023850985448 p sk 0 190 250 210 240 11 3 重新命名sk 归并相同灰度级的象素数 直方图均衡化 均衡化前后直方图比较 直方图均衡化实质上是减少图像的灰度级以换取对比度的加大 在均衡过程中 原来的直方图上频数较小的灰度级被归入很少几个或一个灰度级内 故得不到增强 若这些灰度级所构成的图像细节比较重要 则需采用局部区域直方图均衡 1 直方图均衡化 a 原图b 直方图均衡化结果c 相应的直方图 a b c 修改一幅图像的直方图 使得它与另一幅图像的直方图匹配或具有一种预先规定的函数形状 目标 突出我们感兴趣的灰度范围 使图像质量改善 2 直方图匹配 连续灰度的直方图 原图 2 直方图匹配 规定 令P r 为原始图象的灰度密度函数 P z 是期望通过匹配的图象灰度密度函数 对P r 及P z 作直方图均衡变换 通过直方图均衡为桥梁 实现P r 与P z 变换 2 直方图匹配 基本方法 连续函数的情况 1 对原始图像的直方图进行均衡化 2 对指定的图像直方图进行均衡化 3 求得反变换函数 4 利用反变换函数得到输出图像 2 直方图匹配 2 直方图匹配 基本方法 离散情况 1 对原始图像的直方图进行均衡化 2 对指定的图像直方图进行均衡化 3 求反变换函数 4 利用反变换函数得到输出图像 2 直方图匹配 2 直方图匹配 值得注意的地方 直方图均衡化并非适合所有图像的增强 有时候还会适得其反 输入图像与直方图 输出图像与直方图 直方图均衡化和直方图匹配比较 直方图匹配 直方图均衡化和直方图匹配比较 a b c d 定义一个方形或者矩形的邻域并把该区域的中心从一个像素移至另一个像素 在每一个位置的邻域中该点的直方图都被计算 得到的是直方图均衡化或者规定化函数 该函数最终被用来映射邻域中心像素灰度值 相邻区域的中心然后被移至相邻像素位置并重复这个处理过程 3 局部增强 3 局部增强 原图 全局均衡化结果 对每一个像素使用7x7邻域局部均衡化结果 4 在图像增强中使用直方图统计法 直方图统计法主要应用在局部增强 使用直方图计算全局与局部区域的统计量 并采用一定的条件决定待增强的局部区域 步骤如下 1 计算图像的灰度平均值与方差 2 计算局部区域的均值和方差 3 进行图像增强 4 在图像增强中使用直方图统计法 4 在图像增强中使用直方图统计法 原图 增强后的图像 图像增强概述基本灰度变换直方图处理用算术 逻辑操作增强空间滤波与空间滤波器 主要内容 算术操作 加 减 乘 除逻辑操作 与 或 非 异或 四 用算术 逻辑操作增强 1 算术操作 加法 加法运算的定义C x y A x y B x y 主要应用举例 去除叠加性噪声 生成图像叠加效果 1 算术操作 加法 去除叠加性噪声对于原图像f x y 有一个噪声图像集 gi x y i 1 2 N其中 gi x y f x y h x y i假设噪声h x y 均值为0 且互不相关 N个图像的均值定义为 g x y 1 N g0 x y g1 x y gN x y 期望值E g x y f x y 上述图像均值将降低噪声的影响 1 算术操作 加法 去除叠加性噪声 星系图举例 原图N 8N 64 噪声图像N 16N 128 去除叠加性噪声 星系图举例 原图与均值图像的差值图像和直方图 N 8N 16N 64N 128 灰度级 差别越小 图像越暗 均值减小 标准差减小 像素个数 1 算术操作 加法 生成图像叠加效果对于两个图像f x y 和h x y 的均值有 g x y 1 2f x y 1 2h x y 推广这个公式为 g x y f x y h x y 其中 1可以得到各种图像合成的效果 也可以用于两张图片的衔接 加运算生成图像叠加效果 举例 1 算术操作 减法 减法运算的定义C x y A x y B x y 主要应用举例 显示两幅图像的差异 检测同一场景两幅图像之间的变化 如 视频中镜头边界的检测 去除不需要的叠加性图案 图像分割 如分割运动的车辆 减法去掉静止部分 剩余的是运动元素和噪声加效果 图像相减 检测同一场景两幅图像之间的变化 设 时间1的图像为f1 x y 时间2的图像为f2 x y g x y f2 x y f1 x y 图像相减 去除不需要的叠加性图案 f x y g x y 减去背景 叠加蓝色背景 例 电视制作的蓝屏技术 左上 某序列图像的第100帧 下 某序列图像的第300帧 右上 两幅图像相减并取绝对值显示的结果 图像相减 运动检测 1 算术操作 乘法 乘法的定义C x y A x y B x y 主要应用举例 图像的局部显示用二值模板图像与原图像做乘法 图像相乘 局部显示 1 算术操作 除法 除法的定义C x y A x y B x y 主要应用举例 可产生对颜色和多光谱图像分析十分重要的比率图像 遥感图像f1 x y 图像相除 比率图像 遥感图像f2 x y f1与f2之比 2 逻辑操作 非 非的定义g x y 255 f x y 主要应用举例 获得一个阴图像 获得一个子图像的补图像 非运算 获得阴图像 255 非运算 求子图像的补图像 2 逻辑操作 与 与运算的定义g x y f x y h x y 主要应用举例 求两个子图像的相交子图像 模板运算 提取感兴趣的子图像 与运算 求两个子图像的相交子图像 与运算 提取感兴趣的子图像 2 逻辑操作 或 或运算的定义g x y f x y vh x y 主要应用举例 合并子图像 模板运算 提取感兴趣的子图像 或运算 合并子图像 或运算 提取感兴趣的子图像 2 逻辑操作 异或 异或运算的定义g x y f x y h x y 主要应用举例 获得相交子图像 图像增强概述基本灰度变换直方图处理用算术 逻辑操作增强空间滤波与空间滤波器 主要内容 滤波的概念来源于在频域对信号进行处理的傅立叶变换 在某些邻域处理中的子图像就称为滤波器 也称为掩模 核 模板或者窗口 使用空间模板进行的图像处理 被称为空间滤波 模板本身被称为空间滤波器 五 空间滤波与空间滤波器 平滑空间滤波器 锐化空间滤波器 空间滤波和空间滤波器的定义 在M N的图像f上 使用m n的滤波器 其中 m 2a 1 n 2b 1 w s t 是滤波器系数 f x y 是图像值空间滤波的简化形式 其中 w是滤波器系数 z是与该系数对应的图像灰度值 mn为滤波器中包含的像素点总数 空间滤波和空间滤波器的定义 平滑空间滤波器的作用模糊处理 去除图像中一些不重要的细节减小噪声平滑空间滤波器的分类线性滤波器 均值滤波器非线性滤波器最大值滤波器中值滤波器最小值滤波器 平滑线性滤波器 平滑线性滤波器的输出是包含在滤波器邻域内像素的平均值 也称为均值滤波器作用减小图像灰度的 尖锐 变化 减小噪声由于图像边缘是由图像灰度尖锐变化引起的 所以也存在边缘模糊的问题 平滑线性滤波器 a b 图a是标准的像素平均值图b是像素的加权平均 表明一些像素更为重要 平滑线性滤波器 举例 原图5x515x15 3x39x935x35 随着掩模尺寸的增加 图像的模糊程度逐渐加大 通过选取恰当的掩模尺寸 提取感兴趣的目标 平滑线性滤波器 举例 原图 15x15 阈值 25 统计排序滤波器 什么是统计排序滤波器 是一种非线性滤波器基于滤波器所在图像区域中像素的排序 由排序结果决定的值代替中心像素的值分类中值滤波器 用像素邻域内的中间值代替该像素最大值滤波器 用像素邻域内的最大值代替该像素最小值滤波器 用像素邻域内的最小值代替该像素 统计排序滤波器 中值滤波器主要用途 去除噪声计算公式 R mid zk k 1 2 n 最大值滤波器主要用途 寻找最亮点计算公式 R max zk k 1 2 n 最小值滤波器主要用途 寻找最暗点计算公式 R min zk k 1 2 n 中值滤波器 中值滤波的原理用模板区域内像素的中间值 作为结果值R mid zk k 1 2 n 强迫突出的亮点 暗点 更象它周围的值 以消除孤立的亮点 暗点 中值滤波器 中值滤波算法的实现将模板区域内的像素排序 求出中间值例如 3x3的模板 第5大的是中值 5x5的模板 第13大的是中值 7x7的模板 第25大的是中值 9x9的模板 第41大的是中值 对于同值像素 连续排列 如 10 15 20 20 20 20 20 25 100 中值滤波器 中值滤波算法的特点在去除噪音的同时 可以比较好地保留边的锐度和图像的细节 优于均值滤波器 能够有效去除脉冲噪声 以黑白点叠加在图像上 中值滤波器 原图 3x3均值滤波 3x3中值滤波 最大值滤波器 最小值滤波器 锐化滤波器的主要用途 突出图像中的细节 增强被模糊了的细节印刷中的细微层次强调 弥补扫描对图像的钝化超声探测成像 分辨率低 边缘模糊 通过锐化来改善图像识别中 分割前的边缘提取锐化处理恢复过度钝化 暴光不足的图像尖端武器的目标识别 定位 锐化空间滤波器 均值产生钝化的效果 而均值与积分相似 由此而联想到 微分能不能产生相反的效果 即锐化的效果 结论是肯定的 锐化处理主要是通过空间微分来完成 锐化空间滤波器 一元函数f x 表达一阶微分的定义是一个差值 同理 对一元函数f x 的二阶微分 则定义为 锐化空间滤波器 一阶微分产生较 宽 的边界 二阶微分产生较 细 的边界 二阶微分处理对细节有较强的响应 如细线和孤立点 一阶微分对阶梯状的灰度变化有较强的响应 二阶微分在处理阶梯状灰度变化时产生双响应如果灰度的变化相似 二阶微分对线的反应比对阶梯强 对点的反应比对线强 一阶微分处理和二阶微分处理响应的特点 锐化滤波器的分类二阶微分滤波器 拉普拉斯算子一阶微分滤波器 梯度算子 锐化空间滤波器 基于二阶微分的图象增强 拉普拉斯算子 一个二元函数f x y 拉普拉斯变换定义为 在离散情况下二阶偏微分定义如下 f x y 1 f x y 1 f x 1 y f x y f x 1 y f x 1 y 1 f x 1 y 1 f x 1 y 1 拉普拉斯算子掩模表示 f x 1 y 1 a 拉普拉斯变换所用的滤波器掩模b 扩展掩模 包括对角线邻域c d 其他两种拉普拉斯的实现 a b c d 1 用于拉普拉斯模板中心系数为负 2 用于拉普拉斯模板中心系数为正 拉普拉斯变换对图像增强的基本方法 基于二阶微分的图象增强 拉普拉斯算子 拉普拉斯算子 例 a 原图 月球北极b 拉普拉斯滤波后的图像c 为显示目的标定后的拉普拉斯图像d 原始图像加拉普拉斯的增强结果 a b c d 拉普拉斯算子 例 a 和 b 合成拉普拉斯掩模 c 原图 扫描电子显微镜图像 d 和 e 分别用 a 和 b 掩模滤波结果 a b c d e 反锐化掩模与高提升滤波处理 反锐化掩模 公式物理意义是把原图的一个模糊图像从原图中减去 从而得到一个相对清晰的图像 反锐化掩模的更进一步的普遍形式就是高提升滤波 拉氏掩模中心系数为负拉氏掩模中心系数为正 反锐化掩模与高提升滤波处理 a 原图b 拉普拉斯掩模增强的图像A 0c 拉普拉斯掩模增强的图像A 1d 拉普拉斯掩模增强的图像A 1 7 a b c d 基于一阶微分的图像增强 梯度法 函数f x y 在其坐标 x y 上的梯度定义如下 向量的模值由下式给出