第二章 数字图像处理中的常用数学变换2012

第二章第二章 图像处理中的常用数学变换图像处理中的常用数学变换 北京信息科技大学北京信息科技大学 光信系光信系 空域变换空域变换 域间变换域间变换 代数运算代数运算 几何运算几何运算 傅里叶变换傅里叶变换 Gabor变换变换 余弦变换余弦变换 2 1 引言引言 图像的数学变换的特点在于其有精确的数学背景 是许多图像处理技术图像的数学变换的特点在于其有精确的数学背景 是许多图像处理技术 的基础 的基础 一种是在一种是在空间域空间域上进行的 这些变换根据处理操作的特点 可以分为图上进行的 这些变换根据处理操作的特点 可以分为图 像的代数运算和集合运算 它们都是利用对输入图像进行加工而得到输像的代数运算和集合运算 它们都是利用对输入图像进行加工而得到输 出图像 出图像 另一种重要的数学变换则是将另一种重要的数学变换则是将原定义在图像空间的图像以某种形式转换原定义在图像空间的图像以某种形式转换 到另外一些空间 并利用输入图像在这些空间的特有性质有效而快速地到另外一些空间 并利用输入图像在这些空间的特有性质有效而快速地 对图像进行处理和分析对图像进行处理和分析 最典型的变换有离散傅里叶变换 它把空域中 最典型的变换有离散傅里叶变换 它把空域中 的图像信号看作二维时间序列 将其变换到频域来分析图像的频谱特性 的图像信号看作二维时间序列 将其变换到频域来分析图像的频谱特性 除了傅里叶变换外 常用的还有除了傅里叶变换外 常用的还有Gabor 变换 小波变换 离散余弦变变换 小波变换 离散余弦变 换 换 PCA 变换等 无论是在空域中的数学变换还是频域中的数学变换 变换等 无论是在空域中的数学变换还是频域中的数学变换 它们在图像分析 滤波 增强 压缩等处理中都有着非常典型而重要的它们在图像分析 滤波 增强 压缩等处理中都有着非常典型而重要的 应用 本章将对这些常用的数学变换做详细的介绍 应用 本章将对这些常用的数学变换做详细的介绍 2 2 空域变换空域变换 代数运算代数运算 几何运算几何运算 加法运算加法运算 减法运算减法运算 乘法运算乘法运算 平移平移 旋转旋转 缩放缩放 复杂变换复杂变换 2 2 1 代数运算代数运算 图像的代数运算是指对两幅图像进行点对点的四则运图像的代数运算是指对两幅图像进行点对点的四则运 算而得到一幅新的输出图像 算而得到一幅新的输出图像 B x y A x y C x y B x y A x y C x y B x y A x y C x y B x y A x y C x y 1 加法运算加法运算 若若A x y 和和B x y 为输入图像 为输入图像 C x y 为输出图像为输出图像 C x y A x y B x y 图像去噪图像去噪图像叠加图像叠加 作用 作用 图像去噪图像去噪 同一场景中 对多个受白噪声干扰的图像可以通过相加求同一场景中 对多个受白噪声干扰的图像可以通过相加求 平均的方式来抑制噪声 平均的方式来抑制噪声 对于白噪声 其出现的强度是随机的 在求平均值的过程中 对于白噪声 其出现的强度是随机的 在求平均值的过程中 图像的静止部分不会改变 而噪声的强度则会减弱 非消图像的静止部分不会改变 而噪声的强度则会减弱 非消 除 理论上讲 对除 理论上讲 对M 幅图像进行平均 可以使图像中每一幅图像进行平均 可以使图像中每一 点的功率信噪比提高点的功率信噪比提高M 倍 倍 注意 使用条件 注意 使用条件 相加去噪 M 1 M 2 M 16M 4 图像叠加图像叠加 减法运算减法运算 若若A x y 和和B x y 为输入图像 为输入图像 C x y 为输出图像为输出图像 C x y A x y B x y 图像减法也称为差分方法 常用于检测同一场景的运动图图像减法也称为差分方法 常用于检测同一场景的运动图 像序列中两两图像之间的变化 以检测物体的运动 在控像序列中两两图像之间的变化 以检测物体的运动 在控 制环境下 或者在很短的时间间隔内 可以认为背景是固制环境下 或者在很短的时间间隔内 可以认为背景是固 定不变的 可以直接使用差分方法检测变化或直接分割出定不变的 可以直接使用差分方法检测变化或直接分割出 作为前景的物体 作为前景的物体 减背景减背景 运动探测运动探测 边缘探测边缘探测 1 减背景减背景 g x y f x y b x y f x y 前景背景混合图象前景背景混合图象 b x y 背景图象背景图象 差影法在自动现场监测中的应用差影法在自动现场监测中的应用 在银行金库内 摄像头每隔一固定时间拍摄一幅 图像 并与上一幅图像做差影 如果图像差别超 过了预先设置的阈值 则表明可能有异常情况发 生 应自动或以某种方式报警 用于遥感图像的动态监测 差值图像可以发现森 林火灾 洪水泛滥 监测灾情变化等 也可用于监测河口 海岸的泥沙淤积及监视江河 湖泊 海岸等的污染 利用差值图像还能鉴别出耕地及不同的作物覆盖 情况 2 运动探测运动探测 检测同一场景两幅图象之检测同一场景两幅图象之 间的变化间的变化 g x y T2 x y T1 x y T1 x y 时间时间1的图象的图象 T2 x y 时间时间2的图象的图象 阈值阈值 处理处理 当前图像当前图像 前一时刻图像前一时刻图像 减法减法 图间差别图间差别 差值法的应用举例差值法的应用举例 a 差影法可以用于混合图像的分离 b 检测同一场景两幅图像之间的变化 设 时刻1的图像为T1 x y 时刻2的图像为T2 x y g x y T2 x y T1 x y T1 x y T2 x y g x y 3 求取边缘 求取边缘 edge 差分运算也可以用来计算物体边界位置的梯度 梯度定差分运算也可以用来计算物体边界位置的梯度 梯度定 义为 义为 y yxf j x yxf iyxf 梯度幅度 梯度幅度 2 2 y yxf x yxf yxf 因为平方根的计算比较费时 该式可近似为如下形式 因为平方根的计算比较费时 该式可近似为如下形式 1 1 max yxfyxfyxfyxfyxf f x y f x 1 y f x y 1 f x 1 y 1 f x 1 y f x 1 y 1 注意理解公式与实际图像的对应注意理解公式与实际图像的对应 1 1 max yxfyxfyxfyxfyxf 2550 肌肉纤维肌肉纤维 边缘检测例子边缘检测例子 3 乘法运算 乘法运算 Multiplication 乘法可以用来掩盖图像的某部分 乘法可以用来掩盖图像的某部分 灰度值 灰度值 1 的区域得以保留 灰度值为 的区域得以保留 灰度值为 0 或其它值的区或其它值的区 域被抑制 域被抑制 4 除法运算除法运算 C x y A x y B x y 主要应用举例主要应用举例 常用于遥感图像处理中常用于遥感图像处理中 2 2 2 几何运算几何运算 几何运算可以改变图像中物体之间的空间关系 这种运算几何运算可以改变图像中物体之间的空间关系 这种运算 可以看成是图像内的各物体在图像内移动的过程 可以看成是图像内的各物体在图像内移动的过程 几何 几何 变换不改变像素值 而可能改变像素所在的位置 变换不改变像素值 而可能改变像素所在的位置 图像的平移图像的平移 translation 图像的镜像变换图像的镜像变换 reflection 图像的缩放图像的缩放 scaling 图像的旋转图像的旋转 rotation 扭曲扭曲 distortion 几何运算步骤几何运算步骤 为了不至于使图像经过几何运算之后发生断裂或肢解等情况 在大多为了不至于使图像经过几何运算之后发生断裂或肢解等情况 在大多 数应用中 要求保持图像中物体轮廓线的连续性和各物体表面的连通数应用中 要求保持图像中物体轮廓线的连续性和各物体表面的连通 性 为此 一个几何运算需要两个独立的算法 性 为此 一个几何运算需要两个独立的算法 首先 需要一个算法来定义空间变换本身 用它描述每个像素如何从首先 需要一个算法来定义空间变换本身 用它描述每个像素如何从 其初始位置 移动 到终止位置 即每个像素的 运动 其初始位置 移动 到终止位置 即每个像素的 运动 空间变 空间变 换 换 同时 还需要一个用于灰度级插值的算法 因为 在一般情况下 输同时 还需要一个用于灰度级插值的算法 因为 在一般情况下 输 入图像的位置坐标 入图像的位置坐标 x y 为整数 而输出图像的位置坐标为非整数 为整数 而输出图像的位置坐标为非整数 反过来也是如此 反过来也是如此 灰度插值 灰度插值 1 空间变换空间变换 yxbyxafyxfyxg 几何运算的定义 几何运算的定义 g x y 输出图像 输出图像 f x y 输入图像 输入图像 a x y b x y 变换函数 变换函数 1 平移 平移 0 xxxyxa 0 yyyyxb 设 x0 0 y0 0 0 xxx 0 yyy x y x0 y0 x y x y 上图平移运算 其中 点 上图平移运算 其中 点 Xo Yo 被平移到原点 而 被平移到原点 而 图像中的各特征点则移动了图像中的各特征点则移动了 2 0 2 0 yx 采用齐次坐标的表达方式 可以认为 采用齐次坐标的表达方式 可以认为 x y 平面是 平面是xyz 三维空间中三维空间中z 0 的平面 可将上式写成简洁的矩阵形式 的平面 可将上式写成简洁的矩阵形式 齐次坐标齐次坐标 几何变换一般形式几何变换一般形式 0 0 0 0 1 1 x x dc ba x x T y x 根据几何学知识 上述变换可以实现图像各 像素点以坐标原点的比例缩放 反射 错切和旋 转等各种变换 但是上述2 2 2 2变换矩阵变换矩阵T T不能实现 图像的平移以及绕任意点的比例缩放 反射 错 切和旋转等变换 为了能够用统一的矩阵线性变换形式 表示和实 现这些常见的图像几何变换 就需要引入一种新的坐 标 即齐次坐标 采用齐次坐标可以实现上述各种几 何变换的统一表示 如图所示 则新位置A1 x1 y1 的坐标为 yyy xxx 01 01 注意 平移后的景物与原图像相同 但 画布 一 定是扩大了 否则就会丢失信息 表示为如下形式 即不能表示为如下形式 y x y x y x 0 0 1 1 10 01 0 0 1 1 y x dc ba y x 由于矩阵T中没有引入平移常量 无论a b c d 取什么值 都不能实现式平移功能 不能实现平移变换功能 怎么办不能实现平移变换功能 怎么办 需要进行改进 需要进行改进 将T矩阵扩展为如下2 3变换矩阵 其形式为 根据矩阵相乘的规律 在坐标列矩阵 x y T中引入第三个元素 扩展为3 1的 列矩阵 x y 1 T 就可以实现点的平移变 换 变换形式如下 y x T 10 01 1 10 01 0 0 1 1 y x y x y x 上述变换虽然可以实现图像各像素点的平移变换 但为变换运算时更方便 一般将2 3阶变换矩阵T进 一步扩充为3 3方阵 即采用如下变换矩阵 这样一来 平移变换可以用如下形式表示 100 10 01 y x T 1100 10 01 1 0 0 1 1 y x y x y x 这种以n 1维向量表示n维向量的方法 称为齐次坐标表示法 齐次坐标的几何意 义相当于点 x y 投影在xyz三维立体空间 的z 1的平面上 2 缩放 缩放 zoom 设 cxyxa dyyxb If c 1 image shrinking 缩小 c newimage i y j y newimage i j image i y j y 齐次坐标系 齐次坐标系 3 旋转旋转 rotation 如果图像顺时针转如果图像顺时针转 角角 sin cos yxyxa cos sin yxyxb 选好旋转中心选好旋转中心 旋转旋转 齐次坐标系表示齐次坐标系表示 0 0 x y 图图旋转前的图像旋转前的图像 图图旋转旋转15 并进行插值处理的图像并进行插值处理的图像 4 图像的镜像 垂直镜像 yy xx 水平镜像 yy xx 水平镜像 垂直镜像 0 0 x y 0 0 x y 水平镜像的变换结果水平镜像的变换结果 图像的垂直镜像 图像的畸变图像的畸变 由于成像传感器自身的失真 光学镜头的畸变或图像传感由于成像传感器自身的失真 光学镜头的畸变或图像传感 器姿态的偏差引起的图像几何形状的失真问题 器姿态的偏差引起的图像几何形状的失真问题 主要有透视失真 枕形失真 桶形失真 或其他扭曲失真主要有透视失真 枕形失真 桶形失真 或其他扭曲失真 的图像 的图像 a 理想图像理想图像 b 透视畸变透视畸变 c 枕形畸变枕形畸变 d 桶形畸变桶形畸变 5 复杂变换 复杂变换 在实际中 有时公式化一个解析函数在实际中 有时公式化一个解析函数a x y 和和b x y 的集合的集合 是不可能的 这些解析函数表达了整个图像平面上的几何是不可能的 这些解析函数表达了整个图像平面上的几何 失真过程 最常用的克服这一困难的方法是用 控制点 失真过程 最常用的克服这一困难的方法是用 控制点 表达像素的空间重定位 这些点是像素的子集 它们在输表达像素的空间重定位 这些点是像素的子集 它们在输 入 失真的 和输出 校正的 图像中的位置是精确已知入 失真的 和输出 校正的 图像中的位置是精确已知 的 的 常用于几何失真修正 如计算机几何畸变 卫星遥感图像常用于几何失真修正 如计算机几何畸变 卫星遥感图像 形变等 形变等 解决方案 通过选择的一系列已知位移的控制点 求取数学解决方案 通过选择的一系列已知位移的控制点 求取数学 表达式的系数 如表达式的系数 如 表达式 4321 cxycycxcyxa 8765 cxycycxcyxb x1 y1 x 1 y 1 x2 y2 x 2 y 2 x3 y3 x 3 y 3 x3 y3 x 4 y 4 822726252 cyxcycxcy 833736353 cyxcycxcy 411312111 cyxcycxcx 811716151 cyxcycxcy 422322212 cyxcycxcx 433333313 cyxcycxcx 444342414 cyxcycxcx 844746454 cyxcycxcy 精密靶标的设计 用于摄像机参数标定的靶标 必须具有以下两个基本条件 用于摄像机参数标定的靶标 必须具有以下两个基本条件 靶标特征点的相对位置关系已知 一般用光刻的电子掩膜靶标特征点的相对位置关系已知 一般用光刻的电子掩膜 版 图像特征点的坐标容易求取 在实际标定过程中 版 图像特征点的坐标容易求取 在实际标定过程中 常将标定靶标的特征点设计成圆孔中心 直线交点 方块常将标定靶标的特征点设计成圆孔中心 直线交点 方块 顶点等易于加工和识别的对象 顶点等易于加工和识别的对象 使用75mm镜头 使用25mm镜头 光学系统畸变光学系统畸变 图像的比例缩放图像的比例缩放 旋转变换时等旋转变换时等 变换过程需要变换过程需要 两个独立的算法两个独立的算法 一个算法完成几何变换 一个算法完成几何变换 一个算法用于一个算法用于灰度级插值灰度级插值 2 插值算法 插值算法 interpolation 向前映射计算法向前映射计算法 输入输入 输出输出 从原图象坐标计算出目标图象坐标 从原图象坐标计算出目标图象坐标 镜像 平移变换使用这种计算方法镜像 平移变换使用这种计算方法 向后映射计算法向后映射计算法 输出输出 输入输入 从结果图象的坐标计算原图象的坐标从结果图象的坐标计算原图象的坐标 旋转 拉伸 放缩可以使用旋转 拉伸 放缩可以使用 解决了漏点的问题 出现了马赛克解决了漏点的问题 出现了马赛克 由输出像素映射到输入图像的位置 他们一般处于四个输由输出像素映射到输入图像的位置 他们一般处于四个输 入像素之间的某个位置 入像素之间的某个位置 插值就是为了决定与该位置相对应的点的灰度值 插值就是为了决定与该位置相对应的点的灰度值 g 1 2 f 2 2 f 2 3 f 3 2 f 3 3 output imageintput image 2 灰度插值算法灰度插值算法 最邻近插值法 双线性插值 一阶插值 高阶插值 数字图像处理只能对坐标网格点 离散点 的值进行变换 而坐标变换后产生的新坐标 值同网格点值往往不重合 因此需要通过内 插的方法将非网格点的灰度值变换成网格点 的灰度值 这种算法称为灰度内插 最邻近插值法最邻近插值法 计算