第十二讲模式识别中的特征提取..ppt

纹理特征分析和描述及基于GABOR小波的纹理特征提取 许廷发导师 宋建中研究员 范畴属于数字图象分析与理解中的内容 图象分析方法包括 1 图象边缘提取 2 图象分割 3 图象形状描述 4 图象纹理分析 5 3维图象处理 6 图象识别 一个完整的图象分析过程 模板匹配阈值边界检测聚类四叉树纹理匹配 景物内一般由多目标组成 反映在图象中是众多的区域 每个目标或区域可以进一步分解成一些具有某种特征的最小成分 基元 边缘 纹理 形状 颜色都是重要的特征 特征的判决也可以认为是一个识别的过程 特征提取 分割 分类 图象分析技术 空域特征变换域特征边缘和边界特征形状特征矩特征纹理特征 统计结构匹配 分析 理解的任务是找到输入图象中感兴趣的内容 并进行相应的测量 或者对图象进行合理的解释 应用领域 图象检索 计算机视觉 遥感图象处理 用于地质资源探测 农作物估产 水文气象监测等 生物医学图象处理 除断层图象重构CT ComputerTomograph 外 还有X光透视 B超体内病变检测 各种细胞自动计数 自动检测和识别 生物图片分析等 军事图象处理 军事目标检测 地形配准 目标制导 红外制导 无人驾驶飞机等 一 纹理特征提取与分析 二 如何用GABOR小波来提取图象目标的纹理特征 工业图象处理 无损探伤 无接触式检测 温度 形状 应力等 地质矿藏分析 文本图象分析处理和识别 文字识别 版面分析和理解 指纹识别等 图象通讯和传输 数字电视 高清析度电视 HDTV 多媒体信息处理 可视电话 会议电视等 机器人视觉 水下机器人 自动化生产线 无人驾驶汽车 讲解的内容 一 特征提取与分析 1 纹理的定义纹理 纹理是图象中灰度和颜色的变化 反复出现的纹理基元和它的排列规则 纹理基元 由图象中的象素组成的具有一定形状和大小的集合 如 条状 丝状 块状等 纹理分为 确定性纹理 随机性纹理 纹理既有局部又有全局内涵 它既可以是图像局部测量的区域特性 也可以是一幅图像的全局特性 纹理的主要特性有 粗糙度 方向性 对比度和规律性 自然纹理图象 分析方法 分析方法 分析方法 分析方法 人工纹理图象 澳大利亚悉尼IKONOS1米分辨率 非洲开普敦港湾IKONOS4米分辨率 2纹理的描述和分析方法 描述纹理图象的简单数学模型是 其中是位移 或关系 规则 是象素的小区域 它构成了纹理基元 元素 本身又是输入图象I i j 的函数 纹理分析方法主要有两类 一类是统计的方法 另一类是结构分析的方法 统计的方法对纹理进行分析 并描述图案的特征 结构分析的方法则试图通过研究公式中的和的特性来揭示纹理的细节 可以从两个方面描述纹理 第一个方面用于描述组成纹理的基元 第二个方面用于描述纹理基元之间的空间联系或相互影响 第一个方面与纹理区域中的影调基本分布情况 称为影调基元 或局部特性有关 第二个方面与影调基元的空间组织有关 影调基元是具有确定影调特性的区域 可以用诸如平均灰度 或区域中的最大和最小灰度这样的特性来描述 把具有给定影调特性的象素最大程度地连接起来就组成了影调基元 可以按它的面积和形状来评价影调基元 影调基元不但包括它的灰度而且包括它的影调的区域特性 纹理可用纹理基元的数量和类型以及这些基元的空间组织或排列来描述 纹理的空间组织可能是随机的 也可能一个基元对相邻基元有成对的依赖关系 或者几个基元同时相互关联 这样的关联可能是结构的 概率的或是函数的 纹理分析的方法可用示意图表示 3纹理基元与影调 一个纹理基元 不严格地说 是一个具有一定的不变特性的视觉基元 纹理基元最基本的不变特性之一是区域内象素的灰度分布 在更为复杂的情况下可能还有与形状有关的特性 而影调也是表示灰度的明暗分布 影调和纹理不是独立的概念 它们之间的关系很象光波中的粒子性与波动性之间的关系 光在任何时候都有粒子性和波动性 但是根据具体情况粒子性或是波动性可能占主导地位 相似地 在图象中总存在影调和纹理 只是有时一种特性相对于另一种特性占优势 在实际问题的处理中 为了简便 我们经常倾向于认为只有影调或只有纹理 影调 纹理概念内部的基本关系如下所述 当在图象的一定面积区域中影调基元的变化很小时 这个区域的主导特性是影调 当在小面积区域中含大量不同的影调 这个区域占主导的特性是纹理 按这种区分方法 关键点是小面积区域的大小 影调基元的相对大小和类型以及可区分的影调数量的多少 事实上 当小面积区域小到只有一个分辨率单元大小 以至只有一种独立的特性时 表现出来的唯一特性就是简单的灰度影调 当小面积区域中可区分的影调基元数量增加时 纹理特性将占主导 当影调基元中的空间图案是随机的 以及基元之间的灰度影调的变化范围很广时 这就得到精细的纹理 当空间图案变得较为确定以及影调区域涉及较多的象素时 就得到粗糙的纹理 4纹理研究的领域 纹理研究的领域大致可分成三种类型 第一类是纹理的描述和分类 这类问题在图象识别中有重要应用 因此已经引起了广泛的重视 例如 在医学图象处理中利用纹理特性来区别正常细胞和癌细胞 这时 就要先抽取这两种细胞图象的纹理特性 然后进行分类识别 第二类是以纹理为特征的图象分割 第三类是利用纹理信息推断物体的深度信息或表面方向 5人类视觉系统的纹理分割模型 根据已有的证据 人类视觉系统是以图中所示的方式进行纹理分割的 人们可用来描述纹理的性质有 均匀性 Uniformity 密度 density 粗细度 Coarseness 粗糙度 roughness 规律性 regularity 线性度 linearity 定向性 directionality 方向性 direction 频率 frequency 和相位 phase 这些性质的理想化如图所示 显然 这些性质是相互联系的 人们用来描述纹理最常用的词藻是粗的或细的 什么是粗的纹理 什么是细的纹理目前还无精确的定义 粗略地讲 我们通过观察组成图案的纹理基元 如果这些基元的尺寸较大 或有许多重复的基元 则给人总的印象是粗的 已有人提出了检测纹理粗 细程度的多通道模型 做法是在一个小区域里检查一组不同频率通道的输出 选择其中响应最强的通道 空间频率最低的通道被认为表示是粗的纹理 那么高空间频率通道就被认为表示细的纹理 由于通道的响应大小不但由基元的大小 而且由分布规律所决定 所以还需要在一个领域里作出每个通道响应的直方图曲线 通过分析这些曲线的特性就能 确定纹理的粗细 目前还不完全清楚人类视觉系统中实际应用多少种性质来描述纹理 但可比较有把握地说 上述性质中的大多数并未用到 所以在模型中仅限于三种性质的量测 描述纹理的第二个特性是边缘元素的方向 或斜率 心理物理学的实验研究表明这个特性非常重要 图a中的实验表明了基元斜率对区别纹理的强烈影响 正放的和倾斜的T形之间很容易区分 L形和正放的T形之间在形状上很不同 但似乎可以聚集成一个区域 图b中证明了相似的效应 图中包括猫 旋转的猫和猫的镜象 当要求被试验者确定图象中的边界时 最常发生的是选择右边的边界 虽然从单个来看 中间的猫与右面猫的镜象比与左面旋转的猫相比更相似些 a b a基元斜率的影响 b图形的镜象由于斜率不同于原始图形 更容易与原始图象相区分 第三个被研究的重要特性是图象的对比度 对比度可以根据图象的灰度分布求得 在人类视觉的纹理感知中粗细度和方向性的作用已得到实验的有力支持 对比度在其中的作用得到某些实验结果的支持 但它占的重要性还未完全清楚 通常认为图象灰度直方图的形状不应影响对纹理的感知 而灰度直方图又是与图象的对比度有关 因此这个问题还有待进一步研究 A窗口直方图法 6 纹理的分析方法 通过对灰度取阈值后得到的图像 各个区域可以分离开 但要将目标提取出来 还需要将各区域识别标记 通过对图像不同区域和特征直方图的统计 对图像灰度直方图进行修改 从而是灰度直方图呈现更明显的分界 B 边缘直方图法 C 图象灰度梯度方向距阵 16个象素元为一幅图象 那么每4个组成一个小区域 如图 可以计算出abcd小区域的8个可能方向的灰度梯度的差分值 当时 指向上方 否则 相反 同理可以求出其它7个梯度的方向 对于8个小方向 取其中最大值的作为该小区域的方向 统计9个小区域的不同梯度的数目 取最大的数目的梯度方向为该图象区域的方向 D 纹理分析的自相关函数法 一名叫凯则的遥感科学家将北极航空照片中取出不同的7中地表覆盖物的图象进行自相关处理 用计算机处理同时和目测比较 识别率达到99 自相关函数定义为 凯泽试验的7种纹理的自相关纹理分析曲线这里 E 纹理的灰度分布统计特征分析 灰度共生距阵的纹理分析 从灰度为的象素点出发 距离为的另一个象素点同时发生的灰度为 定义这两个灰度在整个图象中发生的概率 或者频率 用数学公式表示为 式中x y是图象中的象素坐标 L为灰度级的数目 灰度共生距阵可以理解为象素对和灰度级对的直方图 这里所说的象素对和灰度级对是有特定含义的 一是象素对的距离不变 二是灰度差不变 这里距离由 Dx Dy 构成 如图 这样 2个象素灰度级同时发生的概率 就将 x y 的空间坐标转换为 i j 的 灰度对 的描述 它们形成的距阵称为灰度共生距阵 图象A 图象B 图象A的灰度共生距阵 图象B的灰度共生距阵 例子 计算4 4大小 灰度级为4的图象图象 计算d 1 为0度与90度的共生矩阵 从灰度共生矩阵提取的纹理特征系数有以下几种 1 能量 对矩阵有贡献的象素对总数比物体内部的象素个数少 而且随着距离的增加逐渐减少 小物体的矩阵相当稀疏 稀疏的矩阵无法充分反映统计特性 因此 为了控制矩阵的规模 防止矩阵稀疏 灰度级划分常常被减少 如从256级到8级 有共生矩阵可以计算出一组参数 用来定量描述纹理特性 比较常用的参数有 2 熵 熵值是图像所具有的信息量的度量若图像没有任何纹理 则灰度共生矩阵几乎为零 则熵值接近为零 若图像充满细纹理 则灰度共生矩阵的值近似相等则该图像的熵值最大 若图像中分布较少的纹理 灰度共生矩阵的数值差别较大 则该图像的熵值较小 3 惯性矩 4 相关 5 局部平稳 其中 相关使用来衡量灰度共生矩阵的元素在行的方向或列的方向的相似程度 例如 某图像具有水平方向的纹理占主导地位 则图像在0度的灰度共生矩阵的相关值往往大于90 135 45度的灰度共生矩阵的相关值 二 如何用GABOR小波来提取图象目标的特征 1 傅里叶变换 FourierTransform 傅里叶变换定义为 此式称为基于FT的信号分析 此式称为基于FT的信号综合 连续 离散 一维信号的连续傅立叶变换与离散的傅立叶变换形式如下 二维傅立叶变换 连续 二维连续傅立叶变换举例 离散 问题 从模拟信号中提取频谱信息 就是取无限的时间量 即使用 的时间信息来计算单个频率的频谱 或者说 频域过程的任一频率组成部分的值 是由时域过程在 上决定的 而过程在任一时刻的状态也是由在整个频域 的量决定 故 和的彼此的整个刻画 不能反映各自局部区域上的特征 不能用于局部分析 这就意味着 对于一个特别简单的信号 或信号突然变化和不可预测的情况 傅立叶分析不可用 从另一个角度看 从傅立叶变换能使人清楚地看到一个信息包含的每一个频率的多少 但很难看出不同信号何时发射和发射了多长时间 缺少时间信息使得傅立叶分析变得脆弱而容易失误 伊利诺依斯大学教授梅耶尔曾说 若你记录1小时长的信息而在最后5分钟出错 这一错误就会毁了整个傅立叶变换 相位的错误是灾难性的 如果在相位上哪怕犯了一个错误 你最后就会发现你所干的事与最初的信号无关了 2 空间Fourier变换和功率谱函数 用二维空间Fourier变换来描述纹理的优点是这种方法容易发现图象在空间域中的特性 例如 可检测纹理基元的大致大小和基元的空间组织 但缺点是对EPQ这样的线性变换来说 Fourier变换不能保持不变性 而更为严重的困难是 为了正确地检测纹理的特性 在作变换时要求足够大的图象矩阵 而在进行纹理分割时 这是难以实现的 功率谱的方法是以图象的Fourier变换为基础的 的幅度就是图象的功率谱 即 其中和分别表示的实部和虚部 图象的相位谱 纹理的粗细度可用的分布特性来表示 如果中幅度高的部分集中在附近 这表示是粗的纹理 因为低频分量与大的基元相联系 相反 如果主要分布在远离处 这时高频区域的有较高的幅度 这表示纹理中包含较细致的图案 纹理的方向性也可以由来表示 功率谱不随位移变化 但随纹理的方向变化 因此 它可以反映纹理的方向信息 如果纹理图象具有较强的朝某一方向的分量 那么的高幅度值将排列在某个特定方向上 这个方向与图案的走向垂直 如果纹理无明显的走向 那么也无显著的定向性 需要说明的是 利用Fourier变换来描述纹理特性的前提是假设图象是周期性的 但实际上纹理不是严格周期性的 这就局限了这种方法的有效性 同时由于图象边界处的不连续性会在变换的水平和垂直方向上产生虚假的分量 为减弱这个效应 可在处理的纹理区域周围人为地加上零边界 或应用离散的余弦变换 3 窗式FourierTransform GaborTransform 这是Gabor在1946年提出窗式FourierTransform 其基本思想是 将一个信息的频率一部分一部分地分析 通过该方法 人们至少可以说 无论发生了什么 它一定是发生在信息的某个特定部分 与傅立叶变换用正弦和余弦信号分析信号不同 这里是实际上用一小段曲线分析信号 这段曲线具备一扇窗子的功能 为某一特定的分析保持窗子的尺度恒定 使窗内的各种变换的频率变化 窗式傅立叶变换或Gabor变换 在傅立叶积分中 空间窗口函数与信号相乘 实现在附近的开窗和平移 然后进行傅立叶变换 这里处理的实质是 把非平稳过程看成是一系列短时平稳信号的叠加 通过在时间上加窗实现短时性 设若是一个可测的 平方可积的函数 属于线性函数空间 设若是一个可测的 平方可积的函数 属于线性函数空间 即 其中是积分核 通常选为能量集中在低频处的实偶函数 这个变换在点附近测量了频率为的正弦分量的幅度 Gabor选用高斯函数作窗函数 相应的傅立叶函数仍然为高斯函数 从而保证窗式傅立叶变换在时域和频域均有局域化功能 问题 尽管窗式傅立叶变换能解决变换函数的局域化问题 但是 其窗口的大小和形状是固定的 即窗口没有自适应性 而在实际问题中 对于高频谱的信息 时间间隔要相对的小以给出比较好的精度 更好地确定峰值和断点 或者说需要用窄的时域窗来反映信息的高频成分 而对于低频谱的信息 时间间隔要相对的宽以给出完全的精度 或者说用较宽的时域窗来反映信息的低频成分 用Gabor变换 如果你选择一扇宽窗子 低频成分可以看得清楚 在高频部分确定时间时就很糟糕 若你选一扇窄窗子 在高频可以很好确定时间 但在低频的频率就可能装不进去 3 一维CWT 小波分析是一个迅速发展的新领域 与傅里叶变换那样一类变换相比较 小波变换是空间 时间 和频率的局部变换 因而能有效地从信号中提取信息 通过伸缩和平移等运算功能 可对函数或信号进行多尺度的细化分析 解决傅里叶变换不能解决的很多问题 连续小波变换是由Grossmann和Morlet引入的 JeanMorlet 他在为法国一家石油公司ElfAquitaine寻找石油时 发展了小波研究 首次提出了 连续形状的小波 的概念寻找石油的标准方法是将地震波送入地下并对反应 反射波 进行测量和分析 他在工作中对FourierTransform越来越不满意 希望能对信号的简单变化进行分析 为此 他创立了两个方法 1 将信号分解成小波 2 重新建立原始信号 巴黎高等示范学校的MarieFarge 运用小波研究湍流 曾说 Morlet令人吃惊 自己能走自己的路 不受历史包袱的束缚 他直觉灵敏 研究一件事情时 并不想追究这件事情起作用的原因 当Morlet开始将自己的研究成果拿给该领域进行研究的同行看时 他被告知 这一定是错误的 因为如果它是正确的话 早就知道了 Morlet确信他的工作的重要性 但同时也意识到他不了解小波起作用的原因 他于是就去请教EcolePolytecque的一位物理学教授 在1981年 他被推荐会见了Marseille的AlexGrossmann教授 Grossmann说 由于我研究的是相空间量子力学 在量子力学和信号处理方面一直使用着傅立叶变换 但是 或多或少你得注意变换的两个方面发生了什么情况 Molet带来了一个方法 而且这个方法确实有效 但是这些数字的原理是否普遍正确 他们是否是近似的 在什么条件下成立 当时什么也不清楚 两个人花了一年时间来解答这些问题 他们的方法是 从数学上证明 当用小波表示一个信号时 信号能量的总量不变 这表示一个信号能够变换成小波的形式 随后还能取回准确相同的信号 这是十分重要的 这还意味着小波表示的任何小变化将引起信号上发生相应的小变化 一个小的变化或错误并不能使此比例破坏 1 小波的引入小波变换也称子波变换 小波 Wavelet Asmallwave aripple Bootlet Hamlet 就是小的波形 所谓小 就是它具有衰减性 是存在于一个较小区域的波 WavesandWavelets 从数学上定义小波 若是一个可测的 平方可积的函数 即具有有限能量 这里为的矢量空间 R为实数集 若其傅立叶变换满足则称为一个基本小波或小波母函数 并称上式是小波函数的可容许性条件 根据小波的定义 小波函数一般应满足 a 定义域应是紧支撑 CompactSupport 又 CompactCar CompactDisk CM 的 即在很小的一个区域之外函数为零 即函数具有速降特性 这就是 小 的特点 b 直流分量为零 也就数平均值为0 其高阶矩也为零 亦称为小波的可容许条件 AdmissibilityCondition 式中 为有限值 意味着连续可积 2 小波变换小波变换实际是信号以小波 或称基本函数 小波母函数 作基的函数变换 正像Fourier变换是以e指数函数作基的连续函数变换 若是一个可测的 平方可积的函数 即具有有限能量 为的矢量空间 R为实数集 则 连续小波变换定义为信号和小波基函数的内积 离散小波变换假如改为离散信号 则对应离散傅里叶变换 3 小波 或小波基函数 小波变换定义式中的积分核就是小波 或称小波基函数 是一组函数系列 它是由一个基本小波或小波母函数进行伸缩和平移而形成的 尺度参数 或尺度因子 实数 反映一个特定小波函数的尺度 宽度 假有伸展作用 具有收缩作用 从以上两图可以看出的傅里叶变换 对的效应相反 随增大 时窗的宽度增大 频窗的宽度减少 这对应着局部特性减弱 整体特性增强 随减少 时宽减小 频宽在增大 这对应着局部特性加强 整体特性减弱 这就有可能实现窗口大小的自适应变化 当信号频率增高时 时窗宽度变窄 而频窗宽度增大 有利于提高时域分辨率 反之亦然 定位参数 或定位因子 实数 指定一个特定小波函数沿t轴的平移位置 改变 则会影响围绕点的分析结果 通常一个基本小波是以原点为中心 所以小波基函数就以点为中心 图给出了随a b变化的情景 图中小波函数 当a 2 b 15 的波形 由函数由原点向右平移至t 15处并使波形展宽 当a 5 b 10 的波形 由函数由原点向左平移至t 10处 并使波形收缩 这样 虽然经过伸缩和平移变换 小波的波形依然保持着自相似性质 这与窗式傅立叶变换完全不同 其窗子的大小确定 振荡数在变化 总之 小波自动地适应于信号的不同部分 用大的窗户观察低频率的持续时间长的部分 用小窗户观察高频率持续短时间短的部分 这种方法实际是属于信号分析的 多分辨率分析 MultiresolutionAnalysis 方法 在分析信号时 用粗略的方法取得整体情况 用更精细的方法分析细节 如传统的制图法 大尺度的地图如地球仪显示大陆和海洋 但要找太平洋写字楼的位置就要查北京市地图甚至海淀区地图 所以你要想从当地去一个较远的地方 可能就需要不同尺度所绘制的地图 才能得到大的特征轮廓和小的细节 小波分析通过不断改变尺度将函数的奇点 信号的突变或图像的轮廓 细节 逐级放大后 呈现在研究者面前 这犹如一台高性能的 数字显微镜 能看清函数 信号 图像的 切片 的细微特征和内部结构 结论 一个基本小波或小波母函数被伸缩为是一组小波函数系列 在大的尺度a上 膨胀的基函数搜索大的特征 而对于较小的a 他们则寻找细节 4 2 DCWT由于图像和计算机视觉信号一般是二维