数字图像处理课件 第九章 目标表达与描述

第九章目标表示和描述 9 1概述和分类9 2边界表示9 3区域表示9 4边界描述9 5区域描述9 6关系描述9 7特征测量误差 9 1概述和分类一般对目标常用不同于原始图像的合适表达形式来表示 基本上 表示一个区域有两种选择 用其外部特征了表示区域 如它的边界 用其内部特征来表示区域 如组成分区域的像素 表示 是直接具体地表示目标 好的表达方法应具有节省储存空间 易于特征计算等优点 描述 是较抽象地表示目标 好的描述应在尽可能区别不同目标的基础上对目标的尺度 平移 旋转等不敏感 这样的描述比较通用 表示和描述的联系 表示的方法限定了描述的精确性 而通过对目标的描述 各种表示方法才有实际意义 表示和描述的区别 表示侧重于数据结构 而描述侧重于区域特性以及不同区域间的联系和差别 常见的目标特征 灰度 密度 颜色 特征和纹理特征属于内部特征 需借助分割图从原始图上测量 几何形状特征属于外部特征 可从分割图上测量 9 2边界表示9 2 1链码利用一系列具有特定长度和方向的相连的直线段来表示目标的边界 数字图像一般是按固定间距的网格采集的 所以最简单的链码是顺时针跟踪边界并赋给每两个相邻像素的连线一个方向值 常用的有4 和8 方向链码 其方向定义分别为 a 4 方向和 b 8 方向链码的方向编号 c 4 方向和 d 8 方向链码示例 直接对分割所得的目标边界编码有可能出现两个问题 产生的码串常很长 噪声等干扰会导致小的边界变化而使链码发生与目标整体形状无关的较大变动 改进方法 尺度归一化对原边界以较大的网格重新采样 并把与原边界点最接近的大网格点定为新的边界点 这样重新取样的边界可以用4 和8 方向链码表示 a 叠加在数字化边界线上的重采样网格 b 重采样的结果 c 4 向链码 d 8向链码 起点归一化给定一个从任意点开始而产生的链码 我们可把它看作一个由各方向数构成的自然数 将这些方向数依一个方向循环以使它们所构成的自然数的值最小 我们将这样转换后所对应的链码起点作为这个边界的归一化链码的起点 参见下图 链码的起点归一化 旋转归一化可利用链码的一阶差分来重新构造一个序列 一个表示原链码各段之间方向变化的新序列 这个差分可用相邻两个方向数 按反方向 相减得到 这相当于把链码进行旋转归一化 参见下图 链码的旋转归一化 利用一阶差分 9 2 2边界段一个任意的集合S 它的凸包 壳 H是包含S的最小凸形 集 集合差D H S叫做S的凸残差 图形缺陷 convexdeficiency 区域的凸包 当把S的边界分解为边界段时 能分开D的各部分的点就是合适的边界分段点 具体做法 跟踪H的边界 每个进入D或从D出去的点就是一个分段点 数字边界由于数字化噪声和分割过程中的变形而易于变得不规则 通常在分割之前先使边界变平滑 如 旋转边界并使用沿着边界的像素k个邻域的平均坐标代替这些像素的坐标值 在寻找到某些区域缺陷之前先使用多边形近似 9 2 3多边形多边形是一系列线段的封闭集合 它可用来逼近大多数实用的曲线到任意的精度 在数字图象中 如果多边形的线段数与边界上的点数相等 则多边形可以完全准确地表达边界 实际中多边形表达的目的常是要用尽可能少的线段来代表边界并保持边界的基本形状 这样就可以用较少的数据和较简洁的形式来表达和描述边界 常用的多边形表达方法有以下三种 1 基于收缩的最小周长多边形法 2 基于聚合 mergc 的最小均方误差线段逼近法 3 基于分裂 split 的最小均方误差线段逼近法 最小周长多边形假设用一系列彼此连接的单元将一条边界包住 如图 a 将对象边界想象成一条包含在墙内的橡皮圈 如橡皮圈允许收缩 生成一个有最小周长的多边形 如图 b a 被单元包围的对象边界 b 最小周长多边形如果每个单元仅包含边界上的一个点 则在每个单元中 原来的边界和橡皮圈近似形之间的误差值多为 这里d是不同点之间可能的最小距离 通过强制每个单元以它对应的像素为中心 这个误差可以减半 聚合技术沿边界依次连接像素 先选一个边界点为起点 用直线依次连接该点与相邻的边界点 分别计算各直线与边界的 逼近 拟合误差 把误差超过某个限度前的线段确定为多边形的一条边并将误差置零 然后以线段另一端点为起点继续连接边界点 直至绕边界一周 这样就得到一个边界的近似多边形 聚合逼近多边形 计算前一边界点与线段的距离作为拟合误差 分裂技术先连接边界上相距最远的两个像素 即把边界分成两部分 然后根据一定准则进一步分解边界 构成多边形逼近边界 直到拟合误差满足一定限度 分裂逼近多边形以边界点与现有多边形的最大距离为准则 9 2 4标记标记 signature 是边界的l D边界表达方法 如 先对给定的物体求出重心 然后把边界点与重心的距离作为角度的函数就得到一种标记 两个产生标记的例子 上面所述方法产生的标记不受目标平移的影响 但与目标的尺度变换以及旋转都有关 尺度归一化把最大幅度值归一化为单位值 旋转归一化 选离重心最远的点作为标记起点 求出边界主轴 以主轴上离重心最远的点作为标记起点 该方法考虑了边界上所有的点 所以计算量较大但也比较可靠 先将边界链码求出 再直接用前述起点归一化的方法 注意 投影并不是一种能保持信息的变换 将2 D平面上的区域边界变换为1 D的曲线是有可能丢失信息的 9 3区域表示9 3 1空间占有数组对图像f x y 中任一点 x y 如果它在给定的区域内 就取f x y 为1 否则就取f x y 为0 这种表达的物理意义很明确 所有f x y 为1的点组成的集合就代表了所要表示的区域 空间占有数组表达示例图像像素与数组元素是一一对应的 缺点 需占用较大的空间 9 3 2四叉树四叉树表达法利用金字塔式的数据结构 是一种有效的对空间占有数组的编码 当图像是方形的 且像素点的个数是2的整数次幂时四叉树法最合用 结点可分成3类 1 目标结点 用白色表示 2 背景节点 用深色表示 3 混合节点 用浅色表示 四叉树表示示例 n级的四叉树 其结点总数N最多为 优点 容易生成得到 据它可方便地计算区域的多种特征 另外它本身的结构特点使得它常用在 粗略信息优先 的显示中 缺点 如果结点在树中的级确定后 分辨率就不可能进一步提高 另外四叉树间的运算只能在同级的结点间进行 四叉树表达在3 D空间的对应是八叉树 也叫八元树 表达 9 3 3骨架骨架的主要思想是去除冗余信息 同时保留有助于识别的物体结构的拓扑信息 骨架方法的代表为Blum提出的中轴变换 medialaxistransform MAT 具有边界B的区域R的MAT确定 对每个R中的点x 在B中搜寻与它最近的点 如果对x能找到多于一个这样的点 就可认为x属于R的中线或骨架 或者说x是一个骨架点 假设为从点x到边界B的最近距离 定义为 在物体形状区域R上有一些点具有下面的特性 这些点的集合称作形状的中轴 或骨架 S 一个矩形的中轴构造构成了一个骨架对 理论上讲 每个骨架点保持了其与边界点距离最小的性质 所以如果用以每个骨架点为中心的圆的集合 就可恢复出原始的区域来 对于每个 在位置x找到半径为的圆盘的位置 则所有圆盘的并集就是原始区域 用欧氏距离算出的一些骨架的示例对较细长的物体其骨架常能提供较多的形状信息 而对较粗短的物体则骨架提供的信息较少 有时用骨架表示区域受噪声的影响较大 逐次消去边界点的迭代细化算法 三个限制条件 不消去线段端点 不中断原来连通的点 不过多侵蚀区域 例 实用的求二值目标区域骨架的算法设已知目标点标记为1 背景点标记为0 定义边界点是本身标记为1而其8 连通邻域中至少有1个点标记为0的点 算法对边界点进行如下操作 1 考虑以边界点为中心的8 邻域 记中心点为Pl 其邻域的8个点顺时针绕中心点分别记为P2 P3 P9 相邻关系排列 首先标记同时满足下列条件的边界点 1 1 N Pl 是Pl的非零邻点的个数 1 2 S Pl 是以P2 P3 P9 P2为序时 这些点的值从0 1变化的次数 N Pl 4且S Pl 3 1 3 P2 P4 P6 0 1 4 P4 P6 P8 0 2 同第 1 步 仅将前面条件 1 3 和 1 4 改为条件 2 3 P2 P4 P8 0 2 4 P2 P6 P8 0 同样当对所有边界点都检验完毕后 将所有标记了的点除去 例 骨架计算实例 二值图像骨架人腿骨和分层叠加显示的区域骨架 9 4边界描述9 4 1简单描述符1 边界的长度 边界所包围区域的轮廓的周长 区域R的边界B是由R的所有边界点按4 方向或8 方向连接组成的 区域的其它点称为区域的内部点 对区域R来说 它的每一个边界点P都应满足两个条件 P本身属于区域R P的邻域中有像素不属于区域R 注意 如果区域R的内部点是用8 方向连通来判定的 则得到的边界为4 方向连通的 而如果区域尺的内部点是用4 方向连通来判定的 则得到的边界为8 方向连通的 分别定义4 方向连通边界B4和8 方向连通边界B8如下 如果边界已用单位长链码表示 则水平和垂直码的个数加上乘以对角码的个数就是边界长度 2 边界的直径是边界上相隔最远的两点之间的距离 即这两点之间的直线连线段长度 有时这条直线也称为边界的主轴或长轴 与此垂直且最长的与边界的两个交点间的线段也叫边界的短轴 边界B的直径Diad B 可由下式计算 3 曲率是斜率 s1ope 的改变率 它描述了边界上各点沿边界方向变化的情况 在一个边界点的曲率的符号描述了边界在该点的凹凸性 如果曲率大于零 则曲线凹向朝着该点法线的正向 如果曲率小于零 则曲线凹向朝着该点法线的负向 如沿顺时钟方向跟踪边界 当在一个点的曲率大于零则该点属于凸段的一部分 否则为凹段的一部分 9 4 2形状数形状数是基于链码的一种边界形状描述符 是值最小的链码的差分码 如 归一化前图形的基于4 方向的链码为 10103322 差分码为 33133030 形状数为 03033133 阶 order 为形状数序列的长度 即码的个数 对闭合曲线 阶总是偶数 对凸形区域 阶也对应边界外包矩形的周长 已给边界由给定阶计算边界形状数的步骤 1 从所有满足给定阶要求的矩形中选取其长短轴比例最接近图 a 所示已给边界的矩形 见图 b 2 根据给定阶将选出的矩形划分为如图 c 所示的多个等边正方形 3 求出与边界最吻合的多边形 如将面积的50 以上包在边界内的正方形划入内部得到图 d 4 根据选出的多边形 以图 d 中黑点为起点计算其链码得到图 e 5 求出链码的差分码 见图 f 6 循环差分码使其数串值最小 从而得到已给边界的形状数 见图 g 形状数提供了一种使形状可以比较的量度 如 对两个区域边界来说 它们之间形状上的相似性可借助它们的形状数进行描述 具体就是从小到大逐步计算两个边界的各阶形状数并互相比较 直至找到最大阶的相等形状数 由此可得两个形状之间的距离量度 它与两个形状之间的相似性成反比 9 4 3矩对任意一个给定的曲线段都可把它表示成一个1 D函数f r 这里r是个任意变量 取遍曲线段上所有点 进一步可把f r 的线下面积归一化成单位面积并把它看成一个直方图 则r变成一个随机变量 如 可将图 a 所示的包含L个点的边界段表达成图 b 所示的一个1 D函数f r 可通过用矩来定量描述曲线段而进一步描述整个边界 这种描述方法对边界的旋转不敏感 曲线段和其1 D函数表示 如用m表示f r 的均值 则f r 对均值的n阶距为 二阶矩描述了曲线相对于均值的分布 三阶矩描述了曲线相对于均值的对称性 优点 容易实现 有物理意义 对于旋转变换不敏感性 9 4 4傅里叶描述符将XY平面中的曲线段转化为复平面上的一个序列 具体就是将XY平面与复平面UV重合 其中实部U轴与X轴重合 虚部V轴与Y轴重合 这样可用复数u jv的形式来表示给定边界上的每个点 x y 边界的两种表示方法 一个由N点组成的封闭边界 从任一点开始绕边界一周就得到一个复数序列 s k 的离散傅里叶变换是 S w 可称为边界的傅里叶描述 它的傅里叶反变换是 设我们只利用S w 的前M个系数 这样可得到s k 的一个近似 例 借助傅里叶描述近似表达边界 M是重建边界使用的傅里叶系数的数目 傅里叶描述受边界平移 旋转 尺度变化以及计算起点的影响 9 5区域描述9 5 1简单描述符1 区域面积对区域R来说 设正方形像素的边长为单位长 则其面积A的计算公式如下 结论 利用对像素计数的方法来求区域面积 几种面积计算方法举例 2 区域重心区域重心的坐标是根据所有属于区域的点计算出来的 3 区域灰度 密度 目标的灰度特性要结合原始灰度图和分割图来得到 常用的区域灰度特征有目标灰度 或各种颜色分量 的最大值 最小值 中值 平均值 方差以及高阶矩等统计量 它们多可借助灰度直方图得到 9 5 2拓扑描述符拓扑学 topo1ogy 是研究一种在图像没有撕裂和连接的情况下 不受任何变形影响的图形性质 有两个孔的区域有三个连通分量的区域 区域的孔洞数来定义 不受伸展和旋转变换的影响 然而 在区域发生分裂或聚合时 孔的数目会发生改变 连通分量的数目 图形中孔的数目H和连通分量C可以用于定义欧拉数E E C H 拓扑描述示例 A 有一个连通分量和一个孔 该区域的欧拉数等于0 B 有一个连通分量和两个孔 该区域的欧拉数等于 1 图中的多边形网有7个顶点 11条边 2个面 一个连通和3个孔 因此 欧拉数为7 11 2 1 3 2 全由直线段构成的区域集合可以利用欧拉数简便地描述 这些区域也叫做多边形网 将网进行内部区域分类 分成面和孔 下列关系称为欧拉公式 V Q F C H其中 V代表顶点数 Q代表边数 F代表面数 由上式看出它等于欧拉数 V Q F C H E 9 5 3形状描述符1 形状参数 formfactor 形状参数F是根据区域的周长和区域的面积计算出来的 一个连续区域为圆形时F为1 当区域为其它形状时F大于1 即F的值当区域为圆时达到最小 对数字图像来说 如果边界长度是按4 连通计算的 则对正八边形区域F取最小值 如果边界长度是按8 连通计算的 则对正菱形区域F取最小值 形状参数在一定程度上描述了区域的紧凑 compactness 它没有量纲 对尺度变化 旋转不敏感 仅靠形状参数F并不能把不同形状的区域区分开 如 形状参数相同但形状不同的例子 2 偏心率偏心率 eccentricity E也可叫伸长度 e1ongation 它也在一定程度上描述了区域的紧凑性 偏心率E有多种计算公式 计算边界长轴 直径 长度与短轴长度的比值 受物体形状和噪声的影响比较大 由惯量推出的偏心率计算公式 例 椭圆匹配用于几何校正 3 球状性球状性 sphericity S定义为 2 D时 ri代表区域内切圆 inscribedcircle 的半径 而rc代表区域外接圆 circumscribedcircle 的半径 两个圆的圆心都在区域的重心上 球状性定义示意图 3 D时 将圆用球代替 具有平移 旋转和尺度不变性 4 圆形性圆形性 circularity C是一个用区域R的所有边界点定义的特征量 其中 R为从区域重心到边界点的平均距离 R为从区域重心到边界点的距离的均方差 具有平移 旋转和尺度不变性 一些特殊形状物体的区域描述符 9 5 4纹理描述符纹理就是由纹理基元按某种确定性的规律或者某种统计规律排列组成 前者称为确定性纹理 如 人工纹理 后者则称为随机性纹理 如 自然纹理 主要表现在 某种局部的序列性在比该序列更大的区域内不断重复出现 序列是由基本部分 即纹理基元 非随机排列组成的 在纹理区域内各部分具有大致相同的结构 常用纹理描述方法 统计法 指诸如平滑 粗糙 粒度等纹理的特征描述 结构法 结构化技术处理图像元的排列 诸如居于均匀空间分布的平行线纹理描述 频谱法 频谱技术基于傅立叶频谱特性 主要用于通过识别频谱中高能量的在波峰寻找图像中的整体周期性 1 统计法灰度直方图的矩如用m表示f r 的均值 则f r 对均值的n阶距为 其中 2也叫方差 是灰度对比度的度量 可用于描述直方图的相对平滑程度 3表示直方图的偏斜度 skewness 4表示了直方图的相对平坦性 灰度共生矩阵在图像中任意取一点 x y 以及偏离它的另一点 x a y b 形成一个点对 设该点对的灰度值为 i j 即点 x y 的灰度为i 点 x a y b 的灰度为j 固定a与b 令 x y 点在整幅图像上移动 则会得到各种 i j 值 设灰度的级别为L 则i j的组合共有L L种 在整幅图像中 统计出每一种 i j 值出现的次数 在将它们归一化为出现的概率Pij 则称方阵 Pij L L为灰度联合概率矩阵 也称为灰度共生矩阵 借助位置算子计算共生矩阵 设W是一个位置算子 A是一个k k矩阵 其中每个元素aij为具有灰度值gi的点相对于由W确定的具有灰度值gj的出现次数 这里1 i j k 如一幅只有三个灰度级的图像 g1 0 g2 1 g3 2 如下所示 W定义为 在右下方的一个像素 即 a b 1 1 得到的矩阵A 例 图像和其共生矩阵示例 当a与b取值较小时 对应于变化缓慢的纹理图像 粗纹理 其灰度联合概率矩阵对角线上的数值较大 倾向于作对角线分布 若纹理的变化越快 细纹理 则对角线上的数值越小 而对角线两侧上的元素值增大 倾向于均匀分布 利用灰度共生矩阵可得纹理特征统计量 如 纹理二阶矩 熵 对比度 均匀性 例 纹理图像示例和纹理特征计算 2 结构法认为复杂的纹理可由一些简单的纹理基元以一定的有规律的形式重复排列组合而成 如果定义出一些排列基元的规则 就有可能将某些纹理基元按照规定的方式组织成所需的纹理模式 3 频谱法频谱法借助于傅立叶频谱的频率特性来描述周期的或近乎周期的2 D图像模式的方向性 常用的三个性质是 1 傅里叶频谱中突起的峰值对应纹理模式的主方向 2 这些峰在频域平面的位置对应模式的基本周期 3 如果利用滤波把周期性成分除去 剩下的非周期性部分将可用统计方法描述 在实际的频谱特征检测中 常把频谱转化到极坐标系中 此时频谱可用函数S r 表示 对每个确定的方向 S r 是一个1 D函数S r 对给定的 分析S r 得到的频谱沿原点射出方向的行为特性 对每个确定的频率r S r 是一个l D函数Sr 对给定的r 分析Sr 得到频谱在以原点为中心的圆上的行为特性 如果把这些函数对下标求和可得到更为全局性的描述 其中R是以原点为中心的圆的半径 S r 和S 构成整个图像或图像区域纹理频谱能量的描述 上两式的结果为每对坐标 r 组成一对值 S r S 通过变换这些坐标 可以生成两个一维函数S r 和S 从而对研究的整幅图像或所考虑的区域纹理构成一种频谱 能量描述 例 频谱纹理 a 周期纹理图像 b 频谱 c S r 的曲线 d S 的曲线 e 和 f 不同类型的周期纹理图像及其S 的曲线 9 5 5不变矩对数字图像函数f x y 如果它分段连续且只在XY平面上的有限个点不为零 则可证明它的各阶矩存在 区域的矩是用所有属于区域内的点计算出来的 因而不太受噪声等的影响 f x y 的p q阶矩定义为 低阶矩为 当f x y 相当于物体的密度时则零阶矩是密度的总和 即物体的质量 低阶矩中的一阶矩和分别除以零阶矩m00后所得的便是物体质量中心的坐标 或者直接表示的是区域灰度重心的坐标 f x y 的p q阶中心矩定义为 其中 即重心坐标 中心矩是反映区域R中的灰度相对于灰度重心是如何分布的度量 如 20和 02分别表示R围绕通过灰度重心的垂直和水平轴线的惯性矩 若 20 02 那么这可能是一个水平方向拉长的物体 30和 03的幅值可以度量物体对于垂直和水平轴线的不对称性 如果是完全对称的形状 其值应为零 p q 阶规格一化中心矩 利用二阶和三阶规格化中心矩可以导出下面七个不变矩组 这个矩组对于平移 旋转与大小比例变化都是不变的 例 二维不变矩计算示例 一幅图像的不同变形 不变矩计算结果 9 6关系描述两种常用的关系描述符 利用字符串结构 利用树结构 9 6 1字符串描述符 a 阶梯