AAM特征提取.ppt

报告人 许艳侠 基于AAM的唇部特征提取 基于AAM的唇部特征提取 引言AMM相关知识介绍AMM特征提取针对发音O一9的实验及其结果展望和部分参考文献 引言 唇读 lip一reading 源于听力障碍者或者听力受损者与听力正常人进行交流的一种技巧 而事实上正常人也在使用这种手段 只是数量和意识上有所差异 唇读就是通过人在说话时的口型变化来判断说话内容 主动外貌模型AAM1989年Yuille提出了参数化的可变模板 20 可变模板应用于定位的过程是先将模板移动到目标对象附近 然后改变其位置 尺寸 旋转角度来使能量函数达到最小 该方法的出现给AAM ActiveAppearaneeModel的产生奠定了理论基础 AAM的直接前身是ASM ActiveShapeModel 算法 37 该算法与可变模板类似 利用形状参数来构成模型 在此基础上又使用了PCA算法来实现保证描述精度的情况下降低模型的参数维数 但该算法只单独使用了目标对象的形状信息 没有使用其纹理信息 所以识别率并不高 随后Cootes在此基础上继续提出了主动外貌模型AAM 38 引言 主动外貌模型AAMAAM模型一开始是应用在人脸识别上 根据其泛化性可以广泛应用在刚性目标对象上 AAM输入统计模型 所以必须是对统计数据进行统计训练来建立模型 进而采用使用建立好的模型来进行目标对象的匹配操作 AAM分为建立模型和模型匹配拟合两个部分 AAM的模型建立包括形状模型的建立 纹理模型的建立以及混合模型的建立 在模型的建立过程中都是要PCA算法完成降维 AAM的模型匹配拟合是按照一定方向来调整参数如形状 纹理等参数来使能量函数最小 也就是拟合度最佳 而这个过程实质上是一个最优化问题 需要迭代反复操作才能完成 最后获得的参数既是需要的特征参数 AAM相关知识介绍 形状标记形状的定义 直观上看就是物体具有特定的表面配置 而这里的形状是广义上的形状 它可以是任意维数包括一维 二维 三维等 而且维度的物理意义可以不总是用来表示空间坐标 还可以用来表示时间以及象素灰度等 故有以下几种情况 1 当使用一维形状时 可以是沿着某条直线的点坐标 或是图像中某个特定位置的灰度值 2 当使用二维形状时 可以是二维空间点坐标 或是一个空间点坐标和一个时间信息 3 当使用三维形状时 可以是三维空间点坐标 或是二维空间点坐标和一个时间信息 形状还有很多其他的表示 但是在图像识别领域 因为图像时是用二维表示 所以这里的形状直接采取二维形状 并且是二维空间坐标点 这些点按一定的顺序连接起来就构成了实际意义上的形状 如图2一1所示的右手形状 图中从不同的位置 尺寸 旋转角度几个方面做了调整后的效果 AAM相关知识介绍 AAM相关知识介绍 形状对齐在有N张标记好的样本图像的训练集中 假设每幅图像用n个标记点表示形状 其中每个标一记点用二维空间坐标表示 其表示如式 2一l 在建模之前必须要做相关的预处理操作包括消除位置 尺寸和旋转角度对图像特征的影响 也就是将其形状集对齐到同一个坐标系中 这种预处理操作就叫形状对齐 41 其中衡量某个形状与平均形状对齐的标准可以用公式 2一3 进行计算 对齐的最终目标是使所有形状与平均形状的距离和最小 AAM相关知识介绍 任何图像可以在位置 尺寸和旋转角度几个方面发生变化 如图2一2所示 a 图中点1的坐标与 b 图的点1的坐标在位置 尺寸和旋转角度上发生了变化 c 图则是把两个形状叠合在一起 可以清楚的看出形状m和形状n的普氏距离值较大 d 图则是在经过形状对齐后的结果 把形状n经过一定平移 缩放以及旋转一定角度后放置在m上 对齐的算法如下 1 平移每幅图像以是每幅图像的重心在原点上 2 选择一个样本作为均值的初始估计 并缩放使其3一记第一个平均估计值为作为默认参考坐标系 4 将所有的形状与当前的平均值估计进行对齐操作 5 重新计算平均值估计值6 通过将新的均值与默认参考坐标系下对齐 并缩放使其7 如果收敛 则终止 如果不收敛 则返回步骤4 AAM相关知识介绍 AAM相关知识介绍 建模AAM模型建立包括形状建模 纹理建模和混合建模三个阶段 这里的混合模型就是外貌模型 它是形状与纹理的组合 在建模过程中标记点的标记方法有手动标记 自动标记以及半自动标记 其中手动标记是非常费时的 在实际使用中 通常要用自动标记和半自动标记加以辅助 搜索AAM搜索 也称拟合或匹配 是找出合适的模型参数 以使模型实例和样本实例尽可能的达到一致 我们可以将其视为一个优化问题 即根据一幅新图像和用模型参数合成所获得外貌模型 可以调整模型参数使实际图像与模型实例的误差最小 搜索我们可以使用下式表示差向量 其中表示图像灰度值向量 表示合成模型实例的灰度值向量 要得到和图像匹配的最佳匹配模型 就要改变模型参数来最小化模型实例和样本图像之间的灰度差向量 实际上因为基于外貌模型参数相对较多 导致此问题是一个高维优化问题 我们一般选用迭代方法调整模型参数 搜索计算在AAM进行特征点定位中起着核心作用 这是因为只有通过搜索计算才能改变参数 从而进一步改变形状实例即特征点的定位 故研究快速且准确定位的AAM搜索算法对于AAM的发展和实际应用起着至关重要的作用 AAM相关知识介绍 唇特征点的选取对于嘴唇形状 计算机不能直接对其进行有效理解 为了实现对嘴唇图像进行形状建模 需要对其进行合理的数学表示 本文通过对嘴唇边缘使用一系列的特征点来表述其外形 使其能保留嘴唇在去除平移 缩放和旋转等因素后剩下的几何信息 除此之外 还需要增加一个下巴点 这一点能够使得在AAM搜索过程中很大程度上限制了嘴唇的垂直位置 在标定点的选取中 应遵循以下3个原则 1 标记点应该准确地定义在嘴唇的边缘处 以充分反映出其几何信息 2 标记点分布密度应尽可能的均匀 3 在不同的嘴唇样本中 对应的标记点应该标一记同样的外形特征 AAM特征提取 AAM特征提取 下图标出了唇特征点 由唇的轮廓点和下巴点组成 AAM建模AAM建模是对物体的形状和纹理进行统计学习 建立物体的外貌模型 该算法对目标的提取有很好的作用 同时对实际生活中遇到的遮挡 退化等问题具有较好的鲁棒性 AAM特征提取 通过形状模型即公式 4一l 形状在平移 缩放 旋转后 经PCA算法可以得到形状参数 其中是形状 是平均形状 是正交的特征向量矩阵 是形状参数集合 通过纹理模型即公式 4一2 纹理在变形 标准化后 经PCA算法可以得到纹理参数 其中是纹理 是平均纹理 是正交的特征向量矩阵 是纹理参数集合 通过外貌模型即公式 4一3 4一4 4一5 将上述获得的形状参数和纹理参数相结合并对其进行PCA运算可以得到综合模型参数 即外貌参数 AAM建模 AAM特征提取 其中是一个对角矩阵 用于调节形状模型与纹理模型之间的权重 是特征向量 是综合模型参数 用于控制模型的形状和纹理 AAM建模 AAM特征提取 AAM搜索AAM搜索是一个最优化问题 根据图像和模型参数合成外貌模型 通过调整模型参数使得模型外貌与实际图像的差别最小 差向量可以表示为如下形式 其中是图像纹理的灰度值向量 是合成模型纹理的灰度值向量 要找到和图像匹配的最优模型 可以通过改变模型参数c来实现最小化模型和图像之间的差向量 因为基于外貌模型参数可能会较多 会导致这个优化问题是一个高维优化问题 故往往选用迭代方法改变模型参数 AAM特征提取 AAM的参数处理主动外貌模型很好的将形状和纹理特性结合起来共同处理 这在拟合时能更精确地找到嘴唇 本文采取K一Mean聚类算法将单帧嘴唇按唇形张开程度分成11类 实现了将高维特征降至为一维特征 也就是一个发音过程即图像序列先经过AAM模型变成高维矢量序列 在经过K一Mean聚类算法变成一维序列 图4一3列出了几种典型的嘴唇在使用上述唇特征点的AAM拟合效果图 由图可以看出 此唇特征点对几种典型的嘴唇有较好拟合效果 对嘴唇的特征提取以及后续的识别起到举足轻重的作用 AAM特征提取 AAM特征提取 K一Mean聚类算法K means算法的工作原理 算法首先随机从数据集中选取K个点作为初始聚类中心 然后计算各个样本到聚类中的距离 把样本归到离它最近的那个聚类中心所在的类 计算新形成的每一个聚类的数据对象的平均值来得到新的聚类中心 如果相邻两次的聚类中心没有任何变化 说明样本调整结束 聚类准则函数已经收敛 本算法的一个特点是在每次迭代中都要考察每个样本的分类是否正确 若不正确 就要调整 在全部样本调整完后 再修改聚类中心 进入下一次迭代 如果在一次迭代算法中 所有的样本被正确分类 则不会有调整 聚类中心也不会有任何变化 这标志着已经收敛 因此算法结束 AAM特征提取 K一Mean聚类算法K means聚类算法的一般步骤 1 从n个数据对象任意选择k个对象作为初始聚类中心 2 根据每个聚类对象的均值 中心对象 计算每个对象与这些中心对象的距离 并根据最小距离重新对相应对象进行划分 3 重新计算每个 有变化 聚类的均值 中心对象 4 循环 2 到 3 直到每个聚类不再发生变化为止 针对发音O一9的实验及其结果 0 9的实验 针对发音O一9的实验及其结果 通过上述实验可以发现 发音7的识别率较低 这是因为它与发音1的发音嘴形序列相似导致的误判 0 9的