（电路与系统专业论文）活动形状模型的研究及其在人脸解释中的应用[电路与系统专业优秀论文].pdf

ah c t r a c t ab s t r a c t t h e g o a l o f c o m p u t e r v i s i o n i s n o t o n l y t o r e c o v e r i m a g e s t r u c t u r e b u t a l s o t o k n o w w h a t i t r e p r e s e n t s . e s p e c i a l l y , t h e i m a g e i n t e r p r e t a t i o n o f f l e x i b l e o b j e c t s i s m o r e d i f f i c u l t d u e t o t h e v a r i a t i o n o f s h a p e . r e c e n t l y , t h e m o s t p o p u l a r a p p r o a c h t o r e s o l v e s u c h p r o b l e m i s b u i l d i n g m o d e l w i t h p a r a m e t e r s b a s e d o n s t a t i s t i c a l m e t h o d s . t h e p r i m a r y c o n t e n t o f t h i s t h e s i s i s a b o u t t h e t h e o r y o f b u i l d i n g a s m m o d e l s a n d t h e a p p r o a c h o f i n t e r p r e t i n g f a c e u s i n g t h e m o d e l s . f i r s t l y , t h e c o n c e p t o f t h e s t a t i s t i c a l m o d e l s i n c o m p u t e r v i s i o n a n d t h e a d v a n t a g e s o f i n t e r p r e t i n g i m a g e s o f f l e x i b l e o b j e c t s u s i n g t h e m a r e d i s c u s s e d . s e c o n d l y , i r e s e a r c h t h e p r o c e s s o f b u i l d i n g a s m m o d e l s w i t h p a r a m e t e r s b a s e d o n s t a t i s t i c a l m e t h o d s . d i s c u s s t h e p r o c e d u r e o f e x t r a c t i n g t h e i n f o r m a t i o n i n t h e i m a g e s u s i n g p o i n t d i s t r i b u t i o n m o d e l a n d b u i l d i n g m o d e l s u s i n g p r i n c i p l e c o m p o n e n t a n a l y s i s . t h e n , t h e p r o c e s s o f i m a g e i n t e r p r e t a t i o n u s i n g a s m m o d e l i s d i s c u s s e d . t h e m u l t i - r e s o l u t i o n a p p r o a c h i s u s e d w h i c h m a k e s t h e s e a r c h i n g q u i c k e r a n d t h e s y s t e m m o r e r o b u s t . f i n a l l y , i d e s i g n t h e s y s t e m o f m o d e l i n g a s m m o d e l a n d f a c e s e a r c h i n g w h i c h l a n d m a r k t h e i m a g e s i n t h e t r a i n i n g s e t s , b u i l d m o d e l s a n d s e a r c h f a c e u s i n g m u l t i - r e s o l u t i o n m e t h o d s . t h e s y s t e m p r o v e d g o o d i n l a n d m a r k i n g f a c e i m a g e s , m o d e l i n g a s m m o d e l a u t o m a t i c a l l y a n d a n a l y z i n g a n d i n t e r p r e t i n g i m a g e s . k e y w o r d s :i m a g e i n t e r p r e t a t i o n , a c t i v e s h a p e m o d e l , s t a t i s t i c a l m o d e l , f a c e 1 1 第一章 绪 论 第一章 绪 论 1 . ，研究背景 人类是通过眼睛与大脑来获取、处理与理解视觉信息的。周围环境中的物 体在可见光的照射下，在人眼的视网膜上形成图像，由感光细胞转换成神经脉 冲信号，经神经纤维传入大脑皮层进行处理与理解。视觉不仅指对光信号的感 受，它包括了对视觉信息的获取、传输、处理、存储与理解的全过程。信号处 理理论与计算机出 现以 后， 人们试图 用摄像机获取环境图像并转换成数字信号， 用计算机实现对视觉信息处理的全过程，这样，就形成了一门新兴学科一计算 机视觉。 计算机视觉发展得益于神经生理学、心理学与认知科学对生物视觉系统的 研究，但多年的研究实践表明，人类对自 身具有的认知能力的认识远远不够。 从事心理学、神经科学、生理学、生物物理学、数学与计算机科学的研究人员 越来越迫切地感到，需要联合起来对人脑的认知过程进行从宏观到微观的深入 研究。虽然由于人脑的高度复杂性，这种跨学科的研究还远远不够深入，但从 事计算机视觉的研究者们己发展起一套独立的计算理论与算法，从而能利用计 算机对视觉信息 ( 或者说，对图像)进行分析与处理。 计算机视觉，作为一门独立的学科正受到广泛的重视，已 应用于遥感图像 分析、文字识别、医学图像处理、多媒体技术、图像数据库、工业检测与军事 等方面。特别在遥感与军事方面，将计算机视觉技术与制导、空间技术等其它 科技相结合， 可以快速实现和完成许多由 人所不能完成的任务，从而使诸如勘 察地形、制定最佳行军路线等原本危险而困难的任务变得较为容易和安全。根 据航片或卫片所提供的有限的地理信息， 利用计算机视觉处理技术，获取所需 要的地形地貌图，并在一定条件下提供相对准确的感兴趣点的 地形数据， 就成 为了迅速完成这些任务的有利保障。因此，研究怎样更好的将计算机视觉理论 及技术用于国防军事领域，就成为了计算机视觉工作者的重要任务，从而也可 以推动计算机视觉理论及技术的进一步发展。而且，随着跨学科基础研究的不 断深入，随着计算机性能的快速提高， 计算机视觉将广泛的 应用于更复杂的应 用场合。 静态图像的分割解释是计算机视觉中一个基本而且重要的问题，这一技术 已得到众多研究工作者的注意并业已取得了大量的成果，例如 a c t i v e c o n t o u r 第一章 绪 论 m o d e ls ( s n a k e a n d it s v a r i a t io n ) 1l l, a c t iv e b lo b s l l; a c t iv e s h a p e m o d e ll2 1, a c t iv e a p p e a r a n c e m o d e l e2 1 等 算 法 能 够 较 好的 完 成 从 图 像 中 分 离出 感兴 趣的 区 域 并 进 行解释的任务。 总结这些算法， 他们大体可分成两类:非参数模型和参数模型。 以a c t i v e c o n t o u r m o d e l s ( s n a k e a n d it s v a r i a t i o n ) 等算法为代表的非参数模型中 由于其内力只是由曲线的曲率约束得到的，没有一个全局的外形模型而具有很 广泛的应用领域，能对任意形状的日标区域进行分析，但这是以低精度和低鲁 棒胜 为 代价的 ; 以a c t iv e s h a p e m o d e l , a c t iv e a p p e a r a n c e m o d e , a c t iv e b l o b s 等 算法为代表的参数模型用统计的方法建立一个用相对很少数量的参数来表征的 参数模型，这些参数模型中包含了丰富的先验知识，并对目 标的提取有很好的 指导作用，因而对遮挡、退化和初始化等实际应用中经常遇到的问题具有较好 的鲁棒性。 活动形状模型 ( a s m - - a c t i v e s h a p e m o d e l ) 是 一类统 计建 模的 方法， 他们 基于分析大量标定好的人脸数据的外形( s h a p e ) 和纹理 ( t e x t u r e ) 信息并用统 计方法建立数学模型，学得的模型能很好的覆盖各种人脸几何外形子空间和人 脸纹理子空间，并能很好的区分非人脸的部分。这种特征正是我们需要的模型 所必备的优良性质:通用性和针对性。通用性指我们所建立的模型必须能覆盖 我们所考虑问题的各种情况，针对人脸来讲指的是这个人脸模型必须能够包括 各种不同人、不同表情、不同姿态的人脸信息:针对性指该模型在一定的条件 下只能覆盖我们所考虑问题，对那些非法的情况能提供足够的信息，而且更重 要的是对我们所考虑问题的内部的各种情况应能具有很好的区分度，即能有很 好的参数表征各种类内的变化和非本类的信息。而 a s m 这类统计模型即能很 好的完成上述任务，我们可以通过模型的参数很好的理解并解释生成各种该统 计模型所建模的实例。 另外， a s m方法是典 型的自 顶向 下图像理解的策略 12 1 ， 它用全局的 模型在 图像解释的过程中去约束指导我们;而仅用内 力的a c m, s n a k e的方法是数 据驱动的或自下向上的策略，他们从低层次的图像的梯度纹理等信息出发，通 过启发式的局部信息的合成来辨认感兴趣的目 标区域，这是很困难的。统计模 型有很优秀的性质，我们下面会仔细的介绍。 1 . 2论文的内容与组织安排 本文主要研究了计算机视觉中的一个重要的也是基本的问 题，就是从图像 中找到感兴趣的目标区域并借助计算机进行解释，即图像解释。它也是将计算 机视觉技术应用于工业检测、目标识别和医学图像处理等领域中一个必不可少 第一章 绪 论 的重要步骤。 作者采用了一种基于统计模型的方法，即活动形状模型，来完成对特定对 象人脸的图像解释工作。作者不仅对算法进行推导，设计仿真程序，并进行大 量的人脸图像的标定和训练，生成包括人脸轮廓的某些局部部分的典型模型， 再应用于人脸搜索过程，使模型很好的匹配于训练集样本，从而验证了算法的 可行性和高效性。最后对实验过程中遇到的问题加以总结并提出了需要改进的 意见。 其中，第二章讨论在计算机视觉中应用的统计形状模型的分析方法及其特 点。第三章着重研究活动形状模型的算法，给出建模的理论依据和利用多分辨 率方法搜索图像的步骤。第四章根据算法编写系统程序，并对大量样本集中的 图像标定训练，然后通过构造出的模型完成人脸图 像的 搜索，最后根据试验结 果分析系统完成的功能并加以说明。 第五章是对工作的总结以及对今后的展望。 第二 章 计算机视觉中的统计模型 第二章 计算机视觉中的统计模型 2 . 1概述 计算机视觉的最终目的是对图像的理解，即不仅仅能够恢复出图像的结构 特征， 还要具有辨别图像所代表的含义的能力z 1 。 在过去的几十年中，基于模 型的视觉分析已经成功的被应用于一些人造物体的图像中，但是运用这种基于 模型方法来解释一些复杂的和变化的结构特征，比如人脸或人体内的肉眼能观 察到的器官来说通常会显得比较困难。这种情况下，如果没有一种能够很好的 处理干扰和不完整图像信息的有效模型， 那么可靠的恢复图像结构就有问题了。 可见，问题的关键是图像结构的可变性。在可变结构中，要使模型有效，需要 模型具有特定性，即根据模型化的对象，要能够描绘出“ 合法”的实例。如果 考虑到自 然界的种种变化， 想得到这样的模型还是相当困难的，但是最近年的 研究和发展基本解决了这个问题，研究表明，形状和灰度外观的某些特殊变化 模式能够被统计模型所刻画，因此，统计模型可以直接应用于图像解释。 2 . 1 . 1构造可变模型研究问题的必要性 在计算机视觉中，处理问题的关键在于需要一个自 动的系统能够 “ 理解” 图像所代表的含义，也就是说，不仅能恢复图像的结构还要可以知道它所代表 的意义。这当然就需要一种能够描述或者标识自 然界中结构的模型。 在实际应用中，我们比较容易处理 “ 刚性” 物体的问 题， 但是也常常会遇 到柔性物体对象，比如说人脸。这样的目 标物体实际是形状可变的，基于这样 物体的模型也就必须具有典型的特征，能处理复杂和多变的结构。当然我们首 先自然能想到的是构造一种可以变化的模型。这种模型必须具有保持某类对象 所表现出来的重要特征的能力，而且模型的变化范围必须有一定的限制使其只 能适合于一个范围内的对象。因此， 这种模型实际上包含以 下两个方面的主要 特征。第一，模型必须具有通用性，即模型必须能产生出该类对象的一切近似 的实例;第二，也是至关重要的一点， 模型又必须具有特定性，也就是说，它 应该只能产生出合法的对象实例，所谓合法就是指模型不能产生超越某一特定 条件之外的实例。 基于模型的方法实际是用己 有的图像构造出一个预处理的模型，然后用该 第二章 计算机视觉中的统计模型 模型对新的图像作试验，找到一个能最好匹配的途径，在得到匹配模型之后 我们可以将其与目标对象进行测量，看是不是确切的表达出了目标的内容。 对于这样的问题，基于统计模型的方法提供了可能的解决方案。对于这种 柔性目 标物体， 我们可以适当运用图像的形状结构特征， 它们的空间相互关系， 和它们的灰度外观等先验知识，得到描述这些特征的自 动系统，并对其进行约 束使其能对图像作出正确的解释。对于一个人脸模型，该系统可以产生出任何 一个令人的足够信服的图像，包括可以改变他们的面部表情等等，也就是这种 系统是可以再生图像的。运用这种模型，图像解释问题就可以简洁的被理解为 一个匹配问题:对于给定的待解释的图像，它的结构可以通过调整模型的参数 被约束，从而得到一个再生的图像，而这个新生的图像可以足够的相似于真实 的图像。 这种方法是一种 “ 自顶而下”的策略，这和 “ 自 底而上”或者 “ 数据驱动” 的方法是有着本质的区别的。在后者中，图像的数据是在底层被检测，搜索出 局部的结构特征，比如边界等等。这些特征被归类分组并用于对所感兴趣区域 的判定和解释。 没有一个宏观上的整体模型的支持，这种方法往往操作起来比 较繁琐和困难，甚至常常会导致失败。 2 . 1 .2 基于统计的模型的特点 目前为止，己经探索出许多种基于模型的方法，其中主要的焦点集中在通 过统计方法来实现的基于模型的方法。这种统计模型是通过分析一个标定样本 集的外观来建立的。在样本集中图像的结构在形状、外观、纹理或者质地上有 变化，从中可以学习到哪些是近似的变化哪些不是。通过寻找模型对于图像数 据的最佳匹配方案来完成统计模型对一幅新图像的解释。这种方法的优点主要 体现在12 1 . 1 .这种方法具有广泛的适用性。同一套算法可以被应用于许多不同的问 题，区别仅仅在于提供不同的训练集。 2 .系统中对训练集的标定可以参考专家的经验。 3 .模型给出了一个简洁的表达方式， 它允许一定范围内的 变化， 但是有足 够的能力排除不同于训练集得到的变化范围以外的任何变化。 4 .除了从训练集学习到的特征， 系统不需要任何标定的对象特征的其他任 何先验的假设，比如模型中不需要类似边界光滑度的一些参数。 本章主要描述了如何建立关于形状的统计模型，其次介绍了 这种模型是如 何用来对一幅新图像进行解释的。 第二章 计算机视觉中的统计模型 2 . 2统计形状模型的理论基础和建立 下面我们介绍可以用来描述图像中对象形状的统计模型。一个图像对象的 形状通常被一个 n个点的集合来表示，这个 们涉及的问题考虑二维和三维情况。形状通 集可以是任何维数，但是通常我 定义为在某个变换下一个不变的 点常 点集所构成的结构的性质。在二维或三维空间内的相似变换，如平移，旋转， 放大或缩小是指一个物体的形状在平移，旋转或放大缩小时是不变的。 我们的目的是得到一种不仅能分析新的图像，还可以 综合许多形状的特点 使其相似于训练集中的目 标的模型。训练集主要是通过手动标定一组图像来完 成，之后通过对标定后的图像进行各种变化的分析，我们可以建立模型。 下面的介绍主要是如何在相似变换 t q ( 其中 e是相似变换中的参数)建 立这样的模型。所有的例子也是二维的，这是本章的讨论重点。 2 . 2 . 1 选择适当的标定点 选择好的标定点很重要，它们通常应该能对于每一幅图 像是始终不变的。 产生一个训练集最简单的方法就是将训练集中的每一幅图像用一系列相关的点 来进行标定，这项工作通常是非常费时的，所以我们也可以用一些自 动的或是 半自 动的方法来作标定工作6 ) 在二维图像中， 标定点 通常应该被放置在目 标边界的拐角处， 几个边界交 接的“ t ” 型连接处， 或是一些很容易被定位的具有明显特征的位置。 但是只依 靠这些明显的标志点是远远不够的，这些点往往过于稀疏不足以描述目 标对象 的形状特征，所以，需要在这些点中间增加适当数量的点，并使它们平均分布 于特征点之间从而构成描述图像形状的完善的标定点集。 如果在d 维空间我们用n 个点来标定形状，那么我们将这些点的位置向量 相互连接便组成一个n d 个元素组成的形状向量。 例如在一幅二维图像中， 我们 将n 个标识点 表示为( ( x i,y j ，其中o i n - 1 , 那 么形 状向 量就是一 个2 n 个元素 的向量，表示为: x = ( x o y o ,x i y i . . . . . .x n - i y o- i ) t( 式2 - 1 ) 如果给定n个训练样本，那么我们得到n个这样的向量x . 这样我们就得到了所有训练样本的形状向量，但是，在对这些向量进行进 一 步 统 计 分 析 之 前， 有 一 项 很 重 要 的 工 作 就 是 我 们 要 使 这 些向 量 位 牛 一 个 统 一 第_章 计算机视觉中的统计模型 的坐标系下，即对这些向量进行标准化，这在下一章里详细介绍。 2 . 2 .2 变化形状的建模 假设我们现在己经将n个形状向量x 、 标准化到了统一的参考坐标系下， 在 二维空间中我们得到了这些向量的分布，如果我们可以对这个分布进行建模， 我们就可以产生新的实例，这些实例相似于原始训练集中的图像，而且我们也 可以 判 断 生 成的 新 的 实 例 是 不 是 能 够 足 够 近 似。 在 这 里 ， 我 们 可以 建 立一 个 带 参数的模型，表达形式如下 1 l , x = m( b ) ( 式 2 - 2 ) 这里b 是模型的参数向 量。 m是建模的方案， 这样的模型可以 用来产生出 所需 要的形状向量x .如果我们能得到参数b的分布模型，我们就可以对其加以约 束，从而使得到的x能足够相似与训练集中的图像。同样，用这个模型还可以 估计出形状向 量的分布p ( x ) . 为了使问题简化， 我们通常希望减小数据的维数， 例如对n d 维向量， 我们 希望能尽量的减少维数使处理简单易行。要达到这个目的一个最好的方法就是 对 数 据采 用主 成 分 分 析 法( p c a - p ri n c ip a l c o m p o n e n t a n a l y s i s ) 18 1 . 假设 一 个 n d 维的空间里分布着一系列点，主成分分析法能够寻找出这组点分布的主轴， 使我们可以用少于 n d个参数的模型来近似任何一个原始点。该方法的原理如 下: 1 .计算数据的均值， 入 一 - l zn -, ( 式 2 - 3 ) 2 .计算数据的方差 a = -n - 1 合 l x ， 一 x j l a ; 一 x ) ( 式 2 - 4 ) 3 .求方差阵的特征向量 。 和相应的特征值 人 ， ，并将特征值 入 ， 从大到小 排序， 即 入 。 )入千 ， 。 当样本的个数小于向量的维数时， 可以快速计算特 征向量。 如果 q)包含 t 个最大的特征值对应的t 个特征向量， 我们就可以将任意训 练集x 近似的表示成: x - x十 中b( 式 2 - 5 ) 第二章 计算机视觉中的统计模型 其中。袱。， ! 。: 卜 . . . . . id j , b 是t 维向量，可以相应的表示为: 6 = (d ( x - x)( 式 2 - 6 ) 向量b 是一个参数集合，用来描述可变形的模型。通过改变向量b 中的参 数我们就可以得到变化的形状向量 x 。第 i 个参数b : 在训练集范围内的改变量 是 由入 控 制 的 ， 将b ; 的 变 化 限 制 在 1 3 范 围 内 ， 我 们 就 能 确 保 由 可 变 化 参 数模型生成的形状向量能够足够相似于原始训练集中的样本。 举例来说， 假设如图2 - 1 中所示有一个二维点分布向量， 其中画出了主轴。 在这种情况下，样本点中的任何一个点都可以通过平均值和离该点最近的主轴 上的点来共同表示。 也就是说， x x = x 十 6 p . 这里b 是沿主轴方向从距离x 最 近的主轴上的点到平均值之间的距离。 p 代表主轴。 这样当我们己知主轴方程， 则一个二维数据集就可以用一个仅带一个参数b 的模型来完全近似。 同样道理， 形状模型控制成千上万个点也仅仅就只靠很少数的几个参数就可以完成并通过 改变这些参数达到近似出原始训练集中的样本的目的。 图 2 - 1二维点分布向量和其中主轴的关系 这时有一个问题就是t 是如何确定的， 我们选择t 的数目 只要能保证模型可 以保留一定比例的数据变化量即可，这个比例比如说是9 8 ，那么剩余的变化 量实际可以被看作是噪声干扰而忽略掉。 实际上， t 参数大小的选择可以采用很 多种方式，当然其中最简单的方法就是上面讲到的保留一定比 例的训练集样本 变化量就可以了，这个比 例通常是人为给定，比 如9 8 %. 入 ， 是训练集形状向量方差阵的特征值， 每个 特征值给出了 在相应的 特征向 量方向上数据对于平均值的变化量，训练集数据的总变化量就是所有这些特征 值 的 总 和】 即 ，t, = 叉a 二那 么 我 们 选 择t 个 最 大 的 特 征 值 使 得 第二章 计算机视觉中的统计模型 i凡 是导 人 v r ( 式 2 - 7 ) 这里关定义了 我们期望的 变化量占 训练集数据的总变化量的比 例，比 如9 8 %, 即。 . 9 8 。 如果干扰所带来的 偏差计为司， 那么 我 们应该 选择一个最 大的t 使 入 , v ., ，这里假设所有特征值是按照从大到小排列的。 2 . 2 . 3 模型的匹配 在一幅图像中，描述一个模型的实例，通常要适当的选择形状参数 b ，同 时还要进行从模型坐标系到图像坐标系的 变换。 特别是要经过一个相似变换， 其中的 参数 分别 有 位 移 量( x y , ) ， 旋 转角 度 e ， 放 大比 例s 19 1 。 这 样， 模型 中点的位置 x的表达式为: x = t x r , .e ( x + ( d b ) ( 式 2 - 1 2 ) 这里 例如 乓x . .。 给出 了 旋 转 的 参 数 对一个单独的点 (x，y e ， 放大比 例的参数s 和平移的 参数( 戈， 艺 ) 。 ) 应用上面的变换式，可以得到: _( x 1 m )( s c o s o s s i n o 丫x ) i x二 s 0 i - 1 - . 一 1 * 1。_ _ 。 1 1 l y j l i t ) - s s mu s c o s u ) y ) ( 式 2 - 1 3 ) 现在我们希望在变换中找到最合适的位置参数和形状参数，使得一个模型 的实例 x可以很好的匹配一个新的图像点集y 。我们使模型与相应图像的点之 间的距离的平方和达到最小，也就是使下面的表达式的值最小， 一 y - 几-y, , ,o ( x + (d b ) ( 式2 - 1 4) 要想使该式的值最小， 下面是一个算法的 迭代流程(z 7 1 .初始化形状参数向量b 到0 . 2 .生成模型的实例x = x + ( d b . 3 .寻找位置参数 ( x y , s , b ) ， 使x 最佳的映射到y . 4 .通过位置参数的反变换将y映射回模型参考坐标系: y=t - x r , ,. ,e c y ) 5 . 将 y 映 射 到 、 的 正 切 空 间 得 : 奥 y. x 6 .更新模型的形状参数b ，使其匹配y , 第_聋 计算机视觉中的统计模型 b = (b下 ( y 一 x ) 7将b 进 行 约 束 使 得i b i - 3 杯 8 .如果不收敛，则返回第二步继续。 所谓收敛就是在迭代过程中位置参数和形状参数不再发生明显得变化。这个方 法通常仅需要很少得迭代就可以收敛。 2 .2 . 4 测试模型 上述形状模型从一定意义上讲是训练集中图像的线性组合，为了使模型能 够很好的匹配一个新的图像，训练集必须能展现被建模这类形状的所有期望的 变化。如果不是这样，模型就处于过约束状态，即它不能匹配某种新的样本。 举例来讲，如果我们只对一组正方形进行建模，所训练出来的模型是不能产生 长方形的。 一种测试我们的模型是否能很好产生任意新的样本的办法是对给定的n个 样本的训练集，我们任意丢掉一个样本，对剩下的所有进行建模，然后把模型 与丢掉的样本进行匹配，并记录下误差。然后依次丢掉剩下的任意样本，并重 复上述的过程。如果对任何一个样本，误差超出规定的范围，则需要更多的训 练样本。所有样本的很小的误差仅仅意味着对于每种形状的变化不止有一个样 本，也就是说没有包括所有的变化类型。 表达式 y - t s r , .e ( x + (p b ) ( 式 2 - 1 5 ) 求出了所有的点误差的平方和，这种方式可能会使某一两个误差很大的点被平 均化，也就是说它给出了从整体意义上判别两者误差的方法。更有效地或更提 倡的方式是对每一个点计算误差，并使任意一个点上的误差中的最大值足够的 小。 2 . 2 . 5 估计形状向量的分布 对于一个给定的点集 x ，我们希望能够判断它是不是我们从训练集中描述 出的一类形状中的一个相似的实例。原始训练集一旦被标准化，就可以 被认为 是那个概率密度函数 p ( x ) 得到的一个样本集合， 而我们必须能 够较准确的 第二章 计算机视觉中的统计模型 估计出这个概率密度函数的分布。任何一个形状都可以被近似认为是由特征向 量 。构造的子空间中的一组最接近点的集合。 子空间中的一点是通过形状参数 向量 b 来定义的。 令d x = x - x。则它的最小方差近似估计可以表示为: x 二 小b( 式 2 - 1 6 ) 这里 6 = (d- d x o 则残留误差为r = d x - (db .( 式 2 - 1 7 ) 对 r 求模的平方， r l - = r r = d x d x - 2 d x (d b + b o t (db = j d x j 2 - i b j 运用主成分分析法将形状向量分解成两个相互正交的分量，它们的系数分别是 向量b 和r 的元素，且我们认为它们是相互独立的，那么，有 p ( x ) = p ( r ) p ( b ) ( 式2 - 1 8 ) l o g p ( x ) = 1 o g p ( r ) + t o g p ( b ) ( 式 2 - 1 9 ) 如果我们假设向 量r 的 任意 元素 是 相互独 立的， 并且遵循方差为讨的高 斯 分布，则 ( 式 2 - 2 0 ) irlz?鲜 (-12 p ( r ) -e x p ，。 : p (r)一 喜 艺 耳+ c 6; ( 式2 - 2 1 ) 参数 b的概率密度函数的分布表达式在前面已经提到过了，因此，我们就 可以估计出一个新的形状向量x 的概率密度函数， lo g p (x ) 一 lo g 。 (b ) 一 喜 立 壑 二 业 鱼 十 c q, ( 式 2 - 2 2 ) 当训练集中只有少量样本时，有它们建立的模型时过约束的，也就是说， 这样的模型只能表现出训练集中的仅有的少数的形状的变化形式。在这种情况 下，我们可以人为的添加一些额外的变化信息，让模型具有更强的柔性。 第_章 计算机视觉中的统计模型 2 . 3基于统计形状模型的图像解释 2 . 3 . 1 概述 用模型进行图像解释，实际上就是对于建立起来的模型，找到它的能够最 佳匹配图像的一组参数的集合。这个参数集定义了图像中目 标对象的形状、位 置和外观等一系列指标，同时，这组参数集还可以进一步处理，用于比如像目 标的测量和分类等工作。 通常，我们可以采用多种方法完成模型实例与图像的匹配工作，但是，总 的来讲，各种方法实际上都可以被看作是一个代价函数的优化过程。对于一个 模型参数集 c ，我们可以 产生一个映射到图像的模型实例。通过将这个假设的 实例与目 标图像作比较， 得到匹配函数f c ) 。 能最佳解释图像目 标的参数集就 是能使代价函数达到最优化的集合。 例如， 如果，f ( c ) 是一个误差函数， 并且 f ( c ) 的值趋向于0 时表示最佳匹配，那么我们要做的就是适当选择参数集 c ， 使误差函数f ( c ) 取得最小值。 这样的话，理论上，我们所作的就是选择一个适当的匹配函数，并且找到 一个通用的目 标优化因子，使得匹配函数能达到最小值。如何才算是达到最小 值，仅仅与函数模型以及图像的选择而定，而与达到最小值所采取的优化方法 无关。所以，在实际过程中，我们关心的重点就是构造一个能快速优化并且具 有高鲁棒性的函数，同时找到一种到达匹配的优化方法。 2 .3 . 2 匹配函数的选择 在理想情况下，我们需要选择合适的匹配函数，它可以表示模型的参数描 述目 标图像对象的概率， p ( c i ) 。 然后我们选择适当的参数使这个概率达到最 大。在上面所讲的形状模型中，我们可以改变的参数包括形状参数，b，姿态 参数，x x , s , e 口 而对于 外观模型， 可以 改 变的 参数有外观 模型 参数， 。， 和 姿态参数。外观模型匹配函数的匹配质量可以通过测量目标对象与模型生成的 人造图像之间的差异来估计。 仅对于形状模型，匹 配测量的形式一般比较难确定。如果我们假设形状模 型不仅能表达出形状的边界而且还能表达目 标对象的边缘情况，那么我们就有 一种有效的测量方法来计算一个给定的模型点到离该点最近的图像边缘的距 禺 。 第_章 计算机视觉中的统计模型 111 4 r 二 离边缘从 ( x.丫7 枝7p 边界 图2 - 2图像边缘与模型边界 如果用向量x 表示模型中点的位置， 用向量x 表示该点相应距离图像边 缘最近的点，那么，误差测量可以表示为， f ( b , x y , , s , b ) = 1 x一x 1 2 ( 式 2 - 3 3 ) 这里值得注意的是， 匹配函数中的测量表达式依赖于目 标点向量x ,， 它们 应该接近于正确的位置。如果某些点因为不能准确，清晰的检测出边缘而是不 正确的，那么上述表达式将不能保证匹配的准确性。 第三章 活动形状模型 第三章 活动形状模型 3 . 1 概述 本章的主要的目的是介绍和研究一种称作活动形状模型 ( a s m)的方法。 a s m方法最早是由c o o t e s 提出的。 这种建模的技术从设计理念上很类似于k as s 等提出的活动轮廓模型 ( a c m)或 s n a k e s ，但是，a s m 的优点就在于模型实 例可以根据在训练集中学习到的方式变形，也就是说，这种模型并不是始终不 变的，而允许一定程度上的形状的变化。但是，这种变形又是有限度的，不会 脱离它们所要表现的那类目 标对象的本质特征。 3 . 2 点分布模型 3 . 2 . 1 柔性变化物体 相同目 标对象的图像会有不同形式的变形是由多种因素造成的。我们可能 能发现许多这样的例子， 多数物体是具有形状可变的特征的，比 如， 人的心脏， 人脸，人手等等。这样的物体都可以呈现出多种不同的可能发生的形状，从而 产生出各种各样的可能的图像。人的心脏在跳动的循环中，形状就是不断发生 重复性的变化的;人脸拥有各种各样的表情;人手更是可以作出趋于无限的各 种手势和动作来。另外，有些物体还会因为不同个体而呈现出不同或者相似的 形状。比如，两个不同的人可以有相似的表情。除了人的个体差异导致外观不 同或表情差异引起形状改变以外，其他因素，如三维空间的位置，光线影响以 及这些因素共同效果都可以引起形状的变形或变化。 3 . 2 . 2 用点分布模型来描述形状 对于柔性物体，我们建立的模型首先必须可以描述物体各种形状的典型变 化。为了使模型能做到这点，即能够捕捉住物体的典型变化，我们收集了物体 的各种不同的图像放在一起，并且假定该物体己经表现出了各种不同的可能的 变化的方式， 这样的一组图像的集合被称作训练集。 收集关于形状变化的信息， 需要图像中相应的点的位置等信息。这样的信息的获取我们使用一组标定点来 完成的，这些点可以呈现图像所代表的每个形状。这组标定点的数量应该足够 第三章 活动形状模型 多，不但可以呈现整个形状的全貌，并且还要能够对需要表现的细节给予全面 的刻画。这样一来，每个形状将可以通过一组完整的标定点来描述。特别强调 的事， 标定点的数量主要是取决于对象的复杂程度和形状细节需要表现的程度。 于是，这种标定出来的点集就可以用来描述形状了，并且它的典型变化是 基于训练集中每个标定点的位置的变化。同时，每个标定点在图象空间中就有 了一定的分布。我们就是要模型化出这些标定点的变化的分布。因此我们把这 样的模型称为点分布模型 ( p d m- p o in t d i s t r ib u t i o n m o d e l ) 13 1 。 就像前面讲到 的，要得到点分布模型，我们需要一个包含着物体各种变化形式的一组图像集 合，同时我们还要通过在每幅图像上标定标定点的方式来呈现各图像中物体的 形状信息。接着为了得到对形状变化的准确的描述，还要作进一步处理，就是 对训练集中各个不同的图像中的当前标定好的形状作归一标准化处理。最后一 步，要最终得到建立点分布模型，当然还要学习各个标定点的变化信息，并且 加以归纳总结，最后得到一个简洁的表达形式。下面就对这些步骤进行详细的 描述。 下面我们将介绍得到训练集图像中某个具有形状变化典型形式的物体的点 分布模型所需要的一般步骤。第一步就是标定训练集中的所有形状，然后将标 定后的形状标准化，最后从标准化形状集合中提取出形状变化的统计规律。这 里假设训练集中有 n幅图像。 3 . 2 .2 . 1 标定训练集 在对训练集中的形状进行标定之前，我们应该决定标定点的数量，使其能 够足够表现形状的全貌以及细节。假设标定点的数量为n 。对于训练集中每幅 图像我们通过目 测确定出每个点在形状中的位置。这个对训练集中的每幅图像 决定标定点在形状中位置的过程就称为训练集的标定。能够准确甚至精确的指 定标定点的位置对于下面的整个过程是非常重要的。而且，形状标定时，每一 幅图像之间的相应标定点的位置次序必须要严格一致。比如，对人脸外轮廓的 形状的标定， 第一幅图像是逆时针顺序标定的， 后面的所有图像必须按照一致 的顺序进行，决不能出现顺时针标定，并且每个点在人脸轮廓处的相应位置也 要尽量保持一致，否则，也会影响模型的精确性.总之，标定点的定位应该尽 可能的做到准确，因为，这些点的位置信息最终会影响到点的变化量以至最后 影响点分布模型的建立。 通常，如何选择一个形状中标定点的位置也是有一些原则的3 1 1 . 依赖于具体应用的标定点。比如， 人脸模型中眼睛的中心位置，心脏模 第三章 活动形状模型 型中的顶点位置。 2 . 不依赖于具体应用的标定点。比如，物体在某个方向上的最高点。 3 . 上述两类点的内插点。通常是在上述两类点之间， 沿着一定的路径，等 距离分布的标定点。实际上，这类点通常决定并描述了形状的绝大部分边界。 所以，到此为止，我们对n幅图像的每一幅做出了n 个标定坐标点，换句 话说，也就是对于图像中物体的形状中的每一个标定点， 我们都做出了n个标 定 坐 标 值。 我 们 把 训 练 集 中 第i 幅 图 像中 的 第j 个 标 定 点 的 坐 标 记 为 ( x y , y y ) , 并用向量来表示训练集中第i 幅图像中形状的n 个标定点，记作， x ; = x ,o , y ,o , x n , y n 二 ， x_一 l ， 夕 in 一 。 t ( 式 3 - 1 ) 这里，1 廷i 廷n。 3 . 2 . 2 . 2训练集的标准化 通过对训练集的标定，我们得到一组向量的集合x ; ，由n个向量组成，其 中1 y z r - l l( 式3 - 3 ) 其中， 每个向 量所包 含的 元 素是n 个 标定点的( x , y ) 坐标 值。 下 面， 我 们要 求出 以下三个参数: 第三音 活动形状模型 1 .旋转角度:b o 2 .缩放因子:s o 3 . 位 移 量 的 二 维 分 量 :( t x , r y ) o 这些参 数就是 我们 将x z 标准化到x . 的 主要参 数。 利 用下式 s =m ( s , b ) x 2 + t( 式3 - 4 ) 将x : 映射到z 2 ， 得到， x 2 = p 2 o 1 y 2 0 1 x 2 n 沙 2 1 ， 二 ， x k , 夕 2 k e . . . ， x 2 (n - d 夕 2 (卜 1) t2 (n - 1)( 式3 - 5 ) 其中，m( s 刀 )xx z 的旋转变换和尺度变换的结果。t = t , ， t y , i s ， t y ， . . . ， t s , t y 是 是的x 2 的 位移结果， 是一个长度为2 n 的向 量 于是， 对于代表形状的两个向 量x ， 和z , 在二维空间里各代表一个点， 它们 的加权的距离为: d 恳 二 w 2w os ( x 20 一 x o ) 2 + k 2 o y ( y 2。 一 y io ) 2 + w i ( x 2 ， 一 x ) ， 十 w 乙 (y 2 ， 一 ， n ) 2 + + 嵘- 1)二 ( x 2 (n - i) 一 x i(d - l ) ) 2 + 嵘- i)y ( y 2 (n - 1) 一 y i(n - 1) ) 2 ( 式3 - 6 ) 用矩阵形式表示为 d i5 = ( z 一 x i ) t w w ( z 2 一 x ( ) ( 式 3 - 7 ) 其中， w = d i a g ( w 。 二 ， w o y , w lx , w ly , . . w ( 。 一 、) - , x ( . - t ) r 这时，将式 ( 式 3 - 8 ) x ,=m( s , 9 ) x 2 +t 代入得 d 恳 一 ( m ( s , b ) x , + t 一 x i ) w tw ( m ( s , b ) x 2 + t - x i )( 式3 - 9 ) 第三章 活动形状模型 下面，我们首先拿一个简单的二维向 量来举例，将上面的公式具体化，然 后 逐 步 一 般 化 ， 从 而 推 导 出 更 简 化 的 两 点 的 距 离 d 122 。 例 如 ， 以 最 简 单 的 二 维 向 量( x 2 k y 2 k ) 为 #f# lli ， 有 8 s m -一 门.!ij k压 ，乙，卜 汽x气少 rllll. s c o s ( b ) s s i n ( b ) 一 s s i n ( b ) s c o s ( b ) ( 式3 - 1 0 ) ，lesesesesesesj 万y r.es.l + 11.j xy 一!.l 一一ij r卜.几1.l 一- 令a . = s c o s ( b ) , a ; 二 s s i n 归 ) ， 于 是 上 式 化 简 为， 忿 2k ) 一 a . l y 2 k j l a y ( 式3 - 1 1 ) + 气yzk 鸿气 所以，对于一般向量 x 2 = 2 0 , y 2 0 , x 2 1 , 少 2 1 , . . . x 2 k + y 2 k ， 二 、 交 2 n 一 ，) ， 夕 2 (卜 、) t( 式3 - 1 2 ) 我们可以根据上式推出一般表达形式， 飞.|1一 a , x 2 o 一 a y y 2