（控制理论与控制工程专业论文）基于子空间分析的人脸识别研究.pdf

浙江大学博士学位论文 摘要 这个特殊情况，本文提出了 基于判别公共向 量 ( d c v ) 的单训练样本人脸识别 算法。 该算法基于人脸图像的类内 变化基本相似这个假设，采用辅助数据集 ( g e n e ri c s e t ) 计算类内散度矩阵， 从而估计单样本人脸的 类内 差异， 使得d c v 算法在单训练样本条件下依然保持有效。 关键词:人脸子空间;流形学习;基于图像矩阵的数据表示模型;非线性核 映射:单训练样本 浙江大学博十学位论文ab s t r a c t ab s t r a c t f a c e re c o g n it i o n i s o n e o f t h e i m p o r ta n t b i o m e t r i c i d e n t i fi c a t i o n t e c h n o l o g i e s . t h e m a i n r e s e a r c h t o p i c o n f a c e re c o g n i t i o n i s h o w t o m a k e c o m p u t e r i d e n t i f y a s p e c i f i c p e r s o n . t h e k e y i s s u e o f a s u c c e s s f u l f a c e r e c o g n i t i o n a p p r o a c h i s h o w t o e x t r a c t d i s c r i m i n a n t f e a t u re s fr o m a f a c e i m a g e . ma n y f e a t u re e x t r a c t i o n m e t h o d s h a v e b e e n p r o p o s e d . a m o n g t h e m t h e s u b s p a c e m e t h o d s h a v e b e e n t h e m o s t p o p u l a r a p p r o a c h o w i n g t o t h e i r a p p e a l i n g p r o p e r ti e s , s u c h a s l o w t i m e - c o n s u m i n g , g o o d p e r f o r m a n c e o n e x p re s s i o n a n d s e p a r a t i o n . t h i s d i s s e r ta t i o n f o c u s e s o n t h e f e a t u r e e x t r a c t i o n t e c h n o l o g i e s b a s e d o n s u b s p a c e m e t h o d s . t h e c o n t r i b u t io n s o f t h e d i s s e r t a t i o n a r e : 1 ) t h e f e a t u r e s e x t r a c t e d w it h i m p c a a l g o r ith m h a v e v e ry h i g h d im e n s i o n a l i ty . t o o v e r c o m e t h i s s h o r tc o m i n g , t w o - d i r e c t i o n i m p c a ( 2 d i m p c a ) w a s p r o p o s e d . 2 d i m p c a p e r f o r m s i mp c a t w i c e : o n e i n h o r i z o n t a l d i r e c t i o n a n d t h e o t h e r i n v e r t i c a l d i r e c t i o n . 2 d i mp c a n o t o n l y h a s g o o d p e r f o r m a n c e , b u t a l s o re d u c e s t h e f e a t u r e d i m e n s i o n a l i ty . 2 ) c o m b i n g t h e i m a g e m a t r i x m o d e l a n d l p p , a n e w f a c e r e c o g n it i o n m e t h o d c a l l e d i m a g e m a t r i x l p p ( i m l p p ) w a s p r o p o s e d . l i k e g e n e r a l f a c e r e c o g n i t i o n a l g o r it h m s , l p p i s b a s e d o n v e c t o r s . t h e i r f i r s t t a s k i s t o c o n v e rt i m a g e m a t r i x i n t o v e c t o r . i ml p p w o r k s d i r e c t l y w i t h i m a g e s i n t h e i r n a t i v e s t a t e , i . e . t w o d i m e n s io n a l m a t r i c e s . i m l p p k e e p s t h e r a w s p e c i a l p o s i t i o n in f o r m a t i o n o f p i x e l i n f a c e i m a g e a n d h as g o o d r e c o g n i t i o n r a t e . h o w e v e r , i t i s a t im e - c o n s u m i n g m e t h o d f o r i t s i t e r a t i v e p r o c e s s i n g 3 ) o l p p i s a f a c e re c o g n i t i o n a l g o r i t h m b a s e d o n m a n i f o l d l e a m i n g , a n d i t c a n e x t r a c t n o n l i n e a r o r th o g o n a l f e a t u r e s . h o w e v e r , o l p p i s b a s e d o n i t e r a t i v e p r o c e s s i n g s o t h e a l g o r i t h m i s c o m p l i c a t e d . o l p p b e l o n g s t o u n s u p e r v i s e d m e t h o d s a n d d o e s n o t m a k e f u l l u s e o f t h e l a b e l s i n f o r m a t i o n o f s a m p l e s . i n t h i s d i s s e r t a t i o n , a n e w f a c e r e c o g n i t i o n m e t h o d b a s e d o n o r t h o g o n a l d i s c r i m i n a n t l o c a l i ty p r e s e r v i n g p r o j e c t i o n s ( o d l p p ) w as p r o p o s e d . b ase d o n l p p , o d l p p t a k e s i n t o a c c o u n t t h e 浙江大学博士学位论文 b e t w e e n - c l a s s in f o r m a t i o n , c h a n g e s t h e o b j e c t iv e fi m c t io n , a n d t h e n o r th o g o n a l i z e s t h e b a s i s v e c t o r s o f t h e f a c e s u b s p a c e . e x p e r i m e n t a l r e s u lt s i n d i c a t e d t h e p r o m is i n g p e r f o r m a n c e o f t h e p r o p o s e d m e t h o d . 4 ) c o m b i n g t h e i d e a o f n o n l in e a r k e rn e l m a p p i n g a n d l p p , a n e w f a c e i m a g e f e a t u r e e x t r a c t i o n a n d r e c o g n i t i o n m e t h o d b as e d o n k e rn e l s u p e r v i s e d l o c a l it y p r e s e r v i n g p r o j e c t i o n s ( k s l p p ) w a s p r o p o s e d i n t h i s d i s s e r ta t i o n . k s l p p p r o j e c t s t h e s a m p l e s i n t o h i g h - d i m e n s i o n a l f e a t u r e s p a c e s 勿 s o m e n o n l i n e a r m a p p i n g , c o m b i n e s t h e f a c e m a n i f o l d l o c a l s t r u c t u r e i n f o r m a t io n a n d t h e l a b e l s i n f o r m a t i o n , a n d e x t r a c t s t h e n o n l i n e a r f e a t u r e s o f a f a c e f o r re c o g n i t i o n . t h e e x p e r i m e n t a l re s u l t s s h o w e d t h a t k s l p p h a d g o o d p e r f o r m a n c e f o r f a c e f e a t u r e e x t r a c t i o n a n d r e c o g n i t i o n . 5 ) o n e t r a in i n g s a m p l e p r o b l e m i s t h e c a s e w h i c h w e c a n n o t i g n o r e f o r re a l a p p l i c a t i o n . i n t h i s d i s s e r ta t i o n , w e p r o p o s e d a n a p p r o a c h t o m a k e d c v m e t h o d a p p l i c a b l e w h e n a p e r s o n h as o n l y o n e t r a i n i n g i m a g e . o u r a p p r o a c h i s b as e d o n t h e as s u m p t i o n t h a t h u m a n f a c e s s h a r e s i m i l a r i n t r a p e r s o n a l v a r i a t i o n s . t h e i n t r a p e r s o n a l v a r i a t i o n s o f a t r a i n i n g s e t c a n b e e s t im a t e d fr o m t h e c o l le c t e d g e n e r i c f a c e s e t . k e y w o r d s : f a c e s u b s p a c e ; m a n i f o l d l e a rn i n g ; n o n l i n e a r k e r n e l m a p p i n g ; o n e t r a i n i n g s a m p l e i ma g em a t r i x b a s e d m o d e l ; 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究 成果。 据我 所知， 除了 文中特 别加以 标注 和致谢的地方 外， 论文中 不包含 其 他 人己 经 发 表 或 撰 写 过 的 研 究 成 果 ， 也 不 包 含 为 获 得 - 鱼兰 全 - 或 其 他 教 育 机 构的 学位 或证书 而使用过的 材料。 与 我一同 工 作的同 志对 本研究所做的 任何贡 献 均己在论文中作了明确的说明并表示谢意。 学位论文作者签名:签字日期:年月日 学位论文版权使用授权书 本 学 位 论 文 作 者 完 全 了 解鱼 -全有 关 保 留 、 使 用 学 位 论 文 的 规定 ， 有权保留 并向 国 家有关 部门或 机构 送交论 文的复印 件和磁盘， 允许论文 被查阅和 借阅 。 本 人 授 权 鱼应左吏可以 将 学 位 论 文 的 全 部 或 部 分 内 容 编 入 有 关 数 据 库 进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名: 导师签名 : 签字日期:年月日签字日期:年月日 学位论文作者毕业后去向: 工作单位: 通讯地址: 电话: 邮编: 第 i 章 绪论 第 1 章 绪论 1 . 1引言 身 份识别是人 们在日 常生活中 经常遇见的一个基本问题，同时又是保障 许多系统 安全运行的 重要前提。 在国家 安全、公安、司法、电 子商务、电子 政务、 保安监控等领域中，都需要准确的身份识别。传统的身份识别方法主 要基于身份标识物品和身份标识知识，形象地说就是“ 主体所拥有 的 ， ( s o m e t h i n g t h e y h a v e ) 和 “ 主 体 所知 道的 ” ( s o m e t h i n g t h e y k n o w ) 。 身 份标识 物品 主要 包括钥匙、 证件、银行卡等， 只要拥有这些物品，就能标识使用者 的身 份; 身 份标识知识主要包括密 码、 用户名、 暗语等， 只要知道这些知识， 同样可以 标识主体的身份。在一些安全性要求更为严格的系统中，往往将这 两 者 结 合 起 来， 例如自 动取款机 ( a t m ) 上要求 用户同时 提供银行 卡和密 码。 随着网 络与 通信技术的飞速发展和人类物理与虚拟活动空间的不断扩大， 现 代社会对于人类自 身身份识别的准确性、安全性和实用性提出了更高要求。 传统的身份识别方法面临严峻的挑战。标识物品容易被伪造或丢失，标识知 识容易被遗忘或记错， 更为严重的是采用传统身份识别方法的系统往往无法 区 分标识 物品的 真正拥有者和取得标识物品的冒 充者，一旦冒 充者获得标识 物品，就可以 拥有相同的权力。 于是人们希望有一种更加可靠的身份识别方法。人们逐渐意识到，需要 识 别 身 份 的 主 体 是 人， 人既 然 在 此， 能 否 利 用 “ 主 体自 身 所具 有的 ” ( s o m e t h in g t h e y are) 一 些生 物 特征 来 进行身 份 识别 呢? 回 答是肯定 的。 人们可能 丢 失 证件 或者 忘记 密码， 但是不 太可能丢失 或者忘记自己 所具有的生物特征， 例如人 脸、 虹膜、 指纹、掌 纹等。生物特征识别技术给方便、 快捷、 准确地进行身 份识别带来了可能。 1 . 2生物特征识别 生物 特征识别 技术 ( b i o m e t ri c i d e n t i f i c a t i o n t e c h n o l o g y ) 或者生 物测定学 ( b i o m e t r i c s ) 是指为了 进行身份识别而采用自 动技术测量主体生理特征或者个 第 i 章 绪论 类方法的基本思想是提取人脸上突出特征 ( 例如眉毛，眼睛，鼻子，嘴巴等) 的相对位置和相对大小作为 特征参数， 再辅以 人脸轮廓的形状信息， 形成特征 向量， 最后利用适当的距离度量和分类方法对特征向量加以分类。 b le d s o e + 0 1 是 最早 研究 人 脸识 别的 学者 之 一， 他以 人脸特征点 的 间 距、比 率等参数为 特征，建成了 一个半自 动的 人脸识别系统， 其缺点是特征点需要 手 动 标 注。 k e l l 3 9 1 的 工 作 主 要 基 于b l e d s o e 的 框 架 ， 他 采 用 一 种 从 上 而 下的 分析方 法自 动提取头部和身体轮廓， 然后运用启发式的方法搜索眼睛、 鼻子、 嘴巴的 位置。 用到的特征有头部的宽度、眼睛之间的距离、头顶到眼睛的距 离、 眼睛到鼻子的 距离以 及眼睛到嘴巴的距离等。 该方法较b le d s o e 方法的最 大 进步 是 在 识 别 过 程当 中 不 需 要 人的 干 预。 b r u n e lli 和p o g g i o (4 0 1利 用改 进的 积 分投影法提取出用欧氏距离表征的3 5 维人脸特征矢量， 包括眉毛厚度、 眉毛 与眼睛中 心之间的 垂直距离、 眉毛弧度的1 1 个描述参数、 嘴宽、 上下嘴唇厚 度及嘴的 垂直位置、 下巴 形状的1 1 个描述参数、 鼻孔位置的 脸宽、 鼻孔与眼 睛中间位置的脸宽等。 y u i l l e 4 1 等人采用了另一种几何特征提取模式，即采用弹性模板 ( d e f o r m a b le t e m p l a t e ) 提 取 眼 睛 和 嘴巴 的 轮 廓。 h u a n g 4 2 1等 人 则 进 一 步 采 用 活 动轮廓模型 ( a c t i v e c o n t o u r m o d e l ) 即s n a k e 模型提取眉毛、 下巴、 鼻孔等不确 定形状。 基于几何特征的人脸识别方法利用的是单纯的人脸几何信息，其优点是 特征比 较直观， 所需的存储空间和时间开销较少;缺点是识别算法的准确度 完全依赖于几何特征的 准确提取，而几何特征会由于光照、遮挡等原因变得 很难准确提取。 人的表情会严重影响五官轮廓和位置， 所以即使准确提取了 几何特征，也会因为特征有较大的变化而导致分类出错。可见基于几何特征 的人脸识别方法稳定性很低， 识别效果差。目 前完全基于几何特征的识别算 法己经不多了，但几何特征仍然可以作为其它特征的有益补充。 1 . 4 . 2基于人工神经网络的人脸识别 所谓人工神经网 络( a r ti f i c i a l n e u r a l n e t w o r k , a n n ) 是一种模仿生物神经 网络行为特征的分布式并行信息处理算法结构的动力学模型。人工神经网络 浙江大学博士学位论文:基于子空间分析的人脸识别研究 由于其固有的分布式运行机制以及对模式的分布式全局存储，可以被用于人 脸识别领域。将人工神经网络应用于人脸识别，一个直观的想法是建立一个 网络， 其中每个神经元对应图像中的一个像素。 然而，由于图像的维数非常 高 ( 一幅普通 1 0 0 x 1 0 0的图像的维数高达 1 0 ,0 0 0 维) ， 直接采用图 像向 量进 行训练很困难。 最早将 人工神经网 络用于人脸识别的 是k o h o n e n 4 3 1 ， 他建 立了 一个采用 关联图的人脸记忆系统，当输入图像含有大量噪声或者有部分遮挡的时候， 也 能 准 确 地 回 忆出 人 脸 。 c o t t r e l l 和f le m i n g 4 4 1提 出 了 一 个 解 决 方 案 ， 他 们引 入了一个自 组织模型， 采用两个神经网络，第一个神经网络用来降维，第二 个用来分类。 然而这种网 络的 识别效果不是 很 理想。 l a w r e n c e 4 5 1 等人采用卷 积神经网络方法进行人脸识别，由于卷积神经网络中集成了相邻像素之间的 相关性信息， 因而在一定程度上具有对图像平移、 旋转和局部变形的不变性， 因 此可以 得到比 较好的 识别结果。 l i n 4 6 1 等 人 提出了 基 于 概率决 策的 人工神 经 网 络方法 ( p r o b a b i l i s t i c d e c i s i o n - b as e d n e u r a l n e t w o r k ) ， 将其 应用于 人脸检测、 眼睛定位以 及人脸识别。其主要思想是采用虚拟 正反例) 样本进行强化和 反强化学习，从而得到较为理想的概率估计结果，并采用模块化的网络结构 加 快网 络的 学习。 j o o 4 71 等 人 提出了 一 种混 合 方 法， 首 先 通 过 主 成 分 分 析 ( p c a ) 方法降维，然后采用r b f神经网络进行分类识别。 总的来说，人工神经网络在特征提取方面并没有特殊的优越性，而且当 类别数量增加时， 人工神经网络会遇到过 拟合 ( o v e r f itt i n g ) e4 s l 和过学习 ( o v e rt r a in i n g ) 4 9 1等问 题 。由 于 针 对 人 脸 识 别的 规 律 和 规 则 进 行 显 性 描 述 是 困 难的，而人工神经网络的自学习能力非常强大，可以通过反复学习的过程获 得对这些规律或规则的隐性表达，因此在提取特征后进行分类识别时人工神 经网络具有得天独厚的优势。 1 . 4 3基于小波特征的人脸识别 小 波分析是目 前 数学上发展 迅速的一 个 新 领 域s o , 5 1 。 近年来小 波 变换由 于 其优良的时频局部性能成为研究者们普遍接受的信号分析处理工具。 在图像处 理和图 像编 解码领域， 小波变换均体现出了良 好的 性能 5 2 -s 5 1 。 小 波 变 化的 实 质 第 i 章 绪论 是对信号用一组不同尺度的带通滤波器进行滤波， 然后将信号分解到不同的频 带上进行分析和处理， 这和人类视觉系统的多通道滤波模型是一致的。因此可 以 考虑 采用小波变换提取人脸图 像的小波 特征( w a v e l e t f e a t u r e ) 进行人脸识别。 很多 情况下， 人们都利用g a b o r 滤波 器提取人脸图片中的 主要特征。 l a d e s 5 6 1 提出 了 一 种叫 动 态链接 结构 ( d y n a m i c l i n k a r c h i t e c t u r e , d l a ) 的 方法。 其基本思 想是 将人 脸图 像 表示 成 标记图 ( l a b e l e d g r a p h ) ， 用标记图 之间 的 相似度来衡量 人脸图像之间的相似度。标记图上的任意顶点均包含一系列经过g a b o r / 、 波变 换提取的 小 波系数的 相 位信息. w i s k o t j 5 ” 将d l a 方法进一 步发 展， 提出了 弹 性束图 匹 配 方 法 ( e l a s t ic b u n c h g r a p h m a t c h in g , e b g m ) 。 该方 法采用适应对象 网格( o b j e c t a d a p t e d g r i d ) 标记图替代规则网格标记图。 标记图上的顶点采用 g a b o r / 、 波变换提取的小波系数的幅值信息，对应与人脸上突出的特征点 ( 如 眼睛、 鼻子、 嘴巴和某些轮廓点等) 。 这些方法采用标记图来表示人脸，同时 标记图上的顶点采用小波特征， 对光照、 角度、尺寸等具有一定的不变性，但 是其计 算复 杂， 耗时 长， 很 难满足实时 性的 要求。 l ie t5 8 1 等 人 提出了 一种采用 小波特征进行人脸识别的新思路。他们首先设计一个母小波和4 0 个g a b o r 滤波 器， 考虑5 个尺度8 个方向。 将输入图像和每一个滤波器进行卷积提取小波特征， 然后将这些小波特征链接起来，再进行降维处理，这样获得最后的识别特征， 如图1 .4 所示。 这个方法对于光照和表情变化鲁棒性较好， 但由 于需要卷积计算， 计算复 杂 度 较高。 g r a c i a l5 91 给出 了 一 个更为 快 速的 方 法， 采 用 对人脸图 像进行 小波包分解提取特征进行识别， 由于该分解可以通过采用硬件实现， 所以 快速 性相对较好。 1 . 4 . 4基于子空间的人脸识别 人脸千变万化， 及其复杂，而且人脸图像的维数很高，想直接显式地表 述人脸特征非常困难。 仔细观察人脸图像，总的来说，正面人脸图像具有对 称性，表面光滑并且具有一定的纹理信息，局部像素之间又具有很强的相关 性。说明人脸图像的像素之间具有很强的冗余性。 如果把人脸图像看成整个 空间的话， 那么每一个人脸样本都是分布在这个空间中的一个“ 点” 。可以 考 虑经过一个映射， 将这些高维人脸空间中的点 投影到另一个低维空间中，去 第 1 章 绪论 识别效果更好， 但是由 于采用迭代算法，计算时间也更长。 2 ) 提出 了 二向 图 像矩阵主成分 分 析 ( t w o- d i r e c t i o n al i m a g e m a t r i x b a s e d p r i n c i p al c o m p o n e n t a n al y s i s , 2 d i m p c a ) 算法. 通过对图像矩阵主成分分析 ( i m a g e m a t r i x b a s e d p r i n c i p a l c o m p o n e n t a n a ly s i s , i m p c a ) 算法的分析，发现 其本质上是针对人脸图像矩阵的行向 量进行主成分分析，即利用的是图像行 向 量的 协方差矩阵， 所以提取的特征维数过高。 2 d i m p c a的基本思想是在水 平和垂直方向 上顺序执行两次i mp c a ， 在保证识别率的前提下， 有效地降低 了特征维数，节省了存储空间。 3 ) 针 对 正 交 保 局 投影 ( o r th o g o n a l l o c al i ty p re s e r v i n g p r o j e c t i o n s , o l p p ) 的 两个缺点: ( 1 ) 采用的是一种迭代方式求取正交向 量， 理论推导烦琐， 计算 复 杂; ( 2 ) 属 于 无 监 督流形 学习 算法， 未能 很 好的 利 用人脸样 本的 类别信息， 提出了 一种 新的 人脸识别算法 一正交判别保局投影( o r th o g o n a l d i s c r i m i n a t e l o c a l i ty p r e s e r v i n g p r o j e c t i o n s , o d l p p ) 。 该算法在目 标函数中 增加类间散布约 束， 使得求解的 特征更具有判别性，同时引 入正交化处理， 避开了o l p p烦 琐的迭代求解过程。 实验结果表明o d l p p 算法具有较好的性能。 4 ) 通过 对 保局投影( l p p ) 的 分析， 发现其可以 转化为只含有输入样本内 积 的 形 式， 进 而 提出 核有监督保局投影( k e rn e l s u p e r v i s e d l o c al i ty p re s e r v i n g p r o j e c t i o n s , k s l p p ) 。 在创建 权图的 时 候， k s l p p 算 法引 入可 调因 子， 有效结 合人脸局部流 形结构信息和样本的类别信息。 k s l p p同时巧妙地利用核映射 将保局投影扩 展到高维 特征空间，充分提取人脸样本的判别特征。结果表明 k s l p p 算法具 有较好的 识别效果。 5 ) 单训 练 样 本问 题是 人脸识别 不可回 避的 一 个 现实问 题。 针对这个特殊 情况， 提出 了 基于 判 别公 共向 量 ( d i s c r i m in a t i v e c o m m o n v e c t o r s , d c v ) 的 单 训 练样本人脸识 别 算法。 该算法基于人脸类内 变化基本相似这个假设，采用辅 助 数 据 集 ( g e n e r i c s e t ) 计算 类内 散 度矩阵， 估计 单样 本 人脸的 类内 差异。 实 验 结果表明，提出的算法具有较好的性能。 1 . 8论文章节安排 全文共分6 章，结构安排如下: 浙江大学博士学位论文:基于子空间分析的人脸识别研究 第一章为绪论，主要介绍了生物特征识别的研究背景，人脸识别的 研究 现状、研究意义、以及前人的研究工作概况。重点叙述了基于子空间的人脸 识别方法。最后简要介绍了本文的研究内容。 第二章提出了两种基于图像矩阵的人脸识别算法，分别为二向图像矩阵 主成分分析( 2 d i m p c a ) 和图 像矩阵保局投影( i m l p p ) ， 并给出了 实验结果和分 析。 第三章介绍了流形学习的主要研究内容和方法，提出了 一种基于流形学 习的 人脸识别算法 一正 交 判别 保局投影 ( o d l p p ) ， 并 给出 实 验 结 果 和 分析。 第四章介绍了非线性核映射，提出了基于核映射的人脸识别算法一核有 监督保局投影( k s l p p ) o 第五章介绍了单训练样本下的人脸识别的困难以及研究意义，并提出一 种新的 单训练样本人脸识别算法， 使得判别公 共向 量 ( d c v ) 方 法在单训练样 本下仍然保持有效。 第六章对全文进行总结，对所提出的算法进行横向比 较，最后对人脸识 别的进一步发展提出了几点展望。 第2 章 基于图像知阵的人脸识别 第2 章 基于图像矩阵的人脸识别 2 . 1引言 如前所述， 基于子空间分析的方法是当前人脸识别领域的一个研究热点， 现 在已 经 涌 现出 很多 人脸识 别 算 法， 例 如 特征 脸 ( e i g e n f a c e ) 66 , f i s h e r 脸 ( f is h e r f a c e ) 6 7 、 拉 普 拉 斯 脸 ( l a p la c i a n f a c e ) 9 1 等。 这些 算 法 虽 然 核 心 思 想 各 异， 但是都属于基于一维向 量表示模型的 算法，也就是说，都需要将二维人脸图 像矩阵按照一定的规则重新组合转化成一维向量的形式，然后将所有一维人 脸向 量组成样本矩阵，并按照一定的 优化准则提取判别特征。基于一维向量 表示模型的 算法有其固有的缺陷: 1 ) 二 维 矩阵 到 一 维向 量的 转 化， 破 坏了 像素之间 原 有的 空间 结 构关系， 可能损失部分重要的空间局部信息。 2 ) 转换后的一维向 量维数过高， 给后续操作带来困 难。 例如人脸图 像分 辨率为1 0 0 x 1 0 0 ，经过转换之后人脸图 像一维向量的维数高达 1 0 , 0 0 0 维， 对 如此高维的向量进行运算，代价是非常高的.而且由于一维向量维数过高， 一般都远远超过训练样本的个数，因此很容易产生模式识别中的 “ 小样本问 题，( s m a l l s a m p l e s i z e , s s s ) . 为了克服基于一维向量表示模型方法的缺陷， 近年来提出了基于二维图像 矩阵 表 示 模型的 方 法。 这 类方法的 主 要 思 想 是 直 接基于 图 像矩阵 ( i m a g e m a t r i x ) 来构造协方差矩阵或散布矩阵.同传统基于向量的协方差矩阵或散布矩阵相 比， 基于二维图像矩阵表示模型的维数要低很多，因此计算复杂度降低，因此 可以 在 很 大 程 度 上 避 免 “ 小 样 本问 题 ，,6 8 1 . y a n g 7 9 , 1 0 9 1等 人 首 先 将图 像 矩阵 的 思 想引 入 主成分分析， 提出了 著名的图 像 矩阵主 成分分析( i m a g e m a t r i x b a s e d p r i n c i p a l c o m p o n e n t a n a l y s i s , i m p c a ) 。 该 方 法直接使 用二 维人脸图 像矩阵 计算 协方差， 求取使得协方差最大的投影方向， 大大降低计算复杂度， 减少了计算 时间。 y e o 1 等人提出了基于二维图像矩阵表示模型的矩阵低秩分解算法 ( g e n e r a li z e d l o w r a n k a p p r o x i m a t i o n m a t r i x , g l r a m ) ， 目 标是寻找正交矩阵l 和 盆 ， 使 得 投 影 后 特征 矩阵 有 最 大 协 方 差。 x io n g u p 和 y a n g 8 1 分 别 提出 了 二维 浙江大学博士学位论文 基于子空间分析的人脸识别研究 使 用拉格朗日 乘子法， 可以 求得满 足式 ( 2 . 1 ) 正 交归 一条件下， 均方 误差e 取得极值的坐标系。 s = 艺a l s a , 一 l , .1 ; (.t a i 一 1 ) ( 2 .4 ) i -d+1 i - d+ l 式( 2 .4 ) 取得极值应满足如下条件， ( s 一 a , i ) a , = 0 , i = d 十 1 , d + 2 , - , d( 2 . 5 ) 可 见， 凡 为 协方 差 矩阵s 的 特征 值，a , 为 其 对 应的 特征向 量。 当 以s 的 特征向量作为坐标系展开随机变量x时，其截断均方误差具有极值性。当仅 d 取 前d 个 坐 标 来 表 示 x 时 ， 其 均 方 误 差 : = 艺a ; , = d+ l 上述分析表明， 当心 + i + 凡 + 2 ， 一， 凡的 总 和 越小， 以 气 , a 2 , ， 一 ， 气作为 坐标 系 展开随机变量x损失的信息越少。同样，兄 越小，对均方误差的贡献也越小， 坐标系中舍弃其对应的特征向量带来的信息损失也越少。因此，一般仅需保 留较大特征值对应的特征向量作为投影轴，这也是主成分的根本意义所在。 特征脸( e i g e n f a c e ) 的核心正是采用p c a算法。 它首先将二维人脸样本拉 伸成 一维向 量， 形成 矩阵x = x , x 2 二j , x e r d . 然后 去 均 值构 建 矩阵 h = x l 一 m x 2 一 m. . . x n 一 m ( 2 . 6 ) 式中.为向量均值，显然协方差矩阵s为 s = 上h h t ( 2 . 乃 由于人脸向量的维数一般很高， 倘若直接对d x d维的协方差矩阵s进行 特征值分解，计算量很大。由奇异值分解定理可知，矩阵h ht 和ht h的特 征 值 相同 。 设 对 应 于 特 征 值入 ，h h ， 和h t h的 特 征 向 量 分 别 为u , 和v , ， 则 有， mi一 1 h v,v i ( 2 . 8 ) 因此可以 通过对n x n维矩阵ht h进行特征值分解来求取h ht 的特征向量。 第2 章 基于图像矩阵的人脸识别 2 3图像矩阵主 成分分析( i mp c a ) 如前所述，基于一维向 量表示模型的算法，首先需要将二维人脸图像矩 阵转化为一维向量。 这样将导致产生一个超高维的向量空间，在这个空间中 求解特征值分解是非常困难的。 一般人脸识别算法都采用p c a算法进行降维。 虽然p c a可以 采用间 接的 方式来降 低计算量， 即先对维数较低的矩阵h hr 进 行特征值分解， 然后再求取协方差矩阵的特征向 量。 但是它终究属于一维向 量表示模型算法，破坏了 像素之间原有的空间结构关系，而这些空间结构关 系对于分类来说很可能是至关重要的。鉴于此，基于二维矩阵表示模型的算 法被提出。 2 3 . 1 ii v i p c a简介 y a n g 7 9 , 1 0 9 1等 人 于2 0 0 2 年 首 先 提出 了 基 于 图 像 矩 阵 主 成 分 分 析 ( i m p c a ) 的人脸识别算法。 该算法克服了 传统p c a需要将人脸图 像矩阵表示成向 量的 缺点，直接应用人脸图像矩阵计算图像总体方差矩阵( i m a g e c o v a ri a n c e m a t ri x ) . 下面给出i m p c a算法的 基本流程。 设 在 输 入 空间 中 有x= i x i i x 2 . . . . i x n ， 表 示 n i y 人 脸图 像 样本， 任意样 本戈的 大 小 为 m x n 维 . 希 望 寻求一 个投 影矩阵 u . 使得 经 过如下的线 性投影将 戈投影到 新的 特征 空 间 中 ， y , = 戈u , i = 1 , 2 , . . . , n ( 2 . 8 ) 这样， 样本 在新的 特征 空 间中 的 表 述为y = ( y ， y 2 ， . . . ， y n ) - 同 p c a 类似， i m p c a 算法通过y 的散布情况来求取投影矩阵u 。 采用如下 的目标函数: j 二 t r a c e ( 凡)( 2 .9 ) 式中s表 示y , 的 协 方 差 矩阵，即 s = y- ( y , 一 y ) ( y , 一 f ) rx ) u ( x , 一 x ) u f ( 2 . 1 0 ) t r a c 表 示 矩阵 的 迹，x为 所有 样本的 均 值矩阵，x 1人 _ =， x n ; = , 浙江大学博士学位论文:基于子空间分析的人脸识别研究 投影向 量 可以 通过最大化目 标函 数( 2 .9 ) 获得， 所以 有 j ( u ) = tr a c e ( s u ) = tr a c e 忆 ( x , - x ) u ( x , 一 x ) u t ) 根据矩阵 理论 1 1 1 2 1 ， 有t r a c e ( , a t ) 二 t r a c e ( a t a ) ， 式 ( 2 . 1 1 ) 可以 写 为 ( 2 . 1 1 ) j ( u ) = tr a c e u t y( x , 一 x ) t ( x , 一 9 ) u 1 ( 2 . 1 2 ) g , = y( x , 一 x ) t ( x , 一 x ) ( 2 . 1 3 ) 称为图像总体方差矩阵( i m a g e 负定矩阵。 m a t r i x ) 。 可以 看到， 叹为 n x n 维的 非 这样最终的最优化目 标函数为 j ( u ) 二 t r a c e ( u t g , u ) ( 2 . 1 4 ) 式 ( 2 . 1 4 ) 称为 广义总体散布准则( g e n e r a l i z e d t o t a l s c a t t e r c r i t e r i o n ) 。 最大 化该 准 则 的 归 一 化 向 量 u o , 称 为 最 佳 投 影向 量 。 同前面介绍的p c a 算法类似，通过引入拉格朗日 算子， 可以证明该最佳投 影向 量就是图 像总体方差矩阵g , 的最大 特征 值所 对 应的 特 征向 量。 一般来说，对于类别比较多的分类问题，仅一个投影向 量不足以包含足够 的 分 类 信 息 ， 可 以 通 过 寻 找 一 组 投 影向 量 考虑图 像 矩 阵戈的 转置 : 杏 x ( i ) 杏 x ( i ) ( x ( i ) 之 ) t - 戈 ( 2 . 2 1 ) 一 x ( i ) u x ( 1 ) 2 1 x ( 0 12 x v ) 21 x ( 1) ,. x ( i ) 2 . 一 ( x ( 1) r ) t ( x ( i ) z ) t - ): .1 x ( i ) , 杏 x ( 1) i x ( i ) _ j -+( x ( i) : ) t 杏 x ( 1) . ( 2 . 2 2 ) 所以有: x ( i ) r = x ( : ) , i = 1 , 2 , .