（信号与信息处理专业论文）基于支撑向量回归的画像—照片幻象技术研究.pdf

摘要 摘要 在实际生活中 人脸识别已经得到了越来越多的应用 人脸识别一个很重要 的方向是人脸画像 照片识别 由于人脸画像和照片结构 纹理和表达方式的差异 人脸画像 照片识别很大程度上依赖于人脸画像 照片的幻象技术 本文中提到的人 脸画像 照片幻象技术包括人脸画像一照片合成技术和人脸画像 照片增强技术 这 两种技术都可以提高合成的伪画像 伪照片的质量 从而在画像 照片识别中提高识 别率 因此 人脸画像 照片幻象技术的研究具有重要意义 本文首先提出了基于支撑向量回归的人脸画像 照片合成算法 对已经配准过 的图像 该算法采用监督和非监督相结合的方法进行画像 照片合成 兼顾了合成 图像的质量和算法的复杂度 实验结果表明 该算法在画像一照片识别和主观质量 上都取得了较好的结果 其次 针对传统的人脸画像一照片合成算法存在的模糊效应和块效应 本文提 出了基于支撑向量回归的人脸画像 照片增强算法 该算法采用初始估计和高频细 节相叠加的方法 能够在增强图像有效细节信息的同时使图像更加清晰 实验证 明 该算法在画像 照片识别和主观质量上都有很好的结果 最后 针对大量图像的质量评价 本文提出了人脸伪画像 伪照片客观质量评 价方法 人脸伪画像 伪照片的客观质量评价从全参考质量评价和无参考质量评价 两个方面进行 全参考质量评价采用已有的信息保真度准则 v i f 无参考质量评价 除了评价图像的整体质量 还要评价眼睛鼻子等细节部分 因此无参考质量评价 方法采用整体特征和细节特征相融合的方法 实验首先说明了无参考质量评价方 法的有效性 然后验证了基于支撑向量回归的人脸画像 照片合成算法和增强算法 的有效性 关键词 支撑向量回归画像一照片合成画像一照片识别质量评价 摘要 a b s t r a c t a b s t r a c t 1 1 1p r a c t i c a la p p l i c a t i o n f a c er e c o 即i t i o ni sb e c o m i n gm o r ea i l dm o r ei m p o 舳t a n df a c es k e t c h p h o t or e c o g l l i t i o nh a u sb e e nan e wb r a n c ho fr e c o g i l i t i o nt e c l l i l o l o g y d u et 0s i g i l i f i c a l l td i 腩r e n c e sb e t w e e np h o t o sa n ds k e t c h e si 芏lt e x t u r e s t m c t u r ea n d i n f 0 衄a t i o n e x p r e s s i o n f a c e s k e t c h p h o t or e c o 驴i t i o nd e p e n d sh e a v i l y o nf a c e s k e t c h p h o t oh a l l u c i n a t i o n f a c es k e t c h p h o t oh a l l u c i n a t i o ni nm i sp a p e rr e f e r st of a c e s k e t c h p h o t os y n t h e s i sa i l df a c es k e t c h p h o t oe r 山a n c e m e n t w i l i c hc a ni m p r o v em e q 吼l 时o fp s e u d o s k e t c ha n dp s e u d o p h o t oa 1 1 di n c r e a l s et h er e c o 鲥t i o nr a t ei nf a c e s k e t c h p h o t 0r e c o g i l i t i o ne x p e r i m e n t t h e r e f o r e r e s e a r c ho ns k e t c h p h o t oh a l l u c i n a t i o n i so f 铲e a ti m p o r t 锄c e f i r s to fa l l mt h i sp a p e ran e wm e t h o do ff k es k e t c h p h o t os y n t h e s i sb a s e do n s u p p o r t v e c t o rr e g r e s s i o ni sp r e s e n t e d t h i sa l g o r i t l l i nc o m b i n e ss u p e i s e dm e t h o d 证t 1 1 u i l s u p e r v i s e dm e t h o dt 0s y n m e s i z ep s e u d o s k e t c ha i l dp s e u d o p h o t o 耵h j c ht a l e si n t o a c c o u n tb o mt h eq u a l 时o fs 皿h e s i z e di m a g ea i l dt h ec o m p l e x 时o ft h ea l g o r i t l l i l l t h e e x p e r i m e n t a lr e s u l t sd e m o i l s t r a t et l l a t t l l ep r o p o s e dm e n l o dc a i la c m e v es i 9 1 1 i f i c a n t i m p r o v e m e n to nb o t l lf i a c es k e t c h p h o t or e c o g l l i t i o na n dp e f c e p t u a lq u a l i 够 f u n h e n n o r e t 0s o l v et h ep r o b l e m so fb l u r r i n ge 毹c ta 1 1 db l o c k i n ge 仃e c t i i l c o i e n t i o n a li m a g e an e wa l g o r i t h mb a s e do ns u p p o r tv e c t o rr e g r e s s i o ni sp r o p o s e dt o e n h a l l c em er e s u l to ff a c es k e t c h p h o t os 叫h e s i s n ef i 砌s y n t h e s i z e di i l l a g ei s o b t a i n e db yc o m b 砌n gm e t i a le s t i i i l a t e 锄dt l l es v rb a s e d1 1 i 曲舭q u e n c y i 幽m a t i o nt o g e t h e rt 0 鼬e re 血a l l c e 恤q u a l 竹o fs y n t h e s i z e di m a g e t h ev a l i d i t ro f t l l e p r o p o s e ds 仃a t e g yw a u sp r o v e db yf k es k e t c h p h o t or e c o g l l i t i o n a n dp e r c e p t u a l q u a l i 可 f i i l a l l y a no b j e c ta s s e s s m e n tf o r m a s s i v ef a c e p s e u d o s k e t c h p s e u d o p h o t o i s p r e s e i i t e d t h ep r o p o s e d e v a l u a t i o na l g o r i t h mi n c l u d e s 讹 a s p e c t s f u l l r e f e r e n c e i m a g cq u a l i 锣a s s e s s m e n t 孤dn o r e f e r e n c ei m a g eq 谳i t r 弱s e s s m e n t f u l l r e f e r e n c e q u a l 时a s s e s s m e mi i lt h i sp 职a d o p t st l l ee x i t i n gv i s 砌i 幽咖a t i o nf i d e l 毋 i f h o w e v e r t h en o r e f e r e n c eq u a l i 够嬲s e s s m e n tn e e d st 0c o n s i d e rb o t ht h eo v e r a l lq u a l i t r o ft l l e i i i l a g e a i l dt l l e p a r td l ss u c ha se y e s e a r sa n d s oo n t h e r e f o r e t l l e n o r e f e r e n c em e t h o dc o m b i i l e st h eh o l i s t i cf e a t u r e sa n dl o c a ld e t a i l s t h ee x p e r i m e m r e s u h si n d i c a t et h ee a e c t i v e n e s so fm ep r o p o s e di l o r e f e r e n c em e m o d a i l dt h e nv a l i d a t e t h e s i 咖f i c 锄c e o fm ep r o p o s e df a c e s k e t c h p h o t os 弘n h e s i s 锄d e 1 1 l l a n c e m e n t a l g o r i t l l m s a b s t r a i c t k e y w o r d s s u p p o r tv e c t o r 他g r e s s i o ns k e t c h p h o t os y n t h e s i ss k e t c h p h o t o 托c o g n i t i o nq u a n 锣a s s e s s m e n t 第一章绪论 第一章绪论 1 1 研究背景及意义 随着科技的进步和社会信息化程度的提高 证件和密码等传统的身份验证已 经逐渐不能满足社会发展的需求 快速有效的身份验证显得尤为重要 因此一系 列相关的基于生物特征的识别系统被开发出来 指纹识别 虹膜识别 步态识别 声音识别等都有了一定的发展 与其他生物特征识别相比 人脸识别由于其自然 直接 易于获取的特点取得很大的应用 因而受到了广泛的关注 在刑侦领域中 人脸识别的一个很重要的应用就是人脸画像 照片检索 公安 机关需要在人脸数据库中检索犯罪嫌疑人的照片来获得嫌疑人的身份信息 但是 通常无法获得犯罪嫌疑人的照片 一种解决办法是寻找现场目击证人 通过目击 证人的口述和专业画师的合作来获得嫌疑人的画像 然后用画像到人脸数据库中 去进行人脸画像 照片检索从而确定嫌疑人的信息 然而由于照片和画像的产生机 理 几何结构和纹理等的差异 用现有的人脸识别算法进行人脸画像 照片识别具 有很大的挑战性 一种替代方法是通过缩小照片和画像之间的差距后再进行识别 也就是将画像变换成照片或者将照片变换成画像后然后再进行识别 另外 在娱 乐领域例如p h o t o s h o p 中 人们同样有画像与照片之间转换的需求 我们把由画像 转换成的照片称之为伪照片 把由照片转化成的画像称之为伪画像 因此 伪画 像和伪照片的合成便成了人脸画像 照片合成的关键 而人脸画像 照片幻象技术的 研究为这一问题的解决提供了方法 本文中 人脸画像 照片幻象技术主要是指人 脸画像 照片的合成与增强 通过人脸画像 照片的合成与增强 可以进一步提高人脸画像 照片的检索率 从而更好的服务刑侦案件和安全监控 也可以更好的应用于娱乐等领域 1 2 研究进展及现状 1 2 1 人脸识别的研究进展及现状 人脸识别技术是一种根据人脸视觉特征进行身份鉴定的一种生物特征识别技 术 人脸识别方法早在2 0 世纪6 0 年代就展开了相关研究 主要是欧美以及日本 等国 其中以麻省理工学院和卡耐基梅隆大学的几个多媒体实验室尤为著名 国 内的人脸识别始于2 0 世纪8 0 年代 清华大学 哈尔滨工业大学 中科院等都取 得了一定的成果 1 1 目前的人脸识别方法主要分为以下几类 2 基于支撑向量回归的人脸画像 照片幻象技术研究 1 基于几何特征的方法 基于集合特征的方法是将人脸用一个几何特征向量来表示 2 由于每个人在眼 睛鼻子嘴巴等部件的纹理 结构和几何形状差异很大 所以将这些部件的上述信 息作为人脸的几何特征向量 方法的好坏依赖于集合特征的提取 算法的稳定性 不高 识别率较差 2 基于子空间的方法 基于子空间的方法提出如果不能在人脸较高维的原始空间进行分类 可以将 人脸变换到其他子空间中 从而在该子空间中进一步分类 基于主成分分析 p c a 的子空间方法被称为特征脸方法 3 该方法用人脸梯度向量的协方差矩阵来计算特 征子空间 然后根据特征值的大小排序最终确定特征子空间 而后所有人脸在该 子空间中进行识别 与主成分分析 p c a 不同 线性判别分析 l d a 是通过类内距 离和类间距离来寻找分类所需要的子空间 4 而独立成分分析 i c a 在所有统计量 上去相关 寻找一组相互独立的基 5 1 基于核子空间的方法对子空间的方法也有了 很大的改善 基于子空间的方法由于其能够降维的特性使得算法复杂度相对较低 但识别率一般 3 基于实例学习的方法 基于实例学习的方法以最近邻法和k 近邻法为代表 6 最近邻法是指由待识 别样本的最近样本来确定所属类别 算法简单易执行 k 近邻法是在最近邻的基 础上待识别的样本由最近的k 个样本来确定其所属类别 算法复杂度稍高 但是 鲁棒性比最近邻有所增强 4 基于人工神经网络的方法 基于人工神经网络的方法 7 首先用比较成熟的人脸特征提取方法进行特征提 取 然后用神经网络进行分类器的设计 特征提取方法可以采用比较经典的主成 分分析 p c a 线性判别分析 l d a 等降维方法 神经网络的类型则有多层感知机 m l p 径向基网络 i m f 反向传播网络 h o p f i e l d 网络等 神经网络极其强大 的学习能力 使其可以通过反复学习实现对复杂人脸进行充分拟合 但是神经网 络输入节点的数量过于庞大导致其训练时间较长 因此复杂度比较高 5 基于隐马尔科夫模型的方法 基于隐马尔科夫模型 h m m 的方法是将不同的人脸用不同的h m m 来表征的 一种分类器 8 同一个人由于姿态表情产生的不同序列属于同一个h m m 模型 模 型将人脸从上到下分为头发 额头 眼睛 鼻子和嘴巴5 个区域 而这5 个特征区 域分别对应着5 个隐含的状态 算法通过模型中观测向量所属类型来确定最终测试 人脸的类别 识别率有很大提升 但由于其模型训练须较长时间 其算法复杂度 也较高 6 基于支撑向量机的方法 第一章绪论 3 基于支撑向量机的方法是在统计学习理论的基础上提出来的一种新方法1 9 传 统方法分类是一般只需将数据能够正确分开即可 而支撑向量机的思想是不仅能 将数据正确分开 而且要使分开的距离最大 这样如果用训练数据之外的其他数 据用来测试 还是在一定程度上能够保证分类的准确性 基于支撑向量机的方法 由于其分类是依靠较少的支撑向量 所以其算法复杂度不高 另外由于其兼顾了 分类器的学习能力和推广性 所以其识别率在目前的所有分类器中属于最好的之 一o 7 基于稀疏表示的方法 基于稀疏表示的方法是在压缩感知的基础上建立起来的 1 0 1 该算法的基本思 想是 假设每个人脸都可以用训练数据库中同一个人的其他图片进行表示 而且 不同人形成的图片子空间相互独立 这样每个人都可以用自身的其他人脸图片来 进行线性表示 而对于任意一张人脸测试图片 可以求出它在整个人脸训练数据 库中的稀疏表示系数 然后通过稀疏表示系数来进一步确定人脸测试图片的所属 类别 1 2 2 人脸画像 照片合成的研究进展与现状 虽然人脸识别有了很长时间的发展 但人脸画像与照片的识别却是在9 0 年代 初才开始提出并逐渐发展起来 1 1 1 画像 照片的起始阶段采用简单的自动匹配算法 1 2 1 该算法简单的在原始照片和画像上提取特征 然后对提取的特征各自几何归一 化 最后直接进行识别 由于照片和画像的纹理 结构等差异太大 所以算法需 要改进 认识到检索率的不理想是因为照片和画像的巨大差异引起的 所以需要 将照片和画像转换到同一种信息表达方式下 即将画像转换到照片子空间中或者 是将照片转换到画像子空间中 然后再进行识别 现有的画像一照片生成算法一般 分为以下几类 1 线性的画像 照片生成算法 该类算法的代表是t a n g 等人在2 0 0 2 年提出来的基于主成分分析 p c a 的人脸 画像生成算法 1 3 1 4 l5 1 算法的基本思想是将待转换的照片用训练数据库中一组已 有的照片进行线性表示 然后用线性表示系数与训练库中的相应画像进行组合 生成最终的伪画像 由于该方法在合成的过程中采用了线性组合的方式 所以生 成的伪画像产生了模糊效应 2 近似线性的画像 照片生成算法 这一类算法的代表是l i u 和t a l l g 等人在2 0 0 5 年采用局部线性嵌入思想 l l e 提出来的 1 6 1 考虑到线性关系描述人脸过于简单 提出用局部线性策略来代替非 线性合成 首先 对给定的任意一张照片进行分块 取其中任一小块 可以得到 4 基于支撑向量回归的人脸画像 照片幻象技术研究 其在训练数据库中的最近邻的k 个小块 并且可以得到在最小二乘意义下已取小 块以k 个小块为基的表示系数 其次 上述k 个最近邻小块对应的画像块和生成 的k 个系数线性组合 这样便得到了任取小块对应的伪画像块 由于是分块进行 最终生成的伪画像势必存在块效应 又由于是k 个小块的线性组合 所以最终生 成的伪画像存在模糊效应 3 非线性的画像 照片生成算法 非线性算法中的代表是基于嵌入式隐马尔科夫模型的方法 e h m m 1 7 1 8 1 9 1 该算法在训练照片集和画像集之间利用嵌入式隐马尔科夫模型进行建模 对于测 试集中的任意照片 可以用生成的嵌入式隐马尔科夫模型合成对应的伪画像 该 算法从机器学习的角度来阐述画像 照片之间的非线性关系 更加符合实际情况 但是由于算法本身特点使得合成的伪画像存在很多噪声 综上所述 用非线性算法来进行人脸画像 照片合成具有一定的优越性 另外 线性和非线性算法本身也存在很多缺点 如块效应 模糊效应等 所以可以采用 更好的非线性算法来进行画像 照片合成 也可以针对已有算法的块效应和模糊效 应等做进一步的改进 1 3 论文的主要研究内容及章节安排 本课题在国家自然科学基金项目 6 0 8 3 2 0 0 5 的资助下 对人脸画像 照片幻象 技术进行深入研究 论文中人脸画像 照片幻象技术是指人脸画像 照片合成技术和 人脸画像 照片增强技术 首先结合监督与非监督的方法提出基于支撑向量回归的 人脸画像 照片合成技术 其次针对已合成伪画像 伪照片存在的模糊效应和块效应 等失真 进一步提出了基于支撑向量回归的人脸画像 照片增强技术 用人脸画像 照片幻象技术生成的伪画像和伪照片一方面需要进行人脸画像 照片识别来进行评 价 另一方面我们提出了针对人脸伪画像和伪照片的质量评价方法做进一步的补 充 本文所取得的主要研究成果和创新点如下 1 提出了基于支撑向量回归的人脸画像 照片合成算法 该算法采用监督方法 和非监督方法相结合的策略 监督方法有效利用了配准图像的位置信息 非监督 方法则采用了算法复杂度较低 合成效果较好的支撑向量回归方法 监督和非监 督相结合的方法在考虑到复杂度的情况下有效的利用了位置信息 基于监督的方法本文采用了算法复杂度较低的局部线性嵌入 l l e 方法 对于 人脸面部区域的每一个小块 利用人脸同一位置的其他人脸小块和基于局部线性 嵌入的方法进行表示 由于配准过的人脸在同一位置的相似度比其他位置更好 第一章绪论 5 因此取得了良好的效果 另外非监督的方法采用了支撑向量回归的方法 因为支 撑向量回归的算法复杂度是由其支撑向量决定的 因此与一般非线性方法相比复 杂度较低 另外数据库不是很大的情况下支撑向量回归在小样本问题上也有很大 的优势 实验结果表明 所提算法在识别率和主观感觉上都获得了很好的效果 可以为人脸画像一照片检索和人脸画像一照片之间的相互转换服务 2 考虑到现有的人脸画像一照片生成算法会在细节信息上产生不同程度的丢 失 本文在已有画像 照片生成算法的基础上 进一步提出了基于支撑向量回归的 画像 照片增强算法 该方法一定程度上解决了伪画像 伪照片的块效应 模糊效应 等引起的细节信息丢失问题 该算法首先使用已有的方法生成伪画像 伪照片的初始估计 然后采用支撑向 量回归的方法生成高频信息 在合成高频信息的过程中 采用了k 均值聚类下的 支撑向量回归策略 由于支撑向量回归是基于像素点的合成 因此合成的高频不 存在采用块合成而带来的块效应和模糊效应 实验结果表明 所提算法在识别率 和主观感觉上都获得了很好的效果 3 提出了人脸伪画像 伪照片的质量评价 对于生成的伪画像和伪照片 除了可以 在人脸画像 照片识别中和主观质量上进行评价以外 在对较大的数据库还可以采 用客观质量评价方法 提高质量评价的效率 伪画像 伪照片的质量评价可以采用 全参考质量评价方法和无参考质量评价方法 全参考质量评价方法是对生成的伪画像 伪照片和原始画像 照片的相似度进 行度量 实验中采用已有的信息保真度准则 i f 来进行全参考质量评价 无参考芝 质量评价旨在拟合客观质量评价值和人眼主观相似度 传统的无参考质量评价方 法只评价图像的整体感觉 但对人脸的眼睛鼻子等关键特征的评价却没有体现 因此在传统质量评价的基础上 兼顾整体特征和高频特征 提出了人脸伪画像 伪 照片的无参考质量评价方法 实验结果首先说明了所提无参考质量评价方法的有 效性 然后实验证明了第二章所提人脸画像 照片合成算法和第三章所提人脸画像一 照片增强算法的有效性 4 构建了新人脸画像 照片数据库 由于香港中文大学c u h k 数据库每幅照片只 有一张画像 照片均来自于亚洲人 因此略显单一 本课题组邀请5 位专业画师 对照片数据库绘画相应的画像 形成了 p s 数据库 该数据库共有2 0 0 张照片 每张照片对应有5 张画像 与c u h k 相比 数据更加 丰富 更加有利于人脸画像 照片合成和识别的研究 第三章的基于支撑向量回归 的人脸画像 照片增强和第四章的质量评价在新数据库上进行了实验 实验结果证 明了数据库的可用性 全文共分为五章 本文章节安排如图1 1 所示 具体章节安排如下 6 基于支撑向量回归的人脸画像 照片幻象技术研究 图1 1 本文章节安排图 第一章 阐述了人脸画像 照片幻象技术的研究背景和意义 分别对人脸识别 和人脸画像 照片合成的研究进展和现状做了介绍 最后概述了本论文的创新点和 具体章节安排 第二章 介绍了支撑向量回归方法 结合该方法重点阐述了基于支撑向量回 归的人脸画像 照片合成 该方法结合监督下的局部线性嵌入方法 l l e 和非监督下 的支撑向量回归方法进行合成 实验结果证明了该方法的有效性 第三章 介绍了基于支撑向量回归的人脸画像 照片增强的整体框架 在该框 架的基础上进一步具体介绍增强方法 该方法针对传统方法产生的细节信息丢失 做了进一步增强 实验结果证明了该方法的有效性 第四章 介绍了质量评价的概念及其方法 分析了目前质量评价方法的进展 及其研究现状 在传统的图像质量评价方法的基础上 进一步提出了人脸画像和 照片的质量评价方法 实验结果证明了该方法的有效性 第五章 对本文的内容进行了总结 并对未来工作做了进一步的展望 第二章基于支撑向量回归的人脸画像 照片合成算法 第二章基于支撑向量回归的人脸画像一照片合成算法 2 1 引言 人脸画像一照片合成针对合成过程中是否采用配准过的位置信息分为基于监督 的方法和基于非监督的方法 基于监督的方法主要是针对数据库中的所有照片和 画像对面部器官是配准过的 例如香港中文大学c u h ks t i l d e n t 数据库i z o j 由于数 据库中画像 照片是配准过的 因此每个人脸的某一部位的合成可以通过其他照片 的相同部位来完成 这种通过位置来辅助完成的合成称为基于监督的合成 但是 由于一张人脸在面部像素是可以对齐的 但是其他位置比如说头发是没有办法对 齐的 特别是头发与面部的临界处室没有办法对齐的 因此除了对齐的器官区域 以外的合成需要通过非监督的合成来完成 合成示意图如图2 1 所示 图2 1 监督和非监督方法合成示意图 由于基于监督的合成本身的合成效果很好 我们可以采用一张比较简单的线 性监督方法来进行面部区域的合成 而非面部区域的合成由于没有监督的信息 因此需要采用一种合成效果比较好的非线性方法来进行 非线性方法中基于嵌入 式隐马尔可夫模型的方法 1 7 1 8 1 9 获得了很大的成功 与基于嵌入式隐马尔可夫模 型合成的方法相比 首先基于支撑向量回归 2 1 的方法由于其拟合是依靠支撑向量 点来进行的 因此计算复杂度偏低 另外小样本上的合成是支撑向量回归的另外 一个优势 下面从基于支撑向量回归的理论出发 详细介绍基于监督方法和非监 督方法相结合的人脸画像 照片合成 本章安排如下 首先 2 2 节介绍了支撑向量回归模型 然后2 3 节详细阐述了 8 基于支撑向量回归的人脸画像 照片幻象技术研究 基于支撑向量回归模型的人脸画像 照片合成 2 4 节给出了本章算法的实验结果并 且与经典方法进行了对比 最后对本章内容进行小结 2 2 支撑向量回归模型研究 2 2 1 支撑向量回归的基本模型 给定训练集中的一组数据眠 y x m cx 尺 其中x 表示d 维实数空 间 月表示一维实数空间 支撑向量回归的基本思想是需要找一个函数 g 在误 差最小的情况下拟合厂g 和y 待1 同时要求厂g 越光滑越好 简单起见 开始 g 采用以下形式 厂g 访 i 6 访 x 舌 r 2 1 其中 代表空间x 中的点积 2 1 中厂g 的光滑性意味着要寻找一个尽量小的 访 这可以通过使访的范数最小化实现 例如使俐1 2 厩功最小化 因此 这个 简单的支撑向量回归问题可以简化为下面的二次优化问题 幽抑2 旺腻鬻曩 q 2 2 2 中函数厂g 允许的误差最大为 这里误差s 采用的是g 不敏感损失函数 但 有时并非所有的点误差都在 范围内 因此加一些惩罚参数 带有的惩罚项的二次 优化问题变为 m i n 丢0 吲1 2 c g 考 p 一 访 置 一6 2 3 豇 访 置 6 一y g 旧 考 o 其中惩罚系数c 用来决定函数厂g 的光滑性和误差s 之间的平衡 2 2 2 支撑向量回归模型中访的求解 2 3 的模型可以转化为如下问题 第二章基于支撑向量回归的人脸画像 照片合成算法 9 三 珈2 c 喜g 州冉喜 叩 纠 一圭口 g 考 一只 见置 6 2 4 一圭a 乓 考 少 一 碗置 一6 其中叩 叩 口 a 是拉格朗日系数 并且必须满足 7 7 i 叩 口j a o 盖 喜g 挑 笔一缸l k 0 dw了i 要 cq 飞 o 罢 c 一口 一叩 o 将 2 5 2 6 2 7 2 8 2 9 代入 2 4 中 问题便转化为 m a x 幻 1 i 一导圭g 一a k 一a 施一 l s 圭q a 小圭y q 一a 旺圭q a o a o c l 2 1 0 可以求解口 a 因此由 2 7 可得 将 2 1 1 代入 2 1 中得 访 圭q 一仅精 2 5 2 6 2 7 2 8 2 9 2 1 0 2 1 1 厂g 壹q 一a 欺量 i 地 2 1 2 2 2 3 支撑向量回归模型中6 的求解 根据k k t 条件 满足 2 1 0 的解需满足 1 0 基于支撑向量回归的人脸画像 照片幻象技术研究 根据 2 1 3 分析可得 a g 考 一 见墨 6 o g 专 一 死霉 一6 o 2 1 3 c 一口f 旁f o c 一位鹰 o 三盘0 i 鬈紫茗三劣 m a x y 一 见霉 k o 或a 第二章基于支撑向量回归的人脸画像 照片合成算法 1 l 2 3 基于支撑向量回归的画像 照片合成 基于上述的支撑向量回归模型 该算法采用监督和非监督相结合的方法 非 面部区域采用非监督的支撑向量回归方法来进行 面部区域采用监督的线性方法一 基于局部线性嵌入 l l e 的人脸画像 照片合成方法i l 引 然后将两种方法合成的 图片的缝合处采用线性插值的方法结合 最后得到完整的伪画像或伪照片 由人 脸照片生成伪画像和由人脸画像生成伪照片的过程是类似的 下面以由人脸照片 生成伪画像为例介绍算法的完整过程 2 3 1 基于支撑向量回归的非面部区域合成 给定一组照片 画像集作为支撑向量回归的训练集 一种训练的方法是在每对 相应的人脸画像 照片之间训练生成一个支撑向量回归模型 然后任意测试一张人 脸照片 画像 求出训练集中最近邻的人脸照片 画像 用训练集生成的相应的支撑 向量回归模型来生成最终的伪画像 伪照片 但是由于人脸的复杂性 在训练集中 找出测试图片的最近邻图片的相似度很低 需要将画像 照片合成分块来做i z 2 j 具 体框图如图2 2 所示 图2 2 基于支撑向量回归的非面部区域合成 假定训练画像 照片集为娩 墨 r 墨 尺 江1 k 首先将人脸照片集 中的每张照片只分块生成r 个相互重叠的小块耳 其中r 1 丁 然后以每个小块 形成的向量为特征进行聚类 聚类方法在不影响合成效果并且考虑计算复杂度的 1 2 基于支撑向量回归的人脸画像一照片幻象技术研究 情况下 采用k 均值聚类将k 丁个照片块聚成m 个照片块集己 朋 1 m 其 中己 巧 1 帆 同样 将训练集中的画像按照片同样的方法进行分块 然后k 奉丁个画像块按对应的照片块生成m 个画像块集s 册 1 m 其中 s 俗二 1 在照片块集p 卅 m 1 m 和画像块集s 朋 l m 的对 应集合之间训练生成m 个支撑向量回归模型s 职 肌 1 m 在合成阶段 从测 试集里选任意一张照片尸限 1 三 将照片p 按每次移动一个像素进行分块 p 尸 f l f 对尸 中的每个照片小块爿 我们照片块集己 所 1 m 中寻找 一个最近邻的照片块集 最近邻的照片块集对应有最近邻的支撑向量回归模型 照片块p 在这个支撑向量回归模型的作用下得到对应的画像块s 生成所有的照 片小块对应的画像块 将所有画像小块组合起来最后生成照片p 对应的伪画像s 然后从合成的伪画像中提取非面部区域 2 3 2 基于局部线性嵌入的面部区域合成 局部线性嵌入算法是一种非线性降维技术 2 3 1 该方法假设高维空间中的数据可 以用嵌入在其中的低维流形表示 高维空间中数据的局部线性关系在低维空间中 也可以保持 即局部线性算法是高维数据的低维线性表示 在非线性流形的曲率 不太大时 可用局部线性超平面代替非线性流形 算法主要思想分三个步骤 1 寻找每个样本z 的最近的k 个近邻点 2 根据每个样本的k 个近邻点计算局部重建矩阵形 即对于每个置 用k 个近 邻点及其权值形 对每个x 进行重构 并且使重构误差最小 权值 说明第歹个数 据点对重构第f 个数据点所做的贡献 重构误差可以用以下函数来衡量 i1 2 g 缈 l 置一 一l 2 一1 7 其中 需满足 当置不属于一的邻域时 o 以及 1 3 局部线性嵌入假设高维空间中的局部线性关系 1 7 在低维空间也可以保 持 因此对于低维空间中的每一个样本z 同样可以用最近邻的样本 进行重建 即保持如下关系 s 杪 军k 一手 1 1 2 2 1 8 由于局部线性嵌入算法简单易用 可以采用其来进行画像一照片的合成 如果人脸 照片 画像集是经过配准的 进行画像 照片合成时可以采用有监督的局部线性嵌入 算法 同样人脸整体线性表示的误差很大 所以同样先将人脸照片进行分块 任 取测试集中的人脸照片乞 1 三 对e 中的每个照片小块巧 在训练照片集其 第二章基于支撑向量回归的人脸画像 照片合成算法 1 3 他照片的同样位置的小块中寻找最近邻的几个小块耳 通过 2 1 7 的重构 我们可 以计算得到一组重构系数形 然后在训练画像集中选出最近邻照片小块对应的画像 小块s j 通过画像小块s 和重构系数形的线性组合最终得到照片小块p 对应的画 像小块s 对人脸照片每个像素对应的小块都生成对应的画像小块 所有画像小 块生成最终的伪画像s 然后从合成的伪画像中提取面部区域 基于局部线性嵌 入的伪画像合成如图2 3 所示 图2 3 基于局部线性嵌入的面部区域合成 2 3 3 基于支撑向量回归的人脸画像 照片合成 因此对于配准过的人脸画像照片集 结合支撑向量回归和局部线性嵌入的人 脸画像 照片合成 用支撑向量回归合成未配准的非面部区域 用局部线性嵌入合 成配准过的面部区域 最后将两部分区域结合起来 在区域结合处用插值进行平 滑 该算法既利用了支撑向量回归在非监督情况下时间复杂度低并且回归效果好 的特点 也应用时间复杂度低的局部线性嵌入方法进行简单的配准过的面部区域 的合成 该方法在噪声和模糊效应的控制方面做了很好的平衡 基于支撑向量回 归用来减少模糊效应 而监督的局部线性嵌入在噪声很低的情况下模糊效应也得 到了适当的控制 因此效果良好 算法示意图如前面图2 1 所示 2 4 实验结果与分析 为验证本章提出的基于支撑向量回归的画像 照片合成方法在配准过的照片 画像集上的有效性 本节首先从主观质量和识别率两方面来进行质量评价 并与 基于局部线性嵌入的人脸画像 照片合成 1 6 1 基于嵌入式隐马尔科夫模型的人脸画 像 照片合成进行比较 1 刀 18 1 9 识别率采用基于稀疏表示的人脸识别方法 1 0 1 本章 采用的数据库是香港中文大学的c 咖 数据库刚 该数据库包含1 8 8 对人脸画像 1 4 基于支撑向量回归的人脸画像一照片幻象技术研究 照片 数据库中所有画像 照片对都是经过配准的 所有照片 画像对都是在正常 光照和自然表情下的正脸照片 画像对 而且在几何和灰度上都进行过归一化 参 2 4 1 人脸画像 照片合成实验 在实验中 所有的照片和画像大小都是6 4 6 4 1 8 8 对人脸画像 照片中 8 8 对人 脸画像 照片做训练 即k 为8 8 另外的1 0 0 对人脸画像 照片做测试 即三为1 0 0 基于支撑向量回归的非面部区域合成的块大小为7 7 重叠区域为6 6 因此一 张6 4 6 4 的图片可以分成的块数为4 0 9 6 块 实验中聚类的数目m 为2 5 基于局部 线性嵌入 l l e 的面部区域合成采用的块大小为9 9 重叠区域为5 5 实验中采 用的支撑向量回归工具是林智仁的l i b s v m 2 4 在做支撑向量回归过程中 核函数 采用的是径向基核函数 参数c 和g 采用l i b s v m 中的参数寻优工具包进行求解 图2 4 显示了本章所提基于支撑向量回归的人脸画像 照片合成与传统方法的 比较 2 4 a 是c u h k 数据库中的原始照片 图2 4 b 是c u h k 数据库中的原始画像 图2 4 c 为由局部线性嵌入方法 l l e 生成的伪画像 图2 4 d 为由嵌入式隐马尔科 夫模型 e h m m 生成的伪画像 图2 4 e 为本节提出的基于支撑向量回归的人脸画 像 照片合成算法合成的伪画像 可以看出图2 4 e 比2 4 c 和2 4 d 更加清晰 其中眼 睛鼻子嘴巴等关键特征特别明显 从而证明了本章算法在主观质量上的优越性 一n 一一一 翻e i 麓羲溺2 7 肇 旃 爹禳i擎 一一 a b c d e 图2 4 a 原始照片 b 原始画像 c 基于l l e 的伪画像 d 基于e m m 的伪画像 e 本章算法 的伪画像 同样 图2 5 a 是c u h k 数据库中的原始照片 图2 5 是c 唧 数据库中的原 始画像 图2 5 c 为由局部线性嵌入方法 l l e 生成的伪照片 图2 5 d 为由嵌入式 隐马尔科夫模型 e 玎 田生成的伪照片 图2 5 e 为本节提出的基于支撑向量回归 n 一o 一 e qq 第二章基于支撑向量回归的人脸画像 照片合成算法 1 5 的人脸画像 照片合成算法合成的伪照片 可以看出图2 5 e 比2 5 c 和2 5 d 更加清 晰 主观感觉更好 舟na i 爨一 麟荔 麓觏鞔滋m 毒 鬻 爹 褊缫麟 i 德 黝 a 两i 内两两 忿 主蠢i 爻 茏鬓i攀奠 基藜 奠霹 一j 聋 鼍 i 零 1 麓 一 麓 瀵 絮 i毪 3 mh 艄 i a b c d e 图2 5 a 原始照片 b 原始画像 c 基于l l e 的伪照片 d 基于e m i m 的伪照片 e 本章算法生 成的伪照片 2 4 2 人脸画像 照片识别实验 人脸画像 照片识别采用的是基于稀疏表示的人脸识别方法 l 稀疏表示的基 本思想是用若干图片的线性组合来表示一个信号的绝大多数信息 对应于人脸画 像 照片识别 测试集中每一张画像 照片都可以用若干画像 照片的线性组合表示 即每一张画像或者照片都可以表示为一组系数 利用这组系数的欧式距离我们进 行人脸画像 照片识别 基于人脸画像一照片的识别可以采用两种方法 一种是基于 伪画像的人脸画像 照片识别 即用伪画像作为训练字典 然后用画像作为测试数 据 另一种方法是基于伪照片的人脸画像 照片识别 即用照片作为训练字典 然 后用生成的伪照片作为测试数据 基于伪画像的人脸画像 照片识别首先要将数据库中所有的照片生成对应的伪 画像 然后用犯罪嫌疑人的画像在伪画像数据库中进行检索 识别率如表2 1 所示 表2 1 基于伪画像的人脸画像 照片识别 合成算法类型 l l ee h m ms v r 识别率 1 0 0 l o o 1 0 0 基于伪照片的人脸画像 照片识别首先要将犯罪嫌疑人的画像生成对应的伪照 片 然后用伪照片到照片数据库中去检索 识别率如表2 2 所示 1 6 基于支撑向量回归的人脸画像 照片幻象技术研究 表2 2 基于伪照片的人脸画像 照片识别 合成算法类型 l l ee h m ms v r 识别率 8 2 1 0 0 1 0 0 2 5 本章小结 本章的算法主要是针对配准过的数据库 本章采用监督和非监督相结合的方 法 首先通过非监督下的基于支撑向量回归方法生成人脸非面部区域 然后采用 监督下的局部线性嵌入方法生成人脸面部区域 最后将面部区域和非面部区域结 合起来生成最终的伪画像或者是伪照片 该方法利用了配准情况下面部区域的位 置信息较好的合成人脸细节 同时采用支撑向量回归的方法很好的合成了非面部 区域 实验结果表明 所提的算法在主观感觉和识别率方面都取得较好的效果 第三章基于支撑向量回归的人脸画像 照片增强算法 1 7 第三章基于支撑向量回归的人脸画像 照片增强算法 3 1 引言 线性方法中比较有效的是基于局部线性嵌入 l l e 的人脸画像一照片合成方 法 该算法由于其加权平均的特性产生的噪声很少 但是其合成图片过于模糊 作为非线性方法的代表 基于嵌入式隐马尔科夫模型 e h m m 的人脸画像 照片合 成的方法由于也需要分块进行合成 最后所有块进行结合时 重叠部分也要做平 均处理 合成图片也会产生一定程度模糊 如果需要对合成图片进行进一步的锐 化 用现有的图片增强方法一定程度上可以使图片更加清晰 但是另一方面 增 强后的图片会丢失或者添加很多冗余信息 因为增强方法本身只是从图片的清晰 度而非图片内容考虑图片的效果 这样在进行人脸画像 照片合成后进行识别时 识别率很低 因此 需要提出一种基于内容的人脸画像 照片增强算法 在提高生 成图片的质量的同时 保证损失或者添加的冗余信息尽可能少 基于支撑向量回归的人脸画像 照片增强算法首先采用一种传统的人脸画像 照片合成算法生成测试图片的初始估计 然后用支撑向量回归的方法进行细节信 息的进一步补充 一种合理的解释为 根据拉格朗日中值定理 一个函数可以用 在某一点的初始估计和一阶梯度信息近似表示出来 因此算法的关键就是给出一 个合理的人脸画像 照片的高频信息估计方法 本章采用基于支撑向量回归的方法 进行高频信息估计是因为支撑向量回归的方法合成图片时是逐点形成的 因此不 会产生模糊效应 本章的内容对数据库没有限制 方法在香港中文大学的c u h k 数据库和本实验室自己建立的v i p s 数据库上都验证了方法的有效性 另外 由于 支撑向量回归本身在小样本问题上的优越性 当数据库比较小时效果更加明显 由于伪画像和伪照片的生成过程是相似的 下面的算法仍以伪画像的生成和增强 过程为例进行介绍 本章安排如下 首先 3 2 节介绍了基于嵌入式隐马尔科夫模型的人脸画像 照片初始估计 然后3 3 节详细阐述了基于支撑向量回归模型的人脸画像一照片增 强 3 4 节给出了增强算法在c u h k 数据库上和v i p s 数据库上的实验结果 最后 对本章内容进行小结 3 2 人脸画像 照片的初始估计 人脸画像 照片的合成包括线性和非线性的很多方法 为体现本章算法的有效 性 人脸画像 照片的初始估计采用两种方法进行 一种是线性的局部线性嵌入 1 8 基于支撑向量回归的人脸画像 照片幻象技术研究 l l e 方法 1 6 1 另一种是非线性的嵌入式隐马尔科夫 e h m m 方法 1 9 1 下面本节主 要介绍基于嵌入式隐马尔科夫模型 e h m m 和基于局部线性嵌入 l l e 的人脸画像 一照片生成方法 3 2 1 嵌入式隐马尔科夫模型介绍 嵌入式隐马尔科夫模型 e h m m 是由垂直方向的一组主隐马尔科夫模型 h m m 和水平方向的多组子隐马尔科夫模型 h m m 组成 2 5 1 主嵌入式隐马尔科夫 模型称为超状态 子隐马尔科夫模型称为子状态 嵌入式隐马尔科夫模型 e h m m 不同于真正的二维嵌入式隐马尔科夫模型 因为不同的超