（应用数学专业论文）素描人脸识别与相关反馈.pdf

中山大学硕士学位论文：素描人脸识别与相关反馈 素描人脸识别与相关反馈 专业：应用数学 硕士生：江永宏 指导老师：阮邦志副教授 赖剑煌教授 摘要 素描人脸识别是根据素描人脸来进行识别，它以公安机关运用素描照片搜索 犯罪嫌疑人为运用背景，因此它具有很强的实用性。但是由于素描人脸图像与真 实人脸图像差异很大，素描人脸识别比较困难，国内外研究该领域的学者和相关 文献较少。而传统的素描人脸识别只从素描人脸图像与真实人脸图像的匹配角度 进行研究，即给出一幅素描图像，如何在一个真实人脸图像数据库中搜索出最相 似的图像出来。传统的工作忽略了一个事实：公安机关搜索犯罪嫌疑人时，需要 证人对犯罪嫌疑候选人进行指证以确定犯罪嫌疑人。相应地，在素描人脸识别困 难的情况下，能否在检索过程中引入人的帮助，即利用交互式学习来改善搜索结 果? 本文研究素描人脸识别，并把有人机交互学习功能的相关匡馈擅盔曼i 型枣 ，、，- ，_ _ _ - ，一 描人脸识别中 理墨生堑筮耋矍丝堡区筮焦：垦鲞垡些塑窒笙墨。 本文的工作主要有三方面：一是对素描人脸识别领域作了一个概述；二是对 相关反馈技术作了一个概述；三是研究基于贝叶斯分类器相关反馈技术在素描人 脸识别中的运用。作者在一个已有的素描人脸识别搜索系统中，进行基王贝叶斯 ，、_ 一。 分类器相关反馈喧塞验。其主要思想是利用人机交互式学习，优化搜索结果。实 验表明，反馈后的搜索结果要优于反馈前的搜索结果，但是搜索结果的优化一定 程度上依赖于反馈信息的选取。 关键词：素描人脸识别，相关反馈，贝叶斯分类器 第i 页 中山大学硕士学位论文；素描人脸识别与相关反馈 f a c es k e t c hr e c o g n i t i o na n dr e l e v a n c ef e e d b a c k m a j o r ：a p p l i e dm a t h e m a t i c s n a m e ：y o n g h o n gj i a n g s u p e r v i s o r ：pcy u e n ，jh l a i a b s t r a c t f a c es k e t c hr e c o g n i t i o ni sc r i t i c a l l yi m p o r t a n tf o rl a we n f o r c e m e n t a g e n c i e s i tc a ne f f e c t i v e l yh e l pi n v e s t i g a t o r st ol o c a t eo rn a r r o wd o w n p o t e n t i a ls u s p e c t s h o w e v e r ，f a c es k e t c hr e c o g n i t i o ni sv e r yd i f f i c u l t b e c a u s eo ft h ed i f f e r e n c eb e t w e e nt h e f a c es k e t c ha n dt h er e a lf a c ei m a g e ， m o r eo v e r ，t h e r ei sv e r yf e wr e s e a r c hp a p e r sc a nb ef o u n di nt h i sf i e l d t h em o s tr e s e a r c h e so nf a c es k e t c hr e c o g n i t i o nf o c u so nt h em a t c h i n g b e t w e e nt h ein p u tf a c es k e t c ha n dt h er e a l f a c ei m a g ei nt h ed a t a b a s e v e r yo f t e n ，w i t n e s sn e e dt op r o v ew h i c ho n ei st h es u s p e c t sf r o mp o t e n t i a l s u s p e c t s a c c o r d i n g l y ，w h e t h e rc a nw e m a k eu s eo ft h ec o n c e p to f h u m a n i n t h e l o o pa n dp r o p o s eah u m a nf a c ei m a g es e a r c h i n gs y s t e mu s i n g r e l e v a n c ef e e d b a c k ? t h i s p a p e ra d d r e s s e s t h e p r o b l e m s o f f a c es k e t c hr e c o g n it i o n ， p r o p o s e sah u m a nf a c ei m a g es e a r c h i n gs y s t e mu s i n gr e l e v a n c ef e e d b a c k w eu s et h eb a y e s i a nc l a s s i f i e rt od e a lw i t hr e l e v a n c ef e e d b a c k t h i sp a p e rf o c u s e so nt h r e ep a r t s ：f i r s t l y ，t h isp a p e rg i v e sas u r v e y o nf a c es k e t c hr e c o g n i t i o n 。s e c o n d l y ，t h i sp a p e rg i v e sas u r v e yo i r e l e v a n c ef e e d b a c k t h i r d l y ，t h i sp a p e rr e s e a r c ht h ef a c es k e t c h r e c o g n i t i o nb a s e do nb a y e s i a nc l a s s i f i e ru s i n gr e l e v a n c e f e e d b a c k e x p e r i m e n t so v e rah u m a nf a c ei m a g es e a r c h i n gs y s t e mu s i n gr e l e v a n c e f e e d b a c kd e m o n s t r a t et h ee f f i c a c yo fb a y e s i a nc l a s s i f i e r h o w e v e r ，t h e 第v 负 中山大学硕士学位论文：素描人脸识别与相关反馈 e x p e r i m e n t sr e s u l t sd e p e n do nt h er e l e v a n c ef e e d b a c kt os o m ee x t e n d k e y w o r d s ：f a c es k e t c hr e c o g n i t i o n ，r e l e v a n c e f e e d b a c k ，b a y e s i a n c l a s s i f i e r 第v i 页 中山大学硕士学位论文：素描人脸识别与相关反馈 1 1 论文选题的背景 第1 章引言 人脸识别技术就是利用计算机分析人脸图像，从中提取有效的识别信息，用 来辨认身份的门技术。它涉及到模式识别、图像处理、计算机视觉、生理学、 心理学及认知学等诸多学科的知识，并与基于其它生物特征的身份鉴别方法以及 计算机人机交互的研究领域都有密切联系。 与指纹、视网膜、虹膜、基因、掌纹等其它人体生物特征识别系统相比，人 脸识别系统更加直接、友好，其使用者无心理障碍。人脸识别技术应用背景十分 广泛，可用于公安系统刑侦破案的罪犯身份识别、身份证及驾驶执照等证件验证、 银行及海关的监控、自动门卫系统、视频会议、机器人的智能化研究以及医学等 方面。 甲| 在2 0 世纪6 0 年代末，人脸识别即引起了研究者的强烈必趣。9 0 年代后， 由于高速度高性能的计算机的出现，人脸识别的方法有了重大突破，进入了真正 的机器自动识别阶段，人脸识别研究得到了前所未有的重视，国际上发表有关人 脸识别等方面的沦文数量大幅度增加。目前，人脸识别仍属于较前沿的课题，世 界各国对于人脸识别的研究方兴未艾。特别是进入2 1 世纪后，人脸识别是一个 非常热门的研究领域。在此期间，人脸识别的理论和研究方法层出不穷，人脸识 别技术得到深入的研究，人脸识别领域一片繁荣。 最常用的人脸识别方法【l 】、【2 0 和1 2 2 1 育：基于几何特征的方法、 模板匹配和可变形模板方法、基于神经网络的方法、弹性图匹配的方法、基于 h m m 的方法、基于统计模型的方法、基于3 d 形变模型的方法等等。 尽管如此，用计算机进行人脸识别仍存在许多困难。这主要表现在：人脸是 非刚体，存在表情变化；人脸随年龄增长而变化；发型、眼镜等装饰对人脸造成 遮挡；人脸所成图像受光照、成像角度、成像距离等影响。此外人脸识别技术研 究与相关学科的发展及人脑的认识程度紧密相关。这诸多因素使人脸识别研究成 为一项极富挑战性的课题。 第l 页 中山大学硕士学位论文：素描人脸识别与相关反馈 随着人脸技术的发展，基于人脸识别技术的人脸识别系统也不断出现，有些 还具有很好的性能。一般的人脸识别系统，是指对一幅给定的人脸图像或人脸视 频序列，从人脸库种寻找与之匹配的人脸图像。按照图像的来源的不同，人脸识 别系统一班可分为两大类：静态人脸识别系统和动态人脸识别系统。 在静态人脸识别系统中，一般待识别的人脸图像和数据库中的人脸图像都是 真实的人脸图像，如正脸人脸照片。识别过程就是给定一幅待识别的人脸图像， 通过一定的识别方法在真实人脸图像数据库中找出与之最匹配、最相似的人脸图 像出来。这里我们注意到，待识别的人脸图像和数据库巾的人脸图像是同一类型 的图像，即他们都是真实的人脸图像。假如这两者图像不是同一类型的图像，能 否采用某些人脸识别方法进行识别呢? 事实上，上述假设有很强的实际运用背景。我们知道，公安机关在一些案件 中常常遇到这么一个情况，公安机关没能够得到该案件犯罪嫌疑人的真实照片， 所能获取的只是根据证人口供并由画家描绘出来的模拟照片( 也称素描人脸) 。 在人脸识别技术出现以前，公安机关通常的做法是，根据这幅模拟照片，用人工 去寻找犯罪嫌疑人，或者在一堆真实照片中去寻找可能的目标。我们知道，这样 人工搜索的方法效率是很低的，而且有时可能耽搁破案的最佳时机。如果人脸识 别技术可以解决两类4 i 同类型的人脸识别的话，那么将会大大帮助公安机关，减 轻他们的搜索工作，以至尽快地破案。 素描人脸识别，就是与上述情况相类似的，根据素描人脸来进行识别的人脸 识别。我们知道，素描人脸图像和真实人脸图像差别很大。由于素描人脸的特殊 性，与普通的人脸识别相比，素描人脸识别更为困难。因此，尽管在9 0 年代就 曾经有人提出素描人脸识别，但由于其困难较大，研究素描人脸识别的学者寥寥 可数。虽然一些学者提出过一些方法，比如几何方法( g e o m e t r i c a lm e a s u r e s ) 【9 】， 特征脸方法( e i g e n f a c em e t h o d ) 【8 】，照片与素描图相互转化的方法 ( p h o t o t o s k e t c ht r a n s f o r m a t i o n ) 【61 、【7 】等，但是这些识别方法几乎就是 直接从普通的人脸识别中引刚过来，所以效果不够理想，素描人脸识别技术仍然 是一个尚未完全解决的技术。 值得庆幸的是，素描人脸识别还有研究的空间。我们注意到，在素描人脸识 别的实际运用中，往往需要对搜索出来的结果进行再处理。比如，公安机关根据 第2 页 中山大学硕士学位论文：素描人脸识别与相关反馈 模拟照片找到几个目标候选人后，往往需要证人对这些候选人进行确认，以便进 一步的确定犯罪嫌疑人。由此，我们联想到图像检索的相关反馈技术。这个相关 反馈技术又称人机协同，是人机交互式学习的技术。它利用h u m a n i n 1 0 0 p 的思 想，是在检索的过程中引入人的帮助。即经过交互式学习，使得检索结果更加符 合用户的需要，从而改善了搜索结果。如果能在素描人脸识别中实现人机交互， 利用相关反馈信息，那么将大大改善搜索结果，提高搜索的准确性。这就是我们 研究素描人脸识别及相关反馈技术的原因。 1 2 本文的主要工作 本文致力于基于相关反馈的素描人脸识别的研究，主要做了以下三个方面的 工作。 一、本文对素描人脸识别领域作了一个概述。详细介绍素描人脸提出背景、 素描人脸运用领域、素描人脸的自动生成、素描人脸的发展及研究现状、素描人 脸识别的两种方法：几何方法和照片与素描图相互转化的方法。最后本文通过一 个p c a 的实验，对素描人脸识别及各种方法进行一个比较和小结，讨论了素描 人脸识别研究的困难性和技术瓶颈。 二、本文对相关反馈技术作了一个概述。介绍了相关反馈技术，特别是基于 图像检索相关反馈技术的发展和研究现状。在此基础上介绍了三种图像检索相关 反馈的方法：参数调整方法，聚类分析方法，概率学习方法。 三、本文把相关反馈技术引入到素描人脸识别的研究中。分别介绍了两种相 关反馈技术在素描人脸识别中的运用，一种是基于l d a 的相关反馈技术：种 是基于贝叶斯分类器的相关反馈技术。最后，本文在个已有的基于几何方法的 素描人脸识别搜索系统中，进行基于贝叶斯分类器相关反馈的实验。主要思想是 利用贝叶斯分类器对相关反馈信息进行处理，并把处理后的反馈信息返回给系统 以达到优化搜索结果的目的。实验表明，反馈后的搜索结果要优于反馈前的搜索 第3 页 中山大学硕士学位论文：素描人脸识别与相关反馈 结果，但是搜索结果的优化很大程度上依赖于反馈信息的选取。这表明，把相关 反馈技术引入到素描人脸识别中的思想非常好，但是由于素描人脸识别的特殊 性，素描人脸识别难度依然很大。 本文的第2 章对本文对素描人脸识别领域作了一个概述；第3 章对相关反馈 技术作了一个概述；第4 章对基于l d a 相关反馈的素描人脸识别进行研究；第 5 章对基于贝叶斯分类器相关反馈的素描人脸识别进行研究。 本文的重点是第2 章对素描人脸识别的概述和第5 章对基于贝叶斯分类器相 关反馈技术的素描人脸识别进行研究。 第4 页 中山大学硕士学位论文：素描人脸识别与相关反馈 第2 章素描人脸识别的概述 2 1 素描人脸识别的定义 素描人脸识别，是根据素描人脸来进行识别的人脸识别。它以公安机关运用 素描照片搜索犯罪嫌疑人为运用背景。素描人脸识别过程为，给定一幅特定的素 描人脸图像，在真实人脸数据库中寻找与之最匹配的人脸图像。即输入的是素描 图像，输出的真实图像。 2 2 素描人脸的自动生成 关于素描人脸的工作包括两方面：素描人脸的自动生成和素描人脸的识别。 前者是指用计算机自动生成素描人脸，后者指利用素描入脸进行人脸识别。 实际上，自从计算机普及后，人们就想到用计算机来自动生成素描人脸。首 先，画家根据器官的特征描绘出各种各样的器官，如描绘出人不同的发型。然后， 把这些描绘的器官输入系统。素描人脸的自动生成，就是组合人脸的几个主要器 官，如发型、眼睛、鼻子、眉毛，嘴巴、耳朵、脸轮廓等。这种思想已经得到广 泛的运用，很多可以自动合成素描的软件都已经m 现。我们也不惊奇地听到菜公 安部f 、j 利用计算机生成的人脸图像，成功地抓住犯罪分子。与人工描绘素描相比， 自动生成素描图效率高，可以大大节约时间和人力。 ( i ) 删姆( i v ) ( i i ) 蠡( v ) ( i i i ( v i ) ( a )( b ) 图2 1 一个自动生成素描人脸的例子 第5 页 一一二) 中山大学硕士学位论文：素描人脸识别与相关反馈 2 3 素描人脸识别的发展及研究现状 素描人脸识别是人脸识别中一种特殊的识别。因为待识别的图像和待搜索的 数据库图像是两类不同类型的图像，前者为素描图像，后者为真实人脸图像，所 以识别比较困难。由于其特殊性和困难性，目前研究素描人脸的学者寥寥可数。 相关讨论素描人脸识别的文章也很少。 在【2 】、【3 】中，r u h l 和l o b on d a v i t o r i a 最早以公安机关运用素描 照片搜索犯罪嫌疑人为背景，提出素描人脸识别的思想。接着，e b a k e r 和m s e l t z e r 在1 4 1 、【5 】中对素描人脸进行实验，不过此时它是把素描人脸图像直接 当作真实人脸图像，实验结果自然不是很理想，在这篇文章中，初步讨论了素描 人脸识别的存在问题及困难。很多年之后，x t a n g 和x w a n g 在1 6 1 、【7 】、 8 1 中提出一个新颖的素描人脸识别方法，他把它称为照片与素描图相互转化 的方法( p h o t o t o s k e t c ht r a n s f o r m a t i o n ) 。它先把待识别数据库中的真实人脸图 像转化成素描图像，然后在进行识别。该文章晓，这种照片与素描转换方法的识 别率几乎能达到特征脸方法和几何方法的两倍。另外，他还指出，识别率的高低 主要决定于素描人脸的质量，即它跟原始照片有多相似。m a n 和y u e n 在【】3 】 提出了用形状参数来代表素描人脸和真实人脸，并结合局部特征和全局特征来进 行识别的方法。该方法主要运用图像的几何形状信息。 此外，还有一些与素描人脸识别相关的文章，也可找到。如【1 1 】、【1 2 、 【1 3 】、【1 4 中，w k o n e n 讨论了素描图像与灰度图像的比较，yg a o 和m l e u n g 等人提出用线条边缘映射( 1 i n ee d g em a p ) 迸行人脸识别。 总得来说，尽管人脸识别是当今研究的一块热门领域，但是对素描人脸识别 的研究却屈指可数。在国内，更是没有人研究素描人脸识别，他们最多只是涉足 了素描人脸的自动合成。 2 4 素描人脸识别方法 下面介绍几种素描人脸识别的方法：几何方法( g e o m e t r i c a lm e a s u r e s ) ，特 征脸方法( e i g e n f a c em e t h o d ) ，照片与素描图相互转化的方法( p h o t o t o s k e t c h 第6 页 中山大学硕士学位论文：素描人脸识别与相关反馈 t r a n s f o r m a t i o n ) 。 2 4 1 几何方法 几何特征方法是人脸识别中最为传统的方法，它是通过人脸面部拓扑结构几 何关系，提取人脸面部主要器官特征，将人脸用一组几何特征欠量表示，识别归 结为特征矢量之间的匹配，基于欧式距离的判断是最常用的方法。 几何特征方法非常直观，它主要利用人脸几何形状信息。包括局部特征信息 和全局特征信息，前者是指每个主要器官的特征信息，后者是指主要器官空间位 置的分布信息。m a n 和y u e n 在 9 1 就是用形状参数来代表素描人脸和真实人 脸，并结合局部特征和全局特征来进行识别。局部特征比较，是分别比较人脸各 主要器官的特征信息，如眼睛、眉毛、鼻子、嘴巴、脸轮廓。局部特征总相似度 为各主要器官特征相似度的加权和。比较前，为了使两类图像具有相同的结构， 通常的做法是提取图像的边缘信息，即图像的点轮廓( p o i n tp r o f i l e ) 。 结合函数为： d f n c d j = 曲m ( d 啪西删+ d r i g h t y e b 删) ，2 + w e y e s x ( d l e f t e y 。+ 矗脚) ，2 公式( 2 1 ) + w 。x d 。j 。+ w m 。m x d m + w 扛删d 皿， 其中w 。是特征p r 的权重，d p , i 是特征p r 问的相似度。 ：一- - - - c “ 、7 = ： 图2 2 素描人脸的点轮廓 全局特征比较是比较各主要器官空间位置的分布信息，首先它在每张人脸中 定义一些基准点( 人脸特征点) ，然后测量基准点的几何距离。如两个眼角之间 的距离、嘴巴中心点到眼睛中心点的距离等。 第7 页 中山大学硕士学位论文：素描人脸识别与相关反馈 为： 图2 2 人脸特征点的几何定位 几何特征总相似度为局部特征相似度与全局特征相似度的加权和。结合函数 d c o m b i n e = w l o c a ix d 吾“, i ”，等 蜮( 2 - - 2 ) 其中仃。，是局部特征d 。，的标准差，盯咖。是全局特征d ；一，的标准差 。；是局部特征d 。的权重，0 w b “l 。 该文章说，在一个有1 1 5 个人脸的小型数据库中进行实验，实验根据待识别 的素描人脸与数据库中的真实图像的相似度的大小做一个排序，结果表明，搜索 目标落在数据库排序序列前5 0 的概率几乎达到1 0 0 ，这也就是说，采用这个 方法，将为搜索缩小一半搜索范围。另外，搜索目标落在序列前1 5 的概率也 达到7 0 。如下图所示： 第8 页 中山大学硕士学位论文：素描人脸识别与相关反馈 1 0 0 9 0 8 0 t o 萝6 0 i 磊5 0 器 嚣 酶4 0 3 0 2 0 1 0 0 基于几何方法的素描人脸识剐 “一 ，。 毒 | 051 01 52 0 2 5 3 0 3 5 4 0 4 5 5 0 5 51 5 0b 5 7 0 7 5 8 0 8 59 09 51 0 0 排序的照片( t o pr a n k i n g ) ( l 图2 3 基于几何方法的素描人脸识别结果 2 4 2 照片与素描图相互转化的方法 x t a n g 和x w a n g 在1 6 、【7 】、【8 】中提出一个新颖的素描人脸识别 方法，他把它称为照片与素描图相互转化的方法( p h o t o t o s k e t c ht r a n s f o r m a t i o n ) 。 它先把待识别数据库中的真实人脸图像转化成伪素描图，然后在进行识别；或者， 把待识别的素描图转化为伪照片，然后进行识别( 如图2 4 所示) 。这个方法 是由特征脸方法发展起来的，它要求每幅人脸都有真实图像和素描图像。 ( a ) 真实照片( b ) 伪照片( c ) 伪素描图( d ) 素描图 图2 4 照片与素描图相互转化的例子 第9 页 中山大学硕士学位论文：素描人脸识别与相关反馈 识别流程如图2 5 所示。先用真实照片的训练样本生成特征空间，将待识 别数据库中的真实照片投影到这个特征空间得到一投影向量，由于该投影向量可 重建该真实照片，x t a n g 和x w a n g 认为重建可以看成是用真实照片的训练样 本加权得到该真实照片，记这组加权系数 c 。由于真实照片和素描照片是一 对应的，于是可以用这组系数在素描图像训练样本中加权重构得到该真实照片对 应的素描图，把这生成的素描图叫做伪素描图。对数据库中每幅照片做同样的处 理，于是得到与照片一一对应的伪素描图。在做识别的时候，是用待识别的素描 图与这些伪素描图做比较，找出最相似的伪素描图。 重建系数f c 图2 5 素描人脸识别流程1 相应地，也可把待识别素描图转化成真实人脸图像，然后进行识别。识别流 程如图2 6 所示。此时，用素描图的训练样本生成特征空间，将待识别的素描 图投影到这个空间得到一投影向量，由于该投影向量可重建待识别素描图，x t a n g 和x w a n g 认为重建可以看成是用素描图的训练样本加权得到该待识别素 描图，记这组加权系数( c ) 。由于真实照片和素描照片是一一对应的，于是可以 用这组系数在真实照片训练样本中加权重构得到该待识别素描图对应的真实照 第1 0 页 中山大学硕士学位论文：素描人脸识别与相关反馈 片，把这生成的真实照片叫做伪照片。在做识别的时候，是用该伪照片与数据库 中的真实人脸做比较，找出与该伪照片最相似的真实照片。 图2 6 素描人脸识别流程2 虽然这种方法大大减少了素描图与真实照片的差异，而且该文章说，这种照 片与素描转换方法的识别率几乎能达到特征脸方法和几何方法的两倍，但本人还 是认为，这样的方法在实际应用中并不可行。因为实际上不可能对数据中的照片 都预先给出对应的素描图，若不然，识别的时候完全可以抛开真实照片或者伪照 片，用素描图跟素描图真接做比较进行识别就可以了。 2 5 素描人脸识别小结 上述所说的两种素描人脸识别的方法，是目前研究中仅能找到的关于素描人 脸识别的方法。纵观这两种方法，我们发现，它们与普通人脸识别的方法没有本 质上的不同，只不过是把普通人脸识别的方法引入到素描人脸识别中来。从其实 验结果来看，这两种方法都不能让人满意。 如果直接把素描图当作真实照片进行处理，又会怎么样呢? 本文实现了一个p c a 实验。实验中使用的照片库是j a p a n e s ed a t a b a s e ，与 9 1 、 【1 6 1 相同。该数据库含有2 1 3 张图像，其中素描人脸图像9 8 张，每人一张； 中山大学硕士学位论文：素描人脸识别与相关反馈 真实人脸图像1 1 5 张，每人一张。对于每张素描人脸，均有与其一一对应的真实 人脸图像。在识别过程中，用真实照片生成特征投影空间w ，然后将素描图直 接投影到这个特征空间得到投影系数，然后比较系数进行识别。实验结果如下表 所示，其中，r a n k1 表示最近邻分类1 阶识别率，即在相似性序列中排在前一 位的识别结果；同样，r a n k2 表示最近邻分类2 阶识别率，即在相似性序列中 排在前二位的识别结果；r a n k3 的意义类似。 r a n k lr a n k2r a n k3 识别率：9 1 8 1 2 2 4 1 2 2 4 表2 1 素描人脸识别的结果 实验结果表明，最近邻前三阶正确率才1 0 左右。由于这种方法不考虑两 种不同类型图像的差异，其识别结果自然是非常糟糕。 素描人脸识别的困难在于： 真实人脸图像含有大量的颜色、纹理等细节信息，而素描人脸图像却只 有边缘信息； 素描人脸图像的质量不一，素描人脸识别的效果过分依赖于素描人脸图 像的逼真度： 人能利用素描图像去判断确认他人是因为人有复杂的心理机制和视觉 机制，而机器却没有； 素描人脸为了突出其某些特征，失真地夸大了其特征部位，如描绘一个 大眼睛的人的时候，素描人眼比真实人眼就要大得多。 总得来说，素描人脸识别目前比较困难。 第1 2 页 中山大学硕士学位论文：素描人脸识别与相关反馈 第3 章相关反馈的概述 3 1 相关反馈的描述 相关反馈( r e l e v a n c ef e e d b a c k ) ，最初源于文本文档检索，它根据用户的反 馈信息来调整查询向量，以更好地反映用户地实际需要。尽管文档检索中的相关 反馈技术研究较少，但被引进给基于内容的图像检索( c o n t e n t b a s e di m a g e r e t r i e v a l ，c b i r ) 后，它却成为近年来最活跃的研究课题之一。 图像检索自7 0 年代以后便成为一个活跃的研究领域，它的发展主要先后经 历了三个阶段【1 9 1 ：基于文本标注的图像检索阶段；基于特征抽取表示的图像 检索阶段；基于相关反馈技术的图像检索阶段。基于特征抽取表示的图像检索， 就是我们所讨论的基于内容的图像检索。 基于内容的图像检索主要是利用提取图像中的颜色、纹理或者形状特征，并 将这些特征用于检索的一种信息检索手段。虽然很多人在该领域中取得了出色的 研究成果，但是随着图像库规模的扩大和研究的深入，这种基于内容的图像检索 也很难给出令人满意的结果，主要原因是在图像底层特征和高层语义之间存在很 大差距，无法用底层特征( 如颜色赢方图、形状特征等) 很好地描述图像的概念 和语义( 如图像描述的是什么主题、对象等) ，而语义本身也没有统一的标准， 因为每个人对图像都有不同的语义理解。为了解决图像底层特征和高层语义之问 存在很大差距这个问题，我们需要建立底层特征和高层语义之间的关联。于是， 人们试图运用相关反馈的技术来帮助c b i r ，以求获得更好的检索效果。 相关反馈在信息检索中是一种指导性学习的技术，用以提高系统的检索能 力。在基于内容的图像检索中，相关反馈的过程是这样的：对于用户提供的样本 图片，系统根据预先确定地相似性规则，给出一个基于相似度的排序列表，数据 库中图片和样本图片如果在特征空间中相似程度越高，则排序越靠前。然后，用 户在该列表中选择一组符合该次检索内容的正反馈图片和一组不符合检索内容 的负反馈图片，并提交给检索系统。系统根据用户的提交信息进行学习，进行下 第1 3 页 中山大学硕士学位论文：素描人脸识别与相关反馈 一轮检索，优化检索劳提交给用户新的检索结果。因此，在相关反馈中最重要的 问题就是如何有效地利用用户提供的交互信息，来改进查询和调整相似度量，以 提高检索的准确度。 所以这里的相关反馈技术实际上是一种人机交互学习技术。在这个过程种， 交互式学习过程可以进行多次，用过用户的参与，给系统提供更可能多的信息， 以便与系统经过学习改进后，使得检索结果更加符合用户的需要。 图3 1交互学习相关反馈的流程图 设图像库为d ，共有m 个图像，每个图像的特征为工。= 【戈。，工。，x 。】 j v 为图像特征的维数。用户提交查询q = 吼，q ，一g 。】后，系统根据图像库中的 各图像z 。与智的相似度返同结果。设用户对检索结果的五个图像进行评价或标 记，即对 工。_ 。) 给出一个与q 相似程度的评价 y ，一y 。) ，y r 。则 ( ( 以，y 。) k = l k ) 构成样本集，反映了用户的查询意图。系统通过对该样本集的 学习，能够发现用户查询的概念和特征的对应关系y = ，( 工) ，采用学习得出的模 型萝= 夕( 石) 指导下一轮检索。 根据以上描述，可以将学习看作以下三种有监督学习问题【1 9 】： 参数优化问题：由于在样本集中还定义有各种样本间的距离测度，如何 使得相关图像之间的距离更近，使不相关图像与查询图像的距离更远， 在这种意义上定义目标函数对距离测度中的参数进行优化，从而可以有 第】4 页 中山大学硕士学位论文：素描人脸识别与相关反馈 效地改进查询效果。 二分类问题：如果y = 1 ，一1 j ，则是模式识别中的二分类问题。这种情况 下，用户仅对图像标记相关( y = 1 ) 或不相关( y = - 1 ) ，从而构成二 分类问题的训练集。如果y = 1 , 0 ，一1 ) ，则除了相关和不相关两种情况外， 还有用户未做评价的情况。 密度估计问题：根据训练样本集对相关图像进行密度估计，然后采用贝 叶斯判决准则进行分类判决。 3 2 研究现状 图像检索的相关反馈技术棠见的三种方法1 2 5 1 为：参数调整方法，聚类分 析方法，概率学习方法。 3 2 1 参数调整方法 参数调整是相关反馈技术中的一种重要方法，在相关反馈研究的早期占主导 作用，主要方法是权重调整算法和查询向量转移算法。 r u i 等在【2 8 】提出的权重调整算法，是对图像不同的特征赋予不同的权重， 如颜色、纹理等图像特征，系统根据用户的反馈信息，把用户认为与查询图像相 似的图像赋予较大的权重而不相似的图像赋予较小的权重，然后根据调整后的权 重计算图像间的相似度。a s h w i ntv 等在【2 9 1 提出了利用负反馈图像调整权 重的方法，y i m i nw u 等【3 0 1 在传统的算法基础上提出了利用正负反馈信息修 l e 权重的算法。后来，学者们又开始研究基于区域特征的相关反馈的图像检索， 如【3 l 】等。 查询向量转移算法是通过用户的反馈信息，改变数据库中的每幅图像与查询 图像之间的距离，使得相似的点靠近查询图像而不相似的点远离查询图像。这个 算法的思想是源于最早的基于文本检索的相关反馈算法的思想。 其中，最为经典的公式为r o c c h i o 公式： 中山大学硕士学位论文：素描人脸识别与相关反馈 1n +1 n q 。= 坝击善一烈寿蕃 公式( 3 - - 1 ) 其中，q 是原查询向量表示的图像，q 是新的查询向量，n + 是所有正反馈 的个数，n 一是负反馈的个数， c l i = l ，。l 是所有正反馈图形的集合， v i i = 1 ，一) 是所有负反馈的集合，口，y ，是经过适当选取的系数。 此后，y o n g r u i 【1 5 】等人发展了这种通过修改距离公式的方法。 3 2 2 聚类分析方法 在大多数情况下，相关反馈得到的训练图像的数目与图像库中未被标注的图 像数目相比要少得多。而研究表明，利用未被标注的图像也能提高学习算法的效 果，如【2 6 】。聚类分析方法就是基于这个基础上提出并进行研究的。 聚类是对图像库中的图像在特征空间进行划分，通过用户对训练样本的评 价，形成不同的类，相关的图像划分到同一类或相近的类，而不相关的图像罗浮 距离较远的不同的类，检索是根据类与类之间的距离来判断图像的相关性的。 z h a n g 在 3 2 】中提出了聚类模型。 聚类分析方法从图像聚类角度出发，初始时，根据低层的特征对图像库中的 所有图像聚类，并计算不同图像聚类之间的相关性距离。用户对检索结果标记相 关或不相关信息后，系统根据反馈信息对图像聚类进行分裂或合并，并更新类别 之间的相关性。 利用聚类进行检索时，只需确定出目标类，计算查询图像与目标类中图像的 相似度，而不需要计算查询图像与数据库中所有图像的相似度，从而减少了计算 俩，特征空间的计算结果也可供下次查询使用。聚类分析方法利用了未必标注的 图像信息，可以大大提高检索结果。但是聚类方法有个缺点，它对不同的图像底 层特征做相同的处理，这显然又会降低准确性。 3 2 3 概率学习方法 中山大学硕士学位论文：素描人脸识另与相关反馈 概率学习的方法就是利用相关反馈信息来估计图像库中每个图像符合用户 需求的概率，然后将概率高的返回给用户。在相关反馈过程中，根据用户的反馈， 学习相关图像的先验概率和类条件概率，这样可以用贝叶斯判决式计算每个图像 的后验概率。同样，对于不相关的图像类采取类似的方法。这样，对于图像库中 的每个图像，分别计算它所属相关类的概率和不相关类的概率，从而决策出是否 是用户所要的图像，如【1 7 】、【2 7 】。 第1 7 页 中山大学硕士学位论文：素描人脸识别与相关反馈 第4 章基于l d a 的相关反馈及素描人脸识别 线性判别分析( l d a ) 是人脸识别中常见的降维方法，它降位的思想是尽量 使得同类样本聚在一起，不同类的样本尽量分开。利用l d a 这一思想，我们也 可用它来处理相关反馈信息，使得图像库中的图像尽量靠近正反馈图像，同时也 尽量远离负反馈图像。本章研究基于l d a 的相关反馈算法在素描人脸识别中的 运用。 4 1l d a 相关反馈的算法及实验流程 线性判别分析( l d a ) 是人脸识别中常见的降维方法，它从高维空间里提取 出最具有判别能力的低维特征，这些特征能帮助将同一个类别的所有样本聚在一 起，不同类别的样本尽量分开，即选择使得样本类间离散度与样本类内离散度的 比值最大的特征。基于l d a 的相关反馈就是利用l d a 的思想来处理相关反馈 信息，使得搜索结果更符合用户的需求。l d a 相关反馈的流程如下： 世妇f 是 fl 台 图4 1l d a 相关反馈的流程 系统输入的是目标搜索的一个初始搜索序列，初始搜索序列在反馈界面中显 示出来，此时，需要用户更加具体的要求对搜索序列中的目标进行评价或标定， “像”、“不像”、“不评价”。我们称标定为“像”的照片为系统的正反馈，称标 第1 9 页 中山大学硕士学位论文：素描人脸识别与相关反馈 定为“不像”的照片为系统的负反馈。这里的正负反馈只是一个记号，他们是反 馈回系统的两类不同的信息。相关反馈技术，就是怎么运用这些反馈信息来进行 优化搜索的一种技术。l d a 算法，就是找到一个投影空间，使得在这个空间里， 正负反馈的距离最大。然后，将数据库的所有照片投影到该空间，并计算止反馈 的中心。最后，分别计算每个照片于正反馈中心的距离，并根据距离的大小，从 小到大作一个排序，并把排序结果重新返回给反馈界面中。这样，一轮的相关反 馈结束，在新的搜索序列中，它更容易找到特定目标的，即是说，特定的搜索目 标将在这个新序列中前移。当然也可在此基础上进行下轮的相关反馈。 4 2 基于l d a 相关反馈的素描人脸识别 4 2 1 l d a 训练 从本质上来说，线性判别分析是把高维的数据投影到低维空间中，目的是寻 找这个最优投影空间w + ，使得数据的类间散布矩阵s 。和类内散布矩阵s 。的比值 最大。即求： w + ：尺“寸尺”，d m w + = a 曙a x 鞣公式( 4 1 ) 其中d 原始照片的维数，m 是降维后的维数。 求解w 等价于下列的特征值问题，s ：1 只w = w a ，其中a 是m x m 的对角特 征值矩阵。 从上述l d a 方法的介绍可知，我们对相关反馈的期望是相同的。对每个反 馈，我们希望被标定为“像”与被标定为“不像”这两类的照片距离最大化，同 时希望被标定为“像”这一类的照片之间的距离最小化。但是，l d a 在实现这 个功能的同时，也使得被标定为“不像”这一类的照片之间的距离最小化了，而 我们并不希望这样，因为被标定为“像”这一类照片确实存在相似的地方，但是 被标定为“不像”这一类的照片，我们不能简单地判断它们是具体那个部位不像。 因此，我们不能简单地运用l d a 两类问题。而我们需要假定每个负反馈都是一 第2 0 贞 中山大学硕士学位论文：素描人脸识别与相关反馈 独立的类，所有的止反馈同属一个类。如果我们共有k 个负反馈和j 个正反馈 的化，我们的系统会认为，这组数据中共有k + 1 类数据。 此外，这里使用l d a 的方法，还需要解决两个问题。一，由于每类负反馈 都只有一个数据，所以不可能直接汁算类内散布矩阵。为了解决这个问题，我们 生成每个负反馈的镜像照片，所以每类负反馈就包含两个数据。二，是可能出现 小样本问题。通常，正负反馈的个数可能较小( 1 0 ) ，而照片数据的维数较高， 所以类内散布矩阵可能有奇异性。为解决这个问题，我们采用子空间l d a 方法。 4 2 2 特殊情况处理 通常，反馈包括正反馈和负反馈，如果两者都存在的化，可按上述的一般情 况处理。但是，在一些情况下，反馈当中可能没有正反馈或者没有负反馈，或者 两者都没有。如果不存在止负反馈，那么系统将不能工作，因为没有任何的输入， 系统认为是没有人机交互，所以保持原来结果不变。 零正反馈策略：当交互的时候没有发现与目标相似的照片，而却可确定某些 与目标不可能相似的照片，这时用户往往只提供负反馈信息，此时就应采取零正 反馈策略。我们系统自动假定排在序列的第一位的照片为正反馈照片( 如果第一 位已被标定为负反馈，则选择下一位为正反馈，依此类推) 。所以零正反馈策略， 实际上是系统自动寻找一一个正反馈，使得系统正常进行相关反馈处理。 零负反馈策略：与零止反馈情况相类似，我们系统自动假定排在序列的倒数 第一位的照片为负反馈照片( 如果倒数第一位已被标定为正反馈，则选择倒数第 二位为负反馈，依此类推) 。所以零负反馈策略，实际上是系统自动寻找一个负 反馈，使得系统正常进行相关反馈处理。 4 2 3 更新结果 当进行l d a 训练后，我们需要计算正反馈的中心，并分别计算每个照片于 j e 反馈巾心的距离，并根据距离的大小，从小到大作一个排序，并把排序结果重 新返回给用户。 第2 1 页 中山大学硕士学位论文：素描人脸识别与相关反馈 设w 是进行相关反馈计算后得到的新的投影空间，于是照片，可表示为 g i = w tx f i 其中f i 是该照片的原始表示。正反馈的簇中心为： 2 志；g 一 其中c + 表示止反馈，n ( c + ) 是正反馈的个数 公式( 4 2 ) 公式( 4 3 ) 新的排序根据照片j 到正反馈簇中心的远近大小d 二。来排序的。 v ，j 。= 、( g 渺) 一g 。，f r o ) 2 公式( 4 4 ) y 女 如此看出，d ：。这个距离完全是建立在反馈数据的基础上得到的。如果 反馈数据不够充分，那么可能会影响到d 厶距离的可靠性。为了利用先前排 序的信息，我们提出的熏排序的方法可将相反反馈距离和素描识别距离相结合。 d 厶枷。= 甜竺盘坠+ ( 1 一鲫监公式( 4 5 ) 6 k e 曲n 矗o 、b 咄 其中o 埘l ，棚是权重参数，d 。是根据反馈数据计算得到的距离， d ；。是先前素描识别计算得到的距离，盯俩。是d 归m 。的标准差，盯。是 d ；。的标准差。 4 3 实验结果及讨论 在实验前，我们定义一个识别的正确率p e ，p e = 篝等l 。，其中n 是 数据库的大小，r 是待寻找目标被排列的位置。因此，心为1 0 0 的时候等价 于目标排在第一位( 即r = 1 ) ；p e 为0 的时候等价于目标排在倒数第一位( 即 r = n ) 。 由于实验需要用户的标定，所以实验结果的主观性非常强。反馈后的搜索结 第2 2 页 中山大学硕士学位论文：素描人脸识别与相关反馈 果在一定程度上依赖以反馈信息的选取，反馈信息选取的不同，对搜索有一定影 响。 p c y u e n 和c ，h ，m a n 在【1 6 1 中进行了实验，实验结果表明： 当负反馈增加的时候，心增加； 当负反馈刚开始增加的时候，心急剧增加，