（计算机应用技术专业论文）基于人脸识别和移动检测的视频监控系统.pdf

摘要 基于人脸识别和移动检测的视频监控系统 摘要 本论文是基于人脸识别与移动检测的视频监控系统而完成的，为 了在视频中自动对人脸进行实时的检测、识别，以及对重点监控区域 的移动进行检测。本文的主要研究内容为： 利用人脸的肤色特征和人眼像素在人脸区域的特殊性和对称性， 完成了一个快速人脸检测算法的设计；利用离散余弦变换( d i s c r e t e c o s i n et r a n s f o m ，d c t ) 参数进行提取观察向量，并将观察向量用于隐 马尔可夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 模型，完成人脸训练和 识别；针对传统移动检测算法对微小移动不敏感的缺陷，提出了一种 改进的背景差的算法；将设计好的人脸识别和移动检测算法应用于软 件系统当中，能够让用户根据不同的监控条件采用不同的移动检测方 法，并设计了录像、警报、记录查看等辅助性的功能模块，方便用户 查看以往出现的人脸图像、经过识别后的识别效果以及检测到移动后 记录的画面，使系统的功能更加完善；利用设计好的软件系统平台， 通过大量的实验，对系统使用的人脸检测和识别算法的效果进行了测 试，并将改进背景差算法与传统算法进行了比较，分析它们的适用条 件。 本系统整体设计结构清晰、功能完善；人脸检测与识别算法效 果快速准确，完全适合实时的监控环境；改进背景差算法相对传统的 t 北京化工大学硕士学位论文 相邻帧差算法更加适合于微小移动的检测，完全可以在设计中将两种 方法用于不同的检测场景。 关键词：视频监控，人脸识别，隐马尔可夫模型，移动检测，背景差 法 珏 摘要 a d e os u r v e i l l a n c es y s t e mo nf a c e r e c o g n i t i o na n dm o t i o nd e t e c t i o n a b s t r a c t t h i st h e s i sw 嬲f i n i s h e do nt h eb a s i so fav i d e os u r v e i l l a n c es y s t e m ， w h i c hi n c l u d e sf a c er e c o g n i t i o na n dm o t i o nd d e c t i o na l g o d t h ma n di s d e s i g n e dt os e a r c ha n dr e c o g n i z ef a c e sa p p e a d n g i nav i d e os e ( 1 u e n c ea i l d d e t e c tm o t i o ni ns e l e c t e dr e g i o n b yu s i n gs l ( i n c o l o rf e a t u r e ，e s p e c i a ll o c a t i o na n dp i x e lf e a _ c u r e so f e y e si nf i a c ea r e a ，趾e 伍c i e n tf a c ed 酏e c t i o na l g o r i 也mw a sd e s i g n e d a r e rf a c ed e t e c t i o n ，d i s c r e t ec o s i n et 啪s f o r m ( d c t ) w a su s e dt o e x 舰c tas e to fo b s e a t i o n ，w h i c hi sp r o v i d e dt ot r a i na n dr e c o g n i z ef a c e s i nt h ew a yo fh i d d e nm a r l ( o vm o d e l ( h m m ) i no r d e rt os o l v et h e s h o r t c o m i n gt h a t 仃a d i t i o n a lm o t i o nd e t e c t i o na l g o r i t h mc a nn o tb eu s e d t od e t e c ts l o wm o v i n go b je c t s 丘o ma ni l i l a g es e q u e n c e ，a ni m p r o v e d m e t h o dw a sp r o p o s e db yr e 晒u i l d i n gt h eb a c k g r o u n d nw a sc o d e di nt h e s y s t e ma n d u s e r sc a nd e c i d ew h i c hm o t i o nd e t e c t i o nm e t h o dd e t e c t ss l o w o rf a s tt a 玛e t s e v e r mm o d u l e sw e r ea d d e dt om m ( et h es y s t e mp e r f - e c t ， i n c l u d i n gv i d e oc a m e r am o d u l e ，a l a r mm o d u l ea n dr e c o r d sr e v i e w i l l g m o d u l e ，e t c o nt h ep l a t f o 衄o ft h ec o i n p l e t e ds y s t e m ，t h ee f ! l e c t so ff a c e d e t e c t i o na n dr e c o 印i t i o nh a v e b e e nd i s p l a y e d c o n l p 撕s o nb e 咐e e n m 北京化工大学硕士学位论文 t i l d i t i o n a la l g o r i t h mo f6 锄ed i f j e ；踟e n c ea n di m p i o v e do n eo fb a c k g r o u n d d i 妇融r e n c eh a sb e e nt e s t e d t h er e s u l ts h o w e da d v a m a g eo ft h ei m p r o v e d o n e ，w 1 1 i c hc a nb e 印p l i e di 1 1d e t e c t i n gs l o wm o v i n go b j e c t s t h ef a c ed e t e c t i o na n dr e c o g n i t i o na l g o r i t h mu s e di 1 1m i st h e s i si s r e a l t i m ea n dp r e c i s e ，c a ns e a r c ha n dr e c o g n i z ef i a c e s q u i c l ( 1 y t h e i i n p r o v e dm e t h o do fb a c k g r o u n dd i f r e r e n c ei so b v i o u s l yb e t t e rt h 趾t h e t r a d i t i o n a lo n ew h e ns l o wt a 玛e t sa r em o v i n g t h et 、om e m o d sc a nb e u s e di nd i f 五嗣e n tc o n d i t i o n i nt h es u m m a r y ，t h ec o n l p l e t e ds y s t e mw i t hd e t a i l e ds t n _ l c t i l r ea n d 如n c t i o ni ss u i t d b l et ob eu s e dt or e a l t i m ev i d e os u r ，e i l l a n c e k e yw o i i s ：v i d e os u r v e i l l a n c e ，f a c er e c o g l l i t i o n ，h i d d e nm a r k o v m o d e l ，m o t i o nd e t e c t i o n ，b a c k g r o u n dd i f 】e r e n c e 代 北京化工大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含 任何其他个人或集体己经发表或撰写过的作品成果。对本文的研究做出重 要贡献的个人和集体，均己在文中以明确方式标明。本人完全意识到本声 明的法律结果由本人承担。 作者签名：王垒五 日期：型星：鱼：兰塞 关于论文使用授权的说明 学位论文作者完全了解北京化工大学有关保留和使用学位论文的规 定，即：研究生在校攻读学位期间论文工作的知识产权单位属北京化工大 学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可 以允许采用影印、缩印或其它复制手段保存、汇编学位论文。 非保密论文注释：本学位论文不属于保密范围，适用本授权书。 作者签名： 导师签名： 三参艺 饬；扬b 日期：墨：s ：兰区 日期：幽墨：主：皇星 第一章绪论 第一章绪论 1 1 论文研究的目的及意义 在视频监控环境下，以往的情况都是锬查员要对潞现的人脸进行观察并与嫌 疑人的图片进行比对，一旦需要关注的嫌疑人过多，那么这将十分耗费体力和精 力，随着人工智熊和计算机视觉技术的飞速发震，自动人脸识别技术不断取得新 的进展n 删，这一技术在一定程度上能够代替人对出现的人脸自动进行检测、定 位和辨认，节省了人的精力。 还有一种情况，为了观察某一重点区域的异常移动，这些移动不仅包括人类 活动，同时也包括一些其他物体的移动，侦蠢员需要长时间坐在监控画面前，目 不转睛地注视茴谣，执行这种长期桔燥的例行监测是耗费时阆和精力的，既不可 靠，费用也很高h 吲。这时引入移动检测非常必要，计算机代替人观测重点区域 内的移动，一旦出现移动的情况下触发报警装置、并瘀动存储装置以便予事后偾 查员进行回放观察。 另外在实际应用当中发现：针对不同的监测条件( 例如光照差异等) 、不同 的检测要求( 监测快速移动、慢速移动、体积较大物体移动、体积较小物体移动 等) ，各种移动检测算法有着不同的效果口删。比如说在侦察员的监控工作中经 常会出现这样的情况：监视某些重点区域内的活动，特别是重点关注一些移动速 度较慢的物体移动的时候，用以往的很多运动监测算法都没有明显的效果。根据 不同的观测情况，对移动检测方法进行有效、系统的整合对于提高检测效果有着 非常大的意义。本文着重研究针对慢速、微量运动的目标进行检测的方法，并与 常见的多种方法进行比较，探讨各种算法的适用条件，以提高移动检测的效果。 。2 人脸识别与移动检测技术概述 1 2 1 人脸识别技术的定义 在探讨人脸识别技术之前不得不谈一下生物识别技术，顾名思义，就是利用 北京化工大学硕士学位论文 人体生物特征进行身份认证的一种技术。人体的很多生物特征不但是唯一的，而 且是可测量的，包括了指纹、d n a 检测、虹膜识别、人脸识别等多项技术四1 。 人脸识别技术与以上提到的较成熟的人体生物特征识别方法相比，人脸图像更容 易获取，特别是在非接触环境和不惊动被检测人的情况下，人脸识别的优越性远 远超过其它识别技术，在身份识别、安全验证、视频会议、档案管理等重要场合 具有广泛的应用前景吣1 1 1 由自2 0 世纪6 0 年代以来，自动人脸识别的研究经过近 4 0 年的发展，取得了长足的进步。人脸识别系统包括两个主要技术环节：首先是 人脸检测和定位，即从输入图像中找到人脸区域及人脸存在的位置，并将人脸区 域从背景中分割出来，然后对归一化的人脸图像进行特征提取与识别。具体结构 如图1 1 所示m 1 ： 图像于罗u 人膨图1 冢稻子 人脸的检测与定特征的提取与识 l 位 别 图卜1 人脸识别系统结构 f 垃1 - l1 ks t n l c t i o f f a c cd e t e c t i 姐 虽然人类可以轻松识别出不同人的脸部特征，但机器对人脸的自动识别涉及 到模式识别、数字图像处理、生理和心理学等多方面的课题n 纠钉。人脸识别系统 应该能够处理脸部图像的变化，但是同一张脸，在不同的视角，不同的描述方法 下，图像的差别很大，人脸的自动识别因此也是极具挑战性的工作。 1 2 2 移动检测技术的定义 传统的视频监视控制系统只是将各摄像机的信号在主控室的监视器上显示 出来，监视场景动态情况的判断，需要操作员目视完成。执行这种长期枯燥的例 行监测是耗费时间和精力的，既不可靠，费用也很高嘲n 劓。因此引入移动检测非 常有必要，通过移动检测可以自动对于某个受监控区域进行自动检测，一旦移动 程度超过了检测阈值，通过发出警报或启动存储装置的方式来达到实现在无人操 守的情况下对关心区域进行监控的目的。 1 3 人脸识别和移动检测技术的研究现状 2 第一章绪论 1 3 1 人脸识别技术的发展现状 自2 0 世纪6 0 年代以来，自动人脸识别的研究经过近4 0 年的发展，取得了长足 的进步，人脸识别技术的发展大致可以分为三个阶段n 钔： 第一阶段以砧l 饥和p 盯k e 为代表，主要研究人脸识别所需要的面部特征。 研究者用计算机实现了较高质量的人脸灰度图模型。这一阶段工作的特点是识别 过程全部依赖于操作人员，显然这不是一种可以完成自动识别的系统。 第二阶段是人机交互式识别阶段，代表性工作有：h a n n o n 和l e s k 用几何 特征参数来表示人脸正面图像。他们采用多维特征矢量表示人脸面部特征，并设 计了基于这一特征表示法的识别系统。k a y a 和l ( 0 b a y a s l l i 则采用了统计识别方 法，用欧氏距离来表征人脸特征。但这类方法需要利用操作员的某些先验知识， 仍然摆脱不了人的干预。 第三阶段是真正的机器自动识别阶段。近十余年来，随着高速度高性能计算 机的发展，人脸模式识别方法有了较大的突破，提出了多种机器全自动识别系统。 人脸识别技术进入了实用化阶段。这一时期涌现出了很多优良的人脸识别算法， 如e i g e i l f a c e 、f i s h e m c c 、双子空b a y c s i 纽方法、弹性图匹配、局部特征分析技术 等，使人脸识别技术从实验室走向市场，出现了一系列商用人脸识别系统。在较 成熟的典型产品中，国外有f e l t ，fa c i 龇c s ，c o g 【l i t e c ，i d e n t i x 和e y e m a t i c ，美 国a 4 v i s i o n 还推出3 d 人脸识别系统；国内有清华大学承担的国家“十五 攻关项 目人脸识别系统、银晨智能识别有限公司研制的嵌入式人脸识别系统、广州 超越数码科技有限公司的b i o f a c e 系统等乜m 1 。 目前常用的人脸识别方法有n 司n 1 ： 霪基于几何特征的人脸识别方法 这类识别方法是通过人脸面部拓扑结构几何关系的先验知识，利用基于结构 的方法在知识的层次上提取人脸面部主要器官特征，将人脸用一组几何特征矢量 表示，识别归结为特征矢量之间的匹配，基于欧氏距离的判决是最常用的识别方 法。基于几何特征的识别方法可以实现对人脸显著特征的一个高效描述，同时具 有存储量小、对光照不敏感等优点。这种方法同样存在一些问题： ( 1 ) 从图像中抽取稳定的特征比较困难； ( 2 ) 对强烈表情变化和姿态变化鲁棒性较差； ( 3 ) 造成信息部分丢失，适合用于粗分类。 霾基于特征脸的人脸识别方法 特征脸方法是从主要成分分析( p c a ) 导出的一种人脸识别和描述技术。p c a 实质上是k - l 展开的网络递推实现。k l 变换是图像压缩技术中的一种最优正 3 北京化工大学硕士学位论文 交变换，人们将它用于统计特征提取，从而形成子空间法模式识别的基础。特征 脸方法存在如下特点：首先，由于作为一种图像的统计方法，图像中所有的像素 都被赋予了同等的地位，可是角度、光照、表情等干扰会使识别率下降；其次人 脸在人脸空间的分布近似高斯分布，且普通人脸位于均值附近，而特殊人脸则位 于边缘分布，可见，越普通的人脸越难分辨，特征脸方法的本质是抓住了人群的 统计特征，反映了特定人脸库的统计特征，但不具有广泛性、代表性。 霾基于局部特征的人脸识别方法 主元子空间的表示是紧凑的，特征维数大大降低，但它是非局部化的，其核函 数的支集扩展在整个坐标空间中，同时它是非拓扑的，某个轴投影后临近的点与 原图像空间中点的临近性没有任何关系，而局部性和拓扑性对模式分析和分割是 理想的特性，似乎这更符合神经信息处理的机制，因此寻找具有这种特性的表达 十分重要。基于这种考虑，研究人员提出基于局部特征的人脸特征提取与识别方 法。这种方法在实际应用取得了很好的效果。 覆基于小波特征的弹性匹配方法 弹性匹配方法是一种基于动态链接结构的方法。该方法在二维的空间中定义 了一个距离，它对通常的人脸变形具有一定的不变性，也不要求待识别人脸和库 中人脸维数一定相同。实验表明，弹性图形匹配优于k l 变换，它能保留更多局 部人脸细节。但具体的参数选择，如二维网格的大小、小波变换参数的选择等， 都会影响识别的效果，因此有效的识别效果依赖于关键识别信息的提取。另外它 需要更大的计算复杂度和存储空间。 毳基于神经网络的人脸识别方法 基于神经网络的方法是最近几年比较活跃的一个研究方向。应用神经网络进 行人脸的特征提取和分类器的设计，有比较成熟的人脸特征提取算法：自适应主 分量神经网络算法。神经网络方法在人脸识别上比其他类别的方法有独到的优势， 它避免了复杂的特征提取工作，可以通过学习的过程获得其他方法难以实现的关 于人脸识别的规律和规则的隐性表达。但由于原始灰度图像数据量十分庞大，因 此神经元数目通常很多，训练时间很长。另外，完全基于神经网络的识别法在现有 的计算机系统( 冯一诺伊曼结构) 上也有其内在的局限性。且神经网络虽然有较强 的归纳能力，但当样本数大量增加时，其性能有可能会严重下降。 曩基于隐马尔可夫模型的人脸识别方法 隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，删) 把面部器官特征和一个状态转 移模型联系起来，这种模型既考虑了人脸各器官的不同特征，又考虑了他们的相 互关联，比孤立利用各器官的数值特征有概念上的进步，该模型的参数能较好地 表征具体人脸模型。该方法鲁棒性较好，对表情、姿态变化不太敏感，对于不同角 4 第一章绪论 度的人脸图像和不同光照条件，都能达到满意的识别精度。 综上可见，目前人脸识别技术还存在着一定的问题，其中最关键的问题主要 有以下几个方面乜卜2 钔： 覆光照问题 早期的解决思路是尽可能采用对光照变化不敏感的图像表示法，如人脸器官 的横纹特征、图像的二维g a b o r 函数滤波等方法。 目前，对光照问题的解决思路有：其一寻求对光照变化不敏感的底层视觉特 征，提高识别性能：其二建立光照模型，进行针对性的光照补偿，消除非均匀正 面光照造成的影响；其三用任意光照图像生成算法生成多个不同光照条件的训练 样本，利用具有良好学习能力的人脸识别判别方法进行识别。另外，利用多种方 法融合来解决光照问题也值得尝试。 曩姿态估计与匹配 在自然状态下所获、得的人脸图像并不总是正面的，正面人脸图像仅仅是一 种理想的识别状态；同时，由于人脸的偏转或俯仰会造成面部信息的部分缺失， 这就给人脸特征的精确提出造成一定程度的困难；此外，识别时偏转角度的估计， 也是影响精确匹配的重要因素。比较典型的解决思路有：其一建立多姿态人脸数 据库，通过多样本学习方法进行识别；其二寻求基于姿态不变特征的方法，如前 面提到的基于弹性图匹配的识别方法、基于肤色模型的识别方法等；另外，利用 自动生成算法，在单视图基础上自动生成多角度视图进行识别。 随着人脸识别技术的发展，很多场合都要求在单幅人脸图像基础上进行身份 鉴定。目前这方面的研究刚起步不久，主要的研究包括：其一基于三维重建的方 法，但这种方法进行识别要求三维模型必须足够精确，计算非常复杂，在实际应用 中其效果并不理想；其二是基于二维图像的生成，目前国内基于此类方法的研究 较多，如陈熙霖、高文等提出了采用多候选类加权方法实现多姿态识别，梁路宏等 提出了基于仿射模板匹配的多姿态识别方法等。 总的来说，基于单视图或小样本的多姿态人脸识别，已是一个当前急需解决 的关键问题，它直接影响着人脸识别的实用化进程。 貔表情特征识别 在进行人脸识别时，表情是一个不容忽略的问题，因为表情的变化直接影响 着人脸识别的结果。借助认知经验的积累，人类对表情的识别能力较强，可以准 确识别多种不同的面部表情。但用计算机实现表情特征检测却很困难。到目前为 止，国际上关于表情分析与识别研究工作可以分为基于心理学的和基于计算机识 别的两类：在心理学方面，s 1 0 s b e r g 提出表情的维量分析，e k m a i l 和f r i e s 提出 表情的分类；在计算机自动识别方面，最早由s 啪a 等人于1 9 7 8 年对表情识别做 5 北京化工大学硕士学位论文 出的初步尝试；其后又有人提出了建立面部表情模型的方法；以及利用光流来跟 踪面部运动单元的识别方法等；此外，高文等提出了面部表情表征方法和表情分 类树结构，并在此基础上进行表情识别。但总的来说，建立在精确的表情模型上 的人脸识别方法还不多见。 藿多种特征融合机制的建立 融合技术的特点是利用多种或多个传感器在时空上的互补性及信息上的相 关性，以期对事物进行更全面的描述。目前融合技术在人脸识别中的应用尝试有 整体与局部人脸特征的组合识别方法、基于结构的人脸识别及不同算法的融合、 基于小波子图与决策融合的人脸识别、信息融合理论在模式识别中的应用研究 等。 鬟三维人脸建模与识别 由于目前技术手段的限制，真实人脸的3 d 数据难于获取，或者说获取的数据 是不完整的和片面的，所以从真正意义上讲，三维人脸识别只是借助3 d 的某些特 征进行辅助的2 d 精确识别。因此，把它称为“准三维人脸识别更为恰当一些。 鬓时变特征的提取与消除 基于时变因素( 如年龄、化妆、疾病或营养引起胖瘦变化以及眼镜等装饰物 的添加等) 也是影响人脸识别的重要方面，目前这方面的研究还不够系统，但随 着人脸识别技术与方法的细化，基于时变特征的人脸识别应该是实用化研究的一 个重要关注点。 总之，人脸识别是一个跨学科富有挑战性的前沿课题，但目前人脸识别还只 是研究课题，尚未真正进入实用化领域。就目前而言，其技术主要还是集中在平 面图像方面，动态实时跟踪和基于三维模型的人脸识别等起步较晚，属于人脸识 别问题研究的前沿。 1 3 2 移动检测技术的发展现状 当前运动目标的检测方法主要有三类，即：光流法、帧间差分法和背景差分 法。这几种方法都取得了一定的进展，但也存在着一定的问题有待解决嘲口嘲： 霾光流法虽然能够在不知道场景任何信息的条件下，检测出独立运动的对 像，但是多数光流法的计算复杂、耗时，难以满足实时检测的要求。 霾帧间差分法尽管具有很强的自适应性，但对“进行差分的帧一的选择时 机要求较高，而且有赖于运动目标的运动速度。如果目标运动速度较快，且选取 的时间间隔过大，会造成两帧之间无覆盖区，导致运动目标无法分割；如果目标 6 第一章绪论 运动速度过慢，且选取的时间过小，则会造成过度覆盖，使目标检测出现空洞( 最 坏时，目标几乎完全重叠) ，同样检测不到目标。 霾背景差分法最容易实现，且能完整地分割出运动目标，然而这种方法有 以下两个问题： ( 1 ) 背景的获得 当前，背景的提取方法大致有“w 4 方法 和“渐消记忆递归最小二乘背景 估计法 两大类。“、w 方法”是无运动目标存在时的背景提取方法，不仅难以 在有些场合实现，而且不能离开人的参与，无法实现无人监控；“渐消记忆递归 最小二乘背景估计法”是在有运动目标存时的背景提取方法，当运动目标所占面 积较大时，会使背景帧的估计不理想。此外还有基于统计的方法，这种方法不适 应在运动目标繁多的场合。 ( 2 ) 背景的更新 当前，主要是运动目标对应像素点的更新问题不好解决。若更新率取的太大， 易使运动目标更新到背景中，产生空洞；若更新率取的太小，又会使静止运动目 标被误测为运动目标。现在一般采取“对更新率折中处理的方式。 1 4 人脸识别和移动检测技术的发展前景 1 4 1 人脸识别技术展望 经过4 0 多年的发展，人脸识别已经积累了大量研究成果，逐渐从基于简单几 何特征的识别方法过渡到特征脸、弹性图匹配、神经网络等多种识别方法n 5 矧。 但以上方法都是针对某些问题提出且存在着优缺点，在实际应用中仍然面临着很 多困难，今后的人脸识别技术中还有以下诸多需要完善的地方凹瑚1 ： 霾人脸识别涉及心理学、生理学等众多学科，今后人们必须借鉴多学科的研 究成果，最大限度获取各种信息并且有机地集成起来加以利用以提高识别率。 霾现有多数人脸识别方法都是针对特定约束条件提出的，任何一种方法都有 其优缺点和应用的局限性，单独使用一种方法不可能取得很好的识别效果。因此， 将多种方法扬长避短综合使用是今后的必然趋势。另外，人脸识别与指纹、虹膜、 语音识别技术融合也是一个有意义的研究方向，这也是生物特征识别技术的发展 趋势。 7 北京化工大学硕士学位论文 黎人脸识别技术成果大多是在二维图像基础上取得的，而利用二维信息的识 别方法在处理光照、姿态等变化时会遇到较大困难。人脸是三维的，三维图像比 二维图像更能提供完整的内容，如何对三维人脸参数进行建模，利用三维信息进 行识别将是一个具有挑战性的研究课题。 霾为了增强安全防范，很多场合要求人脸识别系统具有动态识别的能力，诸 如海关监测等需要对视频中的人脸进行动态跟踪识别。动态识别的实用性大大优 于静态识别，开展动态人脸识别研究有着特殊的应用价值。当前该研究还处于起 步阶段，技术相对比较欠缺。 随着图像处理、模式识别、人工智能以及生物心理学的研究进展，人脸识别 技术将会不断完善，系统的性能将会更加精确高效，人脸识别技术也将会获得更 大的发展。 1 4 2 移动检测技术的展望 移动检测技术未来的研究重点和研究路线仍有以下几个方面呻3 州1 ： 霾研究较好的视频预处理和后处理算法，以提高目标检测效果。比如在预处 理中，通过新颖的空时平滑滤波算法来消除雨雪天气的影响。 霾由于目标检测是很多计算机视觉系统的基础，因此开发既符合具体应用需 求而又内存占用少、实时性又强的算法仍将受到重视。算法应考虑像素的其他特 征或者某种空时关系特征，而不是目前主流的像素亮度或颜色特征，以及要考虑 针对特征建立分布模型，而不是简单的统计处理，这应是技术发展的方向。近两 年就有很多文献继续就高斯混合模型、码本方法、均值替换等方法提出了改进算 法。 霾研究利用目标跟踪结果来指导背景建模的策略或者同时对背景和前景进 行建模的策略。 霾研究健壮的阴影检测和消除算法。由于克服阴影和遮挡问题是目前减背景 技术进行目标检测的弱项，因此未来的技术方法应多考虑相邻像素的相对值以及 相邻像素分布的相互关系，以便对阴影边界和相互遮挡像素的变化进行建模。 蠢室内静止背景相对好处理，而室外大而混乱场景的背景建模则较难，而且 非静止摄像机( 摄像机抖动、摇动或变焦等) 、多摄像机融合以及全景摄像机的背 景建模方法在很多应用中也有需要，但目前这些方面的文献还比较少，值得研究。 第一章绪论 1 5 论文的研究内容及组织结构 本论文各章的内容如下： 第一章简述了论文研究的目的和意义，分别介绍人脸识别与移动检测技术 的概念，并根据文献综述人脸识别和移动检测技术在国内外的研究现状和发展前 景。 第二章是基于h m m 模型的人脸识别技术的理论基础，针对完整的人脸识 别系统的结构阐述核心算法的设计。 第三章是移动检测技术的理论基础，先简要介绍了两种常用的移动检测算 法，通过分析性能发现它们存在着一些缺陷，对此提出一种改进的背景差算法， 详细阐述了算法的设计原理和设计流程。 第四章按照功能模块介绍了一个基于人脸识别和移动检测的视频监控系统 的具体设计。 第五章通过实验对本系统的核心技术：基于h m m 模型的人脸识别技术和 移动检测技术的性能进行了分析，并与传统的方法进行了比较。 第六章是整个软件系统的总结和下一步的展望。 9 第二章基于h m m 模型的人脸识别算法 第二章基于h 栅模型的人脸识别算法 2 1 人脸识别系统的研究范围 一个成熟完整的人脸识别系统研究范围包括以下3 个方面的内容n 司汹1 ： 霪人脸检测( d e t e c t i o n ) 即从各种不同的场景中检测出人脸的存在并确定其位置。这一任务主要受光 照、噪声、面部倾斜度以及各种各样遮挡的影响。 鍪人脸表征( f a c er e p r e s e n t a t i o n ) 即采取某种表示方式表示检测出的人脸和数据库中的已知入脸。通常的表示 法包括几何特征( 如欧氏距离、曲率、角度) 、代数特征( 如矩阵特征矢量) 、固定 特征模板、特征脸等。 鏊人脸识别( r e c o 印i t i o n ) 即将待识别的人脸与数据库中的已知人脸比较，得出相关信息。这一过程的 核心是选择适当的人脸的表征方式与匹配策略，系统的构造与人脸的表征方式密 切相关。 其中人脸检测和人脸识别模块是人脸识别系统中最重要的模块。下面就分别 对本文所选用的人脸识别系统的各个关键技术进行介绍。 2 2 人脸模式的特征 人脸的特征是整个人脸检测与识别技术的基础元素，人脸模式的特征一方面 体现在“鉴别度”上：即可以看作提供给检测的一种模型，以判断图像中是否存 在人脸；另一方面体现在“区分度上：即可以作为识别的度量，把检测出的特 征值与先前存在于数据库中的特征值进行比对，得到一个归一化的相似度，该相 似度直接决定检测的人脸与数据库的某个人脸是同一个人的概率有多大，因此， 在介绍人脸识别技术之前一定要先了解人脸的特征。 人脸图像所包含的模式特征十分丰富，如图2 1 所示咖3 ： 北京化工大学硕士学位论文 直方图特征 ( 分布、距离等) 镶嵌图特征 ( 马赛克撬刘等) 结构特征 ( 对称性、投影 特性等) 颜色特征 ( 肤色、发色等) 人脸 特征 变换域特征 ( 特镊脸、小波 特征等) 轮廓特征 ( 椭圆轮廓等) 启发式特征 ( 头发、下颚等) 模板特征 ( 均值、方差、 距离等) 霉2 1 入脸模式的特征 f i g 2 一lf e a t u r 麟o ff a c em o d e 如何利用这些特征是人脸检测技术静关键，人脸模式的特征中，根据特征的 色彩属性可以分为肤色特征和灰度特征，这两者是在人脸检测中得到应用最多的 一1 。前者更加适用于构造快速的人脸检测和人脸跟踪算法，霹其快速的特点是 本文研究的重点。下面简要介绍肤色特征： 肤色是人脸的重要信息，不依赖于面部的细节特征，对予旋转，表情等变化 情况都能适用，具有相对的稳定性并且和大多数背景物体的颜色相区别。因此肤 色特征在人脸检测中是最常用的一种特征。肤色特征主要由肤色模型描述。常用 的肤色模型有高斯模型、混合高斯模型和直方图模型，除此之外，还有直接利用 几何参数描述肤色区域分布范围的模型、三维投影模型、基于神经网的肤色模型 等。此簸也有同时考虑巍肤色挣与“菲肤色像素分布的基于贝时薪方法的模型 ( 鹪哪】 2 3 人脸检测算法 人脸检测是撂在输入图像中确定所有人脸( 如果存在) 的使置、大小和姿态的 过程。人脸检测系统输入的是可能包含人脸的图像，输出的是图像中是否存在人 脸和人脸数尽、位置、尺度等信息的参数化攒述阻删。 1 2 第二章基于h m m 模型的人脸识别算法 在本系统中因为需要自动检测、识别人脸目标，因此实时运算量会非常大， 这就需要一种能够快速检测的算法，并能在应用过程中达到实时，这样将为成功 构造出具有实际应用价值的人脸检测与跟踪系统提供保证。目前的人脸检测方法 包括了基于统计的方法、基于模板匹配的方法、基于特征的方法等1 。其中基 于特征的方法，基于肤色的方法是这一类方法中极具代表性的方法，它主要根据 人脸的肤色和颜色等特征进行人脸检测，这一类方法简单易懂，适用于快速人脸 检测的系统设计中，下面介绍这种方法的具体设计。 2 3 1 人脸区域分割 人脸区域分割的系统图如下m 1 ： 输入 图2 2 人脸区域分割系统图 输出 f i g 2 - 2d 硫i 叽o f 缸e 姆 人脸区域分割是通过肤色的筛选来将人脸区域与非人脸区域分开，提取出入 脸区域矩形，它们将代替整幅图像作为人脸检测算法的输入，因此对于这些矩阵 、的设计要求为： 黧这一系列矩形应该尽可能的包含待检测图像中的所有人脸 不漏检、不降低正确率是整个肤色分割预处理的前提，当然无论什么样的肤色模 型都存在判断失误的现象，所以要尽可能输出的一系列矩形应该尽量包含所有的 人脸区域。 雾这一系列矩形应该少包含非肤色区域 相对原来的整个图像，经过处理后的矩形大小一定远远小于原来的图像大小，这 也是该方法提高检测效率的原因。 文献 4 5 提出了基于皮肤、头发区域的方法： 定义： 忙再，g2 再赫，k 0 3 帜+ 0 5 9 g + 0 1 1 伊。划2 - 1 ) 其中r g b 为原图像素的值，那么，当满足如下条件时： 1 3 北京化工大学硕士学位论文 l o 3 3 3 ， o 6 6 4 io 2 4 6 g g i g o 5 一o 5 ， 该区域可能是皮肤的颜色。同时，当】， 4 0 时，该区域可能是头发的颜色。那么 原图就可以划分为3 种区域：皮肤、头发、背景。 当然任何算法都会有缺陷，比如说图像背景和人脸肤色比较相近，那么这样 就会影响最终的人脸检测效果，因此只进行区域分割并不能得到效果比较好的检 测结果，这就需要做后续的工作来进一步区分人脸区域和非人脸区域。 2 3 2 人脸特征的检测 在人脸上，眼睛、鼻子、嘴巴等都是人脸存在的重要信息，在经过区域分割 后的区域中对于以上特征是否存在进行验证，这样就可以检测到人脸并排除非人 脸区域4 1 。但是以上特征并非任何时候都会全部出现，从算法效率上来讲将所 有的特征都检测一遍也影响效率，在这些特征中眼睛对称性和像素的独特性使得 它成为特征检测的优选，只通过检测眼睛就能够完成人脸检测工作并提高效率。 由于眼睛和肤色的差异较大，在区域分割后的矩形区域的上半部根据人眼的 灰度特性和对称性来进行检测( 检测方法也参照上一节区域分割的方法) ，如果 检测到人眼，那么就将该区域列入人脸区域，否则列入非人脸区域。 经过人脸检测，最终得到的结果包括人脸区域的坐标以及每个人脸两眼的坐 标，检测到的人脸区域将作为识别时特征提取的来源。 2 4 人脸特征提取方法 目前提取特征的方法归纳起来分为两大类：基于整体特征的提取方法和基于 局部特征的提取方法。前者考虑了模式的整体属性，把人脸图像灰度分布整个作 为一个特征模式来提取特征，能够获得较好的识别效果，是特征提取方法的主流 【5 i 喝】 o 基于整体特征提取的方法最常用的是基于代数特征提取的奇异值分解法 ( s i i l ；u 1 盯v a l u ed e c o m p o s i t i o i l ，s v d ) 和基于离散余弦变换( d i s c r e t ec o s m e 1 4 第二章基于h m m 模型的人脸识别算法 t r 锄s f o m l ，d c t ) 的方法。两种方法都可以对h m m 模型在人脸识别中的应用提供 支持，文献 5 5 对两者作出了比较详细的比较，得出的结论是在人脸识别中d c t 相对于s v d 提取特征向量，不管从识别率和速度上都有更大的优势；从文献 5 6 中了解到选用d c t 系数作为观察量系数能够大大降低观察量向量的维数，使用 d c t 系数能减小h m m 对于噪声、图像旋转或偏移及光照变化的敏感程度，因此 选用d c t 作为提取向量的方法。 下面简要介绍d c t 的基础理论，以及在特征提取中的应用。 霪、d c t 的基本理论 离散余弦变换定义为呻3 ： 吖川：口r 厨f ，。笋训) 铆r 丝业k f 鱼业l 式( 2 - 3 ) 吖肛叫= 吖吖训萎萎五铆l 警卜l 警 式( 2 - 3 j = dy = d l 二 j l j ( = 0 ，1 ，2 ，m 一1 ；d = o ，1 ，2 ，一1 ) ，式中，q ，为变换结果，也称d c t 系 数。口( u ) 和口( ) 分别定义为： 咖夕： 悸叫 式( 2 4 ) i 、锄，= ，m j 咖j 2 豫置却司 离散余弦变换的特点是：频域变化因子、d 较大时，d c t 系数c ( ，d 的值 很小；而数值较大的c ( ，d ) 主要分布在、u 较小的左上角区域，这也是有用信 息的集中区域。 塑、利用d c t 系数产生观察值序列 将人脸图像采用遍历方法进行采样，就是在人脸图像平面上用一个像素点数 的宽为p 长为l 的采样窗，从左到右、从上向下滑动，进行采样。将得到的采样 块进行2 d d c t 变换后取若干项低频系数，就可以得到人脸图像的观察值序列。 2 5h m m 模型在人脸识别技术中的应用 2 5 1 嗍m 的基础理论 在前面的章节已经简要介绍了人脸识别相关技术和基础，基于h m m 的方法 1 5 北京化工大学硕士学位论文 在人脸识别各个重要技术当中都有比较好的应用，利用h m m 来开发人脸识别系 统已经条件成熟。在这里重点介绍h m m 方法在人脸识别系统中的应用： h m m 是马尔可夫链( m 破0 vc l 璩曲的推广，在h m m 中，观察到的事件与状 态通过一级概率分布相联系，是一个双重随机过程，其中一个是m a r k o v 链，它 描述了状态之间的转移；另一个随机的过程描述了状态和观察值之间的统计对应 关系。h m m 的状态是隐含的，可以观察到的是各个状态产生的非确定的观察值， 因此称为隐马尔可夫模型晦 。 蘩h m m 的构成元素 ( 1 ) h m m 模型的状态数n ，如果s 是状态集合，则s = s l ，s 2 ，s3 ，s n 。模 型在时间t 的状态记为q 。s ，l t t ，此处t 为观察序列的长度( 又称 帧数) 。模型经历的状态序列记为q = q ，q ：，q t ) 。 ( 2 )观察符号数为m ，设v 是所有观察符号的集合( 又称为模型的c 0 d e b 0 0 k ) ， 则v = v ，v ：，v m ) 。 ( 3 ) 状态转移概率矩阵a = a 日j ，其中：a 。= p ( q 。= s jiq t - l = s i ) ，1 i ，j n 。 其中：约束条件为o a 。sl ，及a o = 1 。 j | l ( 4 ) 观察符号概率矩阵b = 舾j ( k ) j ，b j ( k ) = p ( o 。= v kiq 。= s j ) ，1 j n ， 1 k m 。此处o 。是时间t 下的观察符号( 观察矢量序列为 o = 0 l ，0 2 ，o t ) 。 ( 5 ) 初始状态概率分布万= ( 万i ) ，死= p ( q l = s 1 ) ，1 i n 。一个h m m 可以 简记为兄= a ，b ，万) ，由于其输入为有限字符集v = v 。，v ：，v m ) ，因此 称其为离散隐马尔可夫模型旧书1 。 霪删模型的三个问题嘲 ( 1 )对于给定的隐马尔可夫模型名= 何，a ，b ) 和一个观察值序列 o = ( o 。，0 2 ，o t ) ，确定观察值序列和给定模型的相似度p ( oi 力) 。 ( 2 )给定一个隐马尔可夫模型a = 忉，a ，b ) 和一个观察值序列 o = ( o ，o ：，o t ) ，在最佳的意义上确定一个状态序列 u 2 q l ，q 2 ，q t 。 1 6 第二章基于h m m 模型的人脸识别算法 ( 3 ) 给定一个观察值序列o = ( o 。，o ：，o t ) ，确定一个隐马尔可夫模型 名= f ，万，彳，曰夕，使p ( oia ) 最大 这三个问题是隐马尔可夫模型最重要的三个问题。这三个问题的解决方法是 把隐马尔可夫模型应用到实际中去的基础，下面简要介绍解决这三个问题的算 法。 囊删模型的基本算法啕删 ( 1 ) 前向一后向算法 该算法是由b 硼m 等人提出的，用来计算给定一个观察值序列 o = ( 0 1 ，0 2 ，o t ) 以及一个模型名= ( 石，a ，b ) 由模型旯产生出o 的概率 p ( o1 名) 。前向算法的计算量为n ( n + 1 ) ( t 一1 ) + n 次乘法和n ( n 一1 ) ( t 一1 ) 次加 法，后向算法的计算量大约在n 2 t 数量级，它们都是格型结构。在实际的应用 中，由于求出的值通常很小( 接近于零) ，通常在计算过程