（电路与系统专业论文）视频图像中的运动人体检测和人脸识别.pdfVIP

摘篮 摘要 水论文主要介绍了作者对运动蹦标检测与分析中些算法的研究，0 婴他括 了视频序列中运动目标的分割算法b 外轮廓精确提取算法、悱棚挤环境- i ，f n 运z 力 人体检测算法、视频序列中具有可分离性的多人脸检测算法、多加发1 i 州发情卜 的人脸谚 别算法等。本文的r j 的是研究简单高效的算法，将运动人体的检测j 分 割、人脸榆测与泌别作为一系列的问题迸行研究。本论文的生要研究成粜列举如 卜： 在研究已有算法的基础上，针对摹丁：帧问差分方法对噪声敏感的问题，本文 提岍一种头于特征对象的的运动h 标检测与外轮廓精确提取算法。特自i 刈致山改 进的k l 变换计算得出它不但具有运动对象的位置、形状等信息，】刚i 与原图像 序列的某一帧图像相对应。山此，可以进行运动对象的分割与提取。对川体和i l | ： 刚体运动对象，利用特征对象方法都只需3 帧即可将其与背景分离。榆测剑特征 对象后，将州l 日j 信息与空问信息棚结合提取运动1 1 标的精确位胃及外轮廓。进 步，设计了基j ：k l l y s n a k e 混合模理的运动 ；i 标外轮廓精确提取算法。实验结粜 表i 删，该算法计算速度快，能够正确的检测与分割复杂背景卜的多返z 山标，j 1 ： m 叮精确提取运动目标的外轮廓。 在研究现有人体检测算法的基砌卜，以简单高效为原则，设计了綦卜j 间信 息耵1 人体形状信息相结合的非拥挤坏境下人体检测算法。首先利川小文提的特 征对象法检测和分割运动目标，然后利用人体的形状信息【分运动l1 卡，j ir 内人体 与非人体，并利用连续多i 随排除了日标白j 的短时。n ：遮挡。算法的优点是运动i j 标 榆测准确，进行人体检测时不受人体角度的影响。而且，l 小j 二在运动【| 枷i 检测时 已对l 标阴影进行了处理，因此提取的人体外形刁i 受阴影的影响。分析平实验表 明，该算法抗干扰能力强，可以准确检测到菲拥挤场景中的多个运动人体。 提出了将运动信息与边缘投影函数相结合的视频序列人脸检测与定位算法； 针对经典s o b e l 算子检测到的边缘粗，对噪声敏感的问题，设计了| 双阂值s o b e l 算 子进行边缘检测，该算子检测到的图像边缘清晰、细致、噪声少；提了、 c 力投 影函数，该投影函数不但可区分均值干h 吲的区域，而且可k 分方差相同的【蔓域。 吲为边缘图像携带了丰富的图像信息，儿对光照条件的改变1 i 敏感；投影甬数”， 枪测灰度值变化的区域；运动h 标检测得到的图像7 号景简t 弘，凶此将运动信息、 边缘两数2 j 投影函数结合起来设计的入脆榆测2 ，定位筇法简坼实j 。 多f 】度4 ：同表情下的人脸谚 别是人脸谚 别领域的一个雕t i 。设计人脸u 蛳0 钾： 法l 卜j 城扛要的曲个步骤。足故汁合适的特征提取算法，j个足改汁合适的肝j j 视频图像中的人体检测年i | 人脸识) ；i j 分类器。现有的人脸识别算法在这两点j 二各有偏重，而将这两方面综合起米考虑 的算法还彳i 成熟。针对以上问题，提出了一种新的基于二维主元素分析法的贝叶 斯人脸识别算法。该算法综合了二维主元素分析法进行特征提取时计算简便、速 度快、可对原始数据降维的优点，以及贝叶斯分类器可分析人脸多种变化的优点。 分析和实验表明，该算法适合多角度不同表情下的人脸识别，且计算简单、速度 快。 关键词：计算机视觉运动分割人体检测人脸检测p c a 人脸识别 a b s t r a c t a b s t r a c t t h i sd i s s e r l a t i o nd e s c r i b e so u ri n v e s t i g a t i o no ns o m ea i g o r i t h mo fc o m p u t e rv i s i o n r e s e a r c hf r u i t sm a i n l yi n c l u d es e g m e n t a t i o na l g o “t h ma n dp r e c i s eo u t l i n es e g m e n t a t i o n a l g o r i t h mo fm o v i n go b j e c t s 行o ms e q u e n t i a li m a g e s ，d e t e c t i o na l g o r i t h n lo fm o v i n g h u m a nb o d yf b mu n c r o w d i n gs c e n e ，j a c e sd e t e c t i o na l g o r i t h mf r o mv i d e os e q u e n c e s ， f a c er e c o g n j t i o nu n d e rd i f f b r e n te x p r e s s i o n sa n dm u i t i v i e w se t c t h em o t i v a t i o no ft h i s d i s s e r t a t i o ni sh o wt of i n ds i m p l ea n de f f e c t i v ea l g o r i t h m s ，s oa st oc o m b j n et h em o v i n g b o d yd e t e c t i o n ，f a c ed e t e c t i o na n dr e c o g n i t i o na sas e “e sp r o b l e m t h ec o n t r i b u t i o n so f t h i sd i s s e n a t i o na r el i s t e db e l o w a i m i n ga te x i s t i n gd e f 、e c t so ft r a d i t i o n a ls e g m e n t a t i o nb yt e m p o r a id i f r e r e n c i n g m e t h o d ，s u c ha ss e n s i t i v et on o i s e s e n s i t i v et ot h ed y n a m i cb a c k g m u n de t c ，w es u g g e s t an e wm o v i n go b j e c ts e g m e n t a t i o na l g o r i t h mb a s e do ne i g e n o b j e c t e i g e n o b j e c ti s c o m p u t e db yi m p m v e dk l t r a l l s f o n n i tn o to n i yc o n t a i n st h el o c a t i o ni n f o r m a t i o na n d t h es h 印ei n f 0 h n a t i o no ft h em o v i n go b j e c t s ，b u ta l s oc o h e s p o n d st o l h em i d d l ef r a m e o ft h e o r i g i n a li m a g es e q u e n c e ， t h em o v i n go b j e c tc a nb ee x t r a c t e d b yu s i n g e i g e n o b j e c t i n t h i s s t e p ，t h r e ef h m e sa r ee n o u g hf o r “g i da n dn o n r j g i do b j e c t f u n h e 肌o r e ，am o v i n go b j e c to u t l i n ep r e c i s ee x t m c t i n ga l g o r i t h mi sd e s i g n e db a s e do n ak u l s n a k em o d c l t h ee x p e r i m e n t a lr e s u l t ss 1 1 0 wt h a t ，t h ea j g or i t h mp r o p o s e di nt h e p a p e rh a sah i g hs p e e da n dad e 行n i t em e a n i n g ；i tc a nd e t e c ta n ds e g m e n tt h em o v i n g o b j e c t sa c c u r a t e l yf r o mc o m p l e xb a c k g m u n d o nt h eb a s i so fs t u d y i n gp “o rw o r k ，ah u m a nb o d yd e t e c t i o na j g o “t h mb a s e do nt h e c o m b i n a t i o no ft e m p o r a li n f o r m a t i o na n ds h a p ei n f o 咖a t i o ni sd e s i g n e d n r s t l y m o v i n g o b j e c t s a r cd e t e c t e d u s i n g t h ep m p o s e ds c g m e n t a t i o na l g o r i t h m s e c o n d l y is h a p e i n f o n n a t i o ni su s e dt od i s t i n g u i s hh u m a nb o d ya n do t h e rm o v i n go b j e c t f u n h e m l o r e ， o c c l u s j o nd u r i n gas h o r tt i m ei sh a n d i e db yd c t c c t i n gt h es h a p eo fm o v i n go b j e c ti n c o n t i n u e sf h m e s t h ea l g o r i t h mh a st h e a d v a n t a g e so fa c c u r a t e l ym o v i n go b j e c t d e t e c t i o na n dt h ed e t e c t i o nr e s u l td o n te f f e c tb yt h eb o d yp o s e e x p e r i m e n tr e s u l t s s h o wt h a tt h ea i g or i t h mi sr o b u s tt on o i s ea n dc a nd e t e c tt h eh u m a nb o d i e su n d e r c o m p i e xc i r c u m s t a n c e af h c ed e t e c t i o na l g o r j t h mc o m b i n c dm o v i n gi n f o 肿a t i o nw i t he d g ep r o j e c t i o n f u n c t i o ni sp r o p o s e d a i m i n ga te x 心j n gd e f a u l t so ft m d i t i o n a ls o b e lo p e r a i o rs u c ha s s e n s i t i v e “) n o i s ea n dt h cd e t e c t e de d g e sa r et ot h i c k ，at w ot h r e s h o i c ls o b e io p e r a i o fi s 视频【刳像中的人体检测和人脸u ! 别 p r e s e n t e di n t h ep 印e rw h i c hc a nd e t e c tat h i n n e re d g ea n dn o n s e n s i t i v et on o i s e f u n h e r m o r e ，as q u a r ep n 。j e c t i o nm n c t i o ni sd e s i g n e d t h ef l u n c t i o nn o to n l yc a n d i s t i n g u i s hr e g i o n sh a v eas a m em e a n ，b u ta l s oc a nd i s t i n g u i s hr e g i o n sh a v eas a m e v a r i a n c e a st h ee d g ei m a g et a k es u m c i e n ti m a g ei n f o n l l a t i o na n da d a p t i v et ot h e 川u m i n a t i o nc h a n g ea n dt h ep r o j e c t i o nf u n c t i o nc a nd e t e c t t h ec h a n g e so fg r a yv a i u e ， t h ep m p o s e df a c ed e t e c t i o na l g o r i t h mc o m b i n e dm o v i n gi n f o m l a t i o n ，e d g ei m a g ea n d p r o j e c t j o nf u n c t j o nh a st h ea d v a n t a g e so f s i m p i ea n dp r a c t i c a l i t y f a c er e c o g n i t i o nu n d e rd i 仃e r e n te x p r e s s i o n sa n dm u l t i v i e w si sad i f 芤c u l t yp r o b l e m i nf a c er e c o g n i t i o nd o m a i n t h et 、v oi m p o 加ts t e p si nd e s i g n i n gf a c er e c o g n i t i o n a 培o m ma r ef b a t u r ee x t r a c t i o na j l dc l a s s i n c a t i o na i g o r i t h md e s i g n i n g t h ep r i o rf a c e r e c o g n i t i o na l g o t 1 1 n l sh a v ei a yp a n i c u l a rs t r e s s o no n eo fm et 、v 0 h o w e v e r ，t h e m e t h o dn o to n l yh a sa no p t i m a lf e a t u r ee x t r a c t i o na l g o r i t h mb u ta l s oh a sa no p t i m a l c l a s s 讯e ri sn o ty e ta v a i l a b l e t b 、v a r dt h i se n d ，an e wa l g o r i t l l mc o m b i n e st w o d i m e n s i o n a lp r i n c i p l ec o m p o n e n ta n a l y s i sw i t hb a y e s i a na n a l y s i si sp r e s e n t e d e x p e r i m e n t ss h o wt h en e wa i g o r i t h m i sb e s tj nf a c er e c o g n i t i o nu n d e rd i f r e r e n t e x p r e s s i o n sa n dm u i t j v i e w sa n da n dw i t hq u i c ks p e e d k e y w o r d s ：c o m p u t e rv i s i o n ，m o t i o ns e g m e n t a t i o n ，h u m a nb o d yd e t e c t i o n ，f a c e d e t e c t i o n ，f a c er e c o g n i t i o n 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了本文中特别加以标注和致谢中所罗列的内容外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名日期2 0 0 ；， 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容：可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本人签名 导师签名： 日期抛3 7 日期：? 和6 - ；p纽 筑章绪论 第一章绪论 1 1 计算机视觉及运动人体分析概述 计算机视觉是指，计算机控制传感变换设备对客观景物进行采集，利j _ f ：l 计算机 对景物的视觉信息进行表征及压缩、处理分析、存储及网络传输，从i 实现人类 刨勿视觉( 包括眼睛和大脑) 所具备的功能。它从所获得的图像i 一成刈景物的 明确、有意义的解释和描述，对客观世界进行视觉感知。所涉及的采集、处理、 表征、存储与传输五项技术都在发展，但人们研究较多的还足视觉信号信息处i 生 技术l 。 人们通常将计算机视觉分为高层h i 曲l e v e i ，中删层i n t e r r n e d i a t el e v e l ，和低 层l o wl e v e l 。低层视觉主要研究涉及象素一级的运算操作，包括边缘捡测和区域 分割等。中问层蕾要分析二维的形状、颜色、纹理、运动、明暗和遮# 1 j 等。随着 应用场合的不同，要特别关注其不同的先验知识；根据区域的。陀质年u 特钲找 区域问的关系，并推导出相应的三维描述。高层视觉主要研究三维景物的解释、 理解和物体识别。 计算机视觉中有关运动的研究，早在二t j l 丛纪三十年代就丌始了。1 _ | 【一f 哟j 较成 功的研究还主要是集中于对刚体运动的研究上。h 十年代z - ：右，刈 | i 剐体的研究 逐渐兴起。尤其是人的运动分析，山于其在监控、机器人、人机交1 1 等方1 l j | 具有 j “泛的应用前景，而激发了l l = 界范围内的广大工作者的研究兴趣。 运动人体分析的主要应用领域为：( 1 ) 监控领域：自动视频l 监控足指在忙碌 的环境下实时观察人和车辆，并描述其运动和交互作用。应用之一是山入l j 控制， 它检测某个人是否真的出现然后对其进行人脸识别、跟踪；其他应川如停车场 的监控系统，它跟踪物体的运动以判断是否会有犯罪情况的发生。例如，在安伞 度要求较高的军事场合，只有具有特定身份的入才能出入。这时需要使辟j 生物特 征预先建立一个生物特征数据库。当有人准备进入时，系统可以自动铁墩实时拍 摄的图像中来访者的特征，如高度、脸部表象、步念等，以决定是否可以让来访 者进入。视频监控已在美国、欧洲和n 本有了大的研究工程。而阻近年柬，也成 为一些国际会议和一作组的主题。视频监控在商业、法律平j ：事领域行直接的需 求。安装视频摄像机比较廉价，似扉用合适的人员观察辛n 摄结果即是微 r j 炎的。 爆管日前视频摄像机在银行、商场和停车场已较为普及，仙挺供的址“0 f 后的” 证掘，失去了其积极、实时t l ：的意义。人们需要视频j j f 控进行连续2 4 小叫的嘛控， 对犯罪行为进行自动报臀，使。】：作人员仃州n u 出及时制jj ：犯盹( 2 ) 控制领域： 视频陶像中的返动人体检测和人脸识别 与控制领域c | j 相关的应用足提供控制函数。如设计游戏，虚拟环境，动画等的接 口。这时，可通过脸部表情分析、手势识别等进行更好的人机交互。( 3 ) 分析领 域：对人运动的分析和理解有助于建立人体的几何模型，解释人体的运动行为机 制。叮用于医学步态分析、体育运动及舞蹈训练等。 运动人体分析属于图像理解和分析的范畴，涉及到计算机视觉、图像处理、 模式识别、心理学等领域。例如，在心理学方面，j o h a l l s s o n l 3 j 在他著名的 m l d s ( m o v i n gl i 曲td i s p i a y s ) 实验中发现人们只需根据很少的运动点就可以识别 出运动的模式，如走、起立。这引出了一个问题：是否可以直接从运动中讨 别运 动模式，而不需要恢复结构。在运动学方面，需要发掘人体的模型以解释其运动 基理。在舞蹈学方面，人们长期致力于设计用于舞蹈、芭蕾、戏剧的高层次的人 体运动描述。计算机图像学则处理人体运动的合成。 运动人体分析的过程主要可以分为运动目标检测，目标分类，目标跟踪，行为 理解和步念分析等。目前，运动人体的检测、跟踪与识别已成为计算机视觉领域 中备受关沿：的研究方向。它研究的是人体的各种运动，如头部、胳膊、手、肘及 腿部的运动。另外，在h 入口监控、视频人脸检索等系统中运动人体分析的最终 目的包含人的身份识别等问题。例如，在视频监视中，远距离的监视得到人体运 动信息，如步态等：近距离的监视则以人脸为主，这时需要人脸检测与跟踪、人 脸识别。与指纹、虹膜等一样，人脸识别也属于一种生物特征认证技术。而且人 脸识别更可靠、更易于被人们所接受，因此而受到了人们的高度重视。比如基于 视频的自动人物认证系统，它所处理的视频序列就包含逐渐走近摄像机的人体。 因此，运动人体检测、人脸检测与识别既可作为独立的课题进行研究，也可以作 为一个课题的各个步骤进行综合的研究。本文主要致力于研究运动人体分析中的 目标检测、目标分类( 运动人体检测) 、视频序列中的非拥挤人脸检测，及人脸识 别。 1 2 国内外发展现状及研究热点 由于人体运动分析具有广泛的应用范围，因而引起了世界范围内广大研究者 的兴趣。例如，i e e e 汇刊p a m i ( p a n e ma n a i y s i sa n dm a c h i n ei n t c l l i g e n t ：模式分析 和机器智能) ，在2 0 0 0 年第8 期集中讨论了人体运动检测和行为识别的问题。其中有 一些文章受到了d a r p a ( d e f e n s e a d v a n c e d r e s e a r c h p r o j e c t i o n a g e n c y ：美国国防 高级总署) v s a m ( v j s u a ls u r v e 1 l a n c ea f l dm o n i t o r i n g ：视频监控和监测) 工程的资 助。实际i 二，i e e e 分别在小同时期，资助了三个国家的关于视频监控方而的专题 研究小组：印度( 1 9 9 8 ) ，美利峰合众圜( 1 9 9 9 ) ，爱尔兰( 2 0 0 0 ) 。这螳研究小 组部干1 j 继发农了一些争刊。值得注意的是，自从9 1 1 事件以后，视频监控不仅引起 第一章绪论 了学术界的关注，而且也引起了工业和政府的关注。图1 1 给山了个典型的视频 监控流程图【“。 图1 1 典性的视频监控流样图 智能监控系统已发展起一些世界范围内的大研究工程。例如，d a p r a 在 1 9 9 7 年启动了v s a m 工程，其目标是发展自动视频理解技术以实现单个操作员监 控在战场或民用场景等复杂场景下的行为。另外，为了加强对恐怖分子的防御措 施，2 0 0 0 年d a r p a 启动了远距离人体验证项目，目的是建立全方位多模型监控 技术以成功实现远距离的人体检测、分类，和验证。 现在，已经有许多著名的视频监控系统。实对视频监控系统w 4 ”】组合了形状 分析和跟踪，并建立人类外形的的模型以检测和跟踪人群并监视他们在拥挤及室 外环境下的行为。该系统使用单个摄像机和狄度传感器。w r e n 等丌发的p f i n d e r 系统【6 l 恢复在大房间中的人体三维描述。它跟踪复杂场景下非拥挤人群中的单个 人，已用于许多应用中。o l s c n 等丌发的t i l7 j 系统是单人跟踪系统，它使用运动检 测的方法检测室内场景下的运动物体，使用一阶预测跟踪他们并识别其行为。该 系统无法处理背景物体的细微运动。c m u 系统i s j 使用连接成网络的多摄像机检测 大范围内的活动。它可以检测并跟踪在拥挤场景内的多个人和车辆，并长时日j 监 测他们的活动。在硬件方面，索尼和因特尔公司也都设计了适于视频监控的设备。 例如，活动摄像机，智能摄像机，全方位摄像机等。 下面重点介绍与本论文研究内容相关问题的国内外研究现状及难点。 1 2 1 运动人体分析 在人体运动分析逐步兴起的几十年中，研究人员使用了各种研究方法。对这 些方法加以分类，可更好的阐述这个问题。人体运动分析从不同方i n i 来看，有不 嗣的分类方法【3 1 【9 1 。如基于模型的方法和基于非模型的方法一：维方法和二i 维方法， 视频幽像中的返动人体检测和人脸识别 传感器种类( 可视光、红外光、深度数据等等) ，传感器数量，运动的和静止的传 感器，跟踪和识别，角度估计和跟踪，角度估计和谚 别，各种应用，单人和多人， 被跟踪的肢体数量，分和和集中处理，等等。不管哪一种方法，处理的都是包含 人体的动态图像序列，研究过程可分为目标分割、目标分类、跟踪、识别几个方 衙。研究时可单独针对其中的某一方面，或设计完整的系统。其中，运动目标分 割、目标跟踪的准确性和有效性将直接影响后续的工作，因此其重要性不南而喻。 1 日栩i 分割 h 标分割就是从动念图像序列中检测出运动的物体，并将其与背景分离1 0 1 。 它在运动视觉检测和新的m p e g - 4 视频编码标准巾都起着十分重要的作用。视频 序列中的背景有两种类型，静念的背景和运动的背景。静态背景时只有 _ j 标物在 动。这时检测的困难在于背景的动态变化，如光照、影子、天气等的于扰。最简 单的目标分割方法是两帧差分法；而运动背景情况下目标物和背景都在动，为了 适应动态的背景可使用光流等方法。下面分类论述： ( 1 ) 基于背景建模的方法。 背景建模方法是一种较常用的运动分割方法，对相对静态的背景特别有效。 它通过逐象素计算当前帧和参考帧的差来检测图像中的运动区域。一种较常用的 背景建模方法是，根据背景场景的模型提取出每个新的图像，并给帧差设置一个 闽值以决定哪些是前景。完全稳定的背景强度可相应的使用正念分布来建立，并 日通过递归刷新模型来能够适应场景的缓慢变化。文献 1 l 】使用3 个正态分布对交 通监控系统的道路、阴影和车辆建模。文献 1 2 】象素强度由k ( 一般取3 到5 个) 高斯模型建立。e l g a m m a l i l3 j 使用通过估计观察象素强度的概率建立无参数背景模 型。w 4 i5 j 使用的变化背景是一个双模型分稚，在训练期问出背景值的高阶统计量 建立。该类方法简单但对背景的动态变化如光照、外来物体的干扰非常敏感。 所以，该类方法依赖于合适的背景模型来减少干扰的影响。 ( 2 ) 基于帧问差的分割方法，即通过全局运动估计和补偿后，认为相邻帧问 的背景是静止的，可通过帧问的差分检测到运动区域。n 甜【h 1 认为噪声具有高斯特 性而运动对象具有很强的结构性，可采用互帧差的四次高阶统计量预分割出运动 区域和背景区域。但在运动对象的内部容易产生空洞。m e c h 【1 5 】则提出一种基于变 换检测模板的分割算法，即阈值化相邻帧差获得变化检测模板，然后采用松弛技 术平滑边缘，再利用对象形状的空问连贯性得到变化检测模板，通过去除未覆盖 的背景获得运动对象模板。总之，差分法能提供最完全的特征数据，但对于动念 场景的变化较敏感。如天气的变化，光照条件的改变较为敏感。但可以建直不m 的背景模型来克服这种缺点，特别是各种自适应背景模型。这类方法的优点是汁 算简巾，速度怏：缺点是对象运动不能太快对噪声有一定的敏感性。 ( 3 ) 坫于光流场和基于运动参数估计的方法，即通过计算光流场和估计运动 第一章绪论 参数，找出符合运动模型的象素区域，进而合并区域来构成运动埘致。如l w j x s o n i i6 l 检测物体的运动特征点，通过计算“方向一致性光流”进行运动检测。文 献【1 7 】利_ = i 光流方法，从运动速度上区分不同月标与背景。山于光流估计的可靠性 差，又提出了基于贝叶斯法概率统计的运动分割方法，即在给定的光流数据的条 件下，搜索分割标记的最大后验概率，使得当前分割与期望分割符合的程度最大。 贝叶斯法可同时进行分割和运动估计，效采较好，但计算复杂，计算量大，不适 于实时处理。而且先验参数不好估计，有时需要使用复杂的先验知识。针对该问 题，n u n o 【i8 j 提出了一种根据经验的贝叶斯运动分割算法，该算法只需要一个合适 的先验表示，而不需各种先验参数。总之，光流法的优点是在摄像机运动的条件 下也能检测到独立的运动目标，但缺点是计算量大，可靠性差，对噪声敏感。 ( 4 ) 其它方法：还有一些可用于运动分割的方法。如用数学形态学分水岭算 法或别的静态分割算法分割静态帧或提取静念轮廓，与帧问信息相结合来提1 1 ) c 运 动对象。基于多个特征聚类的分割算法一般首先从图像中抽取出一些特征，如坐 标、线条等，对象通常被认为是根据特定的条件具有一致性的组区域，且根据 多个特征能够区分这些区域。陔类方法也对噪声比较敏感，仪适用于比较简单的 视频场景。基于运动跟踪的分割方法需要考虑每帧图像背景和对象的变化，而跟 踪算法的性能极依赖于它所使_ f j 的动态模型的准确性。 山以上分析可看出，运动信息在运动目标分割中占有重要地位。进行运动估 计时，要使用空间约束以得到合适的参数模型。但出于选用区域及纹理模式的限 制，使估计质量降低，而且对遮挡和时间相关性敏感。空问和时间结合的方法在 处理以上问题时取得了较好的效果。 2 目标分类：运动人体检测 运动人体检测实际上指的是目标分类，即从检测到的运动区域中将对应于人的 运动区域提取出来。当运动序列中的运动物体不仅仅包含人体时，就需要进行目 标分类。这时，不同的运动区域可能对应于不同的运动目标，比如交通道路上监 控摄像机所捕捉的序列图像中可能包含行人、车辆及其它诸如飞鸟、流云、摇动 的树枝等运动物体。但是，如果事先知道场景中只存在人的运动时可以不进行目 标分类，因为这时检测到的运动物体就是人体。目标分类方法可归纳为1 9 j ： ( 1 ) 基于形状信息的分类( s i l a p e b a dc l a s s i f i c a t i o n ) ：基于形状信息的分类 是利用检测出的运动区域的形状特征进行目标分类的方法。例如v s a m 。采用区 域的分散度、面积、宽高比等作为特征，利用三层神经网络方法将运动目标划分 为人、人群、车和背景干扰；“p t o n 等利用分散度和面积信息对二维运动区域 进行分类，主要是区分人、车及混乱扰动，时问一致性约柬使其分类更加准确； k u n o1 jw a t a n a b e 1 使用简单的人体轮廓模式的形状参数从l 割像r _ | _ j 检测运动的人。 ( 2 ) 丛于运动特性的分类( m o t i o n b a s e dc i a s s m c a i i o n ) ：越于运动特性的分 8 视频幽像中的运动人体检测羽1 人脸谚! 别 类是利用人体运动的周期性进行目标分类的方法1 2 2 j 2 3 心1 。例如c u t l e r 与d a v i s l 2 2 j 通过跟踪感兴趣的运动只标，计算出目标随着时恻变化的自相关特性，丽人的周 期性运动使得其自相关也是周期性的，因此通过时频化方法分析目标是否存在周 期性的运动特性而将人识别出来；“p t o n l1 通过计算运动区域的残余光流( r e s i d u a i f l o w ) 米分析运动实体的刚性和周期性，非刚性的人的运动相比于刚性的车辆运 动而言具有较高的平均残余光流，同时它也呈现了周期性的运动特征，据此可以 将人区分出来。 上述两种常用的目标分类方法有时可以结合起来使用一为了得到更加准确的 分类结果还可以考虑运动物体色彩或速度等特征。 1 2 2 人脸检测和识别 在出入口监控、视频检索等系统中运动人体分析的最终目的包含人的身份识 别等问题。如在视频监视中，远距离的监视得到人体运动信息，如步念等：近距 离的监视则以人脸为主，这时需要人脸检测与跟踪、人脸识别。另外，与指纹、 虹膜等一样，人脸谚 别也属于一种生物特征认证技术。而且人脸识别更可靠、更 易于被人们所接受，因此而受到了人们的高度重视。比如基于视频的自动人物认 证系统，它所处理的视频序列就包含逐渐走近摄像机的入体。 m p e g 7 标准将n e c 公司和三星电子高级技术协会( s a i t ) 共同提议的面部识 别技术加入了标准中。n e c ，s a i t 的技术成为面部识别的标准，是由于在满足 m p e g 7 基准的精确度、存取速度和数据量大小方面表现最佳。 人脸属于人体的一部分，但又具有本身的特殊性，如包含 官、血官的分布 具有一定的规律、直观的肽色、具有各种各样的表情等。人脸是人类的独特特征， 即使是双胞胎也在某些方面有所不同【2 5 】【2 6 l 。人类可以毫不费力地从场景中检测和 识别人脸，而且该项能力非常鲁棒，即使人脸存在很大地改变如角度不同、表情 不同、年龄不同，或巧妙地用眼镜和发型改变做伪装人类也能够正确地识别出 同一个人脸。但是，建立能够自动执行该项任务的自动系统却非常困难。自动人 脸识别的相关课题有：( 1 ) 检测与人脸相似的模式；( 2 ) 人脸识别；( 3 ) 人脸表 情分析：( 4 ) 基于物理特征的描述。而人脸识别的应用领域主要有视频监控，罪 犯认证，寻找丢失的孩子，出入口安全认证，视频会议等。 可以把人脸检测和识别的步骤分为人脸检测和定位、人脸识别两大步骤。下 面分别进行介绍。 1 人脸检测与定位 运动人脸的检测与跟踪是目前一个热点研究问题，特别是当视频序列中并非 只有人脸存运动时，人脸检测( 即检测待处理的图象中是否包含人脸) 就成为重 要的步。视频序列中的人脸检测方法可分为两大类：第一类是将视频序列分解 为t n 独帧，对第+ 帧或特定帧( 此时属r 静态图像) 进行人脸检测：第二：类是将 第一章绪论 9 运动信息与人脸信息相结合，设计组合的方法。如先对视频序列进行运动目标检 测，然后根据检测得到的静态图像进行人脸检测。两类方法都要利用人脸信息。 下丽对人脸检测方法进行归纳： ( 】) 基于特征的方法( f e a t u r e - b a s e dm e t h o d ) ：基于特征的算法使用人脸器官如眼 睛、鼻子等的组合特征描述人脸。如几何信息法，它提取人脸的各种几何特征， 如五官的空问位置分布规则，人脸的轮廓规则等。通过检测图象巾是7 i 存在满足 这些规则的图象块即可判断是否有人脸。但现有的特征点自动定位算法并没有提 供一个很高的准确率，且需要相当的计算量。也可使用一些辅助信息提高检测准 确度，如颜色信息、运动信息等。但颜色对光照敏感，而运动提取时也会出现提 取了错误目标的情况。 ( 2 ) 基于模型的算法( m o d e i b a s e dm e t h o d ) ：将人脸图象考虑为所有i _ i r 能图象 的一种特定事件，对所得到的图象的窗口进行分析可以确定这些窗口中是否包含 人脸或部分背景。可用概率或统计的模型来分析每个子窗口中的象素密度。这个 模型可用不同的方法来建立，如特征脸方法、神经网络方法、支持向量机等等。 p e n t l a n d 等人【2 7 】在人脸检测中使用了特征脸方法。文献【2 8 】 2 9 】等使用了不同的神 经网络方法，这些方法需要一个学习的过程，因此只能处理与训练集中的人脸相 类似的人脸图像。基于外观( 印p e r e n c e ) 的方法、统计方法、活动形状模型( a c t i v e s h a p em o d e l ) 、利用两个视图( v i e w ) 建模等方法也是较成功的人脸检测方法。如 文献【3 0 】使用了基于自然景象的简单概率假设，并设计了进行检测使用的滤波器。 但大部分使用这些方法的文献提供的都是正面人脸检测。如果检测侧面人脸则需 要大量的训练工作。 2 人脸识别 人脸识别是指将待识别的人脸与指定的人脸库中的人脸进行比较，以确定是 否与该库中的某一人脸相匹配。人脸识别的难度在于光照条件的改变、人脸角度 的不同、人脸表情的变化、遮挡、年龄增长带来的变化。人脸识别的方法主要有： 几何特征法、特征脸方法、弹性图匹配方法、神经网络法、隐马尔可夫模型法、 多空问k l 变换、利用人脸侧面像的轮廓川进行识别。重建三维模型等。 ( 1 ) 几何特征法需要精确测量特征之问的距离，该方法对于在大的脸部数据库 中寻找可能的匹配最为有效。但在其他的应用中，则需要首先自动定位这些特征 点，而且特征定位算法的准确率决定了最后的结果。 ( 2 ) 人工神经网络具有通过学习获取知识并解决问题的能力，是一种更接近人 类智能的信息处理方式。文献【3 2 】使用了h y p e r b f 神经网络用于人脸识别。 l a 、v r e n c e 等3 3 l 使用了c o n v o l u t i o n a l 神经网络方法，在他们的系统小组台了局部图 琢采样，自组织映射神经网络，和c o n v o l u t i o n a l 神经网络。 ( 3 ) 弹性图匹配方法最初山m a l s b u r g 于1 9 3 3 年提出，后来得剑了4 i 断地发展。 视频幽像中的运动人体检测和人脸识别 该方法i + l ，图表示了物体的通用模型，其节点编码表示物体的局部特征而边缘编 码表示物体的几何特征。如文献【3 4 】中的人脸被表示为基于g a b o r 小波传输的标记 图。弹性图匹配方法具有对光线、人脸位置变化和脸部表情变化的鲁棒性。但计 算量大是其缺点。可使用支持向量机柬提高弹性图匹配的性能1 3 ”。 ( 4 ) 特征脸方法是一种基于k l 变换的方法，又称作p c a ( p r i n c i p l ec o m p o n e n t a n a l y s i s ：七元素分析法) 、h o t e l l i n 叠变换。这种方法于1 9 0 1 年首次由p e a r s o n 提 甘i ，1 9 3 3 年时h o t c l i n g 又再次提出。首次将p c a 应用 ：重建人脸的足k i r b y 和 s i r o v i c h 。研究表明，k l 变换是基于特征矢量的技术，可有效的用于降低维数。 因此，p c a 方法的基本思想是去掉冗余量，并降低包含了很多互相关变量的数掘 集的维数。实现方法是把数据集中的变量转换成新的变量集，即主元素或特征脸 的集合，这些变量是互不相关的，而且按照从大到小的顺序排列，最前面的特征 向量代表了原始数据的最大变化量部分。最后将待识别的人脸向该空间投影， 计算相应的距离就可进行判断【3 6 l 。这种方法的缺点是对光照条件的改变较敏感。 如果提供了在光照条件变化下的人脸图象，则投影矩阵保留的主要元素会因光照 而改变。于是，投影矩阵中的点便不能被很好的分类，甚至会变得轮廓不清。 与p c a 方法相关的方法有f i s h e r f 如e 3 7 1 、多空问kl i ”j 变换等。另外，p c a 方 法可以与其它方法相结合以提高识别率。如文献 3 9 】使用的e v o l u t i o n a r yp u r s u i t ( e p ) 方法，就是首先使用p c a 对原始图像进行降维处理，然后进一步的寻找基本向量 的直接而又随机的旋转，以得到可用于图像压缩和编码的最优基。该方法的识别 率要高于p c a 和f i s h e r f a c c 。而文献【4 0 】定义了一种e i g e n h i l l 进行人脸识别，该方 法使用了基于边缘图像的特征脸。 ( 5 ) 隐马尔可夫模型是一种用参数表示的，用于描述随机过程统计特性的概率 模型。它是一个双重的随机过程，一个潜在的过程称为状态，另一个可观测的序 列称为观察序列，观察序列是由隐含的状态过程决定的。用于人脸识别时，将人 脸的各种特征抽象为各个状态，在此基础上建立人脸的马尔可夫模型【4 舶。因为 隐马尔可夫模型将人脸的各个器官联合起来考虑，因此适合不同表情的人脸识别。 ( 6 ) 三维模型重建是一种有效的进行人脸识别的方法。三