（控制理论与控制工程专业论文）视频监控中人体目标分割算法研究.pdf

青岛科技人学研究生学位论文 视频监控中人体目标分割算法研究 摘要 在计算机视觉领域，视频图像序列中的前景目标分割技术是一个被广泛研究 的热点。虽然国内外的学者们提出了许多分割方法，但至今为止还没有一种通用、 可靠的视频自动分割算法。特别是对于光照突变的情况很多算法都无法处理，并 且分割结果不完整。在众多的分割算法中，本文将研究对象定位在视频监控中复 杂背景下的人体目标分割，主要提出了关于运动人体目标的分割和人脸的分割的 三种改进算法。 本文首先从人体目标的运动特性出发，深入研究了高斯混合模型背景建模和 贝叶斯判决理论，提出了两种改进算法。其一是基于混合高斯模型背景建模的改 进分割算法，创新之处是主要解决了光照突变情况下的分割。为适应光照变化提 出一种交化检测方法，当检测到光照突变时，用梯度信息对混合高斯模型的分割 结果进行校正，以避免大量背景误判为前景。其二，提出一种利用颜色、空问和 帧间特性结合贝叶斯判别定理对视频图像进行分割，为求分割的完整性和准确 性并提出三种基于数学形态学的滤波器对分割结果进行处理，滤除孤立噪声点 和阴影，并填补粗分割中阿景目标内部的空洞。 但这两种算法只适用于人体目标运动时，当人体目标静止不变时就会将其判 成背景。鉴于此，本文提出一种基于肤色的人脸分割方法。该方法逐像素建立 h s v 颜色直方图，以三维仿射变换为模型表示人体肤色随光照的变化，并提出一 种新的基于m a r k o v 预测模型和w i e n e r 一步预测模型的线性组合模型来预测当前 帧皮肤区域的颜色直方图，从而提取人体的皮肤区域，达到对人体目标的检测。 实验表明本文提出的三种方法在存在光照突变的复杂背景视频中能有效地 分割出运动的人体目标和人体的皮肤区域，并且分割结果较准确、完整。 关键词人体目标分割光照变化检测贝叶斯理论形态滤波线性组合预 测模型 视频监控中人体目标分割算法研究 s t u d yo ns e g m e n t 盯i o na l g o r i t h m s0 fh u m a n 0 b j e c ti n d e 0s u i 【v e i l l a n c e i nt h ef i e l do fc o m p u t e rv i s i o n , t h et e c h n i q u e0 1 1v i d e os e g m e n t a t i o ni sw i d e l y c o n s i d e r e d 舔ar e s e a r c hh o t s p o t s c h o l a r sa th o m ea n da b r o a dh a v ep u tf o r w a r dm a n y m e t h o d s ，b u ts of a r , t h e r ei sn og e n e r a la n dr e l i a b l em e t h o d e s p e c i a l l yf e wm e t h o d s c a nd e a lw i t ht h ea b r u p ti l l u m i n a t i o na n dm a n ys e g m e n t a t i o nr e s u l t sa r en o ti n t e g r a l t h e r e f o r e , o u rs t u d yf o c u s e so i lh u m a no b j e c ts e g m e n t a t i o nu n d e rt h ec o m p l i c a t e d b a c k g r o u n d t h r e ei m p r o v e dm e t h o d sa b o u tt h es e g m e n t a t i o no fm o t i o nh u m a no b j e c t a n dh u m a nf a c ea r ep r o p o s e di nt h i sp a p e r b a s e do nt h em o t i o nc h a r a c t e d s t i co fh u m a no b j e c t , t h ep a p e rf i r s t l yr e s e a r c h e s o i lm i x t u r eo fg a n s s i a n sa n db a y e s i a nd e c i s i o ni nd e t a i la n dp u t sf o r w a r dt w o i m p r o v e dm e t h o d s ，t h ef i r s to n ei sa ni m p r o v e ds e g m e n t a t i o na l g o r i t h mb a s e do n m o g s ( m i x t u r eo fg a u s s i a n s ) ，w h e r ei n n o v a t i o ni st h a t i tc a nd e a lw i t ht h ea b r u p t i l l u m i n a t i o n i no r d e rt oa d a p tt h el i g h ta b r u p tv a r i a t i o n ，w eu s eak i n do fv a d a t i n i l d e t e c d o nm e t h o dt oc i l e c kt h ei i l u m i n a n c ev a r i a f i o n t h e nc a r r yo nr e , c l a s s i f i c a t i o no f t h er e s u l t so fm o g sm e t h o dw i t hg r a d i e n ti n f o r m a t i o n ，a v o i d i n gag r e a td e a lo f b a c k g r o u n dm i s e l a s s i f i e da sf o r e g r o u n d i ns e c o n dm e t h o d ，ab i n a r ym a po fi n i t i a l f o r e g r o u n ds e g m e n t a t i o ni sa c h i e v e db yp e r f o r m i n gb a y e s i a ns t r a t e g ya c c o r d i n gt o c o l o r ，s p a t i a l ，a n dt e m p o r a lf e a t u r e s i no r d e rt oo b t a i nm o r ei n t e g r a la n da c c u r a t e f o r e g r o u n do b j e c t s ，t h r e ef i l t e r sb a s e do i lm a t h e m a t i c a lm o r p h o l o g ya r ep r o p o s e dt o p r o c e s st h ep r i m a r ys e g m e n t a t i o nr e s u l t s a c c o r d i n gt o s i z ef i l t e r , s o m en o i s e b a c k g r o u n dp a t c h e sa r er e m o v e d ，w h i l es m a l lh o l e sw i t h i nf o r e g r o u n do b j e c t sa r e s e w e du pb yh o l ef i l t e ra n dt h eg h o s t so fh u m a no b j e c t sa r er e m o v e dt h r o u g hg r a d i e n t f i l t e r b u tt h e s et w ok i n d so fm e t h o da r ec o n f i n e dt ot h em o t i o nh u m a no b j e c t s e g m e n t a t i o n w h e nt h eh u m a no b j e c t sa r em o t i o n l e s s ，t h e s em e t h o d sw i l lj u d g et h e m 青岛科技大学研究生学位论文 笛b a c k g r o u n dw r o n g l y o w i n gt o t h i s t h e p a p e rp u t s f o r w a r dah u m a nf a c e s e g m e n t a t i o nm e t h o db a s e do ns k i nc o l o r t h em e t h o de s t a b l i s h e sh i s t o g r a mi nh s v c o l o rs p a c eb yp i x e l ，a n du t i l i z e s3 - da f t i n et om o d e lt h es k i nc o l o r st r a n s f o r m a t i o n f o l l o w i n gt h el i g h tv a r i a t i o n al i n e a rc o m p o u n dm o d e lc o m b i n i n gm a l k o va n dw i e n e r p r e d i c t i o ni su s e dt op r e d i c ts k i nc o l o r sh i s t o g r a mo fc u r r e n tf l a m e t h e ns k i na r e a s 啪b es e g m e n t e da n dt h ed e w , c t i o no fh u m a no b j e c tc a nb eo b t a i n e d e x t e n s i v ee x p e r i m e n t sa l ep e r f o r m e dw i t i lv a r i o u sv i d e os e q u e n c e s w h i c hp r o v e t h a tt h e s em e t h o d sa t er o b u s ta n do fh i g hs e g m e n t a t i o na c c u r a c y k e yw o r d s ：h u m a n o b j e c ts e g m e n t a t i o n i l l u m i n a t i o nv a r i a t i o nd e t e c t i o n b a y c sd e c i s i o nm o r p h o l o g i c a lf i l t e rp r e d i c t i o nm o d e l i i i 青岛科技大学研究生学位论文 独创声明 本人卢明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含本人已用于其他学位申请 的论文或成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了 明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：日期：年月日 视频监控中人体目标分割算法研究 关于论文使用授权的说明 本学位论文作者完全了解青岛科技大学有关保留、使用学位论文的规定，有 权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借 阅。本人授权学校町以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人离校后发表或 使用学位论文或与该论文直接相关的学术论文或成果时，署名单位仍然为青岛科 技大学。( 保密的学位论文在解密后适用本授权书) 本学位论文属于： 保密口，在年解密后适用于本声明。 不保密口。 ( 请在以上方框内打“”) 本人签名： 导师签名： 日期；2 f6 月lt - e t 日期：1 啡6 月j j 一日 锋吖 槲h、 障莎 青岛科技人学研究生学伊论文 1 1 研究背景与意义 第一章绪论 1 1 1 视频分割 随着多媒体技术的高速发展，作为多媒体技术核心的视频技术、音频技术、 信息压缩和解压技术、图像技术、高密度存储技术等同臻完善。其中视频对象分 割涉及对视频内容的分析和理解，与人工智能、图像理解、模式识别和神经网络 等学科有密切联系。目静人工智能的发展还不够完善，计算机还夸具有观察、识 别、理解图像的能力：同时关于计算机视觉的研究也表明要实现正确的图像分割 需要在更高层次上对视频内容进行理解。因此，尽管m p e g4 框架已经制定，但 至今仍没确通用的有效方法去根本解决视频对象分割问题，视频对象分割被认为 是一个具有挑战性的难题。 视频图像是在时间r 有严格先后顺序且相邻帧之间具有较强相关性的图像 序列。视频分割是指对图像或视频序列按一定的标准分割成区域，目的是为了从 视频序列中分离出有一定意义的实体，称这样的实体为前景物体或曲景目标。相 对而言，视频中的其余部分称之为背景。将人体目标作为前景目标的分割即为人 体目标分割。视频分割有以下的主要应用：视频压缩和解雎缩、视频对象操纵和 编辑、视频的索引和检索、对象识别和鉴别、视频场景理解等。其中，人体目标 分割是视频分割最重要的分支之一。 1 1 2 人体目标分割 人体目标的视觉分析是把计算机视觉方法应用到传统的视觉监控领域中，用 计算机实现人体目标的视觉分析，来提高监控系统的智能化，在实际应用方面非 常有意义。人体目标的视觉分析是数字视频监控系统的主要任务，是计算机视觉 研究领域的重要课题之一，也是倍受研究者关注的前沿方向。它的主要目的是从 一组包含人的图像序列中检测、识别、跟踪人体，并对其行为进行理解和描述。 大体上可分为底层视觉模块、中间层数据融合模块和高层视觉模块。底层视觉模 块主要研究背景的创建和更新以及| i 景人体目标的分割和提取，分割的准确性直 接影响后续任务的有效性，因此具有十分重要的意义。但是视频分割技术一直是 计算机视觉及多媒体应用中最困难的问题之一。虽然国内外的学者们提出了许多 分割方法，但至今为止还没有种是通用的、可靠的自动分割算法。目前，多数 视频监控中人体目标分割算法研究 人体检测和识别算法的有效性还尚在实验室阶段，一些产品也都是要求人体或人 体的某些部位( 人脸、步态、形状、轮廓及局部模型等) 在一个高信噪比的图像 序列下才有较好的识别成功率。而实际应用往往是更复杂的背景环境和低质量的 数字视频序列，因此，寻找更有效、鲁棒性更强的人体识别算法，应用到实际的 视频监控场景中仍是当今计算机视觉领域的一个热点。 综上所述，视觉监控中最为关键的问题是底层视觉模块，即怎样有效分割人 体目标，消除场景中的各种干扰因素，如光照变化，阴影、摆动的窗帘、闪烁的 屏幕、行为动作随机变化的人体以及新加入的或离开的人体目标等的影响。特别 是对于光照突变的情况很多算法都无法处理，并且分割结果不完整。本文就是针 对该问题进行了几种方法的研究与试验，力图找到种鲁棒性强的人体目标分割 方法。另外，该论文是国家基金委项目视频图像中人体目标检测算法的研究 的前期预研，项目批准号：6 0 6 4 1 0 1 0 。 1 2 国内外研究方法综述 目前进行视频对象分割的一般步骤是：先对原始视频图像数据进行简化以 利于分割，这可通过低通滤波、中值滤波、形态滤波来完成；然后对视频图像 数据进行特征提取，可以是颜色、纹理、运动、帧差、位移帧差乃至语义等特征； 再基于某种均匀性标准来确定分割决策，根据所提取特征将视频数据归类；最后 是进行相关后处理，以实现滤除噪声及准确提取边界。视频分割技术发展到今天。 已经出现了很多分割方法。本文只针对视频分割中的一种，即视频监控系统中人 体目标的分割展开研究。其分割方法大致可归为两大类：基于运动的人体目标分 割方法和基于人体生物特征检测方法。下面分别介绍这两类方法。 1 2 i 运动目标分割方法 运动目标分割的目的是从序列图像中将运动区域从背景图像中提取出来。因 此，该方法仅适用于当人体目标与背景之间有相对运动时才能检测出。典型的 运动目标分割方法可归为五类”1 ： ( 1 ) 检测变化区域的分割方法 基于变化区域检测的时空分割方法是通过检测序列图像帧上的变化区域与 不变区域，以将运动物体与静止背景进行分割的。基于变化区域检测的时空法是 在基于时空图像亮度和梯度信息的独立运动区域中考虑图像分割的。为了降低噪 声的干扰，通常都利用相邻两帧检测变化区域。通常未变化的部分表示静止的背 景，变化的部分代表运动和遮挡区域。 ( 2 ) 基于非参数模型的运动对象分割方法 2 青岛科技人学研究生学位论文 此类方法主要有基于块运动估计的分割方法、基于贝叶斯定理的分割方法和 基于空间变换的网格( m e s h ) 模型分割方法。 基于块运动估计的分割方法块运动模型主要应用在低码率视频编码应用中。 运动估计的常用方法是光流法。文献 3 基于光流( o p t i c a lf l o w ) 方法的运动检 测采用了运动目标随时间变化的光流场特性，来有效地提取和跟踪运动目标。该 方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标。而缺点在 于计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置则不能被应用于 全帧视频流的实时处理。 文献 4 利用贝叶斯统计决策定理进行分割。它充分利用像素的光谱信息、 空间信息及帧间信息，借助于b a y e s 判定准则进行前景背景的分割，取得了较好 的分割效果，但该方法存在的缺点有：提取出的前景目标体空洞较大。当 前景背景颜色相近时，也无法进行有效的分割。 ( 3 ) 基于参数模型的运动对象分割方法 基于参数模型的运动分割法的基本思想是：假设有k 个相互独立的运动物体， 每一个光流矢量对应于单个不透明体的三维刚体运动的投影。那么，每一个不同 的运动可以通过一系列映射参数来正确描述，参数模型需要对视频图像进行分割， 每个区域的运动用一个参数集来描述，运动矢量可以从这些模型参数来合成。 文献 5 提出了一种单高斯模型判定法，该方法存在的缺点有：在前景分 割时，当前景与背景颜色相近时( c a m o u f l a g e ) ，此时不满足判据，被误判为背景。 由于背景的更新是非实时的，则会产生视觉上的不连贯效果。而且当背景建模 时，背景出现的概率必须大于5 0 ，否则会产生错误的背景：例如，在背景初始 化的2 0 秒内，若有一个人停留1 5 秒后离开，则此处的背景将会被误判为人体，而 非真实的背景。前景分割时使用的信息量太少，只用到了灰度信息，未使用帧 问信息和邻域梯度信息。文献 6 提出了一种混合高斯模型( g m m ) 判定法，对每 一个像素点采用g 删来建模，引入场景活动等级( s c e n ea c t i v i t yl e v e l ) 来调节g i d m 的 学习常数，通过增加深度信息来加强背景分割的依据。但该方法存在的缺点有： 当前景背景颜色相近时，无法进行有效的分割。学习常数更新速度及混合 高斯模型个数的选择，都将影响前景运动目标的分割效果。 ( 4 ) 基于形态学运动对象分割方法 文献 7 提出了基于形态学算法的分割方法，主要思想是：通过人工交互手段， 将要分割的视频对象描述出来。对视频对象按颜色、灰度聚类性质分割成不同区 域。用块匹配算法估计密度运动场，把这些区域通过运动补偿映射到下一帧上。 利用分水岭算法进行分割，分割过程中要参考变化检测模板。以避免静止区域的 标记溢出到变化区域，反之亦然。由映射区域和区域分割可得到视频对象。 3 视频监控中人体目标分割算法研究 ( 5 ) 其他一些分割方法 如基于特征聚类的分割方法”“，基于g a b o r 和m a l l a r d , 波变换的分割方法“” 等。文献 1 1 结合支持向量机( s w ) 进行分割，首先对每帧图像进行抽样得到金 字塔状的一组不同尺度的图像，对不同尺度的图像用固定空间模板遍历，得到一 系列固定大小的子图片；计算各个子图片的空间直方图特征。然后，利用子图片 的空自j 直方图进行由粗到细两步判别其是否含有目标，再通过执行串联直方图匹 配方法对所有子图片进行粗判决，去掉不含目标的子图片，得到含目标的候选子 图片；利用支持向量机方法对得到的候选子图片进行细判决进一步确定其是否含 有目标；最后采用聚类( g r o u p i n g ) 的方法将被判为含有目标的子图片恢复为原 始尺度后进行融合。 一般说来，衡量一个算法的优劣主要考虑算法的分割质量、计算复杂度以及 算法的通用性。上述方法各有利弊，但它们的共同缺点是只能对运动的( 人体) 目标进行检测。当i i 景( 人体) 目标长时问静止时，它们的运动特征消失而方法 失效，因此产生了基于人体生物特征( 如人脸、指纹、虹膜、掌纹、笔迹、签字、 语音等) 的分割方法，其中人体目标的皮肤区域尤其是人的面部皮肤特征，可以 作为人体的主要标识，对人脸的跟踪和检测可以作为人体目标检测的依据。因为 皮肤颜色是人体表面最为显著的特征之一，它不依赖于细节特征，具有较高的稳 定性且与大多数背景物体的颜色相区别。 1 2 2 基于皮肤特征检测方法 人脸检测问题最初来源于人脸识别( f a c er e c o g n i t i o n ) 。人脸识别的研究可 以追溯到2 0 世纪6 0 一7 0 年代，经过几十年的曲折发展已日趋成熟“”“”。人脸检 测是自动人脸识别系统中的一个关键环节，但是早期的人脸识别研究主要针对具 有较强约束条件的人脸图像( 如无背景的图像) ，往往假设人脸位簧已知或很容 易获得，因此人脸检测问题并未受到重视。近几年随着电子商务等应用的发展， 人脸识别成为最有潜力的生物身份验证手段，这种应用背景要求自动人脸识别系 统能够对一般环境图像具有一定的适应能力，由此所面临的一系列问题使得人脸 检测开始作为一个独立的课题受到研究者的重视。今天，人脸检测的应用背景已 经远远超出了人脸识别系统的范畴，在基于内容的检索、数字视频处理、视觉监 测等方面有着重要的应用价值。 目i j i ，国外对人脸检测问题的研究很多，比较著名的有m i t ，c n j 等：国内 的清华大学”“、北京大学、中国科学院计算技术研究所”和中国科学院自动化研 究所“”等都有人员从事人脸检测相关的研究。而人脸是一类具有相当复杂细节变 化的自然结构目标，受以下因素的影响，实际中人脸检测的挑战性在于“”：人 脸本质上是三维的非刚性可变的物体，人脸由于姿念、外貌、表情、肤色等不周， 4 青岛科技大学研究生学位论文 具有模式的可变性；一般意义下的人脸上。可能存在眼镜、胡须等附属物； 三维体的人脸的影像不可避免地受到由光照产生的阴影的影响：图像的质量不 一，由于成象的条件和手段不同，图像可能受噪声的干扰，前景目标模糊不清， 比如人脸与背景区别不大造成人脸分割的困难，人脸被某些物体遮挡造成人脸特 征的提取困难，光源色温不同造成的肤色分割困难等。因此，成功的人脸检测系 统应能处理实际存在的光线、人脸方向和距照相机远近变化等各种情况。 人脸检测的基本思路是采用知识或统计的方法对人脸建模，比较所有可能的 待检测区域与人脸模型的匹配度，从而得到可能的人脸区域。人脸检测原则上可 分为2 类：1 类基于知识；l 类基于统计。基于知识的方法是利用知识建立基本规 则，将人脸检测问题转化为假设检验问题：基于统计的方法是将人脸图像视为一 个高维向量，从而将人脸检测问题转化为高维空间中分布信号的检测问题。 ( 1 ) 基于知识建模的人脸检测方法 基于知识建模的人脸检测方法主要建立5 个规则“，即器官分布规则、轮廓 规则、颜色与纹理规则、运动规则和对称性。器官分布规则依赖于五官分布位置， 检测图像中是否有符合人脸五官分布的图像块：一种方法是自上而下，是基于人 脸区域扶度分布的规则，依此规则对图像从粗分辨率到精分辨率进行筛选，以样 本满足这些规则的程度作为检测的判据；另一种方法是自下而上，先检测几个器 官可能分布的位置，然后将这几个位置点分别组合，用器官分布的几何关系进行 筛选，找到可能存在的人脸。轮廓规则是将人脸的轮廓近似、简单地看成一个椭 圆，通过椭圆检测来完成。也有人将人脸轮廓视为2 条直线和2 个弧，左右面颊为 2 直线，头顶和下颌为2 个弧等等。相信还会找到人脸轮廓建模的更多方法。颜色 与纹理规则主要依据是颜色信息在一定程度上可以将人脸与大部分背景区分开 来，可以设计肤色模型表征人脸颜色，利用感光模型进行复杂背景下人脸及器官 的检测和分割。进行低分辨率的人脸检测时也可利用纹理图信息。这些都应注意 不同民族的人脸颜色与纹理特征。运动规则是利用瞬眼、说话等的活体检测方法。 由于相对背景来说人总是在运动的，利用运动信息可以简单地将人从复杂背景中 分割出来。对称性也是人脸检测的重要规则，人脸具有对称性，各器官也具有一 定的对称性，以此来确定是否为人脸。 y a n g 等”将人脸的五官区域分别划分为4x4 个马赛克块( 四分图) 。文献 2 0 采用了符合人脸生理结构特征的三分图分块方案( 3 3 个马赛克块) 。充分 利用人脸器官的自然分布，使得规则制定过程中先验知识的利用更加直观。姜军 等“”提出一种新的广义几何投影法，能很快地筛选出所有可能的不同尺寸的人眼 区域，减少后续基于知识的多尺度空间遍历的工作量，该文还建立一个比较完备 的人脸知识库，综合使用灰度规则、梯度规则、二值规则，降低检测虚警率。 视频监控中人体目标分割算法研究 ( 2 ) 基于统计的入脸检测方法 基于统计的人脸检测方法目前主要有3 类，即人工神经网络方法、子空问方 法和空间匹配滤波方法。 人工神经网络方法( p u t i f i d a ln e u r a ln e t w o r k , a n n ) 是将人脸检测视为区分 非人脸样本与人脸样本的2 类模式分类问题，通过对人脸样本集和非人脸样本集 进行学习以产生分类器。基于人工神经网络的方法对于复杂的、难以显式描述的 模式，具有独特的优势。在这方面，o , i u 的r o w l e y 。”剀的工作最为引人注目。 r o w l e y 恤1 设计的基于神经网络的人脸检测系统包含“过滤器”和“结果仲裁器” 两个部分。文献 2 2 采用了自举的方法收集非人脸样本，并采用“归并重叠检测” 和“多网络仲裁”技术降低错误报警率。此后，r o w l y 在人脸检测系统中增加了一 个路由网络( r o u t e rn e t w o r k ) ，用来检测人脸旋转的角度，解决了平面旋转人脸 检测的问题”。r o t h 等”3 采用s n o w ( s p a r s en e t w o r ko fw i n n o w s ) 的学习结构进 行人脸检测，在c m u 的人脸图像集上得到了9 4 8 的正确率。 子空间方法是将k l 变换引入人脸检测，人脸检测中利用的是次元子空间( 特 征脸空白j 的补空间) ，而在入脸识别中则利用的是主元予空间( 特征脸) 。用待 检测区域在次元子空间上的投影能量，即是将待检测区域到特征脸子空间的距离 作为检测统计量，距离越小，表明越像人脸。这种方法简单易行，但由于没有利 用反例样本信息对与人脸类似物体的辨别能力较差。 空间匹配滤波器方法则主要指各种模板匹配的方法，也包括合成辨别函数等 方法。可以预见，基于知识与统计方法的综合应用将是解决人脸检测这个非常复 杂实际问题所必须的。 1 3 论文的主要内容及结构安排 1 3 1 论文的主要内容 本课题为国家基金委项目视频图像中人体目标检测算法的研究的f j 期预 研 基金号为6 0 6 4 1 0 1 0 ，主要内容是研究如何从实际的数字视频图像序列中检测 人体目标，以服务于对人进行监控的视频系统中。本文以此为依托，在探讨视频 分割相关理论的基础上，针对人体目标，提出三种分割算法。首先从视频中人体 的运动特性入手，提出两种运动人体目标的分割方法。其中第种方法是基于自 适应更新的高斯混合模型的背景建模分割方法，通过简化匹配标准来分割背景和 人体目标，并针对光照变化提出一种变化检测算法，当光照剧烈变化时，利用变 化检测和梯度相关性对分割结果进行校正，从而避免光照突变时将大量背景误判 为前景：第二种方法，考虑到动态背景的影响，利用人体目标帧日j 特征信息，结 6 青岛科技人学研究生学位论文 合帧内的颜色信息和梯度信息，根据贝叶斯( b a y e s ) 判决定理对人体目标进行 了分割，并针对像素级分割方法，分割出来的前景区域大都在不同程度上存在的 误判和漏判这一问题，提出基于数学形态学的三种滤波器对分割结果进行处理。 尺度滤波器( s i z ef i i t e r ) 滤除背景噪声，运用空洞滤波器( h o l ef i i t e r ) r 修补前景目标的空洞，并运用梯度滤波器( g r a d i e n tf i t e r ) 消除阴影。由于 实际中人体目标的运动是随机的，当人体较长时间静止不动或只有缓慢移动时， 基于运动的分割方法将会失效，因此，本文第三种方法采用了基于肤色特征的人 体目标非参数分割方法，逐像素建立b s v 颜色直方图，并以三维仿射变换为模型 表示人体肤色随光照的变化，用m a r k o v 预测模型和w i e n e r 一步预测模型的线性 组合模型来预测当前帧皮肤区域的颜色直方图，从而提取人体的皮肤区域，达到 对人体目标的检测。 本文的创新点主要体现在以下几点； ( 1 ) 针对光照变化提出一种变化检测算法，并推导出一种计算梯度相似性 的公式，进而解决了光照突变情况下目标的分割。 ( 2 ) 提出基于数学形态学的三种滤波器对分割结果进行处理，其中，尺度 滤波器滤除背景噪声、空洞滤波器修补前景目标的空洞，梯度滤波器消除阴影。 ( 3 ) 提出了一种基于m a r k o v 预测模型和w i e n e r 一步预测模型的线性组合 预测模型，提高了预测皮肤区域随光照变化的精度。 1 3 2 论文结构 本文的主要研究内容包括两部分：基于运动信息的人体目标分割和基于肤色 的人脸分割。全文共分五章，结构安排如下： 第一章对本文立题的依据进行了说明，简要介绍了国内外研究概况，并总结 了人体目标的分割方法。最后，介绍了本文的主要内容和结构安排。 第二章提出了一种能适应光照突变的运动人体目标的分割方法。该方法基于 高斯混合模型对背景进行建模，简化匹配方法和分割原理；针对解决光照突变下 前景分割这一难点，提出一种变化检测方法：并利用变化检测和梯度相关性对光 照突变时的分割结果进行校正；最后是仿真实验、结果分析。 第三章从分割的完整性出发，对前景目标的分割结果进行形态学后处理，并 消除阴影。首先，描述了数学形态学的基本理论。其次，提出了一种基于贝叶斯 分类模型的前景目标的分割方法，在复杂环境中结合颜色、空域和时域的特征， 对背景特征进行统计建模，根据这些特征向量出现概率的大小，选取出现概率大 的作为主要特征向量，建立特征向量统计表根据贝叶斯判决理论进行前景和背 景的分割，进而实现对人体目标的检测。然后，运用尺度滤波器、空洞滤波器和 梯度滤波器对分割结果进行形态学后处理。最后，是仿真实验、结果分析及算法 视频监控中人体目标分割算法研究 评价总结。 第四章为了克服前两种方法的缺点，以稳定的人体皮肤为特征，根据无参数 统计直方图方法结合贝叶斯分类器进行人体目标分割。首先，分别建立皮肤区域 和背景区域的颜色分布直方图，并引入3 - d 仿射变换来整体表征皮肤区域颜色分 布，进一步将3 d 仿射变换简化为平移、缩放矛口旋转；其次，利用线性组合预测 模型来预测3 d 仿射变换，其中采用i d l e 算法估计m a r k o v 模型的参数；再介绍 了整个算法的流程；最后是实验结果及分析。 第五章为总结与展望，对上述分割方法进行了评价和对下一步工作的设想与 安排。 8 青岛科技人学研究生学位论文 第二章光照突变下基于高斯混合模型的人体目标分割 2 1 算法概述 高斯混合模型( 6 m m ) 广泛应用于模式识别和数据分析。1 等领域。它逐像素利用 k 个高斯分布来表征该像索点的历史观测值，并在线聚类当前帧的观测值，从而 能够适应背景的缓慢变化，产生较好的分割结果。但当背景发生剧烈变化时，分 割效果较差。本章以解决光照突变情况下的前景分割为目标，在深入讨论传统 m o g s 运动目标分割方法的基础上，提出了一种帧问亮度信息突变的检测方法， 推导出了梯度相关性的计算公式，并根据突变检测和帧问梯度相关性对传统 m o g s 算法的分割结果进一步校f 。实验表明改进方法能够部分消除光照突变的 影响，避免光照突变时大量背景误判为前景，改善了分割效果。 本章主要解决光照突变下前景分割这一难点。其内容组织如下：首先，介绍 了高斯模型的相关知识与背景混合高斯模型建模方法，阐述了基于亮度信息的混 合高斯模型分割方法；其次，描述了一种帧间亮度信息突变的检测方法，以及本 章提出的改进算法；最后是仿真实验结果和本章小结。 2 2 基于混合高斯模型的背景建模 2 2 1 背景建模的主要难点分析 视频图像分割是一种基本的计算机视觉技术，而其中最重要的是对背景建 模。针对这一问题目前已提出大量的背景建模方法1 ，但一直没有很好的解决。 其主要的困难在于： ( 1 ) 背景渐变，例如光照的缓慢变化。( 2 ) 非静态背景， 如风中摇摆的树叶。( 3 ) 背景突变，背景物体的变化，例如场景中加入或移除 某一目标，或者突然开灯关灯等导致光照剧烈变化。( 4 ) 前景目标与背景相似 的情况下( c a m o u f l a g e ) ，容易被检测为背景。( 5 ) 运动目标在背景上产生的 阴影往往被检测为前景。( 6 ) 背景出现时问很短，真j 下的背景经常被不同的前 景目标遮挡，确定真正的背景很困难，如统计直方图的方法建立背景模型要求背 景出现时| 日j 超过5 0 等。 本文采用混合高斯模型( m o g s ) 对背景建模，可以很好地解决上述部分难 点，但是无法处理光照突变的情况。2 4 节提出了改进算法，基于变化检测和帧 间梯度信息来解决光照突变问题。 9 视频监控中人体目标分割算法研究 2 2 2 基于混合高斯模型的背景模型 、混合高斯模型 高斯分布又称为正态分布，高斯模型可大体分为单高斯和多高斯分御模型。 单高斯模型就是为每个像素点的颜色建立用单个高斯分布表示的模型；而多高斯 模型是指用多个分布来共同描述个图像点上的颜色分布。本章使用 个高斯分 布的混合模型对像素点建立背景模型，即用 个高斯分布函数的加权和来逼近该 像素点观测值的分御函数，公式表示为： 州。；嗽执州 ( 2 - 1 ) 帆2 壶叶盟茅， 伢z ， 荟q r - 1 ， 且q 叩【1 ，k 】j ( 2 3 ) 其中，为高斯混合模型中高斯分布的个数( 程序中k = 5 ，实际上眉值越大，系 统越能表征更复杂的场景，但同时带来较大的计算量，使得实时性变差) 。珊。为 t 时刻第i 个高斯分御的权值，仇为第i 个高斯分布的概率密度函数，“。为其均 值，盯。为其方差。 二、背景建模 背景建模就是在每个像素点使用足够的信息来描述背景，s t a u f f e rf 3 】等提出了 种自适应混合高斯模型，对每个图像点采用了多个高斯分布的混合表示。混合 高斯模型是一种半参数的多维概率密度函数估计方法”1 。它通过对每个高斯分布 的参数( 均值、方差和权重) 在线更新，能够很好的表征缓慢变化的背景“。1 。另 一方面，与单高斯模型相比，混合高斯模型通过用一个新学习到的分布替代一个 旧的高斯分布，能够很好地处理规律变化的动态背景( 如摇摆的树叶) ，同时也 适用于某些突变的背景建模( 如场景中加入或移除某一物体) 。可见，混合高斯 模型方法( 如文献 6 3 ) 本身就能很好的解决2 2 1 节提到的| j 景分割中存在 的难点( 1 ) ( 2 ) 和( 3 ) 中的前一种情况。 设图像平面上的给定像素点s - 佴，该像素点根据采集手段的不同有多种可 用信息，如文献 6 使用颜色和深度信息建立多维的高斯模型。本文只采用了，n 颜色空间中最基本的亮度信息对背景建模，降低了高斯模型的维数，分割效果得 1 0 青岛科技人学研究生学位论文 到保障的同时实时性更好。对于像素点s = 化”，记其亮度函数为，历史观测 值为 五，厶，五一几用五个高斯分布来归类这些历史数据，即对该点亮度建 立混合高斯模型( m i x t u r eo fg a u s s i a n s ，即m o g s ) 来表征背景。丘个高斯分布中 有些能典型地代表大部分历史数据，即出现的概率较大，相反有些出现的概率较 小，但它们的概率和为l 。 2 3 基于混合高斯模型的运动目标分割方法 m o g s 运动目标分割方法的基本思想是：使用混合高斯分布模型来表征图像 帧中每一个像素点的特征历史信息；当获得新的图像帧时，选择当前时刻混合高 斯模型的某子集来表征当前的背景；如果当前图像的像素点与混合高斯模型代表 背景的子集相匹配，则判定该点为背景点，否则判定该点为前景点；最后，更新 混合高斯分布模型。 2 3 1 模型匹配 对当前帧逐像素判别该点的当前观测值与代表其历史信息的古个高斯分布是 否相符，即模型匹配。设t u 寸刻，某位嚣点s ：似一处像素亮度值为，其m o g s 的 个高斯分布为仇以，f 。玎。，) ，进行匹配的一种方法是计算，与每个高斯分布碗的 匹配度，认为它与匹配度最大的高斯分布匹配，并且在假设此匹配度大于一定的 阈值时。也就是计算各高斯分布在，处的加权概率密度，即将观测值，分别带入f 时刻的 个高斯分布模型中，找出取得最大值的第酽个高斯分布模型，公式表示为： km a r gm a c r o , , 。仇以，2 , ，口“ ( 2 4 ) 但如果这样进行匹配，计算量势必相当大，不利于对视频实时处理。匹配度 不仅要计算每个模型在新输入像素亮度值处的概率值，还要知道每个高斯模型出 现的概率，这也是比较困难的。从计算公式( 2 - 4 ) 可以看出，此匹配偏向于具 有大权重和低方差的高斯分布：如果l 与两个吼的均值的距离相近，那么具有较 大权重和较低方差的高斯分布有更高的匹配度。所以匹配依赖于高斯分布的均值 和其权重与方差。基于此，本文提出了一种简化的匹配算法。 首先，考虑到匹配对于高斯分布均值的依赖性，并且为了避免计算新输入的 像素亮度值，处某个模型的概率值，可计算它与第个模型均值的偏离程度，若 满足 视频监控中人体目标分割算法研究 仉一g j , t ) 2 声盯嘉 ( 2 5 ) 则认为当前像素点与第个分布匹配成功。其中，当匹配闽值声设为1 2 9 时，可 使模型匹配的置信度达9 0 以上3 。 其次，考虑到匹配对于高斯分布权重与方差的依赖性。对 个混合高斯模型 根据珊居( 也就是权重越大，方差越小) 进行降序排列。某个高斯模型出现的概 率可近似用它的权值反应，m 越大则代表这个模型更容易与较多的观测值匹 配：而方差盯越小则代表这个模型更稳定，它的正态分布曲线更典型。所以叫盯越 大，越能够代表背景。 从统计的角度看，在一段较长时间内，某点处出现背景的概率一般较大，而 被不同的人体遮挡的概率较小。因此，以概率由大到小将个模型排队，排在| j 面的一个( 或两个) 高斯模型代表背景，最后的一个( 或两个) 代表i i 景。所以 将个高斯分布分为两类：背景模型子集和前景模型子集。根据被匹配模型属于 哪个集合，判断其是的景或背景。 整个匹配过程总结如下： ( 1 ) 将个高斯分御按州盯从大到小排序，并确定背景子集。 ( 2 ) 依次将当前像素点与排序之后的石个高斯分布进行匹配，若第。价分布 满足公式( z 一5 ) ，则认为当前像素点与第外分布匹配成功。 ( 3 ) 若一旦与第j 个分布匹配，则终止与后续分布的匹配。若与所有分布都 不匹配，则认为当前像素点匹配不成功。 2 3 2 模型更新 用于对逐像素历史观测值建模的m o g s ，随着新的观测值的获得应该不断更 新。理想处理是每一时刻应对包含最新观测值的某时日j 窗内的历史观测数据运用 准确的e m 算法重新估计像素m o g s 的参数。然而，这一过程代价很高，通常根据 当前像素与髟个高斯分布相匹配的结果对模型进行更新。对于未匹配上的模型， 其均值和方差应保持不变，而匹配成功的第个模型按下列方式更新。 h f 。r 1 一矽g j , t - 1 坩i t 1 盯工2 f r 1 一圳盯；f 1 + 口似j , , - i 2 ( 2 6 ) 个高斯分布的 青岛科技人学研究生学位论文 ，= r l 一砂o j + 仅m 胛，l 脚 ( 2 7 ) 其中，m 。，= 器 篡a 疗勺表示第外高斯模型与当前观测值匹配，该高斯模 型的权值增量为a ( 1 一。) 0 ，其它聍，l k 且疗，高斯模型的权值增量为 一a f _ l a l ( 取4 = 1 5 ) 时，则认为f 时刻有亮度突变，并记录一- 和厶的值；计算f “帧的亮度子图厶分别