（模式识别与智能系统专业论文）基于序列图像的人头定位.pdf

硕士论文 基于序列图像的人头定位 摘要 基于序列图像的人头定位是基于银行大厅或重要的室内场所的自动监控和报 警系统提出来的 旨在实现视频监控的智能化 视频监控系统作为一种可视化监 控手段在公共安全领域得到了广泛的应用 本文旨在采用摄像机连续的采集监控 场景的图像 通过计算机的检测和识别尽早发现不法人员 比如蒙面 太阳帽遮挡 佩戴口罩等五官不全者 入侵 并根据系统的设定 自动向异地的监控中心报警 本文利用图像序列中所蕴含的运动信息 依据所研究人脸由于遮蔽可能不完 整的特点对基于序列图像的人头定位进行了研究 第一 本文研究了背景生成和更新技术 系统地分析和比较了背景生成和更 新算法 提出了一种分组更新的背景生成算法 并给出了多高斯分布模型的背景 更新新算法 第二 本文给出了利用最近三帧图像检测当前图像中运动目标轮廓 的算法 利用沈俊边缘检测算子和线段光滑度指标 对检测到的目标进行过滤 并消除干扰 第三 本文根据人头的特征实现了基于头颈部凹点的人头定位 提 出了圆环人头定位的h o u g h 变换算法 完成了人头和人脸的定位 最后给出了实 验数据及分析 关键字 图像序列人头定位运动目标检测图像差分背景生成和更新 硕士论文基于序列图像的人头定位 a b s t r a c t h u m a nh e a dl o c a t i o nb a s e do n i m a g es e q u e n c ei s b r o u g h t f o r w a r d b yt h e a u t o m a t i cs u r v e i l l a n c ea n da l a r ms y s t e mt h a ti sa p p l i e di nt h eh a l l so f b a n k so ri m p o r t i n d o o rp l a c e s i ta i m sa te n d o w i n gt h ev i d e os u r v e i l l a n c es y s t e mw i t hi n t e l l i g e n c e t h e v i d e os u r v e i l l a n c es y s t e m a sav i s i b l es u r v e i l l a n c ea p p r o a c h i sw i d e l y e m p l o y e di nt h e p u b l i cs e c u r i t yf i e l d i nt h i sp a p e r t h es y s t e mc o n t i n u o u s l yc a p t u r e st h ei m a g e so ft h e m o n i t o r e ds c e n eb yac a m e r a p e r c e i v e st h ei n v a s i o no f i r r e g u l a rp e o p l ew i t ham a s ko n i t sf a c e ar e s p i r a t o ro ni t sm o u t ho rac a po ni t sh e a da n ds oo nb yt h ed e t e c t i o na n d r e c o g n i t i o no f t h ec o m p u t e ra se a r l ya sp o s s i b l ea n da u t o m a t i c a l l ya l a r m st h er e m o t e c o n t r o lc e n t e r a c c o r d i n g t ot h es e t t i n go f t h e s y s t e m i nt h i sp a p e lw er e s e a r c ht h eh u m a nh e a dl o c a t i o nb a s e do ni m a g es e q u e n c e a c c o r d i n gt ot h ed y n a m i ci n f o r m a t i o no fm o v i n go b j e c t si nai m a g es e q u e n c ea n dt h e f a c tt h a ts o m eo f o r g a n so nt h ef a c ea r ep e r h a p sn o t p r e s e n tw h e n t h ef a c ei sc o v e r e d f i r s t t h i sp a p e ri n v e s t i g a t e st h eb a c k g m u n dg e n e r a t i o na n du p d a t et e c h n o l o g y s y s t e m a t i c a l l ya n a l y z e sa n dc o n t r a s t st h ea l g o r i t h m so ft h et e c h n o l o g y t h e np r e s e n t sa n e w g r o u p u p d a t eb a c k g r o u n dg e n e r a t i o na l g o r i t h ma n d a ni m p r o v e dm u l t i p l eg a u s s i a n m o d e lb a c k g r o u n dg e n e r a t i o n a l g o r i t h m s e c o n d w cp r o p o s e ac o n t o u rd e t e c t i o n m e t h o db yw h i c hw ec a nd e t e c tm o v i n go b j e c t si nt h ec u r r e n ti m a g ea c c o r d i n gt ot h e t h r e el a t e s ti m a g e s t h e nw ea p p l yt h es h e nj u no p e r a t o ra n dt h es m o o t hc r i t e r i ao f l i n e st oe l i m i n a t ei n t e r f e r e n c ef r o mt h ed e t e c t e dt a r g e t t h i r d t h i sp a p e ri n t r o d u c e sa h e a dl o c a t i o n a p p r o a c ha c c o r d i n gt o t h ec h a r a c t e r i s t i c p o i n t s a t p e o p l e s n e c ka n d p r e s e n t s an e w c i r q u e b a s e dh o u g ht r a n s f o r mf o rl o c a t i n gh u m a nh e a d f i n a l l y t h e e x p e r i m e n t a l r e s u l t sa n d a n a l y s i sa r ep r e s e n t e d k e y w o r d i m a g es e q u e n c e h u m a n h e a d l o c a t i o n m o v i n go b j e c td e t e c t i o n i m a g ed i f f e r e n c e b a c k g r o u n dg e n e r a t i o na n du p d a t i n g 声明 本学位论文是我在导师的指导下取得的研究成果 尽我所知 在 本学位论文中 除了加以标注和致谢的部分外 不包含其他人已经发 表或公布过的研究成果 也不包含我为获得任何教育机构的学位或学 历而使用过的材料 与我 同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明 研究生签名 骅 j 盔d 嘶年钼尹日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档 可以借阅 或上网公布本学位论文的全部或部分内容 可以向有关部门或机构送 交并授权其保存 借阅或上网公布本学位论文的全部或部分内容 对 于保密论文 按保密的有关规定和程序处理 研究生签名 臻 革叁 如园奄年5 其1e t 硕士论文基于序列图像的人头定位 1 绪论 1 1 问题提出 视频 图像是对客观事物形象 生动的描述 是直观而具体的信息表达形式 视频监控则是人类视觉的延伸 传统的监控系统主要是传输一些测量和控制数据 一般都是通过一些带有红外 容积和电接触等类型的传感器设备实现的 这些监 控设备一般传输的数据和信息量都比较少 而且监控人员无法验证警报的确切性 近年来 随着多媒体技术的发展 计算机性能的增强和现代管理水平的提高 以 真实 直观和实时性等为特点的可视化监控系统日益受到人们的青睐 在机要部 门 工厂商店 公共交通等场所得至 了广泛的应用 目前的监控系统通常是由连 接到一套电视监视器上的一个或多个摄像机组成 监控人员通过观察监视器屏幕 来做出判断 对于某些重要的场景 监控人员需要目不转睛地盯着屏幕 这是一 i 页非常繁熏的工作 尤其是在监视点很多的情况下 监控人员几乎不可能作到完 整全面的监控 为了提高监控的效率和可靠性 视频监控系统的智能化和自动化 变得越来越迫切 序列图像又称动态图像 是指用一个传感器 如摄像机 采集的一组图像 它们 具有给定的相对次序 并给出相邻两帧获取的时间间隔关系 序列图像蕴含着物 体的运动信息 从连续的若干幅图像中可以得出物体的运动状况 因此序列图像 经常被用于运动目标的处理 比如运动目标检测 运动参数的计算等 基于序列图像的人头定位是一个面向应用的课题 它是基于银行大厅的自动 监控和报警系统提出来的 旨在实现监控的智能化 尽早发现不法人员 蒙面的歹 徒 入侵 自动向异地监控中心报警 它通过摄像机连续的采集场景中图像 利用 图像在时间上的相关性检测运动的人 再进行人头的定位 并分析人脸上的器官 是否不全 比如因为蒙面等原因使五官部分或全部被遮挡起来 如果是 向异地 监控中心报警 由于本课题要特别处理的是歹徒的脸 而他们为了作案的方便和 逃避事后的调查 需要尽量隐藏身份的特征 这使得最具特点的人脸往往会被遮 蔽起来 导致用于检测的人脸特征丢失 例如如果头戴压得很低的帽子 图像中 相应的人脸就没有眼睛 如果蒙住嘴巴和鼻子 人脸上就没有嘴和鼻子 如果把 整个头都蒙起来 连人脸都没有 更谈不上肤色 因此常见的基于肤色的方法 基于点特征的方法和基于灰度的方法 见节1 2 2 人头定位 都变得无效 这种特殊 硕士论文基于序列图像的人头定位 性使得对人脸五官的处理不能直接进行 而需要从人头的检测开始 然后再分析 五官是否不全 同时 基于序列图像的人头定位和基于单幅图像的处理方法相比 前者除了可以利用图像的空间信息外还能利用时间上的信息 即前后相邻的图像 通过对它们的处理 比如用它们生成当前背景图像 相邻图像进行差分等进行运 动目标人的检测 进而定位人头和分析人脸 本文根据序列图像和所研究的人脸由于遮蔽而不完整的特点 采用了背景生成 技术产生作为参考的背景图像 通过图像差分检测运动的人 利用轮廓特征定位 人头 以检测五官是否不全 1 2 运动目标检测和人头定位 1 2 1 运动目标检测 序列图像可描述如下 b y 1 厂b y l b y r j f j 0 1 n 一1 1 2 1 1 在序列中 一般认为时刻 在r 之后 1 2 拧一1 相邻两图像获取的 时间间隔定义为 a t 女 t i t 一l k 1 2 n 一1 a t k 1 2 九一1 可以不等也可以相等 一般取 a t a t k 1 2 一 r 一l 1 2 1 2 1 2 1 3 也就是说所有图像的获取时间间隔均相等 运动目标所形成的图像序列可分为两种 一种是静止背景 一种是变化背景 前一种情况下 摄像机和场景处于相对静止状态 图像中灰度一般只随着光线作 缓慢的变化 若有运动目标出现 背景灰度就会引起变化 当前图像与以前图像 就会有所不同 因此 对这种图像序列差分理论占有非常重要的位置 而后一种 情况 摄像机和场景发生了相对运动 在这种情况下图像需要先进行配准 再进 行处理 本文考虑的是静止背景 硕士论文基于序列图像的人头定位 运动目标检测是指从图像序列中实时的提取目标 它是视频监控系统的前提 和关键 能否准确而有效地提取出运动目标对进一步工作的难易程度和系统的性 能有着直接的影响 目前这方面的算法很多 主要有以下几种 光流分析法 相 邻两帧图像差分法 当前图像与背景差分法和运动能量检测法 1 光流分析法 光流分析法给图像中的每一个像素赋予一个速度矢量 这 就形成了一个图像运动场 在运动的一个特定时刻 图像上的点与三维物体上的 点一一对应 这种对应关系可由投影关系得到 根据各个像素的速度矢量特征 可以对图像进行动态分析 如果图像中没有运动目标 则光流矢量在整个图像区 域是连续变化的 当物体和图像背景存在相对运动时 运动物体所形成的速度矢 量必然和邻域背景速度矢量不同 从而检测出运动物体的位置 光流分析法的优 点是能够探测独立运动的对象 不需要预先知道场景的任何信息 并且可用于摄 像机运动的情况 但多数光流法计算复杂耗时 除非有特殊的硬件支持 否则很 难实现实时探测 同时当场景中有噪声 阴影等时 计算得到的光流场分布不是 十分可靠和精确 2 相邻两帧图像差分法嘲 相邻两帧图像差分法是用图像序列中的相邻两帧 图像进行差分 并设置一个阈值 大于阈值的像素为运动目标 相邻两帧图像差 分法非常适合于动态变化的环境 但不能够完整地分割运动对象 不利于进一步 的对象分析与识别 3 当前图像与背景差分法1 3 1 当前图像与背景差分法用当前图像和相应的背 景进行差分 并设置一个阈值 大于阈值的像素为运动目标 这种方法实现简单 并且能够完整地分割出运动对象 但背景减法对背景的变化比较敏感 4 运动能量检测法 运动能量检测法适合于复杂变化的环境 能消除背景中 振动的像素 使按某一方向运动的对象更加突出地显现出来 但运动能量检测法 也不能够精确地分割出对象 其中 2 3 是本文采用的方法 将在后面进行详细的讨论 1 2 2 人头定位 人头定位在视频监控 电话会议 人机交互等很多场合都有着广泛的应用 一般人头定位可利用于的信息主要有以下3 种拍l 几何信息 颜色信息和运动信息 其中 几何信息指头部形状 人脸轮廓 五官的形状及相对位置等 颜色信息包 括人脸部皮肤 头发的颜色及其分布等 运动信息是指头部表面各点之间的运动 相关性以及整体的运动轨迹 硕士论文基于序列图像的人头定位 利用这几种信息 现有的人头部定位方法大致可分为基于点特征的方法 基 于模型的方法 基于灰度分布的方法 基于肤色的方法和基于块特征的方法5 类 其中 基于模型的方法是通过对头部及其器官进行建模 并秘用模板匹配来实现 定位 这种方法实现简单 但计算代价比较大 2 基于点特征方法是通过提取眼角 异翼 嘴角等特征并利用各个器官之间 存在一定的位置和几何关系来实现人头定位 8 1 这种方法适合对人脸细节特征的定 位 但对图像的分辨率和人脸的尺寸有一定的要求 3 基于灰度分布的方法是先求解头部表殛的灰度分布马赛克图 然后通过匹 配来实现定位1 9 j 这种方法直观 简单而且由粗到细 逐步取精 计算速度较快 但要得到一套适当的匹配规则并不容易 当规则过于严格时 会出现漏检 而当 规则过宽时 又会出现误检 4 基于肤色的方法利用人脸肤色的特殊性来进行定位1 1 0 1 1 i 与其他检测方 法相比 利用颜色信息检测出的人脸区域可能不够准确 但如果在整个系统实现 中作为人脸检测的粗定位环节 它具有实现简单 快速等特点 可以为后面进一 步进行精确定位创造良好的条件 以达到最优的系统性能 另外 利用肤色进行 定位的最大特点是它不依赖于面部的细节特征 对于旋转等变化情况都能适用 具有相对的稳定性并且和大多数背景物体的颜色相区别 5 基于块特征的方法是通过图像中批量块特征的运动矢量计算来实现目标 跟踪 拉 n 它虽具有精度高 不依赖于具体目标模型等优点 可用于实现人头部 自由运动的跟踪 但由于块特征仅利用了图像的低层信息 且不能根据目标的整 体形状来对跟踪结果进行调整 因此在长时间连续跟踪时 容易因误差累积而发 生目标丢失的情况 同时在跟踪过程中 尤其头部旋转运动时 块特征需要不断更 新 而累积误差则会造成更新的某些特征是非头部特征 从而导致目标逐渐丢失 本文根据所研究图像的特点 采用了利用入头特征的方法来定位入头 1 3 本文的研究工作概述 本文根据所研究人脸由于遮蔽而引起的不完整和序列图像的特点 对基于序 列雹像的人头定位中所涉及鹄背景生成稻更叛 运动目标检泓 人头定位等进行 了研究 本文具体工作主要集中在以下几个方面 1 本文由于是采用图像差分来进行运动目标检测 因此正文一开始就研究了 作为差分参考的背景图像的生成和更新 从简单到复杂地分析了几种方法的优缺 4 硕士论文基于序列图像的人头定位 点 提出了一个组更新方法 特别是根据已有方法的不足 给出了一个更加有效 的多高斯分布模型背景生成法 最后分别实现了这些算法并用实验对它们进行对 比和分析 2 本文研究了差分图像的二值化方法 在分析现有二值化方法的基础上给出 了一个基于统计学理论的差分图像的二值化方法 介绍了利用相邻三帧图像检测 运动目标轮廓的方法 给出了 个延时更小的利用最近三帧图像检测当前图像中 运动目标轮廓的算法 给出了利用沈俊边缘检测算子和线段光滑度指标的目标切 分方法 并去除相连干扰 最后综合以上检测到的目标区域 轮廓和边缘 给出 了本文的运动目标检测算法流程 3 本文研究了人头定位 给出了基于头颈部凹点的人头定位算法 并结合本 文所处理人脸的特殊性 提出了一个稳定的基于圆环人头定位的h o u g h 变换算法 定位人头 4 本文最后给出了实验结果和结论 1 4 本文的内容安排 本文的内容安排如下 第一章对运动目标检测和人头定位进行了回顾 主要介绍了运动目标检测和 人头定位的常用方法 课题的特殊性 本文的研究工作和本文的内容安排 第二章重点讲述了背景生成和更新技术 包括平均图像法 加权更新法 分 组更新法 多高斯背景模型法 并对它们进行了分析比较 第三章详细介绍了差分图像的二值化方法 基于图像差分的运动目标轮廓检 测方法和利用沈俊算子和线段光滑度指标的目标切分算法 并给出了运动目标 人 检测的整体过程 第四章具体阐述了人头定位 给出了两个人头定位算法 完成图像中人头的 定位 也为后面的进一步工作做准备 第五章是实验结果和分析 对本文的研究工作从总体上进行了衡量 最后本文进行了归纳和总结 并提出今后工作的方向 塑主笙苎苎王壁型鬯堡些 墨塞些 2 两种新的背景生成方法 2 1 引言 运动目标所生成的图像序列有两种类型 一种是静止背景序列 一种是变化 背景序列 本文处理的图像序列是静止背景序列 这种序列可用背景消减法得到 运动目标 但这需要当前图像对应的背景图像 因此就要进行背景生成 同时场 景中的光照等因素是在不断变化的 为了适应这种变化 背景需要有自适应能力 因此对得到的背景还要进行更新 以消除非目标变化的影响 本章系统地分祈了各背景生成和更新方法的优缺点 在原有方法的基础上提 出了分组更新法 介绍了一种多高斯模型的背景生成技术 并对它进行了改进 给出了本文的多高斯模型背景生成技术 虽后进行了详细的实验数据分析 2 2 平均图像法 2 2 1 方法介绍 一个经典的自适应背景生成和更新方法是对最近一段时问内的图像求平均 生成一个除运动区域外与当前图像相似的背景图像 这个方法就是平均图像法 假设图像序列为 i 1 2 3 背景图像b k g 用公式可表示为 b 堙 j l j 2 h n 1 2 3 2 2 2 优缺点分析 2 2 1 1 虽然这个方法对物体连续运动 大部分时间背景可见的情况是有效的 但是 在运动物体很多和物体作慢速或沿摄像机光轴运动的情况下 出于背景中残留了 较多的运动目标 前景中的目标被归并到了背景中 成为背景的一部分 如果用背 景差分的方法检测运动 残留在背景中的先前的目标将出现在差分图像中 被错 误地当作一个新目标 影响进一步处理 使这种方法不怎么有效 如图222 1 2 224 所示 6 硕士论文 基于序列图像的人头定位 图2 2 2 1 目标沿光轴运动的背景图 图2 2 2 2 目标作慢速运动的背景图 图2 2 2 3 当前图像图2 2 2 4 图2 2 2 3 与图2 2 2 i 的差图像 而且 在场景光照变化时 这种方法的更新速度跟不上当前图像的光照变化 速度 有可能把光照的变化当作运动目标 如图2 2 2 5 2 2 2 7 所示 但对于这种 方法 参与生成背景的帧越多越接近静止场景 另外 这个方法对比较旧的图像 和比较新的图像同等对待 也是它的 个缺陷 因为对于当前图像来说 较旧的 图像作用比较小 较新的图像则作用比较大 因此在背景中较旧的图像要相对占 的少一些 即权重小一点 较新的图像占的比重相对大一些 即权重大一点 并 且较旧的图像要慢慢从背景中更新掉 硕士论文 基于序列图像的人头定位 图2 2 2 5 光照变化时的背景 亮到暗 图2 2 2 6 光照变化时的当前图像 图2 2 2 7 图2 2 2 5 和图2 22 6 的差图像 光照的变化被当成目标了 2 2 3 算法描述 本方法的算法如下 s t e p 1 初始化和图像为0 s t e p 2 采集一幅当前图像 s t e p 3 把当前图像累加到和图像中 s t e p 4 根据和图像与累加的图像数目求出平均图像作为当前背景 如果不再需 要背景 则转s t e p 5 否则转s t e p 2 s t e p 5 结束 硕士论文 基于序列图像的人头定位 2 3 加权更新法 2 3 1 方法介绍 由于平均图像法的缺陷 本文对得到的当前图像用加权的方法加入到背景图 像中 产生了加权更新法 假设图像序列为 i i 1 2 3 初始背景为 b k g o i l 1 2 t i n 一般背景为 暑堙 b k g 1 一 女 i k 5 0 1 2 2 3 1 1 2 3 1 2 其中 n 是初始背景中的帧数目 r 是更新因子 表示当前背景图像在新背景 中所占的比例 且r 的取值在0 到1 之间 2 3 2 优缺点分析 对于这个方法 如果r 的取值在0 附近 由于初始背景产生后每来一帧图像算 法更新一次背景 因此背景能迅速适应当前图像的变化 极端的情况 当r o 时当 前背景即为前一幅图像 如果r 的取值在1 附近 背景图像被更新的比例不大 不 能适应当前图像的变化 极端的情况 当t l 时背景图像不被更新 如果r 取在 o 5 附近 背景图像被较侠地更新 但同时也记录下了目标运动的轨迹 即前几幅 图像中的运动也出现在当前背景中 差分时当前图像和前几幅图像中的运动被一 起得到f 如图2 3 2 1 2 3 2 2 所示 对于这种方法 静止或慢速运动的目标会成为背景的一部分 也影响进一步的 处理 但由于这种方法引入了加权的思想 背景中的已有图像所占比例会随着背 景的更新而越来越小 即旧的图像在不断地被更新掉 新的图像不断地进入 背 景图像保持相对较新 如果参数选的合适 该方法对光照 场景的变化有较好的 自适应能力 硕士论文 基于序列图像的人头定位 图23 2 1r 0 5 时的背景图像图2 3 2 2r 0 5 时的差图像 其中 在人左边的一层层 影子 是前几幅图像中的运动没有及时更新掉 2 3 3 算法描述 本方法算法如下 s t e p 1 累加最初的n 帧图像并取平均作为初始背景 s t e p 2 取一帧新图像 按 式 2 3 1 2 更新背景 s t e p 3 如不需要背景 转s t e p 4 否则转s t e p 2 s t e p 4 结束 2 4 本文提出的分组更新法 2 4 1 方法介绍 在初始背景生成后 加权更新法是对每个当前图像进行一次背景更新 一旦 当 i 仃图像有干扰 干扰便会进入背景中 另外 对用于图像差分的背景图像来说 背景图像和当前图像要有一个合理的间隔 如果两者间隔太短 图像的内容变化 太小 则可能检测不到目标的运动 如果两者间隔太大 背景就不能实时 检测 到的目标不可靠 因此本文提出了分组 g r o u p u p d a t e 更新法 首先 假设图像序列为 1 i 1 2 n n 1 n 2 2 n 2 n 1 n 为每个 分组中的图像数目 定义第k 组图像的平均 一v i k l 2 n n k 0 1 2 则背景图像 2 4 1 1 硕士论文 基于序列图像的人头定位 b k g b 堙j 1 一 一v 0 1j 0 1 2 2 4 1 2 其中 初始背景b k g o i 1 2 i n u a v r o r 为更新因子 0 r 1 r 控制背景更新的速率 r o 时更新最快 背景的实时性最好 r l 时背景不更新 分组的大小n 既控制背景更新的频率 也控制了当前图像与当前背景图像的时间 相隔 2 4 2 优缺点分析 对于该算法 静止或缓慢运动的目标仍会出现在背景中 差分时会误认为新 的目标 影响进一步的处理 仍有如图2 2 2 1 2 2 2 4 的情况 但由于它仍具有加 权的思想 旧的图像在不断的被更新掉 新的图像在不断的进入 背景图像相对 较新 因此对光照 场景的变化有一定的自适应能力 图2 4 2 1 是这个方法对场 景中运动目标由静止而进入背景到目标离开的适应过程 其中 r 0 5 n 3 0 所 用的是按每秒9 帧的速率采集的共1 2 0 幅图像组成的序列 a 残留运动目标的背景 经过一定更新的背景 c 进一步更新的背景 d 目标基本被更新掉的背景 图2 4 2 1 通过更新去除背景中由于停留而残留下的运动目标 硕士论文 基于序列图像的人头定位 另外 由于这种方法对每组图像经过取平均后再更新背景 相对与加权平均 法来说有一定的抗干扰能力 2 4 3 算法描述 本方法算法如下 先确定每组的图像帧数n 然后进行背景更新 s t e p 1 累加最初的n 帧图像 取平均后作为初始背景 s t e p 2 重新累加最近褥n 帧图像 s t e p 3 对得到的和图像取平均后按 式 2 4 1 2 对原背景进行更新 s t e p 4 如不再需要背景 转s t e p 5 否则转s t e p 2 s t e p 5 结束 2 5 本文提出的多高斯分布背景模型法 2 5 1 引言 分组更新法等虽然具有一定的适应能力 但它们对静止或缓慢运动的目标仍 然不能有效地处理 因此 本文引入了多高斯背景模型法 在系列图像中 对某一个特定的像素 y 在过去一段时间1 t 内的取值可表 示为 x z 以 l x y f l i 兰f 这是一个随机过程 这里把它称作像 素过程 对特定光照条件下的一个特定的表面 一个高斯分布足以表示其上的每 一个像素 如果仅是光照的改变 单个的自适应高斯分布也足以表示每个像素 而实际中 一个特定像素在一段时间内的取值可能服从不同的高斯分布 这缘于 光照变化 摄像机的自动光圈的改变以及目标静止后成为背景等 因此 实际需 求多个自适应的高斯分布 多高斯分布背景模型法就是用若干个自适应高斯分布 的混合分布来近似的表示这个过程 s t a u f f e r 等 2 0 提出了一个多高斯分布背景模型 在对背景建模时 该方法不是 对图像中的所有像素值用一个分布模型来表示 而是对每一个像素用若干个高斯 分布 高斯分布的混合分布 7 x 肛 i 1 2 k 来表示它过去一段时间l t 内 的取值 并且每个分布具有自己的权重因子彩 因此图像中某一像素当前取值为 的概率为 片 p x 墨c o 叩 卢 f 2 5 11 硕士论文基于序列图像的人头定位 其中 一是该像素在时刻t 时的取值 k 是该像素的混合分布中高斯分布的 个数 珊 是混合分布中第i 个高斯分布在时刻t 的权重 是混合分布中第i 个 高斯分布在时刻t 的均值 是混合分布中第i 个高斯分布在时刻t 的协方差矩阵 叩 x 麒 是高斯分布的概率密度函数 在背景模型中 每个像素对应的混合分布模型中的各高斯分布是按优先级排 列的 s t a u f f e r 等根据已有的知识认为权重大而方差小的分布模型较好 为此 以 脚 t r 作为优先级衡量尺度 按国 t r 从大到小的顺序来排列各个高斯分布 优先级 最高的在最前面 次高的在其后 最低的在最后 然后根据一个阈值t 按下式求 得b 把前面的b 个分布作为背景分布 b a r g m i n 纨 r k l 2 5 12 当一个像素的当前值来到时 该当前值与对应混合分布模型中的各背景分布 依次进行比较 当像素当前值与混合分布模型中的某一个背景分布相匹配 像素值 与一个分布匹配是指该像素值在该分布的2 5 倍标准差以内 该像素就被认为在 背景中 否则 该像素就被认为在前景中 在对一个像素处理完后 需要对像素对应的各高斯分布的参数进行更新 如 果有背景分布与像素当前值相匹配 对最匹配的分布的参数按照下面公式进行更 新 1 一p f l 卢r c r 1 一p 盯三l p x 一 j 7 置一 2 5 1 3 2 5 1 4 其中 p 是一个更新速率 p a l l 1 7 置i t 吼 它决定了分布模型参数 更新的快慢 像素对应的其它分布的均值 和方差盯2 保持不变 如果所有分布中 没有一个与像素当前值相匹配 概率最小的分布就用一个以像素当前值为均值 具有较大的初始方差和较小权重的新的分布来代替 在混合高斯分布中 任意时刻t 第k 个分布的权重按照下面的公式进行更新 0 9 1 1 一口 女p l a m r 2 5 1 5 其中 口是另一个更新速率 m 的取值依分布而定 对与像素当前值匹配 硕士论文基于序列图像的人头定位 的分布取1 其余分布取0 该权重更新策略使匹配分布的权重得到提高 使其优 先级相对变高 而不匹配的分布权重都变小 优先级相对变低 在权重更新完后 还要对同一混合高斯分布中的各分布的权重进行归一化 另外 在每一个像素对 应的各高斯分布的参数都完成更新后 需要按优先级重新调整各高斯分布的排列 次序 下面给出本文的多高斯背景模型 2 5 2 可靠分布和不可靠分布 本文根据s t a u f f e r 等人的多高斯背景模型 给出了一个改进的多高斯背景模 型 具体体现在节2 5 2 2 5 7 中 先介绍可靠分布和不可靠分布 对于本文的新算法 图像中的每个像素过程仍旧用多个高斯分布表示 分布总 个数固定 这些高斯分布分为可靠分布和不可靠分布两类 可靠分布定义为落入 该分布的像素值的数目较多 不可靠分布定义为落入该分布的像素值的数目较少 分布 新算法引入不可靠分布的出发点如下 1 按s t a u f f e r 的算法 当暂时性的干扰第一次出现时 s t a u f f e r 的算法会将它 当成前景 并为此创建一个新分布 替换掉一个已有的分布 从而导致后续的干 扰统统加入到该新建的分布中 按 式 2 5 1 5 使得该干扰分布的权重增大 这 样当干扰的仃较小时 该分布在背景分布的排序较前 当运动目标的像素值与干 扰接近时 运动目标就成为了背景 2 同理 对于慢速或作短暂停留的运动目标也会很容易的进入背景中 使背 景变得不 纯净 带来后续算法的一些问题 因此 本文把一个像素对应的所有高斯分布分成可靠分布和不可靠分布两类 同时为了减小噪声的干扰 尽量节省空间 不可靠分布最多可以引入两个 对于 不可靠分布 它在积累一定数量的像素值 使其个数超过一个门限砌以后成为可 靠分布 砌的大小通过不可靠分布和可靠分布的比较得到 如果不可靠分布的初 始均值与对应的若干可靠分布的均值很接近 则取小的砌 从而使该分布能很快 的成为稳定分布 反之 取大的砌 从而阻止了运动目标进入背景 该方法经过 一段时间的积累 能够自适应较大的光照变化 2 5 3 前景与背景的区分 本算法根据当前图像中的每个像素的灰度值 通过计算其与对应的可靠分布 和不可靠分布的匹配情况 将当前像素值分成背景点 不可靠的目标点和可靠的 目标点3 类 如果在对应混合分布的各分布中有可靠分布与像素当前灰度值匹配 1 4 硕士论文基于序列图像的人头定位 一个值与 个分布相匹配是指该值在该分布的3 倍标准差以内 该像素值就是背 景点 如果在对应混合分布中没有可靠分布与它相匹配 但有不可靠分布与之相 匹配 该像素值就是不可靠的目标点 如果没有哪类分布与它相匹配 该像素值 就是可靠目标点 对于没有分布相对应的可靠目标点 本文为它引进一个新的不 可靠分布 对于存在某个不可靠分布相匹配的不可靠目标点 把它累积到相匹配 的不可靠分布中 以便不可靠分布能演变成可靠分布 对于存在某个可靠分布相 匹配的背景点 把它累积到相应的可靠分布中 2 5 4 分布更新模式 在多分布背景模型中 每个像素对应若干个高斯分布 其中不可靠的分布最 多有两个 根据这些分布中不可靠分布的数量 把像素分为三类 即没有不可靠 分布的像素 具有1 个不可靠分布的像素和具有2 个不可靠分布的像素 分布的x 种更新模式如下 1 不可靠分布的创建 对于具有0 或1 个不可靠分布的像索 如果像素对应 的高斯分布中没有与像素当前值相匹配的分布 就要引入新的不可靠分布 此时如果像素的分布已经满了 达到最大数量 就找到最过时的稳定分布 用 该新不可靠分布替代它 如果分布未满 直接新增一个新的不可靠分布 新分布的确定见节2 5 5 中新分 布的创建 2 已有分布的更新 如果像素当前值与像素的高斯分布中的某个分布相匹 配 那么不管匹配的分布是稳定的还是不稳定的 都用像素当前值更新相匹配的 分布 3 已有的不可靠分布的替换 对于具有2 个不可靠分布的像素 如果像素的 混合裔斯分布中没有与像素当前值相匹配的分布 就要引入新的分布 由于不可 靠分布最多只有两个 只能通过替换一个不可靠分布来引入新的分布 这里 本 文找累积像素较少的最过时的不可靠分布 用一个新分布替代它 2 5 5 分布的创建 删除与更新 当像素的当前值与其现有的各分布都不匹配时 就要引入新的分布 新分布 的均值是像素当前值 方差是以像素的当前值为均值的已有稳定分布的方差平均 新分布的权重比当前所有的分布都小 由于光照等因素的影响 场景会不断的变化 自适应的背景模型也要不断的 1 5 硕士论文基于序列图像的人头定位 更新以适应这种变化 因此背景模型就要一个 新陈代谢 的过程 在引入新分 布的同时也要把过时的分布从背景模型中去除 为了表示分布的过时 本文记录 分布中各点出现的时刻 然后用各点出现时刻的平均作为衡量分布过时的尺度之 一 另外 对于有些开始于 很久以前 但仍在不断更新的分布 如果用上面的 尺度会认为是过时分布而被去除 而实际上它仍然是有用的 因此本文把分布最 后一次被更新的时刻作为另一个尺度 如果一个可靠分布对应的平均时刻与当前 时刻之差大于一个时间跨度阚值 并且该分布最后一次更新的时刻与当前时刻之 差超过另一个时间跨度阈值 则认为这个分布已经过时 就去除 当像素的当前值与某个分布相匹配时 就要更新相匹配的分布 本算法用递 推公式对高斯分布的均值和方差进行更新 公式的推导如下 假设样本为 z j j 则 均值的递推公式为 击 击黔 彘c 去缸卜击 南风 六h 2 5 5 1 方差的递推公式为 1 k 1 1 x t k 2 击 妻c x t 一 k l 卜c x k l k l 2 s s z 1 七 l 1 k 1 一u 女十 一 i k i 2 一w 一 2l r 1a 女 x 一 2 2 一 i k 1 j 一 u k 一 a k j 2 x 而1 善k 弘 2 2 c l k t t k t 击妻 小 鬲1 善k 旷川2 丽1 一m 2 而k i 1 善k 弘 2 0 而k 旷川2 击 x k l k 1 2 k 去 t 吒2 一鲰1 2 1 南 k 一 1 2 1 j r r 硕士论文基于序列图像的人头定位 即本文按如下方式更新均值和方差 对于均值 纵 南 击h t 2 i 石 e i 石a 对于方差 2 5 5 3 吐 南p y k u k 2 由 k m 2 2 5 工4 其中 k 表示分布中的像素数 五 表示最新的像素值 以和 分别表示 当前时刻和下一时刻的均值 盯 和盯 2 分别表示当前时刻和下一时刻的方差 在更新完分布的参数后 算法想要知道像素对应的分布中哪个更适合实际的 背景 本方法认为落入的点越多越好 方差越小越好 因此仍旧以c o 盯作为优先 级衡量尺度 按优先级从高到低的顺序对各分布进行从新排序 2 5 6 优缺点分析 优点 该方法能适应自然光照的变化 除场景中物体的来回摆动 如风中的树叶 动的目标 也能较快的适应光照的突变 并能去 飘动的旗帜等 能很好的处理慢速运 缺点 由于目标在某个位置上出现一定时间后 多高斯分布背景模型会为其 建立一个分布 下一次再出现时它就不是一个目标点 尤其是当运动目标在某处 停留较长时间 然后快速离开 再迅速返回时 目标可能会检测不到 再者 如 果运动目标部分或全部的颜色和背景很接近 由于这部分会很快进入背景而检测 不到 但这也是其他算法做不到的 2 5 7 算法描述 本方法算法如下 s t e p 1 初始化 系统开始时先有一段时间的预备期 获得如下的初始设置 每个像素有唯一 的一个分布并且是稳定的 像素稳定分布的均值和方差是像素过程在预备期中样 本的均值和方差 权重初始值为1 0 可靠分布数初始值为l 不可靠分布数初始 值为0 硕士论文基于序列图像的人头定位 s t e p 2 检查像素当前值与对应各高斯分布的匹配情况 确定当前值的类型 当新的图像到来时 程序先检查像素当前值是否与对应的各高斯分布中的可 靠分布相匹配 如果是 该当前值就是背景点 否则 如果混合高斯分布中有不 稳定分布 再将该当前值与各不稳定分布相比较 如果有匹配的 该值就是不可 靠目标点 否则它就是可靠目标点 s t e p 3 根据当前值的类型 引入新分布或更新相匹配的分布 对于可靠目标点 根据背景模型中对应像素的类型 是没有不可靠分布的像素 具有1 个不可靠分布的像素还是具有2 个不可靠分布的像素 和当前已经有的高斯 分布数引入新分布的 参见节2 5 4 对于不可靠目标点 用像素当前值更新背景模 型中相匹配的分布 以便不可靠分布逐渐转变成可靠分布 对于可靠背景点 用 像素当前值更新背景模型中相匹配的分布 s t e p 4 更新背景 生成掩码图像 对于可靠目标点和不可靠目标点 背景图像中的对应像素不进行更新 但标 记当前掩码图像 掩码图像用于包含当前目标点 对于背景点 更新背景图像中的 对应像素 但不标记当前掩码图像 2 6 实验数据比较与分析 为了比较各背景生成方法 本文对同一个序列使用不同的方法来生成背景 图2 6 2 是序列分别在目标出现一下又马上离开 目标在场景中停留和目标离开后 光照突然变暗三种情况下使用各个算法生成的背景图像 为了对各算法进行定量 的分析 本文分别以三个时刻的无运动目标的标准背景作为参考 三个标准背景 如图2 6 1 所示 对于前两种情况 由于场景光照基本不变 生成的背景和标准背 景的均值变化不大 因此通过计算生成的背景和对应标准背景差图像的均方差来 衡量各生成的背景和标准背景的接近程度 这时均方差越小生成的背景就越好 并 以此衡量各算法在前两种情况下的性能 对于第三种情况 由于光照发生了变化 如果算法有良好的适应能力 则生成的背景和标准背景的均值就很接近 反之 则相差较远 在这种情况下 本文通过计算生成背景和标准背景差图像的均值来 衡量各算法的适应能力 这时均值越小生成的背景就越好 实验中各算法的参数如下 1 平均图像法以序列中的所有1 2 0 幅图像作为一组 f 2 加权更新法初始背景包含2 0 幅图像 更新率是0 5 f 3 1 分组更新法每组2 0 幅图像 更新率是0 5 硕士论文基于序列图像的人头定位 4 s t a u f f e r 等的多高斯分布背景模型法初始化模型时使用2 0 幅图像 权重更 新因子口和均值方差更新因子p 均为0 5 a 2 5 1 2 中用于计算背景分布数目 的阈值t 取o 9 5 本文的多高斯分布背景模型法在初始讫模型时使躅2 9 福图像 衩重更新 因子是0 5 节2 5 5 中用于分布去除的时间跨度阈值 分布的 寿命 规定如下 如分布与当前时刻相差3 0 帧以上 且最后一次被更新离当前时刻相差1 0 帧以上 就认为分布过时 将其去除 圈26 本实验中三种情况下的三个标准背景 硕士论文 基于序列图像的人头定位 图2 6 2 不同背景生成方法在三种不同的情况下的比较图 表中不同列表示不同的情况 从左到右依次为 1 目标在场景中突现了一下 2 目标停留片刻 3 目标离开场景光照突然变暗 表中不同行表示不同的背景生成方法 从上到下依次为 1 平均图像法 2 加权更新法 3 分组更新法 4 s t a u f f e r 等的多高斯分布背景模型法 5 本文的多高斯分布背景模型法 2 0 表2 6 1 不同背景生成算法在不同情况下的性能比较表 f 堡 目标在场景中突现 目标停留片刻目标离开 光照突变 方法 渣量值 以均方差为尺度 以均方差为尺度 以均值为尺度 平均图像法 2 1 44 2 82 8 5 5 加权更新法 6 6 41 8 7 74 2 4 分组更新法 2 0 95 7 6 1 2 2 8 s t a u f f e r 等的多高斯 2 9 71 8 8 6 4 4 6 分布背景模型法 本文的多高斯 2 9 06 5 34 4 5 分布背景模型法 从表2 6 1 中可以看出 1 对于运动目标在场景中出现一下又马上离开的干扰 加权更新法由于每帧更新而把目标引入背景中 如图2 6 2 中的对应图像 使相应 的均方差较大 而分组更新法由于先对组图像进行了平均再更新而使其具有抗干 扰能力 其它算法也能较好的适应这种干扰 2 对于目标在场景中暂时停留的情 况 加权更新法和s t a u f f e r 等的多高斯分布背景模型法对应的均方差很大 这是由 于目标被更新到了背景中 如图2 6 2 中的对应图像 这说明这两种算法对目标停 留不能很好的适应