（信号与信息处理专业论文）基于初步分析的多目标人流自动计数研究.pdf

摘要 行人流量计数是目前一项理论意义和实际应用兼备的重要课题 对交通安 全 客流统计 车站管理等方面都具有重要的实际意义 但是由于传统方法难以 解决行人目标穿衣戴帽的多变性和运动的无规律性问题 使得行人流量计数研究 成为一个极具挑战性的工作 目前尚未形成具有普遍性的理论算法 本文基于形 体几何学和图像特征 提出了一种有效的多证据行人计数算法 首先 本文基于传统背景差分算法提出了一种彩色差分算法 保留了较为完 整的目标色彩信息 然后提出了一种改进的阴影去除算法 有效解决了目标阴影 问题 并结合改进的均值滤波算法对行人目标进行了预处理 然后 对于单帧图像人流计数算法研究 本文在对比分析不同肤色模型人头 检测算法及h o u g h 变换人头检测算法的基础上 针对监控区域内的行人横向重叠 情况 提出了一种基于人体几何学b f r 的人头检测算法和一种基于水平投影分 析的多目标行人分割算法 针对监控区域内的行人纵向重叠情况提出了一种t 型判断分割算法 来分割判断当前帧中的行人目标数目 同时根据质心运动来判 断行人运动方向 最后实现单帧图像的行人双向计数算法的研究 最后 本文提出一种基于视频序列的多证据行人计数算法 并结合不同场景 的视频序列进行了实验分析 实验结果表明 本文方法可以有效的解决行人重叠 情况和戴帽情况下的人流计数 在行人左右重叠人数小于6 人 前后重叠数目小 于3 人 监控区域内总人数小于1 0 的情况下准确率可以保持在9 3 以上 实时 性为2 0 2 1 帧 秒 满足工程的需要 关键词 人流计数 人头识别 多目标检测 多证据分析 r e s e a r c ho nv i d e oa n a l y s i s f o r p e o p l e f l o wa u t o m a t i c c o u n t i n gs y s t e m a b s t r a c t p e o p l ef l o wc o u n t i n gs y s t e mi s o n eo ft h em o s ta c t i v er e s e a r c ht o p i c sb e i n g v a l u a b l ef o rb o t ht h e o r e t i c a la n dp r a c t i c a lr e s e a r c hi nc o m p u t e rv i s i o ne s p e c i a l l yh a s a ni m p o r t a n tp r a c t i c a ls i g n i f i c a n c ei nt h et r a f f i cs a f e t y t r a f f i cs t a t i s t i c sa n dt h es t a t i o n m a n a g e m e n t h o w e v e r b e c a u s eo fp e o p l eu s u a l l yw e a l v a r i o u s a n dm o v i n g i r r e g u l a r l ys ot h a tt h et r a d i t i o n a lm e t h o da r en o ta b l et oc o u n te x a c t l ya n do u rr e s e a r c h o np e o p l ef l o wc o u n t i n gs y s t e mb e c o m e sac h a l l e n g i n gw o r k t h e r ei sn o tav a l u a b l e u n i v e r s a lt h e o r yw o r k s w ep r o p o s ea ne f f e c t i v ep e o p l ef l o wc o u n t i n ga l g o r i t h mu s i n g m u l t i p l ee v i d e n c e sb a s e d o nb o d yg e o g r a p h ya n di m a g ef e a t u r e s f i r s t w ed e v e l o pan e wc o l o rb a c k g r o u n ds u b t r a c t i o nm e t h o db a s e d o n t r a d i t i o n a lm e t h o dt og e tm o r ec o l o ri n f o r m a t i o nf o rt h eh u m a nt a r g e t s t h e nt h e c h a n g e dm e t h o do fs h a d o wr e m o v a la n dad e v e l o p e dm e a nf i l t e ra r ei n t r o d u c e dt o m a k eap r e p r o c e s s i n gf o rp e o p l ei m a g e s t h e n p e o p l ef l o wc o u n t i n ga l g o r i t h mf o rs i n g l ef r a n l ei m a g e w ec o m p a r e d d i f f e r e n ts k i nc o l o rm o d e l sa n dh o u g ht r a n s f o r mm o d e lt od e t e c th e a d so fp e o p l e t h e n w ep r o p o s ean e wm e t h o df o rh e a dd e t e c t i o nb a s e do nb o d yg e o g r a p h y b f r a n dan e wa l g o r i t h mu s i n gh o r i z o n t a lp r o j e c t i o na n a l y s i st od i v i d em u l t i p l et a r g e t s i n t oi n d i v i d u a l sf o rt h ec a s et h a tp e o p l eo v e r l a pl a t e r a l l yi nt h em o n i t o r i n ga r e a w e p r o p o s e das p e c i a li m a g es e g m e n t a t i o na l g o r i t h mc a l l e dtm o d e ls e g m e n t a t i o n a l g o r i t h mt oc o u n tt h en u m b e ro fp e o p l ei nt h ec u r r e n tf r a m ei m a g ef o rt h ec a s et h a t p e o p l eo v e r l a pi nar o wi nt h em o n i t o r i n ga r e a t h em o v e m e n t so f c e n t r o i d sa r eu s e d t o g e tt h ed i r e c t i o no fh u m a nw a l k i n g l a s t w em a k et h ec o u n t i n ga l g o r i t h m c o m p l e t e l yf o rs i n g l ef r a m ei m a g e f i n a l l y w ei n t r o d u c eam e t h o du s i n gm u l t i p l ee v i d e n c e sa n a l y s i sb a s e do nv i d e o s e q u e n c e sf o rp e o p l ef l o wc o u n t i n gs y s t e mi nt h i sp a p e r a tt h es a m et i m e w et e s tt h e n w h o l ec o u n t i n gs y s t e mu s i n gv i d e os e q u e n c e so b t a i n e di nd i f f e r e n ts c e n e s a l lt h e r e s u l t ss h o wt h a to u rm e t h o di se f f e c t i v et os o l v et h ep r o b l e mt h a tp e o p l ew e a rh a t so r w a l k i n gt o g e t h e r w h e nt h en u m b e ro fl e r r i g h to v e d a p p i n gp e o p l ei sl e s st h a n6 t h e n u m b e ro fb e f o r e a f t e ro v e r l a p p i n gp e o p l ei sl e s st h a n3a n dt h ew h o l en u m b e ri sl e s s t h a n10 t h ea c c u r a t er a t eo fp e o p l ef l o wc o u n t i n gs y s t e mi si n9 3 a b o v e t h e m e t h o dc o u n t s2 0t o21f a m e si no n es e c o n da n dm e e t st h en e e d so ft h ep r o j e c t k e y w o r d s p e o p l ef l o wc o u n t i n g h e a dr e c o g n i t i o n m u l t i t a r g e td e t e c t i o n m u l t i p l e e v i d e n c e sa n a l y s i s 1 1 1 浙江理工大学硕士学位论文 第一章绪论 1 1 课题研究的背景及意义 在经济快速发展的今天 人口问题已经成为一个不可避免的社会现实 而巨 大的人口压力 也对我们的交通枢纽 车站管理 商场运营调度等方面产生了巨 大影响 而行人流量的精确统计 将使商场超市在日益激烈的商业竞争中知己知 彼百战不殆 使车站调度方便快捷 顺理进行 同时也将大大减少交通枢纽的运 输过载压力 减少客流拥堵 提高交通安全系数 因此 研究行人流量自动计数 系统 获得精确的行人流量 将对交通安全 车站调度安全 商场竞争决策产生 不可估量的作用 本文将以小区 超市 车站入口行人流量自动计数为背景 从实际出发 研 究有效的人流计数算法 构建完整的人流计数系统 1 2 国内外研究现状 1 2 1 国内外研究成果概述 行人流量自动计数 人流计数 研究是近年来计算机视觉和图像处理领域中备 受关注的前沿方向 国际上视觉领域权威期刊 j c v p a m i c v i u 等都将行人目 标的检测与跟踪视为很重要的内容 到目前为止 国外在智能视频监控领域做出 突出成果的部门主要包括以下研究机构 美国卡内基梅隆大学c m u 和麻省理工 学院早在1 9 9 7 年就参与了美国国防部高级研究项目署设立的智能监控项目 v i d e os u r v e i l l a n c ea n dm o n i t o r i n g 简称v s a mi l 该项目主要研究用于战场 和民用场景监控视频的自动理解技术 麻省理工学院m i t 还开发了p f i n g d e r 系 统 可以对单一行人目标进行较为准确的跟踪识别 p a i 2 研究了道路行人检测和 跟踪的相关技术 用于保证驾驶员的安全驾驶 g e 公司的v i d e o l q 产品可以实 现多场景下的行人目标检测1 3 1 除此之外 奥地利g r a z 理工大学的嵌入式智能 摄像机研究组 i b m 的s 3 s m a r ts u r v e i l l a n c es y s t e m 项目组 i n t e l 的 i r i s n e t i n t e r n e t s c a l e r e s o u r c e i n t e n s i v es e n s o rn e t w o r ks e r v i c e s 项目组等分 浙江理工大学硕士学位论文 别致力于分布式智能监控系统的多方面研究 并在不同相关领域中处于较领先的 地位 4 1 国内相关方面的研究起步较晚 其中 中科院自动化研究所研究了动态场景 的视觉监控技术 包括运动检测与跟踪 步态识别和手势识别等方面 并研发了 一套具有自主知识产权的智能视频监控系统 并在2 0 0 8 年北京奥运会中应用推 广 5 1 清华大学研制的v i s a t r a m 系统结合我国公路交通实际情况 使用长方体的 车辆模型来跟踪车辆 获取运动车辆的速度等特征信剧6 深圳的海康威视数字 技术股份有限公司也在纷纷努力于智能监控系统的研究 对于人流统计方面已经 设计出客流量统计模块 通过识别人头来统计出入某门口区域的客流量 对于无 重叠情况准确率可达9 7 不仅如此 还有国家 8 6 3 计划 自然科学基金等 都对行人目标运动计数的研究提供了项目资助 1 2 2 国内外人流计数方法概述 目前国内外人流自动计数的方法主要分为以下几种 基于形状特征的行人检 测计数 基于肤色特征的人流检测计数 基于模型学习的人流检测计数 基于区 域估计的人流目标计数 1 基于形状特征的人流检测计数 鉴于行人行走情况下姿势千变万化 因此 基于形状特征的行人计数相对比 较困难 关键是如何把重叠的行人目标分割开来 文献 7 通过计算重叠目标之间 的像素距离以及最近邻域像素与背景像素的距离判断 将多目标重叠图像分割为 独立的行人目标 从而进行数目统计 c h e nt h o u h o t 8 j 利用h i s 颜色空间中衣服 颜色差异较大的特征表现将重叠行人进行分割提取并计数 由于行人人头近视为 椭圆形状 l i j i a n gz h a n g 9 j 使用a d a b o o s t 算法对运动区域的人脸部分进行检测 确定人脸的位置 x uh u a z h o n g 1 0 构建了一个头肩模型 结合s v m 对采样样本 进行学习 从而对行人数目进行检测 r d u d a t l lj 提出了一种基于h o u g h 变换的 圆形检测法 把行人头部近似为圆形 进行人流检测计数 2 基于肤色特征的人流检测计数 c h e n t l 2 1 使用一个新的基于区域颜色分析的方法来解决行人计数中的重叠问 题 在h i s 颜色空间用一个特殊的颜色矢量标记每一个行人 然后对行人进行 2 浙江理工大学硕士学位论文 跟踪计数 该方法对于颜色差异较大的情况较为准确 但是近似颜色的行人重叠 情况无法解决 z u iz h a n g l l 3 基于高斯模型结合x y z 和h s v 颜色空间构建了一 个相似度函数来检测不同行人的发色和肤色 最后得到人头位置信息 该方法对 于正面行走的行人检测比较有效 但是对于背面或是戴帽 面部遮挡情况束手无 策 张争珍 石跃祥 1 4 基于y c c 颜色空间对肤色进行聚类 得到肤色范围 从 而对行人进行人脸检测 通过人脸检测判别行人数目 黄建筑 1 8 1 等人提出了一 种基于r g b 颜色空间混合肤色模型的复杂背景彩色图像的快速人脸检测算法 z h a n gx i a o n i n g 1 6 1 等人提出一种基于h s v 颜色空间的肤色模型算法 对肤色进 行了有效的检测 m i n z h a o l l 7 1 等人提出了一种y c c 颜色空间的发色特征模型 以此对行人进行头部检测 该方法在一定程度上可以准确检测行人头部信息 但 是对于戴帽情况 则严重失效 j i ey a n g t l9 结合肤色模型和运动分析 对行人脸 部进行检测 识别 取得了较好的准确度 但是只能检测正面的行人人脸信息 条件容易受限 3 基于模型学习的人流检测计数 2 0 0 5 年 d a l a 和t r i g g s 提出基于梯度直方图h o g 特征的行人检测算法 2 0 2 1 1 该算法是基于统计学习的行人检测算法中的一种 它采用了s v m 检测构架 并 取得了非常好的检测效果 q i a n gz h u 2 2 年1 l a p t e v t 冽等人在h o g 特征基础上分 别利用线性s v m 和加权f i s h e r 鉴别分析作为弱分类器 将h o g 特征和a d a b o o s t 分类器相结合 在保持了检测率的情况下提高了检测速度 贾彗星1 2 4 j 利用分类 树和神经网络作为h o g 特征弱分类器 进一步提高了检测精度 h u a 和l e i 2 s 1 描述了一种基于头肩模型的学习分类方法 通过s v m 训练头肩图像样本来得到 头肩模型数据 除此之外 l in a n a 2 6 等 结合b p 神经 网络对行人数据进行学习 判断 并以此设计了有效的人流计数系统 4 基于区域估计的人流目标计数 y e l 2 7 1 等人提出了一种基于特征块估计的行人计数方法 该方法根据行人目 标图像选择特殊的块 输入弱分类器进行训练 从而对行人数量进行估计 为了 避免多个行人重叠目标的检测与分割 p a r k l 2 s 等人提出了一种基于区域判断法则 的行人计数算法 该算法根据摄像机的位置与监控区域的大小 将监控区域划分 为不同的判断区域 通过不同行人位置产生的图像特征的不同 对不同的区域设 3 浙江理工大学硕士学位论文 置加权系数 以此估计行人的数目 得到了一定的统计效果 但是准确性不高 z h a n ge n w e i t 2 9 1 等人通过行人投影情况对多目标行人图像进行分割 并结合颜色 特征对行人数目进行计数 由于行人姿态的多变性性 该方法容易造成错误分割 进而造成人数的误判 t a r e ky a h i a o u i 3 0 l 介绍了一种基于密度块检测 分割跟踪 判断的人流计数算法 对于行人数目较多的情况比较有效 1 3 本文主要工作 基于视频分析的人流计数是计算机视觉中一项理论意义与实际价值兼备的 重要课题 对于商场管理 车站安全调度以及科技军事方面都有着重要的实际意 义 本文主要是进行基于视频分析的多目标人流自动计数方法的研究 以小区 商场 车站等地方出入口的行人为目标 通过计算机视觉 模式识别以及数字图 象处理等技术 从行人运动过程中的颜色 几何特征 位移等方面进行分析 将 行人准确的分割计数 最终形成一种完整的人流计数方案 本文结构安排如下所示 第一章 简单论述行人流量计数的研究背景和意义 同时介绍国内外的研究 现状并讨论各种传统的行人计数方法 最后概括论文的主要内容 第二章 对于系统整体 介绍本文计数系统的整体构架 并介绍目前基于计 算机视觉行人计数的3 种摄像环境 通过优缺点对比选择本文所需的摄像机环境 设置方案 对于人流目标检测及预处理 首先简单介绍光流法 帧间差分 背景 差分三种常用的运动目标检测方法 并在此基础上介绍本文中基于背景差分的彩 色差分方法 并给出实验结果 然后 介绍一种改进的均值滤波算法对彩色差分 后的目标图像进行预处理 并给出实验结果 最后 介绍文中选取的二阶背景维 护算法 对视频监控的背景进行维护 并给出实验结果 第三章 首先介绍三种经典的人头检测方法 基于y c c 颜色空间的人脸检 测算法 基于x y z 与h s v 颜色空间的人头检测算法 基于h o u g h 变换的人头 检测算法 通过实验结果分析每种方法的缺点 然后结合本文的摄像环境及行人 计数中重叠 戴帽情况 将监控对象划分为左右重叠和前后重叠两种情况 并针 对两种情况提出了基于人体几何学和投影原理的b f r 人头检测算法和基于t 型 判断的行人分割算法 结合这两种情况和两种算法来完成单帧图像中的人流计数 4 浙江理工大学硕士学位论文 问题 第四章 结合本文摄像机监控环境以及视频处理的需要 提出一种简单的基 于相似度函数的多帧目标匹配算法 然后 针对单帧图像行人计数的不足 介绍 一种基于连续帧多证据分析的人流计数算法 并给出相应的实验结果 最后对于 行人密度较大情况下的行人计数 本文给出了一定的估计算法 增加行人计数系 统的相对准确性 第五章 对本文所研究的基于视频序列的多目标行人流量自动计数系统进行 不同的仿真实验 给出相应的实验结果 并对实验结果进行分析说明 第六章 总结全文并对本文的研究工作进行客观的评价 最后对以后的研究 工作和研究方向作出一个预测和可行性的引导 浙江理工大学硕士学位论文 第2 章人流目标检测 预处理及背景维护 行人是视频序列分析中行人流量统计的主要对象 对行人目标的检测 分割 跟踪及计数是本文的重点 而这些工作中一个重要的部分就是目标的检测和背景 维护问题 行人目标检测的准确型将直接影响到目标分割等后续工作 而背景的 维护对于室外智能视频监控系统更是影响重大 由于室外环境中光线 阴影等不 定因素的存在 如何得到稳定的背景 将是后续算法复杂度和鲁棒性好坏的关键 本章首先对系统算法步骤进行了总述 结合现在主要的相机设置方式 选取适合 本文的相机环境设置 然后通过几种常用的目标检测算法对比 选择一种合适的 算法来满足本系统的需要 同时 对检测得到的目标进行了初步的处理 包括阴 影去除以及滤波等 为后续工作创造条件 除此之外 本章也对背景维护问题进 行了深入的研究 选用了一种基于临时背景的稳定的背景更新算法 2 1 系统概述 2 1 1 系统流程 本系统主要采用单目相机 置于小区 商场和车站等公共场所的进出口的上 方 通过对监控区域的行人图像进行处理 实现行人流量统计 整个系统的流程 图如图2 1 所示 整个计数系统包括三个部分 人流目标提取 单帧多目标人流 计数和目标跟踪匹配计数 在目标提取部分 我们采用改进的固定背景帧差法获得运动行人目标图像 并对其进行了预处理 包括滤波 阴影去除和形态学处理等 以得到比较完整的 运动行人目标图像 在单帧多目标人流计数部分 我们将行人图像分为不同的情况分别计数 即 左右重叠情况和前后重叠情况 对于左右重叠情况 采用基于人体几何学和投影 原理的b f r 人头检测算法进行人流计数 对于前后重叠情况 采用基于特殊t 型判断的行人分割算法进行人流计数 在目标跟踪计数部分 我们采用基于相似度函数的目标匹配跟踪算法和多证 据分析的人流计数算法 通过对多帧图像的检测分析 获得准确的行人数量 6 浙江理工大学硕士学位论文 2 1 2 相机环境设置 图2 1 整体算法流程图 目前基于单目相机的行人流量计数系统主要采取的摄像机环境设置方法有 三种 第一 摄像机与水平方向角度保持一致 即夹角为0 度f 3 l 设置环境如图 2 2 所示 摄像机始终与监控区域保持水平 该方法的优点是行人从监控区域经 过是可以呈现出完整的正面或侧面图像 但是缺点是行人之间容易发生完全重 叠 从而造成人数误判少判 不利于行人检测与计数 7 浙江理工大学硕士学位论文 图2 2 相机水平设置环境 第二 摄像机与水平方向存在一定夹角 夹角范围为o 9 0 度 3 1 3 6 1 设置环 境如图2 3 所示 该方法的优点是行人在监控区域不宜发生完全重叠 因而避免 了因完全重叠所造成的误判 但是行人密度过大时难以检测和分割 图2 3 相机倾斜设置环境 第三 摄像机与水平方向垂直 即摄像机位于监控区域的正上方 3 3 3 4 3 5 捌 设置环境如图2 4 所示 该方法可以有效避免部分重叠问题 但是由于行人运动 属于非刚体运动 因而在监控区域所呈现的图像也就无章可循 难于检测判断 而且一旦发生目标重叠情况 不易分割 容易误判 图2 4 相机垂直设置环境 本文结合实际情况 选择第二种设置环境如图2 5 所示 我们将摄像机安装 于被监控区域的正前方 并成一定角度 这样行人在监控区域运动时可以在较多 时间内呈现正面全身图像 便于后期检测和判断 8 浙江理工大学硕士学位论文 一 拦洼越星域 一一 一 一 一 图2 5 本文摄像机环境设置 2 2 人流目标检测算法研究 目前 基于视频序列的监控系统中 常用的运动目标检测方法主要有光流法 帧间差分法和固定背景差分法三种 对于室外监控系统 差分法相比于光流法 可以更好的将目标完整的分割提取出来 本章节将通过实验结果分析来确定目标 检测算法的选取 2 2 1 光流法 光流法目标检测就是利用视频序列中像素强度数据的时域变化和相关性来 确定像素位置的移动 将光流场发生变化的运动目标提取出来 它的主要思想是 研究图像像素灰度在时间上的变化和景象中物体结构极其运动之间的关系 1 9 8 1 年 h o m 和s c h u n c k 创造性的将二维速度场与灰度相联系起来 在其 中引入了光流约束方程 得到了光流计算的基本算法 3 1 5 6 1 我们假设e x y f 是 图像帧中 而y 点处在 时刻的灰度值 而 d t 时刻该点运动到了点 o 十d x y 砂 处 则对应灰度值为e x d x y 砂 f 以 对于同一个像素点 其亮度保持恒定 因此得到光流一致性假设 即公式2 一 1 e x d r y d y t a t e x y f 2 d 通过泰勒级数展开后化简得到光流约束方程 如公式2 2 e x u e y e 0 2 2 其中 e 罢 q 等 置 竽o t 睾d t v 宰d t 班咖 9 浙江理工大学硕士学位论文 对于光流的计算 由公式2 2 f i 以看到 光流约束方程中有两个未知数 因 此 只使用图像上一个点上的信息是无法确定光流的 光流是个整体的概念 因 而这种不确定问题被称为孔径问题 解决孔径问题关键是添加其他的约束方程 l u c a s k a n a d e l 3 2 方法为光流法提供了一个较强的约束 其内容是假设每一个像素 领域内的像素具有相对的速度 即在一个小空间领域q 内运动矢量保持不变 所 以有公式2 3 成立 e u 功 e 五y 甜 e y 五力 i e 2 2 3 对公式2 一 3 左右两边求偏导数并化简可得2 一 4 至 e teybeye 一 至 主e e j v jl b j z v e v e r 矽 v e e 2 4 2 5 对于公式2 5 我们将其转换为一个最小二乘问题 当 v e v e r 可逆时 就可以得到光流的值 如公式2 6 所示 0 v e v e 7 l 一v e e 2 6 我们使用文献 5 6 1 中提出的光流法对一段视频进行了实验 结果如图2 6 所示 从图中可以看到光流法计算量复杂 检测出的目标不完整并且容易受环境噪声的 影响 不利于视频后续目标分析 图2 6 文献旧1 光流法实验结果 1 0 浙江理工大学硕士学位论文 总而言之 光流法的优点是能够在摄像机运动的情况下检测出运动目标完整 的运动信息 而不需要知道监控环境的任何先验知识 并且对于处理背景运动和 遮挡问题比较有效 缺点是计算量大 过于耗时 无法满足实时性的要求 对噪 声敏感 抗噪性差 以至于其不能直接应用于智能视频监控系统 2 2 2 帧间差分法 帧问差分法是通过图像序列相邻两帧或者三帧之间采用基于像素的时间差 分获得图像目标运动区域的不变区域 在相邻两帧或三帧图像之间计算相应位置 像素的灰度差 通过设定阈值来确定当前像素为目标像素还是背景像素 从而得 到目标区域和背景区域 差分算法公式如下 这里是两帧的差分 l f 2 f f 一z f i 2 7 f i 0 采潞 2 删 其中z l 2 f 表示 f 点相邻时刻差分值 z f z f 分别表示f t 2 时刻 i 歹 点的像素值 f i 表示差分后的图像 若 f 处像素值为l 则表示 目标 反之表示背景 帧间差分法的实验结果如图2 7 所示 b 图2 7 帧同差分法 阂值t i o 帧间差分法的优点是计算量小 速度快 具有较好的实时性 缺点是容易受 到环境噪声的影响 阈值选择难以确定 无法完整的提取运动图像目标 如图 2 7 c d d 的行人目标区域出现大面积的空洞区域 这将不利于后期的图像处理工 作 浙江理工大学硕士学位论文 2 2 3 背景差分法 法 背景差分法是通过图像背景与当前图像帧差分比较得到运动目标区域的方 背景差分公式如2 9 所示 f i o i 盘蹴铡釜r 2 9 其中 f 表示差分后的图像 a i 表示背景图像 正 f 表示当前 帧图像 t 为阈值 若 f 处像素值为l 则表示目标 反之表示背景 背景差分实验结果如图2 8 所示 a b c 图2 8 背景差分法 阈值t 2 5 背景差分法对背景图像要求很高 主要优点是它的算法简单 计算量与帧间 差分和光流法相比更小 而且可以得到比较完整的运动目标 满足实时性要求 缺点是对背景图像依赖过多 容易受到环境变化的影响 如果背景发生变化 目 标结果就会发生变化 2 2 4 本文目标检测方法 本文结合传统的背景差分法 提出一种基于背景差分的彩色差分方法进行 目标检测 我们假设背景图像为b 当前帧图像为p f b b i b g f b f 分 别为背景图像对应点 f 处的像素在r g b 颜色空间的分量值 f b i 歹 f g i f j 分别为当前帧图像对应点 f 处的像素在r g b 颜色空间的分量值 差分 结果为f i 则彩色差分公式如下 誓 浙江理工大学硕士学位论文 f i 敦u m m a 缸x i f i 兀b i 吖j 一b b i j 1 i i l f 兵g i j 一b g i u j i i f 力r i f j 一b 毋r i j o j 正 i t i s a n o i s e p i x e l n 2 1 9 p 匹s u m l e l s ei ti san o r m a lp i x e l p i 正s u m 2 其中n 为噪声像素的数目 降噪滤波算法 公式如2 2 0 j 昕示 其中 彳v s 跏2 表示非噪声像素集的像 素值均值 a v s u m l s u m 2 表示9 x 9 窗体所有像素值的均值 1 5 浙江理工大学硕士学位论文 矿 4 只 a s u m 2 e l s e i f 4 n 8 r s 洲1 二s 洲2 2 一 2 0 e l s e e oi si nv a r i a b l e 我们分别在高斯噪声和椒盐噪声环境中 对比分析了传统均值滤波和中值滤 波 实验结果如图2 1 2 2 1 3 所示 c d 图2 1 2 椒盐噪声环境下的实验结果 a 椒盐噪声图像 q 盯 0 1 b 均值滤波结果 c 中值滤波结果 d 改进的均值滤 波结果 1 6 浙江理工大学硕士学位论文 a b c d 图2 1 3 高斯噪声环境下的实验结果 a 高斯白噪声图像 0 仃 8 0 b 均值滤波结果 c 中值滤波结果 d 改进的均值滤 波结果 对比不同参数下高斯和椒盐噪声滤波实验结果的信噪比分别如图2 1 4 所示 1234567891 0 椒盐量惭 a 4 5 3 0 萋为 笙 1 5 1 5 23455 7 8 91 0 椒盐量惭 c d 图2 1 4 不同条件下信噪比结果对比 1 7 一 p 山 浙江理工大学硕士学位论文 a 对椒盐噪声滤波的均方误差 b 对椒盐噪声滤波的峰值信噪比 c 对高斯噪声滤波的均方 误差 d 对高斯噪声滤波的峰值信噪比 对于滤波处理之后的图像 我们还可以运用形态学算子来去除目标图像区域 的空洞 但是由于形态学处理比较耗时 效果对于本文研究方法意义不大 因此 这里不在介绍 2 4 背景更新算法研究 2 4 1 传统背景模型 背景更新是视频检测必不可少的环节 良好的背景更新方法可以有效的去除 天气 光线等外界条件随时间变化对行人检测系统所造成的图像污染 从而保证 了行人计数的准确性和稳定性 目前传统的背景模型主要是基于高斯模型或混合高斯模型的背景建模和基 于块的背景建模两类方法 基于高斯模型的背景建模思想是 假设图像中每个像素的观测值与其他像素 值之间相互独立 则每个像素都可以看作是高斯分布在一段时间内叠加的结果 f i r e d m a n 与r u s s e l l 依据期望最大化 e m 思想首先提出了混合高斯建模方法 3 引 主要是利用高斯分布特性对交通监控区域中的目标像素进行建模 s t a u f f e r 等人 1 3 4 3 5 6 1 提出一种自适应混合高斯背景模型 对每一个像素利用混合高斯分布建 模 结合线性估计进行背景更新 这种方法有效的处理了光照变化等对背景的影 响 基于块的背景建模思想是 将每一帧图像分割成若干个块 利用每一个块的 特征构造背景模型 根据一定的判断法则 对需要更新的块进行更新 这种方法 与高斯模型相比计算量大大减少 而且极大程度的利用了像素在空间域中的分布 信息 但是 这种方法对于场景的局部变化不敏感 李庆武等 7 提出一种基于分 块分类的背景更新方法 根据初始化背景图像对当前帧进行差分运算 对得到的 差分图像进行分块处理 然后按照子块均值等特征将不同的子块分类为前景块和 背景块 最后根据一定的更新策略对背景块进行更新 这样避免了对所有像素进 1 8 浙江理工大学硕士学位论文 行更新判断 计算量大大减少 总而言之 高斯模型计算量过大 区域模型计算量小 但是容易造成区域背 景不精确 而且当监控区域中段时间内出现运动突变时 高斯模型和区域模型都 容易将突变误判为背景进行更新 这将不利于行人计数系统的处理 同时 结合 本系统实时性和精确性的要求 两者都不适宜于本系统 2 4 2 基于临时背景和永久背景的二级背景模型 课题组提 8 1 出了一种基于临时背景的二级背景更新模型 该方法将背景分为 临时背景和永久背景 临时背景用来对永久背景的更新进行缓冲 首先初始化永久背景 当前帧与其做背景差分 设定阈值判断目标与背景 对于差分结果图像中的背景部分构建临时背景模型 并计算临时背景模型与永久 背景之间的差值 随着时间的变化 差值不断积累 如果差值大于某个特定的阈 值 则更新永久背景 否则只更新临时背景 当监控区域内背景发生突变时 临时背景发生变化 临时背景与永久背景的 差值进行积累 但是永久背景没有发生变化 只有当突变存在的时间超过一定值 即差值积累超过了设定的阈值时 永久背景才会发生变化 这样就避免了永久背 景快速更新所造成的目标误判问题 同时 该方法只是进行图像帧之间的简单迭 代 复杂度远远小于高斯模型 二级背景更新算法内容如公式2 2 1 所示 j x y 口 x 力 1 一口 一 y 2 2 1 i 召0 墨力 x 曰未 x y 1 一夕1 b 品 x 其中 为临时背景 为永久背景 l y 为当前帧 口为迭代控制参 数 用于控制临时背景更新速度 一般取o 9 5 为永久背景更新速度的控制参 数 一般可取0 7 鉴于上述优点以及实时性的要求 本文采用这种基于临时背景的二级背景更 新模型作为背景维护方法 实验结果如图2 1 5 所示 1 9 浙江理工大学硕士学位论文 a cj d j 图2 1 5 二级背景更新模型实验结果 a 初始化永久背景 b 当前帧图像 c 临时背景 d 永久背景 该实验结果是对监控区域的一段监控视频图像序列进行检测的结果 图像序 列共3 0 0 帧 当监控区域中突然闪过一个人时 临时背景发生变化 但是永久背 景没有发生变化 从而有效的维护了原始背景 2 5 本章小结 本章针对行人计数系统框架进行了总体描述 并且介绍了三种摄像机设置环 境 通过对比分析 结合本文研究方法 选择了一种适宜本文研究的相机监控环 境 为本文后续处理作准备 针对目标检测及预处理 首先介绍了几种典型的目标检测算法 改进了背景 差分法 得到一种基于背景差分的彩色差分方法进行目标检测 然后使用改进的 均值滤波算法 对于提取的目标进行了滤波去噪处理 最后通过对传统背景模型 的分析介绍 选择了基于临时背景的二级背景模型作为本文计数系统的背景更新 算法 浙江理工大学硕士学位论文 第3 章单帧图像的人流计数算法研究 目前人流计数方法主要有 基于肤色模型的人头识别计数方澍 1 基于模 版和学习分类的头肩模型计数方法 l o l 基于区域估计算法的计数方法 2 8 2 9 和整体 分割计数法 7 4 1 等 其中基于区域估计算法的计数方法主要针对行人数量较大的情况 进行一定 误差范围内的估算 不适用于本文行人计数精确性的要求 现有的整体分割算法 对于多个行人重叠情况的分割问题 仍然难以解决 对于学习分类的方法 主要 是建立头肩模型等一系列固定模版 通过s v m 以及神经网络等对一些样本进行 学习 从而对行人进行检测 识别和判断 统计人数 由于行人行走过程中情况 多变 穿衣戴帽千差万别 样本中根本无法包括所有情况 因此这种方法的误差 也就在所难免 在本文所描述的监控环境中 由于行人大多数时间内呈现的是正面行走的图 像 通过对正面行人进行分割以及人头检测进行计数 相对比较容易 因此 在 这里本章主要分析目前较流行的基于肤色模型的人头识别计数算法和基于 h o u g h 变换的人头识别检测算法 并在次基础上详细介绍本文算法 3 1 基于肤色模型的人头计数算法 3 1 1 基于y c g c 颜色空间的人脸检测算法 文献 4 2 中提出了一种基于y c c 颜色空间的人脸检测算法 利用肤色特征是 人头部的一个重要特征 而不同人中的肤色变化在色调饱和度方面又主要表现为 色度的差异的特点 选择阳 c 颜色空间 对肤色建模 进行采样统计 从而得 出相应的肤色范围 准确检测人体肤色区域 同时结合人脸几何特征进行筛选 最后得到人头区域 其过程如下 l 比 c r 颜色空间与r g b 颜色空间的转换 公式如3 1 所示 2 1 浙江理工大学硕士学位论文 差 il蛔 去 一65 4ll尝8 1 8 5 1 1 2 三8 5 7 5 8 3 6 2二4i 9呈6茹6 耋 3 t e r e 0 8 3 3 其中e 为离心率 c 为焦距 a 为半径 死为阈值 实验结果如图3 2 所示 浙江理工大学硕士学位论文 b 图3 2 基于k c 颜色空间的人脸检测 a 肤色检测 b 人脸检测 对于戴帽及脸部遮挡情况下的人脸检测问题 实验结果如图3 3 所示 懑瀚髓曩豳圜圈一暖缀囫嘲圜圜曩凰圜 隰缀缀愿戮缀囊圜囊 磊蠢 浙江理工大学硕士学位论文 c 图3 3 戴帽及面部遮挡人脸检测结果 a 原始背景及目标图像 b 正常情况下的人脸检测 c 遮挡情况下的人脸检测 结果分析 基于r g c 颜色空间的人脸检测方法可以有效的检测肤色像素 在一定范围也可以正确检测人脸区域 但是当人脸发生遮挡时 如图3 3 c 中所 示 人脸几乎完全被帽子遮挡 此时将无法检测人脸区域 造成误判 3 1 2 基于x y z 与h s v 颜色空间的人头识别算法 文献 1 3 3 4 提出了一种基于h s v 和x y z 颜色空间的肤色和发色判断模型 并 建立特殊的高斯混合模型 通过e m 算法对目标像素进行判断和估计 以此来获 得图像中的人头图像区域 具体方法如下 i 发色和肤色采样 如图3 4 所示 酚 i 糕 攀 i 黧浯 蠹 i 缀囊 劬 b 图3 4 发色和肤色采样图 a 发色采样 b 肤色采样 2 构建高斯模型 对于发色和肤色采样像素 分别计算其在x y z 和h s v 颜色空间中各个分量 的均值和方差 并构建高斯混合模型 如公式3 4 所示 p xg 告p 型2 a z3 4 即i g 2 志p 3 其中g 表示像素所属类别 包括肤色和发色两类 是不同颜色空间中不同 分量的均值 盯是相对应分量的方差 x 为待判断值 浙江理工大学硕士学位论文 分别计算图像像素属于颜色空间x y z 和颜色空间h s v 的概率 从而得到混 合概率 公式如下 p 胍 xig p x xg 搴p x yg 木p x zg 3 5 p 珊y xig p x 日lg 木p x sig 卑p x 矿lg 3 6 名og w l p x r z xig w 2 p 昭矿 ig 3 一 7 其中公式3 5 与3 6 为x y z 和h s v 颜色空间中像素概率判断公式 3 7 为混合概率判断公式 权重w w 2 由经验确定 最后设定一个阈值 如果当前像素的混合概率密度大于吮 则属于相 应的肤色或发色 否则过滤 3 构建椭圆参数模型 过滤肤色区域 得到人头区域 实验结果如图3 5 所示 园图困 谴 b 图3 5 基于x y z 与h s v 颜色空间的人头检测 a 人脸肤色发色检测 b 人头检测 对于戴帽及脸部遮挡情况下的人脸检测问题 实验结果如图3 6 所示 浙江理工大学硕士学位论文 翻潮一 lj 图3 6 戴帽及面部遮挡人脸检测结果 a 原始背景及目标图像 b 正常情况下的人脸检测 c 遮挡情况下的人脸检测 结果分析 该方法效果略好 但是如果行人面部发生遮挡 或者戴帽情况发 生 如图3 6 c 中所示行人面部几乎完全被帽子遮挡 此时该方法无法检测人头 位置 造成误判 3 2 基于h o u g h 变换的人头识别 计数算法 h o u g h 变换是利用图像的全局特性将图像边缘像素连接起来组成区域封 闭边界的一种形状分析方法 h o u g h 变换检测人头模型主要是将人头顶部视角建 模为圆形 然后试图将人头图像的边缘信息映射到标准圆的参数空间 并用大多 数处于边界的边缘点所满足的圆形参数来描述头顶区域的边界 d u d a 等 2 8 首先提出了基于h o u g h 变换的圆形检测 过程如下 假设待测曲线方程如公式3 8 所示 2 6 浙江理工大学硕士学位论文 f x 口 03 8 其中x 是图像区域的边缘点x j c y 7 a 是参数空间中对应的点 对于圆 形而言 口 x y r e 7 设圆形的圆心为 x y 半径为 则圆形的参数方程如下 x x 2 y y 2 厂2 3 9 对于式3 8 3 一 9 我们可以得知 图像中每一个点都对应着圆参数方程空 间中的一个三维立体圆锥模型 即在图像中的任何一点均存在参数空间中的一个 三维锥面与之相