（计算机应用技术专业论文）面向智能视频监控的实时人脸检测算法研究.pdf

浙江大学硕士学位论文摘要 摘要 近年来，国内外社会和个人安全问题日渐突出，为了保障公共安全，防范恐 怖袭击，维护个人生命财产安全，各种安防产品逐渐成为各国政府、机构和个人 青睐的产品。视频监控系统作为其中的代表，得到了广泛的应用。据( 2 0 0 8 2 0 1 0 年中国视频监控市场深度调研与投资前景分析报告统计和分析，2 0 0 5 年全球网 络摄像终端市场规模为4 2 l 亿美元，从2 0 0 6 年开始到未来几年内，该市场年增 长率将达到7 0 。2 0 0 6 年1 月8 日，国务院发布的国家突发公共事件总体应急 预案进一步拉动了国内安防市场的持续增长，使之成为一个具有高增长性的市 场。 智能化是视频监控的必然趋势。在智能视频监控系统中，由于人脸包含了重 要的人类生物信息，能够辅助用户做事件推断和确认，具有极高的取证利用价值， 在智能视频监控系统中，必须解决对动态的人物进行人脸的抓拍，涉及到的主要 技术是图像和视频中的人脸检测。本文尝试探索这个领域，并介绍作者在面向智 能视频监控的人脸检测算法方面的研究工作。 研究中，必须解决的两大关键问题是：保证检测过程的实时性和降低检测过 程中的误检率。就这两大问题，本文提出一种新颖的人脸检测算法。与传统的方 法相比：首先，该方法关注于监控视频的r o i 区域，提出一种高效的前景提取算 法；同时，利用视频帧间的时空域特征，提出两种扫描模式；从而减少检测过程 中需要搜索的区域面积，提高算法实时性能。然后，利用肤色模型，对检测到的 人脸候选区域做校验，减少了误检率，使得监控系统的可靠性得到提高。 关键词：智能视频监控，a d a b o o s t ，人脸检测，背景模型，肤色模型，时空域特 征 浙江大学硕士学位论文 a b s t r a c t a b s t r a c t i nt h er e c e n ty e a r s ，t h ep u b l i ca n dp e r s o n a ls e c u r i t yi sb e c o m i n gap r o m i n e n t i s s u eo fm o d e ms o c i e t y w i t ht h ei n c r e a s eo ft e r r o r i s tt h r e a t sa n dh i g hl e v e lo f c r i m i n a l i t y , v i d e os u r v e i l l a n c e ，a sap o p u l a rs e c u r i t yt o o lw h i c he l e v a t e st h ep u b l i c s e c u r i t yl e v e li ns o m ee x t e n d ，i sb e c o m i n gu b i q u i t o u s t r a d i t i o n a lv i d e os u r v e i l l a n c es y s t e mo n l yh a sl i m i t e de f f e c to nc r i m e ，f o rt h e r e c o r d e dv i d e od a t ag e n e r a l l yi su s e da f t e rt h ep a r o x y s m a le v e n t s o p p o s i t e l y , t h e s m a r ti n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e ma t t e m p t st od e t e c t ，r e c o g n i z ea n dt r a c k c e r t a i nm o v i n go b j e c t sf r o ms e q u e n c e s ，t ou n d e r s t a n do b j e c tb e h a v i o r s ，a n dp r e d i c tt h e a c t i v i t i e so ft h eo b j e c t s u n d e rs o m es i t u a t i o n ，h u m a nf a c ei so fg r e a ti m p o r t a n c ei n s u r v e i l l a n c es y s t e m i nt h i sp a p e r , an o v e lm e t h o do ff a c ed e t e c t i o nf o rv i d e os u r v e i l l a n c eb a s e do nt h e a d a b o o s ta p p r o a c hi sp r o p o s e d c o m p a r ew i t ht r a d i t i o n a lf a c ed e t e c t i o nm e t h o d s ，o u r m e t h o dm a k e su s eo fab a c k g r o u n dm o d e la n ds p a t i a l t e m p o r a li n f o r m a t i o ni nv i d e o a n da c h i e v e sb e t t e rr e a l t i m ep e r f o r m a n c e f u r t h e r m o r e ，w ea c h i e v el o w e rf a l s e d e t e c t i o nr a t eb yaf a s ta n du n i v e r s a ls k i nc o l o u rm o d e l k e y w o r d s ： s m a r tv i d e os u r v e i l l a n c e ，a d a b o o s t ，f a c ed e t e c t i o n ，b a c k g r o u n dm o d e l ，s k i nc o l o u r m o d e l ，s p a t i a l t e m p o r a l 浙江大学硕上学位论文图目录 图目录 图1 1 视频监控应用场景1 图1 2 章节结构图4 图2 1 传统的i p 数字视频监控系统7 图2 2 基本的智能视频监控系统结构图9 图2 3 通用智能模块系统架构9 图2 4 矩形特征在人脸图像上的特征匹配1 4 图2 5 简单的矩形特征1 5 图2 6 区域d 的像素和可以用积分图计算1 6 图2 7 图像子窗口人脸检测流程1 7 图3 1 背景模型更新过程2 3 图3 2 图像中y u v 在8 x 8 块中的分布( 2 0 帧) 2 4 图3 3 实验结果对比2 7 图4 1 检测一组相同分辨率图像的执行时间3 0 图4 2 测试数据集中第3 9 、4 0 8 和4 5 9 张图片3 0 图4 3 检测一组不同分辨率图像的执行时间3 1 图4 4a d a b o o s t 中采用的几种矩形特征模板一3 2 图4 5v i o l a 和j o n e s 设计的分类器性能3 3 图4 6 算法框架3 4 图4 7 前景提取的时间开销3 5 图4 8 运动位置变化3 6 图4 9 前景比例变化3 7 图4 1 0 肤色模型实验结果( 明亮的自然光照，a x i s2 1 5 网络摄像机) 4 1 图4 1 1 全帧做肤色检测的时间丌销4 1 图4 1 2c i f 分辨率两种算法执行时间对比( 一个人脸) 4 2 图4 13c i f 分辨率两种算法执行时问对比( 两个人脸) 4 3 图4 1 44 c i f 分辨率两种算法执行时间对比( 一个人脸) 4 3 图4 1 54 c i f 分辨率两种算法执行时间对比( 两个人脸) 4 4 图4 1 6 人脸检测结果( 单人，有肤色校验) 4 5 图4 1 7 人脸检测结果( 单人，无肤色校验) 4 5 图4 1 8 人脸检测结果( 多人，有肤色校验) 4 6 图4 1 9 人脸检测结果( 多人，无肤色校验) 4 6 图5 1 系统框架4 8 图5 2 智能人脸监控系统系统模块图4 9 图5 3 智能人脸监控系统界面图5 1 图5 4 人脸检测效果截图( 一个人脸) 5 1 图5 5 人脸检测效果截图( 两个人脸) 5 2 1 1 1 浙江大学硕： ：学位论文 表目录 表目录 表2 1 常见人脸图像数据库1 8 表2 2 常见的测试数据集1 9 表3 1 内存使用对比2 8 表4 1 误检率比较4 4 i v 浙江大学研究生学位论文独创性声明 本天声褥辫量交懿学链论变蔗本人穗譬师指导下避稽豹磷究王髂及取褥艘 磷究成巢。除了文孛特鬻勰黻椽注鞫散落豹迪方努，论文皆不毽禽其穗大恩爱发 表蠛撰髯过瓣骈究成果，雹不包窘必获褥蠹鋈基鐾或其镪教育巍扮嚣学穰我 证书黼搜阕过的材料。与我一丽工作的网恚对本研究所徽熬锤俺荧献均g 燕论文 串襻了嗍确的说明并表示谢意。 攀链黻箨者签名；蒿磷 签字蹶 驷寒攀毒嚣母毽 学位论文版权使用授权书 零学谴论文撵_ 者完全y 鳃激鎏盘堂有权像留并内西家霄芙部门缆瓯祷 送交零论文黔餐露静帮磁盘，霓许论文被蠢瓣帮氆阕。本入授粳滋鎏盎茎可 以将学饿论文的全部鼓部分内容编入霄关数据库进行检索和传播，可以采蹋影 露、缩印或捆攒等复制手段保存、汇编学蹙论文。 攥密麓攀穰论文在解密蓐逶震零授权书) 荨舞签袭； 签字西辫： 年月嚣 浙江大学硕士学位论文第l 章绪论 1 1 课题背景 第1 章绪论 近年来，国内外社会和个人安全问题日渐突出，随之催生了一个飞速发展的 安防产品市场。其中，视频监控技术以其直观便捷的特点，成为目前应用最为广 泛的安防技术之一。 图1 1 是几种典型的视频监控系统应用场景： 图1 1 视频监控应用场景 从出现至今，视频监控历经了三个发展阶段：在二十世纪九十年代初以前， 第一代视频监视系统是以视频录像机v c r 为代表、以模拟设备为主的模拟系统； 九十年代中期，随着计算机处理能力的提高和视频技术的发展，人们开始利用计 算机的高速处理能力对监控场合进行视频的采集和处理，从而得到清晰度比较好 的监控视频。第二代视频监视系统是以数字视频录像机d v r n v r 为代表的数字 系统，可以对视频进行数字化存储，并大大提高了图像质量；近年来，随着网络 技术发展和网络带宽的提高，视频监控逐渐进入全数字化的网络时代。第三代系 统是目前蓬勃发展的网络化视频监控系统，又称为i p 监控系统，可以实现互联网 远程监控。但是，这三代视频监控系统都依赖于人脑对图像的理解，随着监控范 围的不断扩大，必须配备更多经过训练的监控人员，从而极大地增加了系统的运 营成本；而且，监控人员本身也存在生理局限，导致视频监控系统均或多或少存 浙江大学硕士学位论文第l 章绪论 在报警精确度差、误报和漏报现象多、报警响应时间长、录像数据分析困难等缺 陷。使得整个视频监控系统有效性、可信性和扩展性的降低，很难满足用户日益 增长的需求。 为了满足这些需求，智能视频监控技术已经成为视频监控的重要方向之一。 智能视频监控技术是建立在传统视频监控技术基础之上，结合计算机视觉和模式 识别等人工智能前沿理论，在没有人工干预的情况下自动地从非结构化的视频中 提炼出结构化信息，并把对信息的表达从图像层次提升到语义层次，从而能够支 持多种高度自动化视频监控应用的综合性先进技术。智能视频监控技术借助计算 机强大的数据处理能力，对监控视频画面中的海量数据做高速分析，过滤用户不 关心的信息，为监控人员提供简洁、有用的关键信息。 仿生学的研究发现，人脸识别是人类视觉系统的基本功能，也是人类互相辨 别的最直接手段。人类脸部信息包含了人类彼此区分的最重要的生物特征。因而， 在智能视频监控系统中，人类脸部信息具有极高的事后取证利用价值。利用脸部 生物特征对被监控对象来说不具有侵犯性，不会造成使用者的任何心理障碍，因 而，在智能视频监控领域有着重要的应用价值。 1 2 研究意义与目的 上文简单的回顾了视频监控系统的发展历程，并简要的介绍了智能视频监控 的出现和人脸信息在智能视频监控中的作用。从分析来看，对监控视频进行快速 查询是帮助监控人员完成事后取证等工作所必需的重要功能。而传统的视频监控 系统中，只能通过快进或提取关键帧等方法对视频进行线性浏览，需要耗费相当 多的时间和精力，而且容易遗漏重要信息，很难大规模使用。随着网络带宽、芯 片处理能力和计算资源的迅速提升，视频监控的智能化趋势将越发明显。智能视 频监控除了具备广为人知的网络视频监控的优势外，还能为用户和社会带来更大 收益，为整个安防产业的发展提供了更加广阔的空间。 正是在这种环境下，通过研究现有的智能视频监控系统的特点和人脸检测算 法的优缺点，提出一种面向智能视频监控应用的实时人脸检测算法，并对算法进 2 浙江大学硕士学位论文第1 章绪论 行了有效的实验验证。 在算法的实现中，充分利用了现有智能视频监控的特性及监控视频中的时空 域特征，并利用人体肤色特征，有效的提升了算法实时性能和准确性。 1 3 我的工作 本文提出了一种以正面人脸图像为关键信息的智能监控系统。系统研究了前 景提取技术和人脸检测算法，并对算法进行了有效的改进和实验。 1 采用开源视觉库o p e n c v 提供的基于a d a b o o s t 的h a a r - l i k e 特征检测算 法为基础，研究了该算法的性能瓶颈，并分析了误检产生的原因。 2 提出了一种基于块的背景建模算法，利用该算法提取监控视频中的前景， 并在前景区域中进行人脸检测，有效的减小了检测区域，提高了系统的 实时性。 3 利用视频的时域特征，提出两种扫描模式，其中，跟踪模式先预测人脸 可能出现的区域，在下一帧中，只需要搜索预测区域；只有在跟踪失败 的情况下才需要检索整个前景区域( 我们称之为审查模式) ，从而进一步 提高算法的实时性能。 4 利用肤色检验算法消除了算法检测过程中检测到的“假脸”，降低了算 法的误检率，提高了算法的可靠性。 5 实现了一个原型系统并对相关的模块进行了充分测试。 1 4 论文组织 本文重点研究了前景提取和人脸检测算法，我们的目标是尝试构建一个以正 面人脸图像为关键信息的智能视频监控系统，在监控视频中获取人脸快照，并以 此为依据，将录制的视频片段有序的组织起来，供监控人员事后浏览与取证。 第l 章介绍了课题背景和研究的意义与目的，并提出本文的工作。 第2 章简要介绍了智能监控系统的发展现状和相关技术，并详细阐述了前景 提取技术和人脸检测技术的研究现状和发展趋势。 3 浙江大学硕士学位论文第l 章绪论 第3 章将介绍作者在提取监控视频前景方面的研究工作，这里，本文提出了 一种基于块的背景模型并对其性能做了分析和比较。 第4 章将介绍作者在人脸检测方面的研究工作，这里，本文对基于a d a b o o s t 的h a a r - l i k e 特征检测算法做了一系列的优化和改进。 第5 章将在上文的基础上实现一个原型系统，并对系统的各个模块进行详细 的介绍。 第6 章将总结本文所做的工作，并对接下来的研究方向作出展望。 本文的章节结构图如图1 2 所示 图1 2 章节结构图 4 浙江大学硕士学位论文第1 章绪论 1 5 相关研究工作 智能视频监控技术广泛的应用前景和潜在的经济价值已经引起了国内外许 多计算机科学家、研究机构和企业的浓厚兴趣。在欧美等经济发达地区，研究者 已经做了大量的工作并取得了很多成果【1 ，2 1 ，一些重要的学术期刊和学术会议已经 将智能视频监控作为主题内容之一。同时，也有不少原型系统被研制出来。 上世纪九十年代末，美国国防部高级研究项目署资助卡内基梅隆、麻省理工 学院、戴维s a r n o f f 研究中心等高校和科研机构，设立了视觉重大监控项目 v s a m 3 1 ，主要研究战场和普通民用监控场景中人力监控费用昂贵、非常危险或 者人力无法实现的场合的智能监控。 由欧盟出资，欧洲多个国家的高校和企业共同参与研制的a d v i s o r 4 】系统， 主要用于机场、地铁站等公共场合的安全监控；在2 0 0 4 年，由欧盟出资启动了 机场智能监控项目a v i t r a c k l 5 1 ，该项目由英国雷丁大学、法国i n r i a 等研究机 构联合实施，主要对机场停机坪场景进行目标跟踪和异常行为检测与报警，为9 1 1 事件后机场保安这一重大安全课题提供了智能化的系统解决方案。 与国外相比，国内的智能视频市场还有较大差距，目前基本上还处于起步阶 段，一般在监控系统中提到的“智能视频监控一实际上还停留在普通的网络视频 监控( i p 监控、数字化监控) 的概念上。虽然智能视频监控的应用发展已初见端倪， 但其还有许多关键技术与共性问题有待研究和突破：中国科学院自动化研究所模 式识别重点实验室视觉监控研究组对于交通场景的视觉监控、人的运动视觉监控 和行为模式识别进行了深入研究，取得了一定的成果睁引。 5 浙江大学硕士学位论文第2 章相关技术综述 第2 章相关技术综述 智能视频监控系统涉及到数据处理与分析技术的方方面面，比如：运动物体 检测、物体分类、物体识别、跟踪等。这些技术综合应用了计算机视觉、模式识 别和人工智能等前沿学科的研究成果。本章将介绍智能监控系统的相关概念和技 术，并详细阐述前景提取技术和人脸检测技术的研究现状和发展趋势。 2 1 智能视频监控系统发展和现状 2 1 1 智能视频监控系统相关概念 视频监控系统从上世纪九十年代开始发展至今，从智能化程度上来划分，大 致可以划分为三个时期：早期完全由操作员控制的视频监控系统、拥有运动检测 等模块的基本自动化视频监控系统以及现在的智能视频监控系统。 智能视频监控系统在不需要人为干预下，实时的监控真实场景，获取视频序 列，利用计算机强大的数据处理能力，自动的分析场景中目标的运动、位置等信 息，并在此基础上智能的判定目标的行为，产生简洁有效的监控信息，供监控人 员做决策。其主要目标是对监控视频序列中的目标做实时的检测、分类、跟踪和 定位，并分析目标的行为。 2 1 2 智能视频监控系统的优势 近年来，随着恐怖主义威胁的加剧( 特别是9 1 1 事件以后) ，人类对于自身安 全和公共安全意识得到显著的提高。作为一种有用的安防产品，视频监控系统得 到很广泛的应用。在机场，银行，公共交通，繁忙的市中心，甚至一些私人的住 所，各种视频监控产品得到应用。而随着电子技术和计算机网络技术的发展，视 频监控系统已由传统的模拟方式进入了数字式的网络时代。 图2 1 是一个普通的基于i p 的数字视频监控系统的结构示意图： 6 浙江人学硕t 学位论文第2 章相关技术综述 网络摄像机 以太网络 视频峪控控制室 图2 1 传统的l p 数字视频监控系统 系统由三部分组成：视频捕获模块，网络传输模块和视频监控控制室。视频 捕获模块通常有数台网络摄像机组成，其中，部分网络摄像机支持w i f i 或者类 似的无线连接，便于对一些不方便网络布线的位置进行监控，也有利于对监控地 点的重新布置。该模块捕获监控位置视频并以特定的视频压缩协议( m j p e g ， m p e g 4 等) 压缩原始数据。压缩视频流通过以太网传输，供监控人员在控制室或 其它地点观看( 通过有线网络或者无线网络) 。安装在在控制室的电视墙可以同时 显示多路监控视频，同时，监控视频数据被储存在文件服务器中，供监控人员实 时监控或事后检索和回放。视频监控人员在控制室中监控视频，一旦发现异常行 为，及时做出反应。 普通的i p 数字视频监控系统支持捕获、储存和发布监控位置的视频，而将分 析和发现异常时间的工作留给监控人员。监控人员不问断的分析监视场景内的活 动，日夜值班，工作量异常繁重。同时，监视视频要求的注意力集中程度远超日 常工作。有研究指出：由于视频监控中异常事件发生频率比较低，监控人员很容 浙江大学硕士学位论文第2 章相关技术综述 易出现注意力不集中的状况，从而造成无法及时发现和排除异常行为。美国国家 司法研究院( u sn a t i o n a li n s t i t u t eo fj u s t i c e ) 对于监控人员监控视频的效率曾有过 以下结论【9 】：研究表明，在监控视频中发现事件的这类工作中，即使工作人员具 有高度的奉献精神和很好的目的性，也无法支撑一个有效的安全系统。在监视和 分析画面2 0 分钟后，绝大部分人的注意力将下降到一个不可接受的低水平。监 视视频画面是一个难以忍受的枯燥和让人困乏的工作。在这个过程中，没有任何 类似于看电视节目时那种脑力上的激励和刺激。 不同与普通的i p 数字视频监控系统，今天大多数智能视频监控系统具有一系 列无与伦比的优势【l 们，它们包括：实时的时间报警，自动的视频检索，智能的视 频语义理解。 2 1 3 智能视频监控系统的典型架构 与普通的i p 数字视频监控系统相比，大部分智能视频监控系统都运用了计算 机视觉和人工智能的前沿研究成果，这些技术包括：通过背景建模或帧差法提取 视频前景；帧间物体跟踪；通过形状、尺寸、颜色或其它特征对物体分类和识别、 对场景中个体行为的理解。对监控视频综合运用这些技术，系统能够智能的分析 和理解视频画面中包含的语义信息，实时发现异常事件，自动的建立视频索引。 图2 2 展示了一个基本的智能视频监控系统结构，与图2 1 相比，系统增加 了一个智能处理模块：包括智能监控服务器和视频索引服务器。智能监控服务器 用于处理前端网络摄像机采集的监控视频，生成一些结构化的信息，并检测异常 事件。视频索引服务器用于存储相关视频索引信息，供管理人员查询取证。认证 用户可以在任何地方接入网络，查看原始监控视频、智能化处理后的结构化信息， 接收到异常事件通知，或查询视频索引信息。 8 浙江大学硕 ：学位论文第2 章相关技术综述 ，”一。 图2 2 基本的智能视频监控系统结构图 一一、 图2 3 通用智能模块系统架构 9 塑垩奎兰堡主兰竺堡奎蔓! 皇塑茎垫查堡堕 在【i 】中，作者对现有的部分智能视频监控系统进行了分析和分类，并介绍了 一种通用的通用智能模块系统架构，如图2 3 所示。 智能视频监控系统被划分为任务无关过程和任务相关过程，其中，任务无关 过程处于底层，包括变化检测，区域定位和区域跟踪模块。该过程从视频数据中 萃取相关特征，是每个智能视频监控系统都必备的组件。任务相关过程依赖于不 同的智能视频监控系统，不同的系统将视频特征与不同的事件分类建立映射关系。 在视频的智能化处理和分析过程中，首先由变化检测模块检测提取视频前景， 该模块一般采用背景建模或帧差法；区域定位模块将监控视频中的2 d 画面映射 为相应的3 d 世界坐标；区域跟踪模块在连续帧的像素块间建立联系。在后续处 理中，监控视频中的物体依照语义被分为不同的类：人，车辆及其它。同时，不 同的物体可以被智能的检测，识别和跟踪( 如人脸检测，人脸识别等) 。 2 2 前景提取技术综述 前景提取就是模仿人类视觉，将离散的数字化像素区分为前景和背景的过程。 在实际应用场景中，前景和背景通常在颜色上有所区别，在运动轨迹上不完全一 致，为前景提取算法提供了线索。在过去的2 0 年间，陆续出现了一些比较有效 的前景提取算法，根据其利用线索的权重不同，大致可以分为时间、空间、时空 三类算法。 时间算法主要利用视频相邻帧之间的变化来提取运动物体。在【l l 】中提出了基 于变化检测掩模( c h a n g ed e t e c t i o nm a s k ) 的前景提取算法，对相邻帧的绝对差进行 阈值划分，然后利用运动信息计算出背景，从而获得运动物体的二值模型。上述 算法不要求理解背景，而背景剪除法( b a c k g r o u n ds u b t r a c t i o n ) 贝i j 需要对背景进行学 习。在【1 2 】中使用高斯混合模型对背景进行建模，突破了传统静态背景的限制，可 以实现对光照变化和微小变动的自适应。【”，1 4 l 发展了这种多模式背景模型的思想， 采用了非参数化的模型，解决了高斯混合模型对于过慢和过快变化的学习缺陷。 为了降低背景学习的复杂度，【l5 】采用了密码本的模型，有效地降低了时空复杂度。 空间算法是对传统图像分割技术的延伸。与时间算法不同，空间算法的线索 l o 浙江大学硕士学位论文第2 章相关技术综述 主要来自于图像中亮度和颜色的变化，主要采用边缘检测、轮廓检测等技术提取 前景。【1 6 l 采用了分水岭算法将图像分割为小块，然后利用小块的运动一致性对区 域进行融合。该算法的优点为产生的区域划分比较细致，基本包括了物体边缘点， 产生的轮廓比一般边缘检测算法真实。采用轮廓检测的算法如【l7 】，轮廓收缩速度 较慢，对阴影的检测比较困难。 时空算法结合了时间和空间信息，广泛采用边缘检测、相邻帧绝对差、背景 模型等信息综合设计。i l 捌采用了c a n n y 边缘检测算法获取场景边缘，利用帧差确 定前景边缘，然后利用h a u s d o r f f 物体跟踪算法去除微小变动。1 1 9 l 提出了一个实 时的时空算法，采用帧差和边缘检测对前景对象的边缘进行建模，根据前后帧的 连续性计算静态边缘和动态边缘，在前景边缘基础上利用交叉扫描法提取前景二 值模型。该算法速度较快，但是对于前景背景颜色相似的情况处理较弱。 近年来，随着机器学习等相关技术的发展，一些新的前景提取方法逐渐发展 起来。1 2 0 】采用粒子滤波器结合k a r m a n 滤波器进行轮廓检测，适合物体遮挡情况 下的前景提取。1 2 l 】采用了细胞神经网络算法进行轮廓检测，在满足实时性的前提 下，比传统神经网络算法在精确度上有所提升。 2 2 1 将象素空间位置、颜色、运动 矢量等信息综合建模，利用b a y e s 方法进行机器学习，也取得了不错的效果。但 这些算法复杂度相对较高，而且也没有重点考虑与分析实时监控中的视频特性。 2 3 人脸检测技术综述 在过去的几十年里，人脸及表情的分析与处理一直是研究人员努力钻研的热 点课题。人脸处理包括：人脸检测，人脸识别，人脸跟踪，姿态估计和表情识别。 其中，人脸检测是一切人脸处理系统的首要和关键的步骤。人脸检测是指：给定 任意图像，由计算机算法来确定其中是否存在人脸及所有人脸( 如果存在) 的位置， 大小和姿态。从任意图像中检测人脸是一项非常困难的工作，很多因素都对检测 结果产生影响：如人脸姿态变化，部分人脸特征的缺失( e h 于遮挡) ，脸部表情变 化，光照变化等。通常，人脸检测方法被分为4 种【2 3 】：基于知识的方法，特征不 变量方法，模板匹配的方法，基于表象的方法。 浙江大学硕士学位论文第2 章相关技术综述 2 3 1 基于知识的方法 这类方法将人脸检测问题看作基于规则的判断问题。规则来源于研究人员对 于人脸的先验知识，通常是人脸特征及其它们之间的相互关系( 位置，距离等) ， 如：人脸通常具有左右对称的两只眼睛等。在检测过程中，输入图像的脸部特征 首先被提取出来，包含这些特征的区域成为可能的人脸区域，然后依据更严格细 致的规则对这些人脸候选区域做筛选。 这类方法最大的缺点是：人脸知识很难被明确的定义为规则。如果规则过于 严厉，输入图像很难通过所有的规则。如果规则过于松散，会出现很多误检。 这类研究工作包括【2 4 , 2 5 】等。 2 3 2 特征不变量的方法 这类方法致力于寻找一些人脸特有的结构化特征，这些特征通常不随外部条 件的变化而改变。与基于知识的方法相比，这类方法先检测人脸的面部特征，然 后推断人脸是否存在。这类方法基于以下事实：即使在不同的光照条件和不同的 姿态下，人类仍然可以轻易的区分不同的人脸，因此，人的面部特征中必然存在 某种不变量。 这类方法的不足之处在于：由于光照变化、噪声影响和遮挡的缘故，图像特 征可能被严重的破坏。如：人脸的某些特征边界可能被弱化，而阴影也会影响某 些特征( 边缘轮廓等) 的确定，从而使得一些算法难以应用。 在研究过程中，用来区分人脸的特征不变量通常是人脸面部特征【2 6 。2 引，纹理 特征1 2 9 。1 1 和肤色特征。 2 3 2 1 基于肤色的特征不变量方法 肤色是人脸的重要信息，它不依赖于人脸的面部细节，对于旋转、表情等变 化都有很好的适用性。因此，肤色特征成为人脸检测的许多应用中最常用的特征 之一。 研究发现，尽管不同的人具有不同的面部皮肤颜色，但主要的不同之处在于 它们的亮度空问而不是色度空间。肤色模型的建立与颜色空间的选择有很大关系， 1 2 浙江大学硕上学位论文第2 章相关技术综述 至今为止，已有多种颜色空间被用于标注皮肤颜色：r g b ，规格化的r g b ，h s v ， y c r c b 等。这类研究工作包括1 3 2 训。 【3 5 】中介绍了一种简单的利用c r ，c b 值定义肤色像素区域的方法：给定任意 m n 图像，p ( x ，y ) 表示坐标( x ，y ) 处像素，其中0 x 篮a ” i i r g i 1 5 l r b 在黯淡的光照条件下，其皮肤颜色分布被定义为： ，r 2 2 0 l g 2 1 0 i b 1 7 0 1i r g i 1 5 l r b g b 公式( 4 1 0 ) 图4 1 0 展示了该模型用于肤色检测的效果。图4 1 1 展示了对全帧做肤色检 浙江大学硕上学位论文第4 章改进的a d a b o o s t 人脸检测算法 测的时间开销。实验表明，该模型具有良好的效果和时间性能，能够用于肤色校 图4 1 0 肤色模型实验结果( 明亮的自然光照，a x i s2 15 网络摄像机) 图4 1 1 全帧做肤色检测的时间开销 4 l 浙江大学硕士学位论文第4 章改进的a d a b o o s t 人脸检测算法 4 3 改进的a d a b o o s t 人脸检测算法性能实验 为评估改进的a d a b o o s t 人脸检测算法的性能，在本文中使用c + + 语言在 m i c r o s o f tv i s u a lc + + 2 0 0 5 平台上实现了该算法。并在配备了i n t e l c o r e m 2 鳗q q ! ：墨鱼鱼丝c p u 和1 g bd d r i i6 6 7 内存的p c 平台上测试了其性能( 算法没有 采用多线程，因此只使用了1 个c p u 核心) 。 4 3 1 时间性能测试4 本节测试了算法时间性能。 第一组实验中，我们使用c i f 分辨率的视频序列。分别使用本文提出的检测 算法和a d a b o o s t 检测算法对视频中的人脸做检测，两者耗费的时间如图4 1 2 ， 图4 1 3 所示： 图4 1 2c i f 分辨率两种算法执行时间对比( 一个人脸) 4 该测试中只记录了算法执行时间，而忽略了显示，存储等时间 4 2 浙江大学硕士学位论文 第4 章改进的a d a b o o s t 人脸检测算法 图4 1 3c i f 分辨率两种算法执行时间对比( 两个人脸) 第二组实验中，我们使用4 c i f 分辨率的视频序列。分别使用本文提出的检 测算法和a d a b o o s t 检测算法对视频中的人脸做检测，两者耗费的时间如图4 1 4 ， 图4 1 5 所示： 图4 1 44 c i f 分辨率两种算法执行时间对比( 一个人脸) 4 3 浙江大学硕? l ：学位论文第4 章改进的a d a b o o s t 人脸检测算法 图4 154 c i f 分辨率两种算法执行时间对比( 两个人脸) 4 3 2 准确性测试 本节测试了算法的准确性。 第一组实验使用几组没有人脸出现的监控视频片段，分别使用本文提出的检 测算法和a d a b o o s t 检测算法对视频中的人脸做检测。表4 1 展示了误检率比较 的结果。 表4 1 误检率比较 a d a b o o s t 方法本文方法 序列1 8 9 o 1 序列2 9 5 0 2 序列3 1 0 1 o 1 序列4 1 1 o o 2 第二组实验，使用几组人脸检测实验图片，分别使用本文提出的检测算法和 a d a b o o s t 检测算法对视频中的人脸做检测。图4 1 6 、图4 1 7 、图4 1 8 、图4 1 9 展示了两者的检测结果： 浙江大学硕士学位论文第4 章改进的a d a b o o s t 人脸检测算法 图4 1 6 人脸检测结果( 单人，有肤色校验) 图4 17 人脸检测结果( 单人，无肤色校验) 4 5 浙江人学硕： = 学位论文笫4 章改进的a d a b o o s t 人脸榆测算法 图4 1 8 人脸检测结果( 多人，有肤色校验) 图4 1 9 人脸检测结果( 多人，无肤色校验) 浙江大学硕七学位论文第4 章改进的a d a b o o s t 人脸检测算法 两组实验结果表明：由于本文提出的算法将人脸检测器运用于感兴趣的区域 ( 前景) ，大部分有可能产生误检的区域被当作背景排除，同时，检测结果经过肤 色模型校验，使得检测结果更准确，系统产生更少的误检误报。 4 4 本章小结 本章提出了一种新颖的实时人脸检测算法。该算法能提供更好的实时性能， 并达到更低的误检率。该算法利用前景提取技术和监控视频中的时空域特征，减 少检测过程中需要搜索的区域，避免了传统的a d a b o o s t 算法搜索全帧的缺陷， 使得计算复杂性大大降低。同时，利用一个简单快速的r g b 颜色空间肤色模型， 对检测结果做校验，大大提高了准确性。 最后，本章设计了几组实验，实验结果很好的支持了该算法的有效性。 4 7 浙江大学硕士学位论文 第5 章原型系统的设计与实现 第5 章原型系统的设计与实现 图像、视频是对客观事物形象生动的描述，是人类最重要的信息载体之一。 近年来，恐怖主义袭击和暴力事件层出不穷，为了保障社会稳定，维持良好的社 会秩序，视频监控以其直观方便和内容丰富等特点受到人们的青睐。 回顾视频监控产品2 0 多年的发展历程，它经历了第一代的模拟系统，第二代 部分数字化的系统，到第三代完全数字化的系统三个阶段的发展和演变。其标志 性技术是物理存储介质和信息传输模式的进步。而在今天，随着网络带宽、芯片 处理能力和计算资源的迅速提升，视频监控的智能化程度越来越高，智能化是视 频监控的必然趋势。智能视频监控系统能够在复杂和动态的场景中检测，识别和 跟踪运动物体，通过智能化的分析，理解并预测物体行为，产生描述物体行为的 结构化语义信息。这些信息能够帮助用户决策和预警，为用户和社会带来更大的 收益。 本章将介绍一个完整的智能视频监控原型系统，并简要描述其各个模块的设 计与实现。 5 1 智能人脸监控系统简介 智能视频监控系统的处理框架可以分为预处理模块、智能处理和用户接e l - - 个部分。如图5 1 所示： 图5 1 系统框架 系统的模块结构图如图5 2 所示： 浙江大学硕士学位论文第5 章原型系统的设计与实现 图5 2 智能人脸监控系统系统模块图 从处理流程上划分，系统分为预处理，智能处理和用户接口三个阶段。预处 理阶段包含背景建模、前景提取和异常检测等模块；智能处理阶段包含人脸检测、 人脸跟踪、肤色校验和智能分析等模块；用户接口阶段包含事件通知、视频分发 和查询取证等模块。 4 9 浙江大学硕士学位论文第5 章原型系统的设计与实现 各个模块的功能描述如下： 背景建模模块 该模块描述一个基于颜色统计的背景模型，通过统计各种颜色在像素块 出现的频率，学习并更新背景模型。 前景提取模块 该模块通过上文描述的背景模型，提取视频中的前景物体或像素块，供 进一步处理。 异常检测模块 该模块分析前景区域，检测一些异常情况，如：发现新对象的进入或离 开等。 人脸检测模块 该模块给定图像帧中检测人脸的位置、尺寸等。 人脸跟踪模块 该模块利用视频图像帧间的时间相关性和各帧中人脸在空间上的连贯性， 跟踪图像帧中人脸的位置、尺寸等。 肤色校验模块 该模块建立一个肤色模型，并对指定图像检验肤色区域所占比例。 智能分析模块 该模块利用以上几个模块收集到的信息，智能的判断当前监控视频中事 件，并执行相应操作。如：当检测到人脸时，该模块开始抓拍人脸快照， 并录制视频片段，直到人脸从监控画面中消失。 事件通知模块 该模块向用户传递监控视频中的异常事件，如：发现人脸等。 视频分发模块 该模块向用户分发经处理后的监控视频。 查询取证模块 该模块提供用户查询取证的接口，如：查询某时间段内出现的人脸。 浙江人学坝i j 学位论文 第5 章原型系统的设计j 实现 5 2 人脸检测技术在视频监控系统中的应用 图5 3 智能人脸监控系统界面图 图5 4 人脸检测效果截图( 一个人脸) 5 1 浙江大学硕士学位论文第5 章原型系统的设计与实现 图5 5 人脸检测效果截图( 两个人脸) 5 3 本章小结 本章搭建了一个智能视频监控系统，并在其上使用了本文提出的改进的 a d a b o o s t 人脸检测算法，从而客观地衡量了该方法的效果。 浙江大学硕士学位论文第6 章总结与展望 6 1 总结 第6 章总结与展望 本文提出一种新颖的背景模型和前景提取算法。该方法的主要优点是： 1 具有更快的学习速度。 2 能获取更好的物体检测效果和更清晰的边缘。 在该方法的基础上，本文改进了基于h a a r - l i k e 特征的a d a b o o s t 人脸检测算 法，提出一种新颖的面向智能视频监控的实时人脸检测算法。该算法的主要优点 是： 1 利用上述背景模型和前景提取算法，极大的减少了人脸检测过程中需要 搜索的区域面积，从而提高算法的实时性能，使之能够应用于更大分辨 率的视频监控系统。 2 利用视频的时空域相关性信息，提出两种扫描模式，其中，跟踪模式先 预测人脸可能出现的区域，在下一帧中，只需要搜索预测区域；只有在 跟踪失败的情况下才需要检索整个前景区域( 我们称之为审查模式) ，从 而提高算法的实时性能。 3 利用肤色模型，对检测到的人脸候选区域做进一步的筛选，剔除由噪声 引起的假脸区域，从而提高算法的准确性，减少误检误报。 通过以上方法，我们实现了一个智能人脸监控系统，该系统具有良好的实时 性能和极低的误检率。 6 2 展望 由于本文沿用了中正面人脸训练结果，现在只能被动的检测正面人脸，因 而，在以下几个方面有进一步改进的必要： 5 3 浙江大学硕士学位论文第6 章总结与展望 1 多姿态人脸检测：利用标准的人脸图像数据集，训练不同姿态下的人脸 检测器，用于多姿态人脸检测。 2 人脸状态模型：利用监控视频流的时域信息及人类运动的空间连续性和 周期性，研究建立人脸空间位置和方向变化的人脸运动模型。 3 人脸状态预测：在人脸状态模型基础上，研究根据当前人脸的运动趋势， 预测未来人脸空间位置和方向，并在其基础上估计最佳拍摄时间和最佳 拍摄焦距，从而对人脸进行最优抓拍。 4 最佳人脸评价模型：根据图像在时域和频域的能量分布特点，采用多种 对焦评价函数，通过建立清晰度评价模型对图像的清晰度进行评价，选 取最清晰的人脸用于索引。 浙江大学硕士学位论文参考文献 【2 】 【3 】 【4 】 【5 】 【6 】 【7 】 【8 】 【9 】 【1 0 【1 2 】 【1 3 】 参考文献 m h s e d k y ，m m o n i r i a n dc c c h i b e l u s h i c l a s s i f i c a t i o no fs m a r tv i d e o s u r v e i l l a n c e s y s t e m sf o rc o m m e r c i a la p p l i c a t i o n s i e e ec o n f e r e n c eo n a d v a n c e dv i d e oa n ds i g n a lb a s e ds u r v e i l l a n c e 2 0 0 5 ：6 3 8 6 4 3 m v a l e r aa n ds a v e l a s t i n i n t e l l i g e n td i s t r i b u t e ds u r v e i l l a n c es y s t e m