（通信与信息系统专业论文）人脸检测及其dsp实现.pdf

浙江t 业大学硕十学位论文 人脸检测及其d s p 实现 摘要 随着人们安全防范意识的不断提高，视频监控已经被各个领域广泛应用。从工业生产 到日常生活，视频监控以其直观、方便、实时的特点越来越受到人们的欢迎。但是，现今 大多数的视频监控还停留在操作人员肉眼监控的状态，为了将操作人员从繁重的监控工作 中解放出来，具有数字化、网络化、智能化等特点的新型视频监控系统应运而生。数字图 像处理技术为视频监控的智能化提供了可能，该技术也为视频监控带来更多智能化应用。 人脸对象是视频监控系统中最受关注的对象，是一种非常有潜力的身份验证途径。本 文主要研究了基于d s p 实现的人脸检测问题。在研究了当今各种主流的人脸检测算法及其 原理之后，通过对比发现a d 出o o s t 算法在计算机仿真领域以及实际应用均较为广泛。因 此采用a d a b o o s t 算法作为人脸检测的基本算法，通过对样本的训练得到人脸检测所需的 分类器，再由分类器检测得到图像中的人脸区域。d s p 开发板采用的是t i 公司生产的达芬 奇系列数字视频图像处理系列t m s 3 2 0 d m 6 4 3 7 。该开发板包含d s p 子系统，视频处理子 系统和相关外设。将基于a d a b o o s t 算法的人脸检测软件程序通过优化等处理，从计算机 上移植到d s p 开发板上并执行，大大缩短了检测时间，提高了检测的效率并保证了实时性， 为人脸检测以及人脸识别的相关视频监控提供了有效的实际应用。 关键词：d s p ，a d a b o o s t ，人脸检测，d s p b i o s ，移植 浙江工业人学硕士学位论文 f a c ed e t e c t i o na n di m p l e m e n t a t i o no nd s p a b s t r a c t w i t ht h ec o n t i n u o u si m p r 0 v e m e n to fp e o p l e sa w a r e n e s sf o rs e c u r i 坝v i d e os u r v e i l l a n c eh a s b e e n 州d e l yu s e di nv 撕o u sf i e l d s e i t h e ri n d u s t r i a lp r o d u c t i o no rd a j l yl i f e ，v i d e os u r v e i l l a n c ei s m o r ea n dm o r ep o p u l a r 谢t l li t s i n t u i t i v e ，e a l s y ，r e a l t i m ec h a r a c t e r i s t i c s h o w e v e r ，m o s to f t o d a y sv i d e os u n r e i l l a i l c es t i l ln e e d st l l eo p e r a t o r sm o l l i t o r i n g ，i i lo r d e rt 0l i b e m t eo p e r a t o r 舶m h e 删r ) r 、r ko fm o i l i t o r i n g ，an e wd i g i t a j ，n e “旧r k e d ，i 1 1 t e l l i g e n tv i d e os u r v e i l l a n c es y s t e mc o m e i n t o b e i n g d i g i t a li m a g ep m c e s s i n gt e c h n o l o g ym a k e sp r o ba _ b i l i t ) ，f o ri n t e l l i g e n tv i d e o s u e i l l a n c e ，a i l d 谢1 1b d n gm o r e 印p l i c a t i o n si n “sf i e l d h u m a nf 砬ei s t l l em o s ti m p o r t 锄tp a r ti nv i d e os u r v e i l l a l l c e ，a i l dav e 巧p r o m i s i n g 、v a yo f a u t h e n t i c a t i o n t h i sp a p e rm a i n l yf o c u s e so nt h ei m p l e m e m a t i o no f d s p - b a s e df a c ed e t e c t i o n a r e rs t u d y i n gm ec u r r e n tm a j n s t r e 锄o ff a c ed e t e c t i o na l g o r i m m s 觚dt 1 1 e i rp r i n c i p l e s ，、v ef i n d o u tt h a tt h ea d a b o o s ta l g o r i t i sm o r ee x t e n s i v ei nm ef i e l do fc o m p u t e rs i m u l a t i o na n d p r a c t i c a la p p l i c a t i o n s o 、ed e c i d et 0u s ea d a b o o s tf a c ed e t e c t i o na j g o r i t h ma st h eb a l s i c a l g o r i t h n l ，a n dt r a i ns a m p l e sf o rc l a s s i f i e r s t h e nt h ef a c i a lr e g i o n sa r eo b t a i n e db yc a s c a d e c l a s s i f i e ri nt h ef a c ed e t e c t i o n t m s 3 2 0 d m 6 4 3 7i so n e “n do fd a v i n c id i g i t a lv i d e oi m a g e p r o c e s s i n gd s pp r o d u c e db yt ii n c o 印o r a t e d t h ed m 6 4 3 7 e v mc o n t a i l l sd s p s u b s y s t e m ，v i d e o p r o c e s s i n gs u b s y s t e m 锄dr e l a t e dp e r i p h e r a l s a r e ro p t i m i z i n ga d a b o o s t - b a s e df a c ed e t e c t i o n s o r w a r ep r o 舯ma n dp o r t i n gt h ec o d et ot h ed s pe v m ，m e 舭ed e t e c tp r o 铲锄c a nb er u i lo n t h ed s ps y s t e m i tt u m so u tt h a tt h i sr e a l - t i m ed e t e c t i o ng r e a t l yr e d u c e sd e t e c t i o nt i m e ，a n d i m p m v e sd e t e c t i o ne m c i e n c y i n “sw a y ，t l l es y s t e mc a np r 0 v i d e 锄e 肮c t i v ep r a c t i c a l a p p i i c a t i o nf o r h u m 觚f a c ed e t e c t i o n 锄dr e c o 朗i t i o no ft h er e l e v a l l tv i d e os u r v e i l l 锄c e k e yw o r d s ：d s 只a d a b o o s t ，f a c ed e t e c t i o i l d s p b i o s ，p o n i n g 浙江- 1 ：业大学硕士学位论文 图列 第三代视频监控系统2 m i t 人脸库截图4 用于基于知识方法的人脸7 基丁表象的人脸检测方法分类9 a d a b 0 0 s t 算法流程图13 人脸检测使用的矩形特征模板15 矩形特征在人脸上的特征匹配1 5 利用积分图计算矩形d 的灰度积分l7 级联分类器18 人脸检测系统框图19 人脸检测系统流程2 0 t m s 3 2 0 d m 6 4 3 7 框图21 d s p 子系统框图2 2 视频处理子系统2 3 相关外设2 6 c c s 构成和接口2 7 c c s 软件开发流程2 9 d s p b i o s 配置界面3l t m s 3 2 0 c 6 x 代码开发流程3 4 仿真测试l 一3 7 仿真测试2 3 8 仿真测试3 3 8 仿真测试4 。3 8 检测结果l 4 2 检测结果2 4 3 检测结果3 4 3 基丁d s p 人脸检测系统4 9 0 之 0 乞 o 4 巧 石 刁 0 乏 o 4 巧 击 0 母 0 之 0 4 6 缶 刁 愿 心勉粥m撕撕弛粥”如”粥”睨钙“”铺图图图图图图图图图图图图图图图图图图图图图图图图图图刚 浙江工业大学硕士学位论文 表列衣岁u 表1 1人脸检测问题的分类3 表3 1d m 6 4 3 7 处理器的硬件特性2 2 表3 2t v p 5 1 4 6 输出格式2 4 表4 1搜索窗尺寸改进结果对比。3 9 表4 2c 6 4 x + 片上内存配置。4 1 浙江工业人学硕七学位论文 符号说明 d s p ( d i g i t a ls i g n a lp r o c e s s i n g ) c c t v ( c l o s e dc i r c u i tt e l e s i o n ) t i ( t e x 2 l si n s t m m e n t s ) v c r ( d e oc a s s e t t er e c o r d e r ) d v r ( d i g i t a l d e or e c o r d ) i p ( i n t e m e tp r o t o c 0 1 ) l p v s ( i p d e os u r v e i l l a n c e ) t c p i p( t i - 肌s m i s s i o nc o n t r o lp r o t o c o li n t e m e t p r o t o c 0 1 ) m i t ( m a s s a c h u - s e n si n s t i t u t eo ft e c h n o l o g y ) c m u ( c a n l e g i em e l l o nu n i v e r s i 哆) v c ( v i s i os t u d i o ) i d e ( i n t e g r a t e dd e v e l o p m e n te n v i r o l l m e n t ) c c s ( c o d ec o m p o s e rs t i j d i o ) b i o s ( b a s i ci n p u t o u t p u ts y s t e m ) a n n ( a r t m c i a ln e u m ln e t 、o r k ) h m m ( h i d d e nm a r k o vm o d e l ) s v m ( s u p p o r tv - e c t o rm a c m n e ) p a c ( p r o b a b l ya p p r o x i m a t e l yc o r r e c t ) d d r ( d o u b l ed a t a l t e ) s r a m ( s t a t i cr a j l d o ma c c e s sm e m o r ) r ) 1 2 s ( i n t e r i n t e g r a t e ds o u i l d ) 1 2 c ( i m e r - i m e 伊a t e dc i r c u i t ) m c b s p ( m u l t i c h a i m e lb u 虢r i n gs e r i a lp o 哟 g p i o ( g e n e r a lp u r p o s ei n p 删o u t p u t ) m a c ( m e d i a a c c e s sc o r l t r 0 1 ) c p u ( c e n n a lp r o c e s s i n gu i l i t ) j t a g ( j o i n tt e s ta c t i o ng r o u p ) p c ( p e r s o n a lc o m p u t e r ) h 3 a ( a u t o m a t i cf o c u s ，a u t o m a t i c m i t eb a l a l l c e ， a u 幻m a t i ce x p o s u r e ) d r a m ( d y n 锄i ci m d o m a c c e s sm e m o q ) 数字信号处理 闭路电视 德州仪器 录像机 硬盘录像机 互联网协议 i p 视频监控 传输控制网络通讯协定 麻省理工学院 卡梅隆大学 视觉工作室 集成开发环境 代码编译工具 基本输入输出系统 神经网络 隐马尔可夫模型 支持向量机 可能近似正确 双倍数据速率 静态随机存储器 音频数据传输标准 集成总线 多通道缓冲串口 通用输入输出 媒体存取控制 中央处理器 联合测试行动组 个人电脑 自动对焦，自动白平衡， 自动曝光 动态随机存储器 浙江工业大学硕十学位论文 u a r t ( u 血v e r s a la s y n c 廿o n o u sr e c e i v e r 1 y a n s m i 慨r ) c a n ( c o n t r o l l e ra r e an e t w o r k ) m i p s ( m i l l i o ni i l s t r u c t i o n sp e rs e c o n d ) v p s s ( v i d e op r o c e s ss u b s y s t e m ) v p f e ( v i d e op r o c e s sf r o n te n d ) v p b em d e op r o c e s sb a c ke n d ) c c d( c h a r g e c o u p l e dd e v i c e ) c m o s ( c o m p l e m e n t a 巧m e t a j - o x i d e s e m i c o n d u c t o r 1 1 r a n s i s t o n n t s c ( n a t i o n 出1 e l e v i s i o ns y s t e mc o m m i t t e e ) p a l ( p h a s ea l t e m a t i n gl i n e ) l c d ( l i q u i dc r y s t a ld i s p l a y ) o s d ( o n s c r e e nd i s p l a y ) e d m a ( e n l l a l l c e dd i r e c tm e m o 巧a c c e s s ) p w m ( p u l s e w i d t hm o d u l a t i o n ) h p i ( h a r d w a r ep l a t f o r mi n t e 托童c e ) p c i ( p e r i p h e r a lc o m p o n e n ti n t e r c o 皿e c t ) r o m ( r e a do i l l ym e m o 巧) r t d x ( r e a jt i m ed a t ae x c h a n g e ) a p i ( a p p l i c a t i o np r o g r 锄i n t e r f a c e ) c o f f ( c o n n o no b j e c tf i l ef o n n a t ) a n s i ( a m e r i c a nn a t i o n a ls t a n d a r d si i l s t i t u t e ) g u i ( g r 印h i c a lu s e r i n t e r f a c e ) 通用异步收发传输器 控制总线 每秒百万条指令 视频处理子系统 视频前端 视频后端 电荷耦合器件 互补金属氧化物半导体 美国国家电视系统委员 厶 z i 逐行倒相 液晶显示屏 屏幕显示 增强的直接存储器出去 脉宽调制 硬件平台接口 外部控制器接口 只读存储器 实时数据交换 应用程序界面 通用目标文件格式 美国国家标准协会 图形用户界面 浙江工业大学硕七学位论文 1 1引言 第1 章绪论 视频监控系统作为安全防范系统的重要组成部分，是一种具有较强防范能力的综合系 统。在短短二十几年的发展过程当中，从最早的模拟监控到数字监控再到如今的网络监控， 发生了翻天覆地的变化。视频监控以其直观、方便、内容丰富且应用广泛的特点而受到人 们的普遍欢迎。近年来，随着宽带的普及和计算机技术的发展，以及图像处理技术的提高， 视频监控正越来越多地渗透到政府、教育、医疗、娱乐、运动等各个领域。 第一代的视频监控，是传统的模拟闭路电视监控系统( c c t v ) 。由摄像机，电缆， 录像机和监视器等设备组成【l 】。图像信息采用视频电缆传输，由于受到电缆传输长度和电 缆放大器的限制，主要应用于小范围内的监控。卡带式录像机( v c r ) 作为该系统的存储 设备，其负载量和存储质量都相对有限，限制了该监控系统的发展。第二代视频监控，我 们称之为模拟一数字视频监控系统。与第一代相比，最大的不同就是以数字硬盘录像机 ( d v r ) 取代了先i ；i 的卡带式录像机，将原来的磁带存储模式转变成数字存储模式【2 1 。d v r 同时支持录像和回放的功能，但由于其有限的可扩展性和相对较弱的远程监控能力，第三 代视频监控p l 完全网络化的视频监控系统( i p v s ) 随之诞生，如图1 1 。第三代视频监 控系统与前两代有着显著不同，视频从图像采集设备输出时即为数字信号，以标准i n t e m e t 网络为传输媒介，基于国际标准t c p i p 协议，采用流媒体技术实现视频在网上的多路复用 传输，并通过设在网上的视频流服务器，完成视频流的转发、报警等操作，最终实现整个 监控系统的指挥、调度、存贮、授权控制等功能。 浙江工业大学硕士学位论文 一一 编解码器 。：i 熙。_ 象一 叫络摄像头2 ”o 州络摄像又 一 n 编解码器 图1 1 第三代视频监控系统 毫无疑问，数字图像处理技术的提高大大促进了视频监控系统的发展。数字图像处理 技术再现性好，处理精度高，适用范围广以及灵活性高等特点减轻了人们在视频监控中的 工作量，并提高了工作效率1 4 j o 人脸检测( f a c ed e t c c t i o n ) 是指在输入图像中确定所有人 脸( 如果存在的话) 的位置、大小、位姿的过程。人脸检测问题的起源是人脸识别问题( f a c e r e c o g l l i t i o n ) 。人脸识别问题主要由人脸检测和人脸特征提取与识别两个部分组成。先由人 脸检测对人脸进行定位，而后在此基础上完成对人脸特征的提取与识别。因此人脸检测的 精度和速度成为了人脸识别问题的关键部分，也直接决定了整个人脸识别问题的效果。早 年的人脸识别研究主要建立在具有较强约束条件的基础上，往往假设人脸位置已知或容易 获得，所以人脸检测问题并没有受到重视。 随着近几年信息安全领域的蓬勃发展，人脸识别以其自身的特殊优势为身份验证提供 了良好的核查机制。当人脸识别开始为人们所使用的时候，环境因素对其造成的影响日趋 明显，这使得人脸检测开始逐渐受到人们的重视。而今，我们所研究的人脸检测问题，已 经大大超出了人脸识别的范畴，在生物识别、视觉检测等方面均有广泛应用。 1 2 人脸检测的研究目的和意义 视频监控的对象通常可以分为人和物。从物的角度来说，例如道路上的车辆、博物馆 2 卜一 浙江工业人学硕士学位论文 的文物、银行的金库等等。从人的角度来说，就是人的数量、行为等等。而人脸作为人体 上表现最复杂的部分，涉及到的研究内容也十分广泛，从不同的角度有多种分类方法，如 表1 1 【5 】o 表1 1 人脸检测问题的分类 分类依据 类别 静f ：图像( 包括如数字化的图片、 动态图像( 即视频序列，包括1 ：作 图像图像来源 数码相机拍摄的照片等，目前考虑 台前的人脸序列、保安监控录像、 的主要问题是算法的适应性和鲁棒 影视资料等，往往与人脸的跟踪问 类型题交织在一起，对算法的速度要求 性，算法速度在其次) 较高) 颜色信息彩色灰度 人脸姿态止面( 包括端正及平面内旋转)侧面( 包括俯仰、侧影及旋转) 图像 镜头类型头肩部图像半身全身图像 前景 单人( 义可以称为人脸定位，是人未知( 需要判定图像中是否存在人 人脸数目脸检测问题在已知人脸数目情况下脸、人脸的数目以及各个人脸的尺 的特例)度和位置，即是完全的检测问题) 简单背景( 指无背景或背景特征被复杂背景( 指背景类型和特征不受 图像背景严格约束，在该条件下只利用人脸 约束，某些区域可能在色彩、纹理 复杂程度的轮廓、颜色、运动等少量特征，等特征上与人脸相似。必须利用较 就能进行准确检测) 多的人脸特征才能做到准确检测) 人脸信息处理( 验证、识别、表情分析等) 系统、视频会议或远程教育 应用领域 系统、视觉监视与跟踪、基于内容的图像与视频检索等等。 人脸检测在国内外的研究已经非常普遍，比较著名的有m i t 、c m u 、清华大学、中科 院计算所和自动化所等。m i t 和c m u 都有自己的人脸图像数据库f 6 】【7 1 ( 如图1 2 ) ，用于人 脸检测的训练和测试。人脸图像数据库一般都是由入脸和非人脸两个部分组成。人脸是由 大量男性、女性人脸在不同光线、不同姿态、不同表情条件下得到。大多数的人脸检测都 需要用到人脸数据库训练图像数据。当然，用于人脸识别的数据库也可以用来进行人脸检 测的训练。通常，人脸图像数据库之所以引入非人脸库，是为了避免人脸检测的同时将非 人脸当作人脸也检测出来，从而降低了人脸检测的错检率。 浙江工业大学硕士学位论文 匿曩翻慧譬翻譬。 翟譬譬鞠譬誓盈麓翻睡江酝薄嗣警。蕾流誓一喇魄 蟹譬零鼙滗豳置誓+臣麓潦翻嘲i 置蹦瞄鬣+ 瞄譬r 圈翟警翟圈。 图1 2m i t 人脸库截图 人脸检测的难点可以总结为以下几点嗍：( 1 ) 姿态。人脸的变化取决于人脸在镜头前摆 的姿势，正面的、倾斜的、侧面的、颠倒的等等。因此，人脸的特征，如眼睛或者鼻子就 会被部分或者全部遮挡。( 2 ) 附属物。人脸的特征如胡须，眼镜等是否存在，以及它们的形 状、颜色、大小都会给人脸检测带来很多不确定因素。( 3 ) 表情。人脸的面部表情直接影响 了人脸检测的结果。( 4 ) 遮挡。人脸可能被其他物体遮挡，或者在一张多人脸的图像里，一 些人脸遮住了另一些人脸的一部分。( 5 ) 方向。相机的倾斜或旋转会造成人脸在图像中与视 轴( o p t i c a la x i s ) 形成一定角度。( 6 ) 成像条件。图像形成时，光照( 光谱、光源、分布、 强度) 和相机特性( 传感器响应和镜头) 都会影响到人脸检测的结果。 有很多与人脸相似的问题： ( 1 ) 人脸定位( f a c el o c a l i z a t i o n ) ：单人脸图像中人脸位置的确定。这是一个相对简单的问 题，因为它有一个前提一副图像中只有一个人脸。 ( 2 ) 人脸特征检测( f a c i a lf e a n 鹏d e t e c t i o n ) ：在只有一个人脸的情况下，检测脸部特征是 否存在，并确定其位置。例如，眼睛、鼻子、鼻孔、眉毛、嘴巴、嘴唇、耳朵等等【9 1 。 ( 3 ) 人脸识别( f a c er e c o 鲥t i o n ) ：将输入图像中的人脸与人脸数据库对比，寻找是否有匹 配的人脸f l o 】。 ( 4 ) 人脸验证( f a c ea u _ t l l e n t i c a t i o n ) ：用来对输入图像中的人脸进行身份核查。 ( 5 ) 人脸跟踪( f a c et r a c k i n g ) ：应用于实时监控系统中的人脸图像序列，判断人脸位置及 其可能的移动方向。 ( 6 ) 人脸表情识别( f a c i a le x p r e s s i o nr e c o 印i t i o n ) ：识别人类有效的情绪，如高兴、难过、 厌恶等。 显然，人脸检测是解决以上各种问题的第一个步骤。 4 浙江工业大学硕十学位论文 1 3 课题主要研究内容 随着人脸检测研究的不断发展和深入，人脸检测的算法也已经日趋成熟。人脸的肤色 特征或者灰度特征等等，都被用到人脸检测的算法当中去，本文先从人脸检测所涉及到的 各类理论入手，进行深入学习，并对人脸检测算法进行深入研究。例如，神经网络算法， 肤色模型，a d a b o o s t 算法等。从理论、实践( 或仿真) 的角度进行对比，从中选出适合本 文应用环境的算法。t i 的t m s 3 2 0 d m 6 4 3 7 属于达芬奇( d a v i n c i ) 数字视频处理系列。 t m s 3 2 0 d m 6 4 3 7 是达芬奇系列中为数不多的纯d s p 数字处理平台，它与以往的嵌入式开发 平台差异较大，增加了开发的难度。因此，在对算法作出选择后，研究任务转移到了 t m s 3 2 0 d m 6 4 3 7 上。研究的过程将会把该处理平台分割为d s p 子系统，视频处理子系统以 及相关外设三个模块分别学习，通过研读开发文档，测试例程掌握相关知识，并熟悉系统 架构，开发流程，包括集成开发环境( i d e ) c c s 的使用，尤其是程序的移植和优化。 对人脸检测的研究除了理论研究之外，应用方面则是通过计算机软件( v c 或m a t l a b ) 实现，很少与硬件相结合。本文的研究课题正是基于该现状提出的，软件仿真可以验证理 论算法的可行性，即可以得到人脸检测的正确率和错检率，也能对比多种算法的时间快慢。 但它却不能体现算法的优越性，即该算法在具体应用中是否符合实际情况的要求，能否在 规定时间内处理完人脸检测，并达到一定的准确率。所以选取了具有强大运算能力的d s p 作为处理器，希望通过它来实现视频监控中的人脸检测功能。 1 4 论文结构 本文共分5 章，具体安排如下： 第一章，绪论。简要介绍了课题背景及发展现状，阐述了人脸检测的研究目的和意义， 以及主要的研究内容和创新点。 第二章，分析了主流人脸检测算法的思想。阐述a d a b o o s t 算法的发展和原理，并与 其他算法进行对比，总结a d a b o o s t 算法用于本文环境的优势之处。并对a d a b o o s t 算法中 的h a a r 特征和分类器进行重点研究。 第三章，提出数字图像处理系统人脸检测的整体方案，然后分模块阐述d s p 子系统， 视频子模块( 视频前端、后端) 和相关外设的原理、功能和开发，并对软件开发平台 c c s 进行仔细研究。 5 浙江丁业大学硕十学位论文 第四章，详述了软件开发流程及其整体实现。从软件的开发流程到程序的移植，再到 优化和调试。其中移植和优化将会是本章的重点和难点。最后对比p c 上的实现，从时间 和准确率上给出分析结果。 第五章，总结全文的工作，提出课题的进一步发展方向及前景。 6 浙江工业大学硕士学位论文 2 1 人脸检测算法介绍 第2 章人脸检测算法 人脸具有多种多样的特征，也包含了复杂而细致的变化。这些特征给我们提供了大量 丰富信息的同时，也给我们的检测增加了很大的难度。因此，如何利用人脸特征实现人脸 检测，是我们研究的关键问题之一。以下，对于采用较多的人脸检测方法作个简要的归纳 小结，并在此基础上进行比较，选定在本文的应用环境下使用的算法。 2 1 1 基于知识的方法 该方法也被称为启发式的方法。利用人脸规则的一种检测方法，其规则来自对人脸的 先验知识。人脸的局部特征往往存在一定规律，一般较容易用来描述人脸特征及它们之间 的相互关系。例如，人有两个眼睛，一个鼻子，一张嘴，这些特征都相对于中轴线对称。 基于知识的方法主要是通过人脸局部特征之间的关系来实现的，具体体现在人脸局部特征 之间的相对距离和位置关系等等。当输入图像中提取的局部特征满足这些规则的时候，就 认为输入图像中存在人脸。这个方法通常被用于人脸的定位。 y 缸g 和h u a n g 【l l j 采用分层的基于知识的方法进行人脸检测，由三级规则实现，层层递 进。第一级，在整幅输入图像中进行全局扫描，筛选出可能存在人脸的区域。第二级，在 第一级的基础上完成直方图均衡化，并进行边缘检测。第三级，也是最低级的规则，依赖 于面部特征的细节。编码规则则用于在较低分辨率下确定人脸可能存在的区域，包括人脸 的中心部分，图2 1 是一张典型的用于基于知识方法作人脸检测的脸，体现了面部区域的 特征。该方法比较有吸引力的一点就是从粗糙到精细的过程，从中减少了很大的计算量。 图2 1用于基于知识方法的人脸 浙江工业人学硕十学位论文 y 抽g 和h 呦g 的检测方法和其他的基于知识的方法一样，都存在检测率不高的缺陷。 毕竟，还是可以找到很多与人脸局部特征之间关系相近的非人脸图像。所以，我们很难将 人类的知识准确地转化为定义的规则。如果规则过于详细，会造成很多人脸图像不能通过 检测的情况，例如，一只眼睛被头发遮挡了一部分，或者图像本身有少许倾斜等等。如果 规则过于宽松，就会造成很多非人脸图像被误认为是人脸的情况，即很高的错检率。例如， 一些与人脸具有同样对称特性的物体等等。 2 1 2 基于特征的方法 这罩的人脸特征通常指不因姿态、角度、光照条件等变化的面部特征。这种方法与基 于知识的实现方法相反。首先在整个输入图像中采用边缘检测搜索眉毛、眼睛、鼻子、嘴 巴和发迹线等人的面部特征，然后通过建立统计模型描述面部特征之间的关系，并确定存 在人脸的区域。此类方法多用于解决人脸定位问题。 肤色特征被证明是一种非常有效的基于特征的方法。人脸肤色包含了大量重要信息， 它不依赖于人脸的细节特征，对于角度的倾斜和面部表情的变化也不敏感，具有相对稳定 性。大量经验表明，建立肤色模型( s h nc o l o r m o d e l ) 是解决基于肤色特征方法的有效途 径1 2 】。即用一种代数或查找表的形式列出属于肤色的像素颜色范围，或者表征出像素的色 彩与肤色的相似程度。 t e 耐l l o n 【b 】等人考察了归一化的r - g 、h s v 、y e s 、c i e x y 、归一化的t s l 、c i e d s h 、 y i q 、c i el u 宰v 母和c i el 幸a 枣等9 种色度空间，比较了常用的高斯模型和混合高斯模型 在不同色度空间表现的性能，结果显示除少数情况外，通常使用混合高斯模型能够较好地 描述肤色的分布。 除了肤色特征，灰度特征也常被用来研究人脸检测问题。人脸的灰度特征包括人脸的 轮廓特征，人脸的狄度分布特征，器官特征和模板特征。人脸的轮廓特征主要由其形状而 来，边缘检测被用来提取人脸轮廓。c r a w 【h 】等人率先在低分辨率的图像中用一个人脸轮廓 模板匹配得到人脸的大致范围，然后在高分辨率图像中采用s o b e l 算子获得边缘的位置和 方向，从而得到完整的人脸轮廓。y 锄g 和h u a n g 【1 5 l 提出的镶嵌图( m o s a i ci m a g e ，马赛克 图) 方法则利用了人脸的灰度分布特征。将输入图像均匀分割成矩形单元( c e l l ) ，每个单 元的灰度由单元中每个像素的灰度平均值替代，根据人脸核心区域符合的灰度分布规则对 图像进行筛选。 此外，人脸还具有纹理特征，面部结构特征等多种特征，这些特征都可以作为人脸检 8 浙江1 业大学硕七学位论文 测的方法，用到研究和实际应用中。事实上，目前还没有一个非常通用的特征能够完全区 别人脸和非人脸，因此将多种特征以组合的形式运用到人脸检测中，从一定程度上提高了 人脸检测的准确率。 2 1 3 基于表象的方法 基于表象的方法更多地依赖于统计学知识和机器学习去找到相应的人脸和非人脸图 像的特征。需要学习的特征由分布模型或判别函数给出，为了提高计算效率并增加检测的 有效性，通常会采用降维。基于该方法的特点，人们往往会把问题放到概率框架下考虑。 图2 2 是基于表象的主要人脸检测方法。 基于表象的 人脸检测方法 主元分析p c a 线性子空间方法卜- - 一线性判别l d a 神经网络方法 其他统计方法 因素分析f a 隐马尔可夫模型h m m 支持向量机s 垤 基于k u u b a c k 信息理论 贝叶斯决策b a y e s 稀疏网络s n o w a d a b o o s t 图2 2 基于表象的人脸检测方法分类 基于人工神经网络( a n i f i c i a ln e u r a ln e t 、v o r k s ，a 】、j n ) 的方法，是一种有效的模式识 别方法。利用神经网络的学习能力和分类能力，可以对人脸样本集和非人脸样本集进行学 习，以产生分类器【l6 。自从人脸检测被归为模式识别问题的范畴，各种各样的神经网络结 构被用来解决人脸检测和识别问题。它的优点是有很强的可行性，可以训练一个系统用来 捕获具有复杂条件的人脸模式。然而，每当出现特殊条件时，网络结构随之要做巨大的改 动，这也是该方法的一个缺陷。 支持向量机( s u p p o r t v e c t o r m a c l l i n e s ，s v m ) 方法，最早由o s u i l a 旧提出，可以看作 9 浙江_ 丁业人学硕士学位论文 是一个训练多项式函数，神经网络，径向基函数分类器的一个新的范例。当大多数方法在 训练一个分类器，使其达到最小的训练差错时，s v m 方法却在进行一种基于结构风险最小 化原理的统计学习，努力降低一般化错误的上限。s v m 的基本思想是对每一个检测窗口使 用s v m 方法将其分类，区分“人脸 和“非人脸”样本，使用逼近优化的方法减少支持 向量的数量。分类器是线性的，分类平面用来最小化不可见的检测模式的预期分类误差。 最优化的分类平面，是由一组训练向量加权得到，叫做支持向量。估计最优化分类平面等 效于解决一个线性约束二次规划问题。但是计算和存储的高复杂度限制了该方法的应用。 隐马尔可夫模型( h i d d e nm a r k o vm o d e l s ，h m m ) 可以描述为一个随机参数过程，并 且这些参数可以被准确的估计得到i l 引。在用h m m 解决检测或识别问题的过程中，要用到 一些隐藏状态来建模。然后通过训练h m m ，学习样本状态变化的可能性。训练h m m 的 目的是，通过调整模型中的参数，最大化观察训练数据的可能性。基于h m m 的方法只用 “人脸”样本进行训练，主要用于人脸识别。 如上所述的几种基于表象的人脸检测方法，可以被划分到不止一个类别中去，它们在 实现的过程中，可能用到了多于两种检测方法来提升最终的检测效果。但是，由于需要对 所有可能的检测窗口进行搜索，计算的复杂度必定大大增加。此外，收集样本、训练样本 也要消耗大量时间和精力，因此，总的来说，这种方法还是存在很大的困难。 2 2a d a b o o s t 方法 a d a b o o s t 全称为a d 印t i v eb o o s t i n g ，自适应b o o s t i n g 算法。该方法由f r e u n d 和 s c h a p i r e 于1 9 9 5 年提出，是对b o o s t i n g 算法的提升。其基本思想是通过训练样本动态调 整弱分类器的权重，以线性加权和的形式合成一个强分类器。 2 2 1 b o o s t i n g 算法 b o o s t i n g 算法一般指将弱学习提升为强学习的一种算法，由f r e u n d 和s c h 印i r e 【2 0 】于 1 9 9 0 年提出，旨在提高任意给定学习算法的精度。事实上，b o o s t i n g 算法起源于v a l i 觚t f 2 l 】 提出的p a c ( p r o b a b l y a p p r o x i m a t e l yc o 玎e c t ) 学习模型。p a c 学习模型中定义了两个概念： 强学习和弱学习。若存在一个多项式学习算法来识别一组概念，并且其识别率很高，这就 是强学习。若该学习算法的识别率很低，仅仅比随机猜测好一些，也就是识别率大于等于 5 0 ，那么这就是弱学习。v a l i a i l t 和k e a n l s 提出了强学习算法和弱学习算法的等价问题， 即是否可以将弱学习方法进行组合，转化为强学习算法。若该方法可行，则只需要足够的 1 0 浙江工业人学硕士学位论文 数据，通过改变样本的分布，使训练的重点集中在分类困难的样本上，就能够将弱学习算 法最终提升为强学习算法。这就是b o o s t i n g 方法的核心。 b o o s t i n g 方法在训练中会使用从总的训练集中提取出来的一系列子集作为学习机的训 练集。每一个学习机的表现直接导致某些样本是否会出现在后面的训练子集中。在新的训 练子集中，将会加重之前学习过程中出错样本的出现概率，减小之前被正确判断的样本的 出现概率。希望能够在新一轮的训练中，更多地关注较为困难的样本区分问题，使学习机 的学习能力得到改善。 b o o s t i n g 算法在分类、建模、图像分割、数据挖掘等领域都己得到有效的应用。但是 b 0 0 s t i n g 算法在解决实际问题时有一个重大的缺陷，即它要求事先知道弱学习机的学习正 确率下限，这在实际问题中很难做到。此外，b o o s t i n g 算法的训练机制，要求学习机具有 很高的j 下确率，因为后面的学习会着重关注前面发现的困难样本，所以可能导致另外一个 极端，就是训练错误率上升。 2 2 2a d a b 0 0 s t 算法原理 a d 扭o o s t 算法不同于b o o s t i n g 算法的是，它不需要知道弱学习算法的学习一确率下 限，其最后得到的强分类器的分类精度取决于弱分类器的分类精度。a d 出o o s t 算法的基本 思路是，对同一个训练集训练出不同的弱分类器，根据每次训练中，每个样本的分类是否 正确，以及上一次的总体分类准确率，来确定样本权重。样本经过权重修改之后被送入下 一个分类器继续训练。最后，只需将所有训练得到的弱分类器组合，即构成最后的强分类 器。 a d a b o o s t 算法具体描述如下【2 2 】： 1 ) 给定若干训练样本( 五，乃) ，( 而，奶) ，( 薯，咒) ，( 黾，以) ，其中咒= 0 表示