（电路与系统专业论文）基于图像内容的嵌入式智能监控预警系统.pdf

原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均己在论文中作了明确的说明并表示了谢意。 签名：塑堑日期：丝丛 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：妞导师签名：锄日期： o j 0 夕3 ， 上海大学硕士学位论文基于图像内容的嵌入式智能监控预警系统 上海大学工学硕士学位论文 基于图像内容的 嵌入式智能监控预警系统 姓 导 名：杨辉 师：范天翔 学科专业：电路与系统 上海大学通信与信息工程学院 2 0 0 9 年1 2 月 3 上海大学硕士学位论文基于图像内容的嵌入式智能监控预警系统 ad i s s e r t a t i o ns u b m i t t e dt os h a n g h a iu n i v e r s i t yf o rt h e d e g r e eo fm a s t e ri ne n g i n e e r i n g t h e i m a g e c o n t e n t - b a s e di n t e l l i g e n t s u r v e i l l a n c ea n de a r l y em be d d e ds y s t e m m d c a n d i d a t e ：y a n g h u i 一 。 ” m 、， s u p e r v i s o r ： fa n1l a nx i a n g m a j o r ：c i r c u i t sa n ds y s t e m s r n l n g s c h o o lo fc o m m u n i c a t i o na n di n f o r m a t i o ne n g i n e e r i n g ， s h a n g h a iu n i v e r s i t y d e c e m b e r2 0 0 9 4 上海大学硕士学位论文 基于图像内容的嵌入式智能监控预警系统 摘要 本文以智能视频监控为研究对象，以目前在智能视频监控领域中的研 究热点人脸识别为切入点，通过完成基于d m 6 4 2 的嵌入式智能前端的 研究、人脸检测和识别算法的研究、算法在智能前端上的移植和优化以及 利用该智能前端配合服务器搭建监控预警系统等一系列工作，最后实现了 一个在特定场合下性能良好的智能监控预警系统。 本文的主要内容包括： 介绍基于d m 6 4 2 的嵌入式智能前端的研究平台，包括l j i 端总体框架说 明，各硬件功能模块的介绍，视频驱动和系统自启动的介绍，并简单介绍 了c c s 开发工具。 提出了在复杂背景下检测人脸、对人脸图像进行预处理、特征提取及 分类的一系列算法，以及使用视频中时间信息提高识别率的创新方法，并 对这些算法在p c 上进行了测试和验证。 介绍了将经过测试和验证的人脸检测和识别算法移植到d s p 平台上， 并有针对性的进行优化的方法。介绍了硬件资源分配和软件环境移植，对 原始程序进行架构级、算法级和代码级优化的方法，重点介绍了将算法中 的神经网络分类器部署在f p g a 上的架构级优化方法。 提出用多个具有人脸识别功能的嵌入式前端，和后端服务器搭建出一 个智能监控预警系统。给出了具体的搭建方案、服务器的实现方法及系统 的扩展性考虑。 关键词：智能视频监控，d m 6 4 2 ，人脸检测，人脸识别，f p g a ，神经网络 5 上海大学硕士学位论文 基于图像内容的嵌入式智能监控预警系统 a bs t r a c t i nt h i sp a p e r , i n t e l l i g e n tv i d e os u r v e i l l a n c ea st h er e s e a r c ho b j e c t , w i t ht h ep r e s e n ti nt h es m a r t v i d e os u r v e i l l a n c ei nt h ef i e l do fr e s e a r c hf o c u s - f a c er e c o g n i t i o na sa ne n t r yp o i n t 。w ew i l lf i n a l l y a c h i e v ea ni n t e l l i g e n ts u r v e i l l a n c ee a d yw a m i n gs y s t e mw i t hg o o dp e r f o r m a n c ei nc e r t a i ns i t u a u o n sb y c o m p l e t i n gas e r i e so fw o r kw h i c hi n c l u d et h ed m 6 4 2 b a s e de m b e d d e di n t e l l i g e n tf r o n t - e n dr e s e a r c h ， f a c ed e t e c t i o na n dr e c o g n i t i o na l g o d t h m sr e s e a r c h ，i n t e l l i g e n ta l g o r i t h m st r a n s p l a n ta n do p t i m i z eo n t h ef r o n t - e n da n du s em u l t i p l ei n t e l l i g e n tf r o n t - e n dp l u so n es e r v e rt ob u i l dt h es u r v e i l l a n c ee a r l y w a m i n gs y s t e m t h em a i nc o n t e n t so ft h i sa r t i c l ei n c l u d e ： b r i e f l yi n b o d u c u o no fd m 6 4 2 - b a s e de m b e d d e di n t e l l i g e n tf r o n t - e n d ，i n c l u d i n gt h ef r o n t - e n do v e r a l l f r a m e w o r k i n t r o d u c t i o n o fe a c hf u n c t i o n a l m o d u l e i n b o d u c t i o no fv i d e o - d r i v e na n ds y s t e m i m p l e m e n t a t i o no fs e l f - s t a r t i n g ，a n dab r i e fi n t r o d u c t i o no ft h ec c sd e v e l o p m e n tt o o l s p u tf o r w a r das e r i e so fa l g o r i t h m sw h i c hi n c l u d eh u m a nf a c ed e t e c t i o ni nac o m p l e xc o n t e x t , h u m a nf a c ei m a g ep r e p r o c e s s i n g ，f e a t u r ee x t r a c t i o na n dc l a s s i f i c a t i o n ，a n da ni n n o v a t i v ew a yt o i m p r o v et h er e c o g n i t i o nr a t eb yu s i n gt h ev i d e ot i m ei n f o r m a t i o na n a l y s e s ，a n dt h e s ea l g o r i t h m sw e r e t e s t e da n dv e r i f i e do nt h ep c i n t r o d u c e dt h em e t h o d so ft r a n s p l a n t i n gt h et e s t e da n dv e n f i e df a c ed e t e c t i o na n dr e c o g n i t i o n a l g o r i t h m st od s pp l a t f o r m ，a n dt a r g e t e dt oo p t i m i z e w ei n t r o d u c e dt h ea l l o c a t i o no fh a r d w a r e r e s o u r c e sa n ds o t t w a r ee n v i r o n m e n ti nt h eo r i g i n a l p r o c e d u r e ，t h ea p p r o a c ho fa r c h i t e c t u r e - l e v e l ， a l g o r i t h m - l e v e la n dc o d e l e v e lo p t i m i z a t i o n h i g h l i g h t i n gt h ea r c h i t e c t u r e - l e v e lo p t i m i z a t i o nm e t h o do f d e p l o y e dn e u m ln e t w o r kc l a s s i f i e r sw h i c hi no u ra l g o r i t h mi nt h ef p g a p r o p o s e du s i n gm u l t i p l ee m b e d d e df r o n t - e n dw h i c hh a v ef a c er e c o g n i t i o nf u n c t i o n ，a n dp l u so n e b a c k - e n ds e r v e rt os e tu pa ni n t e l l i g e n ts u r v e i l l a n c ee a d yw a m i n gs y s t e m s t r u c t u r e sw e r eg i v e ni n d e t a i l ，t h es e r v e ri m p l e m e n t a t i o nm e t h o da n ds y s t e me x p a n s i b i l i t yc o n s i d e r e t i o n sw e r ea l s oi n v o l v e d k e y w o r d s ：i n t e l l i g e n tv i d e os u r v e i l l a n c e ，d m 6 4 2 ，f a c ed e t e c t i o n ，f a c e r e c o g n i t i o n ，f p g a ，a n n 6 2 2前端硬件模块介绍1 5 2 2 1主处理器d s p 模块1 5 2 2 2协处理器f p g a 模块1 6 2 2 3存储模块1 6 2 2 4时钟复位模块1 7 2 2 5电源模块1 8 2 2 6外部接口1 8 2 3前端驱动软件介绍1 8 2 3 ic c s 集成开发环境1 8 2 3 2视频接口驱动1 9 2 3 3系统自启动2 l 2 4本章小节2 1 第三章人脸检测与识别算法的研究和验证2 2 3 1人脸检测算法的研究2 2 3 1 1 人脸检测概述2 2 3 1 2 基于肤色的人脸检测算法设计2 4 3 2人脸识别算法的研究2 8 7 上海大学硕上学位论文基于图像内容的嵌入式智能监控预警系统 3 2 1 人脸识别算法概述2 9 3 2 2 预处理3 0 3 2 3 特征提取3 1 3 2 4 分类3 1 3 2 5 时间序列分析3 5 3 3算法的测试和验证3 7 3 4本章小结3 9 第四章人脸检测与识别算法在嵌入式前端上的移植和优化4 0 4 1人脸检测与识别算法的移植4 0 4 1 1 硬件资源分配4 0 4 1 2 软件移植4 2 4 2算法的优化4 2 4 2 1 架构级优化4 3 4 2 2 算法级优化5 1 4 2 3 代码级优化5 4 4 2 4 优化的效果5 4 4 3本章小结5 5 第五章智能监控和预警系统5 6 5 1系统的搭建5 6 5 1 1d m 6 4 2 网络通信的实现5 6 5 1 2 前端特定目标跟踪的实现5 7 5 2服务器的实现5 8 5 2 1 服务器功能设计5 8 5 2 2 服务器具体实现5 9 5 3系统的扩展性考虑6 3 5 3 1 纵向扩展6 3 5 3 2 横向扩展6 4 5 4系统应用举例6 6 5 5本章小结6 7 8 9 上海大学硕士学位论文基于图像内容的嵌入式智能监控预警系统 1 1 研究背景及意义 第一章绪论 1 1 1 视频监控系统的现状及发展趋势 近年来，图像处理设备的性价比正在不断地提高，从而使得基于图像处理 的人机交互技术成为当前研究领域的热点。视频监控便是其中一个重要的研究 方向。 从模式上分，现有的视频监控系统主要有以下3 类： 1 传统c c t v 视频监控 使用闭路电视系统将各个摄像机的模拟视频信号集中到电视墙上显示。这 是最原始的视频监控系统形式，其存在着诸多不足，如模拟信号的传输距离有 限、远距离传输的模拟视频线价格昂贵、模拟视频存储不方便等。虽然之后还 发展出了d v r + c c t v 的数字录像+ 模拟监控的系统模式，稍微解决了视频存储 的问题，但该模式和之后新兴的全数字i p 视频监控相比仍不具备竞争力，所以 目前该模式已经逐渐被淘汰了。 2 基于传统i pc a m e r a 的网络视频监控 随着视频压缩技术的发展，数字化的视频信息的数据量在不断减小，使用 最新的h 2 6 4 压缩标准可以把d 1 格式的视频压缩到2 m b p s 的数据流而不对视 觉造成太大的影响；对于c i f 格式的视频，完全可以将其码率控制在5 0 0 k b p s 左右，如此低的带宽要求使视频数据在网线上传输已经成为可能。随之而来的 是对于视频监控系统的模式上的改革，全数字的i pc a m e r a 网络视频监控系统被 提出并很快成为视频监控方案的主流，该模式解决了模拟视频的传输代价和保 存问题，并且在使用的灵活性上远远优于模拟视频监控方案。 3 基于智能i pc a m e r a 的网络视频监控 虽然将视频数字化、网络化以后为视频监控的效率和成本带来了很大的改 善，但传统的网络视频监控在应用上太过于依赖于监控人员的忠诚度和敬业度， 这也是视频监控系统普遍存在的问题。针对这一问题，人们又提出了用人工智 1 0 上海大学硕士学位论文基于图像内容的嵌入式智能监控预警系统 能技术和传统视频监控技术结合来弥补该缺陷。简单而言，智能视觉监控系统 能在不需要人干预的情况下，通过摄像机拍录的图像序列进行自动分析来对场 景中的变化进行识别、定位和跟踪，减小系统对人的依赖性的同时还提高了报 警反应速度。这一全新的监控模式起步晚，对软件技术的要求高，同时理论上 还存在很多空缺需要完善，所以目前实际应用的很少，但监控系统智能化的发 展趋势决定了这类监控模式必然是将来的监控系统解决方案，有着很好的发展 前景。 本课题旨在研究智能网络监控系统的具体实现，提出了以d s p 为处理核心 的嵌入式智能前端配合后端服务器搭建智能网络监控系统的方案，并以目前视 频监控领域的研究热点之一的人脸识别为切入点，对整个系统的具体实现进行 了详细的阐述，对智能监控这一新兴的研究领域有一定的参考价值。 1 1 2 基于d m 6 4 2 的嵌入式图像处理设备简介 在嵌入式系统应用领域，d s p 芯片是高速数字信号处理中的使用最广泛的 微处理器。随着d s p 技术的不断发展，d s p 的性能不断提升，运算能力从几十 m i p s 提升到几千m i p s ，例如t i 推出的多媒体视频处理专用d s p - d m 6 4 2 ， 其峰值处理速度可以达到4 8 0 0 m i p s 。d m 6 4 2 的多通道结构和单指令多重数据 ( s 蹦d ) 、超长指令字结构( v l i m ) 、超标量结构、超流水结构、多处理、多 线程及可并行扩展的超级哈佛结构( s h a r c ) 使其在新的高性能处理器中将占据 主导地位。而c 6 0 0 0 系列特有的视频接n ( v p 口) 使d m 6 4 2 能和主流的模数转 换芯片无缝对接，极大地简化了数字图像的采集方法，同时v p 口还能作为数 字视频的输出口，对于拥有3 个v p 口的d m 6 4 2 来说，可以同时输入2 路视频 信号和输出一路视频信号，具有很好的使用灵活性。 t i 公司对于d m 6 4 2 的支持非常丰富，其陆续推出的评估板、开发板资料齐 全，完善的硬件原理图、p c b 图使用户在设计d m 6 4 2 外围电路时得心应手， 大大减少了整个产品的研发周期。在软件开发方面，t i 的c c s 集成开发环境操 作方便，可以进行软件仿真和同步调试。而特有的d s p b i o s 操作系统能以图 形化的配置方式管理d s p 的各个任务线程和软硬中断。另外，t i 还提供了专门 上海大学硕士学位论文基于图像内容的嵌入式智能监控预警系统 的图像处理函数库、网络支持函数库等一系列针对特定需求的扩展软件库来方 便用户进行软件的开发。 鉴于d m 6 4 2 能达到本课题在视频图像处理上所要求的处理速度，以及其成 熟的硬件、软件开发环境，选用d m 6 4 2 作为主处理器来完成本课题的嵌入式前 端的设计。 1 2 研究内容 本课题以目前智能视频监控领域中的研究热点人脸识别为切入点，在 验证和实现人脸识别算法的基础上，将其移植到以t i 的d m 6 4 2 为处理核心的 嵌入式前端中，再利用该嵌入式前端配合后台的服务器搭建出一个智能监控预 警系统，其中识别算法的前移为智能视频监控提供了一种独特的解决方案。 本文对基于图像内容的嵌入式智能监控预警系统的设计和研究，主要包括 嵌入式智能前端的设计、基于视频图像的人脸识别算法的研究和移植、算法在 d s p 上的优化、智能监控及预警系统的搭建等工作。涉及嵌入式d s p 系统开发、 视频图像处理、模式识别等技术领域的知识。 本课题完成的工作主要包括以下几个方面： 1 嵌入式智能前端的研究。包括研究以t i d m 6 4 2 为核心的图像采集处理 前端的组成结构、硬件各个模块的原理、视频口采集显示等驱动、脱机 自启动( b o o t l o a d e r ) 的实现方法等。 2 人脸检测和识别算法的实现和验证。在p c 上研究、实现和验证了人脸 检测和识别算法，并提出了利用帧问时间信息提高识别率的新方法。 3 人脸检测和识别算法的移植和优化。针对嵌入式d s p 前端的硬件结构， 将p c 上的成熟算法进行移植和优化。 4 智能监控和预警系统的搭建。利用多个具有人脸识别功能的前端和后端 服务器搭建出一个智能监控和预警系统。 1 2 上海大学硕士学位论文基于图像内容的嵌入式智能监控预警系统 1 3 本论文的主要结构 第一章绪论。主要介绍视频监控系统的现状及发展趋势，简单介绍了 t i d m 6 4 2 嵌入式图像处理设备的性能和开发环境。简述了本课题的研究内容 和完成的工作。 第二章简要介绍基于d m 6 4 2 的嵌入式智能前端的研究平台，为人脸检测和 识别算法的移植优化提供目标代码运行和测试的硬件环境。主要包括前端总体 框架说明，各功能模块的介绍，视频驱动和系统自启动的实现方法介绍。并简 单介绍了c c s 开发工具。 第三章阐述对人脸检测和识别算法的研究。提出了在复杂背景下检测人脸， 对人脸图像进行预处理，特征提取及分类的一系列算法，以及使用视频中时间 信息提高识别率的创新方法，并对这些算法在p c 上进行了测试和验证。 第四章将第三章提出的算法移植到d s p 平台上，并有针对性的进行优化。 移植工作包括硬件资源分配和软件环境移植。优化工作包括对原始程序进行架 构级、算法级和代码级的优化。 第五章提出以多个具有人脸识别功能的嵌入式前端和后端服务器搭建出一 个智能监控预警系统。给出了具体的搭建方案、服务器的实现方法及系统的扩 展性考虑。 第六章对全文的主要研究内容进行总结，并对将来的深入研究工作进行展 望。 上海大学硕上学位论文 基于图像内容的嵌入式智能监控预警系统 第二章嵌入式智能前端的研究平台 本课题的嵌入式智能前端以t i d m 6 4 2 为主处理器，配合f p g a 、s d r a m 、 f l a s h 等组成处理核心。其主要技术特点如下： 实时图像采集和监视。d m 6 4 2 的视频接口( v i d e op o r t ) 接收来自视频a d 转换而来的数字视频信号，并可以通过视频输出口在l c d 屏显示。 多任务嵌入式操作系统支持。采用t i 的d s p b i o s 多任务操作系统，大大 提高开发复杂的d s p 应用软件的效率。 系统自启动。为系统置入了b o o t l o a d e r 代码，可以脱离下载器自行初始化 并加载程序。 2 1 基于d m 6 4 2 的嵌入式智能前端概述 前端的系统框图见图2 - 1 ： 处理核心 r a s h s d r a m e m i f b u s 凸 一 f p g d s p r 。z 厂 t、(3-4) ，、 q = t o l w h o v z - i , i 其中f h 和岛为隐含层和输出层神经元的映射函数。 i 、 、 m h i i 图3 1 1 神经网络分类器模型 使用神经网络作分类器的关键是找到较好的训练神经网络的方法，本课题 使用遗传算法( g e n e t i ca l g o r i t h m s ，g a ) 来对神经网络进行训练，模拟自然界生物 遗传的g a 在解决优化和机器学习中显示了其特有的优越性，它在一定程度上 3 2 上海火学硕士学位论文基于图像内容的嵌入式智能监控预警系统 有效地解决了一些人工神经网络结构的学习问题。 不失般性，定义w l i - i i j 和w h o i j 的范围为( - 8 ，8 ) ，训练的目的就是对于输 入的样本，找到能使网络的输出与预期输出匹配得最好的连接权值w l h i j 和 w h o i j 。 g a 基本的求解步骤如图3 1 2 ： y l 计算适应度并捧序| 盔n 菇l堕堡磐墨 一! 二蕉i 三至 图3 1 2 遗传算法基本流程图 算法中的一些元素设计为： ( 1 ) 基因：定义基因g 是所有的w i h i j 和w h o i j 的集合，用矩阵 w l h tlw h o 表示，该矩阵是一个y ( x + z ) 的矩阵，y 为网络的隐层节 点数，x 为输入节点数，z 为输出节点数。 ( 2 ) 选择算子：使用稳态复制和适应度线性尺度变换结合的方法，即先将适 应度高的前m 个基因直接保留到下一代，然后用适应度的线性变换决 定选择概率，下一代中剩下的名额就按此概率选择。 ( 3 ) 交叉算子：由于g 是一个二维的矩阵，所以采用十字交叉法( 图3 1 3 ) ， 即在矩阵内随机确定一点，然后将该矩阵分为4 个小矩阵，子代由父代 交换对角小矩阵得到。 一群一 蠢| | 譬 上海大学硕士学位论文基于图像内容的嵌入式智能监控预警系统 图3 1 3 十字交叉算子 ( 4 ) 变异算子：使用常规位突变，即以一定概率选择一些位进行变异，变异 的位所对应的w i h i j 或w h o i j 更换为( - 8 ，8 ) 区间的一个随机值。 ( 5 ) 适应度函数：采用欧式权距离法计算网络使用每个个体基因对应的权值 时，对于输入训练样本的输出与期望输出的距离，此距离在数值上表示 训练的误差，对于每个样本所求得的距离进行累加，得到总误差，我们 要让这个总误差最小，故适应度函数取其负数即可。具体计算过程为： 1 】待求基因对应的权值矩阵为 w i h 。lw h o ，将这些权值放入网络 中对应的位置，得到一个待评估的网络。 2 】将每个训练样本墨一 以。，以：，魄 输入代评估的网络，得到其输 出j ，f = o u t , l ，d “2 ，d f 0 】。 【3 】计算每个训练样本的输出误差，即求其对应的输出和期望输出之间 的欧式权距离： ，、 碣= i m ( o u t , ：一勺) 2i = j 矿( 五一巨) i ( 3 - 5 ) j = l 式中w = 【w ，w 2 ，叱】，表示每个输出节点对应的误差权重； 互= q 。，q ：，】，毒示对于训练样本s i 的期望输出； “ 运算表示两个向量对应位相乘，结果仍是一个向量； “i i 运算表示向量的模，即其到原点的距离。 上海大学硕士学位论文 基于图像内容的嵌入式智能监控预警系统 练。 【4 】将每个训练样本的输出误差相加，取相反数后即为此待求基因的适 应度： k = 一4 ( 3 6 ) 一l 、”， f 经过试验，该方法收敛速度快，能够很好的在短时间内完成神经网络的训 3 2 5 时间序列分析 由于考虑到算法以后的移植，所以在单张人脸识别的算法上使用了计算量 较小的“p c a + 神经网络 的算法，不可避免的造成了单张人脸的识别率没有其 他复杂的算法好，但本课题研究的应用场合是视频图像，所以还可以利用时间 信息来提高识别率。时间序列分析指将一段时间内的每一帧的分类结果进行记 录，并综合分析出现在该时间段的人脸的所属类别，其流程使用状态机描述， 见。图3 1 4 。 ，7 ， 达到继续跟踪条件 达到跟踪条件 ， ，7来达到继续跟踪条件 ， 未达到重新跟踪条件， 重新跟踪条件 、。达到中止跟踪条件 、 、 未达到有效跟踪条件 状态机各状态说明： 达到可以识别条件 迭到有效跟踪条件 图3 1 4 时间序列分析状态机 上海大学硕上学位论文 基于图像内容的嵌入式智能监控预警系统 1 等待：若分类器的输出结果表明该人脸不属于任何样本类别，则不会触 发识别结果输出，此时状态机出于等待状态。 2 跟踪：一旦分类器的输出表明当前待识别的人脸有较大可能属于样本类 别中的一类时，状态机从等待进入跟踪状态，之后的每一帧若满足继续 跟踪的条件，则状态机将保持在跟踪状态，在跟踪状态中，记录每一帧 的分类器输出状态。 3 待中止：在跟踪状态下，若出现某一帧的分类器结果不满足继续跟踪的 条件，则进入待中止状态。之后若能达到重新跟踪的条件，则状态机重 新回到跟踪状态，这样做的目的是为了避免因为某些原因( 如暂时遮挡) 而造成跟踪的中断。 4 中止跟踪：待中止状态下若连续若干帧都无法达到重新跟踪的条件，则 认为本次跟踪结束，进入中止跟踪状态。此时将会对本次跟踪的分类器 记录进行整理。若达到有效跟踪条件，则进入统计投票状态，否则将本 次跟踪的相关变量清零后，回到等待状态。 5 投票统计：当一次跟踪持续较长时问( 达到能够进行识别的条件) 或一次 跟踪正常结束( 中止跟踪状态中达到有效跟踪条件) 后，对本次跟踪期间 的分类器输出进行统计，采用投票的方式产生最后的分析结果。投票的 方式为：每次分类器输出的前3 个最大值具有投票权，若某个具有投票 权的输出值为x ，则其对该输出所对应的类别贡献e l o x 点票数，最后对 所有的类别获得的票数进行统计。 6 得出识别结果：经过统计以后，若发现有一类的得票数占到总票数的 1 2 以上，则认为本次跟踪的人脸既是该类别，将此结果输出。最后将 本次跟踪的相关变量清零后，回到等待状态。 状态机各转移条件说明： 1 跟踪条件：分类器的输出中有一项达到0 7 以上。 2 继续跟踪条件：分类器最大输出项达到o 5 以上。 3 重新跟踪条件：分类器最大输出项达到o 5 以上。 4 中止跟踪条件：在待中止状态下持续连续5 帧。 上海大学硕士学位论文 基于图像内容的嵌入式智能监控预警系统 5 有效跟踪条件：本次跟踪在跟踪状态累计持续1 5 帧。 6 可以识别条件：有某一类对应的分类器输出项累计有1 0 次达到o 7 以 上或跟踪状态累计持续5 0 帧。 3 3 算法的测试和验证 为了检测本章所述之人脸检测和识别算法的性能，用一台前端p c 来代替 嵌入式前端，对本章所述的算法进行测试和验证。测试环境的物理结构如图 3 1 5 。各设备具体为： 两台p c ：c p u c o r e 26 6 0 0 ，主频2 4 g ，内存2 g 图像采集卡：大恒d h c g 3 0 0 ，能直接采集到y u v 4 2 2 格式视频 摄像头：深视音s y - c s 3 0 9 室外彩色一体化高速球型摄像机 视频录像 入脸库 姆 毋 图3 1 5 算法测试环境的物理结构 将人脸检测和识别算法在前端p c 上实现，开发环境是v c h 6 0 ，将识别 结果通过网线传输到服务器p c ，服务器端对识别结果进行报警处理。图像输入 考虑使用视频录像文件、标准人脸库和实时采集视频等3 种来源，对其分别使 用本章的算法进行测试，结果如表3 3 。 3 7 上海大学硕士学位论文基于图像内容的嵌入式智能监控预警系统 表3 3 算法效果测试结果表 图像来源样本库情况人脸检测人脸识别人脸识别 效果 ( 无时间序列分析)( 有时间序列分析) o r l 人脸库 4 0 人， 识别率：8 0 5 1 0 张人错误率：3 5 每人5 张作为无法识别率：1 6 样本速度：6 m s 张 视频录像文件手动框取其中效果较好识别率：5 2 识别率：7 8 d 1 ，p a l 制的人脸来建库速度：错误率：2 0 错误率：8 4 2 2 格式人脸库1 0 0 人1 2 m s 帧无法识别率：2 8 无法识别率：1 4 录像时间2 7 0样本为l o 张人 速度( 包括人脸检测) ： 速度( 包括人脸检n ) - 分钟 2 0 m s 帧 2 4 m s 帧，报警延迟1 - 2 秒 实时采集视频人脸库1 2 0 人效果较好识别率t5 5 识别率：8 8 5 d 1 ，p a l 制样本为速度：错误率：2 8 错误率：2 y u v 4 2 2 格式2 0 张人4 0 m s 帧无法识别率：1 7 无法识别率：9 5 室内拍摄用其中的2 5 人 速度( 包括人脸检测) ：速度( 包括人脸检n ) - 当场测试4 0 m s 帧4 0 m s 帧，报警延迟2 3 秒 对于无时间序列分析的基本人脸识别来说，神经网络分类器的输出中如果 只有l 项是大于0 5 的，则认为此次识别的结果为其对应的类别，否则认为此 次识别结果为无法识别；对于有时间序列分析的人脸识别来说，投票统计以后， 若发现有一类的得票数占到总票数的l 2 以上，则认为本次跟踪的人脸即是该 类别，否则认为本次跟踪的识别结果为无法识别。表3 3 中的人脸识别的错误 率是指有分类结果但结果错误的百分比，表中的无法识别率指识别结果为无法 识别的百分比。 从表3 3 中可以看出，若不加入时间序列分析，本章的人脸识别算法在o r l 标准库上具有不算差的识别率，但在实际场景中( 录像和视频) ，由于背景、光 照等影响，识别率会迅速下降；而在视频中加入时间序列分析后，识别率重新 回到可以接受的范围，当然这样做的代价就是识别结果需要延迟2 秒左右才能 上海大学硕士学位论文基于图像内容的嵌入式智能监控预警系统 得出，这在监控系统的设计中还是可以接受的。 另外，在加入时间序列分析后，图像的处理速度为2 4 m s 帧，在用实时视 频做测试时，由于需要等待实时的视频，所以速度维持在4 0 m s 帧，可以看到 其中还有大约每帧1 6 m s 的时间富裕，这对于本课题最终需要将算法移植到嵌 入式前端中的目标是十分有利的。 3 4 本章小结 本章对人脸检测和识别算法进行了研究，并根据本课题的应用场合，结合 各种成熟的算法，提出了一种简单、快速、有效地人脸检测与识别算法，最后 在p c 上对该算法进行了测试和验证，实验结果证明该算法确实具有较好的效 果且运算时间较短，有着很好的嵌入式移植价值。 3 9 上海大学硕上学位论文 基于图像内容的嵌入式智能监控预警系统 第四章人脸检测与识别算法在嵌入式前端上的移植 和优化 本章在前一章对人脸检测与识别算法研究的基础上，将介绍将这一套算法 完整的移植到嵌入式前端的方法。同时，由于嵌入式系统的硬件资源有限，本 章还会对如何在本课题所使用的基于d m 6 4 2 的嵌入式前端上优化这一套算法 进行详细介绍。 4 1 人脸检测与识别算法的移植 移植的目的是为了做到让资源有限的嵌入式处理器能完成和p c 上一样的 功能。决定是否能够移植成功的因素主要有硬件和软件两方面，硬件上需要对 嵌入式系统的有限的资源进行合理的分配，使各个模块的资源足够完成指定功 能；软件上主要考虑编程语言、编译环境、支持库函数、操作系统等几方面对 待移植的软件的影响。 在本课题的人脸检测和识别算法中，肤色模型的训练、p c a 特征提取的训 练、神经网络的训练等训练算法不需要移植，嵌入式前端只需利用已经训练好 的各种参数来进行最后的检测和识别操作。 4 1 1 硬件资源分配 本课题使用的基于d m 6 4 2 的嵌入式前端的硬件资源主要包括： 1 f l a s h 容量：4 m b ，分8 个区，每个区5 1 2 k b 。 2 s d r a m 容量：6 4 m b ，3 2 位总线。 3 f p g a 资源：5 9 8 0 个逻辑单元( l e ) 、最大9 2 1 6 0 b i t 的片上r a m 资源、 2 个数字锁相环。 4 d s p 资源：c p u 工作频率为6 0 0 m h z ，峰值指令处理速度为 4 8 0 0 m i p s ，有2 级缓存( c a c h e ) ，l 1c a c h e 有程序缓存和数据缓存各 1 6 k b ，l 2c a c h e 大小为2 5 6 k b 。 上海大学硕士学位论文 基于图像内容的嵌入式智能监控预警系统 f l a s h 主要存放程序代码、常量、配置及需要断电保存的其他数据。在本 课题所研究的人脸检测和识别算法中，这类数据有： 1 p c a 算法的投影方向矢量。人脸图像( 已经经过预处理) 的大小是3 2 x 3 2 ，本课题取p c a 的前5 0 个特征值对应的特征矢量作为投影方向， 其中每个数值都是d o u b l e 类型( 8 b ”e ) ，所以投影方向矢量的总大小 是3 2 3 2 5 0 x 8 = 4 0 0 k b 。 2 p c a 算法的样本平均值。每个数值都是d o u b l e 类型，总计3 2 3 2 8 = 8 k b 。 3 神经网络的权值。神经网络的输入层节点数既是人脸的特征数，为 5 0 ，输出节点数为人脸的类别数，设计的上限为2 0 0 ，隐层节点数一 般在输入和输出节点数的均值左右，设计的上限为1 5 0 ，每个权值都 是一个【- 8 ，8 】上的2 b y t e 浮点数，所以神经网络的权值的设计上限为 ( 5 0 + 2 0 0 ) x1 5 0 x 2 = 7 5 k b 。 4 相关配置参数。包括人脸肤色模型参数、p c a 特征数配置、神经网 络各层节点数配置等，其总大小不足1 k b 。 本课题的f l a s h 大小为4 m b ，用高位扩展的方法通过f p g a 地址译码和 d s p 连接，扩展了3 根地址线，所以f l a s h 逻辑上被分为8 个b a n k ，因此， f l a s h 的资源分配设计为： 表4 1f l a s h 资源分配表 扩展地址 容量用途 o o o5 1 2 k bc o d e 0 0 1 5 1 2 k bc o d e o l o5 1 2 k b r e s 州( f o rc o d 曲 o l l5 1 2 k b 算法需要的数据4 0 0 + 8 + 7 5 = 4 8 3 k b ，舀己置数据 0 部分) 为： z ( x ) = 2 t x ) + ( o 1 0 ) 2 2 。3 x ) + ( o 11 0 ) 2 2 。 工) + ( o 1 1 l o ) 2 2 。5 z ) + ( o 1 1 1 1 0 ) 2 2 。6 工) + ( 0 1 1 1 1 1 0 ) 2 2 1x ) + ( 0 1 1 1 1 1 1 0 ) 2 2 。8 + ( o 1 1 1 1 1 1 1 0 ) 2 2 - 8 + ( o 1 1 1 1 1 1 1 1 ) 2 式中 x ) 表示x 的小数部分，x 的整数部分定义为3 位，所以x 的取 值范围是( 8 ，8 ) ，x 0 部分能根据对称性得到，就不列出公式了，逼近 的效果如图4 1 0 。 劲 - 4 ，l 1 2 3 4 5 6 7 8 石 石 x x 石 x 工 石 一 一 一 一 一 一 一 一 0 1 2 3 4 5 6 7 上海大学硕上学位论文基于图像内容的嵌入式智能监控预警系统 图4 1 0 折线逼近的效果 除了以上神经元的激励函数的实现之外，神经网络分类器中其它 模块的实现都比较常规，只要注意计算时的溢出保护，实现起来都没 什么难度，本文也就不再一一介绍了。 通过以上5 步，完善地解决了神经网络分类器整体移入f p g a 中会出现的 d s p 流程更改、d s p 与f p g a 通信、f p g a 实现等问题，并且经过实际测试， 如此在架构上的优化使整个基于d s p + f p g a 双处理器的人脸识别处理速度加 快了近3 0 。 4 2 2 算法级优化 在本课题研究的人脸检测与识别算法中，算法级优化工作包括： 1 人脸检测时对原始图像先进行下采样，减少检测时遍历整幅图像的计 算量。具体做法为，采集到的图像为d l ( p a l 制) ，y u v 4 2 2 格式的， 其中y 分量原始分辨率为7 2 0 5 7 6 ，现下采样到3 6 0 2 8 8 ：u 分量 和v 分量的原始分辨率均为3 6 0 x5 7 6 ，现下采样到1 8 0 1 4 4 。用下 采样后的图像进行人脸肤色检测，用原始的图像进行人脸验证，能够 减少肤色检测时对图像的遍历时间，同时对人脸验证影响不大。 上海大学硕士学位论文基于图像内容的嵌入式智能监控预警系统 2 利用帧间信息来减少人脸检测的搜索区域。主要利用2 种信息，一种 是人脸检测前加入运动检测，只对连续图像中存在运动的区间进行检 测；第二种是利用人脸跟踪信息，由于时间上的高度相关性，同一人 的脸在前后两帧中出现的位置应该不会差别很大，所以在上一帧已经 检测到的人脸周围进行检测，命中的概率会比较高。综合利用这2 种 帧间信息，改进后的人脸检测区域的确定策略为： 1 】若前一帧检测到人脸，则将该人脸所在区域以4 个方向同时扩大原 方向宽度的0 1 倍，使新区域的面积变为原区域的1 4 4 倍，最后对 新区域进行人脸检测。 【2 】若前一帧没有检测到人脸但存在运动，则对这些运动区域以同样方 法分别扩大为原来的1 4 4 倍，并对每一个扩大后的区