（计算机应用技术专业论文）网络视频监控系统及基于人脸检测的目标追踪.pdf

电子科技大学硕士论文：网络视频监控系统及基于人脸检测的目标追踪 摘要 本课题为四川省科学技术厅下达的科技攻关项目。题目“基于 w e b 的m p e g 4 实时音视频监控系统”。本人在课题中承担主要开发 与研究任务，与几位同学一起，采用d s - 4 0 0 x h 视频采集卡开发了两 套w i n d o w s 和l i n u x 环境下的网络视频监控系统。并研究了视频流 中对人的跟踪监控技术，提出一种基于人脸检测的智能跟踪监控算 法。 目前监控系统当中使用得比较成熟的技术有：m p e g 一4 、实时传输 协议( r t p ) 、视频流中运动检测。 m p e g 一4 引入了视频对象的概念，有效地支持基于内容的图像编 码，对不同的视频源标准格式和不同的视频码率提供有效的编码，以满 足众多多媒体的应用需求，因而在目前视频解压缩格式中成为主流。 实时传输协议( r t p ) 是一种独立于应用程序的协议规范，是用来 解决i p 网上为传送实时数据包的一种i e t f 标准协议。开发r t p 的 目的就是为了满足用于音频和视频这类连续媒体数据的实时通信的 要求，在会话中提供协同工作和控制的能力，为具有实时特性的数据传 送提供服务。 运动检测在监控系统中是一个必不可少的功能，它可以使操作员 能及时对突发事件做出反应，或者当操作员没有守候在控制台时，系 统可以自动对某些事件做出报警响应。 运动检测属于“计算机视觉”研究领域中人运动的视觉分析，人 运动的视觉分析主要是针对包含人的运动图像序列进行分析处理，它 通常涉及到运动检测、目标分类、人的跟踪及行为理解与描述几个过 程。其中，运动检测、目标分类、人的跟踪属于视觉中低级和中级处 理部分( 1 0 w1 e v e la n di n t e r m e d i a t el e v e lv i s i o n ) ，而行为理解和描述则 属于高级处理( h i g hl e v e lv i s i o n ) 。 本文针对当前监控系统智能化程度不高的特点，探讨了机器视觉 的研究现状、发展趋势；并以人脸检测与识别为突破口，研究在监控 视频流中如何实现对人的跟踪。提出一种基于y u v 色度空间的人脸 检测算法，根据实验结果讨论了这个算法的优缺点，并得出它能在监 控视频流中很好地实现人的跟踪的结论。 关键词：视频监控，运动检测，人脸，跟踪，y u v 色度空阅 电子科技大学硕士论文：网络视频监控系统及基于人脸检测的目标追踪 a b s t r a c t t h i ss u b j e c ti st h et a c k l ek e yp r o j e c ta s s i g n e db yt h es c i e n c ea n d t e c h n o l o g yb u r e a uo f s i c h u a np r o v i n c e t h et o p i ci s ”m p e g 4r e a l - t i m e a u d i oa n dv i d e os u r v e i l l a n c e s y s t e mb a s e do nw e b ”m yr o l e ，i n t h e p r o j e c t ，i st od e v e l o pt h ea p p l i c a t i o ns o f t w a r ea n ds t u d yt h ec o r r e l a t i v e a r i t h m e t i ct h e o r yi nt h es n b j e c t w ea d o p td s 一4 0 0 x hv i d e oc a p t u r ec a r d t od e v e l o pt w os e t so ft h en e t w o r kv i d e os u r v e i l l a n c es y s t e mu n d e rb o t h w i n d o w sa n dl i n u x o p e r a t i o ns y s t e m s t u d y i n g t h e t e c h n o l o g y o f t r a c k i n gp e o p l e i nv i d e o s t r e a m ，w ep u t f o r w a r do n e a l g o r i t h m o f i n t e l l i g e n tt r a c k i n gb a s eo nf a c ed e t e c t i o n a tp r e s e n t ，t h ep r e v a l e n c eu s e dt e c h n o l o g i e si nt h es u r v e i l l a n c e a r ea sf o l l o w s ：m p e g 一4 ，r e a lt i m et r a n s p o r tp r o t o c o l ( r t p ) ，m o t i o n d e t e c ti nt h ev i d e os t r e a m m p e g - 4i n t r o d u c e st h ec o n c e p to ft h ev i d e o so b j e c t ，s u p p o r t st h e i m a g ec o d eb a s e do nc o n t e n te f f e c t i v e l y ，o f f e rt h e e f f e c t i v ec o d ef o r d i f f e r e n tv i d e os o u r c es t a n d a r df o r ma n dd i f f e r e n tv i d e oc o d i n gr a t e s ，i n o r d e rt om e e tt h e a p p l i c a t i o n d e m a n d so fn u m e r o u s m u l t i m e d i a ， t h e r e f o r eb e c o m et h em a i n s t r e a mi nt h ef o r mo fd e c o m p r e s s i n go ft h e v i d e oa tp r e s e n t r e a lt i m et r a n s p o r tp r o t o c o l ( r t p ) i sak i n do fn o r mo fp r o t o c o l i n d e p e n d e n to fa p p l i c a t i o np r o g r a m ，ak i n do fi e t fs t a n d a r dp r o t o c o l u s e df o r s o l v i n g t o c o n v e y t h er e a l - t i m ed a t a p a c k a g e s o ni pn e t p u r p o s et od e v e l o pr t pi s t of i tt h ed e m a n do ft h ec o n t i n u o u sm e d i a r e a l - t i m ec o m m u n i c a t i o no fd a t ao fa u d i oa n dv i d e o ，o f f e rt h ea b i l i t yt o w o r ka n dc o n t r o l l i n gi nc o o r d i n a t i o ni n c o n v e r s a t i o n ，p r o v i d es e r v i c e f o rt h ed a t at r a n s m i s s i o nw i t hr e a l t i m ec h a r a c t e r i s t i c i ti sa ne ss e n t i a lf u n e t i o nt h a tt h em o t i o ni sd e t e c ti nt h e s u r v e i l l a n c e ，i tc a ne n a b l eo p e r a t o rt om a k ear e s p o n s et oa c c i d e n ti n t i m e ，o ra st h eo p e r a t o ri s n o tw a i t e di nt h ec o n t r o lc a b i n e t ，t h es y s t e m c a nr e p o r tt ot h ep o l i c ea n dr e s p o n dt os o m ei n c i d e n t sa u t o m a t i c a l l y m o t i o nd e t e c t i o nb e l o n g st ov i s i o na n a l y s i si na r e ao f ”c o m p u t e r v is i o n ”v i s i o na n a l y s is m a i n l ya n a l y s e sa n dp r o c e s s e st h ei m a g ea r r a y i n c l u d e do fp e o p l em o v e ，w h i c hu s u a l l yi n v o l v e sp i e c e so fc o u r s eo f 狐 电子科技大学硕士论文：网络视频监控系统及基于人脸检测的目标追踪 m o t i o nd e t e c t ，o b j e c tc l a s s i f y ，p e o p l et r a c k i n ga n db e h a v i o ru n d e r s t a n d a n dd e s c r i b e i nt h e m ，m o t i o nd e t e c t ，o b j e c tc l a s s i f y ，p e o p l et r a c k i n g b e l o n g t ot h el o wl e v e la n di n t e r m e d i a t e1 e v e lv i s i o na n db e h a v i o r u n d e r s t a n da n dd e s c r i b eb e l o n gt ot h eh i g hl e v e lv i s i o n a i m e da tt h el o w l e v e l i n t e l l i g e n t r es e a r c h d e g r e e o ft h e s u r v e i l l a n c e ，t h et h e s i sh a sd i s c u s s e dt h er e s e a r c hc u r r e n ts i t u a t i o na n d d e v e l o p m e n tt r e n do fc o m p u t e rv i s i o n f a c ed e t e c t i o na n dr e c o g n i z ei s f o rb r e a c h w es t u d yh o wt or e a l i z ep e o p l et r a c k i n g d u r i n gt h e v i d e o s t r e a mi ns u r v e i l l a n c e o n ea l g o r i t h mo ff a c ed e t e c t i o nb a s e do nc o l o r s p a c e o fy u vi s b r i n g i n gf o r w a r d a d v a n t a g ea n dd i s a d v a n t a g ea r e d i s c u ss e d d e p e n d e do nt h ee x p e r i m e n tr e s u l t i t isc o n c l u d et h a tt h i s a l g o r i t h m c a nc o m m e n d a b l yr e a l i z e p e o p l et r a c k i n gd u r i n gt h ev i d e o n o wi ds u r v e i l l a n c e k e y w o r d ：s u r v e i iia n c e m o t i o nd e t e c t f a c e ，t r a c k i n g ，c o i o r s p a c eo fy u v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及 取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电 子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示 谢意。 签名：董互鱼甄日期：砂吖年了月协日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：丝堡盏 电子科技大学硕士论文：网络视频监控系统及基于人脸检测的目标追踪 1 1 项目背景 第1 章绪论 远程视频监控系统是近年来网络】p 视频应用发展的一个方向， 涉及了计算机领域多种前沿技术。它可以借助网络从而突破距离上的 障碍将监控信息从监控中心释放出来，在远程不同地点得分控中心或 同一个分控中心可同时点看某一个或者几个监控现场的音视频数据； 从而实现分布式的音视频接入和音视频数据共享。同时，可以与监控 现场人员进行对讲；可以对远程监控现场的云台、摄像机等外围设备 进行控制。 视觉是一种复杂的信息处理任务，它的研究涉及计算机技术和心 理神经生物科学，早期的理论框架由d m a a r 于2 0 世纪8 0 年代初 期提出，他把视觉信息处理划分为三个不同层次来插述：a 计算理 论；b 算法；c 实现机制。 人脸识别技术在国家重要机关及社会安防领域具有广泛而特殊 的用途。例如：公安系统的视觉监控、证件和各类金融卡持有人的身 份验证等。同其它人体生物特征( 如：指纹、掌纹、虹膜、语音等) 识 别技术相比，人脸识别技术的隐蔽性最好，是当今国际反恐安防最重视 的科技手段和攻关目标之一。 另外，人脸识别技术还可应用于多媒体数据库的视频检索，以及多 媒体制作方面。近几年，随着计算机硬件和软件技术的发展，基于人脸 识别技术的表情信息提取也成为可能，它可用于改进人机交互方式，从 而产生更加人性化、智能化的计算机系统。人脸识别技术的发展正是 受到商业应用需求的推动，以及相关技术的发展而得到空前的重视，成 为图像识别和理解领域中的研究热点。 1 2 项目中主要相关技术介绍 项目中使用到一些现成技术来进行网络多媒体监控的开发，并对 智能监控中一些新技术如运动检测、人的追踪监控等进行了研究。目 前监控系统当中使用得比较成熟的技术有：m p e g 4 、实时传输协议 ( r t p ) 、视频流中运动检测。 1 2 1m p e g 一4 视频标准 电子科技大学硕士论文：网络视频监控系统及基于人脸检测的目标追踪 m p e g 4 引入了视频对象的概念，有效地支持基于内容的图像编 码，对不同的视频源标准格式和不同的视频码率提供有效的编码，以满 足众多多媒体的应用需求。 从结构上看，mpeg 一4 标准分为六个部分：系统层、视频、音频、 dmi f 、一致性测试( c o n f o r m a n c et e s t i n g ) 和参考软件( r e f e r e n c e s o f t w a r e ) ，前四个模块为mpeg 4 的核心模块，从层次上来讲，可划 分成三个层次：压缩层，同步层，传输层。压缩层对应视频、音频核心部 分，对传输部分是不可知的。 1 2 2r t p r t c p 实时传输协议 多媒体网络通信具有实时性、连续性、集成性、交互性及大数据 量的特点。在目前的多媒体网络通信应用中，我们还需解决许多问题， 如：时延、带宽、数据安全、服务质量( q0s ) 等问题。传统协议已经 不能满足多媒体网络中的实时通信要求。为了解决i n t e r n e t 上多媒体 通信所面临的问题，i e t fi n t e r n e t 工程任务组( i n t e r n e te n g i n e e r i n g t a s kf o r c e ) 制定了实时传输协议( rtp ) 。 实时传输协议( rtp ) 是一种独立于应用程序的协议规范，是用 来解决ip 网上为传送实时数据包的一种ietf 标准协议。开发r tp 的目的就是为了满足用于音频和视频这类连续媒体数据的实时 通信的要求，在会话中提供协同工作和控制的能力，为具有实时特性的 数据传送提供服务。rtp 可以支持各种实时通信的应用，比如同步 的恢复、信号丢失的监测、安全保密和内容的识别等。rtp 具备一 种时间戳与控制机制，可以实现带有定时特性的不同信息流之间的同 步，rtp 采用基于速率的流量控制机制，使得发送方与接收方之问协 同工作。 rtp 由两个紧密相关的部分组成：实时传输协议( rtp ) 和实 时传输控制协议( rtcp ) 。 1 2 3m o tio nd e t e c t 运动检测技术 运动监测是多画面处理器的一个重要功能，尤其是在银行金库、 博物馆、档案馆等机构，这种功能极其重要。比如说为了及时发现潜 入金库试图打开保险柜的罪犯，一般都会将摄像头对准被监视的保险 柜。但是操作员不可能每时每刻都守在屏幕前盯着保险柜看，所以这 时就必须利用运动监测功能来代替人“站岗”。多画面处理器的系统 菜单里一般都会允许操作员设定监测图像运动的位置、运动强弱等参 电子科技大学硕士论文：网络视频监控系统及基于人脸检测的目标追踪 数。一般产品所允许设定的报警位置为一个或凡个矩形框内的图像， 而一些新型的产品则允许用户在屏幕上圈定出任意形状的一个或多 个报警区域。当这些区域内图像发生超出预定强度的运动时，画面处 理器将发出报警信息并做出相应的处理。随着数字处理技术的广泛应 用以及新型微处理器的发展，运动报警功能也变得越来越灵活和越来 越强大，这极大的增强了图像监控系统的可靠性和稳定性。 一般的视频图象是三维图象的二维投影，虽然不能完全反映真实 的三维物体或场景，但是三维图象发生变化时其二维投影图象也会发 生相应的改变。连续视频流的场景也具有连续性，图象若没有运动， 连续帧图象之间变化很小；反之若有运动产生则会引起帧差。因此用 此法可以确定图象序列有无运动。 最简单的算法是直接计算帧差绝对和。对于检侧图象区域a ，运 动检测的判决条件为： 2 | 一j s ( 工，y ，f ) 一s ( x ，y ，t 一f ) f r ，11 、 ( x ，y ) 一 l 1 。1j 为了克服光照变化引起的虚警报。修改报警判据，加人整体光照 敏感的添加项。判定条件如下： ，萋，u ( y ，r ) - s ( x , y , t - a f ) 土，y ，) s ( ) c ，_ y ，f 一f ) 1 ) ) n ， ( x ，) 曼一t 1 菇南 ”。 。 ( 1 2 ) 1 2 4 人脸检测与识别 人脸识别( f a c er e c o g n i t i o n ) 是指基于已知的人脸样本库，利用图 像处理和模式识别技术从静态或动态场景中，识别或验证一个或多个 人脸。通常识别处理后可得到的基本信息包括人脸的位置、尺度和姿 态信息。利用特征提取技术还可进一步抽取出更多的生物特征( 如：种 族、性别、年龄等) 。 最后一张将会详细讨论以人脸检测与识别为突破口，研究在监控 视频流中如何实现对人的跟踪，并提出一种基于y u v 色度空间的人脸 检测算法。 1 3 本人所完成的工作 本课题为四川省科学技术厅下达、民口纵向科技攻关项目。题目 “基于w e b 的m p e g 4 实时音视频监控系统”。本人在课题中承担主 3 电子科技大学硕士论文：网络视频监控系统及基于人脸检测的目标追踪 要开发与研究任务，与几位同学一起，采用d s 4 0 0 x h 视频采集卡开 发了两套w i n d o w s 和l i n u x 环境下的网络视频监控系统。并研究了 视频流中对人的跟踪监控技术，提出一种基于人脸检测的智能跟踪监 控算法。 1 4 本人主要研究的内容及章节安排 本文开篇简要介绍了项目的背景以及国内外的现状；在二、三、 四章中介绍了监控系统开发中使用到的技术：m p e g 4 、实时传输协 议( r t p ) 、视频流中运动检测：第五章介绍了网络视频监控系统的设 计与实现，属于应用工程开发；第六章以运动检测为结合点，研究了 计算机视觉在智能监控中的应用。 第七章为本文的研究创新点。本章研究在监控视频流中如何实现 对人的跟踪。提出一种基于y u v 色度空间的人脸检测算法，根据实 验结果讨论了这个算法的优缺点，并得出它能在监控视频流中很好地 实现人的跟踪的结论。 4 电子科技大学硕士论文：网络视频监控系统及基于人脸检测的目标追踪 第2 章m p e g 4 压缩技术简介 2 1 图像压缩算法的发展 2 1 1 图像压缩的可行性 图像压缩的目的是为了减少需要保存或传输的数据量，但这应以 不破坏原有图像的信息为根本原则，否则，这种压缩就是无用的。由 于原始图像中的数据量的大小与其携带的信息量并不相等，我们可以 通过去除原始图像中的没有携带信息的数据以达到压缩的目的。一般 来说，图像数据中存在以下几种冗余；编码冗余；知识冗余；视觉冗 余。采取一定的策略从原始信息中找出并去掉这些冗余中的一种或几 种，就可以达到压缩的目的。 2 1 2 图像压缩的分类 图像压缩方法的分类，按照不同的出发点有几种不同的分类结 果。 按解码后的数据与原数据是否完全一致进行分类，数据压缩方法 一般划分为两类： 1 ) 可逆编码方法 2 ) 不可逆编码方法。 根据压缩方法的原理进行分类，可以有以下的划分： 1 ) 预测编码。这是一种基于统计冗余的编码方法。对于空间冗 余来说，由于同帧图像内相邻像元点之间的相关比较强，因而任何一 像元点均可以由与它相邻的且已被编码的点来进行预测估计。对于时 间冗余的预测与此类似，只是将帧内换为帧问。 2 ) 变换编码。这也是一种针对统计冗余进行压缩的方法。所谓 变换编码是将图像光强矩阵( 时域信号) 变换到系数空间( 频域) 上 进行处理的方法。交换编码一般采用正交变换来做。 3 ) 信息墒编码。这是种根据信息嫡原理让出现频率大的码字 短的码字表达，反之用长的码字表达。最常见的方法如哈夫曼编码、 游程编码以及算术编码。 5 电子科技大学硕士论文：网络视频监控系统及基于人脸检测的目标追踪 4 ) 结构编码。也称为第二代编码。编码时先将图像的边界、轮 廓、纹理等结构特征求出来，然后保存这些参数信息。解码是根据结 构和参数信息进行合成，从而恢复出原图像。 5 ) 基干知识的编码。对于人脸等可用规则描述的图像，可以利 用人们对于人脸的知识形成一个规则库，据此将人脸的变化等用一些 参数进行描述，从而用参数加上模型就可以实现人脸的图像编码和解 码。基于知识的编码是一种比较新的编码理论，目前仍在理论研究阶 段。 2 1 3 常用的图像压缩技术编码方法简介 i 预测编码 预测编码是统计冗余数据压缩理论的三个重要分支之一，它的理 论基础是现代统计学和控制论。预测编码主要是减少了数据在时间上 和空间上的相关性，因而对于时间序列数据有着广泛的应用价值。预 测编码在图像的编码和解码中得到了广泛的实际应用。预测编码是根 据某一模型利用以往的样本值，对于新样本值进行预测，然后将样本 的实际值与其预测值相减得到一个误差值，对这一误差值进行编码， 如果模型足够好且样本序列在时间上的相关性较强，那么误差信号的 幅度将远小于原始信号，从而可以用较少的数据类对其差值量化得到 较大的数据压缩结果。现在常用的方法是差分脉冲编码调制( d p c m ) 法。利用预测编码的方法压缩图像数据的空间和时间冗余性，这种方 法直观、简捷、易于实现，它的不足在于压缩能力有限。 i i 正交变换编码 变换编码方案把n * n 像素的图像分割成n * n 像素的子图像，然 后对每个子图像进行单位变换。单位变换是一种可逆的线性变换。变 换的目的是去除原始信号中像素间的相关性。这种去除相关的操作一 般会造成信号能量仅在一小组传输系数上重新分布，利用这种方法， 许多数可以在量化之后，编码之前被省略掉。而且在系数量化的过程 中，可以借助于对比度敏感函数达到视觉上的无损压缩。基本的变换 编码的框图如下： 编码过程： 电子科技大学硕士论文：网络视频监控系统及基于人脸检测的目标追踪 医亟囹一透歪亟匠釜五圈一匝囹一 l 馥化编码i 嗣+ 暖网一匪晤丽i i i 圈一 匾到一噬童型一l 丝金盛旦! ! ! 圈堡迭l 一 选煎堕剑 在图像压缩中应用变换，应有如下的特性： ( 1 ) 减少图像相关：理想的变换是将完全消除图像块中数据的 相关。 ( 2 ) 基本函数与图像无关：由于图像间的统计特征变化大，最 佳的变换通常依赖于图像本身，所以一般用于图像元关的基本变换函 数来替换最有性能变换。 ( 3 ) 快速实现：n 点的变换所需的操作一般是o ( n 2 1 。一些变换 有快速实现的算法，其操作次数可以减少为以o ( n l o g n l 。 目前在图像压缩中广泛使用以下几种变换： ( 1 ) k l t 。k l t 是一种最优的变换。但是由于k l t 变换函数是 图像依整的，并且不存在快速的k l t 算法，这些缺点限制了利用它 实现图像压缩。k l t 常常作为其他方法的参照。 ( 2 ) 离散傅立叶变换( d f t ) 。一般来说，d f t 产生的变换系 数是复数，直接存储和管理这些复数可能会有些不便：另外d f t 产 生的变换成分有一半是冗余的；还有一个缺点是图像块经过复杂的周 期性变换后，会产生一些伪频谱成分，这些成分在有些情况下使得重 建的图像中形成一些类似于马赛克的方块图像。因此，尽管d f t 的 快速实现( f f t ) 已经被研究出来，d f t 并没有成为应用最广泛的压 缩方法。 ( 3 ) 离散余弦变换( d c t ) 。对于像素间呈现高度相关的典型 图像，d c t 的性能与k l t 的性能没有实质的区别。d c t 的快速实现 的算法也已经实现。与d f t 相比，d c t 具有两个主要的优点：首先， d c t 不会产生伪频谱成分，因此编码效率高，并且大大减少了边界分 块的现象；其次d c t 仅需要实数计算。正是由于这些优点，d c t 已 经成为当前图像压缩中最广泛采用的技术。 ( 4 ) w a l s h - - h a d a m a r d 变换( w h t ) 。与d c t 相比，w h t 的 压缩方面的性能要逊色许多，但是，由于实现w h t 算法比较简单， 且具有简洁的去相关能力，以及特别利于硬件实现，使得w h t 也成 为一种比较流行的算法。 7 电子科技大学硕士论文：网络视频监控系统及基于人脸检测的目标追踪 i i i 信息嫡编码 ( 1 ) 信息和嫡的概念 信息是不确定性的量度。一个消息的可能性越小，其信息量越多； 而消息的可能性越大，则其信息量越少。所谓信息量是指从n 个相 等可能事件中选出一个事件所需要的信息度量或含量，也就是在辩识 n 个事件中的个特定的事件的过程所需要提问“是或否”的最少次 数。如果将信源所有可能事件的信息量进行平均，就得到了信息的 “嫡”，嫡就是平均信息量。 ( 2 ) 信息嫡编码原理 香农信息论认为，信源所含有的平均信息量( 嫡) 就是进行无失 真编码的理论极限。低于此极限的无失真编码方法是找不到的，而只 要不低于此极限，那就总能找到某种适宜的编码任意地逼近墒。信源 中或多或少的含有自然沉余度，这种冗余既来自于信源本身的相关 性，有来自于信源概率分布的不均匀性中。只要找到去除相矢注或改 变概率分布不均匀的方法和手段，也就找到了信息嫡编码的方法。因 此，如何利用信息嫡理沦减少数据在传输和存储时的冗余度，就是信 息嫡编码所要解决的问题。 ( 3 ) 利用信息嫡进行编码的方法 利用信息墒进行编码的方法有多种，是哈夫曼编码方法( 利用 概率分布特性) ；一是游程编码方法( 利用相关特性) 。这两种方法 已广泛使用于数据编码压缩系统中，并被国际静止图像编码专家组( j p e g ) 列入推荐算法的一部分。另外一种利用概率分布的编码方法( 算 术编码) 也逐渐引起了人们的重视，并列人j p e g 的扩展系统中。下 面简单介绍一下这三种编码方法的原理。 哈夫曼编码 哈夫曼编码方法是在多媒体编码算法中经常用到的一种编码方 法。它把信源符号按概率大小顺序排列，并设法按逆次序分配码字的 长度，这样编码的结果使得码字的平均长度很接近信息符号的嫡值。 游程编码 游程编码是相对简单的编码技术，主要思路是将一个相同值的连 续串用一个代表值和串长。在进行图像编码时，可以定义眼特定方向 上具有相同灰度值的相邻元为一轮，其延续长度称之为延续的行程， 简称“游程”。游程的终点位置由前一游程的终点位置确定，这样就 电子科技大学硕士论文：网络视频监控系统及基于人脸检测的目标追踪 可以由( 灰度游程) 串来表示图像数据。游程编码有时和其他的一些 编码方法混合使用，以达到较好的压缩效果。 算术编码 算术编码方法是将披编码的信息表示成实数0 和1 之间的一个间 隔。这种编码方法的实现要比哈夫曼方法复杂一些，但是有测试表明， 算术编码比哈夫曼编码能提高5 左右的效率。因此，在j p e g 的扩 展系统中用算术编码取代了哈夫曼方法。 i v 基于模型的编码 上面介绍的几种流行的编码都是基于信号理论和信息论的编码 方法，从编码原理上我们可以将之称为波形编码。波形编码是一种微 观性的编码方法，但它并不是唯一的编码方法，现在出现了一些采用 知识模型和空间结构模型进行编码的方法，这些方法都是基于宏观的 编码方法，可以称之为基于模型的编码方法。模型编码方法中常用的 方法包括结构与特征编码、分析与合成编码以及智能编码。这些方法 的期望码速率以及分类如下表： 坌耋查 垄塑望g 缝兰! 坠!查蓬塞塑 渡形编码直接波形1 0 一1 护p c m 波形编码坑计冗余压缩l 舻一l 护d p c m 、i g c t 模型镶码分糖与台或i 妒一i 护参数编鹤 捷型编爵 认知重构编码1 0 2 一1 0 3知识台戚编码、命令编码 模型编码橱糍1 0 i i 妒语义编码 图2 一l 编码方法分类 从上表可以看出，模型编码有比波形编码高的可期待的编码压缩 能力，这也是图像编码方法发展的一个新的方向。 2 2m p e g 一4 视频标准及其关键算法 m p e g 一4 引入了视频对象的概念，有效地支持基于内容的图像编 码，对不同的视频源标准格式和不同的视频码率提供有效的编码，以满 足众多多媒体的应用需求。 2 2 1 m p e - 4 的特点 从结构上看，mpeg 一4 标准分为六个部分：系统层、视频、音频、 dmi f 、一致性测试( c o n f o r m a n c et e s t i n g ) 和参考软件( r e f e r e n c e s o f t w a r e ) ，前四个模块为mpeg - 4 的核心模块，从层次上来讲，可划 9 电子科技大学硕士论文：网络视频监控系统及基于人脸检测的目标追踪 分成三个层次：压缩层，同步层，传输层。压缩层对应视频、音频核心部 分，对传输部分是不可知的。 mpeg 4 要实现的目标有： 能满足多种业务的需要； 能够把音效、视觉、自然合成的对象组合成音频、视频场景； 场景中不同的对象应该对应独立的表示，允许单独进行访问、控 制和重用；能够描述场景中的对象和事件； 在时域和空域有灵活的可扩展性等。 为此，m p e g 一4 视频标准引入了v0 ( v i d e oo b je c t ) 的概念，实现高 效的压缩、基于内容的访问。vo 的构成依赖于具体的应用和系统实 际所处的环境，vo 可以是视频序列中的特定的人物或具体的景物，例 如电视新闻中的播音员，也可以是由计算机生成的三维图形。在这 概念中，根据人眼感兴趣的一些特性如形状、运动、纹理等，将图像序 列中每一帧中的场景看成是由不同视频对象平面vop 所组成，而同 一对象连续的v o p 称为视频对象vo ，每个vo 有三类信息来描述： 运动信息、形状信息、纹理信息。在编码的过程当中，首先从原始的 视频流中分割出v o p ，再对各个v o p 分别独立编码，最后将各个v o p 的编码后的数据流复合成一个位流。其编码方法的简化原理图1 所示， v o p 的编码包括对运动及纹理的编码，前者采用采用运动预测方法，后 者采用变换编码方法，其基本原理与h 2 6x 和m p e g 1m p e g 2 极为 相似。传统的视频编码标准只能处理矩形帧序列，而m p e g 4 视频标 准中，由于v o p 具有任意形状，这就要求编码方案可以处理形状和透 明信息。在m p e g 4 中，矩形帧被认为是v o p 的一个特例，这时编码系 统不用处理形状信息，退化为类似于h 2 6x ，m p e g 1m p e g 2 的传统 编码系统，同时也实现了与现有标准的兼容。 电子科技大学硕士论文：网络视频监控系统及基于人脸检测的目标追踪 一：! ! 竺! 卜_ ( 亟正卜 粕码 码 亟乎 藏 控 饕 制台 臣亟口一 图2 - 2m p e g 4 的编码框图 电子科技大学硕士论文：网络视频监控系统及基于人脸检测的目标追踪 第3 章r t p r t c p 实时传输协议 多媒体网络通信中，要求不仅能实时传送声音和图像，而且也 可以传送文本、图表和相关实物等各种静止图像信息和相关的活动图 像信息。目前，i nterne t 上多媒体通信应用有多媒体电视会 议、远程教育、多媒体信息检索、视频点播等。 多媒体网络通信具有实时性、连续性、集成性、交互性及大数 据量的特点。在目前的多媒体网络通信应用中，我们还需解决许多问 题，如：时延、带宽、数据安全、服务质量( qos ) 等问题。传统协议 已经不能满足多媒体网络中的实时通信要求。为了解决i n t e r n e t 上多 媒体通信所面临的问题，i e t fi n t e r n e t 工程任务组( i n t e r n e te n g i n e e r i n gt a s kf o r c e ) 传0 定了实时传输协议( rtp ) 。 3 1 实时传输协议分析 实时传输协议( rtp ) 是一种独立于应用程序的协议规范，是用 来解决ip 网上为传送实时数据包的一种ietf 标准协议。开发r tp 的目的就是为了满足用于音频和视频这类连续媒体数据的实时 通信的要求，在会话中提供协同工作和控制的能力，为具有实时特性的 数据传送提供服务。rtp 可以支持各种实时通信的应用，比如同步 的恢复、信号丢失的监测、安全保密和内容的识别等。rtp 具备一 种时间戳与控制机制，可以实现带有定时特性的不同信息流之间的同 步，rtp 采用基于速率的流量控制机制，使得发送方与接收方之间协 同工作。 rtp 由两个紧密相关的部分组成：实时传输协议( rtp ) 和实 时传输控制协议( rtcp ) 。 3 1 1rtp 每个rtp 数据包都由一个头部和不定长的媒体数据组成，其中， rtp 包头的前1 2 个字节是固定的。rtp 包头结构如图3 1 所示。 电子科技大学硕士论文：网络视频监控系统及基于人脸检测的且标追踪 ) i13456789i j l2d567sq0l 二，45 n7 sq0 l 一一 一 一 + w 一一一一一一十一一十一+一十一+一 卜嚣2 i i i i t ：t ： | 、1 ip 1 l s 1 l l i p l l ，p n w n 、i r l s n t一+一o+一一一一 一一一十一+ 叫一- f t 一一十一+ 一一 l n 。p i 4 一 一+ 一- 一，一一t 一 一r+一+一，一十一+一十一一 i 一川一- i lr i i l z a i i i 个懈i ：li d p l l t i f f 町 | 一= = ! ：+ = = + 7 ：一：- = ： ：+= i ：o i l | l 弧j * 1 lj c t ( s h t ：1 d e n t i f b - n l i ，一_，一1一一一一十一+一+一一十一+一-一一+一+一+ 图3 - 1r t p 包头结构 rtp 包头的编码格式如下： v 占2b i t s ，版本号。 p 占1b i t ，附加标记位。指明包尾是否附有非负荷信息。这些附 加的信息可用于加密或通知低层协议，一个数据单元所封装的rtp 包数。 x 占1 b i t ，扩展位。值为1 时，则表示rtp 头后附有一变长的扩 展头。 cc 占4b i t s ，csrc ( 贡献源) 计数。指明固定头后有多少个c src 标志符。 m 占1b i t ，标记位。用来标记一些重要事件，如数据的边界。 pt 占7 b i t s ，负荷类型。指明音频和视频数据的编码类型，其初始 值随机设置。 sn ( s e q u e n c en u m b e r ) 占2 b y t e ，包序列号。接收端可通过序列号 检测数据包传输过程中的丢包情况以及失序情况。序列号的初始值是 随机分配的。每发送一个rtp 数据包，序列号就加1 。为了通信过程 中的安全性，第一次生成rtp 包时，序列号的初始值是一随机数，而 不是0 。 t i m e s t a m p 占4 b y t e ，时间戳。描述rtp 包中数据的采样时刻， 主要用于同步和计算时延。时钟频率和数据格式有关，不能使用系统 时钟。对固定速率的音频来说，每次取样时戳时钟增1 。与包序列号一 样，时间戳的初始值也是一随机数。如果多个连续的rtp 包在逻辑 上是同时产生的，那么它们的时间戳相同。 电子科技大学硕士论文：网络视频监控系统及基于人脸检测的目标追踪 s s r c f s v n c b r o n i z a t i o ns o u r c ei d e n t i f i e r ) 占4 b y t e ，同步资源标志符， 用于标志同步资源。s s r c 是随机选取的。在一个rtp 会话中，两个 s src 不能有相同的值。 c s r cf c o n t r i b u t i n gs o u r c ei d e n t i f i e r s ) 0 15 项、每项占4 b y t e ， 贡献源表。用以识别与rtp 包中负荷相关( 提供负荷) 的源。由于c c 项只有4 位长，当贡献源超过15 个时，则只能识别15 个。c s r c 由 混合器f m i x e r ) 通过贡献源的s s r c 识别符插入到rtp 包中。 3 1 2rtcp r t c p 可以为传送的rtp 数据的q o s 提供反馈，这样通信中的 第三方在收到反馈包时可以判断网络的状况。r t c p 可以在会话中传 送控制信息，而且会话中的每个参与者都可知道会话的规模，会话中有 多少参与者。 r t c p 用于分发发送方和接收方统计信息以及与会者的详细信息， r t c p 数据包有如下五种携带不同控制信息的包类型： sr ( s e n d e rr e p o r t ) 源报告包，用于发送和接收活动源的统计 信息： r r ( r e c e i v e rr e p o r t ) 接收者报告包，用于接收非活动站的统计 信息； sdes ( s o u r c e d e s c r i p t i o n )源描述包，用于报告和站点相关 的信息： bye ( g o o d b y e ) 站点离开系统报告包； app ( a p p l i c a t i o nd e f i n e d ) 特殊应用包。 其中sdes 源描述包的源信息由用户和域名信息( c n a m e ) 、用 户名信息( n a m e ) 、电子邮件信息( e m a i l ) 、电话信息( p h o n e ) 、所在地 理位置信息( l o g ) 、应用工具信息( t 0 0 1 ) 、源状态信息( n o t e ) 、秘密信 息( priv ) 这几个方面来描述说明。 rtcp 可以实现以下的控制功能： q0s 监控和拥塞控制。发送音频( 或视频) 数据的发送者会产生 一个sr 包，包中含有所发送的包数和字节数统计等信息，接收者可据 此估计出实际的数据率。会话成员向所有参与会话活动的音频、视频 源发送rr 包，包中含有所接收的最高包序列号、丢失的包数、包间 隔抖动测量值以及计算源端和目端之间rtt ( r o u n dt r i pt i m e 来回 时间) 所需的时间