（计算机应用技术专业论文）网络视频监控系统与拥塞控制技术的研究.pdf

中文摘要 本文以| 叫络视频监控系统的实现技术和主动队列管理算法为主线展丌研究， i 犷部j h j i ：述了网络视频赡控系统的发展现状、关键技术，详细介绍了网络视频 l ：| ：控系统的硬件组成及各个软件模块的功能实现，在该系统中引入了在 i ) r e c t s h o w 软件架构上改进的网络视频编程模式，提高了程序的模块化和可扩 展性，改善了视频的传输质量；软件在多个部分使用了动态的多线程丌发技术， 进步提高了软件的运行效率：软件改变了常用的数据库方式存储数据，而是采 用i n i 文件和l o g 文件来存储数据，降低了系统安装的成本，简化了安装维护的 过襁；系统较好地应用了r t p r t c p 协议，这使得数据的网络传输比较规范，为 以后的软件维护和升级工作打下良好的基础。 t c p i p 协议不能保证服务质量( q o s ) ，只能提供“尽力而为”的服务方式，在 臼6 i 1 碉络带宽有限，数据传输的需求量远远超过网络的瓶颈带宽时，必定会产生 捌塞，因此拥塞控制机制显得尤为重要。中问节点上的队列使用不恰当的队列管 理算法可能造成t c ，连接的全局同步、队列长时间处于满状态、处理突发业务时 存在公平性的问题。本文详细分析了主动队列管理目前的研究现状、常用算法和 发展力向：理论推导了比例控制器和p i 控制器的算法并实现了n s 一2 仿真，对其 优缺点和控制效果提出了见解；理论推导了a p i 和p p l 控制算法并实现了仿真， 仿真结果显示着两种算法能够更有效地对队列进行稳定的控制。 关键词：网络视频、d i r e c t s h o w 、拥塞控制、控制理论、主动队列管理 a b s t r a c t 1 1 1 i sp a p e ri n t r o d u c e st h ei m p l e m e n t a t i o no fn e t w o r kv i d e os u r v e i l l a n c es y s t e ma n d t h es t u d yo fa c t i v eq u e u em a n a g e m e n t ( a q m ) ，t h ef i r s tp a r td i s c u s st h es t a t u sq u o a n d k e y t e c h n o l o g yo fn e t w o r kv i d e os u r v e i l l a n c es y s t e mn o w a d a y s ，h a r d w a r e s t r u c t u r e sa n ds o f t w a r ed e s i g no fe a c hm o d u l ei sd i s c u s s e di nd e t a i ln i ss y s t e m a d o p tat y p eo fb e t t e rp r o g r a mm o d e ，i m p o r t st h en e w e s tn e t w o r kv i d e op r o g r a m m o d et h a ta m e l i o r a t e df r o md i r e c t s h o ws o f t w a r ea r c h i t e c t u r e ，m o d u l a r i z a t i o na n d e x p a n d a b i l i t yo fp r o g r a mi sb o o s ta n dq u a l i t yo fv i d e o i si m p r o v e d d y n a m i c m u l t i t h r e a dh a sb e e nu s e di nm a n yp a r to ft h i ss y s t e m ，i tm a k et h ee f f i c i e n c yo ft h i s s o f t w a r ei m p r o v er e m a r k a b l yw ea r en o ts a v ed a t ai nd a t a b a s eb u ti ni n if i l ea n d l o gf i l e i tc a nr e d u c ec o s to fi n s t a l l a t i o no fs y s t e m r t p i h pp r o t o c o li su s e d ，i t m a k et h et r a n s m i to fd a t am o r en o r m a t i v e ，t h eu p g r a d ea n dm a i n t e n a n c eo fs o f t w a r e w i l ib ee a s i e ri nf u t u r e t c p i pp r o t o c o lc a n te n s u r en e t w o r kt r a n s m i tq o s ( q u a l i t yo fs e r v i c e ) ，b u t p r o v i d e b e t t e re f f o r t ”s e r v i c e n e t w o r kc o n g e s t i o ni se x i s tc o n s e q u e n t i a l l yb e c a u s e t h eq u a n t i t yo fd a t ab e e nr e q u i r e dt ot r a n s m i ti sb e y o n dt h eb o t t l e n e c kb a n d w i d t ha t p r e s e n t ，s oi ti sv e r yi m p o r t a n tt h a tc o n g e s t i o nc o n t r o lm e c h a n i s m sa r eu s e d m a n y r e s u l tm a yb e e nb r o u g h ti f u n f i tq u e u em a n a g e m e n ta l g o r i t h mu s e di nm a n a g e m e n to f q u e u ei nm i d d l en o d e , s u c h a sg l o b a ls y n c h r o n i z a t i o n ，k e e pq u e u ef u l ll o n gt i m ea n d l o c k - o u t i th a sb e c o m ea ni m p o r t a n tc o n t e n to fn e t w o r kc o n g e s t i o ns t u d yw h a tt h e s t u d yo fa c t i v eq u e u em a n a g e m e n t t h i sp a p e ra n a l y z e ss t u d ys t a t u sq u oa n dc o m m o n a l g o r i t h mo fa c t i v eq u e u em a n a g e m e n tn o wi nd e t a i l ，a n a l y z e si t ss t u d yt r e n d si n d e t a i l ii l l a t i o nt h ep r o p o r t i o na n dp ia l g o r i t h m ，i m p l e m e n ti t sn s - 2s i m u l a t i o n ，a n d p o s em yo p i n i o no nt h e i rt r a i ta n dc o n t r o le f f e c t ii l l a t i o na p ia n dp p ia l g o r i t h m ， i m p l e m e n ti t sn s - 2s i m u l a t i o n ，s i m u l a t i o nr e s u l t sa r eg i v e nt op r o v et h a tt h en e w a q ma l g o r i t h mc a nc o n t r o lt h eq u e u ee f f e c t i v e l y k e y w o r d s ：n e t w o r kv i d e o ，d i r e c t s h o w , c o n g e s t i o nc o n t r o l ，c o n t r o lt h e o r y , a c t i v eq u e u em a n a g e m e n t ( a q m ) 独创性声明 术人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成粜，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也1 ；包含为获得丢洼量些盘堂或其他教育机构的学位或 m f s f i j 使j 】过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 t l 作了明确的说明并表示了谢意。 学f t 沦文作者签名：搴童并一 签字同期：矽辞，月，h 学位论文版权使用授权书 本学位沦文作者完全了解丞洼王些太堂有关保留、使用学位论文的规定。 特授权云洼王些太堂可以将学位论文的全部或部分内容编入有关数据库进行 检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向圆家订天部门或机构送交论文的复印件和磁箍。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 专系 导师签名 签守h 期：汕年，月f 上h 签字同期：、，h 毛年f 月f i = 二i 学位论文的主要创新点 1 、引入了在1 ) ir e c t s h o w 软件架构上改进的网络视频编程模式，提高了程序的模 块化和可扩展性，改善了视频的传输质量。 2 、应h 】控制理论思想，使用a p i 和p p i 控制算法来控制网络中问节点的队列并 在n s 一2 下实现了仿真，仿真结果显示着两种算法能更有效地对队列进行稳定地 控制。 第一章绪论 1 1 网络视频技术简介 第一章绪论 1 1 1 流媒体技术的起源与发展 当您在线收听或收看网络上的音视频节目时，您就正在使用流媒体。流媒体 技术的出现是为了解决普通音视频文件的巨大数据量与有限的网络传输带宽之 f l _ j j 的矛盾而产生的。与常规的多媒体文件不同，流媒体的播放并不要求下载完整 的文件，而仅需要将丌始部分缓存，然后就可以实现数据流的随时传送随时播放。 为了达到这个目的，流媒体服务器需要将动画、视音频等多媒体文件经过特殊的 压缩方式分成一个个压缩包，由视频服务器向用户计算机连续、实时传送。用户 只需经过几秒或十几秒的启动延时即可在自己的计算机上利用解压设备( 硬件或 软件) 对压缩的多媒体数据进行解压后回放。当音视频等媒体数据在客户终端播 放时，数据的剩余部分将在后台从服务器继续下载。与单纯的下载方式相比，由于 用户不用等所有内容都下载到硬盘后才丌始浏览，因而流媒体文件的启动延时将 大幅度地缩短，同时对客户端的存储需求也大为减少。流媒体技术在安全监控、 远程教育、远程医疗、视频点播、电子商务等领域都有着广泛的应用前景，蕴含 着巨大的商机，因而吸引了众多企业参与竞争。 流媒体技术起源于窄带互联网时代。从1 9 9 4 年一家叫做p r o g r e s s i v e n e t w o r k s 的美国公司成立之初，流媒体丌始正式在互联网上登场亮相。1 9 9 5 年， 他们推出了c s 架构的音频接受系统r e a la u d i o ，并在随后的几年内引领了网 络流式技术的主流。该公司( 后更名为r e a ln e t w o r k s 公司) 可以称得上是流媒 体真f 意义上的始祖。随后，微软和节果等公司都看到了流媒体的大好| i i 景，也 开始加强在这方面的研究，这无形中促进了流媒体的迅速发展，使得流媒体以惊 人的速度发展。 一划的流媒体主要是在窄带互联网上应用，受带宽条件的制约，到1 9 9 9 年， 人们在网l 也爿仅仅可以看到一个很小的视频播放窗口。2 0 0 0 年下半年，随着 全球范围内的互联网升温，宽带i p 网不再是梦想，作为流媒体技术倡导者和发 起者的美国r e a ln e t w o r k s 、m i c r o s o f t 、a p p l e 等公司几乎同时向全世界宣布了 他们最新的流媒体技术的宽带解决方案。可见，在短短的时间早，流媒体技术有 了飞跃性发展。 第一章绪论 1 i 2 视频监控技术的发展现状 视频监控技术经历了模拟视频监视、基于p c 的多媒体监控和网络视频监控 三个发展阶段，f j = = 前市场三种监控技术并存。早期出模拟襁频技术产生的闭路视 频监控系统是我国第一代视频监控产品；2 0 世纪9 0 年代中期，出现基于p c 机 插# 式的视频监控系统，初步实现了数字化监控，但图像质量、稳定性以及远程 传输技术仍然不足：至9 0 年代术，系统的结构由集总式向集散式过渡，集散式 系统采用多层分级的结构形式和实时多任务、多用户、分布式操作系统。集散式 监控系统的硬件和软件采用标准化、模块化和系列化的设计技术，同时用户在监 控需求方面的要求不断提升，这些因素促成了网络视频监控技术的产生。 网络= f ! i ! 频监控是一项完全基于宽带网的图像远程传输、远程管理的业务它 - q 。以实现监控、报警联动、管理及视频存储等功能。目前该业务主要应用于公共 安全、 i ! 行系统、道路交通、电力系统、环境监澳| f 等需要进行远距离监控的部门， 还可以应用于学校、消防等方面的远程监控，信息化小区的网上监控，公司区域 联网监控以及家居安全网上监控等。 与j j i f 两代监控技术相比，网络视频监控具有诸多优势。首先，可以利用现有 的宽带网络资源实现远距离监控，不需要为新建监控系统铺设线路；其次，具有 【违好的系统扩展能力，只需要增加监控点设备就可扩展新的监控点；第三，i i i 端 设符足h 【j 插即用、免维护系统，维护费用低；第四，业务功能强大、管理功能丰 寓；第血，全数字化存储方式，便于保存和检索；第六，只要安装了客户端软件 并给予相应的权限，用户就可随时随地通过互联网浏览相关监控点的情况。 目前视频监控业务在国外应用得比较多，在美国、英国、同本、韩国、新加 坡以及我国台湾地区，视频监控业务都有一定的丌展。这项业务的经营者既有电 信运营商，也有非电信运营商。美国南方贝尔公司采用合作模式提供网络视频监 控业务，通过联合在视频监控领域享有声誉的p r o t e c t i o no n e 公司，共同向用 ，、，提供解决方案；英国电信代销终端设备，并且将终端设备打包为用户提供解决 方案，这样可以给用户一定优惠，吸引客户；新加坡电信的业务范围主要面向商 业用户和个人用户，只在新加坡境内应用，不提供跨国监控业务，具有带宽优势 和无缝链接的特点；台湾中华电信的网络视频监控业务面向公共领域、行业用户 和个人用户，建立了专门的视频监控系统，向多个领域提供服务。目| j i 国外视频 j f f f 控业务主要应用于公共领域、行业用户和个人用户，在公共场所设臣众多监控 没备，以加强对公共领域安全的控制能力。另外，在交通、银行、大型连锁超市、 居民住宅等领域都已经得到了广泛应用，在美、英等国，个人使用视频监控主要 应用 二住宅的安全防范和财产的监控。我国视频监控市场一直发展缓慢，主要原 第一章绪论 因是民众的安全防范观念不很强，普通用户很少有意识地应用视频监控技术柬保 障家庭的安全。另外，视频监控系统的投入较大，一般只有大型企业才能够承担， 刚此，成本问题一直是其无法广泛应用的重要原因。随着我国监控行业的发展， 监控行、世管理体系已经基本形成，并且越来越规范。在产品管理方面，逐步建立 起了监控产品的市场准入制度，使不符合安全技术防范产品管理办法的产品 难以进入监控市场；在工程建设方面，大力丌展资格审查，工程方案论证、工程 验收等工作，以保证监控工程建设质量，同时使不合格的监控系统集成商很难发 展。因此传统监控业是否还具有发展潜力，关键在于系统集成商是否能发挥本身 在工程中的经验优势，采取各种经营策略突破自身的规模限制，以及在向远程网 络船控市场转型的过程中能否增强技术力量、降低业务成本、提供服务保障。 ( ；t r t n e r 的分析家认为，这是一个新兴的市场，发展将极为迅猛，运输业、旅游 业、_ 手【i 政府都会对这个安全系统感兴趣。 1 2t o p l p 网络拥塞控制技术概述 l i ：i 于i n t e r n e t 采用的是统计复用( s t a t i s t i c a lm u l t i p l e x i n g ) 技术，大量的数据流 j k 享一条连接，其运行环境在不断发生变化，基于t c p i p 协议栈1 3 8 j 的网络通信 协议足i n t e m e t 中的主流通信协议，这种网络采用的是尽力而为( b e s t - e f f o r t ) 的 服务模型，所有的数据流被不加区分地在网络中传输，网络无法给用户个定 量的性能指标，如吞吐量、时延、包丢失率等，因此，在目前网络带宽有限，数 扼：传输的需求量远远超过网络的瓶颈带宽时，必定会产生搁塞。因此搠塞控制机 制显得尤为重要。文献 2 】使用图卜l 来描述拥塞的发生。当负载较小时，吞吐量 的增 和负载相比基本呈线性关系延迟增长缓慢；在负载超过k n e e 之后，吞 i 州j 增长缓慢，延迟增长较快；当负载超过c l i f f 之后，吞吐量急剧下降，延迟 急删：升。可以看出，负载在k n e e 附近时网络的使用效率最高。捌塞控制就是 j 圳络仃点采取措施米避免搁塞的发生或者对拥塞的发生做出反应，在图1 1 中就 是使负载保持在k n e e 附近。 第一章绪论 图1 1 网络捌塞示意图 猢塞控制机制是确保i n t e r n e t 鲁棒性( r o b u s t n e s s ) 的重要因素，在端到 端拥塞控制中，根据算法的实现位置可以将拥塞控制算法分为两大类：链路算法 ( l i n ka i g o r i t h m ) 和源算法( s o u r c e a l g o r i t h m ) 1 3 1 。链路算法在网络设备( 如 路由器和交换机) 中使用，作用是检测网络拥塞的发生，产生拥塞的反馈信息； 源算法在主机和网络边缘设备中使用，作用是根据反馈信息调整发送速率 4 1 。 根据控制参数来分，拥塞控制算法可分成两类：基于窗口和基于速率【5 1 。 基于窗口的拥塞控制算法在端系统维护拥塞窗口，通过拥塞窗口米控制未应 答分组的数量，发送一个数据分组会占用拥塞窗口的一部分，收到一个分组的应 答后会释放占用的部分；捐j 塞窗口有空闲时，发送端可以继续发送数据：没有拥 塞时，增加枷塞窗口；捐j 塞发生时减小拥塞窗口。 基于速率的拥塞控制算法还可分成基于探测和基于模型两种。 基于探测的方法是发送端通过发送速率的调整来探测网络带宽通常采用 a i m d ( a d d i t i v e1n c r e a s em u l t i p l i c a t i v ed e c r e a s e ) 方法j 。由于这种码率控 制总是在试图调整带宽，因此可以将包丢失率控制在可以接受的范围之内。 传统的探测方法是根据包的丢失率来衡量网络的状况，但是，实验表明，包 的丢失率并不能很好的体现网络状况，而根掘r t t 的大小能较早地反映出网络所 发生的拥塞，因此有文献 7 】研究基于r t t 的自适应拥塞控制。 基1 二模型的方法是利用t c p 连接的吞吐量模型，根据测量的网络参数计算出 应陔的发送速率，再适当的增减当前的码率。 基j ：t c p 的拥塞控制在源算法方面，自1 9 8 8 年j a c o b s o n 提出了t c p 端对端 的基于窗口的拥塞控制算法【8 以来，t c p 的流量控制算法已经过了t a h o e ”、 r e n o 刀、n e wr e n o 9 、s a c k y 。 等版本的改进和增强，所有的这些工作都将注意力 集中在终端系统上。这些算法中采用了慢启动( s l o ws t a r t ) 、拥塞避免、快速 第一章绪论 重传( f a s tr e t r a n s m i t ) 、快速恢复( f a s tr e c o v e r y ) 、选择性应答( s a c k ) 等 机制 7 】，大大提高了网络传输的性能。目前，源算法方面的研究热点包括：对 “慢启动”过程的改进；基于速率的控制策略；a c k 过滤：减少不必要的“超时 重传”和“快速重传”：t c p - f r i e n d l y 的拥塞控制；在特殊网络环境( 如无线 链路、卫星链路和非对称链路等) 中的捌塞控制【l ”。 仅仅依靠源端的流量控制很难为网络用户提供良好的q o s ( q u a l i t yo f s e r v ic o ) 保证，因为它的作用是有限的，增强中阳j 节点( 路由器) 的功能是一 种有效n q 手段，显示捌塞标示( e x p i c i tc o n g e s t i o nn o t i f i c a t i o n ，e c n ) 1 1 2 1 既是对h 络中间符点功能的种扩展，它也严重影响着t c p 的性能，改变了用丢 包的方式反馈网络捌塞，而采用路由器标记功能提高了有效吞吐量。此外，中间 节点上的队列管理不恰当的队列管理算法可能造成t c p 连接的全局同步、队列长 时脚处于满状态、处理突发业务时存在公平性的问题，因此针对主动队列管理算 法的研究成为拥塞控制研究的热点。 1 3 本文的意图和内容安排 本文后面的内容是这样安排的： 第二章讲述了丌发网络视频监控系统的一些关键技术，主要有视频压缩标 准、网络传输协议和软件丌发框架； 第三章介绍了网络视频监控系统的实现方法、硬件结构和软件组成； 第四章概述了主动队列管理的研究现状和已有算法存在的问题： 第“章详细论述了p 、p i 、a p i 、p p i 算法的理论推导过程和仿真结果，并简 单分析了各算法的优缺点： 第六章为本文的总结部分，说明了存在的问题和下一步研究的方向。 第二章网络视频系统的芙键技术 第二章网络视频系统的关键技术 2 1 视频压缩标准 随着近年柬计算机运行速度、大规模集成电路技术和数据压缩技术的显著提 高，多媒体技术得到迅速发展。国际标准化组织( i s o ) 及国际电信联盟( i t u ) 相应制定了一系列视频压缩编码的国际标准【帅1 ，按推出时间的先后顺序有 h 2 6 1 4 “，m p e g i l 4 2 1 ，m p e g 2 1 4 3 1 ，h 。2 6 3 删，m p e g 4 4 5 1 和h ，2 6 4 4 6 1 等。其中h 。2 6 1 、 m p e g l 、m p e g 2 和h 2 6 3 采用第一代压缩编码方法，如预测编码、变换编码、 熵编码以及运动补偿：m p e g 4 和h 2 6 4 采用第二代压缩编码方法，如分段编码、 根据模型的编码和基于对象的编码等。 2 1 1h 2 6 l h 2 6 1 是i t u t 第1 5 研究组于1 9 8 4 1 9 8 9 年制定的针对可视电话和视频会 议等业务的视频压缩标准，目的是在窄带综合业务数字网( n - i s d n ) 上实现速 率p 6 4 k b p s 的双向声像业务，其中p = l 3 0 。因此，h 2 6 1 又被称为p 6 4 标 准。h 2 6 1 只对c i f ( c o m m o ni n t e r m e d i a t ef o r m a t ) 和q c i f ( q u a r t e rc i f ) 两种 图像格式进行处理。c i f 和q c i f 的亮度信号y 的分辨率分别为3 5 2 2 8 8 像素 和1 7 6 1 4 4 像素，色度信号c r 和c b 的水平和垂直分辨率均为亮度信号的l 2 即分别为1 7 6 1 4 4 像素和8 8 7 2 像素。两种格式均为逐行扫描( p r o g r e s s i v e s c a n ) ，c i f 格式的扫描帧频率是3 0 帧秒，q c i f 格式为1 5 或7 5 帧秒。通常 c i f 格式用于视频会议，q c i f 格式用于可视电话。 h 2 6 1 压缩编码算法是一种采用帧间编码减少时间冗余、变换编码减少空间 冗余的混合编码方法，具有压缩比高、算法复杂度低等优点。出于会话双方都需 要同样的编码器和解码器，故h 2 6 1 标准的一个特点是编、解码器的复杂程度相 当。h 2 6 1 仅使用i 帧和p 帧，格式为每1 对i 帧之间有3 个p 帧。在i 帧和p 帧i _ 1 每6 个8 8 的像素块( b l o c k ) 构成一个宏块( m a c r o b l o c k ) ，其中包括4 个亮度( y ) 块和2 个色度( c b 和c r ) 块。每个宏块都会有一个专门的地址来 标泌宏块本身，另外还会有一个类字段，用来说明该宏块是独立编码( 帧内编码) ， 还是参考前一帧内的宏块进行了帧问编码。一定数量的宏块构成一个块组g o b ( g r o u po f b l o c k ) ，若干块组构成一帧图像。块层、宏块层、块组层和帧层4 个 层次中每个层次都有说明该层次信息的头( h e a d e r ) ，编码后的数据和头信息逐 层复用就构成了h 2 6 1 的码流。 第二章网络视频系统的芙键技术 2 1 2m p e g l m p e g l 由i s o 和i e c ( i n t e r n a t i o n a le l e c t r ot e c h n i c a lc o m m i s s i o n ，国际电工 委员会) 的共同委员会中的活动图像专家组m p e g ( m o v i n gp i c t u r ee x p e r t s g r o u p ) 为速率1 5 m b p s 的数字声像信息的存储而制定的。它通常用于能够提供 录像质量( v h s ) 视频节目的光盘存储系统，图像采用s i f ( s o u s e i n t e r m e d i a t e f o r m a t ) 格式，图像分辨率为3 5 2 x 2 8 8 像素，双声道立体声伴音具有c d ( 激光 唱盘) 音质。 m p e g l 码流的构成分为6 个层次：最高层为视频序列层，然后依次为图组 层、图层、条层、宏块层和块层。其中，每一层都支持一个确定的函数，或者是 一个信号处理函数( d c t ，m c ) ，或者是一个逻辑函数( 同步，随机存储点) 等。 m p e g l 支持的编辑单位是图组和音频帧，通过对包头图组的信息和音频帧头进 行修改，可以完成对视频信号的剪接。由于m p e g l 的主要应用领域为视频和伴 音的存储，因此采用逐行扫描，帧频率分别为3 0 h z ( n t s c 制式) 和2 5 h z ( p a l 制式) 。 m p e g l 与h 2 6 1 出于侧重点不同，故各自采用的编码方法也有显著差别。 最主要的差别是h 2 6 1 有两种类型的帧：帧内编码( i n t r ac o d e d ) 帧，又称i 帧， 和预测编码( p r e d i c t i v ec o d e d ) 帧，即p 帧。而m p e g i 采用的图像有3 种类型： 帧内编码图( i 图) ，预测编码图( p 图) 和双向预测编码( b i d i r e c t i o n a l l y - p r e d i c t i v e c o d e d ) 图即b 图。m p e g i 中压缩编码数据流是i ，p 和b 图的组合，这些图的 组织结构十分灵活。在m p e g l 中必须通过i 图来提供各种与v c r 相关的随机 接入操作，通常人们可接受的最大随机接入时间是0 5 s 。随机接入时间以及图像 质量是影响序列中i 图之删间隔的主要因素。 2 1 3m p e g 2 m p e g 2 是由活动图像专家组和i t u t 的第1 5 研究组于1 9 9 4 年共同制定的。 在i t u 标准中，m p e g 2 被称为h 2 6 2 。m p e g 2 标准是一个通用的标准，它克服 并解决了m p e g i 不能满足r 益增长的多媒体技术、数字电视技术、多媒体分辨 率和传输率等方面的技术要求上的缺陷，即能在很宽范围内对不同分辨率和不同 输出比特率的图像信号有效地进行编码，它的编码效率为4 m b p s1 0 0 m b p s 。 m p e g 2 标准广泛应用于多媒体、视频会议可视电话、数字电视、高清晰度电视 ( h d t v ) 、广播、通信和网络等领域。m p e g 2 视频体系向下兼容m p e g l ，其 图像分辨率有低( 3 5 2 x 2 8 8 ) 、中( 7 2 0 x5 7 6 ) 、高1 4 4 0 ( 1 4 4 0 x1 1 5 2 ) 和高( 1 9 2 0 x1 1 5 2 ) 4 种级别。对于每一个级别，m p e g 2 又分为5 个档次( p r o f i l e ) ：简单 第一章网络视频系统的关键技术 ( s i m p l e ) 、主( m a i n ) 、空间分辨率( s p a l i a lr e s o l u t i o n ) 、量化精度( q u a n t i z a t i o n a c c u r a c y ) 和高( h i t 曲) 。这样，4 种级别和5 个档次组合起来构成一个二维表， 作为m p e g 2 的标准框架，这有利于在现有标准的基础上做相应的改进和新标准 的建立。 虽然制定m p e g 2 比m p e g i 晚，但是它们在技术手段和基本理念上并没有 多大的差别。由于m p e g 2 在提高图像分辨率和兼容未来的数字电视方面做了一 些补充，造成它与m p e g l 存在如下差异： ( 1 ) 向量的精确度提高到半个像素。 ( 2 ) 由于关键帧里存在特殊向量，扩展了错误冗余。 ( 3 ) 离散余弦变换可选择精度。 ( 4 ) 超时预测模式。 ( 5 ) 质量伸缩性( 在同一视频流中容忍不同质量的图像) 。 2 1 4h 2 6 3 h 2 6 3 标准是i t u t 于1 9 9 5 年制定的甚低比特率视频压缩编码标准，其传输 码率可以低于6 4 k b p s 。h 2 6 3 特别适用于无线网络、p s t n 和因特网等环境下的 视频传输，所有的应用都要求视频编码器输出的码流在网络上进行实时传输。为 了提高编码效率，增强编码功能，i t u t 对h 2 6 3 进行了多次补充，补充修订的 版本有1 9 9 8 年制定的h 2 6 3 + ，2 0 0 0 年制定的h 2 6 3 + + 。 h 2 6 3 标准采用的是基于运动补偿的d p c m 的混合编码，在运动矢量搜索的 基础上进行运动补偿，然后运用d c t 变换和“之”字扫描游程编码，从而得到 输出码流。h 2 6 3 可以处理5 种图像格式：s u b 一0 c i f ，q c i ec i f , 4 c i f 和1 6 c i f 。 l 2 6 3 视频编码器的基本结构与h 2 6 1 基本类似。h 2 6 1 编码器由于仅使用了i 帧 和p 帧，所以一定要采用较高的量化阈值和低的频率，才能输出相对较低的码率， 因此当码率低于6 4 k b p s 时输出的图像质量较差。使用高闽值量化和使用低闽值 量化所编码的宏块之间的差别导致了所谓的方块效应；而使用低帧率会使物体的 运动看起来不连续。为了减少上述方法带来的不利影响，h 2 6 3 在h 2 6 1 的基础 上，运动估计采用半像素精度，同时又增加了无限制运动矢量、基于语法的算术 编码模式、先进的预测模式和p b 帧模式等4 种可选编码模式。 h 2 6 3 + 增加了1 2 个新的高级模式，并修难了h 2 6 3 中的一个模式。 l 2 6 3 + + 则又增加了3 个高级模式。h 2 6 3 标准版本升级主要体现在增加或修正一些高级 编码模式，即保持了对旧版本的兼容，又增加了新的功能。因而使其应用范围进 步扩大，压缩效率、抗误码能力和重建图像的主观质量等都得到了提高。 第二章网络视频系统的芙键技术 2 1 5m p e g 4 活动图像专家组于1 9 9 9 年2 月f 式公靠了m p e g 4 v 1 0 版本，同年1 2 月又 公和了m p e g 4 v 2 0 版本。m p e g 4 标准的应用范围主要是因特网以及娱乐网上 的各种交互式多媒体应用。有了该标准，可以使用户由被动变主动，或根据需要 来执行开始、停止、暂停等命令，并且可以允许用户加入其中，选择图像中的某 个具体的对象( o b j e c t ) ，并对其进行操作。更具体地说，m p e g 4 标准主要针对 可视电话、视频电子邮件和电子新闻等，其传输码率要求较低，在4 8 0 0 6 4 0 0 b p s 之间，分辨率为1 7 6 x 1 4 4 像素。 m p e g 4 除采用变换编码、运动估训与运动补偿、量化、熵编码等第一代视 频编码核，心技术外，还提出一些新的有创见性的关键技术，充分利用人跟视觉特 性，抓住图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交 互功能。m p e ( h 标准同以前标准的最显著差别在于它采用基于对象的编码理念， 即在压缩之前每个场景被定义成一幅背景图和一个或多个前景音视频对象，然后 背景和前景分别进行编码，再经过复用传输到接收端，然后再对背景和前景分别 解码，从而组合成所需要的音视频。 2 1 6h 2 6 4 a v c h 2 6 4 标准是由i t u t 的视频编码专家组( v c e g ) 和i s o i e c 的活动图像 专家组共同成立的联合视频小组( j v t ) 于2 0 0 3 年3 月公布的。h 2 6 4 也称m p e g 4 的第l o 部分，即高级视频编码( a v c ) 。h ，2 6 4 是在i t u - t 增强型多媒体通信标 准h 2 6 l 基础上提出的，它继承了h 2 6 3 、m p e g i 、m p e g 2 和m p e g 4 的优点， 在沿用m c d c t 结构，即运动补偿加变换编码的混合( h y b r i d ) 结构基础上，增 添了类d c t 整数变换、c a v l c 和c a b a c 等新技术，进一步提高了编码算法的 压缩效率和图像播放质量。与以往标准相比，在相同失真率条件下h 2 6 4 的编码 效率提高了5 0 左右。 h 2 6 4 采用“网络友好”的结构和语法，达到提高网络适应能力的目的，以适应 i p 网络和移动网络的应用。h 2 6 4 的编码结构在算法概念上分为两层：视频编码 层( v c l ，v i d e oc o d i n gl a y e r ) 负责高效率的视频压缩能力；网络抽象层( n a l ) 负责以网络所要求的恰当的方式对数据进行打包和传送。 h 2 6 4 标准有三个档次，分别是基本档次、主档次和扩展档次。每个档次都 定义了一系列的编码工具或算法。低于1 m b p s 的低延时会话业务使用基本档次， 具体应用有h 1 3 2 0 会话视频业务、3 g p p 会话h 3 2 4 m 业务、基于i p r 1 1 p 的h 3 2 3 会话业务和使用i p f r t p 和s i p 的3 g p p 会话业务。带宽18 m b p s 且时延0 5 9 第二章网络视频系统的关键技术 2 s 的娱乐视频应用使用主档次，具体应用有广播通信、d v d 和不同信道上的 v o d 。带宽5 0 k b p s 1 5 m b p s 且时延2 s 或以上的流媒体业务使用基本档次或扩 展档次，如3 g p p 流媒体业务使用基本档次，有线i n t e m e t 流媒体业务使用扩展 档次。其他低比特率和无时延限制业务可以使用任意档次，具体应用有3 g p p 多 媒体消息业务和视频邮件。 h 2 6 4 标准保留了一些先前标准的特点，同时使用了以下视频编码新技术： ( 1 ) 熵编码 若是s l i c e 层预测残差，h 2 6 4 标准采用两种高性能的熵编码方式：基于上下 文的自适应变长码( c a v l c ) 和基于上下文的自适应二进制算术编码( c a b a c ) 。 仿真测试结果得到c a b a c 比c a v l c 压缩率高1 0 ，但计算复杂度也高。若不 是s l i c e 层预测残差，h 2 6 4 采用e x p g o l o m b 码或c a b a c ，视编码器的设置而 定。 在c a v l c 中，h 2 6 4 采用若干v l c 码表，不同的码表对应不同的概率模型。 编码器能够根据上下文，如周围块的非零系数或系数的绝对值大小，在这些码表 中自动的选择，最大可能的与当前数据的概率模型匹配，从而实现上下文自适应 的功能。 c a b a c 根据过去的观测内容。选择适当的上下文模型提供数据符号的条件 概率的估计，并根据编码时数据符号的比特数出现的频率动态地修改概率模型， 数据符号可以近似熵率进行编码，提高编码效率。 ( 2 ) 帧内预测 h 2 6 4 采用帧内预测。帧内预测编码具有运算速度快，提高压缩效率的优点。 帧内预测编码就是用周围邻近的像素值柬预测当前的像素值，然后对预测误差进 行编码。这种预测是基于块的，对于亮度分量( 1 u m a ) ，块的大小可以在4 4 和1 6 1 6 之问选择，4 4 块的预测模式有9 种( 模式0 到模式8 ，其中模式2 是d c 预测) ，1 6 1 6 块的预测模式有4 种( v e r t i c a l ，h o r i z o n t a l ，d c ，p l a n e ) ：对 于色度分量( c h r o m a ) ，预测是对整个8 8 块进行的，有4 种预测模式( v e r t i c a l ， h o r i z o n t a l ，d c ，p l a n e ) 。除了d c 预测外，其他每种预测模式对应不同方向上的预 测。 ， ( 3 ) 帧阳j 预测 h 2 6 4 采用7 种树型宏块结构作为帧间预测的基本单元，每种结构模式下块 的大小和形状都不相同，这样更有利于贴近实际，实现最佳的块匹配，提高了运 动补偿精度。 在h 2 6 4 中，亮度分量的运动矢量使用1 4 像素精度，色度分量的运动矢量 使用1 8 像素精度，并详细定义了相应更小分数像素的插值实现算法。因此，帧 0 第二章网络视频系统的关键技术 m 运动矢量估值精度的提高，使搜索到的最佳匹配点( 块或宏块中心) 尽可能接 近原图，减小了运动估计的残差，提高了运动视频的时域压缩效率。 h 2 6 4 支持多参考帧预测，即通过在当前帧之前解码的多个参考帧中进行运 动搜索，寻找出当前编码块或宏块的最佳匹配。在出现复杂形状和纹理的物体、 快速变化的景物，物体互相遮挡或摄像机快速的场景切换等一些特定情况下，多 参考帧的使用会体现更好的时域压缩效果。 ( 4 ) 灵活的宏块排序 灵活的宏块排序( f m 0 ) ，指将一幅图像中的宏块分成几个组，分别独立编 码，某一组中的宏块不一定是在常规的扫描顺序下前后连续，而可能是随机地分 散在图像中的不同位置。这样在传输时如果发生错误，某个组中的某些宏块不能 正确解码时，解码器仍然可以根据图像的空间相关性依靠其周围正确译码的像素 埘其进行恢复。 ( 5 ) 4 4 块的整数变换 h 2 6 4 对帧内或帧问预测的残差进行d c t 变换编码。为了克服浮点运算带来 的硬件设计复杂，新标准对d c t 定义作了修改，使用变换仅使用整数加减法和 移位操作即可实现。这样，在不考虑量化影响的情况下，解码端的输出可以准确 地恢复编码端的输入。该变换是针对4 4 块进行的，也有助于减少块效应。 为了进一步利用图像的空间相关性，在对c h r o m a 的预测残差和1 6 1 6 帧内 预测的预测残差进行整数d c t 变换后，标准还将每个4 x 4 变换系数块中的d c 系数组成2 x 2 或4 4 大小的块，进一步做h a d a m a r d 变换。 与h 2 6 3 中8 8 的d c t 相比，h 2 6 4 的4 x 4 的d c t 有以下几个优点：减 少了方块效应，算法简单明了，运算结果精度高，运算速度快，占用内存少。 ( 6 ) s ps l i c e h 2 6 4 定义了一种新的流问转换帧( s ps l i c e ) ，它可以在不同的视频流或一 个视频流的不同部分进行切换( s w i t c h ) ，也可以用于码流的随机访问、快进快 退和错误恢复等。切换操作可以通过在解码器的运动补偿预测过程中放置一个前 向变换和量化操作来实现。s p s l i c e 主要用于基于服务器的视频流应用中。 2 2 流媒体开发技术 2 2 1 流媒体传输协议 2 2 1 1 实时传输协议r t p r t o p r t t ( r e a l t i m et r