（电路与系统专业论文）具有qos保障的流媒体服务接入体系在安防监控中的应用.pdf

摘要 y 8 7 6 7 7 2 流媒体( s t r ea i i 】i n gm e d i a ) 技术是一种从网络上获取连续媒体数据白勺新技 术，它主要研究和解决在网络环境下多媒体信息的实时传输问题，客户机端不必 等待媒体流完全下载到本地即可播放。流媒体技术吸引人的优势在于：减少了对 本地存储空间的占用，保护了知识产权，最重要的是减少了传输的时间，从而增 强了系统的实时性。 然而，最初i n t e r n e t 并不是为传输多媒体内容而设计的，它只是用于传输 纯文本性的资料，经过一段时间的发展后才加入了图像、声音等多媒体数据形式， 所以要在i n t e r n e t 上传输流媒体，面临着一系列问题。 本文以安防监控作为应用背景，针对安防监控对于数据的实时性需求，将流 媒体技术应用到安防监控系统中，建立一个从采集编码经网络传输到接收解码的 基于板卡的完整系统，多媒体数据采用m p e g 一4 编码标准，通过t c p u d p 传输。 同时，针对网络传输过程中可能出现的问题，主要是拥塞问题，提出基于应用层 的q o s ( 服务质量) 保障机制。 关键词：流媒体，m p e g 一4 ，t c p u d p ，q o s ，拥塞控制 a b s t r a c t s 仃e a m i n gm e d i ai san e w1 e c h n i q u e0 fg e 札i n gc 血m o u sm e d i ad a t a ，i tf o c u s o n m u l t i m e d i ad a t a sr e a l t i m et r a n s m i m n g ，t h ec l i e md o n t h a v et ow a i tu n m a c c o m 稿i i s h m e n to f 也e 矗i ed o 、m i o a d i n 昏i tc a i lb e e np l a y e dr e a l - t i m e s 订e a m i n g m e d i a sa b s o r b i n ga d v a n t a g ei s1 呔et l i s ：d e c r c a s em es p a c eo fs t o f a g e ，p r o t e c t 廿1 e i n l e l l e c t u a lp r o p e r 睁n g h t ，t 1 1 em o s ti m p o n a n ti sd e c r e a s et h e 廿m eo fm m 锄i t t i n s o m a k em es y s 把m sr e a l - t i m eb e t t e l h o w e v e r ，t h ee a r i yi n t e r n e tw a sn o td e s i g nf o rm u l t i m e d i a ，i tw a s b e e nd e s i g n e d f o r 如ep u r e t “t ，s o m et i m e1 a t e r ，m u l t i m e d i ad a t aw a sb e e nj o i n e d ，s u c ha si m a g ea n d s o u n d ，s ot h e r ea r eas e r i e so f p r o b l e m si nt r a n 锄m i n gs t r e 锄i n gm e d i a t h i sd i s s e r t a t i o nm a k es e c w i t yp r o t e c t i o nm o i l i t o r i n ga s 印p l i c a t i o nb a c k 伊o l l l ld f o c u so nt h er e a l t i m er e q u e s t ，m a k es t r e a m i n gm e d i aa p p l yf o rt h es e c 埘t yp r o t e c t i o n 瑚o n i t o r i n gs y s t e m ，b u i l daf u l ls y s t e mo f 丹o mc o d eb e t w e e nn e t w o r kt od e c o d e m u l t i m e d i ad a t au s em p e g - 4s t a l l d a r da i l dt r a j l s m i tb yt c p ，u d p a tt h es 锄et 血e ， b e c a u s eo f 也ep o s s i b l ep r o b l e m so fn e f w o r k 饥m s r n i t t i n 昏m o s t l yi s 也ep r o b l e mo f c o n g e s t i o n ，aq o s b a s e do na p p j i c a n o nl a y e ri sb e e np r o p o s e d k e vw o r d s ：s t r e a m i n gm e d i a ，m p e g - 4 ，t c p 巾d p ，q o s ，c o n t r o lo fc o n g e s l i o n 浙江大学硕士学位论文 第一章绪论 1 1 流媒体技术概述 在网络上传播音视频等多媒体信息主要有下载和流式两种传输方案。 下载传输技术就是把整个文件先下载到客户的本地存储器上，然后进行顺序 播放。这种方案存在以下的不足之处： ( 1 ) 需要较大的存储容量和较长的下载时间； ( 2 ) 数据需要完全存入客户端的硬盘中才能播放，不利于知识产权的保护； ( 3 ) 在某些实时条件下，比如卫星直播时，无法使用该方案。 流媒体技术正是针对以上不足而发展起来的网络传输技术。其流式传输过程 可以简单描述为：流媒体服务器按照一定的实时传输协议，把连续影像和声音信 息封装成一个个独立的媒体数据包，向客户端连续、实时地发送；客户端创建并 且维护一个缓冲区，一边将收到的媒体数据包放入缓冲区，一边读取缓冲区内的 媒体数据进行播放。由于缓冲区的大小一般远远小于媒体文件的实际尺寸，不用 等到整个媒体文件下载完毕即可开始播放，所以流媒体最显著的特征是“边下载， 边播放”。流媒体技术克服了下载传输技术的不足，从而大大缩短了等待时间， 实现了较好的实时性，同时也较好地保护了知识产权。 信息社会日新月异，政府、企业、机构如何提高自身竞争力，开源节流，有 效地利用已有的各种网络条件，刨造更大的效益己成为当前比较关注的问题。随 着数字信号处理、压缩编码技术和数据传输中新技术的不断涌现，新产品层出不 穷，同时出现了许多流媒体业务，概括来说，有以下几类：多媒体会话型业务， 如会议电视、可视电话、远程教育、远程医疗等；多媒体检索型业务，如多媒 体数据库查询；多媒体分配型业务，如新闻发布、在线直播、视频点播等； 多媒体电子信函型业务。 正是由于流媒体技术在网络多媒体应用方面具有传统媒体不具备的种种优 势，它已经成为多媒体领域和互联网领域研究和应用的热点。近年来，我国的一 些公司和研究机构也开始进行流媒体技术的研究，希望在迅速发展的流媒体领域 获得一席之地。 浙江大学硕士学位论文 1 2 视频图像监控 安防监控系统是应用光纤、同轴电缆或微波在其闭合的环路内传输视频信 号，以摄像和图像显示及记录构成独立完整的系统。它能实时、形象、真实地反 映被监控对象，不但极大地延长了人眼的观察距离，而且扩大了人眼的机能：它 能在恶劣的环境下代替人工进行长时间监视，让人能够看到被监视现场实际发生 的一切情况，并通过录像机记录下来；同时报警系统设备对非法入侵进行报警， 产生的报警型号输入报警主机，报警主机触发监控系统录像并记录。 视频图像监控是安防监控系统中最重要的组成部分，也一直是人们关注的应 用技术热点之一。它以其直观方便、信息内容丰富而被广泛应用。视频图像监控 系统是随着电视和摄像机的出现而发展壮大起来的。在这短短的几十年的发展历 程中，伴随着新技术革命的不断冲击，大致经历了如下几个阶段： ( 1 ) 对一监控系统 在最初的阶段，多以摄像机与监视器( 电视) 一对一监视，连接方式是靠 视频电缆一对一直接相连，有多少个摄像机就有多少个监视器。 ( 2 ) 控制电路系统 一对一监控系统造成极大的浪费，而且随着对监视范围要求的进步扩大， 以及变倍镜头及云台的引入，必然导致控制器的出现。此时的切换控制电路系统 因受技术的限制，只是简单的硬件电路组合，传输距离近，布线复杂，操作繁琐， 系统容量小，扩展困难，不能实现区域联网。 ( 3 ) 微处理器监控系统 这一时期的监控系统将切换和控制合二为一。但是因为采用非标系统，受单 片机( 8 位、1 6 位芯片) 的限制，系统功能容量及运行速度有限，体积大，容易 死机，无对话式屏幕菜单，缺乏良好的人机界面，可编译性差，最重要的是无法 与标准计算机联网。 ( 4 ) 外挂多媒体的监控系统 伴随着计算机多媒体技术的萌芽发展，到九十年代，开始出现利用计算机显 示器的高解析度，将一路视频传输进来，通过视频捕捉卡采集到计算机上显示。 但是，控制及切换主机仍为传统单片机，只是通过串口与计算机相连。尽管 它有较为良好的人机界面，但仍不能称其为真正的多媒体系统，因为系统设计的 浙江大学硕士学位论文 出发点是基于传统的微处理器监控模式，而在大部分时间里，计算机只是在充当 一个外部监视器，并没有发挥其真正的作用。传统微处理器监控系统所固有的弊 病没有克服，导致已有的计算机资源远远没有发挥应有的作用。 ( 5 ) 数字媒体监控管理系统 数字多媒体监控系统完全基于计算机，以其为核心，结合安防监控的实际要 求及多年来不断完善的安防理论及经验，运用最新的数字视频技术、现场总线技 术、网络通讯技术建立一套软硬件相互结合、崭新、完整的安防体系。它通过优 化内部结构，提高整体性能和反应速度，以适应新技术不断发展的需要，提供针 对不同行业不同需求的数字媒体监控管理的全面解决方案，将监控从安全防范提 高到管理的高度，以视频为主线结合相关实际业务渗透到各个领域中去，促进生 产力的不断发展。 1 3 本论文的任务与结构 随着i n t e r n e t 和多媒体技术的快速发展，网络视频的实时传输已成为网络 应用的热点之一。同时，m p e g 一4 标准以其高压缩比、高质量、低传输率成为目 前和下一代网上多媒体传输的主要格式和标准。 本论文针对安防监控系统对于图像、声音数据有较高实时性要求的特点，在 视频图像监控中采用流媒体技术。同时，视频的实时传输要求具有较低的延时和 较小的丢失率，由于t c p 的重发机制会带来较大的延时，而u d p 本身又不提供任 何q 。s 的保证，因此需要设计一定的q 。s 保障机制来保证流媒体的传输。 本论文的研究目标在于建立一套应用于安防监控的具有q o s 保障的流媒体 监控系统。整个流程包括图像的采集、m p e g 一4 图像压缩、网络传输及q o s 机制 保障，m p e g 一4 解码，播放控制等部分。图卜1 为安防监控系统的框图。 本论文的目的并不仅仅在于实现一个系统，也不是仅仅在于关注流媒体技术 在安防监控中应用，而是希望以安防监控作为应用背景，论述流媒体技术及其 q o s 的原理、设计与实现。 浙江大学硕士学位论文 图卜1 安防监控系统框图 本论文的章节组织如下： 第一章论文的概述。 第二章介绍了流媒体及其q o s 的基本原理，包括流媒体的传输与协议、视 频压缩编码、0 0 s 基本理论等。 第三章设计了系统的整体方案，将系统解构成三大模块，便于实现和测试。 第四章设计了一个监控客户端播放器，重点是流播放控制和o s d 功能的实 现过程。 第五章设计了监控服务器的采集压缩和网络传输，包括了从采集到压缩 ( m p e g - 4 ) 再到网络传输的整个过程，还包括服务器与客户联系的一系列约定。 第六章针对安防监控的特点，设计了在应用层上的针对流媒体服务的0 0 s 保障机制，包括客户端和服务器两个方面，其中客户端又可以包括开环控制和闭 环控制两种。 第七章从客户端和服务器两个方面对系统进行调试与测试，显示q o s 机制 对于提高服务质量的作用。 第八章总结与展望。 浙江大学硕士学位论文 第二章实时流媒体及其q o s 2 1 流媒体的传输与协议 2 1 1 流媒体传输 流媒体的播放方式如果按照客户端的交互手段区分，可以分为点播和广播。 点播是指客户端与服务器之间的主动的连接，客户端能够对媒体进行开始、停止、 后退、快进或暂停等操作，客户端拥有流的控制权：广播是指用户被动地接收流， 不能控制流，用户无法暂停、快进或后退该流。 如果按照流媒体数据在服务器和网络上的传输方法区分，流媒体的播放方式 又可以分为单播和组播( 多播) 。单播是指需要在客户端与媒体服务器之间建立 一个单独的数据通道；组播( 多播) 是指将数据包的单独一个拷贝发送给需要的 那些客户，媒体服务器只需要发送个信息包即可。 在介绍流媒体的传输过程中，有三个容易混淆的概念：压缩格式、文件格式 和发布格式。压缩格式是描述流媒体文件中媒体数据的编码解码方式；文件格 式是服务器端待传输的流媒体的组织形式；而发布格式是一种呈现给客户的媒体 安排方式。三种格式的转化过程是，压缩格式通过编码，使其适合在网络上边下 载边播放，转化成流式文件格式，文件格式通过数据安排变成媒体发布格式。 网络视频流数据处理过程如图2 1 所示。数据打包、解包处理都是在端系统 上完成的。如果在端系统资源足够的情况下，这两个处理过程将是一个无损的处 理过程，所以网络的传输处理是引起数据损失的最重要部分。 恒蝉 应用系统 霹碉 一斗一一= 一# 一一一一! p c k t tp r o c e s 5 信输系统 u n p c k e tp r o c e s ( r t p v d p i p u n x )趣t p l i d p ，i p ，l i n x ) 一网络信输l f 一 搜送端系统 网络系统接收端系统 图2 一i 网络视频流数据处理过程 浙江大学硕士学位论文 音视频信息传输过程中有两个最基本的要求：必须以恒定的速率播放： 视频流中的多种信号必须保持同步。多媒体数据必须进行一定的预处理才能适合 流式传输，预处理主要包括两方面：降低质量；采用先进高效的压缩算法。 流式传输的实现需要缓存，使用缓存系统来弥补延时和抖动的影响，并保证数据 包的顺序正确，从而使媒体数据能够连续输出。流式传输的实现还需要合适的传 输协议，一般采用h t t p t c p 来传输控制信息，而用r t p u d p 来传输实时声音 视频数据。 编码传输过程中，我们可以在一个流中包含不同质量的流信息，不同的接入 速度将会得到不同的服务质量。对于每个具体的接入，媒体服务器要根据用户的 接入速率决定将流中某个速率等级的信息发给该用户。这样，尽管用户点播的是 同一个节目流，但由于它们各自的网络环境不同，就可能看到不同质量的图像， 听到不同质量的声音。具体可以参见m p e g 一4 中的分级压缩编码( 2 2 4 节) 。 在流媒体的传输中，有三种播放模式： v b r ( v a r i 曲1 eb i t sr a t e ) 模式：每帧输出的编码码率是变化的，码率取 决于画面的复杂度和运动情况，但是画面的品质是固定的； c b r ( c o n s t a n tb i tr a t e ) 模式：每帧输出的编码码流是恒定的，但是画面 的品质碎输入的画面变化； h b r ( h y b r i dv b r ) 模式：基本类似于v b r 模式，但是可以设置最大输出和 最小输出的编码码率。 2 1 2 流媒体协议 流媒体技术中的“流”需要各种网络协议来保障其在网络中的传输。传输协 议是流媒体技术的一个重要组成部分，也是基础的组成部分。一个典型的流媒体 服务协议栈如图2 2 所示，整体的流媒体服务器是利用r t s p 协议来建立客户端 和服务器端的连接，利用r t p 协议进行媒体文件的传送”3 。 浙江大学硕士学位论文 图2 2 流媒体服务协议栈 r t p 、r t c p 、r t s p 、r s v p 是流媒体中最重要的四种网络传输协议，表2 1 显 示了它们在t c p i p 体系中所处的位置。 表2 1r t p 、r t c p 、r t s p 、r s v p 在t c p i p 体系中所处的位置 应用层h t t p ，s m t p ，t f t p ， r t s p r t p ，r t c p ，r s v p 运输层 u d p ，t c p 网际层 r i p ，o s p f ，b g p 网络接口层 a t m ，f r ，m p 乙s 下面详细介绍这四种协议以及其它一些流媒体网络协议： ( 1 ) r t p ( r e a 卜t i m et r a n s p o r tp r o t o c 0 1 ) 实时传输协议“9 。 r t p 协议由i e t f 于1 9 9 5 年3 月提出。是用于i n t e r n e t 上针对多媒体数据 流的一种传输协议。r t p 通常使用u d p 来传送数据，但r t p 也可以在t c p 或a t m 等其它协议之上工作。当应用程序开始一个r t p 会话时将使用两个端口：一个给 r t p ，一个给r t c p 。r t p 本身并不能为按顺序传送数据包提供可靠的传送机制， 也不提供流量控制或拥塞控制，它需要依靠r t c p 来提供这些服务。通常r t p 算 法并不作为一个独立的网络层来实现，而是作为应用程序代码的一部分，要通过 r t p 进行音视频传输，必须把音视频数据封装成一个个的r t p 包。 一个r t p 会话( s e s s i o n ) 包括传给某个指定目的地的所有通信量，发送方 浙江大学硕士学位论文 可能包括多个。而从同一个同步源发出的r t p 分组序列称为流( s t r e 锄) ，一个 r t p 会话可能包含多个r t p 流。一个r t p 分组在服务器端发送出去的时候总是要 指定属于哪个会话和流，在接收时也需要进行两级分用，即会话分用和流分用。 ( 2 ) r t c p ( r e a l 一t i m et r a n s p o r tc o n t r 0 1p r o t o c 0 1 ) 实时传输控制协议3 r t c p 和r t p 一起工作提供流量控制和拥塞控制服务。在r t p 会话期间，各 参与者周期性地传送r t c p 包。r t c p 包中含有已发送的数据包的数量、丢失的数 据包的数量等统计资料，因此，服务器可以利用这些信息来动态地改变传输速率， 甚至改变有效载荷类型。r t p 和r t c p 一般都是配合使用的，它们能以有效的反 馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时数据。 r t c p 主要有4 个功能： ( a ) 用反馈信息的方法来提供分配数据的传送质量； ( b ) 为r t p 源提供一个永久性的c n a m e ( 规范性名字) 的传送层标志； ( c ) 根据与会者的数量来调整r t c p 包的发送率； ( d ) 传送会话控制信息。 r t c p 定义了如下几种携带不同控制信息的r t c p 包类型： s r ：发送者报告当前活动发送者发送和接收的统计信息； r r ：接收者报告非活动发送者接收的统计信息； s d e s ：资源描述项： b y e ：表示结束； a p p ：特殊应用包。 ( 3 ) r t s p ( r e a l 一t i m es t r e a m i n gp r o t o c 0 1 ) 实时流协议“” r t s p 是由r e a l n e t w o r k s 和n e t s c a p e 共同提出的，该协议定义了一对多应 用程序如何有效地通过i p 网络传输多媒体数据。r t s p 协议是一个应用层协议， 它必须以底层的r t p 、r s v p 等协议为依托，才能在i n t e r n e t 上提供完整的流媒 体传输服务。它使用t c p 或r t p 完成数据传输，使用r t s p 时，客户机和服务器 都可以发出请求，即r t s p 可以是双向的。r t s p 本身并不发送连续媒体流，而是 提供了操纵播放、快进、快倒、暂停及录制等命令的方法，因此，r t s p 用于通 浙江大学硕士学位论文 过网络对媒体服务器进行远程控制。 ( 4 ) r s v p ( r e s o u r c er e s e r v ep r o t o c 0 1 ) 资源预订协议”3 r s v p 是由施乐公司、麻省理工学院、加州大学等研究机构共同开发的 i n t e r n e t 上的资源预订协议。使用r s v p 预留一部分网络资源( 即带宽) ，可适 用于单播和多播。用户通过r s v p 协议向网络请求满足特殊服务质量要求的资源， 中间结点利用r s v p 协议在数据传输通路上建立起资源预留并维护该通路，以实 现相应的服务质量。r s v p 协议一般由决策控制、接纳控制、分类控制器、分组 调度器和r s v p 处理模块构成。 ( 5 )m m s ( m i c r o s o f tm e d i as e r v e rp r o t o c 0 1 ) 微软的流媒体服务器协议，m m s 是连接w i n d o w sm e d i a 单播服务的默认方法。 ( 6 )m s b d ( m e d i as t r e a mb r o a d c a s td i s t r i b u t i o np r o t o c 0 1 ) 媒体流广播分发协议，它主要用于w i n d o w sm e d i a 编码器和w i n d o w sm e d i a 服务器组件之间传递媒体流，以及服务器之间的媒体流分发。 ( 7 ) p n m ( p r o g r e s s i v en e t w o r k sa u d i o ) r e a l 专用的实时传输协议，它一般采用u d p 协议，并占用7 0 7 0 端口，但当 服务器在防火墙内且7 0 7 0 端口被挡，且服务器把s m a r t i n gn e t w 。r k 设为真时， 则采用h t t p 协议，并占用h t t p 默认的8 0 端口。 p n m 是早期的协议，现在一般使用r t s p 。 2 2 视频压缩与肝e g 标准 2 2 1 视频压缩概述 各种媒体信息( 特别是图像和动态视频) 的数据量非常之大。例如：幅 6 4 0 4 8 0 分辨率的2 4 位真彩色图像的数据量约为9 0 0 k b ，一个1 0 0 m b 的硬盘只 能存储大约1 0 0 幅这样的静止图像画面。显然，这样大的数据量不仅超出了计算 9 浙江大学硕士学位论文 机的存储和处理能力范围，更是当前通信信道的传输速率所不及的。因此，为了 存储、处理和传输这些数据，必须进行压缩。 有四种基本手段可以压缩图像序列中相关信息：利用二维d c t 变换减少图 像的空间域的冗余度：利用运动补偿预测减少图像的时间域冗余度；利用视 觉加权量化减少图像“灰度域”的冗余度；利用熵编码来减少图像的“频率域” 的冗余度“。 而相比之下，语音数据因为数据量较小，且基本压缩方法己经成熟，所以目 前的数据压缩研究主要集中于图像和视频信号的压缩方面。 数据压缩的方法种类繁多，按照压缩过程中是否有数据损失，可以分为无损 压缩和有损压缩两大类。 无损压缩利用数据的统计冗余进行压缩，是完全可逆的，但压缩率受到数据 统计冗余度的理论限制，一般为2 ：l 至5 ：1 。这类方法广泛用于文本数据、程序 和特殊应用场合的图像数据( 如指纹图像、医学图像等) 的压缩。但是由于受压 缩比的限制，仅使用无损压缩方法是不可能从根本上解决图像和数字视频的存储 及网络传输问题的。 有鉴于此，必须使用有损压缩。有损压缩利用了人类视觉对图像中的某些频 率成分不敏感的特性，允许压缩过程中损失一定的信息，也就是说逆过程中不能 完全恢复原始的数据，但是所损失的部分对理解原始图像的影响较小，却换来了 大得多的压缩比。 在多媒体应用中常用的压缩方法有：p c m ( 脉冲编码调制) 、预测编码、变换 编码( 主成分变换或k l 变换、离散余弦变换等) 、插值和外推法( 空域亚采样、 时域亚采样、自适应) 、统计编码( h u f f m a n 编码、算术编码、s h a n n o n f a n o 编 码、行程编码等) 、矢量量化和予带编码等。新一代的数据压缩方法，如基于模 型的压缩方法、分形压缩和小波变换方法等也已经接近实用化的水平。 2 2 2j p e 卜静止图像压缩标准 我们先来看一看静态的图像，因为运动的视频也是由静态的图像所组成的。j 。 国际标准化组织( i d ) 和国际电报电话咨询委员会( c c i t t ) 联合成立的专 家组j p e g ( j o i n tp h o t o g r a p h i ce x p e r t sg r o u p ) 经过五年艰苦细致的工作后， 浙江大学硕士学位论文 于1 9 9 1 年3 月提出了i s o c d l 0 9 1 8 号建议草案：多灰度静止图像的数字压缩编码 ( 通常简称为j p e g 标准) 。j p e g 是一个适用于彩色和单色多灰度或连续色调静 止数字图像的压缩标准。它包括基于d p c m ( 差分脉冲编码调制) 、d c t ( 离散余 弦变换) 和h u f f m a n 编码的有损压缩算法两个部分，前者不会产生失真，但压缩 比很小：后一种算法的图像压缩有损但压缩却比很大。j p e g 标准实际上有三个 范畴： ( 1 ) 基本顺序过程( b a s e l i n es e q u e n t i a lp r o c e s s e s ) ，实现有损图像压 缩，重建图像质量达到人眼难以发现有损的程度。采用的是8 8 像素自适应d c t 算法、量化及h u f 如a n 型的熵编码器； ( 2 ) 基于d c t 的扩展过程( e x t e n d e dd c tb a s e dp r o c e s s ) ，使用累进工作 方式，采用自适应算术编码的过程； ( 3 ) 无失真过程( l o s s l e s sp r o c e s s ) ，采用预测编码及h u f f m a n 编码( 或 算术编码) ，可保证重建图像数据与原始图像数据的完全相同。 其中的基本顺序过程是j p e g 最基本的压缩过程，符合j p e g 标准的软硬件编 码、解码器都必须支持和实现这个过程，另两个过程是可选的扩展，对某些特定 的应用有比较大的实用价值。 基本j p e g 算法可分成以下三个步骤：通过离散余弦变换( d c t ) 去除数 据冗余；使用量化表对d c t 系数进行量化；对量化后的d c t 系数进行编码使 其熵达到最小。 下面详细介绍其中的关键过程： 离散余弦变换( d c t ) ：j p e g 采用8 x 8 子块的二维离散余弦变换算法。在编 码器的输入端，将原始图像( 对彩色图像是每个颜色成分) 顺序地分割成一系列 8 8 的子块。在8 8 图像块中，像素值一般变化较平缓，因此具有较低的空间 频率。进行8 8 的离散余弦变换可以使图像块的能量集中在极少数的几卜系数 上，其它系数的值与这些系数相比，绝对值要小得多。 量化：为了达到压缩数据的目的，对取得的d c t 系数需作量化处理。量化的 作用是在保持一定质量的前提下，丢弃图像中对视觉效果影响较小的信息，所以 说量化是造成d c t 编码信息损失的根源。 z 型( z i g z a g ) 扫描：8 8 个变换数经量化后，左上角系数是直流分量( d c 浙江大学硕士学位论文 系数) 。相邻8 8 块之间的d c 系数一般都具有很强的相关性，j p e g 标准对d c 系数采用d p c m 编码( 差分编码) 。其余6 3 个交流分量( a c 系数) 通常会有许多 零值，从左上角开始沿对角线方向，以z 型扫描直至结束，可以有效地增加连续 出现的零值个数。 熵编码：a c 系数因为有较多的连续零值，要进行游程编码。为了进一步压 缩数据，对d c 码和a c 游程编码的码字还要再作基于统计特性的熵编码。 2 2 3m p e g 运动图像压缩编码 m p e g 是m o v i n gp i c t u r e se x p e r t sg r o u p ( 动态图像专家组) 的缩写，它的 工作兼顾了j p e g 标准和c c i t t 专家组的h 2 6 l 标准，于1 9 9 0 年形成了一卜标准 草案。m p e g 算法除了对单幅图像进行编码外，还利用图像序列的相关特性去除 帧间图像的冗余，从而大大提高地了视频图像的压缩比，在保持较高的图像视觉 效果的前提下，压缩比可以达到6 0 1 0 0 左右。m p e g 压缩因为算法复杂、计算量 大，其实现一般需要专门的硬件支持。 m p e g 标准有三个组成部分：m p e g 视频，m p 髓音频，视频与音频的同步。m p e g 视频是m p e g 标准的核心。 m p e g 视频压缩算法中包含两种基本技术：种是基于d c t 的压缩，用以减少 帧的空域冗余；另一种是基于1 6 1 6 子块的运动补偿技术，用以减少帧序列的 时域冗余。前者在j p e g 中已经简要地介绍了，m p e g 的帧间编码主要采用了预测 和插补两种技术“。 ( 1 ) 运动补偿预测：帧序列的相邻画面之间的运动部分往往具有相关性， 即当前画面上的图像可以看作是前面某时刻画面上图像的位移。利用运动位移信 息与前面某时刻的图像来对当前画面图像进行预测，称为前向预测。反之，根据 某时刻的图像与位移信息预测该时刻之前的图像，称为后向预测。m p e g 的运动 补偿预测方法将画面分成若干1 6 1 6 的子图像块( 称为补偿单元或宏块) ，并根 据一定的条件分别进行前向预测、后向预测和平均预测。 ( 2 ) 运动补偿插值：以插补方法补偿运动信息是提高视频压缩比的最有效 的措施之一。插值运动补偿也称为双向预测，因为它既利用了前面帧的信息又利 用了后面帧的信息。 浙江大学硕士学位论文 m p e g 视频编码的原理如图2 3 所示。 图2 3m p e g 视频编码原理图 m p e g 图像编码包含3 个成分：i 帧，p 帧和b 帧。i 帧压缩去掉图像的空间 冗余度，而p 帧和b 帧去掉运动图像的时间冗余度。编码后的典型图像帧序为： i b b p b b p b b p b b i b b p b b p b b p b b i 一 i 帧压缩采用基准帧模式。只提供帧内压缩，不能除去帧间冗余度，即把图 像压缩到i 帧时，仅仅考虑了帧内的图像信息。帧内压缩基于离散余弦变换 ( d c t ) 。i 帧压缩可以得到6 ：1 的压缩比。 p 帧采用预测编码。利用相邻帧的一般统计信息进行预测，也就是说，它考 虑了运动特性，提供帧间编码。p 帧预测当前帧与前面最近的i 帧或p 帧的差别。 b 帧是双向帧间编码。它从前面和后面的i 帧或p 帧中提取数据，利用当前 帧与前一帧和后帧图像之间的差别进行压缩。b 帧压缩可以达到2 0 0 ：1 的压 缩比，其文件尺寸一般只有i 帧压缩尺寸的1 5 左右，不到p 帧压缩尺寸的一半。 有些压缩器不能产生b 帧。 2 2 4m p e g 一4 视频标准 m p e g 一4 视频标准于l9 9 8 年1 1 月定案，1 9 9 9 年2 月正式成为i s o i e c1 4 4 9 6 国际标准。m p e g 一4 的定义与m p e g 一1 和m p e g 一2 有很大的不同，它是一种格式和 浙江大学硕士学位论文 框架的定义，而不只是具体算法，其主要目标有两个：一是低带宽下的多媒体通 信，二是多媒体通信的综合。m p e g 一4 不仅是针对一定比特率下的视频、音频编 码，还注重多媒体系统的交互性和灵活性。 m p e g 一4 支持基于对象内容的编码“”，对象是指在一个场景中能够访问和操 纵的实体，对象的划分可根据其独特的纹理、运动、形状、模型和高层语义为依 据。在m p e g 一4 中所见的音视频己不再是过去m p e g 一1 、m p e g 一2 中图像帧的概念， 而是一个个视昕场景，这些不同的场景由不同的a v 对象( a v o ，a u d i ov i s u a l o b j e c t ) 组成。比如，在某些电影画面中，可以将人物对话、背景声、舞台噪声 看作不同的音频对象，甚至可以将不同人物的说话看作不同的对象，这样就可以 根据实际需要修改人物对话，甚至情节。 m p e g 一4 系统分为3 层：压缩层( c l 层) 、同步层( s l 层) 和复用传送层 ( t r a n s m u x 层) 。从编码的角度看，压缩层对音视频输入进行编码以产生e s ( e l e m e n t a r ys t r e a m ) 流；同步层给e s 流加上时间信息以保证音视频同步以及 各媒体对象间的同步：复用传送层负责 i p e g 一4 内容的复用并将其存为文件或在 网络上传送。压缩层和同步层的接口称为e s i ( e l e m e n t a r ys t r e a mi n t e r f a c e ) ， 而同步层与复用传送层的接口称为s m i ( s t r e a mm u l t i p l e x i n gi n t e r f a c e ) 。 下面将m p e g 一4 视频编码所采用的关键技术总结如下4 3 ： ( 1 ) 视频对象提取技术 视频对象提取即视频对象分割，因为m p e g 一4 基于对象，所以先要将对象提 取出来。目前进行视频对象分割的一般步骤是：对原始视频、图像数据进行简 化以便于分割，可通过低通滤波、中值滤波、形态滤波来完成；对视频、图像 数据进行特征提取，可以是颜色、纹理、运动、帧差、位移帧差乃至语义等特征； 基于某种均匀性标准来确定分割决策，根据所提取特征将视频数据归类；进 行相关后处理，以实现滤除噪声及准确边界提取。 在视频分割中基于数学形态理论的分水岭( w a t e r s h e d ，又称水线) 算法被 广泛使用，其基本过程是连续腐蚀二值图像，由图像简化、标记提取、决策、后 处理四个阶段构成。 ( 2 ) v o p ( v i d e 。o b j e c tp l a n e ，视频对象平面) 视频编码技术 浙江大学硕士学位论文 1 d p e g 一4 在编码过程中针对不同的v o ( v i d e oo b j e c t ，视频对象) 可以采用 不同的编码策略来增加其压缩比，即对前景v o 的压缩编码尽可能保留细节和平 滑；对背景的v 0 则采用高压缩比的编码策略，甚至不予传输而是在解码端由其 它背景拼接而成。 一般情况下，每个v o p 的形状是任意的，且其形状及位置随时间的变化而变 化，因此为了对任意形状的v o p 的形状、运动及纹理进行编码，m p e g 一4 视频检 验模型引进了自适应宏块网格。自适应宏块由2 种宏块组成：标准宏块( 位于 v o p 轮廓以内的宏块) 和轮廓宏块( 包含v o p 轮廓的宏块) 。对标准宏块的运动 补偿及纹理编码同m p e g l 和m p e g 一2 的方法基本相同。而对于轮廓宏块的运动估 计、补偿及纹理编码，采用图像填充技术用一定的灰度值填充轮廓宏块中位 于边界以外的像素，然后用“多边形”匹配技术进行运动估计与补偿。整个编码 过程是：对形状信息进行编码；对基于v o p 图像窗口宏块网格的运动矢量进 行编码；对v o p 中宏块的运动和纹理信息进行编码。 ( 3 ) 视频编码可分级性技术 视频编码的可分级性( s c a l a b i l i t y ) 是指码率的可调整性，即视频数据只 压缩一次，却能以多个帧率、空间分辨率或视频质量进行解码，从而可支持多种 类型用户，不同网络状况的各种不同应用需求。 分级压缩编码也叫可扩展编码。它和以前单层编码方法不同的是把视频信息 分为基本层( e l e m e n tl a y e r ) 和增强层( e n h a n c e m e n tl a y e r ) 两层来压缩编码。 基本层中包含了视频最基本、最重要的信息，是视频解码的最低要求；增强层中 包含了视频中的细节信息，是视频解码的可选信息。视频的解码在先得到基本层 的码流，重建低质量的视频的情况下，如果带宽有富余就解码增强层码流，得到 较高质量的视频。分级算法可分为精细可分级( f i n eg r a n u 】a r i t ys c a l a b i i t y ， f g s ) 编码算法和渐进精细可分级( p r o g r e s s i v ef i n eg r a n u l a r i t ys c a l a b i l i t y ， p f g s ) 编码算法两种。 在f g s 中，对增强层编码只是对原图和重构基本层的残差进行d c t 后，量化 并进行位平面编码。p f g s 算法与f g s 的主要区别是在于增强层引入了高质量的 参考帧来提高运动估计的精度以减小增强层的码率。 浙江大学硕士学位论文 ( 4 )d m i f ( t h ed e l li v e r ym u l t i m e d i ai n t e g r a t i o nf r 锄e w o r k ) 多媒体传送 整体框架 网络视频流式传输系统分为视频子系统和网络子系统两部分，视频子系统利 用m p e g 一4 的视频技术；为了适应多种传输技术，m p e g 一4 并未制定网络层的具体 规范，只是提供了一个d m i f 用以屏蔽多种网络技术的差异以及网络内容存取与 本地内容存取的差异。 在m p e g 一4 之前已有几种用于流式媒体的网络协议，其中较为成熟的有实时 流协议( r t s p ) ，然而这些协议本质上都是为单个媒体流服务的，而m p e g 一4 往往 涉及多个并发的媒体流，若还要利用这些协议，则需要作较大的修改。d m i f 通 过传输多路合成比特信息来建立客户端和服务器端的握手和传输，可以支持多个 媒体流的并发传送，适合传递m p e g 一4 的内容。通过d m i f ，m p e g 一4 可以建立起具 有特殊服务质量的信道和面向每个基本流的带宽。 2 3 网络服务质量( q o s ) 2 3 1q o s 概述 q o s 的英文全称为q u a l i t yo fs e r v i c e ，中文名是“服务质量”，是网络的 一种安全机制，用来解决网络延时和阻塞等问题。q o s 希望实现一个基本的目标 在网络带宽剧烈变化的情况下，视频播放质量仍能良好并且变化平缓。这需 要满足如下两个条件： 第一，接收方缓冲区没有发生数据上溢或下溢。所谓上溢就是指缓冲区满， 从而丢弃从网络传过来的数据；下溢是指缓冲区一直没有数据，视频不能播放。 第二，发送缓冲区始终保持一定数量的待发送数据，没有发生下溢。也就是 说数据发送模块始终有数据可发。 上述两个条件被称为q o s 实现的基本条件，也是影响流媒体应用效果的直接 因素。然而，这两个条件都并不是很容易就能够满足的，它们受到多方面的影响 和制约。 对i p 网络的q o s 的评价可以通过下列参数来描述： 可靠性端到端网络连接的可靠性： 浙江大学硕士学位论文 延时两个参考点之间的传输延时； 抖动采用相同路由的数据流经过相同测量间隔后所表现出来的延时差异； 吞吐率数据在网络中的传输速率( 包括平均速率和峰值速率) ； 丢包率传输过程中数据包丢失的比率。 如果把流媒体系统比作一个城市的交通系统，那么在这个系统中，影响q o s 的因素主要有： 车的性能( 即流媒体内容的属性) ：如流媒体编解码方案、流媒体格式等； 路的性能( 即网络属性) ：如网络带宽、网络的稳定性与安全性等； 交通管理机制( 即流媒体传输策略) ：如拥塞控制、差错控制等。 当网络的物理性质决定后，对于网络的q o s 最重要的就是管理策略了。下面 介绍在q o s 中非常重要的拥塞管理。拥塞管理是指网络发生拥塞时，如何进行管 理和控制。其处理的方法是使用队列技术，常见的队列有如下4 种： 先进先出队列( f i f o ) ：这是最常见的队列。它不对报文进行分类，按报文到 达的先后顺序让报文进入队列，在队列的出口让报文按进队的顺序出队； 优先队列( p q ) ：在入队的时候，对报文进行分类，将所有报文依据预先的配 置分成最多四类，按照先进先出的策略分别进入四个优先级不同的队列。在 报文出队的时候，只有当高优先级队列报文发送完毕，低优先级报文才能发 送，而且较低优先级的报文会在发生拥塞时被较高优先级的报文抢断发送。 采用这种队列机制可以保证在网络发生拥塞的情况下，重要业务( 优先级较 高) 的数据得到优先传送； 定制队列( c q ) ：在入队的时候，根据配置将所有报文分成至多1 7 类，按照 先进先出的策略分别进入1 个系统队列和1 6 个用户队列。在出队调度上，系 统队列具有优先权，系统总是优先处理完该队列后再用处理用户队列。1 6 个 用户队列所占用的带宽的比例可以设置。当拥塞发生时，采用这种队歹4 机制 能保证不同业务按照一定比例获得相应的带宽，从而既保证关键业务，又不 至于使非关键业务得不到任何带宽； 加权公平队列( w f q ) ：在入队的时候，对报文按流进行分类，每一个流被分 配到一个队列。在出队的时候，w f q 根据报文分类时设置的流的优先级来分 配每个流应占有的带宽。当发生拥塞时，w f