（通信与信息系统专业论文）多路视频实时传输中的流量控制的优化与实现.pdf

y5 8 6 2 9 4 北京交通大学硕士学位论文多路视频实时传输中的 流量控制的优化与实现 摘要 本文的研究课题来源于国家 8 6 3项目“ 视频信息的采集及多 媒体信息在网上的实时传输” 。本文主要研究网上多路视频实时通 信中的流量控制问题。随着多媒体技术的发展，基于网络的实时 视频服务也越来越广泛地应用到各行各业中去，这些应用服务主 要体现在远程视频会议、远程视频监控、视频点播、电子商务等。 由于各种领域的需求和环境条件不一样，新的问题和挑战就 不断出现在人们面前。例如:在银行、铁路及连锁商店的视频监 控系统中，通常要求在带宽极其有限的网络上传输多路视频信息， 且每路视频服务必须满足一定的质量要求。因为视频源的输出码 率会随时发生变化，在这种情况下，需要根据优先级的不同，采 取一定的流量控制策略，既要避免网络发生拥塞，又要充分利用 带宽资源。因此研究多路视频实时传输中的流量控制问题具有重 要的理论和应用意义。 本文从一般的网络流量控制方法出发，结合本文所讨论的视 频监控系统，以基于发送端速率的流量控制方式为基础，研究流 量控制中获取反馈信息的方法，提出一种流量控制方案，即利用 流量采集器获取网络流量信息的方法来判断网络状态，以此作为 流量控制的依据:研究了视频压缩编码问题，采用自适应码率编 码方式调整视频源的输出码率，并提出一种基于视频源优先级的 码率调整策略;通过实现远程视频监控系统，对前面提出的多路 视频实时传输中的流量控制方案和基于优先级的码率调整策略进 行验证。 关键词:多路视频，实时传输，流量控制，优先级，码率调整， 视频监控 -k * - ;t 一 朴娜附 净 丫 蛋 1 又 _ 认万 产 北京交通大学硕士学位论文多路视频实时传输中的流量控制的优化与实现 a b s tr a c t wi t h t h e d e v e l o p m e n t o f m u l t i m e d i a t e c h n i q u e , t h e r e a l - t i m e v i d e o a p p l i c a t i o n s o n t h e i n t e r n e t b e c o m e m o r e i m p o rt a n t . v i d e o c o n f e r e n c e s y s t e m , v i d e o o n d e m a n d s y s t e m , e l e c t r o n i c c o m me r c e a n d r e m o t e v i d e o s u r v e i l l a n c e s y s t e m , w h i c h a r e b a s e d o n t h e t e c h n i q u e o f r e a l - t i m e v i d e o c o m m u n i c a t i o n , b e c o m e m o r e w i d e l y . n e w p r o b l e m s a n d c h a l l e n g e s a p p e a r b e c a u s e o f d i ff e r e n t r e q u i r e m e n t s f o r v i d e o a p p l i c a t i o n s . i n s o m e v i d e o s u r v e i l l a n c e s y s t e m s s u c h a s u s e d i n b a n k . r a i l w a y , a n d c h a in s t o r e , m u l t i p l e v i d e o d a t a w i t h i n d i v i d u a l q o s a r e r e q u i r e d t o t r a n s p o rt t h r o u g h l i m it e d b a n d w i d t h . b e c a u s e v i d e o s o u r c e s t r a n s mi s s i o n r a t e w i l l c h a n g e a t a n y m o m e n t , t h e fl o w c o n t r o l s c h e m e a c c o r d i n g t o t h e p r i o f e a c h v i d e o s o u r c e m u s t b e a d o p t e d , w h i c h c a n a v o i d t h e n e t w o r k o p e r a t in g t o w a r d s c o n g e s t i o n a n d m a x i m i z e t h e e f f i c i e n c y o f n e t w o r k b a n d w i d t h u s a g e . s o t h e s t u d y o f fl o w c o n tr o l f o r m u l t i p l e r e a l - t im e i n t e rn e t v i d e o t r a n s p o rt b e c o m e s a n i m p o r ta n t i s s u e . a i m i n g a t t h e v i d e o s u r v e i l l a n c e s y s t e m d i s c u s s e d i n t h i s p a p e r ; t h e fl o w c o n t r o l m e c h a n i s m b a s e d o n s e n d e r s r a t e i s a d o p t e d . f i r s t , t h i s p a p e r p r e s e n t s a m e t h o d o f u s in g t h e fl o w c o l l e c t i n g e q u i p m e n t t o g e t t h e c h a r a c t e r i z a t i o n o f t h e n e t w o r k c o n d i t i o n s s o t h a t r a t e a d j u s t m e n t d e c i s i o n c a n b e re l i a b l y m a d e . t h e n , t h i s p a p e r r e v i e w s t h e a d v a n c e d v i d e o c o m p r e s s i o n a n d c o d i n g m e t h o d s , a n d p r o p o s e s a r a t e a d j u s t m e n t s c h e m e b a s e d o n t h e p r i o f v i d e o s o u r c e . f i n a l l y , a v i d e o s u r v e i l l a n c e s y s t e m i s i m p l e m e n t e d t o p r o v e t h e fl o w c o n t r o l s c h e m e a n d t h e r a t e a d j u s t m e n t s t r a t e g y p ro p o s e d i n t h i s p a p e r . k e y w o r d s : m u l t i p l e r e a l - t i m e v i d e o , r e a l t i m e t r a n s m i s s i o n , fl o w c o n t r o l , p r i , r a t e a d j u s t me n t , v i d e o s u r v e i l l a n c e 1 1 北京交通大学硕士学位论文多 路视频实时传输中的流量控制的 优化与实现 第一章 前言 在短短十几年的时间内，因特网在全世界都得到了极为迅速 的发展，以其为载体的各种应用越来越多，其中关于多媒体方面 的应用在近几年逐渐得到重视，象视频点播、远程教学、远程医 疗、网上直播这样的应用在因特网上迅速得到推广。 1 . 1 本文研究的背景和意义 因特网中多媒体的传输包括电子白板、 文字对话、 音频和视频 的传输等。其中网络视频传输以其实时性和直观性得到了越来越 多的重视。但是网络视频信息的传输与传统的文本数据等非实时 信息的传输不同， 它对实时性的要求远高于可靠性，当网络拥塞 时， 对于非实时传输而言， 只是延长了 传输时间， 而对于视频传 输而言，数据不能按时到达将导致难以忍受的视频服务质量;当 网络负载较轻时，又不能充分利用带宽，造成资源浪费。因此， 如何充分利用网络带宽，又不致发生网络拥塞，保证视频流的实 时传输具有重要的理论和应用意义。 在银行、铁路、社区及连锁商店的视频监控系统中，通常要 求在带宽极其有限的网络上传输多路视频信息，且每路视频服务 必须满足一定的质量要求。对于目 前广泛使用的采用帧间编码和 运动补偿技术的视频压缩算法( 如: m p e g - 4 , h .2 6 4 等) ， 其视频 流的码率是变化的，如果按最大码率限定视频流的路数，将势必 造成网络资源的利用率降低，否则，就容易造成网络拥塞，出现 丢包等现象，影响服务质量。使用现有的技术和方法很难达到理 想的结果。这一问 题可归结为 在两个高速网 ( 如 l o o m ) 之间， 通过 一低速通道 ( 如2 m)实现多路、不对称、动态的数据优化传输， 要求充分利用网络带宽资源， 达到一定 q o s ，实质上就是一个流 量控制问题。那么，本文所要研究的就是采用适当的流量控制策 i 北京交通大学硕士学位论文多路视频实时传输中的流量控制的优化与实现 略，通过判断网络当前状态，调整各路视频流的发送码率，既充 分利用网络资源，又避免发生网络拥塞，从而保证具有优先级的 多路视频的流畅、高效传送。 1 . 2 视频监控系统的结构 1 . 2 . 1 远程视频监控系统概述 传统的监控系统一般都是闭路电视监控系统，采用模拟信号 传输图像序列，通过监视器或电视机监视现场情况，其缺点是所 有的信息都集中于监控中心，没有扩展传输及远程控制的能力， 这种基于模拟信号的监控技术限制了传统监控系统的发展。近几 年来，计算机网络和计算机软、硬件技术的快速发展， 为以计算机 为基础的数字化视频监控带来了发展契机。 远程视频监控系统主要采用点对点和多址广播两种传输技 术，多数情况下是以点对点方式为主11 2 1 。它的主要特点是实时性 要求高，延时小，而且往往要求可控制，可切换视频源。另外， 被监控的对象运动幅度不同，所要求的图像质量也不一样，一般 象道路监控这样的场合，被监控的对象是高速运动的车辆，因此 视频码率变化大而且迅速:而对楼宇监控的场合，因为背景画面 固定，所以码率变化不会出现跳变。 1 . 2 . 2 数字视频监控系统的优点 数字化视频监控它不仅能完成所有模拟视频监控系统的功 能，还具有灵活、智能、经济等特点，是模拟监控所无法比拟的。 具体体现在1 3 1 , 令 数字监控系统把监控录像保存在大容量硬盘上，数字信 号长期存储信息永不丢失，图像质量不下降。 今 数字视频容易被计算机处理。可以在监控图像中设定报 北京交通大学硕士学位论文多路视频实时传输中的流量控制的优化与实现 警区域，计算机对报警区域的图像进行分析和处理，当 有目标在该区域内活动时，计算机及时采取预定操作， 真正做到自动监控，无人职守。 令 数字视频经过压缩之后，占用带宽较小，而且数字信号 在传输时容易进行加密，非法截取的信号无法还原为视 频图像。 令 数字录像存储在计算机硬盘上，可以用计算机来检索和 管理。摆脱了手工管理和检索的复杂繁琐。 数字化视频监控不仅可以利用计算机网络和先进的视音频压 缩解压缩等多媒体技术实现远程视频监控，还具备根据报警功能 需求设置灵活多样的报警联动，生成详细的报警记录和操作记录 数据库，设计完善的系统用户权限管理等功能。 1 . 3 . 3 本文讨论的视频监控系统结构 在银行、铁路、学校、社区等部门通常要用到视频监控系统， 他们将各个监控服务器采集的视频信息通过网络传送到监控客户 端，进行监视、控制、录像等操作。本文以银行系统为例，给出 视频监控系统的系统结构。几个储蓄所分别安装一个监控服务器， 通过2 m 的低速网络，将采集到的 视频信息传输给支行的监控客户 端进行处理。其中每个储蓄所优先级不同，必须保证优先级高的 图象质量良 好， 其余的在保证网 络不发生拥塞前提下，调整码率， 以尽可能好的视频质量传送。为简化分析并不失一般性，在本文 讨论的视频监控系统中作如下假设: 令 在因特网中， 交换机的处理速度、 通信信道及缓存空间通 常既是网上所有主机共享的资源， 也是网络系统潜在的瓶 颈， 本文所讨论的视频监控系统假设视频源端高速网的网 络资源( 带宽 ) 有足够的余量， 拥塞现象只会出现在通过低 速网的通信时: 个 视频源数量不频繁变化 ( 即在系统调整达到稳态之前不 变) ， 编码编码标准采用n i p e g - 4 ; 北京交通大学硕士学位论文 多路视频实时传输中的流量控制的优化与实现 命 被监控地点是储蓄所， 背景画面固定， 而且多数情况下人 物活动缓慢，码率变化不会出现巨大跳变; 该视频监控系统结构如图 1 . 1 所示。 监 p 2田 务 毖 监 片 窟户 嘴 益 控容户 端 圈1工本文所讨论的视绷监控呆找拮构圈 1 . 3 本文的主要工作 远程视频监控系统在上述结构的网络中， 2 m 带宽是用来实时 传送多路 ( 例如 8路)视频信号，如果所有的视频信号都要以高 质量的视觉效果传送， 2 m带宽是远远不够的。 采用mp e g - 4 编码 标准时，由于场景的不同， 视频流的码率可以是几十k b i t / s 、 几百 k b it / s ，甚至几 m b i t / s ，变化很大，那么，在这种情况下，就要采 取优化的流量控制策略， 即如何既充分利用2 m带宽， 又不使网络 发生拥塞，还要保证具有高优先级的视频信号以 较好的 质量传送， 使多路视频信息高效地在网络中传输，这就是本文所要解决的问 题。工作重点归纳如下: 命 如何及时、准确地获取流量控制中网络的反馈信息，以 此作为流量控制的依据，即判断网络的当前状态，及时 检测出2 m带宽的利用程度。 令 根据网络的反馈信息，如何按照优先级的不同分别调整 各路视频信息的码率，使其适应网络带宽占用情况。这 也是本文的研究重点之一。 北京交通大学硕士学位论文多路视频实时传输中的流量控制的优化与实现 全文主要包括以 下几个章节: 第一章前言， 简单介绍了远程视 频监控系统概况、数字视频监控系统的优点，以及本文的研究背 景、意义和工作重点。第二章网络流量控制介绍了网络流量控制 的概念、基本原理、分类;一般的网络流量控制方法以及适合视 频传输的流量控制方法，得到了适用本文视频监控系统的网络流 量控制方。 第三章流量控制中获取网络反馈信息的研究， 提出一种 流量控制方案，即利用流量采集器监测网络流量、判断网络利用 情况方法。第四章视频传输中自 适应编码的研究，介绍了视频压 缩编码的基本概念、 标准， 以及mp e g 4 编码如何改变视频发送码 率的方法，提出在获得网络流量信息后，通过改变视频流的帧率 或者改变量化参数 ( q p )来改变视频发送码率，以适应网络带宽。 第五章应用实现，针对所讨论的视频监控系统的具体要求，提出 一种视频码率调整策略，并通过软件加以实现，将其应用于视频 监控系统，通过测试数据对本文提出的流量控制方案和视频码率 调整策略进行验证。结束语部分总结本论文的主要工作以及需要 进一步研究的问题。 北京交通大学硕士学位论文 多路视频实时传输中的流量控制的优化与实现 第二章 网络流量控制 当前。互联网上的业务量呈现多元化的发展趋势，数据流具 有很强的突发性和随机性，致使网络的信息流模型愈加复杂。在 相当长的时期内。相对于各种需求的增长，网络带宽仍然是网络 速度的瓶颈。因此， 如何高效率地利用网络有限的带宽资源，科 学地规划网络流量，是网络技术研究中的重要课题之一。 2 . 1 网络流量控制概述 自从网络问世以来，网络流量控制一直被认为是一项必需的 功能。流量控制是指网络为了避免拥塞，优化网络资源的使用， 提高网络效率所采取的一系列操作，其主要作用是保护网络和用 户以实现预先规定的网络性能，如信元丢失率、信元传输时延和 信元时延抖动等。 流量x6 1 是指计算机网络中的通信量，具体指网络中的报文流 或分组流。计算机网络由有限的资源组成，这些有限的资源包括 链路的信道带宽，节点交换机及其中的缓冲存储器等。在一段时 间内，无限制的信息流入网络会导致网络拥塞。当数据报文在网 络中经历了比所期望的延时更长的时间的时候，就认为网络发生 了拥塞。这种现象类似于城市中的交通堵塞。网络中如果发生了 拥塞，则只能传出很少的信息，而且拥塞会很快地延伸，甚至会 导致“ 死锁” 。 发生死锁时， 就没有信息的流动。 如果不防止拥塞， 则网络性能下降。 网络流量控制是决定互联网性能的主要机制之一。网络流量 控制是一种使得接收方实体可以调节发送方实体的协议数据单元 流量的协议机制，它可以限制发送方所发出的数据流量，使其发 送速率不要超过接收方能处理的速率，同时它也是为了防止网络 北京交通大学硕士学位论文多路视频实时传输中的流量控制的优化与实现 拥挤以及死锁的出现而采取的一种措施。当发至某一接收节点的 信息速率超出了该接收节点的处理时，就会出现拥挤现象 2 . 2网络流量控制的基本原理 流量控制只与某发送方和接收方之间的点到点通信量有关。 它的任务是尽可能最大限度地利用网络资源，同时又避免拥塞。 简单地说，网络流量控制1 6 1 具有以 下四个主要功能: 令 防止由于网络和用户过多而产生地吞吐量降低以及响应 时间增长 令 避免死锁 令 在用户之间合理分配资源 个 网络及其用户之间的速率匹配 事实表明，有流量控制的网络和无流量控制的网络对避免网 络资源的拥塞与死锁方面差别很大16 1如图2 . 1 所to 吞吐t 理想情况 有流t控翻 无流圣控翻 死. 抽 入 分 组 拥恋区 曲1 从图中可以看出.理想的流量控制不会对网络造成任何额外 的负担，当输入分组量与网络能承受的最大负荷相同时，网络吞 吐量便不再增加，实际当中的流量控制总会给网络增加一些负担， 所以相同负载下的吞吐量总略低于理想曲线的对应值。而无流量 北京交通大学硕士学位论文多路视频实时传输中的流量控制的优化与实现 控制的网络虽然在负荷很小时会略大于流量控制的网络，但当输 入分组量大于某一阐值时，网络性能会迅速恶化，直到死锁。这 就是网络采用流量控制的重要意义。 2 , 3 网络流量控制级别的分类 大多 数网络按层( l a y e r ) 或级 ( l e v e l ) 的 方式来组织的。 实际 上，在数据链路层，传输层和网络层上都有流量控制的问题。在 具体的分组交换网中，流量控制是按级进行的，大致可以划分为 如图2 .2 所示的五种不同级别阴。 怜.t .1州 入口侧出。粗 入月t 价巨 一飞 o q 节.4 )气 鱿主 厄协盆t电 路反 1电路吸 曲2 d t e ( d a t a t e r m i n a l e q u ip m e n t ) 数 据终端设 备指终端或计算 机，它具有一定数据处理能力以及发送和接收数据的能力。 d c e ( d a t a c ir c u it - t e r m i n a t i n g e q u ip m e n t) 数 据电 路 端 接设 备， 它的作用就是在 d t e和传输线路之间提供信号变换和编码的功 能，并负责建立、保持和释放数据链路的连接。 4 传输级( t r a n s p o rt l e v e l ) 或端到端级( e n d - t o - e n d l e v e l ) 流量 控制的目的是保护 目的端，通常它用来防止用户进程缓 冲器溢出，它是由传输层的协议完成。 令 链路级( h o p l e v e l ) 该级流量控制的目 的是保护各条通信 链路，或访问通信链路的缓冲器以避免拥塞。链路级流 北京交通大学硕士学位论文多 路视频实时 传输中的流量控制的优化与实现 量控制的 效果通过一种称之为“ 背压” ( b a c k p re s s u r e ) 机 制传播到别的链路，因此链路级流量控制也可以保护多 条链路构成的路径。 令 入口到出口 级( e n t r y - t o - e x i t l e v e l ) 该级流量控制的主要目 的是保护出口交换机( d c e ) 不发生拥塞， 由网络层协议来 完成。 4 入网级( n e t w o r k a c c e s s le v e l ) 该 级可看作是 链路级的一 种 特殊情况，主要功能是防止用户终端 d t e或网络进入端 d c e吞没其它节点，从而控制外部的业务量进入网络， 可以用数据链路层和网络层的功能来实现。 冷 虚电 路级( v ir t u a l c i r c u i t l e v e l ) 端到端虚电 路可以 看成3 条 虚电路的互联，两条在入网级， 一条在入口到出口 级。 由此可见，链路级的流量控制等效在数据链路层和网络层， 入网级属于数据链路层，虚电路和入口到出口级属于网络层，而 传输级属于传输层。 2 . 4 视频传输中的流量控制方法 2 . 4 . 1 一般的网络流量控制方法 在网络传输领域中，常用的流量控制方法4 1 有基于滑动窗口 的流量控制方式、基于速率的流量控制方式、基于凭证的流量控 制方式等。 扮 基于滑动窗口的流量控制方式15 1 滑动窗口流量控制是常用的流量控制方法之一，其主要思想 是:允许发送方连续发送多个字节而接收方无须逐个地等待应答。 每个要发送字节都包含一个序号，取值范围是从0 到某个最大值， 通常最大值是2 - l 。在传送过程中，同样地循环重复使用己经收 到确认的那些字节的序号，当然还要加入适当的控制机制。这种 9 北京交通大学硕士学位论文多 路视频实时传输中的流量控制的优化与实现 机制就是在发送端和接收端分别设置所谓的发送窗口和接收窗 口。如图2 . 3 所示。 o u 4i r.6 ij 图2 . 3发送窗口. 和接收窗口b 发送窗口用来对发送端进行流量控制。这里的发送窗口的前 沿和后沿分别是指窗口所对应的序号队列的上界和下界，因此前 沿和后沿之间的区间就是发送端能够发送字节的数量，称为窗口 大小 w。在发送窗口内对应的当前字节最终有可能在传输的过程 中丢失或出错，所以发送端必须把所有的这些字节保存在发送缓 冲区，以备重发。因此，如果最大发送窗口为2 月 一 1 ，发送端就要 设置能保存2 ” 一 1 个字节的缓冲区。 如果窗口一旦达到最大值，发 送端的传输层必须强迫关闭上层的服务请求，直到缓冲区有空闲 的空间为止。 接收端也维持一个接收窗口，对应于一组允许接收的字节。 任何落在接收窗口 外面的字节都不加说明的丢弃。当序号等于窗 口后沿的字节收到后，把它处理后交给上层，同时产生一个确认， 且窗口整个向前移动一个位置。这一点与发送窗口不同，接收窗 口总是保持初始时的大小。随着字节发送和接收的不断进行，发 送窗口和接收窗口的字节序号也在不断地向前循环滑动，这就是 滑动窗口取名的由来。 北京交通大学硕士学位论文多路视频实时传输中的流量控制的优化与实现 2 ) 基于速率的流量控制方式(1 5 ) 基于速率的控制方式是一种端到端的流量控制机制，它以每 秒发送的比特数为单位，先估计网络的可用带宽，然后调整发送 数据的速率，试图使传输的网络带宽需求与该连接链路的可用带 宽相匹配，提高带宽的利用率，同时减少或避免网络拥塞的发生。 3 ) 基于凭证的 流量控制方 式1 4 11 这种控制方式基本的控制机制就是要在链路上发送任何数据 之前 “ 源端” 都需要接收定时从“ 目的端” 传来的凭证 ( c r e d i t ) 在收到凭证后， “ 源端”根据凭证信息才能向 “ 目的端”发送一定 数量的数据。 2 . 4 . 2 视频传输中的流量控制方法 通常情况下，在视频实时应用中，由于网络数据流量过大， 当超过网络的承载能力时，网络会造成拥塞而导致数据包在传输 过程中丢失或者乱序，使得接受端无法正常接收到发送端发送的 数据，从而在视频解码的时候出现无法解码的情况，或者部分场 景丢失，视频质量会受到严重的影响。因此，流量控制作为一个 很重要的方面值得研究。 从上述网络流量控制方法的简单介绍可以看出，基于窗口的 控制方法因为重传延时较长以及抖动等问题而难以适用于视频实 时传输:基于凭证的流量控制方式实现起来很复杂，当网络负荷 过重而不能及时发送凭证信息时会造成数据无法发送，导致数据 的丢失，另外， 凭证信息的使用， 过多 地占 用了网 络资源刚;而 基于速率的控制机制克服了上述方法的缺点，适合在视频的实时 传输中应用。 基于速率的流量控制方法可分为基于发送端的流量控制和基 于接收端的流量控制两种。 1 )基于发送端的流量控制 北京交通大学硕士学位论文多路视频实时传输中的流里控制的优化与实现 对基于发送端的速率控制来说，数据的发送端负责调整视频 流的发送码率，使视频流的发送码率与网络的可用带宽相匹配。 很明显，基于发送端的速率控制就是发送端使用反馈机制获取网 络的状况，根据目前的可用带宽相应地调整发送码率，进行网络 流量控制，使视频数据的传输既充分利用网络资源，又不发生网 络拥塞。 2 )基于接收端的流量控制 基于接收端的典型速率控制机制，就是发送端采用分层视频 多播技术2 3 2 4 1 ，接收端通过选择加入或者退出视频多播组来调整 接收的速率。基于接收端的速率控制机制可以较好地解决单视频 源点到多点多播传输中的异构性问题。分层视频多播技术的基本 原理就是发送端利用分层视频编码器将原始视频编码成多个有不 同优先级的视频层次，具有最高优先级别的层次称为基础视频层， 其中包含了视频流最重要的信息，它可以独立进行解码并提供最 基础的视频，然后就是一个或多个优先级递减的增强视频层，它 们与基础视频层一起解码后，能显著提高视频质量，如 h . 2 6 3建 议中的e i 帧和 e p 帧分别对 工 帧和 p 帧进行图像增强;不同的视 频层在不同信道 ( 组播组)中进行传输;各个接收端根据自己的 可用网络带宽、处理能力等来独立选择加入的多播组，接收端加 入的多播组越多，得到的层次越多，其获得的视频质量就越高; 在没有拥塞的情况下接收端总是想获取最好的视频质量而会加入 多个视频多播组。 基于接收端的速率控制通过视频分层组播技术，能够对较多 用户提供分级的实时视频传输服务，但它也有难以避免的缺点， 当网络发生拥塞时，由于在发送端较少采用速率控制，发送速率 相对比较稳定，从而加剧了网络拥塞，降低了接收端的视频质量。 与此相反，基于发送端的速率控制能够较好地提供自适应于网络 可用带宽的速率调整，有效地减少网络拥塞，在单播情况下，它 能灵活提供个性化的服务。 北京交通大学硕士学位论文多路视频实时传输中的流量控制的 优化与实现 本文中所研究的视频监控系统是基于单播技术的，从 2 . 4节 的讨论可以看出，基于发送端的流量控制方式效果会更好，所以 在下面的章节中，本文将基于发送端的速率控制，进行视频传输 中的流量控制的研究和视频监控系统的实现。 2 . 5 适应性编码控制 在互联网上传输视频流需要解决的一个基本问题是网络带宽 的波动，不同的人在不同的时刻用不同的终端设备使用互联网时， 所得到的数据传输率存在着很大的差异，甚至是同一个人在同一 个时刻，哪怕是在传输同一个视频流，实际的数据传输率也会存 在较大的波动。 传统的编码方法生成的视频流很难适应如此复杂的网络带宽 的波动，目前，解决这个问题的一个最合适的方法是可伸缩性视 频序列编码方法12 5 ) 。可伸缩性编码方法通常生成两个视频流:基 本层码流和增强层码流，基本层码流是必须传输的，并且码率比 较低，增强层码流可以根据带宽情况进行任意截断，甚至可以不 传。由于可伸缩性编码方法生成的视频流可以在一个很大的码率 范围内进行自 适应调整，因而能够适应复杂的网络带宽波动。其 次，除了基本层码流需要尽量避免数据包的丢失外，增强层码流 的数据包的丢失不会带来明显的视觉质量的降低，也不会影响到 其它帧，因而可伸缩性编码生成的视频流有较好的健壮性。 视频传输的流量控制不仅仅是网络控制的问题，而且还需要 视频编码的支持，即视频编码应该能根据网络的带宽状况，在允 许的范围之内来调整自己输出码流量的大小。这种编码就叫做适 应性编码，本文所用到的m p e g - 4 就是满足这种要求的编码。 2 . 6 本章小结 本章主要叙述了视频实时传输中的流量控制问题。首先，本 北京交通大学硕士学位论文多路视频实时传输中的流量控制的优化与实现 章给出网络流量控制的概念、基本原理、分类:再介绍了一般的 网络流量控制方法以及适合视频传输的流量控制方法;最后，本 章又介绍了为了满足流量控制所需要的编码方法一一适应性编 码。通过本章的介绍和讨论，本文所讨论的视频监控系统将采用 基于发送端速率的流量控制方法，即各视频发送端根据反馈机制 获得当前网络的带宽状况，然后通过适应性编码来改变视频发送 码率，使视频传输可以在网络保证不发生拥塞的前提下，充分利 用网络带宽，优化网络资源的使用。 北京交通大学硕士学位论文多路视频实时传输中的流量控制的优化与实现 第三章 流量控制中反馈信息的获取方法的研究 在视频传输中进行基于速率的流量控制，关键要解决两个问 题，一个是如何准确及时地检测当前网络状态，判断带宽被占用 情况即获得流量控制所需要的反馈信息，另一个是根据反馈信息， 如何调整视频信息的输出码率，使其适应网络占用情况。从第二 章的介绍可以看出，基于发送端速率的流量控制方法有一个共同 之处，就是都试图控制发送端的流量，以避免网络拥塞，这些方 法的区别在于反馈信息或拥塞标示产生的方法不同，采取回避拥 塞的响应和动作也不同。本章主要研究流量控制中反馈信息的获 取方法。 目前， 对网络流量状态的监控方式主要采用端到端的模式 4 0 2 即信息接收端根据信息单元 ( 数据包或信元)中表明其历史状态 ( 主要指经历的拥塞等情况)的信息标志，向发送端反馈信息以 达到流量控制的目 的。例如，i n t e m e t 网上保证多媒体信息实时传 输的协议r t p / r t c p ， 就是以r t c p 发送方报告和 r t c p接收方报 告提供的信息为基础，进行相应的流量控制和拥塞控制。本章首 先介绍基于r t p / u d p / i p的实时视频传输的体系结构、利用r t c p 控制报文判断网络状态、获取反馈信息的原理，然后介绍了采用 流量采集器的工作原理。 。在此基础上提出一种流量控制方案，即 利用流量采集器监测网 络流量， 获取网络反馈信息，以 此作为流 量控制的依据。 3 . 1 基于r t p / u d p / i p 的实时视频传输的体系结构 随着计算机技术、网络技术、视频压缩编码技术等关键技术 的飞速发展， 特别是i n t e rn e t 的迅速普及，网络视频传输系统以其 实时性和直观性得到了越来越多的重视。目 前，视频传输技术正 北京交通大学硕士学位论文多路视频实时传输中的流量控制的优化与实现 被迅速地应用于视频会议、 i n t e r n e t 电 视、i f, 可视电 话、i n t e rn e t 远程教育等网络视频应用领域，为了支持网络实时传输服务，提 供数据传输的实时 标准， i e t f ( i n t e rn e t e n g i n e e r in g t a s k f o r c e ) 的 视频/ 音频传输工作组制定了r t p ; 实时传输协议。 视频信息的实时传输不仅需要网络的支持， 也需要网络协议的 支持。利用这些协议提供不同的控制策略来提供各种服务，这些 策略包括网络传输机制和编码控制方法。使用r t p i u d p / i p 协议封 装结构， 可以利用r t p / r t c p 的特性来推断网络的状态和拥塞状况。 3 . 1 . 1 典型的r t p 应用基于 u d p 之上 典型的r t p应用是基于 u d p之上的， 它们共同完成了传输层 功能。 t c p协议是面向 连接的 协议，它的重传机制和拥塞控制机 制( c o n g e s t i o n c o n t r o l m e c h a n i s m ) 都是 不 适合用于实时 多媒 体传 输 的 川 。 t c p / i p 协议最初是为提供非实时数据业务设计的。i p协议负 责主机之间的数据传输，不进行检错和纠错，因此，经常发生数 据丢失或失序现象，为保证数据的可靠传输，人们将t c p协议用 于i p数据的传输，提高接收端的检错、 纠错能力。当检测到数据 包丢失或错误时，要求发送端重新发送，但这样不可避免地引起 传输延时和耗用网络带宽。 因此传统的t c p / i p 协议传输实时音频、 视频数据的能力较差，当然在传输用于回放的视频和音频数据时， t c p 也是一种选择，如果有足够大的缓冲区，和充足的网络带宽， 在t c p协议上，接近实时的传输也是可能的，然而如果在丢包率 较高，网络状况不好的情况下，此时利用t c p协议进行视频或音 频通讯几乎是不可能的。 u d p 协议提供的是无连接、 不可靠的数据报服务， 直接用u d p 协议传输实时视频数据也不能充分利用网络带宽。如果网络资源 不足而发生了网络拥塞，此u d p 传输系统由于缺乏反馈机制将会 北京交通大学硕士学位论文多 路视频实时传输中 的流量控制的优化与实 现 使网络状况更加恶化。这是因为发送端不知拥塞早己发生，仍然 以相同的速率发送数据，所以应在u d p 协议之上增加某些支持实 时业务的协议来满足视频实时传输时丢包率和时延的要求，因此， 目 前网络视频实时传输系统结构一般都是基于r t p / u d p / i p 的。 3 . 1 . 2 基于r 丁 p / u d p / i p 的实时视频传输结构框图 视频数据的传输往往要求高带宽、低延时和低抖动。为解决 i p网络环境中传输实时数据存在的延时、抖动、丢包等问题，现 在使用实时传输协议 ( r t p )以及实时传输控制协议 ( r t c p )来传 输实时数据。通常端到端的视频流传输的体系结构如图3 . 1 所示: 反馈控制协议 图 3 . 1端到端传输视频流的体系结构 该结构对于压缩好的视频信息和新鲜的视频信息 ( 实时采集 的)的传输都有很好的适用性。如果视频源是已经压缩好的视频 信息，就可以根据反馈控制协议通过选择丢弃一些数据帧来强制 使位流达到传输的要求。如果是新鲜视频流，就可以根据视频压 缩算法来控制编码器的输出比率。 在这种结构下，接收端使用一个q o s 监视器，它根据到达接收 北京交通大学硕士学位论文多路视频实时传输中的流量控制的优化与实现 端的数据包的状况来推断网络拥塞状况。反馈控制协议使用这些 信息并把它们送到发送端。基于这种反馈机制，发送端就可以估 计网络可用带宽并控制编码器的输出位流，达到拥塞控制的目的。 另外，下面是一些可能的流量控制事件以及对它的反映13 2 1 令 一个新的成员通过一个低速的二d e m 访问视频会议，那么 其它的会议成员就需要改变其格式用来降低会话需要的 带宽。 o 使用接收和分析r t c p 包的监控程序，全局服务的提供者就 可以检测到全局和局部的网络竞争，并及时地作出相应的 反映来防止更严重的丢包情况。 令 一个媒体流的接收方检测到日益降低的包到达率，并用 r t c p 包通知服务的发送方，这样，发送方可以改变媒体的 格式或者压缩算法。 3 . 1 . 3 基于r 丁 p / u d p / i p 结构获取反馈信息的原理 实时传输协议 ( r t p )是 工 e t f( 互联网工程任务组)为有实 时传输要求的应用设计的一个支持端到端传输功能的国际标准协 议。实时传输控制协议 ( r t c p )是 r t p会话过程中的一部分，它 为r t p 协议提供q o s 反馈信息。 换句话说， r t p 是一个数据传输协 议而r 丁 c p 是一个控制协议。 1 . r t p , r t c p 协议概述 1 ) r t p 包头格式及字段含义: v = 2 pxc cm p t s e q ue n c e n u m b e r t i m e s t a m p s y n c h r o n i z a t i o n s o u r c e ( s s r c ) i d e n t i f i e r c o n t r i b u t i n g s o u r c e ( c s r c ) i d e n t i f i e r s 北京交通大学硕士学位论文多路视频实时传输中的流量控制的优化与实现 版本号 ( v) : 2 比特，定义r t p的版本。当前版本是2 0 补齐位 ( p ) : 1 比特，如果补齐位被置成 i ，一个或多个附加 的字节会加在包头的最后，附加的最后一个字节放置附加的字节 数。 扩展位 ( x) : 1 比特， 如果扩展位被设计成 1 ，一个头部扩展 域会加在 r t p包头后。 c s r c源数 ( c c ) : 4比特，定义了本头部包含的c s r c源数 目。 标记 ( m) : 1 比 特，其解释由具体应用所定义。 负载类型 ( p t ) : 7 比特，定义了r t p 负载的格式。 顺序号:1 6比特，每发出一个r t p包，顺序号加 1 ，它可以 被接收方用来检查包丢失及重组包的 顺序。 顺序号的初始值是随 机的 ( 不可预料的) 。 时间戳 ( t i m e s t a m p ) : 3 2比 特， 表示r t p包中数据的第一个 字节的采样瞬间。它的初始值也是随机的。 同步源 ( s s r c ) : 3 2比 特， 定义s s r c的定义符，可以随机 选取， 但是在同一个r t p 会话中， 不同的s s r c 应该有不同的s s r c 值。 c s r c列表:0 到 1 5 段，每段 3 2 比特，定义包中的 c s r c , 其个数由前面的c c字段决定，最多有 1 5 个c s r c可定义。 r t p协议采用应用层组帧 ( a l f )原理， 只提供了基本的协 议框架，开发者可以针对具体应用对其进行充分的扩展。r t p协 议针对实时数据传输的支持包括时间戳、顺序号、负载类型标识 和源标识等。 2 ) r t c p 包头格式及字段含义: r t c p是r t p的控制协议， 用于实时监控数据传输质量， 为系 统提供拥塞控制和流控制。它基于向会话的所有参加方周期性地 发送控制分组， 使用和数据分组相同的分发机制。 r t c p的数据包 分为如下五类: 北京交通大学硕士学位论文多路视频实时传输中的流量控制的优化与 实现 令 s r : 源报告包，用于发送和接收活动源的统计信息; 令 r r :接收者报告包，用于接收非活动站的统计信息; 令 s d e s :源描述包，用于报告和站点相关的信息; 今 b y e :站点离开系统报告包; 令 a p p :特殊应用包。 下面为 r t c p发送方报告数据包的格式，接收方报告包的格 式同 sr 包基本相同。不同点在于它的包类型为 2 0 1 ，并且 5 个发 送者信息被省略 ( n t p 和 r t p 时间戳，发送者的包和字节计数) 其 它字段均相同。 v= 2prcp t l e n gth s s rco f s e n d e r 一 n t p t i m e s t a ll l p ， m o s t s i gni fi c ant w o r d n t p t i m e s t am p ， l e a s t s i g n l fi c ant w o r d r i pt i me s t 别 m p s e n d e r ， s p a c k e t c o l l n t s e n d e r ， s o c t etc 0 u n t s s rc_ 1 ( s s r co f fi r s t s o urce ) f r a c t i o nl o st c u 们 n u l ati v en 比n b e r o f p a c k e t s l o s t e x t e nde d hi g h e s t s e q u e n c e n u r n ber re c e i ved inte r a r r l v alj i tt e r