（计算机应用技术专业论文）internet中音视频实时传输管理.pdf

摘要 音视频传输是网络多媒体的一个重要内容 涉及到多媒体和网络通信方面的内容 同时必须满足一定的服务质量 为此 研究音视频传输必须考察适合通信的多媒体技术 和合适的通信技术 本文首先介绍了音视频传输的相关技术现状 然后着重分析了音视频的编解码技术 和实时传输技术 关于音视频编解码技术 本文首先考察了m p e g 一4 的体系结构 然后 考察了m p e g 一4 中适合传输的分层结构 最后分析了适合传输的m p e g 一4 音频和视频载 荷格式 在传输技术方面 本文从i n t e m e t 分层的体系结构出发 着重考察了i p 层 传 输控制层和应用层中相关的技术 本文既考察了从体系结构出发提出的i pq o s 的相关 技术 i n t s e d i f f s e r v 和m p l s 又考察了从现有的i n t e m e t 技术出发通过修补相关 方面而达到一定服务质量的技术 这些技术包括拥塞控制和避免 队列管理和r t p 协议 在队列管理中 本文着重介绍了随机早侦测算法 r e d r t p 协议是i e t f 专为多媒体 实时传输而提出的 本文比较详细地介绍了r t p 包和r t c p 包的格式 r t p 实施的构件 和r t p 传输控制相关规定和算法 在此基础上 介绍了采用a i m d 策略的r t p 带宽动 态调整算法 多播能节省网络带宽 广泛运用于在音视频传输中 为此 本文在讨论了 分层的r l m 技术 在r l m 和r t p 动态带宽调整算法基础上 引入了a l t 基于以上的一些工作 本文首先提出基于实时传输协议r t p 的a v i 盯m 框架 在 a v i 盯m 框架中 一方面考虑到可能的网络峰值和混合流中的公平性 本文对文献 d s f e 9 8 的a l t 算法进行了改进 提出了a v r t m m a l t 算法 通过对a l t 算法中 动态带宽的a i m d 算法修改 不仅使得网络在尖蜂状况下更加平滑 而且使整个a v r t m 系统具有自适应和t c p 友好的特点 另一方面 a v r t m 框架引入了一个第三方控制器 监督和控制音视频传输的q o s 使得音视频传输的延迟和抖动等质量参数有所改善 同 时 本文基于控制理论和中间件技术对第三方控制器进行了分析和构建 然后 在 w i n d o w s 环境中 采用d i r e c t s h o w 技术对传输过程中的组件进行细致的分析和设计 最后给了实现这些组件所需的数据结构和相关的实现算法 关键词 传输 音频 视频 实时 呈竺翌 童望塑壅盟篓塑笪兰 型型翌生 一 m a n a g e m e n t o f a u d i o v i s u a lr e a l t i m et r a n s m i s s i o n o ni n t e r n e t y ix u e n e n g c o m p u t e ra p p l i c a t i o nt e c h n o l o g y d i r e c t e db y t a n gw e i q i n g a u d i o v i s u a lt r a n s m i s s i o nc o n c e r n st w of o l l o w i n ga s p e c t s m u l t i m e d i aa n dn e t w o r k c o m m u n i c a t i o n i tm u s ts a t i s f yt h er e q u i r e m e n t o f q u a l i t yo f s e r v i c et os o m ed e g r e e a n dt h u s i ti sn e c e s s a r yt os t u d yt h em u l t i m e d i at e c h n o l o g yw h i c hi ss u i t a b l ef o rc o m m u n i c a t i o na n d r i g h tc o m m u n i c a t i o nt e c h n o l o g y t h i sp a p e ra d d r e s s e st h ec u r r e n ts i t u a t i o n0 1 1a u d i o v i s u a lt r a n s m i s s i o na n dt h e ng i v e sa d e t a i l e da n a l y s i so fc o d e ct e c h n o l o g ya n dr e a l t i m et r a n s m i s s i o no fa u d i oa n dv i d e o a sf o r a u d i o v i s u a le o d e c t h i sp a p e rf i r s ts t u d i e st h ea r c h i t e c t u r eo fm p e g 一4 a n dt h e nt u r n sm y f o c u so nh i e r a r c h i c a l s t r u c t u r e w h i c hi sd e s i g n e df o rt r a n s m i s s i o n f i n a l l ya n a l y z e st h e m p e g 4p a y i o a df o r m a to fa u d i oa n dv i d e o a sf a ra st r a n s m i s s i o ni sc o n c e r n e d t h ea r t i c l e a d d r e s s e st h et e c h n o l o g yo f t h et h r e el a y e r s i pl a y e r t r a n s p o r t l a y e r a n d a p p l i c a t i o nl a y e r i t d e a l sw i t hs u c hr e l a t e dt e c h n o l o g i e so ni pq o s a si n t s e r v d i 韪e r va n dm p l s w h i c h b e g i n w i t ht h en e t w o r ka r c h i t e c t u r e l l a t sm o r e b a s e do ne x i s t i n gi n t e r n e t t e c h n o l o g y i t e x p o u n d s s o n r e t e c h n o l o g i e s a b o u tm u l t i m e d i an e t w o r k t h e s e t e c h n o l o g i e s i n v o l v e c o n g e s t i o n c o n t r o la n da v o i d a n c e q u e u em a n a g e m e n ta n dr t pp r o t o c 0 1 i n q u e u e m a n a g e m e n t t h ea r t i c l ei n t r o d u c e sr a n d o me a r l yd e t e c t i o n r e d a l g o r i t h mi nd e t a i l r t p p r o t o c o li sd e s i g n e df o rm u l t i m e d i a r e a l t i m et r a n s m i s s i o nb yi e t f a n dt h ea r t i c l eg o e si n t o d e t a i lt h er t p p a c k e tf o r m a ta n d r t c p p a c k e tf o r m a t r t pi m p l e m e n t a t i o nc o m p o n e n t s a n d t h er u l e sa n da l g o r i t h m so fr r r pt r a n s m i s s i o nc o n t r 0 1 f u r t h e r i ta d d r e s s e sr t pd y n a m i c b a n d w i d t ha d j u s t m e n ta l g o r i t h mb a s e do na i m dp o l i c y a si th a sa d v a n t a g eo fs a v i n g n e t w o r kb a n d w i d t hw h i c hi si ns c a r es t a t e m u l t i c a s t i n gi sw i d e l ya p p l i e do na u d i oa n dv i d e o d e l i v e r y s i n c el a y e r e dc o d i n g a n d l a y e r e dd e l i v e r yk e 印ac l o s er e l a t i o n t h ef o l l o w i n gp a r to f t h ea r t i c l ed e a l s v i t l lr e c e i v e r d r i v e nl a y e r e dm u l t i c a s t r l m a l g o r i t h m a n dg i v ea n i n t r o d u c t i o nt oa d a p t i v el a y e r e dt r a n s m i s s i o n a l t a l g o r i t h mb a s e do nr l ma n dr t p d y n a m i cb a n d w i d t ha d j u s t m e n ta l g o r i t h m b a s e do nt h e 豳e v ew e r k f i r s t l y t h ea r t i c l ef u r t h e rp r e s e n t s 斟r t mf r a m e w o r kw h o s e c o r ei sa v r t ma l t a l g o r i t h m w h i c hd e r i v ef r o m m o d i f i e da l t b ym a k i n gm o d i f i c a t i o nt o a i m d a l g o r i t h m c h a n g ef r o m c o n s t a n tv a l u et ot h eo n et h a tt h ei n c r e m e n t d e c r e a s ev a l u ei s i n v e r s e l yp r o p o t i o n a lt oc u r r e n tr a t eo rb a n d w i d t h b yd o i n gt h a t o no n eh a n d i ti sa d a p t i v e a n dt c p f r i e n d l y o rt h eo t h e rh a n di tm a k e sr a t eo rh a n d w i t h a d j u s t m e n ts m o o t h e ri np e a k s i t u a t i o n i n a d d i t i o n a v r t mi n t r o d u c e sa t h i r d p a r t y c o n t r o l l e rw h o s ef u n c t i o ni s m o n i t o r i n ga n dc o n t r o l l i n gt h eq u a l i t yo fa u d i oa n dv i d e od e l i v e r ya n dt h u si m p r o v i n gt h e s i t u a t i o n o f d e l a ya n aj i t t e r a tm es a m et i m e t h ea r t i c l ec o n c e i v e sa n dd e s i g n st h em a n a g e ri n t e r m so fc o n t r o lt h e o r ya n dm i d d l e w a r em o d e l c o b r a s e c o n d l y t h ea r t i c l ea d d r e s s e st h e 1 1 1 中国科学院硕士学位论文 i m e m e t 中音视频实时传输管理 a n a l y s i sa n dd e s i g no f f i l t e rc o m p o n o m e n to na u d i o v i s u a lt r a n s m i s s i o nw i t hd i r e c t s h o wi n m i c r o s o f tw i n d o w sp l a t f o r m a n d f i n a l l y a d d r e s s e st h e r e q u i r e d d a t as t r u c t u r ew h i c h i m p l e m e n t st h e s ec o m p o n o m e n t s a n dr e l a t e da l g o r i t h m k e y w o r d s t r a n s m i s s i o n a u d i o v i d e o r e a l t i m e 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果 就我所知 除了文中特别加以标注和致谢的地方外 论文中 不包含其他人已经发表或撰写过的研究成果 与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示了谢意 作者签名 易 锄l日期 卅7 月 关于论文使用授权的说明 中国科学院计算技术研究所有权处理 保留送交论文的复印件 允许 论文被查阅和借阅 并可以公布论文的全部或部分内容 可以采用影印 缩印或其它复制手段保存该论文 名 多亏嘭翩签名形止嗍扩口崎夕日 茎 童童望塑堡塑塾查堡壅垩鲨 一 第一章音视频传输技术研究现状 近年来 随着互联网技术发展 特别是所谓 最后一公里 的问题解决 通过互联 网来传输音视频的网络应用呈现出快速增长的趋势 在i n t e m e t 上部署薪的多媒体应用 越来越多 象v o d v o l p i n t e r n e t 广播 视频会议 交互式游戏 网络虚拟世界 远 程教学等应用被人们广为使用 这些多媒体的网络应用不同于象w e b f t p e m a i l 这 样一些传统的面向数据的网络应用 它们在网络上服务质量要求不尽相同 但是它们普 遍对端到端的延迟和延迟变化比较敏感 同时容许一定程度数据丢失 这些应用服务质 量要求的不同使得原来提供单一的尽力而为 b e s t e f f o r t 服务的i m e m e t 体系结构不能 很好支持多媒体的应用 如何保证网络上类似视频会议的网络应用满足实时 低延迟 流畅 低延迟抖动 是一项具有挑战性的工作 本文基于这样背景 考察音视频传输的各个层面 试图提出一个比较现实的传输的 方案 这一章将讨论音视频传输相关技术的背景和现状 1 1 音视频传输技术及其研究内容 音视频传输是多媒体通信的一个重要组成部分 涉及到音视频数据的处理问题 又 与网络条件 网络的硬件 设备的能力和特性 网络资源 如带宽 和网络协议有 关 因而是非常复杂的 通常 音视频等多媒体应用数据量大 实时性要求比较高 交 互性强 而网络的带宽等资源又不可能无限制的增加 构建满足一定服务质量的音视频 程序 必须对这两个方面进行研究 1 1 1 传输时音视频处理 音视频数据的处理问题包括音视频数据压缩 编解码 音视频等多媒体数据具有很 强的相关性 中间存在大量冗余信息 数据压缩就是要利用数据中的相关性去掉这些冗 余信息 保留相互独立的信息分量 数据压缩通常可以从三个方面来进行 空间域 时间域和频域 通常多媒体数据都 是以比特位来进行存贮的 最大限度去掉冗余比特位 使得表示每象素的比特位下降 这就是所谓的 帧内编码 以减少空间域冗余进行数据压缩 通常音视频数据沿时间 轴方向是一个帧的序列 其帧间音视频数据的相关性也很强 通常可以用减少帧的数目 即降低帧率 以减少时间域的冗余 因此可以采用运动估计和运动补偿的方法来进行编 解码 另外 有时候从时间域和空间域上看 音视频等多媒体数据之间的相关性比较大 但是采用变换的方法把空间域或者时间域的数据转换成频率域上的数据 转换之后的数 据的相关性大大减小 这种变换方法也可以达到压缩数据的目的 通常 数据压缩分为 无失真数据压缩和有失真数据压缩 无失真数据压缩能够从压缩后的数据经过解码后完 主鱼至 兰堕曼圭堂堡笙壅二 些 生生童望塑塞堕焦塑笪望 全 无失真地恢复出原来的数掘 而有失真数据压缩则允许编码后部分数据丢失 以换 取比较高的压缩比 对应于数据压缩的三个方面 编码分为统计编码 预测编码和变换编码 统计编码 又称熵编码 它是 e e 无失真编码 是建立在数据随机过程的统计特性的基础上的一种 编码方法 通常 将信源发出的数据看作一个随机信号序列 它是时间 空间和时空混 合变量的函数 常见统计编码有h u f f m a n 编码 算术编码和行程编码 r l c 预测编 码是一种较为实用被广泛采用的一种压缩编码方法 在音视频编码中经常用到 其原理 是从相邻数据之间有较强的相关性特点考虑的 通常相邻数据在数值上比较接近 利用 当前数据值预测估计出一个预测值 将实际值与预测值求差 对这个差值信号进行编码 传送 这种编码方法称为预测编码方法 通常预测编码方法有线性预测 d p c m 和非 线性预测 变换编码不是直接对空域信号编码 而是首先把空域信号映射到另一个正交 空间 频域 产生一些变化系数 然后对这些变换系数实施编码 比如说 可以把 幅图像变换到频域 接收端解码时就可以利用人眼的视觉特性 对图像高频细节不敏 感 用一个低通滤波器去掉变换系数的高频部分 保留低频系数 这样图像的失真不至 于被人察觉 其主观保真度仍然保持在较高的水平 对滤波后的系数再经过量化 熵编 码 则可以进一步压缩数据提高编码效率 所以变换编码常常是有失真编码技术 变 换编码技术至今有3 0 年的历史 技术上比较成熟 理论也较为完备 被广泛应用于音 视频编解码中 正交变换种类很多 通常有傅立叶 f o u r i e r 变换 沃尔什 w a l s h 变换 哈尔 h a a r 变换 斜 s t a n t 变换 余弦变换 正弦变换 k l k a r h u n e n l o e v e 变换 小波 w a v e l e t 变换等 这里特别要指出的是 利用离散小波变换d w t 进行图 像和音视频压缩是近年来新的研究和应用的热点 小波变换能够得到应用一个很重要的 因素可归功于m s h a p i r o 提出的嵌入式零树小波编码方法e z w e z w 利用小波系数在 不同尺度的空间相蓑性以及系数的衰减特性 用零树编码进行压缩 并且用比特面的方 式进行量化 实现了嵌入式编码 e z w 具有高压缩性能和天然的多分辨率 在极低码 率时不会出现d c t 离散余弦变换 编码那样的方块效应 以及嵌入式编码的s n r 分 级精细 这些优良性能 迅速引起了人们的关注 音视频等多媒体一个重要特性就是这些媒体可以容许一定程度上数据丢失 这对于 带宽有限的网络而言 是非常重要的一个特性 为了适应网络传输需要 常常需要对音 视频采取编码控制 这里以视频为例说明 为了获得高压缩比 目前的视频编码国际标 准均采用运动补偿帧间预测和可变长度编解码 v l c 技术 其输出码流极易受到传输 中误码的影响 即使是单个误码也可能在一幅图像内产生大片的错误 同时会传播到后 续帧 产生严重的降质 雨在i n t e r n e t 和无线网络这样误码易发环境中进行可靠的视频 传输 就必须在编码时进行有效的误码控制 针对误码易发环境的误码控制通常采用三 种策略 第 种策略时面向交互的方式 利用反向信道消除传输误码或者减少误码的传 播 例如h 2 6 3 希f fm p e g 4 均采用的参考帧选择的方法就属于这种类型 第二种策略 是面向补偿的方式 即所谓误码掩盖 其采取的手段就是在接收端收到被损坏的视频流 笙二童童望鉴堡塑垫查里窭翌鲨 后 尽可能产生对视觉影响不大的图像 基于接收端的误码掩盖通常利用某些方式进行 掩盖 例如利用时间 空间相关性进行掩盖 或者恢复运动矢量 编码模式参数等 还 有的是把掩盖方案与编码端进行联合考虑 第三种策略是面向预防的方式 即所谓抗误 码编码 e r r o rr e s i l i e n tc o d i n g 抗误码编码包括分层编码 多重描述编码m d c 以及 可靠性编码 信源信道联合编码等 在分层编码中 视频编码的可分层性是编码器提供 的一种码流表示功能 一般包括空间分层 清晰度 时间分层 帧率 以及信噪比 s n r 分层等 分级编码的码流包括一个提供基本图像质量的基本层和一个或者多个增强层 分层编码不但解决视频传输的网络终端的异质问题 而且可以通过对基本层和增强层进 行不同的纠错编码等措施实现抗误码编码 m p e g 标准中都制定了普通分层编码方法 同时新的分层编码也不断地补充进来 文献 d u g a d 0 1 1 用压缩域的下抽样和上抽样实现 了快速图像尺寸改变 文献 w o o d s 0 1 1 用运动补偿的时间滤波和空间小波变换实现图 像的时间和分辨率的分层 文献 h s i a n g 0 1 1 使用3 d 小波变换进行时间分级 文献 k o n d l 0 1 则着眼于s n r 分层编码中最佳码率的分配问题 普通的分层编码中不同级 的码率差别较大 不能精细控制 而在i n t e m e t 中用i p 网络传输视频流的要求和应用越 来越多 为了解决普通分层控制粗糙 信道利用率低等缺点 适应i p 网络传输条件变 化复杂的情况 同时满足多播的应用 h r a d h a 和 c h e n 等人提出了s n rf g s 编码方 法 其基本方法是对增强层d c t 变换系数采用比特面进行编码 形成统一的嵌入式码 流 从而达到比特级的精细码率分层粒度 新版m p e g 4 已经补充迸f g s f i n e g r m n e d s 浏a b l e 人们在f g s 基础上 通过把参考帧由原来的低质量的重建帧改为前一层高质 量图像 改善了编码效率的方法 改进了f g s 提出了渐进的f g s p f g s 另一种抗 误码编码 多重描述编码 m d c 则是将原来用单描述编码的视频流替换为各自具有 同等重要性的多个子码流 每个描述都能提供一定质量的重建图像 当多描述码流通过 不同的信道传输时 虽然噪声的干扰会造成 些描述丢失 但总有其它一些描述被准确 地接收 可以保证一定的传输质量 接收的描述数越多 重建图像质量越好 当收到全 部描述时 就可以得到最佳的重建质量 因此 m d c 非常适合现代视频在具有多种特 性的异构网以及在i p 网络等包丢失环境下进行可靠的传输 m d c 理论研究开始于2 0 世纪8 0 年代初 w w z 8 0 主要使针对不同的信源研究了使用两个描述时所引入的冗余 度 建立了冗余度与单个描述之间的冗余度率失真曲线 9 0 年代后期 m d c 用于视频 编码渐渐收到重视 根据编码中描述的数目或者描述方式的差别 m d c 可分为n 2 的 m d c 和n 2 的m d c 或者基于信号处理的m d c 和基于前向纠错f e c 的m d c 一般 地 基于信号处理的m d c 常采用n 2 的m d c 例如 通过改变量化器的索引结构实 现m d c v 剐s h 9 3 w o r 9 7 w o v 0 1 通过将变换系数成对组织的方式实现m d c 文献 s u w a h 0 1 1 通过交织形成多个描述 并对d c t 变换进行改造 用神经网络a n n 对重建图像进行误差补偿 也改善了最终的重建图像质量 文献 k i m u m n o 通过研究 运动估计区域的新的划分方法 实现了基于运动矢量的m d c 文献 p l r 0 1 1 研究了n 2 时 用r s 码进行f e c 的m d c 它利用拉格朗日因子对各描述进行最佳码字分配 达 主鬯型兰堕翌主兰垡望奎 呈竺竺竺主重燮里堡塑竺型 一 到最佳的抗误码性能 然后与f g s 相结合 实现了一个视频可靠传输的实验系统 1 1 2 音视频传输中网络问题 影响音视频传输的另一个很重要的方面就是网络的状况 通常 影响音视频传输的 网络因素是链路带宽和路由器 另外 现实中链路总的带宽总是有限的 同时所得到的 带宽越多意味通信成本越大 足够的带宽的要求往往并不能满足 所以 要研究目前体 系结构下的多媒体传输机理 先考查一下i n t e r n e t 的体系结构 i n t e r a c t 是一个极其复杂的系统 它采用t c p i p 协议栈 其中网络层即i p 层是t c p i p 协议栈的核心 向下屏蔽掉许多不同的异构网络 使得不同的网络采用t c p i p 协议就可以互连 向上为传输层提供服务 当初的设计者 考虑到设计尽可能简单 i p 向上仅仅提供单 n 务模型 b e s t e f f o r t 服务 这也就使 得i n t e m e t 对面向连接的音视频流不能提供q o s 保证 从这种意义上来看当初的i n t e m e t 并不适合传输音视频等多媒体数据 但是由于i n t e r n e t 中i p 网络采用分组交换而不是电 路交换 最早的网络s c n 采用的方式 连接双方不必始终占用一条链路 这对于用户 来说是非常具有吸引力的 因为它意味低廉的费用 所以象音视频这样的多媒体应用也 越来越多 当然 由于音视频传输是大量的 连续的数据传输 为了有效地在i n t e m e t 上进行大量音视频流的传输 流量控制 拥塞控制 资源分配和管理是必须解决的问题 其最终目的就是提供多媒体传输过程中提供一定的q o s q o s 实际上最先出现在a t m 网络中 通常是指为了达到一定应用性能 网络所要提供的服务质量 q o s 参数主要包 括传输延迟 可变延迟 抖动 丢包率 误码率 等 在i n t e r n e t 中 承担数据包转发任务就是i p 层的部件 路由器 路由器通常由输 入输出端口 交换结构和路由选择处理器等部件组成 输入输出端口通常都有缓冲区 通常数据包都要在缓冲区排队 数据包到达缓冲区内 称为入队 数据包移出缓冲区 称为出队 入队涉及到队列管理 出队就需要进行队列调度 当分组到达缓冲区时 必 须采取队列管理机制 通常采取一定丢包策略 防止拥塞发生 现在出现的队列管理的 机制有 p p df p a r t i a lp a c k e td i s c a r d e p d e a r l yp a c k e td i s c a r d r e d r a n d o me a r l y d i s c a r d f r e d f l o wr e d r i o r e d w i t hi na n d o u t b l u e 等算法 影响转发速度 的另一个方面就是路由表的查找和路由算法 路由表的查表快慢也是影响转发速度一个 重要因素 通常将路由表的表项存贮在 个树形数据结构中 树的每一层都与目的地址 中的一个比特相对应 为了寻找一个地址 只需要从树的根节点开始 如果第一个地址 为o 那么左子树将包含目的地址的路由表项 否则 在右子树中 如此遍历即可找到 目的地址 可以采用以下几种技术增加查表速度 内容可编制内存 c a m 允许将3 2 比特的i p 地址送入c a m 中 然后c a m 在常量的时间内返回该地址的路由表项的内容 也可以将最近所访问过的路由表项存贮在高速缓存中 在t c p i p 协议栈中 i p 层之上协议层是传输层 通常有两种协议 t c p 和u d p t c p 是一种面向连接的可靠的传输协议 t c p 连接通常执行 3 次握手 同时t c p 提 蒸 童童望塑生竺垫查竺窒堡鲨一 供拥塞控制机制 具有一定适应性 由于每一次拥塞后都要经过一个 慢启动 过程 所以t c p 不适合音视频实时数据的传输 通常实时音视频等多媒体数据采用u d p 来传 输 而u d p 通常只是起着复用i p 层作用 其传输没有任何控制机制 所以在传输音视 频等实时多媒体数据时需要用户加以控制 正是基于此种考虑 i e t f 制定一种多媒体 实时传输协议 r t p 在i n t e m e t 中传输音视频等多媒体应用 一个很重要的考虑就是如何有效地管理网 络带宽资源 在i p 层采用多播方法来传输大数据量音视频数据 尽可能减少这些数据 的冗余拷贝 可以节省大量的带宽资源 所以象视频会议这样的网络应用经常采用多播 协议 多媒体实时传输协议r t p 也是以多播协议作为基础的 现有的i p 网络可以通过q o s 路由和资源预定协议 r s v p 可以提供一定程度上 q o s 在i p 网络中进行音视频传输目前大都从以下几个方面考虑 首先 采用与网络一 致的传输策略 例如在音视频传输时采用t c p 友好的方式 避免造成网络性能下降 其次 对网络状况进行不断地监视 得到相关的一些参数作为音视频编码参数的调整依 据 第三 采用抗误码编码 有效抵御丢包引起的降质 最后 采用分层编码和多播方 式 特别是嵌入式编码 使信源码率可以根据网络条件进行精确调整 得到最佳的传输 质量 前面已经介绍 由于i p 的设计问题 使得i p 网络本身并不提供多种服务 也不保 证服务质量 这对于多媒体应用并不合适 要使i n t e m e t 为多媒体应用提供一定服务质 量 一种思路是基于现有的i n t e m e t 技术通过加入控制使之提供多媒体服务时提供一定 的服务质量 r t p 协议正是遵循这样一种思路的 另一种思路就是对网络协议进行重新 设汁 针对i n t e m e t 不能提供多种服务 保证服务质量 i e t f 提出了两种架构的网络 综合服务 i n t s e r v 网络和区分服务 d i l l s e r v 网络 综合服务网络采用资源预留协议 r s v p 沿途通过预留一定的网络资源 如带宽 从而达到在端到端上取得一定的q o s 的目的 这种服务网络在局域网中应用时可以收 到比较好的传输效果 但是对于象i n t e m e t 这样大型异构网络 其网络资源本身是有限 的 如果采取这样 种静态预留方式 使某些请求不能得到相应的服务 可能会使整体 的服务质量下降 区分服务模型是以每节点 p e r n o d e 每聚集体 p e r a g g r e g a t e 为基础 提供大致 级别的q o s 因而可扩展性 s c a l a b i l i t y 得以保留 区分服务框架只提供相对的或者一定 量的q o s 区分 比如就带宽而言 它通过给 个聚集体比另一个聚集体更多的带宽或者 在聚合体之间实现设置丢弃的优先级来取得高带宽 低延迟或者低损失率 同时 i e t f 针对路由问题提出多协议标记交换 m p l s 的概念 很多研究者把d i f f s e r v 和m p l s 结合起来传输多媒体数据 前景似乎非常被看好 因为带有多协议标记交换 m p l s 的区分服务框架为i p 网络中q o s 的预定提供了强有力的 高可扩展的框架 m p l s 控 制数据路径而d i f f s e r v 控制q o s 的区分 但是基于区分服务框架的网络并不能提供端到 端的服务质量 一种混合的方式就是将带有m i l s 的区分服务和综合服务结合起来 在 里型兰睦堡主兰垡堡苎 兰 堡里壁主童望塑壅堕堡塑笪堡一 网络核心部署带有m p l s 的区分服务框架 而在网络边缘则采用综合服务框架 用这种 方法试图在n t e m e t 取得端到端的服务质量 1 2 音视频传输的相关技术 1 2 1 m p e g 4 标准介绍 m p e g 一4 是一种面向对象的音视频编解码的标准 m p e g 4 有着其它类似的编解码 标准无法比拟的优越性 首先 m p e g 4 的编码是基于对象的 这样就便于操作和控制 对象 而传统压缩方法都是基于帧的 由于传输带宽的限制 必须对压缩比特率进行控 制 这直接影响到图像的质量 这样传统的编解码可能会导致整帧图像的质量的下降 而m p e g 4 由于是基于对象的 即使带宽很低时 也可以利用码率分配方法 对于用户 感兴趣的对象多分配一些比特率 而对于用户不感兴趣的对象可以少分配一些比特率 从而保证了图像的主观质量 其次 m p e g 4 对象操作使用户可以在用户端直接将不同 对象进行拼接 得到用户自己合成的图像 第三 m p e g 4 在扩展性上具有很好的灵活 性 可以进行时间域和空间域的扩展 在m p e g 4 中 可根据现场带宽和误码率的客观 条件 在时域和空域进行扩展 时域扩展时在带宽允许时在基本层之上的增强层中增加 帧率 在带宽窄时可在基本层中的图减少帧率 以达到充分利用带宽 使图像质量更好 在空域扩展时是指对基本层中的图进行采样插值 增加或者减少空间分辨率 最后 m p e g 4 还可以根据需要选用不同的算法 支持面向对象的一个很重要方面就是m p e g 4 引入了v o v i d e oo b j e c t 的概念 v o 的构成依赖于具体应用和系统实际所处的环境 在超低比特率时 v o 可以是一个 矩形帧 从而与传统的标准兼容 对于基于内容的表示要求比较高的应用来说 v o 可 能是场景中的某一物体和某一层面 在m p e g 4 中 v o 主要被定义为画面中分割出来 的不同物体 每个v o 有三类信息来描述 运动信息 形状信息和纹理信息 v o 的生 存期是一个镜头 s e s s i o n m p e g 4 首先对视频序列进行镜头切分 对一个镜头中的 每一帧进行物体分割 得到各个v o m p e g 4 标准分成三个部分 系统流 视频流和音频流 m p e g 4 系统流将描述交 互式的视听场景通信系统 该通信系统的整个工作过程是 首先由发送端压缩视听场景 信息 并增加一些同步信息 然后将这些信息传递给一个传输层 在由传输层通过多路 复合 m u l t i p l e x 技术将其打包成一个或多个用于传输或存储的二进制码流 在接收端 再将这些码流分解 d e m u l t i p l e x 和解压缩 其中的视听对象将根据场景描述和同步信 息被复合起来并呈现给终端用户 终端用户可以有选择地与呈现的结果进行胶合 这些 交互信息可以本地处理或发回给发送端 m p e g 4 终端分层体系结构主要有三层组成 压缩层 同步层和传输层 如图1 1 6 茎二垩童望塑堡堕垫垄笙圣翌鉴 一 i 可交互的视听场景 i l 图1 1m p e g 4 终端体系结构 压缩层产生称为e s e l e m e n t a r ys t r e a m 的内容数据表示 分层关系 位置和视频 序列中e s 的属性由对象描述子的一个动态的集合来描述 对象描述予本身是通过一个 或者多个专用的e s 来表示 m p e g 4 场景是由场景描述信息来描述 这些信息根据场 景内的空间 时间位蚤来说明音视频对象的组织 场景描述可以使用基于v r m l 语言 b w s b j n a 眄f o n a tf o rs c e n e 来完成 e s 被划分成许多a u a c c e s su m t 访问单 元a u 对于成帧和单个基本码流e s 中语义实体的访问是必须的 例如 一个合法的 m p e g 4 基本码流可能是一个带有m p e g 4 系统信息头的m p e g 1 的视频 那么每个访 问单元a u 就是m p e g 1 视频帧 即i 帧 p 帧或者b 帧 这些访问单元标有优先级 信息 定时信息和其它编码和表示信息 一个访问单元是制定定时信息的最小数据单元 在同步层 访问单元表示为一些称为s l p d u 的包的序列 一个s l p d u 由s l 包 头和s l 包载荷所组成 其头部提供连续性检查的方式以免数据丢失 同时携带时问戳 和相关的控制信息 7 中国科学院硕士学位论文 叫n t e m 戗中音视频实时传输管理 s l p d u 接下来传送到传输层 传输层的功能就是多路复合或者多路去复合以及生 成f l e x m u x 流 f l e x m u x 5 2 具是m p e g 一4 传输媒体集成框架 d m i f 的组件之一 f l e x m u x 是一个可伸缩的 简单的数据多路复合器 适合s l p d u 的数据交叠 f l e x m u x 有两种 不同的操作模式 简单模式和m u x c o d e 模式 采用简单模式时 s l p d u 被封装成一个 简单的f l e x m u x 包中 而在m u x c o d e 中 一个或者多个s l p d u 被封装在一个f l e x m u x 包中 同步层和传输层之间的接口称为传输媒体集成框架 d m i f 应用接口 它提供 独立于内容位置的过程建立m p e g 4 会话和对象r t p u d p i p 或者a a l a t m 这样的运 送通道的访问 m p e g 一4 视频流中包括以下几种数据 视频数据 静态纹理数据 2 d 网格数据和 人脸活动数据等 这些结构化的数据称为对象 对象和它们的属性按分层形式组织 以 便支持码流可扩展性和对象可扩展性 编码的视频数据是由一种被称为层的视频码流组 成的有序集 如果只有一层 那么称这个视频流是不扩展的 反之 如果由两层以上 那么这个视频流是可扩展的 可扩展的视频流中 有一层称为基本层 它总是可以单独 解码的 也可以采用其它的标准编码 其它层称为增强层 只能同基本层和较低的增强 层 起解码 其编码将遵循m p e g 一4 视频流 i s o f l e c l 4 4 9 6 2 语法 m p e g 4 视频场 景含有许多能够独立编解码的视频对象v o m p e g 4 中的对象由许多v o p 组成 一个 输入视频序列的每帧能够分成许多任意形状的图像区域即v o p v o p 的形状和位置各 帧各不相同 属于 个场景中同一物理对象的连续v o p 称为视频对象v o 其基本编码 结构涉及到形状编码 运动估计和运动纹理编码 改善视频序列压缩效率是m p e g 一4 视 频编码器一个重要优点 m p e g 4 视频编码算法与m p e g l 或m p e g 一2 非常类似 象 m p e g l 和m p e g 一2 一样 m p e g 一4 视频序列有三种类型的v o p 分别是p v o rp v o r b v o p m p e g 一4 视频编码算法以i v o p 编码方式来对第一个v o p 编码 紧接每个v o p 用p v o p 编码 同时也支持b v o p 编码 因此 i v o p 是最重要的 它能够独立解码 p v o p 解码则需要前一个i v o p 如果p v o p 不参考前一i v o p 它就不可能被解码 器解码 还有 b v o p 需要前 个i v o p 或p v o p 和下一个i v o p 或p v o p 才能被 解码 因此这三种v o p 的优先级如下 i v o p p v o p b v o p 每个v o p 的优先级对于i n t e m e t 中基于m p e g 4 流量是非常有用的 换句话说 使用 v o p 的优先级能够改善在网络中m p e g 4 的视频质量 而且 丢弃无用v o p 还能避免 网络带宽的浪费 m p e g 4 标准中还定义了m p e g 4 音频流 i s o i e c l 4 4 9 6 3 它是一种新的音频标 准 与以前的m p e g 音频标准相比 它有许多不同之处 m p e g 4 没有传输标准 实现 了低码率编码 有多种工具且基于对象 同时还提供了声音合成能力 同时 和以前的 m p e g 标准一样 m p e g 4 没有标准化音频编码方法 话音编码主要采用c e l p 和h v x c 算法 1 2 2 综合服务 i n t s e r v 框架 苎二童童塑塑堡塑垫查竺窒堡姿 为了适应多媒体的实时传输 i e t f 在1 9 9 4 年提出综合服务模型 i n t s e r v i n t s e r v 体系结构定义了两种主要的服务类 有保障的q o s 和受控负载服务 其中 有保障的服务质量提供了分组在路由器上经历的排队延迟时间的严格界限 而受控负载 网络服务中 一个正在接受受控负载服务的会话将接受 与同一个流从无负载网络环境 中获得的q o s 非常接近的服务质量 也就是说 会话可能会假设它所有分组的很大一 部分都可以成功地通过路由器而不会被丢弃 而且在路由器中的排队延迟接近于0 它 主要以今天的i n t e m e t 上开发的实时多媒体应用为目标 综合服务模型的基础是资源预留协议 r s v p 主要为了保证每一个流沿着传输路 径都保留足够的用于多媒体传输的资源 它要求沿途的路由器都支持r s v p