（通信与信息系统专业论文）基于ip网络的视频流传输技术研究.pdf

武汉理j 大学硕士学位论文 摘要 随着l p 网络的迅速发展，视频通信正逐步成为通信行业的主要业务之一， 视频流的网络通信技术正受到学术界和业界越来越多的关注。如何在现有网络 上改善、提高视频通信的质量，以满足多媒体业务的q o s 要求，是一项非常有 意义的研究课题。 针对视频流业务具有连续性传输、数据量大、对实时性和可靠性要求高等 特点，以及网络信道的异质特性和时变特性，本文从信源编码和信道传输过程 中的多个角度出发，对网络通信中的视频编码与传输技术进行了深入细致的研 究，所作的主要工作如下： 第一，对视频通信领域中最新的视频编解码h 2 6 4 标准以及流媒体传输协议 等相关理论、技术进行了深入研究。 第二，基于h 2 6 4 标准所提出的s p 帧无缝码流切换技术，提出了基于s p 帧的智能流文件的设计方案，并实现了关键帧采用s p 帧码流切换过程，实现了 在视频源端应对网络变化的编码策略。 第三，视频差错控制技术是提高视频通信的服务质量的重要技术，在研究 h 2 6 4 标准提出差错掩藏技术的基础上，对时域差错掩藏技术方面改进，提出了 一种基于周边匹配的匹配框架，试验结果表明在相同算法复杂度下有效地改善 了h 2 6 4 时域差错掩藏带来的块效应。 第四，基于r t p r t c p 协议的基础上提出了一种新的服务质量动态控制算 法做到对网络实时变化的监测，从而决定改变视频流码率的策略；为解决因包 失序带来的抖动、延时等问题，提出了一种滑动缓冲区算法，试验结果表明具 有滑动大小的缓冲区控制算法不仅能及时响应网络条件的变化，而且能尽可能 节省接收端的缓冲资源，减小数据处理延时。 第五，在研究了d i r e c t s h o w 的技术基础上，设计了个基于h 2 6 4 编解码 标准的实时视频流传输系统方案，并进行了实现。 关键词：视频流，码流切换，差错控制，r t p r t c p ，d i r e c t s h o w 武汉理大学硕士学位论文 a b s t r a c t d u et ot h e e x p l o s i v eg r o w t h o ft h ei n t e r n e ta n d i n c r e a s i n g d e m a n df o r m u l t i m e d i ai n f o r m a t i o no nt h ew e b ，s t r e a m i n gv i d e oo v e rt h ei n t e r a c th a sr e c e i v e d t r e m e n d o u sa t t e n t i o nf r o ma c a d e m i aa n di n d u s t r y h o wt oi m p r o v et h en e t w o r k sa l i v e a n dt oe n h a n c et h eq u a l i t yo fv i d e oc o m m u n i c a t i o n ，w h i c hb e c o m e sac h a l l e n g e da n d a p p l i e dv a l u e dr e s e a c hp r o g r a m s i n c et r a n s m i s s i o no fr e a l - t i m ev i d e oo v e rn e t w o r kt y p i c a l l yh a sb a n d w i d t h ， d e l a y , c o n t i n u i t y , a n dl o s sr e q u i r e m e n t s ，f b r t h e r r n o r et h ec h a n n e li st i m e v a r ya n d h e t e r o g e n e i t y , t h i st h e s i si n v e s t i g a t e ss e v e r a lk e ya r e a so fs t r e a m i n gv i d e od u r i n g s o u r c ec o d i n ga n dc h a n n e lc o m m u n i c a t i o n s p e c i a l l y , w ef o c u so nv i d e oc o m p r e s s i o n ， s c a l a b l ee n c o d i n g ，a p p l i c a t i o n - l a y e rt r a n s m i s s i o na n dc o n t r o l l i n gs t r a t e g y , n e t w o r k p r o t o c o l sf o rr e a lt i m es t r e a m i n gv i d e o n l cm a i nc o n t r i b u t i o n sa n di n n o v a t i o np o i n t so f t h et h e s i sa r ea sf o l l o w s ： i if o c u s e do nt h et h e o r i e sa n dt e c h n o l o g i e sa b o u tt h el a t e s tv i d e oc o d e c s t a n d a r dh 2 6 4a n ds t r e a mm e d i at r a n s p o r t i n gp r o t o c o l s i i b a s e do nt h es pf l a m ec o d es t r e a ms w i t c h i n gt e c h n o l o g y ，t h e n ，if o r w a r da p r e c e p ta b o u ts pf r a m ei n t e l l i g e n ts t r e a mf i l e s ，a n dd e s c r i b et h ep r o c e s so fs pf r a m e s w i t c h i n g i i i v i d e oe r r o rc o n t r o l l i n gi so n eo ft h em o s ti m p o r t a n tt e c h n o l o g yt oi m p r o v e t h eq o so fv i d e oc o m m u n i c a t i o n b a s e dt h es t u d yo ft h ee r r o rc o n c e a l i n gt e c h n o l o g y i n c l u d e db yh 2 6 4 ，ia p p l i e daf r a m eb a s e do nc i r c u m j a c e n t m a t c h i n g ，w h i c h i m p r o v e st h eh 2 6 4i n d i c a t e db yt e s tr e s u l t i vi p u tf o r w a r dan e wq o sd y n a m i cc o n t r o l l i n ga r i t h m e t i ct oi n s p e c tt h e n e t w o r kb a s e do nr t p r t c pp r o t o c o l s ，a n dt h e nt od e a lt h ep r o b l e m sc a u s e db y p a c k e t sl o s s ， v a tt h ee n do ft h et h e s i s id e s i g n e da n dr e a l i z e dar e a l t i m ev i d e os t r e a m t r a n s p o r t i n gp r o j e c tb a s e do nd i r e c t s h o w k e y w o r d s ：v i d e os t r e a m ，c o d es t r e a ms w i t c h i n g ，e r r o rc o n t r o l i n g ，r t p r t c e d i r e c t s h o w 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说骧并表示了谢意。 签名；逸日期：迎6 ：业：塑 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权 保留、送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定j 签名： i 注：此页内容装订在论文扉页) 武汉理工大学硕士学位论文 1 1 研究的目的与意义 第1 章绪论 随着科学技术的发展和社会生活的进步，人类对信息的需求量越来越大， 人们希望无论何时何地都能够方便、快捷、灵活地通过语音、数据、图像与视 频等多种方式进行通信。这其中，对视觉信息的需求占据了大约6 0 以卜，它 能给人们以直观、生动的形象反映，也正因此，图像视频的传输更受到人们越 来越广泛的关注。 近几年来，光纤网、移动通信网和下一代网络的不断飞速发展，大大改善 和提高了不同网络业务的可利用带宽资源，这也促使了网络业务类型的多样性 发展。视频流传输就是其中一项正在迅速发展的技术，它可以广泛应用于视频 点播、网上购物、电视会议、远程教育、远程医疗、安防监控以及实况转播等 领域。所谓网络视频流传输，站在服务器的角度来看是一个动态的概念，即连 续发送视频数据经过网络信道到达用户端，这一连续的随时间变化的码流数据 被称为流：从客户端的角度来看，并不需要下载或者接收全部码流就可以开始 解码播放，而且后续码流的到达是连续的、无间隔的。网络视频流传输业务具 有连续性传输、数据量大、对实时性和可靠性要求高等特点，同时其传输信道 也具有如下不利于该业务的特征，首先基于无链接传输的i n t e m e t 网络不是为连 续媒体数据的传输而设计的，它是一个与时间变化和空间变化都有很强相关性 的共享通信信道，这决定了i n t e m e t 网络“尽力而为”的服务特色，其本身并不 确保数据传输的可靠性：其次，网络通信中同一群组的各个用户不仅面能在机 器类型、操作系统、外设性能、c p u 处理能力等方面存在巨大差异，而且网络 接入类型及连接各用户的不同网络段也会在物理通道、带宽资源、传输延时和 信道丢包率等方面有所不同，此即所谓的网络异质特性。 因此，如何在现有网络结构上改善、提高视频流多播、单播业务质量以适 应q o s ( q u a l i t yo fs e r v i c e ) 的要求，就成了一项非常具有挑战性和实用价值的研 究课题f l 】【2 】。针对上述问题，世界各国的研究人员已经提出了很多行之有效的算 法和解决方案，这些主要是从如下两个角度来考虑的： 武汉理工大学硕士学位论文 1 、从信源编码端信号处理的角度来考虑，通过采用各种新的压缩算法提高 视频编码的效率，尽量在相同压缩比时提供更好的视频重建质量，或者通过更 低的码率提供相同的视频编码质量。同时，针对i n t e r n e t 的网络异质特性，在信 源端采用可分级视频编码算法或在网络传输节点上采用转换编码器等： 2 、从传输信道的网络层角度来考虑，在原有网络结构的基础上进行改进， 比如：增加网络带宽资源、采用多播服务类型、增强路由器和服务器功能以及 使用数据缓存和边缘服务器等等。同时，在此基础上通过改进现有的网络传输 与控制协议或者提出新的算法，尽量避免、缓解网络拥塞，降低数据报文丢包 率，缩短传输的环回延时。 1 2 国内外研究现状与技术背景 1 2 1 信源端的视频信号处理方法 研究视频数据可以发现其中存在大量的冗余，减少图像的冗余度就可以极 大地减少图像的数据量。这些冗余主要表现在空间冗余度、时间冗余度两个方 面，其它还包括信息熵冗余、视觉冗余、结构冗余、知识冗余、纹理统计冗余 等等。s h a n n o n 的编码定理告诉我们：一个具有率失真函数r 例的信源，若有 平均失真d ，并有两个任意小的正数s 与占，则必定存在一种信源编译码方法使 其信息比特率r r 倒+ ，而平均失真d d + 6 ，也就是说码率在某个界限内的 压缩编码是有可能的。这为视频压缩及信道编码奠定了理论基础。 图像视频压缩编码已经有五十多年的发展历史了。1 9 4 8 年，s h a n n o n 和他 的两个学生o l i v e r 与p i e r c e 联合发表了对电视信号进行脉冲编码调制f p c m ) 的论 文，标志着数字视频压缩编码技术的开端。1 9 6 6 年，n e a l 对比分析了d p c m 和 p c m 并提出了用于电视的实验数据。1 9 6 9 年在美国举行的首届“图像编码会议” ( p i c t u r ec o d i n gs y m p o s i u m ) 表明图像视频编码以独立的学科跻身于学术界。半 个世纪以来，视频压缩编码技术早己走出实验室，广泛应用于现代社会的各个 领域。视频编码方法种类繁多，从信息保持的角度可以分为无损压缩和有损压 缩两大类。无损压缩利用数据的统计冗余( 数据之间的相关性、可预测性) 进 行压缩，以预测编码和熵编码为基础，可完全恢复原始数据而不引入任何失真， 但其压缩率受到数据统计冗余度的理论限制，一般为2 ：1 到5 ：l ，此类方法广泛 用于文本数据、程序和特殊应用场合的图像数据( 如指纹图像、医学图像等) 2 武汉理工大学硕士学位论文 压缩。鉴于压缩比的限制，仅使用无损压缩方法不可能解决图像和数字视频在 存储和传输应用中的问题。因此，视频有损压缩方法也得到了长足地进步和发 展，它除了利用统计冗余进行压缩编码外，还利用了视频数据的视觉冗余特性， 即利用人类视觉系统( h v s ) 对视频信息中某些频率成分不敏感的特性，允许压缩 过程中损失一定的信息，这虽然不能在解码端完全恢复原始数据，但所损失的 部分信息对理解原始图像的影响相对较小( 即视觉无明显失真) ，同时却换来了 相当大的压缩率。有损压缩以变换编码、矢量量化、模型基编码、分形编码和 熵编码为基础。1 9 8 5 年，瑞士学者k u n t 提出了第一代、第二代编码的概念，他 把早期的以去除冗余为基础的编码方法称为第一代编码，如：空间域的p c m 、 d p c m 、q m 、亚抽样编码方法，变换域的d f t 、d c t 、w a l s h h a d a m a r d 变换 编码等方法以及以此为基础的混和编码方法；第二代编码方法则是指8 0 年代以 后提出的新方法，如金字塔编码、矢量量化、分形编码、基于神经网络的编码、 小波变换和予带编码以及模型基编码等。 国际标准化协会( i s o ，i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ) 、国际电 子学委员会( m c ，i n t e r n a t i o n a ll e c t r o n i c sc o m m i t t e e ) 、国际电信协会( i t u ， i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ) 等组织于二十世纪九十年代领导制订了三 个有关视频图像压缩编码的系列化的国际标准：j p e g 标准、h 2 6 x 标准和 m p e g x 标准，这些标准采用的图像编码算法融合了各种性能优良的图像编码 方法，代表了当前图像编码的发展水平。 一系列标准的制定并不意味着视频压缩算法研究的终止。随着新的应用领 域和新的业务类型的不断出现，原有的标准会表现出一定程度的不适应和缺陷。 同时，国际标准的制订组织为了兼顾绝大多数图像，视频处理领域的需求，并没 有提出或者强制规定某些功能模块的具体算法，因此就为从信源端信号处理方 法的角度研究更有效、更高编码效率的视频压缩算法提供了可能性和发展空间。 例如，基于全局运动估计和场景分离的视频压缩算法就是在相关标准的基 础上，依据统计知识和图像内容识别算法将序列图像分割成基本保持静止的背 景图像和运动物体两部分，通过减少对背景的编码来改善整体编码效率，提高 压缩比，从而降低传输同等质量视频信号时对网络带宽的需求。 即便是对于一个高效压缩编码后的视频流数据，当多个用户试图通过不同 的通信链路( 具有不同的可利用带宽资源) 同时接入相同的视频时，仍会出现 相当的困难。例如，某个用户可以在通过高速链路( 例如a d s l 调制解调器) 武汉理工大学硕士学位论文 连接到服务器的终端上实时下载以1 5 m b p s 编码的m p e g l 视频并重放，但仅 有5 6 k b p s 调制解调器连接的用户将不能实时接收足够的比特进行重放。这样， 视频码流的可分级性概念就应运而生了，它是指通过仅解码一部分压缩的比特 流就可物理地恢复有意义的图像或视频信息的能力。如上面所说的网络传输视 频流业务，如果数据是可分级的，那么具有高带宽接入的用户可以下载或接收 整个比特流以观看高质量的视频而具有5 6 k b p s 低带宽接入的用户则u j 以只下 载或接收视频数据流的一部分，观看一个低质量的演播。 上面的例子仅说明了视频编码可分级性的一个方面：比特率可分级性。可分 级视频流还可以提供对变化的信遒误码特征的适应性以及对接收终端计算能力的 适应性。对于无线通信，可分级性允许调整信源编码速率，并采用不等重出错保 护技术以适应不同的信道误码环境【3 l f 4 l 【5 】。对于i n t e m e t 网络信道，视频流的可分 级性使得同时为具有不同接入速率、信道带宽和终端设备能力的用户提供不同质 量的视频通信服务成为可能，因为服务器可以根据不同用户的可利用带宽资源， 有选择的丢弃一部分相对不重要的数据，从而保证其他重要数据的传输质量和可 靠性。 由于分层视频编码提出了一个由网络或者接收端来控制其所接收的码流数据 量的概念，从而使视频流发送端可同时面向各种结构的网络和更多的用户，并为 在具有异质特性的网络上向大量用户提供视频流业务定义了有效的码流结构，因 此也受到世界各国研究人员越来越多的关注。目前最其有代表意义的可分层视频 编码算法莫过于m p e g 4 标准中的精细可分层编码技术( f g s ，f i n eg r a n u l a r s e a l a b l e ) ，它的最大特点就是增强层码流能够被任意截取，参与解码的增强层码 流的多少决定了重建图像质量的高低。最初的f g s 有三种算法，一种是基于d c t 的比特平面编码，一种是小波变换编码，还有一种是m a t c h i n g p u r s u i t 编码，后来 出于算法简单易行的考虑，基于d c t 比特平面编码的f g s 技术就成了m p e g 4 的主要内容。此外，多描述编9 3 ( m d c ，m u l t i p l ed e s c f i p t i o nc o d i n g ) 作为种特殊 的分层编码算法，也受到研究人员非常多的关注【6 】1 7 1 。 另外，视频编码h 2 6 4 是一种面向实际应用的新标准，它由i s o i e c 和i t u - t 两大国际标准化组织共同制定，是视频编码技术的新发展。它在多模式运动估 计、整数变换、统一v l c 符号编码、分层编码语法等方面都有它的独到之处。 h 2 6 4 算法具有很高的编码效率，其应用前景非常可观上个世纪8 0 年代以来， 国际上一直存在由i s 0 i e c 制定的m p e g - x 和i t u t 制定的h 2 6 x 两大系列视 武汉理t 大学硕卜学位论文 频编码国际标准。从h 2 6 1 视频编码建议，到h 2 6 2 3 ，m p e g 一1 2 4 等都有一个 共同的不断追求的目标，即在尽可能低的码率下获得尽可能好的图像质量。而 且，随着市场对图像传输需求的增加，如何适应不同信道传输特性的问题也同 益显现出来。这就是i e o i e c 和i t u t 两大国际标准化组织联手制定的视频新 标准h 2 6 4 所要解决的问题。h2 6 4 和以前的标准一样，也是d p c m 加变换编 码的混合编码模式。但它采用“回归基本”的简洁设计，不用众多的选项，获 得比h t 2 6 3 + + 好得多的压缩性能；加强了对各种信道的适应能力，采用“网络友 好”的结构和语法，有利于对误码和丢包的处理；应用目标范围较宽，以满足不 同速率、不同解析度以及不同传输场合的需求；它的基本系统是开放的，使用 无需版权。因此，在网络带宽不是很高的情况下，选用h 2 6 4 编码技术作为网络 多媒体应用是非常明智的例 9 1 。 虽然网络的发展可使有效带宽变得越来越宽，但实际上由于网络用户数量 的增长速度远比有效带宽的增长速度快，因此图像视频信号的有效压缩始终是 一个好的视频流传输系统所必须解决的重要问题。 1 2 2 网络信遭的结构及通信协议 视频流网络通信的传输媒介通常包括光纤、同轴电缆和双绞线、卫星通信、 微波通信等，由其中一种或者几种媒介共同构成的i p 网络包括无线i p 网络上的 视频流传输业务是人们关注、研究的热点。 考虑到视频流通信的实时性要求，在i p 网络中不能简单利用基于链接的 t c p 协议来传输视频数据的分组报文。有些研究人员提出采用非链接型的u d p 协议传输视频流，一定程度上解决了实时性问题，但由于u d p 协议没有拥塞控 制机制，其数据分组的发送是盲目的，因此很容易导致或加重i p 网络的拥塞问 题。同时，当网络发生拥塞时，由于t c p 流会自动将发送窗口缩小一半，减少 待发送的数据：而u d p 流则仍会不加变化的继续发送，从而后者会优先的抢占 更多的带宽资源，再加上在现有的网络应用中，t c p 应用占据大量比重，因此 如何保障基于u d p 协议的视频流通信业务对t c p 流的公平性就成了一个待解决 的研究热点问题。 此外，采用资源预留协议( r s v p , r e s o u r c er e s e r v e dp r o t o c 0 1 ) 也是改善i p 网 络视频通信质量的有效方法，也就是说视频流发送端将资源预留信息传送给网 络，网关节点则在相关的传输路由上确定需要预约的传输带宽和缓存容量。 武汉理工大学硕士学位论文 实时传输协议r t p 和实时传输控制协议r t c p 是一种能有效改善网络视频 流传输的质量、用于支持连续媒体通信的传输层协议，其核心思想是提供媒体 数据再现时的时钟同步信息，解码端依据这些信息对接收到的数据包加以缓冲、 调整以保证解码重播的实时性和连续性。其中r t p 协议应用于数据通信，r t c p 协议应用于包括时钟同步的控制信息，并且r t p 和r t c p 协议支持多个用户参 与的实时通信过程。实时传输协议应用到网络多媒体业务中的效果相当明显， 因此这也成为了i p 网络视频流通信的研究热点】。 目前的i p v 4 协议在制订之初并没有考虑实时业务的传送，尽管后续作了很 多改进和扩充，但其仍不适合实时多媒体视频通信，因此可以通过用户应用层 传输控制策略对其功能进行补充以满足各种新兴业务的需要。比如对音、视频 数据进行分层编码，然后在相应i p 包头的保留域中加上实时包标志和分层编码 层次标志。当网关节点或路由器接收到某个数据包时，首先判别实时包标志， 并在资源分配时采用实时码流优先于非实时码流的原则：其次，在同为实时数 据包时，还要判别编码层次标志，重要性大的码流( 比如基本层) 优先于重要 性相对较小的码流( 比如增强层) 发送，从而保证包含较大、较重要信息量的 数据包能更快、更可靠的传送。 站在用户的角度，服务质量q o s 反映了业务的质量要求：而从网络的角度 出发，可以认为q o s 体现了网络各方面的性能，主要包括吞吐量、延迟，延迟 波动、最大时滞、丢包率等。所有这些参数都会在一定程度上影响网络通信的 质量，因此对于视频数据的网络通信还必须考虑有效的传输控制技术。这里的 传输控制技术可分为三种： 1 、基于发送方发起机$ 1 j ( s e n d e r - i n i t i a t e ds c h e m e s ) 。包括在编码端提高压缩 效率，采用实时性好、可靠性高的通信协议( 如r t p r t c p 、r s v p 等) 以及基 于信道带宽估计的信源码率调整算法等。发送者发起机制的优点是发送者无需 同时发送多个视频流，其主要缺陷是不适合异构多播环境，因为它把对视频质 量的调节局限在一个统一的模式下，也就是说，只要多播组中有一部分接收者 遇到了较大的丢包率，则多播组中所有的接收者都将被迫接受视频质量的降低。 因此发送方发起的机制只能满足单一的传输速率要求，不同网络用户对带宽、 接收质量的不同要求无法同时满足。 2 、基于主动网络机* f j ( a c t i v en e t w o r k ss c h e m e s ) 。包括采用灵活的可分级视 频编码算法以改变码流数据结构，在网络中转节点上使用能有效适应网络时变 武汉理 ：人学硕士学位论文 特性的传输控制策略，加入自适应不等重前向纠错编码( f e c ，f o r w a r de r r o r c o r r e c t i o n ) 技术，采用出错重传( a r q ，a u t o m a t i cr e p e a tr e q u e s t ) 等。比如发送方 将分层视频流所有层的码流全部打包封装发给同一个视频服务器，其中每个分组 都不会包含多于一层的数据，并且都有标识其内部包含的视频码流所在层次的标 识信息。视频服务器则通过对网络环境的实时监测来控制数据的传输和控制。当 有拥塞发生，服务器依据队列长度来丢弃低优先级的报文，同时考虑不同业务流 问的公平性，并识别异常流量且将其隔离。主动网络机制的优点在于它很好的解 决了发送方发起机制和接收方发起机制所存在的问题，不仅可以满足不同接收者 个性化的视频质量要求，又无需在组成员间共享信息因此很容易进行扩展，并 且可以快速自适应动态定制、配置新的服务，实验新的网络体系结构、新的协议， 从而提高网络的性能，使视频通信系统更具灵活性和可扩展性。 3 、基于接受方发起机制( r e c e i v e r i n i t i a t e ds c h e m e s ) 。主要是指在解码端利 用图像的空间或时间相关性来消除或减少传输误码对重建视频质量的影响也 就是误差掩盖技术( e r r o rc o n e e a l m e n 0 。此外，还有一种接收者发起的自适应机 制的简单实现，即编码发送端同时以不同的速率发送数据给多个组播地址，各 个数据流之间相互独立，并不需要合在一起解码，不同的网络用户根据自己的 终端能力、带宽资源、丢包率等情况加入其中的某一个组。由于此时发送者发 送的多个数据流其实是相同的视频以不同速率发送，存在有大量重复数据，会 造成对网络带宽的额外浪费，因此这种也称为s i m u l c a s t 的方法并没有被广泛接 收和应用。当然，也可以将可分级视频流应用到s i m u l c a s t 方法中以减少重复的 数据量，但由于这种方法只能用于组播协议，不利用安全加密及同网络上多 个视频节目的同时发送，因此同样没有被大范围的应用。 随着相关技术的发展、研究的深入及应用领域的扩展，研究人员己经着手 研究如何将上述三种机制有效的结合起来使用，以图最大程度提高视频网络通 信的质量。 1 3 本文的主要工作及组织结构 1 3 1 本文的主要工作 本文分别从高效信源压缩、智能流视频编码、网络应用层传输控制策略、 传输层打包协议及缓冲控制等四个方面对网络通信中的视频编码与传输技术进 武汉理1 ：大学硕士学位论文 行了深入细致的研究，所作的主要工作如下： 第一，对视频通信领域中最新的视频编解码h 2 6 4 标准以及流媒体传输协议 等相关理论、技术进行了深入研究，掌握了视频通信的各类相关技术。 第二，基于h 2 6 4 标准所提出的s p 帧无缝码流切换技术，文中提出了基于 s p 帧的智能流文件的设计方案，并实现了关键帧采用s p 帧码流切换过程，实现 了在视频源端应对网络变化的编码策略。 第三，视频差错控制技术是提高视频通信的服务质量的重要技术，在系统 研究h 2 6 4 标准提出差错掩藏技术的基础上，在时域差错掩藏技术方面改进，提 出了一种基于周边匹配的匹配框架，试验结果表明在相同算法复杂度下有效地 改善了h 2 6 4 时域差错掩藏带来的块效应。 第四，在r t p r t c p 协议的基础上提出了种新的服务质量动态控制算法 做到对网络实时变化的监测，从而决定改变视频流码率的策略；为解决因包失 序带来的抖动、延时等问题，提出了一种滑动缓冲区算法，试验结果表明具有 滑动大小的缓冲区控制算法不仅能及时响应网络条件的变化，而且能尽可能节 省接收端的缓冲资源，减小数据处理延时。 第五，在研究了d i r e c t s h o w 的技术基础上，设计了一个基于h 2 6 4 编解码 的实时视频流传输系统方案，并进行了实现。 全文共分为六章： 第一章：介绍论文研究目的与意义，总结阐述了视频编解码、视频传输协 议的发展，以及视频通信国内外发展研究现状，并陈述了本文的主要研究工作。 第二章：介绍了本文所涵盖的知识基础，h 2 6 4 视频编解码标准以及实时传 输r t p r t c p 协议。 第三章：介绍了当前视频传输领域中适应网络动态变化的各种技术方案， 重点研究了基于h 2 6 4 的s p 帧无缝切换码流技术，在此基础上实现了智能流文 件的设计方案及研究了s p 帧码流切换的过程实现；在研究视频差错控制技术的 基础上提出了一种改进的时域差错掩藏技术并进行了试验验证。 第四章：对i p 网络的服务质量进行了深入研究，探讨了当前i p 网络服务质 量自适应控制方面的研究以及相关技术，提出基于r t p 协议的一种新服务质量 动态控制算法。 武汉理工大学硕士学位论文 第五章：在研究了d i r e c t s h o w 的技术基础上，设计并实现了基于1 p 网络的 流媒体传输系统。 第六章：对本文的工作进行了总结，并针对研究工作中的不足之处进行了 展望。 武汉理工大学硕士学位论文 第2 章i t 2 6 4 视频编解码标准及实时传输蚺议研究 2 1 基于i t 2 0 4 标准的视频编解码 h 2 6 4 a v c 是最新的国际视频编码标准，它的制定过程最早是从1 9 9 8 年开 始的【1 2 j 。当时，l t u t 第1 6 研究小组在对h 2 6 3 不断改进的同时，还启动了另 一个研究项目h 2 6 l ，目标是制定一个新的数字视频编码标准，使其编码效率能 够比当时已投入使用的标准提高一倍。这个项目是由视频编码专家组( v c e g i t u t s g l 6q 6 ) 负责2 0 0 1 年1 2 月，运动图像专家组( m p e g ) 也加入进来，成立 了联合视频小组( t ，j o i n tv i d e ot e a m ) ，共同来完成了标准的制订工作。2 0 0 3 年3 月，标准的最终草案公布并改名为h 2 6 4 ，由于h 2 6 4 是由两个组织共同创 建完成，所以它分别被称为i t u t 标准h 2 6 4 和i s o i e c 国际标准1 4 4 9 6 一1 0 a v c ， 最终标准于2 0 0 3 年5 月发布。h 2 6 4 编码的标准化范围如图2 一l 所示： 信 道 存 储 介 质 标准适用范围 图2 - 1 视频编码标准化范围 图2 1 给出一个典型的视频编码解码系统流程，和以前的i t u t 和m p e g 所制定的编码标准一样，只有视频的解码部分被标准化。通过影响和限制比特 流和语法，定义视频解码过程的语法单元，所有符合标准的解码器在给定一段 编码后的码流经过解码后都会有相同的结果输出。标准的这种范围限制最大可 能地提高了使用各自最适合的方式进行性能优化的自由度。 与以前的视频编码标准不同，h 2 6 4 在结构上分为两层如图2 2 所示。一个 规定视频编码算法的视频编码层( v c l ) 和一个规定网络传输规范的网络抽象层 ( n a l ) 。视频编码层的主要任务是用高效的方式表述视频数据，也就是进行视频 武汉理上大学硕士学位论文 数据的压缩；网络适配层则根据网络的特性对数据进行封装打包，使其适于网 络传输。 h 2 6 4 a v c 标准在制定时其努力的目标就是针对“会话业务”( 视频电话等) 和“非会话业务”( 存储媒体，广播和流媒体等) 的应用，提高压缩性能并提供 友好的网络接口，这使得h ，2 6 4 的应用变得非常广泛。h ，2 6 4 可以被广泛应用在 以下几个方面： 在电缆、卫星、d s l 等不同信道上的广播业务；交互式的或连续的光介质 或磁介质存储媒体( 如d v d 等) ；在i s d n 、以太网、局域网、d s l 、无线网络等 不同网络上的会话业务；在i s d n 、以太网、局域网、d s l 、无线网络等不同网 络上的视频点播和流媒体业务：在i s d n 、以太网、局域网、d s l 、无线网络等 不同网络上的多媒体短信业务( m m s l 。 h 2 6 4 概念层 视频编码层c v c l ，视频编码层c v c l ， o o v r 。一斗a l 坪口最。 1 产 网络抽象层( n a l )网络抽象层( n a l ) n a l 爿b 接口n a l 嗣禹接口 u 传输层 【 h 2 6 4 ：。t 。l h m 2 6 4t ：o f f l 2 蔷6 4 4 t 引o h 一2 6 4 九t p ol h t c 2 6 4t o 一j 、 一 ： 1 、：，2 ：- 。? ：o 。二，。 无线网络有线网络 图2 - 2h 2 6 4 结构和传输环境 2 1 1h 2 6 4 编码的设计特点 h 2 6 4 与以前的视频编码标准相比性能获得了很大的提高，但它仍采用的是 传统的混合编码框架，h 2 6 4 编码效率的提高也不是其中某一种新的编码技术所 产生的决定性的结果，而是多种新算法结合而产生积累效果而致。相对于以前 的视频编码标准，h 2 6 4 具有如下主要特点： 1 提高预测编码部分能力( m c m e ) 的设计 武汉理工大学硕士学位论文 具有更小的块并且块大小可变的运动补偿：h 2 6 4 标准与已往任何标准相比 在运动补偿块的大小和形状上的选择都更为灵活。其亮度运动补偿块大小最小 可以是4 x 4 大小。 四分之一像素精度的运动补偿：以前大多数的标准最多支持运动矢量精确 到= = 二分之一象素。而h 2 6 4 标准中通过使用四分之一像素精度的运动矢量，使得 运动补偿更为精确。 可超越图像边界的运动矢量：m p e g 一2 及其以前的标准，运动矢量只允许指 向已解码的参考图像内的点。图像边界外延技术，首先被h 2 6 3 作为一个可选项 而采用，在h 2 6 4 中也被包含进来，这使得h 2 6 4 的运动矢量可以指向超出图像 边界的点。 多参考帧运动补偿：在m p e g 2 及其以前的编码方案中，预测帧( 称为p 帧) 只允许用前一帧图像来预测下一帧的图像。而h 2 6 4 扩展了h 2 6 3 + + 中的参考帧 选择技术，允许编码器根据运动补偿原则在大量的已解码并存储在解码器的图 像中选择参考帧，来达到高效编码的目的。h 2 6 4 中同样也对双向预测参考帧的 参考能力根据双向运动补偿作了扩展。 去除显示图像顺序和参考图像顺序的耦含性：在以前的标准中，运动补偿 的参考帧使用顺序严格依赖于图像播放的顺序。h 2 6 4 标准彻底去除了这些限 制，允许编码器灵活选择参考图像的顺序和播放图像的顺序，其灵活性只受到 存储器的总容量必须确保解码能力的限制。同时，这些限制的去除也消除了以 前由双向预测编码带来的附加延时。 去除图像参考能力和图像表示方法的相关性：在以前的标准中，使用某些 编码方法生成的图像( 如：双向预澳0 编码帧) 不能用作预测视频序列中其它图 像的参考帧。去掉这一限制后，新标准的编码器更为灵活，而且在很多情况下， 可以选择与待编码图像更接近的某一幅图像作为参考帧。 权重预测：h 2 6 4 中的又一个创新是允许编码器对运动补偿预测信号加权。 这使得包含淡入淡出效果的图像和其它一些图像在编码效率上有很大提高。 改进的”s k i p p e d ”和”d i r e c t ”模式推断：在以前的标准中，已编码图像中模式 为”s k i p p e d “的图像区域的场景内容不能运动，这对包含攘体运动的图像是有害 的。所以h 2 6 4 对”s k i p p e d ”区域进行运动推断。对双向预测编码区域( b s l i c e s ) ， h 2 6 4 还包含增强的运动推断方法：”d i r e c t ”模式的运动补偿，它进一步改善了 h 2 6 3 + 和m p e g - 4v i s u a l 中”d i r e c t ”预测的设计。 武汉理工大学硕十学位论文 帧内编码中不同方向的空间预测：在帧内编码的图像中使用了新的窄间预 测技术，将当前图像中已编码的部分预先解码，将解码区域边缘的象素用于帧 内编码区域的空间预测。这一技术增强了预测图像的质量，并允许由邻近区域 中非帧内编码的图像预测当前图像。 环路去方块滤波：基于块的视频编码所产生的效应就是块效应，这是源r 预测和重构是在解码过程中是不同阶段。自适应去方块滤波的应用是一种为人 所熟知的改进图像质量的方法，如果设计得当它对图像的主观和客观质量都 有改进。与h 2 6 3 + 的选项中的去方块滤波不同的是，h 2 6 4 的这设计是在运 动补偿预测环路中提出的，所以它对图像质量的改善也可应用于帧间预测，进 而增强预测其它图像的能力。 2 提高变换和编码部分效率的设计 小的块变换：以前所有主要的视频编码标准都使用大小为8 8 的块进行变 换，而新的h 2 6 4 的设计主要是采用4 x 4 的变换。这使编码器可以更好的根据 当时的场景来表现信号，有效减少了振铃效应。 块大小灵活可变：在大多数情况下，使用大小为4 x 4 的较小的块进行变换 就可以了。但有一些信号的相关性很强，这种情况下的变换就可以使用更长的 基函数。 l 2 6 4 标准对这种情况的处理有两种方法：一是通过使用分级变换来扩 充有效的块大小，对频率较低的色度信号，将其组成8 x 8 的数组：二是通过允 许编码器在帧内编码时选择特殊的编码类型，使得对频率较低的亮度信号的变 换长度扩充到1 6 1 6 的块大小，这与色度信号的处理方法很类似。 短整型字长的变换：所有以前标准的编解码器对变换的计算的设计中，处 理都较为复杂，所以以前的标准中都采用3 2 比特的处理，而在h 、2 6 4 中仅要求 1 6 比特的计算。 精确匹配的逆变换：在以前的视频编码标准中用于表现视频的变换通常 被限定在误差允许的范围内，因为得到精确匹配的理想的逆变换是不现实的。 所以，不同的解码器设计解得的视频图像有微小的差异，产生编解码器所表现 的视频信号的“漂移”，使视频质量下降。h 2 6 4 是第一个达到解码的视频内容 精确等价于编码质量的标准。 算术熵编码：h 2 6 4 包含了一种先进的熵编码方法一算术编码。算术编码作 为h 2 6 3 的可选项出现过，h 2 6 4 中更为有效地利用了这一技术，提出了功能非 常强大的熵编码算法c a b a c ( 基于内容的自适应算术编码) 。 武汉理上人学硕士学位论文 基于内容的自适应熵编码：h 2 6 4 中的两种熵编码方法分别是：c a v l c ( 基 于内容的自适应变长编码) 和c a b a c ，它们都是用基于内容的自适应手段来提 高编码效率。 3 提高抗误码丢包以及增强在不同网络环境下操作的灵活性的设计 参数集结构：参数集的设计为头信息的鲁棒性和高效安全性提供了保障。 在以前的标准中如果关键信息丢失了几个比特( 比如序列的头或图像的头信息) 可能严重影响解码过程，在h 2 6 4 中对这些关键信息用更为灵活的方法单独处 理。 n a l 单元语法结构：h 2 6 4 的每个语法结构都按逻辑数据打包，称为n a l 单元。与以前的视频标准强制系统使用特定的比特流接口不同，h 2 6 4 的n a l 单元语法结构允许根据特定的网络自定义合适的方法来传送视频内容。 灵活的s l i c e 大小：与m p e g 2 中定义的固定的s l i c e 结构不同，h 2 6 4 中 的s l i c e 大小与早些的m p e g l 一样是非常灵活的。 灵活的宏块顺序( f m o ) ：提出i 一种将图像划分成被称为s l i c e 组的新方法， s l i c e 组中的每一个s l i c e 都可以作为二个单独的解码单位。有效利用了这