（信号与信息处理专业论文）基于可伸缩视频编码技术的网络流媒体系统的研究.pdf

独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 匿臻 日期： 丛f 垒：2 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名：塑星 日期： 型! ：z 导师签名： 季善硝 日期：垒2 ：2 。笸 弋 一。 j _ 基于可伸缩视频编码技术的网络流媒体系统的研究 摘要 随着i n t e r n e t 和多媒体技术的不断发展，视频信息更多地转向了 网络传输，网络流媒体技术应运而生，并且取得了长足的发展。但是 用户需求的多样性、网络的固有特性( 异构性、带宽波动性和不可靠 性) 和视频终端的异构性限制了流媒体技术的发展。网络带宽波动性 决定了流媒体服务器很难为不同的客户提供实时的流媒体服务。视频 压缩编码已经不能单面向存储，还要适应复杂的网络环境，在保证高 压缩效率的前提下，要求视频码流具有一定的可伸缩性，能够适应网 络带宽的波动性。针对这一任务的变化，可伸缩视频编码技术应运而 生。 可伸缩视频编码技术要求编码得到的视频码流可以通过简单的 丢包或截断码流等操作提取出具有不同空间分辨率、时间分辨率和码 率的码流，要求编码出来的码率具有空域、时域和质量三个方面的可 伸缩性。2 0 0 4 年1 0 月的m p e g 会议初步决定以德国h h i 提出的基 于h 2 6 4 的s v c ( s c a l a b l ev i d e oc o d e ) 为参考代码，并提出一个软件参 考模型s v m 。2 0 0 5 年1 月，i s o 的m p e g 和i t u t 的v c e g ，同 意联合起来将s v c 作为h 2 6 4 a v c 的扩展集并由联合视频组( j v t ) 提出了草案，收录为h 2 6 4 a v c 的附录g ，此后的每次j 、，t 的会议 都围绕着s v c 技术对草案进行修订和完善。 本文在研究基于h 2 6 4 a v c 的可伸缩视频编码技术和网络带宽 测量技术的基础上，设计和实现了一种基于可伸缩视频编码技术的网 络流媒体系统。该系统可以检测当前的网络可用带宽，并根据当前的 网络条件选取不同质量层、空间层和时间层的码流传输到客户端，以 达到充分利用网络带宽和客户端实时播放的目的。为了验证系统的正 确性，搭建了广域网的运行环境，使用l i n u x 下的t c 工具实现了改 变网络带宽的功能，并在不同网络带宽下，对质量、空间和时间可伸 缩性分别进行了验证。 关键词：流媒体；可伸缩视频编码；网络带宽测量；网络带宽改变 h 2 昏删c _ l j r e s e a r c ho nn e t w o r ks t r e a m i n gm e d i a s y s 旺mb a s e do ns c a i ，a b l ev i d e o c o d i n gt e c h n o l o g y a b s t r a c r v i d e oi n f o r m a t i o ni sm o r eo f t e nf r o mt h en e t w o r kt r a n s m i s s i o n a l o n gw i t ht h ec o n t i n u o u sd e v e l o p m e n to f i n t e r n e ta n dm u l t i m e d i a t e c h n o l o g y n e t w o r ks t r e a m i n gm e d i at e c h n o l o g yc a m ei n t ob e i n g ，a n d h a sm a d eg r e a ts t r i d e s h o w e v e r , t h ed i v e r s i t yo fu s e rr e q u i r e m e n t s ，t h e n e t w o r k si n h e r e n tp r o p e r t i e s ( h e t e r o g e n e i t y , b a n d w i d t hf l u c t u a t i o na n d u n r e l i a b i l i t y ) a n d t h e h e t e r o g e n e o u s o fv i d e ot e r m i n a l sl i m i t st h e d e v e l o p m e n to fs t r e a m i n gm e d i at e c h n o l o g y b a n d w i d t hf l u c t u a t i o n d e t e r m i n e si ti sd i f f i c u l tf o rs t r e a m i n gm e d i at e c h n o l o g yt op r o v i d e r e a l t i m e s t r e a m i n g m e d i as e r v i c e sf o rd i f f e r e n tc l i e n t s v i d e o c o m p r e s s i o nc o d i n gc a nn ol o n g e rb eo n l yf o rt h es t o r a g e ，b u ta l s on e e d t o a d a p t t ot h ec o m p l e xn e t w o r ke n v i r o n m e n t ，w h i l ee n s u r i n gt h e e f f i c i e n c y o fh i g hc o m p r e s s i o n ，i tr e q u i r e st h a tt h ev i d e os t r e a mi s s c a l a b l es ot h a ti tc a na d a p tt on e t w o r kb a n d w i d t hf l u c t u a t i o n s i n r e s p o n s et o t h i sm a n d a t e ，s c a l a b l ev i d e oc o d i n gt e c h n o l o g yc a m ei n t o b e i n g s c a l a b l ev i d e oc o d i n gt e c h n o l o g yr e q u i r e st h a tw ec a ne x t r a c tc o d e s t r e a mw i t hd i f f e r e n ts p a t i a lr e s o l u t i o n ，t i m er e s o l u t i o na n db i t r a t e sf r o m e n c o d e dv i d e os t r e a mb yas i m p l ep a c k e tt h r o w i n g ，s t r e a mt r u n c a t i n go r o t h e ro p e r a t i o n s i tr e q u i r e se n c o d e dv i d e os t r e a mc a np r o v i d es p a t i a l s c a l a b i l i t y , t i m es c a l a b i l i t ya n dq u a l i t ys c a l a b i l i t y i nt h eo c t o b e r2 0 0 4 ， m p e gm e e t i n gd e c i d e st ou s eh 2 6 4 一b a s e ds v cm e t h o dp r o p o s e db y h h io fg e r m a n y , a n dp r o p o s e das o f t w a r er e f e r e n c em o d e l i nj a n u a r y 2 0 0 5 ，i s o sm p e ga n di t u - t sv c e ga g r e e dt om a k es v cb ea n e x t e n s i o ns e to fh 2 6 4 a v ca n dd e c i d et h a tt h ed r a f tp r o p o s e db yt h e j o i n tv i d e ot e a m ，i n c l u d e di ti na p p e n d i xgf o rt h eh 2 6 4 a v c a f t e r i i t h a te a c hj v tm e e t i n gi sa b o u t r e v i s i n g a n di m p r o v i n go fs v c t e c h n o l o g yd r a f t t h i sp a p e rm a i n l yr e s e a r c h e so ns c a l a b l ev i d e oc o d i n gt e c h n o l o g y b a s e do nh 2 6 4 a v ca n dn e t w o r kb a n d w i d t hm e a s u r e m e n tt e c h n o l o g y , d e s i g n sa n di m p l e m e n t san e t w o r ks t r e a m i n gm e d i as y s t e mb a s e do n s c a l a b l ev i d e oc o d i n gt e c h n o l o g y i no r d e rt oa c h i e v et h ep u r p o s e so ff u l l u s eo fn e t w o r kb a n d w i d t ha n dc l i e n t s i d e sr e a l - t i m ep l a y i n g t h i ss y s t e m c a nd e t e c tt h ec u r r e n tn e t w o r ka v a i l a b l eb a n d w i d t h ，a n ds e l e c tac o d e s t r e a mw i t hd i f f e r e n ts p a t i a ll a y e r , t i m el a y e ra n dq u a l i t yl a y e rb a s e do n t h ec u r r e n tn e t w o r kc o n d i t i o n sa n dt r a n s m i ti tt ot h ec l i e n t i no r d e rt o v e r i f y t h ec o r r e c t n e s so ft h es y s t e m ，w eb u i l daw i d e a r e an e t w o r k e n v i r o n m e n t ，u s et ct o o lu n d e rl i n u xt oc h a n g en e t w o r ka v a i l a b l e b a n d w i d t h ，a n dv e r i f yq u a l i t ys c a l a b i l i t y , s p a t i a ls c a l a b i l i t ya n dt i m e s c a l a b i l i t yr e s p e c t i v e l yu n d e r d i f f e r e n tn e t w o r ka v a i l a b l eb a n d w i d t h k e yw o r d s zn e t w o r ks t r e a m i n g ，s c a l a b l ev i d e oc o d i n g ，n e t w o r k b a n d w i d t hm e a s u r e m e n t ，c h a n g en e t w o r kb a n d w i d t h ，h 2 6 4 a v c i i i 目录 第一章绪论一1 1 1课题背景1 1 1 1流媒体系统的结构和发展趋势1 1 1 2流媒体视频传输所面临的挑战3 1 2国内外研究的热点及其现状。4 1 3论文的研究内容和组织结构6 第二章基于h 2 6 4 j a v c 的可伸缩视频编码技术8 2 1视频编码理论基础8 2 1 1视频压缩编码目标8 2 1 2视频压缩的可能性【9 】8 2 1 3视频编码系统的基本结构8 2 2h 2 6 4 份i v c 编码原理1 1 2 2 1h 2 6 舭a v c 的编码框图1 2 2 2 2h 2 6 4 a v c 中采用的新技术1 2 2 3基于h 2 6 钔w c 的可伸缩视频编码1 4 2 3 1可伸缩编码概述1 5 2 3 2 基于h 2 6 4 a v c 的可伸缩编码结构【8 , 2 1 】1 5 第三章网络带宽测量1 9 3 1网络带宽测量相关理论1 9 3 1 1带宽测量技术的相关定义1 9 3 1 2网络带宽测量技术分类2 0 3 1 3带宽测量技术性能评价标准一2 2 3 2端到端带宽测量模型及其比较2 3 3 2 1探测包间隔模型2 3 3 2 2探测包速率模型。2 4 3 2 3瓶颈链路队列模型2 4 3 2 4几种模型之间的比较2 5 3 3典型可用带宽测量方法介绍2 6 3 3 1t o p p 算法2 6 i v 3 3 2s l o p s 算法2 7 3 3 3i g i 算法2 8 3 3 4 s p r u c e 算法2 8 3 3 5 p a t h c h r i p 算法2 9 3 3 6典型可用带宽测量方法比较3 0 第四章系统设计与实现3 1 4 1系统分析3 1 4 2系统设计3 2 4 3系统实现3 3 4 3 1软件开发环境3 3 4 3 2编码、码流提取、解码和播放的实现。3 3 4 3 3网络通信模块的实现3 5 4 3 4网络带宽改变的实现4 0 4 3 5 网络带宽测量的实现4 2 4 3 6 系统集成4 5 第五章系统测试4 7 5 1 测试环境。4 7 5 2 测试方法与结果4 7 5 2 1 测试方法4 7 5 2 2 测试结果4 7 第六章结论与展望5 3 6 1论文工作总结5 3 6 2下一步工作5 3 参考文献5 5 致谢5 8 攻读硕士学位期间发表的论文5 9 v 北京邮电大学硕士论文 第一章绪论 第一章绪论 随着i n t e m e t 的发展，越来越多的人选择通过i n t e r n e t 来获取视频资源。从 用户的角度来说，他可以通过两种方式获得视频资源：基于下载的方式和基于流 的方式。基于下载的方式是将整个视频资源下载到本地，再进行播放。基于流的 方式，是采用的流媒体技术，边下载边播放。流媒体技术【l j 是一种使用流式传输 连续的时基媒体的技术。流式传输方式是将视频、音频等其他媒体压缩为一个个 压缩包，由视频服务器向用户计算机连续、实时传送，在客户端接收这些压缩包 后解码播放。第一种方式需要等待的时间随着视频数据量的增加而增加，同时受 到网络带宽的限制，因此现在人们更多的是采用第二种方式即流媒体的方式来获 取视频资源。 早期的流媒体主要用于传输一些低质量的多媒体信息，随着网络技术的发展， 逐渐出现了一些高质量的流媒体应用。另外流媒体的应用也逐渐发展到无线网络 和手持设备，如p d a 、便携式媒体播放器等等。针对这些应用的需求，流媒体 技术本身也在迅速的发展，例如利用一些高效的编码技术和传输技术来提高流媒 体系统的性能；发展新的标准扩展流媒体技术到不同的网络和设备；在流媒体系 统中增加更多新的功能以满足应用的需要等等。 1 1 课题背景 1 1 1流媒体系统的结构和发展趋势 1 流媒体系统的结构 一个典型的视频流媒体系统的构成如图1 - 1 所示，其中包括流媒体数据编码 器、具有存储功能的视频服务器、传送网络和终端播放器。 视频输入 c = 二= = 蚌： 图1 - 1 一个典型的视频流媒体系统 终端用户 终端用户 g n 北京邮电大学硕士论文 第一章绪论 编码器：负责将原始视频输入转换成流媒体格式，流媒体数据可以存储为固 定格式的文件，供视频服务器使用。 视频服务器：负责存放流媒体数据，并根据用户的请求传送相应的数据。由 于要存储大容量的视频数据，因此该系统必须具备大容量的磁盘阵列，具有高性 能的读写能力，可以向外界高速传输数据并具有可扩展性和兼容性。 传输网络：用于传输视频数据的网络。流媒体技术是随着互联网技术的发展 而发展起来的，它在现有互联网的基础上增加了多媒体服务。 终端播放器：供用户欣赏网上媒体的软件。目前使用最多的播放器【2 l 有r e a l n e t w o r k s 公司的r e a lp l a y e r 、m i c r o s o f t 公司的m e d i ap l a y e r 和a p p l e 公司的 q u i c k t i m e 三种产品。 2 流媒体系统的发展趋势 i n t e r n e t 的发展，决定了流媒体的广阔发展前景。流媒体技术及其相关产品 将广泛应用于远程教育、视频点播、在线直播、视频会议、视频监控等领域。随 着硬件、软件和网络性能的不断提升，流媒体技术将会向以下几个方向不断发展 1 3 1 ： i p t v ：州即交互式网络电视，是一种利用宽带有线电视网，集互联网、 多媒体、通讯等多种技术于一体的技术，它可以向家庭用户提供包括数字电视在 内的多种交互式服务。这种应用有效地将电视、网络和计算机三个领域结合在一 起，具有很强的发展前景。刚可以采用两种不同的方式为用户提供电视服务， 组播方式和视频点播方式。一个明显的优势在于彤l - v 是基于互联网的方式来实 现服务器和客户端的连接，因此它可以将电视服务、互联网浏览、电子邮件、和 多种在线信息咨询、娱乐、教育及商务功能结合在一起，很容易为用户提供综合 性的互联网的服务。 无线流媒体：无线流媒体是视频、音频、数据和图像一体化的解决方案，集 无线通信、流媒体、视频处理、计算机网络和自动化技术于一身。它具有视频监 控、视频会议、视频在线直播等功能，并且可以为无线监控系统在公安行业的应 用提供技术保障，为各种突发和应急事件提供良好准备，使车载监控、公共交通 工具( 公共汽车、地铁、长途汽车等) 的监控等难度较大的移动监控成为可能。 视频编码器和自适应高性能流媒体服务器设备可以使图像清晰度达到f u l ld 1 ( d v d ) 效果，实时性好，使用方便，可直接通过w e b 方式对监测设备进行远 程监控管理，为用户提供灵活的监控画面选择、电子地图使用，还可以充分利用 防火墙、v p n 、加密、权限管理、安全认证，实时时钟等技术，保证监控系统和 录像资料不被越权使用和恶意破坏。无线网络、流媒体业务主要面向g p r s e d g e 、 c d m a 、3 g 等可以提供较高带宽( 1 0 0 k b i t s 以上) 的无线分组网络。3 g 网络空 2 北京邮电大学硕士论文第一章绪论 中接口带宽的增加为流媒体业务的开展提供了良好基础，结合无线系统不受时间、 地点限制的特点，使移动流媒体业务更具吸引力。 电子家庭：在现代家庭中有越来越多的设备可以用来采集、接收、发送和播 放音频、视频等多媒体信息。如人们可以通过电视来收看电视节目，通过个人计 算机在互联网上欣赏流媒体节目，通过数字相机和摄像机来拍摄图像和视频，通 过手机来发送彩信，通过汽车上的音响系统来欣赏广播和音乐。并且各种设备的 网络连接方式也是多样化的，如电视连接有线电视网，个人电脑连接着互联网， 手机连接着无线网络，而且这些设备都可以通过蓝牙或者8 0 2 1 1 无线网络协议 连接在一起。所有这些设备所收到的多媒体数据可以在家庭网络和设备问共享， 为流媒体技术的发展提供了一个更大的舞台，这样做可以真正实现一种无所不在、 随心所至的多媒体服务，让多媒体像液体一样自由流动起来。流媒体服务在家庭 网络应用中的关键在于需要使多媒体数据能够适应不同的设备，如在电视和个人 电脑中播放的视频可能是标清甚至是高清，但是同样的内容就可能需要经过有效 的视频转换才能成为最适合在手持设备上播放。 1 1 2流媒体视频传输所面临的挑战 视频流媒体技术在不断取得发展的同时，也遇到了不少的挑战。它的发展需 要依赖于网络的传输条件、视频文件的传输控制、视频文件的编码压缩效率及客 户端的解码等几个重要因素。具体来说视频流媒体技术的发展主要受以下几个方 面的制约： 1 不同的用户对视频业务的需求不尽相同 在网络上传输的视频信息的内容和形式非常丰富，不同的客户对视频业务的 需求也不尽相同，例如对于企业客户，需要的是安全可靠，高质量，多种交互方 式的视频服务。对于个人用户而言，由于对价格比较敏感，会在价格和质量间寻 求一种平衡。这类用户需要的是物美价廉、灵活多样的视频产品。也就是说不同 的客户对视频传输的质量、时延和交互性等都有不同的要求。因此需要一种视频 编码技术，能够针对不同视频业务特点具有相应的性能，即要求编码出来的视频 流具有良好的适应性。 2 i n t e m e t 网络的固有特性 i n t e r n e t 网络为视频提供了广阔的发展平台，然而i p 网络并不是为视频业务 而专门设计的。i n t e r n e t 网络固有的异构性、不可靠性和带宽波动性对视频传输 提出了不小的挑战。 异构性：i n t e r a c t 由数以万计的局域网和广域网通过网关连接构成，网络中 3 北京邮电大学硕士论文第一章绪论 各通信子网的网络资源可能分配不均匀，具体体现在网络处理能力、带宽大小、 存储能力和拥塞控制策略的差异上，因此视频流通过不同的通信子网的时延和可 靠性也就不同。 带宽波动性1 4 】：i n t e r a c t 是一种提供尽力而为服务的网络，端到端之间的带 宽是随着时间变化的，一旦发生网络拥塞，可用带宽将会急剧下降，从而造成丢 包，视频流的传输速度也会急剧下降，这样就有可能导致视频终端出现缓冲等待 的情况。 不可靠性1 5 j ：i n t e r a c t 不提供q o s ( q u a l i t yo fs e r v i c e ) 保障。网络的数据传输会 导致码字错误的情况出现，而且这种误码具有随机性。高度压缩的视频编码通常 会采用帧间预测技术，因此误码和丢包不仅会影响当前正在解码的图像，而且会 影响到后面解码的图像，甚至有可能导致解码失败。 3 视频终端的异构性 不同的用户具有不同的偏好，这些用户可能会采用不同的终端设备，其计算 能力和终端分辨率会有所不同，如p d a 、p c 机以及专用设备，即使是相同的用 户对视频服务的也可能有多种多样的要求。视频终端的异构性造成了视频形式的 多样性。 尽管视频流媒体技术的发展已经取得了相当的成果，但是其发展始终受到这 些条件的制约，这些问题决定视频流媒体技术很难为具有不同条件的用户提供实 时的、高质量的和可靠的视频服务，本文的研究课题就是在这种背景下提出的。 1 2 国内外研究的热点及其现状 每个用户对视频业务的需求、拥有的网络条件和视频终端都不尽相同，例如 有些视频终端只支持q c i f 的分辨率，而另外一些视频终端只支持4 c i f 的分辨 率，有些用户需要高质量的视频服务，而有些用户只需要低质量的视频服务。 i n t e r a c t 在带宽、延迟抖动和丢包率等方面是动态变化和不可预知的，因此我们 很难为所有的用户提供满意的视频服务。为了能够适应这些需求和网络条件的变 化，人们提出了多种解决方案。目前主要的解决方案有以下三种： 1 s i m u l c a s t 组播技术 s i m u l c a s t 组播技术【6 l 是在实时视频信息组播传输中可以采用码流切换的方 法来改变视频码流，服务器端保存同一个视频节目不同码率的多个码流，流媒体 服务器会根据客户端的网络条件选取不同码率的视频码流传到客户端。 组播技术的原理图如图1 2 所示： 4 北京邮电大学硕士论文 第一章绪论 视 频 视 压l 八频 缩 显 卡 不 视频采集和压缩 压缩后的视频 网络传输视频显示 图1 2 组播技术原理 采用组播技术，可以使客户端请求与其网络带宽条件最接近的视频码流。使 用这种方式的视频服务器需要更大的硬盘空间。当存储的码流数目太少时，可供 选择传输的码流个数有限，充分利用带宽的能力有限，当存储的码流数目较大时， 磁盘的利用率有限。使用这种方式，服务器只能存放特定的几个视频码流，码流 的变化仅仅局限于这几个特定的码流。 2 t r a n s c o d i n g 转码技术 转码技术1 7 l 的基本原理是将视频码流解码还原为未压缩的图像，然后再按照 特定的目标编码来完成。通常是将一个已编码的高质量视频文件存放在视频服务 器上，在传输码流时根据当前的网络条件，服务器会对该文件进行解码并采用新 的量化参数进行编码，丢弃一些不会严重影响视频质量的部分数据，重新生成码 流以适应当前的网络带宽。 视频转码最简单的实现方式是将视频解码和视频编码系统级联起来组成转 码系统。如图1 3 所示，压缩过的码流经过视频解码后得到原始的视频序列，然 后作为视频编码器的输入，利用运动向量和量化值控制重新生成的视频码流的码 率，以适应特定的网络条件。 图1 - 3 视频转码技术原理 转码技术可以很好的适应网络带宽的变化，但是对每个客户端都要先进行解 码，再进行编码，系统的成本太高，而且对服务器的负担也会相当大，这无疑会 增加服务器的处理时延。 3 可伸缩性编码 可伸缩视频编码【8 l ( s c a l a b l ev i d e oc o d e ) 是指编码得到的码流具有可伸缩性， s 北京邮电大学硕士论文 第一章绪论 可以根据当前的网络条件改变传输的数据量。可伸缩性编码将一个视频内容编码 生成多个码流，其中一个是基本层码流，通常码率较低，可以单独解码；其它的 码流称为增强层码流，可以与基本层码流一起被解码以获得更好的解码图像质量。 可以通过取舍增强层码流来提供自适应的网络流媒体服务，当网络条件比较好时， 传输高质量、高空间分辨率和高帧率的码流；当网络条件较差时，传输低质量、 低空间分辨率和低帧率的码流。目前，主要有两种方法实现可伸缩视频编码：一 种是使用具有内在可伸缩性的技术，例如：位平面编码技术；另一种是使用分层 的方法，即：一个码流由基础码流层和多个增强码流层构成，基础码流层得到基 本的图像视频信息，通过增强码流层得到更好的图像视频信息，如基于d c t 变 换的m p e g 2 m p e g 4 、h 2 6 3 都采用这种模式，但他们的一个重要缺点是码流层 个数有限，而且都增加了编解码的复杂度，并牺牲了压缩效率。m p e g 4 采用了 细粒度f g s 的分级编码方式，减少了实现的复杂度，并降低了压缩效率的损失， 目前有许多改进的f g s 方法，使得f g s 不断完善。 采用可伸缩视频编码，系统不需要在服务端存放多个不同码率的视频文件， 不需要浪费服务器的存储空间，并且系统可以根据当前的网络条件选取不同质量 层、空间层和时间层的码流，可供选择的码流较多，可以比较好的利用网络带宽。 同时采用可伸缩视频编码也不需要将视频解码和视频编码系统级联起来增加服 务器的计算能力的负担，它只需要提取特定层的码流进行解码。采用可伸缩视频 编码可以有效地解决组播技术和转码技术带来的问题，因此本论文以可伸缩视频 编码技术为主要研究对象，以此来解决网络的固有特性等问题对流媒体技术发展 的阻碍。 1 3 论文的研究内容和组织结构 本论文的主要研究内容是基于可伸缩视频编码技术的网络流媒体系统。在对 基于h 2 6 彤a v l c 的可伸缩视频编码技术和网络带宽测量技术进行研究的基础上， 设计和实现了一个基于可伸缩视频编码技术的网络流媒体系统：该系统检测当前 的端到端可用带宽，并根据当前的网络条件选取不同质量层、空间层和时间层的 码流传输到客户端，以达到充分利用网络带宽和客户端视频实时播放的目的。为 了验证系统的正确性，搭建了广域网的运行环境，使用l i n u x 下的t c 工具增加 了改变网络带宽的功能，并在不同网络带宽下，对质量、空间和时间可伸缩性分 别进行了验证。全文的内容安排如下： 第一章绪论，主要介绍网络流媒体技术的发展瓶颈以及目前主流的集中解决 6 北京邮电大学硕士论文 第一章绪论 方案，描述了课题的研究背景，并给出了本论文的总体架构。 第二章是基于h 2 删c 的可伸缩视频编码技术，介绍了视频编码的理论 基础，h 2 6 4 j a v c 编码技术的基本原理和使用的新技术以及基于h 2 6 4 a v c 的 可伸缩视频编码的基本原理。 第三章是网络带宽测量，介绍了网络带宽测量的相关原理、端到端带宽测量 模型和典型的端到端可用带宽测量算法。 第四章是基于s v c 技术的网络流媒体系统的实现，介绍了码流提取、解码 和播放的实现，广域网环境搭建和码流传输的实现，网络带宽改变的实现，网络 带宽测量的实现，以及系统的继承。最终系统是一个可以改变当前网络条件、检 测当前的端到端可用带宽，并根据当前的网络条件提取不同质量层、空间层和时 间层的码流进行传输的流媒体系统。 第五章是系统测试，测试系统是否可以适应网络条件的变化。 第六章是结论与展望。总结了现有的工作成果并对今后的改进工作进行了探 讨。 7 北京邮电大学硕：t 论文 第二章基于h 2 6 4 1 a v c 的可伸缩视频编码技术 第二章基于h 2 6 钒a v c 的可伸缩视频编码技术 2 1 视频编码理论基础 2 1 1 视频压缩编码目标 由于视频信号所包含的信息量大，对传输网络带宽要求高，因此视频信号在 传输之前需要先进行压缩编码，减小需要传输的数据量，然后放在网络上传输， 以便节省网络带宽和存储空间。视频压缩的目标要求1 9 j ：( 1 ) 必须要节省带宽和 存储空间，所以视频编码器要具有足够的压缩比；( 2 ) 视频压缩后需要保持一定 的质量，这个视频质量有两个标准：一个为主观质量，即人从视觉上进行评定； 一个为客观质量，通常用信噪比( s n ) 表示。 2 1 2 视频压缩的可能性1 9 j 一幅图像由许多个像素点组成，并且同一幅图像中各像素之间具有较强的相 关性，两个像素之间的距离越短，其相关性越强，通俗地讲，即两个像素的值越 接近。因此可以用当前像素的相邻几个像素预测当前像素的值，并对实际像素值 和预测值的差值进行编码。差值可以用较少的二进制位表示，这样可以达到压缩 数据量的目的。 临近帧之间也存在很强的相关性。经过测试，对缓慢变化2 5 6 级灰度的黑白 图像序列，帧间差超过阈值3 的像素不到一帧像素的4 ；对剧烈变化2 5 6 亮度 值的彩色电视序列，帧间差超过阈值6 的像素平均只占一帧像素的7 5 。可以 用临近帧的像素值对当前帧的像素值进行预测，这样可以得到更大的压缩比。 视频信号中有低频部分和高频部分，大量的实验统计表明：一幅图像中平坦 区域和内容缓慢变化区域占据一幅图像的大部分，而细节区域和内容突变区域只 占小部分。也可以说，图像中直流和低频区占大部分，高频区占小部分。这样， 空间域的图像变换到频域或所谓的变换域，会产生一些相关性很小的变换系数， 并可对其进行压缩编码，即所谓的变换编码。正是由于视频数据中存在这些冗余 信息，才使得视频压缩成为可能。 2 1 3 视频编码系统的基本结构 视频编码系统的基本结构如图2 1 所示。 8 北京邮电大学硕士论文第二章基于h 2 6 4 a v c 的町伸缩视频编码技术 吕。暑oo o qoq o qqqq oooooo qoq o qqqq 虽。虽。虽oqq qqqq 三o 三o 三o 三。o 芝。o q 4 ：嚣q oooo o o qoq o 仟 9 北京邮电大学硕上论文 第二章基于h 2 6 4 1 a v c 的叮伸缩视频编码技术 2 预测编码 预测编码从时空特性上可以分为空域帧内预测和时域帧间预测。帧内预测主 要是利用当前帧图像内相邻像素之间的相关性进行预测，帧间预测主要是利用图 像序列之间的相关性，其中帧间预测的编码效率较高。 预测编解码的示意图如2 3 所示：这种预测编码被称为差分脉冲编码( d p c m ) 1 1 1 l 。 ( a ) 7 l 兰兰l 7 p ( n ) 广翮。 图2 3 预测编码 其中，x ( n ) 为当前像素的实际值，“n ) 为其预测值，d ( n ) 为差值或残差值。该 差值经量化后得到残差量化值q ( n ) 。预测值p ( n ) 经预测器得到，预测器输入为已 存储在预测器内前面的各像素和当前值，它们的加权和即为预测器输出。由于 q ( n ) 比x ( n ) t j 、得多，因此可以用更少的位表示，以达到压缩的目的。 3 变换编码 绝大多数图像都有一个共同的特征：图像中平坦区域和内容缓慢变化区域占 据大部分，而细节区域和内容突变区域只占小部分。也可以说，图像中直流和低 频区占大部分，高频区占小部分。因此空间域的图像变换到频域或变换域，会产 生一些变换系数，这些变换系数之间存在一定的相关性，并可对其进行压缩编码， 即变换编码l 翻。 变换编码中最常用的是正交变换，正交变换编码由三部分组成，即变换，编 码，逆变换。在变换阶段，系统将原图分成若干子块，对每个子块进行正交变换。 通过变换，可以降低或消除相邻象素之间或相邻扫描行之间的相关性。统计表明， 在变换域中，图像信号的绝大部分集中在低频部分，编码中如果省略那些能量很 小的高频成分，或者给那些高频成分分配较少的比特数，就可以大幅减少图像传 输或存储的数据量。常见的正交变换有k - l 变换( k a r h u n e n l o v e vt r a n s f o r m ) ， d f r 变换，w a l s h h a d a m a r d 变换及d c t 等。 4 量化 在变化编码之后产生的残差系数是连续的，需要对其进行量化。量化是采用 四舍五入的方法，将其可能的幅值数由无限多个变为有限个值，即从连续值变为 北京邮电大学硕士论文第二章基于h 2 6 4 a v c 的可伸缩视频编码技术 离散值。设变换后的残差矩阵x = ( x i j ) m x n ，量化参数矩阵q = ( q i j ) m n ，量化后 残差矩阵y = ( y i o m n ，则： y = ( y i j ) m n = 石x = 式( z - 1 ) 由于采取四舍五入的方法，输出信号不同于原模拟信号，产生了失真，即量 化噪声。 5 熵编码 数据压缩技术的理论基础就是信息论，由s h a n n o n 的编码定理【1 3 】可以得出： 一个具有率失真函数r ( d ) 的信源，若有平均失真d ，并具有两个任意小的正数e 与d ，则必定存在一种信源编译码方法使其信息比特率r r ( d ) + e ，而平均失真 d a t i n t r a - p a i u i j ( 其中i ，j 表示第i 个探测包数据流中的第j 个探测包) 时，链路出口 处包对间隔裂散为t a j ，则到达接收端时，t i n 廿a p a i u i i = t a j 。对每个探测流 中每对数据包的到达间隔做均值滤波，得到该探测流的包对间隔均值为： a v g ( a t i n t r a - p a i r ，i = 各1a t i n t r a - p a i l i ，j ) ，则第i 次探测包探测到的可用带宽的值为： a b i = l a v g ( a t i n t r a - p a i r i ) 。由于只有当探测包对发送速率r i 大于链路可用带宽 时，包对间隔才会裂散，故增大探测包对发送速率的过程就是发现相应具有可用 带宽链路的过程，n 次探测的结果可能发现路径中的多跳拥塞链路。对于n 次探 测的结果集合( ( r i ，a b i ) l i = 1 n ) ，使用r i a b i = o c + 1 3 r i ( o c ，d 为与路径容量和背 景流量值相关的常系数) 运用线性回归方法得到路径可用带宽。 t o p p 方法使用的是探测包间隔模型，仅仅使用很小的探测流量就可以完成 网络带宽测量任务，同时测量持续时间和测量负载都很小，因此对网络性能的影 响可以忽略。但是这种算法只能对单向路径的网络带宽进行测量，并且网络队列 规则只能采用f i f o 策略和队尾随机丢包的策略，对于其他策略则不成立。 2 6 北京邮电人学硕上论文 第三章网络带宽测量 3 3 2s l o p s 算法 s l o p s ( s e l fl o a d i n gp e r i o d i cs t r e a m s ) 算、法 3 s l 的基本原理是：基于探测包速率 模型，即一个周期性探测流包含k 个大小为l 的包，以一个固定的速率r 发送到网 络路径。通过对探测包单向时延( o w d ) 抖动的统计来发现o w d 的变化趋势，从 而估测出可用带宽。 假设一条网络路径从源端到目的端包含了1 1 条链路，各条链路的容量为 c i ，( i = 1 , 2 n ) 。从源端开始以发送速率r 发送一个包含k 个包的周期性探测流 到目的端。当包的大小为蚧字节时，探测包的发送周期为t = l r ，第k 个包的 单向延时为： d k = x n ，( 击+ 普) = ，皓+ d i 【) 式( 3 5 ) 其中q 是第k 个探测包到达链路i 前缓冲队列的大小，前后相邻的两个探测包 的单向延时的时问间隔为： a d k = d k + 1 一d k = 坠1 酗 式( 3 6 ) 如果探测流的发送速率r 比路径的可用带宽a b 高，缓冲区队