（信息与通信工程专业论文）基于h264的网络视频传输关键技术研究.pdf

南京邮电大学一 硕士学位论文摘要 学科、专业：工科信息与通信工程 研究方向：无线通信与信号处理 作者：李虎松 指导老师：吴蒙教授博导 题 目：基于h 2 6 4 的网络视频传输关键技术研究 英文题目：r e s e a r c ho nh 2 6 4 b a s e dn e t w o r kv i d e ot r a n s m i s s i o n 主题词：嵌入式l i n u x ；视频采集；h 2 6 4 编码；流媒体；f f m p e g k e y w o r d s ： e m b e d e d l i n u x ； v i d e o a c q u i s i t i o n ；h 2 6 4 一e n c o d i n g ； s t r e a m i n g m e d i a ；f f m p e g r 南京邮电大学硕士研究生学位论文 摘要 摘要 近年来，随着多媒体技术以及网络通信技术的飞速发展，高质量的视频业务已经成为 了数字通信网络中主要的拓展业务之一。同时，嵌入式微处理技术也在不断的发展，具备 了较强的视频处理能力，这使得嵌入式与多媒体通信互相融合成为发展的趋势。嵌入式视 频传输系统能够充分利用微电子、多媒体处理和网络通信的科技成果，实现体积小、性能 佳、使用便利的视频应用产品。 本文分析了实现网络视频传输方案需要解决的两个主要问题：合适的视频编解码技术 和合适的网络传输技术。由于现有通信网络的带宽有限，因此需要更好的视频压缩编码技 术来处理视频数据，以在保证视频质量的前提下尽量减小数据量，目前新一代的视频压缩 编解码标准是h 2 6 4 a v c 。而网络传输方面，流媒体是目前相当热门的视频传输技术，是 网络技术和视音频技术的有机结合。 本文以$ 3 c 6 4 1 0 为核心硬件平台开发了一种基于h 2 6 4 的网络视频传输系统：首先搭 建了系统的硬软件开发平台，设计了相关的接口电路，实现了u b o o t 、内核和文件系统的 移植，并讨论了u s b 接口摄像头驱动的实现；然后在开发平台上实现了三个功能模块：基 于v i d e 0 4 l i n u xa p i 的视频采集模块、基于h - 2 6 4 的视频编码模块和基于j r t p l i b 库的流 媒体传输的模块：最后利用f f m p e g 组件搭建了一种实时网络视频传输方案，对实际嵌入 式视频通信系统的进一步设计开发具有一定的借鉴意义。 关键字：嵌入式l i n u x ；视频采集：h 2 6 4 编码；流媒体；f f m p e g 型! 皇奎兰堡主婴塞竺堂垡堡奎 a b 。，。 垒竺! ! 竺! a b s t r a c t i nr e c e n t y e a r s ， w i t ht h e d e v e l o p m e n to fm u l t i m e d i aa n dn e t w o r kc o m m u n i c a t i o n s t e c h n o l o g y ，h i g h 。q u a l i t yv i d e ot r a n s m i s s i o nh a sb e c o m eo n eo ft h em a i ne x p a n d e ds e i c e si n d 1 9 1 t a lc o m m u n i c a t i o nn e t w o r k s a tt h es a m et i m e ，t h ec o n t i n u o u sd e v e l o p m e n to fe m b e d d e d e l e c t r o n i ct e c h n o l o g ya l r e a d yh a st h ev i d e o p r o c e s s i n gc a p a b il i t y ，w h i c hm a k e st h ei n t e g r a t i o no f e m b e d d e da n dm u l t i m e d i ac o m m u n i c a t i o n t e c h n o l o g yb e c o m ead e v e l o p i n gt r e n d t h e e m b e d d e dv i d e ot r a n s m i s s i o ns y s t e mm a k e sf u l lu s eo f m i c r o e l e c t r o n i c ，m u l t i m e d i aa n dn e t w o r k t e c h n o l 0 9 1 c 引a c h i e v e m e n t s ，a n dh a ss m a l ls i z e ，e x c e l l e n tp e r f o r m a n c ea n dc o n v e n i e n tf e a t u r e s t h i st h e s i sa n a l y s e st w op r o b l e m sw h i c hn e e dt ob e r e s o l v e d ：t h ef i r s to n ei st of i n da s u i t a b l ev i d e oc o d i n gt e c h n o l o g y ，a n dt h es e c o n di st os e l e c ta a p p r o p r i a t en e t w o r kt r a n s m i s s i o n m e t h o d a st h eb a n d w i d t ho fe x i s t i n gc o m m u n i c a t i o n sn e t w o r k i sl i m i t e d ，w en e e d b e 讹rv i d e o c o d l n gt e c h n o l o g yt or e d u c et h ea m o u n to fd a t aw h i l ee n s u r i n gv i d e o q u a l i t y ，t h en e wg e n e r a t i o n s t a n d a r do fv i d e oc o d i n gi sh 2 6 4 a v c a n dt h es t r e a m i n gm e d i a t e c h n o l o g yi sav e r yp o p u l a r ， w h i c hi st h ec o m b i n a t i o no fn e t w o r k t e c h n o l o g ya n dm e d i at e c h n 0 1 0 9 y i nt h i st h e s i s ，ah 2 6 4 b a s e dn e t w o r kv i d e ot r a n s m i s s i o ns y s t e mo nt h e $ 3 c 6 410h a r d w a r e p l a t f o r mh a sb e e ns u c c e s s f u l l y d e v e l o p e d ：f i r s t l y ，t h es y s t e m sh a r d w a r ea n ds o r w a r e d e v e l o p m e n tp l a t f o r mh a sb e e nb u i l d e d ，w h i c hi n c lu d et h ed e s i g no fr e l a t e di n t e r f a c ec i r c u i t s a n dt h et r a n s p l a n t a t i o n so fu - b o o t ，k e r n e la n df i l e s y s t e m ，a n da n a l y s i st h ed r i v e ro fu s b i n t e r f a c ec a m e r a t h e n ，v i d e o a c q u i s i t i o nm o d u l eb yu s i n gv i d e 0 4 l i n u xa p i ，v i d e oc o d i n g m o d u l eb a s e do nh 2 6 4a n ds t r e a m i n gm e d i am o d u l eb a s e do nj r t p l i b h a v eb e e nr e a l i z e d f 1 n a l l y ，ar e a l - t i m en e t w o r kv i d e ot r a n s m i s s i o ns y s t e mi sb u i l d e db yu s i n gf f m p e g c o m p o n e n t s ， w h i c hp r o v i d e sr e f e r e n c e s i g n i f i c a n c ea n dp r a c t i c a lv a l u ef o r t h ea c t u a le m b e d e dv i d e o c o m m u n i c a t i o ns y s t e m sd e s i g na n d d e v e l o p m e n t k e y w o r d s ：e m b e d e d l i n u x ；v i d e o a c q u i s i t i o n ；h 2 6 4 e n c o d i n g ；s t r e a m i n g m e d i a ； f f m p e g i i 南京邮电大学硕士研究生学位论文 目录 目录 摘要i a b s t r a c t i i 目录j i i i 第一章绪论1 1 1 研究的背景与意义1 1 2 网络视频传输技术的发展概况1 1 2 1 视频编解码技术l 1 2 2 视频传输技术4 1 2 3 视频处理与嵌入式技术相结合5 1 3 本文研究内容和章节安排6 第二章网络视频传输中的关键技术7 2 1 视频编解码技术一7 2 1 1h 2 6 4 a v c 标准的特点和技术优势8 2 1 2h 2 6 4 a v c 标准的框架9 2 1 3h 2 6 4 a v c 标准的核心技术1 1 2 2 流媒体传输技术15 2 2 1 实时传输协议r t p 1 5 2 2 2 传输控制协议r t c p 17 2 2 3 视频流式传输的实现方式j 1 9 2 3 本章小结2 0 第三章嵌入式视频传输系统开发平台2 l 3 1 嵌入式视频传输系统结构2 1 3 2 系统硬件模块设计2 1 3 2 1 基于$ 3 c 6 4 1 0 的核心板一：2 1 3 2 2 以太网口模块设计2 2 3 2 3r s 2 3 2 接口模块设计2 3 1 1 1 南京邮电大学硕士研究生学位论文目录 3 2 4u s b 接口模块扩展2 3 3 3 系统软件开发环境配置2 4 3 3 1 嵌入式交叉编译环境的建立2 4 3 3 2 系统引导b o o t l o a d e r 移植2 6 3 3 3b u s y b o x 移植2 6 3 3 4 内核及文件系统移植2 7 3 3 5u s b 摄像头驱动的移植2 9 3 4 本章小结31 第四章视频采集、编码及传输模块的设计3 2 4 1 视频采集模块设计3 2 4 1 1 关于v i d e 0 4 l i n u x 3 2 4 1 2 实时视频采集模块的实现3 6 4 1 3 采集结果及分析4 0 4 2h 2 6 4 视频编码的实现4 0 4 2 1 编码方案的选择一4 1 4 2 2x 2 6 4 编码选项分析一4 2 4 2 3x 2 6 4 编码模块移植4 3 4 2 4x 2 6 4 编码性能测试：4 4 4 3 流媒体传输模块设计4 6 4 3 1 初始化4 6 4 3 2 数据发送4 7 4 3 3 数据接收4 8 4 3 4 控制信息4 9 4 4 本章小结4 9 第五章基于f f m p e g 的网络视频传输系统构建5 0 5 1 基于f f m p e g 的网络视频传输系统架构5 0 5 2 网络视频传输系统设计与搭建51 5 2 1 移植f f m p e g 组件5 1 5 2 2 视频流传输系统搭建5 3 5 3 系统测试及结果分析5 5 r v 南京邮电大学硕士研究生学位论文目录 5 4 本苹小结5 6 第六章总结与展望5 7 6 1 论文总结5 7 6 2 工作展望5 8 致谢5 9 参考文献6 0 作者攻读硕士学位期间发表的论文6 3 v 南京邮电大学硕士研究生学位论文 第一章绪论 第一章绪论 当今社会，信息数字化飞速发展。多媒体技术、网络传输技术及嵌入式技术都己经渗 入到我们生产、生活的很多方面。随着多媒体数据编解码技术、网络通信技术以及微处理 器技术的不断升级，如何利用便携式设备实现可视电话、视频会议、视频监控等应用，成 为了学术界以及工业界的热点研究方向。 1 1 研究的背景与意义 视觉是人类获取外界信息的主要来源。据科学统计，人类从外界获取的信息有7 5 来 自于视觉。随着通信技术和多媒体技术的发展，人们对信息传输的要求已经不再局限于 语音和简单数据，视频通信已逐步成为数字通信网络的主要业务之一。 想要使得视频数据能够顺利地在复杂的通信网络中传输，首先需要解决的是视频信号 的采集问题，然后主要需要解决两个方面的问题：一是找到合适的视频编解码技术；二是 选用合适的视频数据传输技术。 对于视频原始信号的采集，目前的技术已经相对比较成熟。通过c m o s c c d 传感器 获取原始图像信息，然后通过专门的处理芯片进行视频信号的数字化，可以完成视频采集 任务。视频传输中最重要的两个方面应该是视频的编解码技术和传输技术：编解码技术将 采集到的视频信息进行适当压缩及处理，使之能够适合复杂的网络传输要求；通信网络环 境和传输的方式有多种多样，且各具要求，我们就需要针对不同的传输环境和要求，选择 合适的视频数据传输技术，以满足要求。 1 2 网络视频传输技术的发展概况 1 2 1 视频编解码技术 从信息论的角度来看，数据压缩的本质就是去除数据之间的冗余信息而不影响数据重 建或还原的内容。实际中大多数类型的数据都带有统计冗余并且能够非常有效地进行无损 压缩编码，在解码端得到的无损的解压数据。但是对于图像和视频来说，无损压缩并不能 够带来理想的压缩率。当前最好的无损压缩标准也只能提供3 0 4 倍的压缩率。相反，有 损压缩却能带来比较理想的压缩率。在有损压缩系统中，解压后的数据与原始输入数据近 似，即以一定程度的视觉质量损失来获取较高的压缩率【2 】。 1 雨京邮电大学硕士研究生学位论文第一苹绪论 视频编码的目的是实现对视频流的压缩，其核心思想是去相关。通过减少视频序y o i 日- j 的相关性，降低视频内容中的冗余，从而实现对视频信号的压缩。视频压缩不仅要去除视 频空间域的冗余和统计上冗余，更重要的是减少时域上的冗余。 随着数字视频编解码技术的发展，为了保证不同厂家视频编解码产品之间的互操作 性，国际组织在视频编解码标准化问题上开展了大量的工作。其中贡献最突出、影响力最 大的主要有两大系列：i t u t 制定的h 2 6 x 系列视频编码标准和i s o i e c 制定的m p e g 系列标准。其中，i t u t 针对视频通信领域的一些应用如可视电话，视频会议等，分别制 定了h 2 6 1 、h 2 6 2 、h 2 6 3 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + ；i s o i e c 主要针对视频存储领域 如v c d d v d 等相继制定了m p e g 1 、m p e g 一2 、m p e g 4 。尽管应用领域不同，但基本上 都采用的是基于块的混合视频编码技术。两大国际标准组织在发展各自的视频压缩标准的 同时也注重合作，联合推出的m p e g 2 h 2 6 2 是目前应用得最广泛的国际视频压缩标准。 在h 2 6 4 的制订过程中，i s 0 i e c 和i t u t 再次联手推出了h 2 6 4 a v c ，并将其作为m p e g 一4 的第1 0 部分p 】。图1 1 描述了上述视频压缩标准的发展历程。 辫托； 搿勰叠骛复：爨溪：臻 粼 h 2 6 1 二2 ，6 3 、 h 2 6 3 + 皇h ：簪寸气 罗 壤溺罗 豁一r。-tt ， j 妒 叛、笨+ i；：一：，：。：0 ： j 一：? 0 ：i ，。 圜二 圈二墅一：里 1 9 1 1 41 9 8 61 9 8 81 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 0 02 0 0 2 图1 1 视频压缩标准的发展历程 ( 1 ) m p e g x 系列标准 m p e g x 系列标准主要包括m p e g 1 、m p e g 2 和m p e g 4 ( p 北) 。m p e g 1 标准制 定的目标码率是1 2 m b p s ，编解码的图像大小为c i f ( 3 5 2 x 2 8 8 ) ，主要是针对v c d 视频制 作、存储和播放所制定的。在预测和变换方面，m p e g 1 采用的是帧间预测和二维d c t 变换。量化后的d c t 系数进行变长编码，同时变换系数的d c 分量采用预测差分编码。在 2 南京邮电大学硕士研究生学位论文 第一章绪论 图像预测类型方面，m p e g 一1 支持帧内预测、前向帧间预测、双向帧间预测和直接预测。 m p e g 2 是目前在应用上最为广泛和成功的标准，它主要针对数字视频广播d v b 、高 清晰度电视h d t v 和数字视频光盘d v d 等应用而制定的，其视频编码部分在本质上就是 h 2 6 2 。m p e g 2 标准制定了不同的档次( p r o f i l e ) 和级别( l e v e l ) ，档次和级别的组合可 以定义一个编解码器所支持的具体特性。这样不仅有利于同一标准下不同产品之间的相互 操作而且有助于m p e g 2 的推广和应用。 m p e g 4 标准能够同时支持低码率的流媒体和高码率的广播级应用。与其他标准相比， m p e g 4 最大的不同是在编码时引入了视频对象v o ( v i d e oo b j e c t ) 的概念，这种基于对 象的编码方法可以进一步提高视频通信的交互能力和编码效率。同时，m p e g 4 还采用了 诸如形状编码和自适应技术来支持任意形状视频对象的编码。 ( 2 ) h 2 6 x 系列标准 该系列标准中，h 2 6 1 是最早出现的视频编码标准。它是c c i t t 针对可视电话、视频 会议和窄带i s d n 等要求，结合实时编解码和低延时应用推出的一个视频编码标准。它的 输出码率为p x 6 4 k b p s ，其中p 为o 一3 l 的整数。当p 6 时，可传输清晰度较高的图像，主要应用于视频会议。 h 2 6 1 定义了一个完整的视频编码算法，采用了帧内图像编码、帧间误差预测、运动补偿、 d c t 、变长编码等技术，建立了基于块的混合编码框架，为后来的视频压缩标准提供了基 础。 i s o i e c 和i t u t 联合推出m p e g 2 之后，又推出了h 2 6 3 视频编码标准。h 2 6 3 是 针对低码率视频通信推出的视频编码标准，目的是支持码率低于6 4 k b p s 的应用。在h 2 6 1 的基础上，进行了一些重要的改进，如采用了半像素精度的运动估计，增加了非限制运动 向量，提出了基于语法的算术编码、先进预测模式及p 、b 帧编码等多个高级选项，从而 进一步降低了编码码率并提高了编码图像质量。h 2 6 3 + 和h 2 6 3 + + 进一步扩充了编码选 项，提高了编码效率，扩大了应用范围。除了能支持更多的图像格式外，还增强了抗误码 的差错掩盖功能。 h 2 6 4 a v c ，是i t u t 和i s o i e c 合作成立的联合视频组j v t ( j o i n tv i d e ot e a m ) 共同 制定的最新国际视频编码标准。融入了近些年来在基于块的混合视频编码技术方面的最新 成果，在相同的编码图像质量下，该标准相对于以往的标准可节省5 0 以上的码率。关于 编码标准的一些具体内容将在本论文第二章中进行介绍。 南京邮电大学硕士研究生学位论文 第一章绪论 1 2 2 视频传输技术 随着多媒体视频处理技术和网络传输技术的高速发展，经过处理的视频数据可以适应 各种档次网络的传输环境，满足了人们多种多样的获取多媒体信息的需求。当今网络视频 传输主要应用场景可以分为三个方面【4 】： 1 视频电话 这类应用具有严格的时延限制，预期的目标是小于l o o m s ，一般端到端的时延控制在 1 s 以内。要实现令人满意的通话效果，主要是从两个方面来考虑：首先，为了保证视频的 实时传输，在保证视频质量的前提下，必须要限制编码器的最大计算复杂度，以保证视频 编码的速度。其次，随时地根据实际的网络状况，采用不同的容错工具，以及采用基于反 馈的编码机制，及时地反馈网络的现状，对编码器复杂度做出调整，以更好地协调好视频 编码质量和传输时延的平衡。 2 视频的下载应用 此类应用属于非实时的，利用可靠的网络协议，例如f t p 或者h t t p 等，把编码后的 视频数据下载到本地，然后再本地使用解码器播放。无需考虑网络的时延以及容错特性等， 而主要考虑压缩编码质量，以保证最佳的视频效果。 3 流媒体应用 流媒体技术发端于美国，又称流式媒体，是一种新的媒体传送方式。流媒体将视频 文件经过特殊的方式分成一个个数据包，由视频服务器向用户计算机连续、实时传送。用 户不必像采用下载方式那样等到整个文件全部下载完毕，而是只需经过几秒或几十秒的启 动延时即可在用户的计算机上利用解压设备对压缩的视频文件解压后进行播放。这种对多 媒体文件边下载边播放的流式传输方式不仅使启动延时大幅度地缩短，而且对系统缓存容 量的需求也大大降低。 如何提高通信网络上多媒体信息传输质量的研究面临着许多挑战，主要需要解决以下 几个问题【5 】： 1 带宽：为了获得用户可接收的视频质量，网络视频流式传输需要一定的带宽。但 目前的通信网络并不给此类应用提供预留的带宽，而且传统的路由器并不积极参与网络拥 塞控制，过高的通信量可能会导致拥塞，使得实时传输难以进行。 2 丢包：丢包会使得接收的视频质量出现下降，实时多媒体的传输可以允许一定的 丢包率，但必须进行适当的控制。i n t e m e t 不对丢包率提供保证，当网络拥塞时会造成丢包 率的上升，这样会难以保证实时视频流式传输的质量。 4 南京邮电大学硕士研究生学位论文第一章绪论 3 时延：普通的数据传输没有严格的延时限制，但实时传输对端到端的延时是有严 格限制的。为了保证视频的连续播放，每个数据包必须及时到达服务请求端，供解码并播 放，如果数据包在限制时间之后才到达，那么就被认为是无用包，将被丢弃。i n t e r n e t 不提 供延时保证，其上的网络拥塞、数据包传输的路径不同，都会造成延时，不能满足实时传 输的需要。 想要使得网络视频传输的质量达到令人满意的效果，我们必须要很好地解决好上述的 几个问题，优化通信网络环境以及加强研究合适的通信协议。当然，高效的视频编码技术 可以在保证质量的前提下大幅度地减少视频的数据量，有效地降低对网络传输带宽的需 求；而良好的网络传输环境可以容许质量较高的视频数据传输。所以对编码技术和传输技 术的研究是密不可分的。 1 2 3 视频处理与嵌入式技术相结合 嵌入式系统是以应用为中心，以计算机技术为基础，并且软硬件可裁剪，适用于应用 系统对功能、可靠性、成本、体积、功耗有严格要求的专用计算机系统。嵌入式系统的核 心是各种类型的嵌入式微处理器，嵌入式微处理器一般具备以下特点：( 1 ) 对实时任务有 很强的支持能力，能完成多任务并且有较短的中断响应时间：( 2 ) 同时具有功能性很强的 存储区保护功能。( 3 ) 具有可扩展的处理器结构，以便能最迅速地开发出满足应用的最高 性能嵌入式微处理器；( 4 ) 具有很低的功耗，尤其是用于便携式的移动通信设备且靠电池 供电的嵌入式系统更是如此，如需要功耗可达只有m w 甚至“w 级。 嵌入式技术的发展大致经历了四个阶段【6 】：第一阶段是以单芯片为核心的可编程控制 器系统；第二阶段是以嵌入式c p u 为基础、以简单操作系统为核心的嵌入式系统：第三阶 段是以嵌入式操作系统为标志的嵌入式系统：第四阶段是以i n t e r n e t 为标志的嵌入式系统。 随着嵌入式技术的最新发展，目前的嵌入式视频编码器或者微处理器性能已经得到极 大的提高，具备了视频编码处理、网络通信、自动控制等强大功能，嵌入式系统己经具备 了进行视频处理的能力。 在基于嵌入式技术的视频传输系统中，前端采用c m o s c c d 数字摄像头，通过嵌入 式系统的视频采集编码模块，将视频经过数字化、压缩、打包等处理过程变成基于网络协 议的视频流，然后通过有线或者无线网络传输技术进行传输，发送到视频接受客户端。客 户端可利用软件进行解码，在p c 机或手持设备进行显示和处理，并且可以利用存储设备 根据需要进行录像。任何经过授权的用户都接入网络，可根据权限进行视频的接受与处理。 南京邮电大学硕士研究生学位论文第一章绪 相对于传统的视频处理系统，嵌入式视频处理系统无疑是具有很多优点的。系统具 稳定可靠、安装简便、成本低廉等特点，且便于应用移植以及系统应用升级，可扩展应 在工业控制、远程监控系统等诸多领域，具有广阔的市场和应用前景。 1 3 本文研究内容和章节安排 本文首先从理论上分析介绍了视频传输中两项关键技术：h 2 6 4 a c v 视频编解码标 和利用r t p r t c p 协议进行流媒体传输：然后采用基于$ 3 c 6 4 1 0 处理器的开发板，建立 嵌入式l i n u x 应用软件开发平台：接着对视频采集、视频压缩编码、网络传输等视频通 系统中的主要功能模块进行了研究，并分别实现；最后，利用f f m p e g 组件搭建了一种 时网络视频传输系统。 本文主要由以下几个部分组成： 第一章是绪论，介绍了网络视频传输关键技术的研究概况，分析了视频处理与嵌入式 技术想结合的研究意义和本文的组织结构： 第二章详细介绍了网络视频传输的两项重要技术的理论基础：视频编解码技术 h 2 6 4 a v c 和流媒体传输技术； 第三章介绍了本课题的软硬件开发平台，搭建嵌入式l i n u x 开发环境，设计了相关的 周边接口电路，移植了内核及文件系统，并实现了u s b 摄像头的驱动； 第四章重点研究了三个功能模块：首先实现了基于v i d e 0 4 l i n u xa p i 的视频采集模块， 然后实现h 2 6 4 开源编解码器x 2 6 4 在嵌入式l i n u x 平台上的移植，最后研究了如何利用 j r t p l i b 来实现数据流媒体传输； 第五章搭建了一个完整的嵌入式网络视频传输系统，开源软件f f m p e g 利用 v i d e 0 4 l i n u xa p i 实现视频采集，并调用x 2 6 4 的编码库来实现视频的编码，然后把数据以 流媒体的方式发布到网络当中，最后对该系统进行了性能分析； 第六章对全文的工作进行了总结，并对进一步的研究开发提出了一些建议和展望。 6 南京邮电大学硕士研究生学位论文第二章网络视频传输中的关键技术 第二章网络视频传输中的关键技术 网络中视频传输的关键技术主要包括两个方面：视频的编解码技术和传输技术。本章 将分别对这两个方面的技术进行理论上的分析，视频编解码技术部分着重介绍h 2 6 4 a v c 视频编解码标准，视频传输部分主要介绍利用r t p r t c p 协议进行网络流媒体传输。 2 1 视频编解码技术 随着网络和多媒体技术的不断发展，越来越多的数字视频业务不断涌现，其覆盖领域 已触及到通信、多媒体、广播电视和计算机等各个角落，其应用范围也渗透到从高端到低 端各种各样的视频通信应用，例如视频会议、数字存储媒体、可视电话、数字电视广播、 网络流媒体等。 由于视频数据或是存储于d v d 、硬盘等存储器件中，或是在通信网络上传输，数字视 频的数据量大小成为多媒体应用中一个非常重要的问题。原始模拟视频信号需要很大的带 宽，如果视频信号以未经压缩就直接传输，那么不论在何种网络平台上，视频应用都会使 通信网络的带宽资源紧张。例如，对于3 5 2 8 8 分辨率的c i f 格式的视频图像，每个亮度 或色度分量取8 b i t 的精度，每个色度分量以亮度分量一半的分辨率时，每帧图像需要1 5 2 k b 的存储单元来表示数字信息量，以2 5 帧每秒的帧率传输，则原始的视频数据几乎可以达 到3 0 m b p s 。因此，为了有效地利用现有网络，节约带宽，数字视频数据在传输前必须经 过压缩编码，以优化多媒体业务所需的带宽。 由于应用领域的差别，不同的视频应用场景对编码器有着不同的要求【7 j ，但是共同的 基本要求是：算法复杂度要尽可能小、算法处理的时间尽可能短、性价比尽可能高，这些 要求具体可以分为： 1 为了获得可以接受的视觉质量，视频编码器的编码质量要求要尽可能的好； 2 对实时视频流通信，必须提供有界的端到端时延，以便视频分组可以及时到达解 码器解码和显示； 3 对于i n t e m e t 带宽动态变化和蜂窝移动通信信道特性随机变化的通信网络，分组丢 失不可避免，视频编码器应当能够处理分组的丢失： 4 有些装置要求较低的能量消耗，如蜂窝移动电话，这些装置上的解码器应当简单： 5 有些应用要求提供v c r 一样的功能，如暂停、快退等。 南京邮电大学硕士研究生学位论文第二章网络视频传输中的关键技术 2 1 1h 2 6 4 a v c 标准的特点和技术优势 现有的视频压缩编码标准由于存在种种局限和不足，均难以满足无线移动网络和i p 网络对视频传输提出的更高要求。为了克服现有视频压缩算法的局限和不足，以适应更广 的传输信道，提供更高的视频质量、更大的灵活性和更多的功能，有必要制定新的视频压 缩编码标准。h 2 6 4 就是满足这种要求的由i t u t 和i s o i e c 两大国际标准组织联合制定 的视频新标准。 2 0 0 3 年，i t u t 和i s o i e c 组成的j v t 组织发布了新的视频压缩标准一h 2 6 4 ( 即m p e g 一4 的第十部分) ，该标准融合了h 2 6 3 和m p e g - 4 的优点，不仅比h 2 6 3 和m p e g 一4 节约了5 0 的码率( 在相同质量的情况下) ，而且引入了面向i p 包的编码机制，有利于网络中的分组 传输，支持网络中视频的流媒体传输。h 2 6 4 具有较强的抗误码特性，可适应丢包率高、 干扰严重的无线信道中的视频传输。h 2 6 4 支持不同网络资源下的分级编码传输，从而获 得平稳的图像质量。h 2 6 4 能适应于不同网络中的视频传输，网络亲和性好。在语法上， 采用分层结构，提供了网络抽象层( n a l ) ，来适应不同的网络环境。h 2 6 4 既保留了以往压 缩技术的精华，又具有其他压缩技术无法比拟的许多特点【8 】。 1 编码方式：h 2 6 4 和h 2 6 1 、h 2 6 3 一样，也是采用d c t 变换编码加d p c m 的差 分编码( 即混合编码结构) 。同时，h 2 6 4 在混合编码的框架下引入了新的编码方式，提高 了编码效率，更贴近实际应用： 2 低码流：和m p e g 2 和m p e g 4a s p 等压缩技术相比，在同等图像质量下，采用 h 2 6 4 技术压缩后的数据量只有m p e g 2 的1 8 ，m p e g 一4 的1 3 。显然，h 2 6 4 压缩技术的 采用将大大节省用户的下载时间和数据流量收费： 3 高质量的视频画面：h 2 6 4 能够在所有的码率( 包括低码率) 条件下提供高质量的 视频图像； 4 容错能力强：h 2 6 4 提供了解决在不稳定网络环境下容易发生的丢包等错误的必要 工具： 5 网络适应性强：h 2 6 4 提供了网络适应层( n e t w o r ka d a p t a t i o nl a y e r ) ，使得h 2 6 4 的 文件能容易地在不同网络上传输： 6 简洁：h 2 6 4 没有繁琐的选项，而是力求简洁的“回归基本”，它具有比h 2 6 3 + + 更好的压缩性能，又具有使用多种信道的能力： 7 应用广泛：h 2 6 4 的应用目标广泛，可满足各种不同速率、不同场合的视频应用， 具有较好的抗误码和抗丢包的处理能力； r 南京邮电大学硕士研究生学位论文第二章网络视频传输中的关键技术 8 版权开放：h 2 6 4 的基本系统无需使用版权，具有开放的性质，能很好的适应i p 和无线网络的使用。 h 2 6 4 标准的主要目标是：与其它现有的视频编码标准相比，在相同的带宽下提供更 加优秀的图象质量。h 2 6 4 与以前的国际标准如h 2 6 3 和m p e g 4 相比，最大的优势体现 在以下四个方面： 1 将每个视频帧分离成由像素组成的块，因此视频帧的编码处理的过程可以达到块 的级别； 2 采用空间冗余的方法，对视频帧的一些原始块进行空间预测、转换、优化和熵编 码( 可变长编码) ； 3 对连续帧的不同块采用临时存放的方法，这样，只需对连续帧中有改变的部分进 行编码。该算法采用运动预测和运动补偿来完成。对某些特定的块，在一个或多个已经进 行了编码的帧执行搜索来决定块的运动向量，并由此在后面的编码和解码中预测主块： 4 采用剩余空间冗余技术，对视频帧里的残留块进行编码。例如：对于源块和相应 预测块的不同，再次采用转换、优化和熵编码。 2 1 2h 2 6 4 a v c 标准的框架 较高的视频压缩比和良好的网络亲和性是制订h 2 6 4 的主要目标。只有将网络适应性 与视频编码紧密结合起来，才可能获得最佳的传输性能。 - - q 视频编码层v c l 编 码已编码宏块 控 ， 制 j 数据分割 分割后的数据条带， 分区 网络提取层n a l h 3 2 0m p 4 f fh 3 2 3 ，i pm p e g 一2e t c 图2 1h 2 6 4 编码器分层结构图 如图2 1f i f i 示 9 , 1 1 】，可以把h 2 6 4 的功能分为两层：视频编码层( v c l ，v i d e oc o d i n g 堕室塑皇奎堂堡主婴壅竺兰垡笙茎笙三皇堕竺丝堡堡塑竺叁墼垫查 l a y e r ) ，负责高效的视频内容表示：网络提取层州a l ，n e t w o r k a b s t r a c t i o nl a y e r ) ，负责以 网络所要求的恰当的方式对数据进行打包和传送。在v c l 中进行编码，然后将编码产生 的数据封装成n a l 单元，再进行传输或存储。 h 2 6 4 的视频编码层v c l 同以往的视频编码标准相同，h 2 6 4 a v c 依然采用基于块的混合编码框架【0 】，如图 2 2 所示。输入的帧或者场以宏块为单位被编码器处理。帧内预测用来消除视频序列中的 空间冗余信息，运动估计( m e ，m o t i o ne s t i m a t i o n ) 和运动补偿( m c ，m o t i o nc o m p r e s s i o n ) 用来消除视频序列中的时间冗余信息；预测后的数据经过频域变换消除频域冗余。变换使 残差系数能量相对集中，再进行量化，最后再用熵编码进行二进制算术编码，最大限度的 消除量化后数据的符号冗余度。 图2 2h 2 6 4 a v c 的编码框架 h 2 6 4 编码器包括两个数据流通路，一个是产生编码流的前向通路，另一个是形成参 考帧的后向通路( 重构的通路) 。 ( 1 ) 前向通路： 以宏块为单位来处理输入的编码帧f n ，并以帧内或帧间方式对每个宏块进行编码。当 帧间编码时，通过e 一。来预测，经过运动估计、运动补偿得到预测值p ；当帧内编码时， 通过u e 来预测，经过帧内预测过程得到预测值p ，p 与当前帧形成预测残差d 。，将d 。进 行变换、量化、熵编码处理，形成的系数码流经过n a l 层形成最终编码流。 ( 2 ) 后向通路： 为了进行帧预测编码，编码器需要对每个宏块进行重构以得到可作为下一步码预测时 的参考帧，主要过程是：对量化后的系数x 进行反量化q d 与反变换t d 与产生一个差分块 l o 南京邮电大学硕士研究生学位论文第二章网络视频传输中的关键技术 d ：i ，d ：l 与p 相加得到重建块，这样得到未经滤波的重建帧u k ，经过去块效应滤波器得到 重建帧e 。 h 2 6 4 的网络提取层n a l 网络提取层用网络的分段格式来封装数据，包括组帧、逻辑信道的信令或发序列结束 信号等。n a l 以n a l u ( n a lu n i t ) 为单元来支持编码数据在基于分组交换技术网络中的传 输，这有利于数据经打包后在网络中传输。对于面向比特流和面向数据包的传输，n a l u 采用统一的数据格式，每个n a l u 包含单个字节的包头和多个字节的数据，包头信息包含 存储标志和类型标志。存储标志用于指示当前数据是否属于被参考的帧，从而便于服务器 根据网络的拥塞情况进行丢弃；类型标志用于指示图像数据的类型。例如，n a l 支持视频 在电路交换信道上的传输格式，支持视频在i n t e m e t 上利用r t p i p 传输的格式。n a l 的任 务是提供适当的映射方法将头部信息和数据映射到