（模式识别与智能系统专业论文）嵌入式实时视频传输系统实现技术研究.pdf

摘要 摘要 视频含有海量信息这一特征使得它成为人们获取信息的一个重要来源。对视频 信息的利用将不可避免地需要考虑三个方面的问题：如何高质量地获取原始视频 信息? 怎样稳定可靠地对获取的视频信息进行传输? 如何理解这些被包含在原始 视频中的信息? 简言之：对视频信息的使用将是视频获取、视频传输和视频理解 这三个方面的结合。 视频传输是视频信息利用的中间环节，更是展开视频应用的核心环节。本文 对视频传输系统进行系统的对比研究，给出了一个针对应用的嵌入式实时视频传 输系统的组成框图，并结合所提出的原理框图对各个子模块( 视频采集模块、视 频编解码模块和传输控制、协议处理模块) 进行了详细描述。 在实时视频应用前提下，针对视频编码解码模块指出：对原始视频信息应进 行面向传输的视频信源编码，并且为了能够具有对信道传输特性的鲁棒性和最佳 的传输效果需要采用联合信源信道编码、解码技术；为了能够最大限度地应用已 经接收的视频数据流，在接收端需要采用错误隐藏和错误恢复技术。 在传输控制、协议处理模块，本文重点集中于网络拥塞控制算法的研究。结 合视频流媒体业务需要低传输延时和小的传输延时抖动，并且需要满足与传统数 据业务具有对网络资源的公平性的要求，提出了一个面向终端的基于r t t ( r o u n d t r i pt i m e ) 的自适应视频流拥塞控制方法n e w a v s p ( n e wa d a p t i v ev i d e os t r e a m p r o t o c 0 1 ) 。与已有的视频流拥塞控制算法相比：n e w a v s p 采用基于波形平滑指数 和波形突变指数的滑动窗口加权平均r t t 估计算法对r t t 值进行平滑估计；采用 基于网络可用带宽与终端发送速率的参数自适应方法，调整终端注入网络的业务 流量。仿真结果表明：n e w a v s p 较已有的针对流媒体应用的拥塞控制方法而言， 在网络传输带宽突变情况下具有更快的逼近速度；在传输带宽小幅度波动情况下 具有更为平滑的控制曲线。 关键词：视频通信，信源编码，联合信源信道编码，错误隐藏，拥塞控制， 网络往返时间，传输控制协 a b s t r a c t a b s t r a c t i ti sv e r yi m p o r t a n tt ou s ev i d e oa si t sh u g ei n f o r m a t i o n f o re f f i c i e n t l yu s i n gv i d e o i n f o r m a t i o n ，w eh a v et of a c et os e v e r a lp r o b l e m s h o w c a l lw e g e tt h eo r i g i n a lv i d e oi n h i g hv i s u a lq u a l i t y ? h o w t ot r a n s m i tt h ev i d e oi n f o r m a t i o ni ns t a b l ea n dr o b u s tw a ya n d h o wt ou n d e r s t a n dt h ev i d e oi n f o r m a t i o n ? i no t h e rw o r d s ，v i d e o c a p t u r i n g ，v i d e o c o m m u n i c a t i o na n dv i d e ou n d e r s t a n d i n gs h o u l db ei n t e g r a t e df o rv i d e oi n f o r m a t i o n u t i l i z a t i o n v i d e oc o m m u n i c a t i o ni sn o to n l yt h ei n t e rs t e pb u ta l s ot h em o r ei m p o r t a n ts t e pi n v i d e oi n f o r m a t i o na p p l i c a t i o n t h i sp a p e rp r o v i d e sas k e l e t o nf o re m b e d d e dr e a l t i m e v i d e ot r a n s m i s s i o n b a s e do nt h es k e l e t o n ，t h ev i d e oc a p t u r i n gm o d u l e ，v i d e oc o d i n g a n d d e c o d i n gm o d u l e ，c o m m u n i c a t i o nc o n t r o l l i n ga n dp r o t o c o lt r a n s a c t i n gm o d u l ea l s o i sd i s c u s s e di nd e t a i l f o re f f i c i e n t l yt r a n s m i tv i d e os t r e a m ，w ep o i n to u tt h a tt h e o r i g i n a l v i d e oi n f o r m a t i o ns h o u l db ee n c o d e df o rc o m m t m i c a t i o na n df u r t h e r m o r e s h o u l dm a k eu s eo fj o i n ts o u r c ea n dc h a n n e le n c o d i n ga n dd e c o d i n gt e c h n o l o g yf o r r o b u s tt r a n s m i s s i o na n d a p p l i c a t i o n w ea l s os h o w t h a ti nt h er e c e i v e re r r o rc o n c e a l m e n t a n de r r o rr e s i l i e n c es h o u l db ea d o p t e df o rm a x i m u m u s i n go f t h er i g h t l yr e c e i v e dv i d e o s t r e a md a t a t h ef o u n d a t i o nf u n c t i o no ft h ec o m m u n i c a t i o nc o n t r o l l i n ga n dp r o t o c o lt r a n s a c t i n g m o d u l ei sh o wt op r o v i d el e s st r a n s m i s s i o nd e l a ya n ds m o o t hd e l a yj i t t e ra n dh o wt o e n s u r et h ef a i m e s sb e t w e e nv i d e os t r e a ma n dt r a d i t i o n a ld a t as t r e a m t h i sp a p e ra l s o i n t r o d u c e san e w a d a p t i v ev i d e os t r e a mc o n g e s t i o nc o n t r o la l g o r i t h mf o re n d - t o e n d a p p l i c a t i o nr n e w a v s p ) w e d e f i n ew a v ef l a t n e s s p a r a m e t e r a n dw a v ev a r i a b l e m a r k e d n e s s p a r a m e t e r , a n d t h e n p r o v i d e am e t h o df o r r t t ( r o u n dt r i p t i m e l e s t i m a t i o nw h i c hu s i n gf l a t n e s s p a r a m e t e r a n dm a r k e d n e s sp a r a m e t e rb ym o v i n g w i n d o w a v e r a g ew a y ( f m m a ) c a l c u l a t i n g t h ea v a i l a b l eb a n d w i d t ha tt h ec u r r e n tt i m e b a s e do nr t ta n dp a c k e tl o s sr a t i o n t h e nw eg i v ea l la v a i l a b l eb a n d w i d t hb a s e d p a r a m e t e ra d a p t i v em o v i n ga v e r a g ea l g o r i t h m ( b p a m a ) f o rs e n d r a t e c o n t r 0 1 b y c o n t r a s tw i t ht h et r a d i t i o n a lc o n g e s t i o nc o n t r o lm e t h o d ，t h es i m u l a t i o nr e s u l t ss h o wt h a t t h ea l g o r i t h mw h i c hw e i m p r o v e dh a st h ef a s t e rc o n v e r g e sr a t eo n t h ec o n d i t i o no f s t e p v a r i e t y a n dt h es m o o t h a b i l i t yw h e n w a v e j i t t e r k e y w o r d s ：v i d e oc o m m u n i c a t i o n ，s o u r c ee n c o d i n g ，j o i n ts o u r c ea n dc h a n n e le n c o d i n g ，e r r o r c o n c e a l m e n t ，c o n g e s t i o nc o n t r o l ，r o u n dt r i pt i m e ，t r a n s m i s s i o nc o n t r o lp r o t o c o l ， 声明 创新性声明 y 6 9 5 3 63 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文 中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技 大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：趣查垂 关于论文使用授权的说明 日期y 占jf ，。 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在 校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业离校后， 发表论文或使用论文工作成果时署名单位仍然为两安电子科技大学。学校有权保留送 交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以 允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在解密后遵守此规定) 本人签名：塑盘查 导师签名：i 卫塾王之 导师签名：zk ：龟：i 么 日期：? 蔚1 o 第一章绪论 1 1 引言 第一章绪论 通信技术与计算机技术的发展，将人类社会带入到了一个以信息化为核心的崭 新纪元。信息社会的重要特征是人们对各种信息能够方便、灵活地获取以及在这 个基础上对各种信息的充分应用。而一个众所周知的实事是：图像本身包含了大 量的信息。因此在信息社会，如何对图像进行高质量获取、有效传输和理解将是 一个核心的研究领域。 图像的获取是由前端的视频采集部分来完成的，采集的视频可以分成模拟视频 和数字视频两种。图像的理解由终端的计算机程序自动或者在主体的参与下完成， 属于对图像的应用范畴。而很显然，视频的采集与对视频展开的应用常常不是在 同一个地方完成的，因此有一个通信过程：负责将前端采集的模拟或者数字视频 进行有效、可靠传输。特别地针对图像应用而进行的通信研究被称为图像通信。 通信按照所使用的链路性质可以分为有线通信和无线通信：按照通信的方式可 以分为单工通信、半双工通信和双工通信；按照对链路的使用方式可以分为基于 点到点的独立链路通信和基于通信网络的网络通信两个范畴。目前在图像通信研 究领域，主要集中在对有线网络通信技术和无线网络通信技术的研究上，它催生 的典型应用有高清数字电视、视频会议、移动视频服务等等。 计算机技术是通信技术发展的强大技术支撑，信息社会是这两大技术完美融合 的产物。计算机从最初的电子管计算机经过晶体管计算机、集成电路计算机、大 规模集成电路计算机发展到今天的超大规模集成电路计算机，并且朝着量子计算 机、d n a 计算机发展；计算机程序设计语言也由机器指令经过汇编语言、面向过程 的程序设计语言向今天的面向对象的编程语言发展，其正朝着更为高级的自然描 述语言发展。特别地在应用领域，计算机的硬件系统有朝着面向应用的片上系统 ( s o c ：s y s t e m0 nc h i p ) 发展的趋势：片上系统就是指将某类应用有关的常用外 设与计算机的c p u 集成在一个芯片上，做到系统与其它外设的无缝衔接。计算机 操作系统也有朝着面向应用的嵌入式操作系统发展的趋势：嵌入式操作系统是指 可以由用户根据应用的变化而自行裁减的操作系统。 图像通信与嵌入式硬件系统相结合，将能够给人们提供一个灵活的、便携的、 功能丰富的应用终端，能够开展丰富的图像应用服务，因此对基于嵌入式的传输 系统展开研究将是非常有意义的。本文的工作正基于此，对嵌入式视频传输系统 在实现上的若干关键问题展开深入研究，给出了系统的构成框图，并最终完成了 用户终端系统的搭建。 嵌入式实时视频传输系统实现技术研究 1 2 背景知识介绍 图像数据存在多种冗余特性：空问冗余、时间冗余、心理视觉冗余、 编码冗余等。大量的冗余将会消耗大量的通信资源，因此在图像进行传输 之前，常常需要对冗余的图像数据进行各种编码处理，降低通信资源的消 耗。多图像冗余信息的压缩即为图像编码：针对一种或多种冗余特性采用 相应的方法进行消除，在信息子空间里面保留独立分量，达到满意的数据 压缩目的。 1 9 4 8 年，s h a n n o n 在“通信的数学原理”一文中提出信息率失真函数 这一概念；在1 9 5 9 年进一步建立了码率失真理论；上述工作构成了 s h a n n o n 信息论。对图像压缩编码的研究则是以s h a n n o n 信息论基础，不 断克服其缺点的个发展过程。 “第一代”图像编码技术以s h a n n o n 信息论为基础，采用数字信号处 理技术，主要包括：预测编码、变换域编码和统计编码这三大经典编码方 法。它们在上个世纪8 0 年代已趋于完善，在去除客观和视觉冗余的能力 上达到了极限，能够在中等压缩比的情况下提高非常好的图像质量。但是 在低码率图像压缩时，它们往往无法提供较为满意的图像质量，其原因在 于这些编码方法没有考虑图像的结构特征和入眼的视觉系统特征。 “第二代”图像编码技术突破了原有信息论的框架的约束，充分利用 计算机图形学、计算机视觉、人工智能、模式识别等相关学科的研究成果， 如人的视觉生理、心理，图像信源的结构特征等等，实现了从“基于波形 的编码”到“基于模型的编码”的转变。它的主要编码方法有：基于分形 的编码、基于模型的编码、基于区域分割的编码和基于神经网络的编码等。 这一类的编码算法能够提供非常高的编码压缩比，但是它的算法实现比较 复杂，计算复杂度较高，其中的某些编码算法( 如基于模型的编码) 的实 用范围还受到一定的限制，需要新的数学方法的发展和其它相关学科的发 展才能够进一步的扩大它的实用性，所以这类编码算法还处于不断研究发 展的阶段【l 1 i l o 图像编码的国际标准主要分成三个系列，它们是：针对静止图像压 缩的j p e g 系列标准i l 】为有损压缩和无损压缩两种工作方式。j p e g 2 0 0 0 是 静止图像压缩领域内的最新国家标准，它基于三个核心技术构成：离散小 波的提升结构变换、e b c o t 算法和m q 算法编码器：针对视频数据 存储( 如v c d 和d v d ) ，广播电视和视频流的网络传输等应用的以 m e p g x 命名的一系列运动图像标准。其中m p e g 1 f 2 j 据传输率在1 5 m b p s 以下的数字存储介质图像及其伴音编码的国际标准，分为图像编码、声音 第一章绪论 编码和系统同步与复用3 个部分，主要适用于在各种数字存储介质 ( c d - r o m 、d a t 、w i n c h e s t e r 盘等) 上存储同步和彩色运动视频信号， 在1 2 m b p s 速率下的视频质量可与v h s ( 家用视频系统) 所记录的模拟视 频质量相媲美；m p e g 2 口】的m p e g 专家组与i t u - t 的第1 5 研究组在1 9 9 4 年共同制定，全称为“运动图像及其伴音的编码”，在i t u t 的建议中被 称为h 2 6 2 建议。m p e g 一2 的传输速率为3 m b p s 1 0 m b p s ，主要针对数字 电视和高清晰度电视( h d t v ) 所需要的视频及伴音信号，同时还兼顾了 与a t mc e l l 的传输适配问题；m p e g 4 1 4 0 的m p e g 工作组在1 9 9 9 年4 月制定，并在同年的1 2 月提出了最终草案。在m p e g - 4 中提出了音视频 对象( a u d i ov i d e oo b j e c t ，a v o ) 这一概念，在此基础上实现了多种新的 功能：如基于内容编码、错误掩盖、基于内容的可伸缩编码等等，特别适 用于i n t e m e t 和移动网络下的流媒体应用；：由i t u t 针对实时视频通 信应用( 视频会议、可视电话等等) 而制定的h 2 6 x 【5 ，6 ，7 】：在窄带综台业 务数据网( n i s d n ) 上提供双向声像业务( 视频会议、可视电话) ，全 称为“p 6 4 k b i s s 视听业务的视频编解码器”( p = 1 3 0 ，用来根据传输 线路的带宽调整传输图像的质量) ；h 2 6 3 d o l ：针对码率低于6 4 k b p s s 的 窄带电信信道视频传输应用的基本算法。它着眼于在p s t n 上提供视频通 信业务。同时兼顾在g s t n 上提供移动视频通信业务，作为视频编解码的 核心算法广泛应用于视频电话终端中，如h 3 2 4 ( p s t n ) 、h 3 2 0 ( b - i s d n ) ； h 2 6 4 a v c ：作为面向电视电话、电视会议的新一代编码算法，最初由i t u 组织的视频编码专家组v c e g 在1 9 9 8 年提出，目标是在同等图像质量的 前提下，新标准的压缩率是现有的任何视频编码标准的1 倍以上。在2 0 0 1 年，1 s o 的m p e g 组织加入到v c e g 中，组成了联合视频专家组( j o i n t v i d e ot e a m ，j v t ) 来共同完成标准的制定工作。该标准草案于2 0 0 3 年3 月正式获得通过，它基于传统的混合编码算法的基本结构l l ”，但在变换编 码、熵编码和运动估计等方面采用一系列的最耨研究成果，性能超过了所 有的以往视频编码标准。 将图像编码与通信传输相结合而展开的面向传输的编码研究是传统 图像编码的发展，也是图像通信的核心研究领域。面向传输的图像编码要 求图像数据本身具有较高的压缩比，并且需要对图像数据进行一定的传输 管理，以达到对通信资源的合理占用和高效利用；同时因为通信本身的误 码特性。要求压缩后的图像数据流具有一定的错误恢复能力或者叫容错能 力，并且希望用户得到的图像质量对通信条件的变化具有一定的稳健性， 同时能够根据用户的需要和传输条件的变化进行自适应地调整。面向通信 的图像编码研究领域的典型成果是对图像进行分层编码与分层传输。它的 嵌入式实时视频传输系统实现技术研究 核心思想是将图像编码数据分成基本层数据与增强层数据：基本层数据能 够提供用户可以接受的最低图像质量下限的图像编码数据，它是必须传输 的；增强层数据是可以选择传输的，在网络资源紧张的情况下可以减少增 强层数据的传输，而在网络资源丰富的情况下可以增加增强层数据的传 输，并且终端用户获得的图像质量应该随着增强层数据的增加而提高。 在无线视频应用领域【l ”，因为传输环境具有时变特性( 如典型的瑞利 衰落) ，信道是频带受限的( 相比有线传输介质而言，是窄带传输信道) ， 具有时变的传输功率水平等等因素，所以无线信道具有较高的误比特率。 为了在无线信道上开展可靠的图像通信服务，则要求：对图像进行压缩 编码处理，使得信源码率降低到信道的传输上限以下；：增加必要的信 道冗余，即对信源编码数据进行必要的信道纠错编码保护，增强其对突发 误码与随机误码的抗误码能力；：- 对信源码流进行一定的打包交织处理， 使得图像的相邻子块发生连续丢包的概率得以降低，以利于终端对接收的 图像数据进行错误掩盖和错误恢复处理，提供用户在视觉上能够接受的图 像质量。 通信资源总是受限的，体现在网络传输带宽是受限的，网络传输设备 的处理能力是有限的，网络传输设备的缓存容量是有限的。在对网络传输 资源进行复用的基础上开展的具有独立自发特征的用户应用必将带来对 网络传输资源的竞争，而这种竞争如果不加以一定的协调与控制，则必定 会造成网络传输资源的持续过载，即发生网络拥塞 2 0 l 。轻度的网络拥塞将 使得网络资源得到最佳利用，但是持续的高强度过载，将使得整个传输网 络发生崩溃。计算机通信网络上的传统业务是基于t c p 协议的数据流业 务，而针对图像应用开展的流媒体业务在网络传输层使用u d p 协议。t c p 协议是面向连接的传输协议，具有流量控制功能，u d p 协议是面向非连接 的传输协议，不具有流量控制功能，因此必须要考虑这两种协议的数据流 对网络资源利用的公平性。结合上述论述可以得出：图像通信研究领域的 另一个核心课题将是图像通信协议的设计以及针对流媒体应用的网络搠 塞控制研究。 1 3 本文的研究工作与章节安排 对图像信息的有效获取、高效传输、正确适当地理解是电子技术、通信技术、 计算机技术发展的必然，也是信息社会的基础。而图像信息本身的海量性与通信 资源、计算能力的有限性将是一对矛盾关系，因此对图像通信技术展开的研究将 是对上述矛盾实体的折衷。 第一章绪论 本文的工作正是基于在信息社会中人们对图像通信的需求将会日益增长这 必然规律，重点研究了与此相应的若干核心技术，主要体现在： ：重点研究了图像通信的系统构成，对图像通信系统的各个功能模块进行了 深入分析，在此基础上给出了面向应用的嵌入式视频通信用户终端系统构成原理 框图； ：对面向传输的图像编码进行系统学习，特别是结合无线视频应用，对联合 的信源信道编解码和接收端的错误隐藏与错误恢复进行了一定的研究： ：重点研究了针对图像应用而提出的网络传输控制协议，特别在网络拥塞控 制研究这一核心领域在分析现有的拥塞控制方式的基础上，结合图像应用自身 的特点，提出了一个新的视频流拥塞控制算法； ：对嵌入式操作系统与嵌入式硬件系统进行了系统学习，结合图像通信应用 需要，构建了一个用户终端传输控制平台，提供实时图像通信应用。 本论文的章节安排如下： 在第一章中给出研究背景，对相应背景知识进行介绍，对全文进行概括；在第 二章中给出完整的嵌入式视频通信系统的构成框图，并对其进行深入分析；在第 三章中将对面向传输的视频编码进行介绍；第四章主要集中论述面向视频应用的 网络传输控制协议研究，给出我们提出的新的视频流拥塞控制算法，并对这一算 法展开详细讨论；最后在第五章我们将给出嵌入式视频传输系统的用户终端系统 整体设计；在最后一章对实时视频通信技术进行适度展望，给出了几个可能的研 究方向。 嵌入式实时视频传输系统实现技术研究 2 1 引言 第二章嵌入式视频传输系统组成框图 视频获取与传输是开展视频流媒体业务的基础。一个典型的通信系统由发送 端、信道和接收端组成。按照通信终端对信道的占用可以分为：点到点的独立信 道通信与共享信道链路资源的网络通信。信息社会是建立在公有信息传输平台上 的信息共享的社会，因此视频流媒体业务的主要传输载体将是公有信息传输平台。 信息社会的另一个特征是人们对各种信息的便利获取与使用，因此可以说信息社 会定将会催生各种便携设备的广泛使用。结合上述两个特征可以得出：在便携设 备上开展视频流媒体业务将是一个必然趋势。在便携设备上提供灵活的视频流媒 体业务，需要对终端与网络传输系统进行一定的调整和结构组合上的优化，因此 提出了嵌入式视频传输系统这一概念。 2 2 嵌入式视频传输系统组成框图 一个完整的嵌入式视频传输系统由视频采集模块、视频编码模块、传输控制 协议处理模块、通信网络、视频解码模块与显示模块组成。该嵌入式视频传输系 统的功能是在具有随机时延特性和丢包特性的通信网络上提供视频流媒体业务。 组成框图如图2 1 所示： 图2 1 嵌入式视频传输系统组成框图 在图2 1 所示的系统中，对视频流的处理流程如下：在视频发送端，对模 拟视频进行采样，获得数字视频并对数字视频进行压缩编码；或者直接对输入的 数字视频进行编码处理。生成适应传输的视频编码数据流；：根据反馈信息， 估计可用的通信资源，然后自适应调整编码器的编码输出速率( 包括信源码率的 调整与信道码率的调整) ，使得编码数据流能够满足当前传输可用资源的限制；： 在接收端，对接收的编码数据流进行解码处理，重构视频信号，计算当前系统的 传输参数( 如传输中的丢包率、传输延时等) 并向发送端发送反馈控制信息。 第二章嵌入式视频传输系统组成框图 2 2 1 视频采集模块 自然界中的视频信号都是模拟视频信号，而在通信网络里面传输的主要是数 字视频信号，因此需要视频采集模块来完成模拟视频与数字视频之间的转换。采 集模块主要由视频a o 、视频d a 、同步逻辑控制、视频处理、数据存储器构成。 视频采集系统的基本构成框图如图2 2 所示。 控制 信号 逻辑产生单元 模拟视 芝 ，控j 制信号 q 型：曲 l 转换r _ 巾r 1 数据处 i 理单元 一r l 视频数据 控制 信号 j l 一，模拟视频 视i t 频s ：i i h d t a i 塑生 nm tr 一 颇流 图2 2 视频采集系统原理框图 视频a d 部分的功能是将符合国际标准的模拟视频信号转换成数字视频信号， 作为视频数据处理子单元的输入数据；视频d a 部分的功能是将获得的数字视频 转换成定标准的模拟视频，作为驱动终端不同类型视频显示器的数据；逻辑产 生单元完成采集模块内部的控制信号以及采集模块与其它模块( 如编解码模块) 之间的协调控制信号的产生，通常选用f p g a 或c p l d 来产生各种同步控制逻辑， 保证采集的实时性；对视频数据进行分析和处理，是整个采集模块的灵魂，更是 视频数据处理单元的主要功能。一般而吉视频信号数据量大，所以在视频采集模 块内部需要大容量的视频数据存储器，在不同速度的器件之间提供对视频数据的 缓存功能。视频数据处理单元所需的运算量通常较大，因此为了保证视频处理的 实时性，常常采用视频处理专用芯片、高速d s p ；f p g a d s p 等组合方式来构建处 理单元的硬件平台。 2 2 2 视频编码解码模块 视频编码模块将数字视频信号进行匿缩编码，生成满足一定视觉质量要求且 符合一定标准的视频编码数据流，如生成m p e g x 或者h 2 6 x 格式的视频码流。在 面向传输的视频编码领域，特剐强调编码器所产生的视频码流应该对传输带宽的 随机波动具有自适应性。为了达到这一目的，常采用可伸缩的视频编码器对视频 信号进行压缩编码，可伸缩的视频编码可以在时域、空域或正交变换域中进行， 嵌入式实时视频传输系统实现技术研究 对压缩后的码流进行分层处理。一般地，码率被分成基本层和增强层两层。其中 基本层由提供最低质量等级保证的视频码流和视频序列的运动矢量组成，是必须 传输的；增加层是可选择传输的，且可以根据网络的传输条件进行任意截断。在 理想状况下，终端获得的视频信号的质量将随着接收增强层码流的增加而改善。 以t c p i p 协议为基础的计算机通信网络，是一个提供尽力而为服务的网络 ( b e s t e f f o r t ) ，无服务质量( q o s ) 保证，并且数据包传输的时延是随机的，网 络丢包和网络传输带宽的波动是不可避免的。因此为了能够提供稳定、平滑的流 媒体服务，必须要在对网络传输带宽做出实时估计的前提下对视频编码器的编码 速率进行调整( 包括信源码率调整和信道码率调整) 和进行有选择性的帧丢弃处 理。 因此针划视频网络传输应用而提出的视频编码数据处理原理框图如f 面的图 2 3 所示： 丽砷r 跚 +i p a c k e t s 翻陌 图2 3 实时网络视频传输的编码数据处理原理框图 结合图2 3 ，反馈控制模块根据网络的反馈信息，对编码器的编码速率( 信源 码率调整) 和信道差错控制( 信道码率调整) 进行调整。调整的目标是在总输出 码率受限的条件下( r m a x ) ，使得信源码率与信道码率达到最佳分配，它的理论 基础是s h a n n o n 信息论中的率失真函数( r d 函数) 。非均匀纠错保护可以采用对基 本层数据进行r s 编码处理( 该码为极大最小距离可分码，即m d s 码。用于纠删时， 能够在 = k + r 个数据包中任意接收到k 个数据包的情况下恢复原始信息) 或者进 行具有很强信息保护能力的t u r b o 编码处理；对增强层数据进行具有一般错误保 护能力的编码处理。并且为了降低信道突发误码对视频码流的影响，常对视频数 据包进行交织处理，降低临近的数据包同时发生误码概率，便于接收端的错误隐 藏和恢复。 在视频传输系统中，接收终端的视频解码器除具有将接收的压缩码流恢复成原 始信源数据的基本功能之为，因为接收到的数据有发生丢包或者误码的可能，所 甏 纛生盎 第二章嵌入式视频传输系统组成框图 以它还具有一定的误码纠正能力和对丢包的数据进行隐藏的能力，以便在现有接 收数据的基础上提供最好的视频质量。 2 2 3 传输控制、协议处理模块 视频流传输与传统的t c p i p 网络的数据传输有明显的区别，主要表现在：传 统的数据传输对传输延时和传输抖动没有严格的要求，但是有严格的差错控制和 错误重传机制。而视频流媒体业务要求视频传输具有实时性，对同步要求较高， 并且对传输延时和抖动非常敏感，但在一定的情况下可以允许分组丢失，即可以 接受一定程度的传输误码。流媒体服务则需要满足广播和多播应用，同时应具有 根据网络的实时可用传输带宽自适应地调整视频传输质量的能力。 基于上述显著的不同网络应用要求，若要在i n t e r n e t 上面提供流媒体数据服 务，则需要使用r t p r t c p ( r e a l t i m et r a n s p o r tp r o t o c o l r e a l t i m et r a n s p o r t c o n t r o lp r o t o c 0 1 ) 协议。r t p 协议在一对一或者一对多的传输情况下工作，提供 数据包传输过程中的时间信息和实现流数据同步；r t c p 协议与r t p 协议起工作， 提供网络传输中的流量控制和拥塞控制。 下丽的图2 4 给出了视频网络传输中所使用的传输控制协议。 g 7 1 1 h 2 6 lh 2 4 5 g 7 2 2 g 7 2 8h 2 6 3 h 2 2 5t 1 2 0 g 7 2 9 r a s h 2 6 l q 9 3 1 jljl lr t pr t c p r1r1 u d pt c p 一 i i p 图2 4 网络协议支持 传输控制、协议处理模块对应用程序生成流媒体数据进行打包处理，同时进行 r t p 协议数据封装；将封装后的r t p 协议数据再次封装在u d p 的消息字段，形成传 输层协议数据；然后对u d p 协议数据进行i p 数据封装；最后经过传输网络完成数 据包的发送。r t p 协议数据包的包头部分含有数据包的载荷类型( p a y i o a dt y p e ) ， 序列号( s e q u e n c en u m b e r ) ，时间戳( t i m e s t a m p ) 和同步标识符( s y n c h r o n i z a t i o n s o u r c ei d e n t i f i e r ) 等。利用r t p 包头的信息，采取适当缓存的工作方式，可以 做到视频流的正确解码播放与回放。r t c p 数据包对流媒体数据不进行封装，它只 封装发送端或者接收端的发送、接收统计信息( 比如传输延时、传输丢包率等) a 嵌入式实时视频传输系统实现技术研究 利用i t c p 的反馈信息，发送端能够估计刚络的传输带宽，实时地根据网络传输条 件进行自适应编码器的编码速率调整，使得在网络传输带宽波动的情况下可以提 供稳定的视频流服务。 在需要提供流媒体的点对点或者一对多、多对多的通信业务时。还需要使用与 具体的通信网络环境相对应的传输控制协议。如在i s d n 环境下提供视频会议的 t t 3 2 0 协议、在p s t n 环境下提供视频会议的h 3 2 4 协议、在局域网环境下提供视 频会议的h 3 2 3 协议。 2 3 本章小结 视频采集芯片性能上的不断提高，使得对原始视频的获取更为便利和高效；视 频编勰码器在速度和性能上的不断提高，通信技术与计算机技术的不断发展，使 得视频的网络传输成为可能；日益增强的用户需要，使得视频的实时传输和网络 服务不可避免。因此本章着眼于嵌入式视频传输系统的整体框架构建，给出了一 个面向应用的嵌入式视频传输系统的组成框图，并结合该框图对面向传输的视频 编解码器和传输控制、协议处理模块进行了详细讨论。 第三章面向传输的视频编码与解码 3 1 引言 第三章面向传输的视频编码与解码 随着通信技术与计算机技术的飞速发展，使得人们得以能够通过公用传输平 台来获取视频信息。公用传输乎台具有传输资源有限性和多用户共享传输资源， 为了在具有上述特性的传输平台上面开展具有大量数据量的视频业务，则要求1 ) 较高的信源数据压缩率和较少的信道冗余，但是这一目标的前提是尽量满足必要 的通信质量；2 ) 比较好的信道传输弹性，这就要求可以根据信道的具体特点进行 有选择地传输信源数据。 为了达到较高的信源编码效率和较少的信道冗余，则应主要集中在信源编码、 信道编码的研究上，提出更好的编码压缩算法或者对信源编码、信道编码进行联 合性能最优化。它的关键在于开发并充分利用信源的各种冗余信息。 较好的信道传输弹性，主要着眼于对信源数据进行渐进编码和分层传输。渐 进编码可在不同的变换域中进行如小波变换域、d c t 域、或者其它的正交变换域。 分层传输的方式有s n r 分层、t e m p o r a l 分层、s p a t i a l 分层、f g s 分层以及p f g s 分层。 3 2 信源编码 3 2 1 信源编码的基础和发展 对视频信息具有海量数据特征，但是这些数据存在多种冗余：时问冗余，空 间冗余，心理视觉冗余，编码冗余等等。因此信源编码的基本技术手段就在于开 发和利用这些冗余信息，使得在信息子空间保留独立的信息分量，达到数据压缩 的目的。 信源编码可以归纳为以下的两类：1 ) 无损编码：算术编码，h u f f m a n 编码，游 程编码等；2 ) 有损编码：预测编码，子带编码，分形编码( 利用图形的自相似性， 通过迭代函数系统来实现数据压缩) ，神经网络和模型基编码( 神经网络用于模拟 人眼视觉系统的信息处理过程；模型基编码在于建立一定的景物模型，可分为面 向物体的模型和基于语义的模型) 等。 视频编码标准的制定工作主要是由国际电信联盟( i t u ) 和国际标准化组织 ( i s o ) 来完成的。到目前为止，由上述两个组织制定的有关标准为h 2 6 x 、m p e g x 。 其中h 2 6 1 、m p e g 一2 可采用的压缩编码算法有预测编码、变换编码、运动补偿等； h 2 6 3 、h 2 6 l 。m p e g 一4 在此基础上还可以选择性地采用分段编码、模型基编码、 嵌入式实时视频传输系统实现技术研究 语义编码等编码算法；同时随着网络信息的不断增长，人们获取感兴趣的信息的 难度越来越大，为了实现基于内容的检索，并且能够支持电子内容传输和电子贸 易的新型多媒体压缩编码标准和描述接口的研究成了新的发展方向，这方面的工 作集中体现在关于m p e g 一7 “3 和m p e g 一2 1 州标准的制定。 3 2 2 分层传输 为了达到较好的信道传输弹性，则希望传输的视频数据能动态地满足系统带 宽的限制和达到一定的用户质量要求，因此常常对视频数据进行分层传输。分层 传输的基本思想是将视频数据分为基本层和增强层。在基本层，码流速度较低， 但是必须传输。在增强层，码流速度较高，但它可以根据传输带宽的变化进行任意 截断，有时甚至可以不传。 传统分层传输 s n r 分层：在相同的空间分辨率和数据帧速率下进行不同量化精度的分层编 码。基本层的量化步长较大，因此数据量较少，所以在信道基本带宽的限度下可以 选择较强的信道差错保护编码，保证在视频数据在网络上的正确传输。增强层的量 化步长较小，所以数据量较大，但它的发送是可以选择的。在s n r 分层中将有四种 情况会发生“：1 ) 编码器利用增强层信息进行预测编码，在解码端，解码器也同样 的正确收到了增强层信息，这样的系统效率较高；2 ) 编码器利用了增强层信息， 但是解码器没有接收到增强层信息，发生错误漂移；3 ) 编码器没有利用增强层信 息，但解码器却使用了增强层信息，同样的会发生错误漂移：4 ) 编码器，解码器 都没有使用增强层信息，这相当于只使用了基本层信息。基于s n r 分层的解码器 框图如下面的图3 1 所示： 图3 1s n r 分层的解码框图 t e m p o r a l 分层：在同样的空间分辨率下以不同的帧速率对视频数据流进行分 层传输。基本层以较低的帧速率传送，增强层的帧速率较高。t e m p o r a l 分层编码 的效率较高，接近非分层编码的编码效率。 第三章面向传输的视频编码与解码 增强层码流 基本层码流 图3 2t e m p o r a l 编码框图 s p a t i a l 分层：在相同的帧速率下以不同的空间分辨率对视频数据进行分层 编码。它的解码器框图在下面的图3 3 给出。 图3 3s p a t i a 分层解码框图 在图3 3 中可以得出：当空域分层编码中的上采样因子为l 时，s p a t i a l 分层 与s n r 分层是一样的；在s p a t i a l 分层中，因为在基本层的预测中没有利用增强 层信息，所以不会发生错误漂移现象。 渐进的分层传输 在上面所涉及的传统分层传输方案中，均存在这样的一个问题：如果网络的 传输可用带宽减小，则整个增强层信息将不会传输；如果网络带宽足够，则增强 层信息将会全部传输。在公用传输平台上，网络传输带宽的波动是难免的，这样 如果采用上述三种传统分层传输方式，将使得接收端的视频质量发生较大的波动， 为此人们提出了渐进传输这一概念。所谓渐进传输，就是指对增强层码流可根据 需要进行任意截断，且图像的质量将与所接收到的增强层码流成正比。它所具有 的理想特性曲线如下面的图3 4 所示： 嵌入式实时视频传输系统实现技术研究 图3 4 理想的渐进传输特性曲线 目前，世界各地的学者对渐进分层传输给出了许多的实现方案，具体的实现 方法可以分成四类： 零树小波编码( w a v e l e tc o d i n gb a s e do nz e r ot r e ea r i t h m e t i c ) ： 图像残差的小波编码( w a v e l e tc o d i n go fi m a g er e s i d u e ) ： 图像残差的匹配编码( m a t c h i n gp u r s u i tc o d i n go fi m a g er e s i d u e ) ： d c t 系数位平面编码( b i t - p l a n ec o d i n go ft h ed c tc o e f f i c i e n t s ) ： 在m p e g 一4 标准的视频流框架中给出了精细粒度可伸缩视频编码f g s ( f i n e g r a n u l a r i t ys c a l a b i l i t y ) 的实现框架，框架如下面的图3 5 所示，并且相对应 的编码器与解码器框图在图3 6 中给出。m s 是m p e g 一4 的关键核心技术，它的技 术特点在于：增强层采用嵌入式分层码流，使得不