无线视频传输技术的发展.doc

无线视频传输技术的发展随着移动通信业务的增加，无线通信已获得非常广泛的应用。无线网络除了提供语音服务之外，还提供多媒体、高速数据和视频图像业务。无线通信环境（无线信道、移动终端等）以及移动多媒体应用业务的特点对视频图像的视频图像编码与传输技术已成为当今信息科学与技术的前沿课题。1 无线视频传输技术面临的挑战 数字视频信号具有如下特点： 数据量大 例如，移动可视电话一般采用QCIF分辨率的图像，它有176X144=25344像开绿灯。如果每个像素由24位来表示，一帧图像的数据量依达 594kbit。考虑到实时视频图像传输要求的帧频（电视信号每秒25帧），数据传输速率将达到14.5Mbps！ 实时性要求高 人眼对视频信号的基本要求是，延迟小，实时性好。而普通的数据通信对实时性的要求依比较低，因此相对普通数据通信而言，视频通信要求更好的实时性。 无线环境则具有如下特点： 无线信道资源有限 由于无线信道环境恶劣，有效的带宽资源十分有限。实现大数据量的视频信号的传输，尤其在面向大众的无线可视应用中，无线信道的资源尤其紧张。 无线网络是一个时变的网络 无线信道的物理特点决定了无线网络是一个时变的网络。 无线视频的Qos保障 在移动通信中，用户的移动造成无线视频的Qos保障十分复杂。 由此可以看出，视频信号对传输的需要和无线环境的特点存在尖锐的矛盾，因此无线视频传输面临着巨大的挑战。一般来说，无线视频传输系统的研究设计目标如表1所示。表1 无线视频传输系统的主要性能指标和设计目标性能指标设计目标视频压缩比视频传输实时性视频恢复质量视频传输鲁棒性支持Qos的视频业务用尽量少的比特描述视频图像更短的传输时延，更快的编码速度获得用户更满意的视频恢复质量更好适应传输信道的误比特干扰提供和用户支持费用相当的服务 事实上，表1中许多性能指标是相互制约的。例如，视频图像压缩比的提高会增加编码算法的复杂度，因此会影响算法的实时实现，并且可能降低视频的恢复质量。2 视频压缩编码技术 视频信息的数据量十分惊人，要在带宽有限的无线网络上传送，必须经过压缩编码。目前国际上存在两大标准化组织ITU-T和MPEG专门研究视频编码方法，负责制公平统一的标准，方便各种视频产品间的互通性。这些协议集中了学术界最优秀的成果。 除各种基于国际标准的编码技术外，还有许多新技术的发展十分引人注目。2.1 基于协议的视频压缩编码技术 国际电信联盟（ITU-T）已经制定的视频编码标准包括H.261（1990年）、H.263（1995年）、H.263+（1998年），2000年 11月份将通过H.263+的最终文本。H.26X系列标准是专门用于低比特率视频通信的视频编码标准，具有较高的压缩比，因此特别适合于无线视频传输的需要。它们采用的基本技术包括：DCT变换、运动补偿、量化、熵编码等。H.263+和H.263+中更增加考虑了较为恶劣的无线环境，设计了多种增强码流鲁棒性的方法，定义了分线编码的语法规则。 MPEG制定的视频编码标准有MPEG-1（1990年）、MPEG-2（1994年）、MPEG-4（完善中）。其中MPEG-1、MPEG-2基本已经定稿，使用的基本技术和H.26X相同。MPEG-1、MPEG-2的特点在于针对的应用主要是数字存储媒体，码率高，它们并不适于无线视频传输。人们熟知的VCD、DVD是MPEG-1、MPEG-2的典型应用。随后，MPEG组织注意到了低比特率应用潜在的巨大市场，开始和ITU-T进行竞争。在 MPEG-4的制定中，不仅考虑了高比特率应用，还特别包含了适于无线传输的低比特率应用。MPEG-4标准的最大特点是基于视频对象的编码方法。 无线通信终端是多种多样的，其所处的网络结构、规模也是互异的。视频码流的精细可分级性（Fine Granularity Scalability）适应了传输环境的多样性。 编码协议并不提供完全齐备的解决方案。一般来说，协议内容主要包括码流的语法结构、技术路线、解码方法等，而并未严格规定其中一些关键算法，如运动估计算法、码率控制算法等。运动估计算法在第3部分有较为详细的介绍。码率控制方案在第4部分有较为详细的介绍。2.2 其他视频压缩编码技术 除上述基于协议的视频标准之外，还有一些优秀的算法由于商业的原因，暂时没有被国际标准完全接纳。典型的例子是DCT变换和小波变换之争。虽然利用小波变换可以取得更好的图像恢复质量，但是因为DCT变换使用较早，有很多商业产品的支持，因此小波变换很难在一夜之间取代DCT变换现有的地位。其他编码方法如，分形编码、基于模型的编码方法、感兴趣区优先编码方法等也都取得了一定的成果，具有更强的压缩能力。但是算法实现过于复杂，达到完全实用尚有一段距离。 在基于小波的低比特率图像压缩算法的研究中，根据小波图像系数的空间分布特性，以及小波多分辨率的视频特点，人们引入矢量量化以充分利用小波图像系数的相关性。根据传统的运动补偿难以与小波变换相结合这一情况，人们还提出了将空间二维帧内小波变换与时间轴一维小波变换相结合的三维小波变换方法。 人类的视觉是一种积极的感受行为，不仅与生理因素有关，还取决于心理因素。人们观察与理解图像时常常会不自觉地对某引起区域产生兴趣。整幅图像的视觉质量往往取决于感兴趣区（ROI：Region of Interest）的图像质量。在保障ROI区部分图像质量的前提下，其他部分可以进行更高的压缩。这样在大大压缩数据量的同时，仍有满意的图像恢复质量。这就是感兴趣区优先编码策略。3 视频编码实时性研究 由于视频数据的特殊性，视频传输系统对实时性要求很高。这里重点介绍基于视频编码协议算法的实时性问题。小波编码等算法虽然有许多优点，但是算法复杂度太高，目前难于达到实时性要求。下面介绍基于协议编码算法中的几个重要环节，它们对提高视频编码系统实时性有重要作用。3.1 运动估计 预测编码可以有效去除时间域上的冗余信息，运动估计则是预测编码的重要环节。运动估计是要在参考帧中找到一个和当前帧图像块最相似的图像块，即最佳匹配块。估计结果用运动向量来表示。研究运动估计算法就是要研究匹配块搜索算法。 研究分析表示，原始运动估计算法在编码器运行中消耗了编码器70%左右的执行时间。因此，为了提高编码器执行速度必须首先提高运动估计算法的效率。 穷尽搜索法是最原始的运动估计算法，它能得到全局最优结果，但是由于运算量大，不宜在实现应用中使用。快速运动估计算法通过减小搜索空间，加快了搜索过程。虽然快速运动估计算法得到的运动向量没有穷尽搜索法的结果那样精确，但是由于它可以显著减少运算时间，精度也能满足很多应用的需要，因而它们的应用十分广泛。典型的快速搜索算法有：共轭方向搜索法（CDS）、二维对数法（TDL）、三步搜索法（TSS）、交叉搜索法（CSA）等。3.2 算法结构的并行化 并行化处理的体系结构十分有利于提高系统处理能力，加之视频编码算法有很强的并行处理潜力，因此，人们研究了编码算法的并行运算能力，进一步保障了编码算法的实时实现。 例如，如果有两个并行处理器，依可以同时进行两个图像块的运行估计或者DCT变换，这样依把运动估计和DCT变换环节的运算时间缩短了一倍。3.3 高速DSP芯片和专用DSP设计 微电子技术的发展，也使近年来DSP芯片有了很大的进步。每秒几十或上百BOPS次的运算速度（1个BOPS为每秒10亿次）DSP芯片已经出现，这为系统实时处理提高了硬件保证。 通用高速DSP芯片在视频编码算法的研究开发中扮演了重要角色。许多DSP生产厂商甚至提供实现某种编码协议的专用芯片。4 码率控制研究 编码策略是编码器中重要环节。码率控制技术是视频通信应用中的关键技术之一，它负责编码器各个环节与传输信道和解码器之间的协调，在编码器中具有重要地位。因为码率控制策略需要由具体应用场合决定，所以象H.263+、MPEG-4等视频编码协议，都没有规定具体码率控制方法。 由于视频码流结构具有分层的特点，因而码率控制方案的研究一般分成了两个层交人，图像层码率控制、宏块层码率控制。图像层码率控制的主要任务是，根据系统对编码器输出码率的期望、系统传输延迟的限制、传送缓冲区的满溢程度等同，在一帧图像编码前，确定该帧图像的输出期望比特数。宏块层码率控制的主要任务是，根据图像层码率控制确定的该帧图像的输出期望比特数，给图像各部分选择合适的量化步长。宏块层码率控制的主要依据是率失真（Rate- Distortion）模型。 TMN8码率控制方案，是迄今为止一套优秀的码率控制方案。它被H.263+的TMN8模型的MPEG-4（Version 1）的VM8模型所采纳。该方案的精化部分在于宏块层码率控制部分，它采用了一种十分有效的率失真模型，是宏块层码率控制的误差很小；在图像层码率控制方面，该方案的前提较为简单，主要考虑了编码时延、缓冲区满溢程度等因素，并且要求编码器的工作帧频恒定。 在很多情况下，视频编码的帧频不可能保持恒定，或者不“应该”恒定。考虑到视频编码器工作点的变化，以及现有率失真模型可能存在的误差，人们将现代控制理论引入到图码率控制中，设计了更稳定的码率控制方案。 由于宏块层码率控制环节直接决定图像各宏块使用的量化步长，因此利用宏块层友率控制方法，可以轻易实现图像感兴趣区优先编码策略。使用感兴趣区优先编码策略时，虽然对整幅图像而言仍属低码率编码范畴，但对于感兴趣区域而言却存在局部高码率编码。现有低码率控制算法，包括TMN8方案，都没有考虑到这一现象。它们将整幅图像所有部分都作为低码率编码对象，并以此建立码率控制模型。因此这些码率控制方案直接与感兴趣区优先编码策略相结合时，会导致不应有的码率控制误差。为此，人们又提出了一套用不动声色低码率应用的码率控制框架，它适应了感兴趣区优先编码策略的需要。5 鲁棒性研究 无线信道干扰因素多，误码率高，因此无线视频的鲁棒传输研究对于无线视频传输的实用化十分重要。5.1 鲁棒的压缩编码 视频压缩编码的最后一个环节是熵编码。熵编码的特点决定了视频码流对误比特高度敏感。于是，人们设计了多种技术用于在视频编码环节进行差错复原，提高码流鲁棒性。MPEG-4中定义的主要差错控制技术有：重同步（Resynchronization）、数据分割（Data Partition）、可逆变长编码（RVLC）。H.263+中用于差错复原的技术主要包括前向纠错编码（FEC）、条带模式（Slice Mode）、独立分段解码（Independent Segment Decoding）和参考图像选择（Reference Picture Selection）等。H.263+则又增加了数据分割的条带模式，并对参考图像选择模式进行了修改。 此外，在信源解码端，人们又设计了数据恢复（Data Recovery）和差错掩盖（Error Concealment）等技术，以便尽量减少码流中错误比特的负面影响。5.2 鲁棒的复用环节 多媒体通信中，复用是紧随编码环节的一个环节。以ITU定义的H.324标准为例，该标准由若干协议组成，包括音频编码协议G.723、视频编码协议 H.26X、控制协议H.245和复用协议H.223。H.223是一个面向连接的复用器，负责把多媒体终端的多个数据源（音频、视频、数据等）复合为一个码流。Villasenor等已经注意到复用器出现的差错对视频可能产生的影响，但没有特点深入的研究成果。5.3 鲁棒的信道编码环节 信道编码也称差错控制编码。与信源编码的目的不同，信源编码是尽量压缩数据，用尽量少的比特描述原始视频图像；信道编码是利用附加比特来保障原始比特能正确无误地到达目的地。信道传输中的纠错方法包括：前向误码纠错（FEC）、自动重发（ARQ）和混合纠错（HEC）。 Shannon从理论上给出了信道传输能力的上限。信道编码方法的研究设计目标有二，一是尽量利用信道容量，二是抗干扰性能更强。 Turbo码是近年来纪错编码领域的活跃分支，由法国学者C.Berrou等人在1993年看出的，其模拟性能纪错能力。但是Turbo码的译码算法十分复杂，关于Turbo码译码的实时实现是当前研究热点之一。5.4 信源信道组合编码 不同的信道编码策略对信元的保护能力也不同。根据信元的重要程度，合理地予以差错控制编码，将有效地提高传输系统的效率。这是不平等的保护策略（Unequal Error Protection）。信元的重要程度，可以有多种划分方法，如按照信元对解码所起作用，或者按照信元对人眼感知所起作用，等等。 还有许多学者研究了信道模型在信源信道组合编码中的应用。三种典型无线信道模型是二进制对称噪声通道（Binary Symmetric Channels）、加性白高斯噪声通道（Additie White Gaussian Channels）、G-E突发噪声通道（Gilbert-Elliott Bursty Channels）。Chang Wen Chen等在研究这些信道模型的基础上，研究了新的率失真模型，该模型不仅描述了量化引入的误差，而且将信道噪声考虑在内。在一定的信道传输速率要求下，利用这样的率失真模型，不仅可以在子信源之间合理分配比特，而且可以更好地平衡信源编码精度与信道编码保护两者对码率的需要。6 无线视频传输系统的优化与管理 在前面几部分的研究中，主要目标是解决无线视频传输的基础问题：视频数据的压缩问题、编码的实时实现、视频码流的鲁棒传输。事实上，除了上述问题，还有许多与无线视频传输密切相关的领域，它们对无线视频传输的实现、推广有着举足轻重的影响。6.1 通信协议的研究 中国公众多媒体通信网是一个基于IP协议的通信网，它的通信协议是基于TCP/IP的。当然，IP协议和TCP协议仅是核心协议。为保证实时视频通信业务能很好地运行，需要使用实时传送协议（RTP）和实时传送控制协议（RTCP）。为了给实时业务或其它特定业务的传送留有足够宽的通道，还必须使用资源预留协议（RSVP）。上述五个通信协议是IP网的主要通信协议。 Ipv6作Internet Protocol的新版本，将继承和取代传统IP（Ipv4）。从Ipv4到Ipv6的改变将为下一代因特网奠定更坚实的基础，如,Ipv6力求使网络管理变得更加简单，考虑到不同用户对服务质量的不同需要，其中若干技术十分有利于实时多媒体业务的实理。6.2 接入控制（Admissior Control） 类似有线网络，无线网络要决定是否允许新连接接入；此外无线网络还要决定是否允许切换连接，并要在二者之间谋求最优解决方案。 Naghshineh在1996年提出虚拟连接树的新概念，设计了基于虚拟连接树的高速移动ATM网络体系，并研究了在该体系结构下的接入控制方案。简单说，作者用一个虚拟树来描述位于一定距离内小区的移动用户。一旦移动用户的呼叫被允许，他依可以在虚拟树内的所有小区间自由切换，而无须重新请求。 在高速无线多媒体网络中，Oliveira等则提出了基于带宽预留的接入控制方案，即在建立呼叫小区附近入的小区中，进行带宽预留，以保障服务质量。当用户进入一个新的小区，被预留的带宽将被利用。6.3 资源预留（Resource Reservation） 对于视频、话音等实时业务，为保证可接受的服务质量，应该保留一定的连接带宽。此外，与新呼叫相比，切换呼叫应有更高的优先权。6.4 Qos业务模型（Qos Service Model） 无线多媒体Qos支持的基本目标是，在带宽有限情况下，提供和用户支付费用相当的服务质量。建立合适的业务模型是首先要解决的问题。所谓业务模型，就是要根据各种具体应用的特点，将其划分成不同类型。例如，在支持Qos和ATM中定义了几种业务模型：恒定比特率（CBR）业务、实时可变比特率（rt- VBR）业务、非实时可变比特率（nrt-VBR）业务、可用比特率（ABR）业务和不定比特率（UBR）业务。恒定比特率业务对带宽的要求最为严格，其他类型对带宽的要求依次放松。 现有