节能-高效的无线视频编码和传输

1、节能-高效的无线视频编码和传输AGGELOS K. KATSAGGELOS 西北大学FAN ZHAI，德州仪器YIFTACH EISENBERG AND RANDALL BERRY西北大学一、 摘要通过移动设备在无线信道进行视频传输在很多领域得到了不断普及。这些应用所面对的一个主要障碍是移动设备电池能源的不足。因此，高效的利用能源是无线视频通信系统设计中一个关键问题。本文着重介绍联合信源编码和最佳能量分配的最新进展。为了设计节能高效的无线视频通信系统，我们提出一个包含多种因素的总体框架，包括信源编码，信道资源分配和错误隐藏。该框架可以采取各种形式并可应用于获得无线视频传输中能源消耗和视频传输质

2、量之间的最佳折衷。二、 介绍随着应用的增多，视频被传送于便携式无线设备如蜂窝电话，连接无线局域网（WLAN）的笔记本电脑，在监测和环境跟踪系统中的照相机等。例如由新技术（如目前的第三代（3G）和新兴的第四代（4G）无线系统，和IEEE802.11无线局域网标准）导致带宽的戏剧性增长使得个人通信开始具有视频流能力。虽然在许多应用中无线视频通信是非常可取的，但事实上在任何一个无线系统中主要的限制是移动设备通常依赖于有限的电池能源供应。而由于码流视频编码和传输的高耗能率使得我们必须特别关注这些限制。因此，能源的有效利用是部署无线视频应用中非常重要，有时是最关键的部分。为了设计高效节能的通信系统，首先

3、要理解能量在移动设备中是如何消耗的。一般移动设备中的能量主要用于计算，传输，显示和驱动扬声器，其中计算和传输耗能最多。在计算过程中，能量被用于运行操作系统软件和音频、视频信号的解码和编码。在传输中，能量被用于发射和接受无线电视频和音频信号。应当承认，计算永远是无线通信中最关键的问题。例如，能源感知操作系统就被研究用于有效地管理由适应系统的行为和基于现有的能源的工作量，工作优先级，限制等产生的能源消耗。无线视频传输中由计算产生的能耗需要被特别关注，因为运动估计和补偿，正向和反向离散余弦变换（即DCTS），量化，和视频编码器中的其他模块，都需要有一定量的计算。最近计算中的能量消耗被处理于一功率率失

4、真模型，该模型被用于研究如何实现计算功率，传输速率和视频失真的最佳权衡。尽管如此，超大规模集成（VLSI）设计和集成电路（集成电路）制造技术的进展使得芯片具有更高的密度和集成度，同时消耗越来越少的能量。根据摩尔定律，集成电路上的晶体管数每隔18个月翻一倍。因此，计算耗能在总耗能中的比重会越来越低。也是因为这个原因，我们主要关注传输耗能，如何利用高效的途径将视频编码然后传送到基站。如图1所示。我们的目标是：为了在给定接收器上的失真最小化，给出传输能量的范围，或者反过来，在确定视频传输质量的情况下最小化能量的消耗。图1：视频从移动用户传输到基站视频传输和更传统的数字通信的一个不同是视频包有不同的重

5、要性。为了有效的利用能源，通常首选非平等错误保护（UEP，它能在传输比较重要的包时更有效的利用更多的能源来提供更多的保护。）这需要一个“跨层”透视其中需要共同考虑的源和网络层。特别的，直接控制发射功率的较低层的协议栈需要遵守视频编码中各个数据包的重要性级别规定，它位于应用层。另一方面，它也可以是有益的，如果源编码知道来自较低层的估计信道状态信息（CSI）和哪些在较低层的参数可以控制的，所以当选择源编码参数以达到最佳视频传输质量，它可以做出明智的决定。出于这个原因，为实现最高效率的传输能量消耗，我们自然要同时考虑视频编码和能量控制。 在这片文章中我们提出一个总体框架，用于协同考虑在无线视频传输系

6、统中的信源编码和传输能量消耗。能量分配影响所接收的视频序列的质量或失真水平及序列被显示之前所需的延时时间。此外，它影响到多用户环境中的干扰水平。在该框架中，我们重点讨论研究如何平衡上述各个因素的能耗效率。这里提出的框架是一般意义上的，它可用于不同的应用程序和网络设置等。我们的重点是点至点或单播通信，尽管这些想法有些也适用于组播方案。此外，在新视频编码模式和多媒体通信的网络协议方面也有着大量的研究。这些方法可能会为该框架提供更多的方向。三、 无线视频通信系统我们首先通过提供一个高层次的概述无线视频传输系统，其次是我们的一般问题的提法。图2突出了一些无线视频通信系统的重要概念模块。在发送端，视频包

7、首先由视频编码器产生，它执行通过利用在时间和空间冗余压缩。在通过网络协议栈（RTP、UDP/IP）之后产生传输包并被传送于有损的无线信道。因此，必须用一个错误弹性的方式对视频序列编码，以尽量减少在解码视频的质量损失。设S表示直接控制视频传输质量的源设置编码参数（预测模式，步长量化）。为了降低信道差错，前向纠错（FEC）的可用于在如链路和物理层的较低层。另外，在物理层，调制模块和发射功率能够根据变化中的信道条件被调整。调度各个包的传输也可能成为一个可调整的参数。在图2，这些较低层的功能修改所显示的是“发射“块。设C表示发射端可控信道参数。图2：无线视频通信系统框图在接收端，信道解码器处理解调比特

8、流，它执行错误检测和更正。这功能如图2所示。损坏的数据包通常被接收机抛弃，因此得考虑丢失。此外，超期到达接收端的包同样被抛弃，这种严格的时延约束是视频通信和其它多种数据传输应用的又一个重要区别。然后视频解码器解压缩视频数据包，并显示实时生成的视频帧。视频解码器通常采用隐蔽技术，以减少丢包的影响。回想一下，我们的目标是使用的最低的传输能量 ，达到最好的视频传输。典型的无线频道具有较高的吞吐量变化，延迟和包丢失。在这样的环境提供可接受的视频质量是一个视频编码器和解码器，以及通信和网络基础设施艰巨的任务。在这些模块中，一些编码和传输参数能根据源的内容和可用信道状态信息进行调整。此外，影响传输能量消耗

9、的因素包括每个位传输，调制模式下使用的电源，在链路层或物理层和信道编码率。为了节约能源，这些参数也应根据源的内容和可用信道状态信息进行调整。图2所示的控制模块表明了视频传输系统的组件负责适应源编码参数S，信道参数C，基于隐藏策略方法，信源内容和可用信道状态信息。正如在介绍中，我们侧重于在这些参数都在跨层框架联合匹配的情况。1. 一般问题描述我们考虑这样的技术：能够有效的适应源参数S，信道参数C，为了最小化端到端失真同时又满足能量和延时约束。这个问题可以如下表述：(1)其中，是最大允许能耗，是应用中施加的终端到终端的时延约束。对于流媒体应用，可延迟约束可以由编码器的缓冲区的动态和接收器上的回放缓

10、冲区模拟出来。3和的选择影响到端对端失真，端对端延时,和接收机上的视频序列传输的总能耗我们用明确指出这种依赖关系。失真一般是由源编码差错，信道差错产生，且其将会给进行更详细的讨论。能耗是由大量的信道参数产生的，后面将会进一步讨论。端到端延时,是当一个视频帧捕获时，在发射器和接收器上在显示的时间间隔。,由序列编码所用的比特数、传输速率和发送机的调度情况决定。为了解决Eq. 1,中的问题，我们需要描述各个适应部分是如何影响视频传输质量和传输能耗的。我们后面会对其进行更详细的讨论。2. 信源编码匹配对于视频编码，均方误差MSE和最大信噪比PSNR被广泛运用于重建质量评价，其中PSNR定义为,单位为d

11、B。对有损信道中的视频传送，从发送者得角度上看，接收机上的失真是一个随机变量。因此，预期的端到端失真通常用于描述所接受视频的质量，并指导发件人信源编码和传输策略。第K个包的预计失真可表述如下：(2)其中是第K个包的丢失率， 是第K个包被接收机正确接收时的预计失真。是第K个包丢失时的预计失真。用于计算由信源编码和误差传播引起的帧间编码造成的失真。用于计算由隐藏造成的失真。包的丢失率由CSI，传输功率和所用的信道编码决定。除了预计失真，图2中，由随机信道差错导致的失真的变动直接影响到视频接收的质量。为了防止由使用不同类别信道而导致的视频质量差距过大，最近提出了一种叫方差感知-单像素资源优化配置（V

12、APOR）的新方法。这种方法旨在通过尽可能的使接收机看到的和发送机上算出来的端到端失真均值相近 来改善视频传输系统的可靠性。3. 错误复原能力强的视频编码这里我们关注一种最为广泛使用的视频编码技术：基于块的运动补偿视频编码（BMC）。（用在H263和MPEG-4）。采用这种方法，每帧分为宏块（MBS），这些宏块即可以独立编码，也可以根据前一帧中的宏块进行预编码。对于帧间编码，我们用一个运动矢量描述参考宏块在参考框架中的位置。时间预测预报提供了更高的编码效率比intracoding，但很容易受到错误传播。变换编码，其次是量化和熵编码，完成了BMC编码过程。错误弹性源编码这种技术是在信源编码中添加

13、冗余编码，以防止错误传播和限制数据包丢失造成的失真。这种技术通常由再同步标记，数据分割，无线视频的可逆可变长度编码（RVLC）组成。在分组交换网络，它们可能包括预测模式选择，可伸缩编码，多描述编码（MDC）。此外，包依赖控制已成为公认的提高容错能力的有力工具。包依赖控制的一般方法有对宏块的长期记忆预测（LTM）、参考帧选择（RPS），内部宏块的插入和视频冗余编码（VRC）。4.以上提到的所有模块都可以视为图1中的信源编码参数S。S的选择影响源比特率（传输延时）和图2中表示的。我们的重点是依靠BMC编码视频;更具体的，我们的注意力集中在分组视频传输。特别的，这里提到的信源编码参数是在预测模式（内

14、部或者帧间）和各个宏块或者包的量化步长。4. 差错隐藏错误隐藏是指由解码器调用的后处理技术，其通过利用所收到的视频序列中的空间和时间冗余信息来实现隐瞒丢失的信息。这些方法大致可分为空间和时间域的方法。在空间方法中，可利用邻近的空间信息来重建丢失的数据，在时间方法中，当前帧丢失的像素可以从已接受的或者隐藏的帧中重建。更复杂的隐藏策略则同时利用空间和时间的信息。错误隐藏策略的采用直接关系到的计算。因此，发送者需要知道接收器使用的错误隐瞒策略。我们强调，虽然错误隐藏的出现可能不会和任何信源的编码参数和信道参数有直接关系，但它的选择对这些参数产生重大影响。例如，根据一个给定的错误隐藏策略，如果我们知道

15、一个确定的数据包在其失去之后在接收器很容易隐藏，我们可能根本就不希望发送该数据包，而是把节省下来的比特和能源给其他丢失之后不容易隐藏的包。5. 信道匹配在本节中我们讨论可为每个视频数据包详细操作的信道参数。我们还模型讨论来说明这些参数如何影响的通讯信道的属性，而这些决定了视频传输质量和传输能量。6. 传输能量发送一个L比特，传输功率为P的包所需的能量为E = PL/R，其中，R是源传输速率比特每秒。可用各种方式将这三个量在实际系统中取到合适的值。例如，可以通过在物理层的功率控制实现电源适应。传输速率R的改变可通过选择不同的调制模式或信道速率，或在每个数据包传输之前允许等待时间。此外，它也可以通

16、过选择不同的物理层链路或信道编码率实现。7. 信道模型在无线系统中，发送包使用的传输功率这个一个频道参数是可以指定的。对于一个固定的传输率，增加发射功率会提高接收端的信号与噪声比（SNR）并减小丢包的可能性。可通过下面的式子模拟第K个包丢失的概率(3)是包的传输功率，qk代表可用通道状态信息。在许多系统中的发射机能够估计信道状态（使用接收者的导频信号或反馈）。影响到包丢失概率的资源调整的效果的信道状态信息取决于所使用的信道模型。函数F可凭经验或模拟解析决定。例如，在6中 一个基于中断容量概念的分析模型在使用。在此模型中一个包丢失每当在一个传输速率比不信道衰落的能力实现的结果。确定f的另一种可能

17、的方法是在一个给定的调制和编码方案中给误码率划定范围。例如，在8中，一个基于BPSK调制错误的概率的模型在瑞利衰落信道中被使用。除了传输功率，第二个信道参数是传输速率。有很多速率自适应技术比如可变速率传播，自适应调制和编码等 可能会被使用。在现代无限系统中（包括3G蜂窝系统），这些参数可在快速的时间尺度（在10毫秒的顺序）内实现适应。一个包的丢失率可以写成: (4)其中，表示分配到第k个数据包的传输速率。例如，在8中，我们可以认为这个模型是通过使用速率兼容卷积码（RCPC）来调整各个包上的的FEC量，以实现传输速率的适应。一个节能高效的无线视频传输系统需要实现传输功率和实现最佳视频质量所需延迟

18、之间的平衡。例如; 对于一个固定的发射功率，提高传输速率会增加误码率，但降低了传输一定量的数据需要的延迟,（或允许更多的数据将在一个给定的timeperiod发送）。此外，所需的传输能量达到一定程度的扭曲通常与延迟增加而减小。例如，在一个无线系统，传输所需的能量以维持固定的错误的概率可以通过增加传输时间，降低发射功率来实现10。这种发现被用在无线链路以提供节能高效的数据包传输11。四、 节能高效的视频编码和传输在本节我们用几个例子说明如何共同选定源编码和信道参数以实现节能高效的视频编码和传输。a) 联合信源编码和功率匹配联合信源编码和功率分配技术 在源内容和信道状态信息为基础适应每个包的传输功

19、率的方式来处理不同的视频数据包的灵敏度误差。换句话说，这些技术把传输功率用作不等错误保护机制的一部分。在这种情况下，信道编码参数是每个视频数据包功率水平。在12中，视频传输码分多址接入（CDMA）的网络使用一个可扩展的源编码器（三维的SPIHT），差错控制和功率分配。13是一中在带宽限制下的源速率、发射功率分配方案。在6中，要将最佳模式、量化选择和发射功率分配联合起来考虑。为了说明在无线视频传输系统中 联合信源编码和传输参数适应的优势，我们给出了一些实验结果，这正是6中详细讨论的。我们比较了联合信源编码和传输功率分配（JSCPA）方法与独立信源编码和功率分配（ISCPA）方法，其中S和C都是独

20、立调整。图3显示了从“管工“序列预计重建框架，在这两种方法消耗的能量相同。显然，JSCPA相对于ISCPA能够获得更佳的传输质量。图3：在“管工“序列中的92帧：a）原始框架;b）使用JSCPA方法解码器的预期框架;c）使用ISCPA方法解码器的预期框架。图 4a 和4b显示管工“序列的42和43帧。对于43帧，两种方法获得相同预期的视频质量，但传输这个帧JSCPA方法比ISCPA方法少用60%的能量。图4c和4d分别显示使用JSCPA方法和ISCPA方法的包丢失率。较深的MBS对应较低的包丢失率，不传输的MBS用白色标记。正如图4c中所见的，较多的保护措施用于和“管工头部“对应的帧域中。因此

21、，更多的能量被用来输出这个区域。在图4d中，由于ISCPA的丢失率固定不变，这意味着用于传输 与管工头部对应区域和与背景对应区域的能量是相同的。因而ISCPA在传输背景所对应的MBS时浪费了和传输高活动区所需的相同的能量。至于在ISCPA的源编码方式中，视频编码器可能增拨更多的比特给高活动区的数据包，如图4f所示。由于在该方法中传输功率是固定的，因此传输包需要更多的比特数，如图4h。在ISCPA方法中，更多的能量将被用于传输高活动区域，但这些地区被正确接收的可能性和背景是一样的。在JSCPA方法中，比特数和能量分配同时完成，因此，JSCPA方法能够调整每个包的能量，使每个数据包的丢失概率依赖于

22、各自的相对重要性。如图4e和4g。图4：帧a) 42 和b) 43 为原始序列，c)使用JSCPA方法；d)使用ISCPA 的帧43的每宏块包丢失率。对应于较低包丢失率的较深MBS。这不传输宏块显示为白色。使用e）JSCPA办法;f）ISCPA办法每MB使用的比特数。较深MBS对应更多的比特数。使用 g）JSCPA方法;h）ISCPA方法 传输每MB消耗的能源。较深MBS对应更多的功耗。b) 联合信源信道编码和功率匹配在一个高效节能的无线视频系统需要实现传输功率和获得高视频质量所需的延时之间的平衡。8笔者研究了联合信源信道编码和功率的匹配问题，当两个通道参数由信道编码和功率分配组成。容错的源编

23、码是通过模式的选择和使用的RCPC信道编码实现的，假定能量在一个在物理层上是离散可调的。信源信道编码和功率匹配也可以在一个混合无线/有线网络中使用，其由无线和有线两种链接组成，如图5所示。在这种情况下，不同的信道编码可以用来对付不同类型的信道错误：有线网络的丢包和无线链路的误码。14中，Reed -Solomon码用于确保在链路层 包间保护，RCPC码用于在物理层上的包内保护。信道编码的选择需要和信源编码参数选择与功率匹配联合考虑，才能 实现高效节能通信系统。正如我们送看到的，跨层设计是一种在不同类型混合无线/有线网络中处理不同类型的信道错误的强大的方法。图5：混合式无线/有线网络中的视频传输

24、c) 联合信源编码和数据速率匹配联合信源编码和数据速率匹配也被作为一种手段来研究提供能量高效的视频通信。为了保持一定的损失概率，能源消耗随着传输速率增加而增长。因此，为了减少能源消耗，尽可能的降低传输速率是有利的11。除了影响能源消费，传输速率也决定在一定时期内的可传输位数。因此，当传输速率下降，源编码失真增加。联合信源编码和数据速率匹配技术调整源编码参数和传输速率，以平衡端到端的视频质量之间的能源消耗。3是笔者认为最佳的信源编码和传输速率匹配。随机动态规划是用来寻找基于马尔可夫链渠道模型的最佳的信源编码和传输策略。在这一工作中的主要思想是，为了提高性能，可以在信道条件差时期间允许发射机暂停或

25、减缓传输，只要不违反时延约束。五、 结论和未来方向一个决定无线移动视频传输装置的成效的关键因素是它的能量管理策略。本文是概述了一个上行信道的无线节能视频传输系统的设计。为研究这个问题已经提出一个总的框架，其目的是实现以最小的能源消耗获得最好的视频传输质量。我们首先讨论在无线视频通信系统中的主要适应部分会影响的视频传输质量和能量消耗。我们还详细分析了如何操纵这些适应组件，以实现高的能源效率。用最近调查研究中的几个例子来清楚地说明了联合考虑容错源编码和信道参数，包括功率，FEC和速率匹配等的优点。联合在不同的通信层之间的匹配模块，需要增强这些层之间的通信。在传统的分层协议栈，每一层都是独立优化或根

26、据不断变化的网络条件进行匹配。但是，匹配是非常有限的，由于层与层之间相互作用的有限。因此，需要更有效的适应跨层设计，不仅从视频应用的角度2，但也从网络协议的角度15。正如本文所示，用于视频传输的跨层设计旨在通过联合考虑视频编码器和多协议层来提高整体性能和系统的能量效率。在这篇文章中，我们假定在控制器上所需的通道状态信息可执行联合信源信道的匹配。本文没有提到的另一个重要的设计问题 是如何处理在各个网络层之间获取和传递网络层状态信息所使用的开销。在未来，跨层设计将会在新的无线视频通信系统（包括4G无线网络）发展中发挥的重要作用。六、 参考文献1 Z. He, Y. Liang, and I. Ah

27、mad, “Power-Rate-Distortion Analysis for Wireless Video Communication under Energy Constraint,” Proc. SPIE Visual Commun and Image Proc., San Jose, CA, Jan. 2004.2 M. varder Schaaretal., “Adaptive Cross-layer Protection Strategies for Robust Scalable Video Transmission over 802.11 WLANs,” IEEE JSAC,

28、 vol. 21, Dec. 2003, pp. 175263.3 C. E. Luna et al., “Joint Source Coding and Data Rate Adaptation for Energy Efficient Wireless Video Streaming,” IEEE JSAC, vol.21,no.10, Dec. 2003, pp. 171020.4 Y. Eisenberg et al., “VAPOR: Variance-aware Per-pixel Optimal Resource Allocation,” to appear, IEEE Tran

29、s.Image Proc., 2005.5 Y. Wang et al., “Error Resilient Video Coding Techniques,”IEEE Sig. Proc. Mag., vol. 17, July 2000, pp. 6182.6 Y. Eisenberg et al., “Joint Source Coding and Transmission Power Management for Energy Efficient Wireless Video Communications,” IEEE Trans. Circ. and Sys. For Video T

30、ech., vol. 12, no. 6, June 2002, pp. 41124.7 LOzarow,S.Shamai, and A.D.Wyner,“Information Theoretic Considerations for Cellular Mobile Radio, ”IEEE Trans. Vehic. Tech., May 1994, pp. 35978.8 F. Zhai et al., “Joint Source-channel Coding and Power Allocation for Energy Efficient Wireless Video Communications,” Proc. 41st Allerton Conf. Commun., Control,and Comp., Oct. 2003.9 S. Nanda, K. Balachandran, and S. Kumar “Adaptation Techniques in Wireless Packet Data Services,” IEEE Commun. Mag., vol. 38, n