（通信与信息系统专业论文）基于arm平台的分布式视频编码的设计与实现.pdf

摘要 无线多媒体传感器网络( m w s n ) 是在传统无线传感器网络的基础上引入音视 频和图像等多媒体信息的一种新型传感器网络，在社会各个领域中均有广泛的应 用前景。随着可靠性路由协议和多媒体信息处理两大领域研究的不断深入， w m s n 正逐步走向工程应用。 分布式视频编码( d v c ) 作为一种全新的非对称的视频压缩框架，最大优势在于 将编码器的计算负载转移到解码器。对于将这种编码方式应用于w m s n 视频节点， 目前仅限于理论分析。本文尝试在a r m 9 平台上实现d v c 。针对t q 2 4 4 0 开发板 的特性，首先，实现了一种用空间换取时间的d c t 算法，该算法基于d c t 系数 表映射，不需要使用乘法器；接着，对变换后的d c t 系数进行量化和抽取比特平 面操作；最后，实现了一种面向分布式视频编码的t u r b o 码交织器，在分组交织结 束之后，按行列方向分别以不同的s 随机交织器进行交织。实验结果表明，本实 现方案在有限的内存消耗代价下降低了复杂度，一定程度上缩短了交织造成的时 延。在t q 2 4 4 0 上实现基于变换域的w y n e r - z i v 编码器的w z 帧处理是确实可行的。 关键词：a r m 分布式视频编码无线多媒体传感器网络 a b s t r a c t w i r e l e s sm u l t i m e d i as e m o rn e t w o r k s ( m w s n ) a r ew i r e l e s ss e n s o rn e t w o r k s ( w s n ) e x p e c t e dt os u p p o r tm u l t i m e d i as e r v i c e ss u c h 筋d e l i v e r yo fi m a g e s a n d a u d i o v i d e os t r e a m s c o m p a r e dt ot r a d i t i o n a lw i r e l e s ss e n s o rn e t w o r k s ( w s n ) ，t h i si sa n e wa t t e m p t b a s e do ni n - d e p t hr e s e a r c h e so nr e l i a b l yr o u t i n gp r o t o c o la n dm u l t i m e d i a i n f o r m a t i o np r o c e s s i n g ，w m s ni sg r a d u a l l ym o v i n gt o w a r d se n g i n e e r i n ga p p l i c a t i o n f i e l d s d i s t r i b u t e dv i d e oc o d i n g ( d v c ) i san e wp a r a d i g mf o r v i d e oc o m p r e s s i o ni n o p p o s i t i o n o v e rt h ee x i s t i n gv i d e oc o d i n gs t a n d a r d s ，w i t hw h i c hm o s tc a l c u l a t i o n s p e r f o r m e db yt h ee n c o d i n gs i d ea r et r a n s f e r r e dt o t h ed e c o d i t l gs i d e f o ra p p l y i n gt h i s e n c o d i n gm e t h o dt ow m s n v i d e on o d e s ，i ti sc u r r e n t l yl i m i t e dt ot h e o r e t i c a la n a l y s i s t h i sp a p e ra t t e m p t st oi m p l e m e n td i s t r i b u t e dv i d e oc o d i n go na r m 9p l a t f o r m b a s e do n p r o p e r t i e so ft q 2 4 4 0d e v e l o p m e n tb o a r d ，f i r s t l y , ad c ta l g o r i t h ma i m i n g a tt r a d e s p a c ef o rt i m ei s r e a l i z e d t h ea l g o r i t h md e p e n d so nd c tc o e f f i c i e n tt a b l em a p p i n g s a n dd o e s n tn e e dt ou s em u l t i p l i e r s s e c o n d l y , q u a n t i f i c a t i o na n db i t p l a n ee x t r a c t i o na l e p e r f o r m e do nt h et r a n s f o r mc o e f f i c i e n t so fd c t l a s t l y , a ni n t e r l e a v e ri nt u r b oc o d e s f o rd i s t r i b u t e dv i d e oc o d i n gi sr e a l i z e d ，w h i c hd o e si n t e r l e a v i n go p e r a t i o n sr e s p e c t i v e l y i nr o wa n dc o l u m nd i r e c t i o n su s i n gd i f f e r e n ts - r a n d o mi n t e r l e a v e r s a f t e rb l o c k i n t e r l e a v i n g e x p e r i m e n t r e s u l t ss h o wt h a tt h e i m p l e m e n t a t i o n s c h e m er e d u c e s c o m p u t a t i o n a lc o m p l e x i t ya n dd e l a yc a u s e db yi n t e r l e a v i n gt os o m e e x t e n tw i t hl i m i t e d m e m o r yc o n s u m p t i o n c o n s e q u e n t l y , r e a l i z i n g w zf r a m e p r o c e s s i n g o f t r a n s f o r m - d o m a i nw y n e r - z i ve n c o d e ro nt q 2 4 4 0d e v e l o p m e n tb o a r di sf e a s i b l e k e y w o r d s ：a r m d i s t r i b u t e dv i d e oc o d i n gw i r e l e s sm u l t i m e d i as e n s o rn e t w o r k s 第一章绪论 第一章绪论 1 1 课题研究背景 传感器技术的应用始于上个世纪七十年代，最早是采用点对点传输和连接传 感控制器来实现传感器网络的，这就是通常所说的第一代传感器网络时代，此时 信息内容相对单调。伴随着其他基础类学科的发展，第二代传感器网络的技术条 件日渐成熟，其主要特征是具有了获取各种信息信号的综合处理能力。而现场总 线技术开始应用于传感器网络则开启了传感器网络的第三个时代。此外，无线技 术的大发展无疑给了传感器网络又一次划时代飞跃的机会，它使得传感器网络的 应用渗透到了军事、大众生活、科研教育等各个方面，这也标志着无线传感器网 络第四个时代的来临i lj 。 无线传感器网络( w i r e l e s ss e n s o rn e t w o r k s ，w s n ) 有着广泛应用前景的主要原 因在于节点可以大规模随机播撒，以适应日渐复杂的应用环境，尤其是那些不便 于人类工作的地方。w s n 综合了传感器网络技术、无线通信技术和数据处理技术， 可以定义为：大量静止或移动的传感器以多跳和自组织的方式构建的，以协作地 感知、采集、处理和传输网络覆盖地理区域内感知对象的监测信息为目的的无线 网络。 经过二十一世纪第一个十年的迅猛发展，以音视频为主要信息的多媒体技术 已经成为人民生活不可或缺的一部分，它影响着广大群众生活的方方面面。相应 的，无线多媒体传感器网络( w i r e l e s sm u l t i m e d i as e n s o rn e t w o r k s ，w m s n ) 技术就得 到了越来越多的人的关注。w m s n 是在传统的无线传感器网络的基础上引入了音、 视频等多媒体信息，因此节点一般都装备有c m o s 摄像头、微型麦克风、温度传 感器等具有简单环境数据采集功能的传感器设备。与传统的w s n 相比，w m s n 能获取的信息量更为直接、丰富，能实现高精准、细粒度的环境监测【2 】，因此其在 视频监控、环境监测、森林防火、交通监控、智能家居、医疗卫生、科学观测等 领域均有广泛的应用前景p 制。 视频图像作为人类接收信息最为直接和丰富的方式，有着其无可代替的地位。 因此，无线视频传感器网络( w i r e l e s sv i d e os e n s o rn e t w o r k s ) 是w m s n 的一个重要的 研究方向。它通过合理的部署节点，使之按照适当的方式布置在目标区域的周围， 依靠各节点自组成网，从而获取和处理目标环境的视频信息，协同完成特定的任 务。这种特点决定了无线视频传感器网络特别适用于复杂地形和高危险的环境， 美军在阿富汗战争中对森林和山洞等复杂地形的侦查和监控就是依靠无线视频传 感器技术来完成的1 7 j 。 2 基于a r m 平台的分布式视频编码的设计与实现 典型的w m s n 的系统架构如图1 1 所示，其主要组成部分有传感器节点群、 国际互联网、收发设备等8 1 。节点的基本组成部分包括：传感单元( 由传感器和数 模转换模块组成) 、处理单元( 由c p u 、存储器和嵌入式操作系统组成) 、传输 单元( 由各类无线通信网络构成) 以及能源设备，本文涉及的主要是处理单元的 设计和实现。节点可以通过飞机等途径大规模播撒。 感器节点 图1 1 无线多媒体传感器网络系统架构图 通常情况下，传感器节点是具有一定处理、存储和传输能力的微型嵌入式系 统，且由于工作环境的不确定性，只能携带能量有限的电源设备。节点的基本组 成部分包括：传感单元( 由传感器和数模转换模块组成) 、处理单元( 由c p u 、存 储器和嵌入式操作系统组成) 、传输单元( 由各类无线通信网络构成) 以及能源设 备，如图i 2 所示。其中本文涉及的主要是处理单元的设计和实现。在网络功能的 层面上，每个节点须具有传统网络节点的终端和路由的双重功能，不仅要收集和 处理本地信息，还要对本网络内其他节点传输的过来的数据进行转发、存储和融 合等操作，同时还需要协同其他的节点完成一些特定的工作。如何出色的完成这 些既定的功能成为传感器节点的主要研究课题。 m e m o r y s e n s o r h a c d c i 。 c p u 传感器模块 信息处理 无线通讯模块 能量供应模块 图1 2 传感器节点架构图 第章绪论 1 2 研究的现状及意义 当前，w m s n 的研究方向主要包括节点系统设计、媒体协议设计、路由协议 设计以及多媒体信息处理，现分别介绍如下。 1 ) 节点系统设计。目前已经较为成型的节点设计可以分为两类：一类是以微处 理器为核心部件的嵌入式系统设计方式，目前的绝大多数节点都采用了这种方式。 另一类则是采用f p g a 、d s p 和a s i c 等专用器件设计的平台。目前较为成熟的 w m s n 节点设计依然存在以下问题：( 1 ) 功耗较大，严重限制了其大规模的播撒应 用，而c o m s 传感器更是存在体积大的问题。( 2 ) 生存能力弱，c m o s 传感器这类 精密的仪器在播撒或者工作的过程中若遭遇碰撞或者恶劣的天气环境，很容易损 坏，因此生存能力不能保证。对这些问题的解决依赖于能源获取技术，高性能的 低复杂度编码算法和c m o s 技术的进一步发展。目前典型的节点包括i n t e li m o t e p j 以及b u d s t i o - il l 等。 2 ) 媒体协议设计。不同于传统计算机网络和通信网络协议【i 川4 1 ，媒体协议的主 要功能是在相互竞争的传感器节点之间分配有限的无线信道资源【l5 1 ，它决定着无 线信道的运作方式和网络传输性能。在w m s n 中，由于多媒体传输的信息量大且 对网络实时性要求很高，因此媒体协议的设计面临着传输突发性和数据拥塞过载 等问题。休眠机制的选择也对能耗和通信延迟有着不小的影响。目前，媒体协议 设计主要集中在两个方面：基于竞争的媒体协议和基于调度的媒体协议 1 6 1 。值得 关注的是，多输入多输出( m u l t i p l e i n p u tm u l t i p l e o u t p u t ，m i m o ) 技术在这块提供了 很好的解决方案，利用天线多收多发，可以成倍的提高信道容量。 3 ) 路由协议设计。这是w m s n 的研究重点之一，主要实现的是在网络中任意 需要通信的两点间建立并维护数据传输路径。针对w m s n 所具有的节点资源严重 受限、网络拓扑结构变换频繁以及传输方式以数据为中心的特性，目前国内外的 研究人员已经设计了很多路由协议，其中以s p i n t 】和d d t l 8 】等为主要代表。在进 行w m s n 中路由协议设计时遇到的主要挑战有对服务质量( q o s ) 的保障、传感模 型与网络覆盖的差异性对网络拓扑结构和路由协议的影响以及数据聚合问题。目 前国内外对路由协议的研究主要围绕实时路由协议和可靠路由协议两个方面，前 者的典型协议有s a r t l9 1 、y o u n i s t 2 0 1 和s p e e d l 2 1 1 等，后者的典型协议有a f s i 2 2 1 和 r e l n f o r m t 2 3 】等。以上协议在一定程度上满足了w m s n 对实时性的要求，但在诸如 低功耗、低延时、低误码率和高可靠性等方面却没能得到根本的改善，尤其是对 多媒体的支持能力较为有限。 4 ) 多媒体信息处理。作为w m s n 的另一个主要的研究方向，关键是要解决如 何在能量受限、存储受限和处理能力受限的情况下高效的编码多媒体信息。显然， 传统的高复杂度的编码方式不能适应要求。新的编码方式需在高压缩比的前提下， 4 基于a r m 平台的分布式视频编码的设计与实现 尽最大限度的降低编码复杂度。信源编码技术主要面临的问题是，如何在网络拓 扑结构未知的情况下建立视频图像的时间相关性和空间相关性模型。而信道编码 以及运动补偿在解码端的实现也是一个重要的研究内容。 综上所述，w m s n 有着无比广阔的应用前景，但是其在实际应用的过程中还 存在尚未解决的问题。本文着重介绍在多媒体信息处理工作上的一些研究和应用， 我们相信，随着不断的深入研究和广泛应用，w m s n 将会逐渐的深入到人类生活 的方方面面。 1 3 论文内容和主要工作 本文的研究内容是针对w m s n 中的视频编码，其传感器节点的设计存在以下 四个约束前提：1 ) 处理能力有限；2 ) 传输能力有限；3 ) 存储能力有限；4 ) 町用能量 受限。 基于以上四条限制，在本系统的设计中，无论是在硬件平台上还是在编码算 法上都必须围绕着低功耗、小体积、尽可能大的存储空间以及低成本来实现。经 过研究和论证，基于a r m 处理器的嵌入式平台配合上低复杂度的编码算法可以满 足w m s n 的特殊要求。 本文开篇介绍了w m s n 的特点、应用前景和研究现状。然后针对w m s n 的 特点提出一种基于a r m 硬件平台的低复杂度编码算法的解决方案，并论证该方案 的可行性。接下来介绍和分析各类编码算法，结合w m s n 的特点选择最为合适的 编码算法并论证其在a r m 平台上的可行性。最后在基于a r m 处理器的嵌入式 l i n u x 平台下实现编码算法，并结合平台的特性进行优化，以期达到最大的效率。 具体的章节安排如下： 第2 章介绍两种面向d v c 的编码算法，个体信源编码和分布式信源编码的优 缺点和尚未解决的一些问题。针对w m s n 节点的特性，分析并论证了嵌入式a r m 系统作为其硬件平台的可行性和合理性。 第3 章将基于变换域的w y n e r - z i v 编码框架划分为帧内编码、d c t 变换、量 化和抽取比特平面以及s l e p i a n - w o l f 编码器四个模块，并逐个模块介绍其原理和实 现方法。 第4 章针对t q 2 4 4 0 的特点，实现了一种用空间复杂度换取时间复杂度的二维 d c t 变换；接着完成对d c t 系数的量化，并按照z i g z a g 顺序逐个系数子带抽取 比特平面；最后实现了t u r b o 编码器，并对其中的交织器部分做出了面向d v c 的优 化。 第5 章：总结全文所作的工作，并作出下一步的展望。 第二章w m s n 的低复杂度编码算法 第二章w m s n 的低复杂度编码算法 在传统的有线和无线通信环境中，由于所传输视频的帧率和数据量都比较大， 因此一般会采用混合编码方式，以牺牲编码端复杂度为代价来提高数据压缩率， 这里的混合指的是将帧内编码和帧间编码相结合。 2 1w m s n 视频编码算法的特点 依据空间相关性和时间相关性，可以将视频编码算法分为两大类： 帧内编码：帧内编码的目标是消除图像数据的空间冗余，利用的是单帧图像内 部相邻位置的像素点存在较强的相关性的特点。其基本原理是以部分数据来表示 全帧数据，即根据已知的某些像素点的值，通过某种线性关系来预测当前像素点 的值，从而达到压缩视频的效果。 帧间编码：帧间编码的目标是消除图像数据的时间冗余，利用的是相邻帧图像 在对应位置的像素点存在很强的相关性的特点。其基本原理是根据相邻帧像素点 的值来预测当前帧对应像素点的值，从而减小数据量，压缩视频数据。 帧间编码占用大量的计算处理资源，而且这种编码方式的计算复杂度高、数据 存储量大，因此它不适合被用在能量受限、存储受限和处理能力受限的w m s n 中。 另外，w m s n 主要用于区域监控，如对公共场合、军事区域和智能家居的监控等， 其捕获的视频的帧率相对较低，数据量也相对较小，但其要求较低的失真率以便 于目标的追踪分析。不难看出，低计算复杂度、小存储空间的帧内编码是满足 w m s n 的要求的。目前，影响w m s n 中视频编码性能的主要因素有： 1 ) 资源受限：鉴于w m s n 特殊的工作环境，传感器节点一般由便携式电源供 电，存储能力、运算能力和传输能力均受到了很大的限制。通过编码可以减小需 要发送的视频数据量和传输过程中的损耗，但却增加了编码过程的消耗。这二者 是相互矛盾的。同样，压缩率和解码质量也是一对相互矛盾的指标。传感器节点 在不同工作状态下的功耗如图2 1 所示。从图中可以看出，在相同的指令数下，传 输所需要的能量远远大于编码所需要的能量。如何平衡节点资源受限、视频编码 复杂度和视频质量这三者之间的矛盾便成为亟待解决的问题。同时，如何让网络 更加有效率的听信，减少不必要的接收和转发，并在通信结束后尽快进入睡眠状 态，也是在进行w m s n 节点设计时需要重点考虑的问题。 基于a r m 平台的分布式视频编码的设计与实现 1 囊￥等等处p t jz ；发 盖 簧i | 1 【；(。芒1 4 j休t 图2 1w m s n 节点能量消耗情况 2 ) 不可靠性：无线信道的一个显著特征就是误码率比较高，而且其稳定性受环 境变化的影响也比较大。经过编码的视频数据的相关性比较小，对误码也比较敏 感，单个比特的错误会导致后续很多数据的实效，产生蝴蝶效应，从而严重降低 视频质量。在有些应用环境下，对视频数据的实时性的要求很高，因此不适合用 数据重传机制。根据以上论述，编码算法需具备良好的检错和纠错能力，以解决 高误码率无线信道与高质量视频要求之间的矛盾。 3 ) 异构性：在实现有些应用时，如进行多播传输时，由于接收端在网络延迟、 处理能力、能源和带宽等方面都存在着较大的差异，因此给视频传播带来了极大 的困难。 4 ) 带宽波动：视频流的传输需要有一个稳定的带宽，但实际中无线信道的带宽 往往波动剧烈。当网络的带宽无法满足要求时，会造成视频数据的拥塞和分组的 丢失。而分组丢失又会造成数据重建的不流畅，出现马赛克，甚至根本无法解码。 因此，需要解决的还有带宽的不稳定性和视频质量之间的矛盾。 综上所述，w m s n 节点采集的视频数据需要在有损的无线信道里进行可靠的 传输，并要求消耗的能量和发送的数据量都尽可能的小。因此，w m s n 中视频编 码算法的设计要求如下： a ) 复杂度低：传感器节点能源有限的特点决定了我们不可能在节点上进行大规 模复杂的运算。这是因为复杂的运算可能会在很短的时间内将节点的资源消耗殆 尽，这里的资源包括能量和存储空间，从而大大降低节点的寿命和网络使用周期。 因此，对w m s n 中视频压缩算法的一个首要的要求就是算法的复杂度要低。 b ) 压缩率高：同理，若传输的视频数据量太大，一样会在很短时间内耗尽节点 的资源。因此，在w m s n 中，必须采用高压缩率的编码算法以缩小编码后的视频 数据的体积。 c ) 具有一定的容错性：w m s n 中节点的数目庞大，且分布十分的密集。由于环 境因素的不可预测性，节点是很容易出故障的，此时将使网络拓扑结构发生变化， 第二章w m s n 的低复杂度编码算法 7 从而直接影响无线传输的质量，导致产生误码，因此视频编码算法应该具有一定 的纠错能力，也就是容错性。 2 2 面向w m s n 的视频编码算法 传统的两类视频编码标准( m p e g 和i t u t 的h 2 6 x z 4 - 2 5 】) 都使用不对称的编 码方式，编码端隐藏了一个解码器。编码的主要步骤为：变换、量化、熵编码、 对应的解码过程以及运动估计和运动补偿。这就使得编码端的复杂度远远高于解 码端，尤其是运动补偿和运动估计，需要耗费大量的资源，一般来说，编码器的 复杂度是解码器的5 到1 0 倍1 2 州。图2 2 为h 2 6 4 的编码流程。目前，面向w m s n 所设计的视频编码算法，主要有个体信源编码和分布式信源编码两种类型i z 川。 2 2 1 个体信源编码 图2 2h 2 6 4 编码框图 个体信源编码是指在进行编码时各信源之间不需要进行通信，这种编码方式 实现简单，且能很方便的应用在嵌入式传感器节点上，因此被广泛使用。根据采 用的压缩技术的不同，w m s n 的个体信源编码又可以分为单层和多层两种类型。 l 、单层编码 目前，主要的单层编码方案有基于改进离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m , d c t ) 的p e g 和基于差异编码的p e g 。在w m s n 中，传感器节点采集到的数据 在很多时候变化并不剧烈，甚至绝大多数情况下是不变的。根据这个特点，我们 可以分离出参考帧( 可以理解为背景图像) ，并把它们存储在基站端。然后，基站 周期性的将参考帧发送给各个节点，而节点只需计算检测图像和参考帧之间的差 异，并将这些差异传递给基站，从而大幅度的减小了传输的数据量。基于改进d c t 基于a r m 平台的分布式视频编码的设计与实现 的j p e g 则是在处理过程和参数变换上进行优化，并应用到关联性较强的图像压缩 中。 m a m m e r i 在8 8 d c t 变换时提出了一种新的算法 2 8 - 3 0 】，就是选择处理8 8 矩 阵中的一个三角形区域的系数，并提出了选择系数区域尺寸的办法：局部方法是 将图像划分为关注区域和碎片区域，再分别去计算适合的系数区域尺寸；全局方 法则是没有区分的计算适用于图像中所有d c t 系数块的唯一尺寸。但是m a m m e r i 并没有给出识别图像区域的关注等级和自动分配系数块尺寸的方法。 c h i a s s e r i n i 提出了一种用以优化j p e g 的算法【3 1 1 ，该算法用定点d c t 运算去代 替浮点d c t 运算，压缩参考帧减少计算复杂度。将图像区域划分为感兴趣的和不 感兴趣的，提出一种基于变化监测和兴趣区域编码的改进编码方案。证明了在 z i g b e e 网络可顺利传输j p e g 和j p e g 2 0 0 0 图像1 3 2 1 。设计了测试w m s n 传感器节 点，在像素为6 4 0 x 4 8 0 的情况下达到5 帧每秒的传输速度；在3 2 0 2 4 0 像素下， 达到2 0 帧每秒的速度。 综上所述，单层编码的能耗较低，变化检测和差异编码能明显减少通信数据量， 降低因传输而造成的功耗，对d c t 变换提出的一些新算法，也降低了其计算复杂 度，一定程度上满足w m s n 视频节点的设计需求。接下来分析下这类方法的不足 之处： 1 ) 差异编码存在图像数据融合难的问题，因为在节点处并未保存完整的图像信 息。 2 ) 对参考帧的质量有很高的要求，因为参考帧的任何一点错误都会被转移到其 他的帧，从而影响所有图像的质量，“牵一发而动全身”。 3 ) 是一种不具备错误恢复和差错控制功能的信源信道联合编码。 4 ) 能量消耗的降低是以降低图像质量为代价的。 2 、多层编码 多层编码方案主要采用基于小波变换的j p e g 2 0 0 0 编码方法，其中压缩率的变 换是通过改变小波变换层级和量化层级来实现的。具体地说，就是将信号划分为 一个基础层和多个增强层，基础层的优先级高，增强层的优先级低，优先级高的 层采用较强的错误保护，而优先级低的层的差错控制则采用较少的监督位，遇到 信道恶化出现拥塞时则会直接丢弃掉。具体的说，一个比特流出现错误则丢弃所 在层级后续的数据，以防止影响其他层级的数据流。 多层编码中有代表性的算法之一是基于小波图像域分解的多比特流图像编码 方案，依据继承的关系将小波变换系数划分成不同的块，每块分别单独的进行分 层树集合划分( s p i h t ) 算法编码。另外一种代表性算法是基于j p e g 2 0 0 0 的图像传 输系统，将信道编码和能量控制算法结合起来，计算出最优传输分层数量，并针 对每一层提出想用的优化策略。此类算法仅适合点对点的传输，在大规模的网络 第二章w m s n 的低复杂度编码算法 9 应用中需要中继节点的支持。 较单层编码方案来说，多层编码方案的误码率较低，图像质量也有很大的改善， 对于信道的不确定性也能通过信源和信道联合编码去适应。但是多层编码的缺点 同样很明显：首先，码率的灵活调整势必会消耗额外的能量，减少节点和网络的 使用寿命；其次，对于计算处理能力和存储能力也提出了更高的要求；最后，无 法自适应编码变化和层级冗余去调整数据汇集。 前文介绍了单层编码和多层编码的代表性算法，并对比分析了各自的优缺点。 当前的w m s n 的视频个体信源编码的研究主要还是针对单个静态图像编码，因此， 基于复杂度和功耗的考虑，没有将运动估计和运动补偿融合进来。 3 、个体信源编码的一些改进研究 近年来，不少学者对个体信源编码进行了研究，主要针对单层编码和多层编码 存在的一些缺点，综合考虑了w m s n 中视频编码的设计目标和所面临的问题，提 出了改进方向： 1 ) 图像融合 单层编码方案的一个主要缺点是不支持图像的融合。但是w m s n 的工作区域 会覆盖大量的节点，正常工作后节点需要向基站发送相似的图像，产生数据副本， 这些副本只是对现有数据的简单处理和复制，因此并不会增加信息量，但势必会 增加网络的负载，从而容易造成网络的拥塞，也会造成额外的传输消耗。如果在 数据汇聚节点将关联性较强的图像进行融合，便会减少这些额外的开销【3 引。 根据工作环境的不同，传感器的类型也会有所区别，如夜视摄像头、静态彩色 摄像头、全景视觉摄像头等。不同类型的传感器在成像模式上是有区别的，而且 压缩算法也各不相同，但彼此之间存在相关性。为了消除这些冗余性，可以对不 同摄像头采集的数据进行融合，并持续监控区域以获得视频数据的关键事件。图 2 3 给出了特征级图像融合算法的实现框图。图中，汇聚节点对所有传感器采集的 数据进行分类、汇集和综合，实现信息的进一步压缩，并能减小计算量，加快处 理速度。 2 ) 可伸缩视频编码 图2 3 多传感器图像的特征级融合 l o 基于a r m 平台的分布式视频编码的设计与实现 单层编码方案对错误信息不具有检测和纠正的能力，不能进行信源信道联合编 码，在信道干扰很多或带宽不足的情况下，很容易造成分组丢失和误码，降低视 频传输的可靠性。可伸缩视频编码( s v c ) 则增加了码流在传输过程中的适应性。具 体的说，s v c 技术就是把视频信号以分层的形式编码，且当信道带宽不足时只对 基本层的码流进行传输和解码，此时的视频质量较低，当信道带宽逐渐变大时， 再传输和解码增强层的码流，以提高视频质量【3 4 1 。 s v c 编码器提供一个单独的多层嵌套编码，从传输码流中抽取子码流来满足 不同的需求。子码流可以具有较低的帧率和分辨率或者具有不同的比特率，一般 来讲，子码流能满足网络传输速率及终端差异性对视频在空间、时间和质量等方 面的需求。但是，s v c 严重依赖基础层，可靠性得不到保证，并且会增大编码复 杂度，增加能量的消耗。目前，对s v c 的研究还停留在h 2 6 4 a v c 的基础上，如 何设计出针对w m s n 的s v c 方案具有重要价值。图2 4 为带反馈的s v c 编码传 输。 图2 4 带反馈的s v c 编码 3 ) 多重描述编码 在多媒体数据的传输过程中，不可避免的会出现信息丢失问题，尤其是在无 线通信网络中，很多因素都可能导致网络不稳定，进而造成误码、拥塞或者延迟 问题。在多层编码方案中，若基础层发送失败，则增强层数据根本不会被发送， 因而无法保障视频传输的可靠性。传统的解决方法是采用请求重传机制，但这对 实时性要求较高的w m s n 来说是不适合的。多重描述编码( m u l t i p l ed e s c r i p t i o n c o d i n g ，m d c ) 是解决这一问题的另一有效途径，它是一种能有效提高信息传输健壮 性的信道信源联合编码方式。一个原始的视频序列被编码成两个或者更多的数据 流( 称为对视频序列的描述) ，每一个数据流都可以被独立的解码出来。若接收端 收到全部的描述，则对其进行联合解码，从而重构出高质量的视频图像【3 5 1 。若部 分描述在传输过程中丢失，即接收端没有获得全部的数据流，则进行各个数据流 的独立解码，此时重构出的图像也是可以接受的。这是因为信道中传输的多个描 述之间是相互独立的，即使有部分数据丢失，其余信息仍然可以重构出原视频图 像【3 6 1 。图2 5 为二维多重描述编码的构架图。 多重描述编码方案的性能优于单层编码方案，但差于多层编码方案，这是因 第二章w m s n 的低复杂度编码算法 为单层编码中没有容错机制。但是，现有的多重描述编码方案都基于块的运动估 计和运动补偿，多个描述的产生和传输同样会占用很多的资源，因此其能耗更大 【3 7 1 。因此，需要在带宽利用率的提高、数据传输的健壮性和数据冗余的减少之间 寻得一个平衡点，以满足w i v l s n 中的视频编码方案的设计要求。 编码器l 叫解码器 斗 视 无 状 频 线 叫解码器2 卜呻 态 序 网 选 列 络 择 器 。卜码器2 | 叫解码器3 - 。 2 2 2 分布式信源编码 图2 5 二维i v i d c 架构图 在个体信源编码中，主要是利用信号源的统计信息进行编码。分布式编码理论 的核心是把本应该在编码器端的计算转移到解码器，即全部或者部分由解码端利 用信源的统计相关性来实现压缩【3 8 3 9 1 。在编码端，各信源独立编码，各节点之间 没有协作，或者只有少量的协作；在解码端则完全相反，由中心解码器进行联合 解码m 1 。解码器一般是w m s n 的基站，因此不存在能量受限问题。 上世纪七十年代，s l e p i a n 和w o l f 建立了分布式无损编码理论】，w y n e r 和z i v 建立了分布式有损编码理论【4 2 1 ，这为分布式信源编码的发展打下了理论基础。后 人结合了信源编码与信道编码的估计理论，提出利用伴随式来进行分布式信源编 码，自此拉开了分布式视频编码的研究序幕。 ( 1 ) s l e p i a n - w o l f 分布式无损编码理论 对于单个的无记忆信源x p ( x ) ，若编码速率r h ( ) ，则可以达到无损编 码。所谓的无损编码指的是在解码后可以完全恢复原数据，没有失真和偏差。若 对两个信源分别进行编码，然后再联合起来进行解码，则这两个编码器的速率应 该是多大? 很明显，r = r x + r y 日( x ) + 日( 】，) 是满足要求的，但仅仅如此太过于 保守，s l e p i a n 和、) v r o l f 证明了：对于离散无记忆相关信源( x ，只需要满足式( 2 1 ) 的约束条件，则速率对r = ( r x ，r r ) 是可达的： r x h ( xl 】厂) ，r r h ( 】厂ix ) ，尺y + 足y h ( x ，d ( 2 - 1 ) 传统编码方式和分布式编码方式的架构对比如图2 6 所示。 1 2 基于a r m 平台的分布式视频编码的设计与实现 ( a ) 传统编码方式：联合编码，联合解码 ( b ) 分布式编码方式：独立编码，联合解码 图2 6 传统编码和分布式编码的对比 s l e p i e n - w o l f 定理将无损编码可达区域划分成了两个区域，如图2 7 所示。其 中，无损编码区为满足r ( x ) 日( 石) ，r ( y ) 日( 】，) 的区域，错误可消除区为理论上 可消除错误的区域。实际对长序列信号进行编码后，解码的错误率可以趋于零， 独立编码和联合解码可以获得一个较好的效果。 h ( x l y )l ( x ) r x 图2 7 独立同分布信源分布式编码可达区域 ( 2 ) w y n e r - z i v 分布式有损编码理论 w y n e r 和z i v 在s l e p i e n - w o l f 无损压缩编码理论的基础上，提出了解码端边信 息辅助的有损编码理论。将给定失真d 下的码率记为r x m ( d ) ，两边都能得到边信 息y 的情况下的率失真函数记为母i ( d ) 。w y n e r 和z i v 证明了 彤w z ( d ) r r i ( d ) ，d 0 ；在失真的度量为均方误差、y 服从独立高斯分布， 第二章w m s n 的低复杂度编码算法 x = 】，+ u ，u 也服从独立高斯分布且独立于y 的前提下，蹄( d ) = 墨l 工( d ) ，d o 成立；对于一般信源，在均方误差度量下，码率损失小于o 5 b i t s a m p l e 。图2 8 为 实际应用中的w y n e r - z i v 编码框架。 w 蜘e r - z 沁编码器 w y n e r - z i v 解码器 图2 8 实际应用中的w y n e r - z i v 压缩系统 2 2 3 两种分布式视频编解码方案 由w y n e r - z i v 编码理论可知，在分布式视频编码中，各帧独立编码、联合解码， 运动估计和运动补偿由于复杂度太高而被转移到了能量不受限的解码端。基于这 样一个设计理念，近年来，已经有一些设计方案为大家所接受。 l 、基于像素域的w y n e r - z i v 编码 a a r o n 等人提出了基于像素域的w y n e r - z i v ( p i x e l d o m a i nw y n e r - z i v , p d w z ) 动 态视频编码方案【4 3 4 5 1 。在编码之前，视频序列被分为两类：关键帧k 和w y n e r - z i v 帧s 。对于k 帧，只进行传统的帧内编码处理；对于s 帧，进行w y n e r - z i v 编码 处理。s 帧的编码过程为：首先对视频序列进行均匀量化，量化电平为吵，然后 将量化后的序列按照重要性的大小进行排列，形成符号流q ，最后将符号流q 送入 s l e p i a n - w o l f 编码器中进行处理。s l e p i a n - w o l f 编码器主要由码率兼容截断t u r b o 码( r a t e c o m p a t i b l ep u n c t u r e dt u r b oc o d e ，r c p t ) 构成，编码产生的奇偶校验码p 被 缓存起来，在以后的解码过程中根据需求向解码器传输部分校验码。 解码的时候，对于k 帧，进行传统的帧内解码，得到解码后的关键帧k 。而 对于s 帧，解码器利用相邻的解码得到的k 帧或s 帧，通过运动补偿插值得到插 值帧，叠称为边信息，再结合编码端缓存区发来的奇偶校验码p ，对s 进行纠错 解码，得到符号流g ，根据q 的失真情况决定是否向编码端请求更多的附加奇偶 校验码。循环执行“解码请求”操作，直到g 在允许的差错范围内。得到质量可 靠的符号流q 1 后，再结合边信息s 来逐个重构所有的像素值，从而就得到了s 帧的 重构帧s 。p d w z 编码器的结构如图2 9 所示。 1 4 基于a r m 平台的分布式视频编码的设计与实现 帧内编码器帧内编码器 一。一一1 一! s l e p i a 小w o l f 编解码器 图2 9 基于像素域的w y n e r - z i v 编码器结构 p d w z 编码的过程并不复杂，它是在传统编码的基础上减少了运动估计、运动 补偿、d c t 变换以及前向d c t 。s l e p i a n - w o l f 编码器只需要一个交织器和2 个反 馈寄存器，影响编解码效果的因素集中在边信息和反馈上。 2 、基于变换域的w y n e r - z i v 编码 基于像素域的w y n e r - z i v 视频编码器的主要出发点是去除帧间的时间相关性， 而基于变换域的w y n e r - z i v ( t r a n s f o r m - d o m a i nw y n e r - z i v , t d w z ) 视频编码则主要考 虑了w y n e r - z i v 帧内的空间相关性。图2 1 0 为基于变换域的w y n e r o z i v 编码器结 构。 帧虎编码帧间编码 w 删v r 谲赢磊r 。i 旧。踟帧 w 盯_ z i v 编码帧i；馏舀w m7 ：i 、，帖 图2 1 0 基于变换域的w y n e r - z i v 编码器结构 与p d w z 编码器不同，t d w z 编码器在进行编码时，先对w z 帧进行d c t 变 换，得到变换系数后再进行独立均匀量化，量化电平为2 帆，接着将量化得到的数 据送入基于r c p t 的s l e p i a n - w o l f 编码器中，产生奇偶校验码。系统会将这些校验 第二章w m s n 的低复杂度编码算法 1 5 码暂存到缓冲器中，以便在解码的时候根据需求回传部分校验码给解码器。 在进行解码时，对于w y n e r - z i v 帧，解码器首先利用已重构的k 帧或s 帧， 以运动补偿插值的方式得到边信息肜，对边信息进行d c t ，得到x ，将x 按频段 划分，然后t u r b o 解码器利用编码端发送过来的奇偶校验码对各频段依次解码，并 根据重构图像的质量来决定是否需要请求更多的附加校验码，同p d w z 解码过程 一样，重复“解码请求”操作，直到满足重构图像的质量要求。 分布式视频编码十分依赖信源和边信息之间的统计特性，并且需要反馈信道， 因此会造成一些延迟。基于像素域的分布式视频编码系统是最为简单的，编码器 既不需要运动估计和预测，也不需要d c t 变换和i d c t 变换。基于变换域的分布 式视频编码系统的复杂度较基于像素域的分布式视频编码系统有所增加，但是却 提高了编码效率。在相同序列下的测试结果表明，基于变换域的编码系统比基于 像素域的编码系统有大约2 d b 的增益。 2 3 本章小结 本章的主要工作是介绍现有的一些w m s n 中的视频编码算法，从而为w m s n 节点平台的研究提供算法依据。在第一节中，通过分析w m s n 节点的特点得出了 w m s n 中视频编码算法设计的三点要求：低复杂度、高压缩率和具有一定的容错 性。随后，在第二节里介绍了两大类面向w m s n 节点的视频编码算法个体信 源编码和分布式信源编码。个体信源编码分为单层编码和多层编码，分别介绍了 其优缺点，并对比了主要特性。分布式信源编码分为基于像素域的w y n e r - z i v 编码 和基于变换域的w y n e