（信号与信息处理专业论文）面向无线移动终端的h264编码复杂度控制技术研究.pdf

摘要摘要随着计算机技术和信息处理技术的飞速发展，m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) 与i t u t ( i t ut e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ) 于2 0 0 3 年联合推出了新一代视频编码标准h 2 6 4 。该标准通过引入诸多先进的编码技术，极大地提高了编码压缩性能。h 2 6 4 还具有良好的网络传输适应性，能够满足多种视频应用的需求，目前已被广泛应地用于视频通信、流媒体和数字广播等领域。然而，h 2 6 4 压缩效率的提高是以极高的运算复杂度为代价的。由于无线移动终端( w m t ，w i r e l e s sm o b i l et e r m i n a l ) 的电池供电能量限制，很难长时间运行这种高运算复杂度的视频编码算法。因而，如何解决高复杂度编码算法的巨大能耗与无线移动终端的有限能量之间的矛盾，实现编码性能与能耗复杂度之间的是优折中，成为当前无线多媒体通信领域的研究热点。本文面向无线移动终端，研究了基于h 2 6 4 标准的视频编码复杂度控制技术，主要研究内容包括：首先，对h 2 6 4 编码器各主要模块的复杂度进行了深入的分析，然后定义了帧内( i n t r a ) 和帧间( i n t e r ) 预测编码复杂度的度量方法。其次，提出了一种h 2 6 4 帧内预测编码的复杂度分配和控制( c a c ，c o m p l e x i t ya l l o c a t i o na n dc o n t r 0 1 ) 算法。该算法首先对宏块( m b ，m a c r o b l o c k )进行边缘方向分析，然后根据分析结果对帧内候选预测模式进行了优先级重排序，从而使编码器在进行复杂度分配和控制时，优先将可用复杂度分配给优先级高的帧内预测模式，在尽可能保证视频编码质量的前提下，实现了对帧内预测编码复杂度的有效分配和控制。第三，提出了一种h 。2 6 4 帧间预测编码的复杂度分配和控制算法。该算法基于宏块的纹理特性和边缘方向分析，首先对帧间候选预测模式进行了优先级重排序，并将复杂度参量引入传统的率失真( r d ，r a t e d i s t o r t i o n ) 代价函数，建立了新的率失真复杂度( r d c ，r a t e d i s t o r t i o n c o m p l e x i t y ) 代价函数，实现了编码性能与复杂度之间的折中，使编码器可以自适应地将当前可用复杂度优先分配给优先级高的帧间预测模式，并及时判断是否有必要进行小块分析和亚像素精度运动矢量搜索，从而有效控制了帧f h j 预测编码的复杂度。北京t 业大学工学硕= l ：学位论文第四，将帧内和帧间预测编码复杂度分配和控制算法相结合，根据无线移动终端的能量特点，提出了一种h 2 6 4 编码复杂度可分级控制( c s c ，c o m p l e x i t ys c a l a b l ec o n t r 0 1 ) 算法。该算法能够根据无线移动终端的能量状况，对h 2 6 4 编码复杂度进行自适应地分级调节。实验结果表明，该算法在极大地降低了编码复杂度的同时仍可保证一定的视频编码r - d 性能，从而延长了无线移动终端的电池工作寿命。最后，建立了一个基于p d a ( p e r s o n a ld i g i t a la s s i s t a n t ) 的无线局域网( w l a n ，w i r e l e s sl o c a la r e an e t w o r k ) 环境下的视频传输演示平台，实现上述算法的验证和演示。关键词h 2 6 4 ，预测编码，复杂度控制，复杂度分配，无线移动终端a b s t r a c ta b s t r a c tw i t ht h ef a s td e v e l o p m e n to fc o m p u t e rt e c h n i q u e sa n di n f o r m a t i o np r o c e s s i n gt e c h n i q u e s ，t h en e w l yv i d e oc o d i n gs t a n d a r d - - h 2 6 4w a sp r o p o s e db yt h em o v i n gp i c t u r ee x p e r tg r o u p ( m p e g ) a n di t ut e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r( i t u t ) i nt h ey e a r2 0 0 3 h 2 6 4h a sa d o p t e dan u m b e ro fa d v a n c e dc o d i n gt e c h n i q u e st oi m p r o v et h ec o d i n ge f f i c i e n c y , a n da l s oh a saf r i e n d l yn e t w o r ka p p l i c a b i l i t y , w h i c hc a nm e e tt h e r e q u i r e m e n t so fv a r i o u sv i d e oa p p l i c a t i o n s t h e r e f o r e ，h 2 6 4c a nb ew i d e l yu s e di nv i d e oc o m m u n i c a t i o n ，s t r e a m i n gm e d i aa n dd i g i t a lb r o a d c a s ta n ds oo n h o w e v e r , t h ee n h a n c e m e n ti nc o d i n ge f f i c i e n c yo fh 2 6 4h a sb e e na c h i e v e da tt h ec o s to fac o n s i d e r a b l ei n c r e a s ei nc o m p u t a t i o n a lc o m p l e x i t y aw i r e l e s sm o b i l et e r m i n a l ( w m t ) c a nn o ta f f o r ds u c hah i g hc o m p l e xv i d e oc o d i n ga l g o r i t h mt oo p e r a t ef o ral o n gt i m eb e c a u s ei t sb a t t e r yi se n e r g yl i m i t e d t h e r e f o r e ，h o wt of i g u r eo u tt h ec o n f l i c tb e t w e e nt h eh u g ep o w e rc o n s u m p t i o no fe n c o d e ra l g o r i t h ma n dt h el i m i t e db a t t e r ye n e r g yo ft h ew m t , s oa st of i n da no p t i m a lt r a d e o f fb e t w e e nt h ec o d i n gp e r f o r m a n c eo ft h ee n c o d e ra n dt h el i m i t e dp o w e r c o m p l e x i t yo ft h ew m t , h a sb e c o m eah o tt o p i ci nw i r e l e s sm u l t i m e d i ac o m m u n i c a t i o nf i e l d s 。i nt h i sp a p e r , t h er e s e a r c ho nh 2 6 4b a s e dc o m p l e x i t yc o n t r o lt e c h n i q u ef o rw i r e l e s sv i d e ot r a n s m i s s i o ni sc a r r i e do u to nw m t t h em a i nr e s e a r c h e si n c l u d e ：f i r s t ，w ea n a l y z et h ec o m p l e x i t yo ft h eh 2 6 4e n c o d e rd e e p l y , a n dd e f i n e dt h em e a s u r e m e n t so ft h ei n t r aa n di n t e rp r e d i c t i o nc o d i n gc o m p l e x i t y t h e n ，a ne f f i c i e n tc o m p l e x i t ya l l o c a t i o na n dc o n t r o l ( c a c ) a l g o r i t h mf o ri n t r ap r e d i c t i o nc o d i n gi nh 2 6 4i sp r o p o s e d ，w h i c hf i r s t l yr e a r r a n g e st h ec a n d i d a t ei n t r ap r e d i c t i o nm o d e sw i t hp r i o r i t i e sb a s e do nt h ea n a l y s i so fam a c r o b l o c k ( m b )e d g e d i r e c t i o n ，s oa st oa l l o c a t et h ea v a i l a b l ec o m p l e x i t yt ot h em o d e sw i t hh i g hp r i o r i t i e sf i r s tw h e np e r f o r mt h ec o m p l e x i t yc o n t r 0 1 t h i sc a na c h i e v ea ne f f i c i e n tc o m p l e x i t ya l l o c a t i o na n dc o n t r o lf o ri n t r ap r e d i c t i o nc o d i n gw i t hm i n i m u mi i i 北京t 业大学工学硕十学位论文d e g r a d a t i o ni nv i d e oq u a l i t y n e x t ，a ne f f i c i e n tc o m p l e x i t ya l l o c a t i o na n dc o n t r o la l g o r i t h mf o rh 2 6 4i n t e rp r e d i c t i o nc o d i n gi sp r o p o s e d b a s e do nt h et e x t u r ea n de d g e d i r e c t i o na n a l y s i so fa nm b ，t h i sa l g o r i t h mf i r s t l yr e a r r a n g e st h ec a n d i d a t ei n t e rp r e d i c t i o nm o d e sw i t hp r i o r i t i e s ；t h e n ，an e w l yr a t e d i s t o r t i o n - c o m p l e x i t y ( r d - c ) o p t i m i z a t i o nc o s tf u n c t i o ni sp r o p o s e db yc o m b i n i n gt h ec o m p l e x i t yp a r a m e t e rw i t ht h et r a d i t i o n a lr a t e d i s t o r t i o n ( r d ) c o s tf u n c t i o n ，w h i c hc a nm a k eat r a d e o f fb e t w e e nt h ec o d i n gp e r f o r m a n c ea n dc o m p l e x i t y b yu s i n gt h i sa l g o r i t h m ，t h ee n c o d e rc a na d a p t i v e l ya l l o c a t et h ea v a i l a b l ec o m p l e x i t yt oe a c hi n t e rp r e d i c t i o nm o d ea c c o r d i n gt oi t sp r i o r i t y , a n dd e t e r m i n ew h e t h e ri ti sv a l u a b l ep e r f o r m i n gt h es u b b l o c kp a r t i t i o n sa n ds u b - p i x e lm o t i o nv e c t o rs e a r c h ，s oa st oc o n t r o lt h ec o m p l e x i t yo fi n t e rp r e d i c t i o nc o d i n ge f f i c i e n t l y a f t e r w a r d ，a c c o r d i n gt ot h ee n e r g yc h a r a c t e ro ft h ew m t ，t h ec o m p l e x i t ys c a l a b l ec o n t r o l ( c s c ) a l g o r i t h mf o rh 2 6 4e n c o d e ri sp r o d u c e db yc o m b i n i n gt h ep r o p o s e dc a ca l g o r i t h m st o g e t h e r , w h i c hc a na d ju s tt h eh 2 6 4c o d i n gc o m p l e x i t ya ts c a l a b l el e v e l sa d a p t i v e l ya c c o r d i n gt oc u r r e n te n e r g yc o n d i t i o no faw m t e x p e r i m e n t a lr e s u l t ss h o wt h a to u ra l g o r i t h mc a nm a i n t a i nt h er dp e r f o r m a n c eo ft h ee n c o d e rw h e nt h ec o d i n gc o m p l e x i t yi sc o n t r o l l e da tl o wl e v e l s ，s oa st op r o l o n gt h eo p e r a t i o n a ll i f e t i m eo ft h eb a t t e r yf o rh a n d h e l dd e v i c e s f i n a l l y , w ep r o p o s eav i d e ot r a n s m i s s i o ns y s t e mb a s e do nt h ep d a ( p e r s o n a ld i g i t a la s s i s t a n t ) p l a t f o r m so v e rw i r e l e s sl o c a la r e an e t w o r k ( w l a n ) t ov a l i d a t ea n dp e r f o r mt h ep r o p o s e da l g o r i t h m k e y w o r d s ：h 2 6 4 ，p r e d i c t i o nc o d i n g ，c o m p l e x i t yc o n t r o l ，c o m p l e x i t ya l l o c a t i o n ，w i r e l e s sm o b i l et e r m i n a l1 v 独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。繇翅臻吼珥上：关于论文使用授权的说明本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。虢饵新签名；避吼毕第1 章绪论1 1 课题背景第1 章绪论1 1 1 视频编码标准的发展近年来，视频编码标准有了飞跃性的发展。从1 9 8 8 年c c i t t ( c o n s u l t a t i v ec o m m i t t e ef o ri n t e m a t i o n a lt e l e g r a p ha n dt e l e p h o n e ) 发布的h 2 6 1 标准到1 9 9 5 年i t u t ( i t ut e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ) 推出的h 2 6 3 标准，从19 91年m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) 推出的m p e g 1 到1 9 9 9 年通过的m p e g 4 ，这些标准的发展都是以在尽可能提高编码压缩比条件下获得尽可能好的图像质量为目标的【i 】。随着网络通信技术的不断发展，视频编码的目标由面向存储开始转向面向传输。面对无线信道带宽有限、误码率高等特性，需要一个高效、容错性强的视频编码标准来解决由此产生的一些问题。于是，2 0 0 3 年3 月，h 2 6 4 视频编码标准应运而生。作为新一代视频编码压缩标准，h 2 6 4 致力于为新一代的视频应用提供编码解决方案，提供显著增强的编码效率和视频重建质量，因而有着无可比拟的优越性。它采用了帧内( i n t r a ) 预测编码、多模式运动估计、多参考帧、整数变换与量化、去块效应滤波器、熵编码等多种先进的技术，与以往编码标准相比，主要具有以下特性【l 刮：1 ) 更高的压缩编码效率：与m p e g 4 等以往的标准相比，在3 0 一- , 3 5 d b 的解码质量范围内，能节约3 0 - - 5 0 的码率。2 ) 误码恢复能力：提供了解决网络传输包出错和丢失问题的恢复工具，显著提高了解码端的差错恢复能力，适用于干扰较强和误码率较高的无线网络中的数据传输。3 ) 良好的网络传输适应性：h 2 6 4 的语法在概念上可分为视频编码层( v c l ，v i d e oc o d i n gl a y e r ) 和网络抽象层( n a l ，n e t w o r ka b s t r a c t i o nl a y e r ) 。v c l 实现对视频序列的高效压缩，n a l 对应于网络的信息包传输过程，两个层次相结合，使得h 2 6 4 的编码信息可以更好地适应网络数据封装以及不同网络的传输特性。2 ) 自适应的延时性能：既能工作于低延时的实时通讯应用，如视频会议等，也能用于没有延n 郴艮制的应用，如视频存储等。目前，h 2 6 4 标准定义了四个档次，即：基本档次( b a s e l i n ep r o f i l e ) 、主档北京t 业大学工学硕i ：学位论文次( m a i np r o f i l e ) 、扩展档次( e x t e n d e dp r o f i l e ) 和高档次( h i g hp r o f i l e ) 【引。每个档次支持一组特定的编码功能，同时也详细说明了编码器和解码器怎样才能与该档次兼容。其中基本档次是面向视频通信的，主要应用于可视电话，视频会议和无线通信等领域，是视频通信中广泛采用的一种档次【z j 。h 2 6 4 标准经推出，立刻引起了产业界和学术界的广泛关注，已经成为无线多媒体通信、地面数字广播、多媒体产品制造等诸多领域最炙手可热的研究热点。虽然h 2 6 4 通过采用先进技术极大地提高了压缩比，但同时也引入了极高的计算复杂度，与m p e g 4 和h 2 6 3 相比，其复杂度增加了近l o 倍1 3 】。这种复杂度的提高，一方面为实现编码的实时性处理增加了难度；另一方面，这种高复杂度的编码算法消耗的能量也很大，因而无法直接应用于能量受到电池供电限制的无线移动终端。1 1 2 无线移动终端的发展随着移动计算技术的不断发展，越来越多的人们开始追求移动性和便利性的办公，因而无线移动终端( w m t ，w i r e l e s sm o b i l et e r m i n a l ) 诸如智能手机、p d a ( p e r s o n a ld i g i t a la s s i s t a n t ) 以及笔记本电脑等得到了人们的广泛青睐。而微电子制造技术的不断进步，使无线移动终端的性能得到了前所未有的提高，利用这些无线移动终端进行多媒体通信的设想已经成为可能 4 1 。当前无线移动终端的小型化和手持化发展趋势不断加强，体积小、重量轻、可移动性强、功能完善的小型无线移动终端以其特有的诸多优点脱颖而出，成为无线视频通信领域中的重要开发平台。现有的业务种类已经是琳琅满目，语音、短信、彩铃、彩信、w a p 浏览、无线下载、流媒体，互联网上的各种各样的业务都已逐步在移动通信系统中得到应用1 4 j 。虽然无线移动终端在性能上已经可以满足多媒体通信的需求，但是这些无线移动终端也有着它一定的局限性，如屏幕尺寸不够大、分辨率不够高、处理能力不足，无线网络传输数据带宽有限、误码率高，以及电池供电能力有限等。无线网络的有限带宽和高误码率要求视频编码算法的性能较高，而高性能的h 2 6 4编码算法必然引入极高的编码复杂度。因此，若想在能量有限的无线移动终端上实现h 2 6 4 编码器，如何有效地控制和降低编码复杂度，从而尽可能地延长无线移动终端的工作时间就成为研究的重点。1 2 研究意义高效的视频编码算法虽然可以提升编码性能，但也会造成编码复杂度的大幅度增加。然而，对于能量受到供电电池制约的无线移动终端而言，这种运算复第1 章绪论杂度极高的编码算法是很难长时间运行的。为了延长无线移动终端的工作时间，要求视频编码算法必须能够自适应地调节其自身的编码复杂度和能量消耗以适应无线移动终端的有限能量筘j 。因此，本文面向无线移动终端，研究了h 2 6 4 编码复杂度控制技术，期望通过有效的复杂度分配和控制算法，使h 2 6 4 编码复杂度可以根据当前无线移动终端的能量条件自适应地调整，从而在尽可能保证视频编码性能的前提下，延长无线移动终端的电池工作寿命。1 3 论文的研究内容为了研究有效的h 2 6 4 编码复杂度分配和控制算法，实现编码复杂度的自适应调整，在保证视频编码性能的情况下，延长无线移动终端的工作时间，确定本文的研究内容为：首先，通过对h 2 6 4 编码器各主要模块复杂度的深入分析，确定描述编码复杂度的度量值和方法。其次，通过分析h 2 6 4 帧内预测编码的自身特性，结合宏块( m b ，m a c r o b l o c k )边缘方向分析，对候选帧内预测模式进行优先级重排序：在此基础上，提出了一种h 2 6 4 帧内预测编码的复杂度分配和控制( c a c ，c o m p l e x i t ya l l o c a t i o na n dc o n t r 0 1 ) 算法，在进行复杂度分配和控制时，使编码器优先将可用复杂度分配给高优先级的帧内预测模式，从而有效控制了帧内预测编码的复杂度。“第三，基于宏块的纹理特性和边缘方向分析，实现对候选帧间( i n t e r ) 预测模式的优先级重排序，并通过引入复杂度控制参数，建立率失真复杂度( r d c ，r a t e d i s t o r t i o n c o m p l e x i t y ) 代价函数；进而，提出一种h 2 6 4 帧间预测编码的复杂度分配和控制算法，使编码器可以自适应地将当前可用复杂度优先分配给优先级高的帧间预测模式，并及时判断是否有必要进行小块分析和亚像素精度运动矢量搜索，实现对帧间预测编码复杂度的有效分配和控制。第四，将帧内和帧间预测编码复杂度分配和控制算法相结合，根据无线移动终端的能量特点，提出一种h 2 6 4 编码复杂度可分级控制( c s c ，c o m p l e x i t ys c a l a b l ec o n t r 0 1 ) 算法，根据无线移动终端的能量状况，对h 2 6 4 编码复杂度进行自适应地分级调节，在尽可能保证视频质量的同时，延长无线移动终端的电池工作寿命；最后，建立无线局域网( w l a n ，w i r e l e s sl o c a la r e an e t w o r k ) 下p d a 问北京工业大学工学硕士学位论文的视频传输演示平台，实现算法的验证和演示。1 4 论文的结构安排论文共分为7 章，安排如下：第l 章绪论。首先阐明了研究背景和研究意义，然后概括了论文的主要工作以及论文结构安排。第2 章无线移动终端上的资源优化分配研究进展。从信源编码、信道传输和跨层联合优化这三方面详细介绍了国内外在无线移动终端资源优化分配方面的研究进展；重点介绍了基于h 2 6 4 编码标准的快速算法和复杂度控制技术等方面的研究现状；并分析了现有算法的发展趋势和不足，制定了本文的研究思路和方向。第3 章h 2 6 4 编码器的复杂度分析与度量。首先介绍了h 2 6 4 标准的相关技术；然后具体分析了h 2 6 4 编码器各个模块的复杂度，重点分析提出了帧内和帧间预测编码模块的复杂度及其度量方法，为下一步复杂度控制算法的实现打下基础。第4 章h 2 6 4 帧内预测编码的复杂度分配和控制算法。本章首先给出了基于像素边缘方向分析的帧内候选预测模式优先级重排序算法；然后在此基础上，提出了给定复杂度条件下帧内预测编码的宏块层复杂度分配和控制算法，并给出了实验结果，以验证算法的有效性。第5 章h 2 6 4 帧间预测编码的复杂度分配和控制算法。本章可分为三部分：第一部分进行了基于宏块纹理分析的帧问候选预测模式的优先级重排序；第二部分在传统r d 最优化判决函数的基础上，通过引入复杂度限制条件，提出新的r d c 最优化判决函数，并给出了基于该判决函数的快速编码流程；最后，提出了给定复杂度条件下帧间预测编码的宏块层和帧层复杂度分配和控制算法，并给出了实验结果，以验证算法的有效性。第6 章h 2 6 4 编码复杂度可分级控制算法。本章通过将帧内和帧间预测编码的复杂度分配和控制算法相结合，并根据p d a 平台的能量特点，提出了h 2 6 4编码复杂度可分级控制算法，实现编码复杂度的自适应分级调节，以延长无线移动终端的电池工作寿命。第7 章无线局域网环境下的视频传输演示平台。本章主要介绍了相关网络通讯协议及无线环境下p d a 平台间的视频通信系统的实现，将h 2 6 4 编码复杂度可分级控制算法付诸实践。论文最后给出结论与展望。对本文主要工作进行总结，并对下一步工作进行展望。第2 章无线移动终端e 的资源优化分配研究进展第2 章无线移动终端上的资源优化分配研究进展随着多媒体技术的不断发展，很多高效的视频编码压缩算法，如h 2 6 4 视频编码标准，通过采用诸多先进的编码技术极大地提高了编码性能，以满足日益增长的视频数据需求量；但与此同时，这些高性能压缩算法也带来了巨大的编码复杂度。对于无线移动终端这类资源严重受限的移动平台而言，高复杂度的编码算法势必带来大量的能量耗损，缩短了无线移动终端的工作时间。因而，如何实现有限资源的合理优化分配就成为无线多媒体通信领域的研究重点。本章首先从信源编码、信道传输和跨层联合优化这三方面介绍了国内外在无线移动终端资源优化分配方面的研究进展，其中重点介绍了基于h 2 6 4 编码标准的快速算法和复杂度控制技术等方面的研究进展，并分析了现有算法的发展趋势和不足。2 1 引言多年来，在无线视频传输的系统、理论、技术、框架以及应用方面的研究早已成为国际性的热点问题，越来越多的学者和研究机构纷纷加入到无线视频传输的研究领域中来。在无线信道中传输视频，就必然受到无线信道条件的制约：由于信道带宽有限，而视频数据量大，因此在传输之前必须对视频数据进行高效压缩；而无线信道的信道误码率很高，要保证视频质量，信源编码需要具有一定的抗误码能力；此外，无线信道具有时变性，其可用带宽是波动的，因此要求信源编码能够根据信道状况做出自适应地调整。为了解决无线视频传输中面临的各种问题，许多学者从从信源、信道和终端这三个角度出发，研究了各种视频编码和传输控制技术。最初人们对信源编码和信道编码的优化是独立进行的。根据香农的分离原理，信源编码和信道编码可以分别设计，而且这种局部最优能使系统总体性能达到最优1 6 】。但是这一重要结论的假设前提是：第一，无论对于信源编码，还是对于信道编码，都需要假定编码块长无限；第二，必须预先掌握传输信道的统计特性。显然，上述两条假设在实时的通信系统设计中往往得不到满足。如果仍然采用局部优化的设计方法会使得系统设计过于冗余而整体性能达不到最优。为此，人们提出了信源信道联合编码( j s c c ，j o i n ts o u r c ec h a n n e lc o d i n g )的思想。这是一种兼顾视频传输效率和质量的有效方法，目标是通过联合优化信源、信道编码器来获得最优的端到端( e n d t o e n d ) 传输性能【7 母j 。但是，这些研究都是只局限在对信道带宽等资源的最优化分配上，解决的是传输带宽和传输质北京工业大学工学硕士学位论文量之问的矛盾，而且多数情况都是在p c 机平台上进行研究的，优化过程并没有涉及到信源编码、信道传输的能量消耗问题。移动多媒体技术的不断发展使得p d a 等无线移动终端上的多媒体通信成为可能。这些无线终端的特点是电池供电，供电能力有限。特别是在进行视频等多媒体信息的通信时，由于算法的复杂度较高，消耗能量较大。为此，h e 等人将资源、能量等因素引入到传统的率失真( r d ，r a t e d i s t o r t i o n ) 分析中，提出了资源率失真分析的概念l l 。也就是说从仅考虑编码速率与图像质量之间的关系过渡到考虑码率、能量供应和计算复杂度等诸多因素之间的协调关系。近年来，面向无线移动终端的功耗和复杂度控制问题越来越引起人们的重视。这方面的研究主要表现在：信源编码端的资源优化分配研究，信道和传输端的资源优化分配研究，跨层联合资源优化分配研究这三方面。下面对这三方面的研究进展情况分别进行介绍。由于h 2 6 4 的高复杂度编码算法在能耗和复杂度控制方面犹有研究价值，因此对其进行了独立说明。2 2 信源端的资源优化分配信源端的资源优化分配，考虑的是可用能量、复杂度在各个编码模块之间的最优化分配，目的是实现在保证一定视频重建质量前提下，编码器能耗和复杂度最小；或是在一定能量和复杂度限制条件下，实现编码视频重建质量的最优。l a n 等人在1 9 9 8 年就进行了相关研究，提出了无线移动终端上的能耗最小化的h 2 6 3 编码优化算法l ：该算法根据当前的信道状况，如信道衰减和噪声等，自适应地选择最佳的编码模式进行编码，从而节省了能量消耗。c h a n 等人针对c d m a ( c o d ed i v i s i o nm u l t i p l ea c c e s s ) 网络，研究了网络有限资源在不同用户节点的分布，建立了单个用户的h 2 6 3 编码最优化r d 模型，通过选择最佳的编码参数，实现了资源受限条件下的端到端失真的最小化l i2 1 。k i m 等则通过引入误码恢复技术建立了h 2 6 3 编码器的端到端失真模型，进而实现目标误码率下的最优化能量分配l i3 1 ，等等。h e 等人则基于m p e g 4 标准提出了建立功耗率失真( p r d ，p o w e r - r a t e d i s t o r t i o n ) 模型的新思路，通过分析m p e g 4 编码器各模块的复杂度，将复杂度控制参数引入传统的r d 模型，建立了p r d 模型，该模型可以寻找到最佳的编码复杂度控制参数，从而将当前可用复杂度优化分配到各个编码模块，实现了在给定能量条件下，视频编码质量的最优i l4 。此外，h e 等人还将该p r d 模型应用于无线视频传感器网络( w v s n ，w i r e l e s sv i d e os e n s o rn e t w o r k )中的节点中，结合无线传输功耗模型，实现了整个网络的有限资源在不同无线传感器节点之问的最优化分配，从而延长整个w v s n 网络的工作时问l l5 | ，等等。第2 章无线移动终端j j 的资源优化分配研究进展以上算法都在一定程度上实现了编码端复杂度和能耗的控制和调节，对无线移动终端上的有限资源进行了优化分配。2 3 信道和传输端的资源优化分配信道是无线通信系统中的一个重要环节，因此，与信道编码和网络状态相关的能量控制技术也为研究人员所重视。k i m 等人研究了具有多径衰落效应的c d m a 网络传输能量最优化控制算法，该算法根据数据包的重要性来控制其误码率的大小，从而实现限定视频重建质量下传输能量的最小化【l 州。文献f 1 7 】研究了在高斯白噪声( a w g n ，a d d i t i v ew h i t eg a u s s i a nn o s i e ) 信道中最优化传输嵌入式m p e g 4f g s ( f i n eg r a n u l a r i t ys c a l a b i l i t y ) 码流的问题，将最优化能量分配方案与前向差错恢复( f e c ，f o r w a r de r r o rc o r r e c t i o n ) 机制相结合，实现了多种调制情况下视频数据传输的非均衡差错保护。j i a 等人则针对a d h o c 无线网络提出了一种传输功耗控制算法，通过建立新的传输功耗模型使各网络节点可以根据自身传输距离和信道冲突，选择适合的传输功率级别，从而在很大程度上提高了网络吞吐量，节省了传输能量资源【1 8 1 。文献 1 9 】给出了一种无线传感器网络中的传输能量控制算法，并进行了理论分析，证明动态传输能量控制更加适用于低能量、低工作周期的m a c ( m e d i aa c c e s sc o n t r 0 1 ) 协议网络，等等。除此之外，还有很多类似的、面向不同网络结构的传输功耗控制算法，以及与视频编码算法相结合的传输控制算法【1 2 , 1 5 , 2 0 】。设计这些算法的目的是使视频数据的传输功耗可以根据网络和当前能量状况进行自适应调节，从而为基于无线移动终端的通信系统资源最优化分配打下基础。2 4 跨层的联合资源优化分配传统的o s i ( o p e ns y s t e mi n t e r c o n n e c t i o n ) 七层模型采用框架性的设计方法，通过七个层次化的结构模型：物理层、数据链路层、网络层、传输层、会话层、表示层、应用层，使位于不同网络的系统之间实现可靠通讯1 2 。其模块化的分层设计思想，使每一层都可以独立开发，把通信系统的问题划分为多个小问题来逐解决，简化了整体系统设计，便于有针对性地解决每层各自的问题而不影响其它层的功能实现，从而实现了各个层次的局部最优化设计。但同时，这种分层的模型结构很难实现系统整体上的最优化。独立分层必然引入层间通信问题，通信的不同步，参数的不易协调等均增加了整体实现难度。因此，为了实现系统资源在各个层次上的最优化分配，许多研究学者从设计北京t 业大学t 学硕1 ：学位论文方法和应用角度等多个角度对无线视频通信中的功耗和复杂度控制问题进行了深入的研究，提出了许多带有功耗控制的跨层次联合优化设计思想【2 2 刃】。一方面，针对调制、信源信道编码、无线信道的特性进行研究。另一方面，对信源、信道内在的相关性进行研究；在此基础上，还充分考虑无线移动终端的功耗和网络资源的优化利用问题，引入复杂度、功耗、可靠性和传输效率等多个约束条件对系统进行联合优化设计。在c d m a 网络方面，j i 等人提出了蜂窝c d m a 中的带有功耗控制机制的信源信道联合编码算法，通过开环和闭环同步进行的功耗控制机制，将能量在信源编码、信道编码及网络传输层进行最优化分配，从而实现最小化的系统能耗【2 引。z h a o 等人则针对c d m a 的多径衰落性，采用分层嵌入式比特流形式进行多通道传输，发射器根据当前资源和实际需要确定每个通道的适合编码层和传输速率，从而使接收端的视频重建质量达到最佳【2 引。在系统建模方面，文献 2 4 ；f 9 1 1 2 5 分别给出了给定端到端失真限制条件下，如何通过选择最佳编码参数、输出速率及能耗来实现系统功耗的最小化的方案，在很大程度上节约了系统能源。a g g e l o s 等人则提出了实时视频通信系统中的跨层资源失真最优化分配方案，同时考虑了编码层的信源编码，传输层的信道资源分配以及接收端的误码恢复等问题，通过找到资源消耗与端到端视频重建质量之间的折中点，来实现系统资源的跨层最优分配1 26 1 。此外，h e 等人还将跨层的资源优化分配应用于p d a 等无线移动终端上，采用数学模型分别分析了无线视频通信系统中物理层、链路层、应用层的资源利用性能，通过求解数学模型的最小值来实现跨层资源的最优化分配，从而为无线移动终端上的资源优化利用提供了坚实的理论研究基础1 2 ，等等。当然，除了上述研究方向外，还有很多其他方面的研究，如基于硬件平台自身特性、芯片结构和硬件指令集等方面的算法优化1 2 8 。3 0 j ，等等。长期以来，有关无线网络的理论、框架和方法以及多媒体处理的核心技术主要垄断在国外的大学、公司和一些研究机构手中，我国虽然已经开展了这一方向的研究，但在基础研究和源头创新等方面还与国际水平相差较大，目前尚未形成一直具有国际水平的研究队伍，大部分技术处于跟踪状态，大大制约了我国自主技术的发展。2 5 基于h 2 6 4 标准的资源优化分配近年来，随着视频编码标准的不断推陈出新，h 2 6 4 以其特有的高效的编码性能吸引了很多研究者的注意。当然在注意到其高效的压缩性能的同时，人们也更多的注意到了其编码性能的提升是以巨大的编码复杂度为代价的。因而，对第2 章无线移动终端上的资源优化分配研究进展h - 2 6 4 编码算法的优化研究成为了研究热点，特别是针对如何在保证编码质量的同时有效地降低和控制编码复杂度，从而将其应用到无线移动终端这种能量资源严重受限的平台上这一方面。h 2 6 4 采用了与以往标准类似的基于运动补偿分块变换的混合编码框架【i 】，支持帧内和帧间两种编码模式。对输入视频，编码器要尝试所有可用的帧内和帧间预测模式，通过拉格朗日r 。d 最优化判决函数来确定运动估计( m o t i o ne s t i m a t i o n ) 过程中的最佳运动矢量( m o t i o nv e c t o r ) 和最佳预测模式，造成了编码复杂度的巨大增加。为此，人们研究并提出了多种h 2 6 4 预测编码模式判决( m o d ed e c i s i o n ) 和运动估计快速算法，在尽可能保证编码性能的同时，提高编码器的编码速度。尽管这些快速算法并不一定是针对无线移动终端而设计的，但却是高复杂度编码算法应用到无线移动终端上的基础。因此本部分将首先对h 2 6 4 的各种快速算法进行分析和总结。2 5 1h 2 6 4 快速算法的研究进展1 帧内预测编码的快速算法近年来，国内外许多学者对于帧内预测编码的快速算法进行了深入的研究，总体来说，这些算法主要从宏块纹理分析、相关性分析和预测等方面进行了研究，主要是通过减少预测模式来降低计算复杂度的。p a n 等人提出了基于宏块边缘方向分析的帧内预测快速模式判决法，通过统计各块中像素的方向直方图，建立边缘方向与预测方向的对应关系，从而大大减少了预测模式的数量，提高了模式判决速度【3 。崔等人设计的帧内预测快速算法把9 种i n t r a 4 4 预测模式分为3 类，用相邻块的模式类预测当前块的模式类，并基于变换系数索引加权绝对值和，利用连续i 帧中1 6 1 6 预测宏块位置的准平稳性，降低了候选预测模式的数量，从而降低了计算复杂度【3 2 1 。文献 3 3 】也给出了一种基于相邻块预测来降低预测模式数量的帧内预测快速模式判决算法。文献 3 4 】针对嵌入式系统资源紧缺的问题，对于4 4 块的情况，利用环形滑动窗口动态缩小预测模式选择范围，并加入计算及时终止策略，从而在少量增加额外计算量的前提下提升了编码速度。f e n g 等人通过d c t ( d i s c r e t ec o s i n et r a n s f o r