（信号与信息处理专业论文）基于h264无线视频编码算法研究与dsp实现.pdf

摘要 伴随着无线通信技术的迅速发展以及无线网络带宽的不断提高，在移动环境 下为用户提供多媒体通信业务正在成为可能。视觉是人类最重要的信息载体，因 此视频通信也成为多媒体业务的核心。另一方面，由于无线信道具有误码率高等 特点，如何在无线环境中实时传输高质量的视频面临着巨大的挑战，成为人们的 研究热点。 视频播放具有严格的实时性要求，因此，网络就必须为视频传输提供足够的 带宽、有保障的延时和误码率。为了获得可接收的重建视频质量，视频传输至少 需要2 8 k b p s 左右的带宽。而视频传输对时延非常敏感，为了保证视频能够连续流 畅的播放，视频数据必须及时到达接收端，否则播放过程会中断，造成播放质量 的严重下降。而使无线移动网络无法提供可靠的服务质量。 对于无线移动信道来说，网络的可用带宽是有限的。由于多径、衰落，时延 扩展、噪声影响和信道干扰等原因，无线移动通信不仅具有带宽波动的特点，而 且信道误码率高，经常会出现连续的，突发性的传输错误。无线信道可用带宽与 传输速率的时变特性，使得传输的可靠性大为降低。 基于无线视频通信面临的挑战，本文在对新一代视频编码国际标准h 2 6 4 触c 研究的基础上，主要在提高抗误码扩散性能和降低h 2 6 4 编码复杂度以及如何在 d s p 环境下实现h 2 6 4 进行了研究。 为减少h 2 6 4 中p 帧模式选择的时间，本文提出一种优化算法，将视频序列 分为背景区域和活动区域来处理，同时采用7 种模块中的1 6 1 6 、1 6 8 、8 1 6 、 8 8 以及4 4 的模块，实验结果表明，该算法可以显著减少编码时间，提高编码 效率。 在对h t 2 6 4 中扩展档次中所特有的s p s i 帧技术研究的基础上，提出一种s p 帧与i 帧相结合的抗误码扩散方案c s w i o 实验证明，c s w i 方法抗误码扩散性能 比单一的使用s p 帧取代i 帧更好，而且能有效的控制视频编码码率。 相对于以往视频标准，h 2 6 4 a v c 中采用了多参考帧技术，针对低码率视频通 信的特点，对h 2 6 4 a v c 中的多参考帧技术的编码效率和抗误码性能进行了测试， 实验表明，在低码率视频通信中，减少参考帧的数目能有效地提高编码效率和抗 误码性能。 在对t m s 3 2 0 d m 6 4 2 硬件结构和x 2 6 4 研究的基础上，实现了基于h 2 6 4 的 d s p 视频编码，通过海康威视第三代视音频压缩卡d s 4 0 0 8 h c 对实时视频信号进 行采集、压缩编码，并对压缩码流进行j m 8 6 解码得出基于h 2 6 4 的d s p 编码器 i i 可以对视频信号进行实时编码。同时针对不同的视频源进行编码，并对编码码流 进行分析，指出运动估计是后续研究的一个重点。 关：键词：甚低码率；无线信道；抗误码；h 2 6 4 ；视频编码；优化 a b s t r a c t w i mt h e 瑚l p i dd e v e l o p m e n to fw i r e l e s sc o m m u n i c a t i o nt e c l l l l o l o g ya n dt h e i n c r e a s eo fw i r e l e s sn e t w d r k sb a l l d 谢d t h ，i ti sp o s s i b l et o 仃a i l s m i tm u l t i m e d i ac o n t e n t i i lm o b i l ec i r c 眦s t a n c e 。d e oc o m 删c a t i o ni sm ek e m e lo fm u l t i m e d i ao p e r a t i o n b e c a u s ev i s i o ni st 1 1 em o s ti r n p o r t 跹ti n f o m a t i o nm e d i ao fh u m a nb e i n g o nt h eo t h e r h a n d ，也et r a n s m i s s i o no fv i d e oc o m e n to v e r 谢r e l e s sn e 帆o r k sp o s e sb i gt e c m c a l c h a l l e n g ed u ot ot b es p e c i f i cc h a r a c t e r i s t i c so f 、机r e l e s sc l l 绷m e ls u c h 嬲m g hb i te r r o r r a t e ，i tb e c o m e sah o t s p o tf o rt h er e s e a r c h ! d e o d i s p l a yn e e d s w e l lt i m e l i n e s s ，t h i sr e q u i r e st h es u m c i e n tb a n d 谢d t h ， g 呦r a i l t e e dt i m el a ga n dt h eb i te r r o rr a t e i no r d e rt or e p l a y 也ev i d e o ，w en e e da tl e a s t 2 8k b i t sb a n d 谢d t h d e ot 啪s m i s s i o ni sv e r ys e n s i t i v et ot h et i m el a g ，w em u s t 仃a n s m i tn l ev i d e os i g i i a l 矗o m 也es e n d i n gt e r m i n a lt ot h er e c e i v i n gt e n n i n a l ，o rt h e v i d e o 晰un o td i s p l a y9 1 i b l ya 1 1 dc o n t i n u o u s l y ，s ot h eq 砌时o fm ev i d e o 晰nd r o p b u t m o b i l en e t 、o r kc o u l d n tp r o v i d ec r e d i b l es e r v i c e s f o rt h ew i r e l e s sc h m m e l s ，t 】a v a i l a b l eb a n d w i d t hi sl i m “e d d u et om em u l t i p a t h e 丑b c t ，m u l t i p a t hd e l a y ，m u l t i p a mf a d i n g a 1 1 ds o m eo t h e rr e a s o n s ， t h em o b i l e c o m m u n i c a t i o nh a sm ec h 2 u r a c t e r i s t i c st h a ti t sb a i l d 、i d t hi su n d u l a t ea n dh i g hb “e r r o r r a t e ，s os o m ec o n t i n u o u sa n dg u s t ye m r o ft r a n s m i s s i o nu s u a l l ya p p e a r s t h er e l i a b i l i t y o ft h et r a n s m i s s i o nd e c r e a s eb e c a u s eo ft h e a v a i l a b l eb 雒d w i d 也a n dt 1 1 et r a n s m i s s i o n r a t ea r et i m e - v a r i 趾t b a s e do nt h ec h a l l e n g eo ft h ew i r e l e s sv i d e oc o m m 咖c a t i o n ，t 1 1 i sp 印e rd o s es o m e r e s e a r c ho n l eh 2 6 4 ，e s p e c i a l l yo nh o wt ow e l lc o n t r o le n d rd i 丘u s e n e s sa n dd r o pt l l e c o m p l e x i 妙o fc o d i n ga s 、e l la sh o w t or e a l i z et h eh 2 6 4c o d i n gw i t l ld s p i i lo r d e rt 0r e d u c et 1 1 et i m eo ft h ep f 锄e sm o d ed e c i s i o ni i lh 2 6 4 ，t 1 1 i sp 印e r p r o p o s e sa ni m p r o v e da l g o ，t od i v i d et h ev i d e os e q u e n c ei n t ot h eb a c k g r o u l l da r e a s a n dt 1 1 em o t i o n a la r e 孤a i l dm e a l l w 】越l et ou s et h eb l o c k s ：1 6 1 6 、1 6 8 、8 1 6 、8 8a n d 4 4o fs e v e nb l o c k s ，t l l ee x p e r i m e n tr e s u l t si n d i c a t em a tt l l i sm 弛o dc o u l ds a v el o t so f t i m ef o rc o d i n ga 1 1 di n c r e a s et h ec o d i n ge m c i e n c y w | ed os o m er e s e a r c ho nt h es p 仔a m e sa i l df h r t h e ro nw eb r i n gf o n 训ar l e w m o u g h tc s w it h a tw h i c hc a l lw e l lc o n t r o le 1 1 r o rd i 丘h s e n e s s ，a 1 1 ds i m u l a t i o nr e s u l t s p r o v e 廿1 a ti ti sb 甜e rt 1 1 a nt l l e 、a l yo fs i n 9 1 eu s i n gs p - f a m e st 0r e p l a c ei 一行a m e s c o m p 跚e d 谢t l lt h ep r e v i o u sv i d e os t a l l d a r d s ，h 2 6 4 a v cu s em u l t i r e f e r e n c e i v f r a m et e c h n o l o g y ，f o r l ef e a t u f e so fl o wb i tr a t ev i d e oc o m m u m c a t i o n ，、et e s tt h e c o d i n ge m c i e n c ya n d e r r o rr e s i l i e n tp e r f o m a l l c eo f 仕屺m u l t i - r e f e r e n c e矗a m e t e c i m 0 1 0 9 yi nh 2 6 4 e x p e r i m e n t ss h o wt h a tr e d u c i n gt h en u n l b e ro ft h e r e f e r e n c e 五瞻m e sc a ne f l f e c t i v e l yi m p r o v et h ec o d i n ge f 行c i e n c ya i l de r r o rr e s i l i e n tp e r f b 珊a n c ef o r t 1 1 el o wb i t - r a t ev i d e oc o n n u m c a t i o n b 2 l s e do na l er e s e a r c ho ft h eh a r d 、a r eo ft h et m s 3 2 0 d m 6 4 2a n dt h ex 2 6 4 ，w e m a k eu s eo ft h ed s pt oe n c o d i n gt 1 1 ev i d e os i g n a l s b ym e a n so fc o l l e c t i n g ， c o m p r e s s i n g ，a n dd e c o d i n g 缸o u 曲j m 8 6 ，w ek n o wt h a tt h j sm 劬o dc o u l dr e a l - t i m e e n c o d i n gt h ev i d e os i g n a l s 1 1 1t h i sc o d i n gt e c h n i q u e ，m o t i o ne s t i m a t i o nt a 玉( e su pm o s t o f t h et i m e ，s ot h eo p t i m i z a t i o no fm o t i o ne s t i m a t i o ni sak e yp r o b l e mf o r t h ei m p r o v e m e n t o fc o d i n ge 伍c i e n c y k e yw o rds ： v e 巧l o wb i tr a t e ；、析r e l e s sn e t v 旧r k ；e r r o rr e s i l i e n c e ；h 2 6 4 ；v i d e o c o m p r e s s i o ne n c o d e ；o p t i m i z a t i o n 扬州大学硕士学位论文 扬州大学学位论文原创性声明和版权使用授权书 学位论文原创性声明 本人声明：所呈交的学位论文是在导师指导下独立进行研究工作所取得的研 究成果。除文中已经标明引用的内容外，本论文不包含其他个人或集体已经发表 的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。 本声明的法律结果由本人承担。 学位论文作者签名：喃司k 签字日期：如6 0 ) 年6 月弓日 ， 学位论文版权使用授权书 本人完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向 国家有关部门或机构送交学位论文的复印件和电子文档，允许论文被查阅和借阅。 本人授权扬州大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国科学 技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通过网络向 社会公众提供信息服务。 学位论文作者签名：钢耐夏 导师签名： 签字日期：切矽7 年占月日 签字日期：p9 年6 月歹日 ( 本页为学位论文末页。如论文为密件可不授权，但论文原创必须声明。) 胡振： 基于h 2 6 4 无线视频编码算法研究与d s p 实现 1 绪论 1 1h 2 6 4 标准的产生、特点及其应用 2 0 0 1 年1 2 月，i t u t 和i s o i e c 成立t ( j o i n t d e ot e 锄，视频联合工作组) ， 以h 2 6 l 作为开始，致力于制定下一代的视频编码标准。2 0 0 3 年5 月，h 2 6 4 a v c 标准正式推出，该标准的正式名称为h 2 6 4 m p e g 4p a n1 0a v c ( a d v a i l c e d d e o c o d i n g ) 1 ，2 1 。 h 2 6 4 标准的主要目的是力求设计简单有效的编码技术，并具有高效的压缩性 能和易于网络传输( n e 咖r k 衔e n d l y ) 的能力，以满足日益增长的“对话型 ( 视 频电话、会议等) 、“非对话型 ( 视频存储、广播以及流媒体) 以及数码影院、视 频监控等视频应用的需求。和m p e g 4 等以往的标准相比，h 2 6 4 的编码性能有了 较大突破，在3 0 5 0 d b 的解码质量范围内，能比m p e g 一4 节约3 0 、一5 0 的码率i j ，4 j 。 除了具有较高的压缩率，h 2 6 4 标准还有如下特点： ( 1 ) h 2 6 4 采用简洁的设计思路，不采用众多的可选项；在解码器端采用复 杂度可分级设计，在图像质量和解码处理之间可分级，以适应多种复杂性应用， 并在各种码率( 特别是低码率) 下都可以提供高品质视频。 ( 2 ) h 2 6 4 可以在低延迟模式下操作，以适应于实时通讯应用( 视频会议) ，同 时在没有延迟限制的应用中( 视频存储、基于服务器的视频流应用) 也允许较高的处 理延迟。 ( 3 ) h 2 6 4 标准中引入了网络适配层，其码流结构对网络的适应性强，增加 了错误恢复能力，能够很好地适应i p 和无线网络的应用；h 2 6 4 加强了对误码和 丢包的处理，提高抗误码能力；对不同的业务灵活地采用相应的时延限制。 ( 4 ) 新的编码技术使得h 2 6 4 的容错性得到较大的提高。 ( 5 ) 视频编码层c l ) 和网络适配层( n a l ) 在概念上的分离，v c l 提供高压 缩比的图像编码，n a l 提供在不同的网络上打包传送，这使得打包和信息优先级 控制变得容易。 h 2 6 4 标准的高编码效率可以提供新的应用领域和商业机会。目前基于h 2 6 4 标准编码技术可以做到用1 m b i t s s 的速率传输电视( p a l ) 质量的视频信号，这样 就可以实现基于x d s l 连接的流式传输。另一种应用是通过卫星传输电视信号。通 过采用8 p s k 和t u r b o 码技术，如果采用h 2 6 4 标准作为视频编码方法，每个卫 星所能传输的节目数是目前采用m p e g 2 的d v b s 系统的三倍。 对于d v b t ，。h 2 6 4 标准也同样具有优势。以德国目前所采用的传输参数 2 扬州大学硕士学位论文 ( 8 k m o d e ，1 6 q a m ，c o d er a t e 2 3 ，a 1 1 d 1 4 g u a r di n t e r v a l ) 为例，每个8 m h z 的信 道可以提供1 3 2 7 m b i t s 的比特率。当采用m p e g 2 编码时，每个信道的电视节目 数限制为4 个，而如果采用h 2 6 4 标准的话，节目数可以增加到1 0 个或更多，这 不仅是因为编码效率提高了，而且由于节目数增多，从而可以获得更高的对于可 变比特率的统计复用增益( s t a t i s t i c a lm u l t i p l e xg a i nf o rv a r i a b l eb i t r a t e s ) 。如果选择 采用q p s k ，c o d er a t e1 2 和h 2 6 4 这种组合方式，则可以保持每个信道有4 路节 目，但与1 6 q a m ，2 3 传输模式相比，可使发送功率下降1 5 【5 1 。 h t 2 6 4 标准还可以应用到h d 的传输和存储中，目前的技术可以做到将h d 信 号以大约8 m b i t s 进行编码，这与传统的d v d 一样，这样就无需等待昂贵并且不 可靠的d v d 蓝色激光技术，因此必将促进家庭影院市场的发展。另外，通过每个 卫星或电缆传输4 路h d 节目也是可能的，与m p e g 2 相比，传输成本大大降低， 这项服务对于广播业务来讲更具有吸引力。 在移动通信领域，h 2 6 4 也将扮演重要角色，因为与目前3 g p p 为流式传输指 定的编码方案相比，h 2 6 4 标准的编码效率可以提高一倍左右。这一点是非常重要 的，因为在3 g 系统中，可用的数据率是非常昂贵的。 1 2 无线通信环境对视频传输的影响 无线通信技术使人们进行随时随地的交流成为可能，但是由于无线信道的一 些特殊的性质，在无线环境中实时传输高质量的视频面临巨大的挑战，主要原因 有以下几点【6 j ： ( 1 ) 带宽波动 无线信道的吞吐量会因为多径衰落、时延扩展、噪声影响和多址干扰等原因 而降低，而且无线信道的容量会随着基站与移动主机之间距离的变化而波动。当 移动终端在不同网络间移动时，信道带宽往往会发生剧烈的变化，而信道带宽的 剧烈变化又会进一步直接导致接收端图像质量的剧烈波动，影响人的主观感受。 ( 2 ) 有限的信道带宽资源 与一般的数据业务不同，视频的播放有严格的实时性要求，这就要求网络为 视频传输提供足够的带宽。而无线网络的信道带宽资源非常有限，为了能在有限 的网络带宽中传输海量的视频数据，必须采用高效的压缩算法。而且，面向无线 通信环境的视频编码不仅应该具有高效的压缩能力，还需要进行码率控制，使得 编码输出的码率能与信道带宽有效匹配。 ( 3 ) 高信道误码率 与有线网络相比，无线信道具有很大的噪声。无线网络的时变特性与噪声影 胡振：基于h 2 6 4 无线视频编码算法研究与d s p 实现 响常常使传输的可靠性大为降低，在无线传输中经常会出现连续的、突发性的传 输错误。无线信道误码率比较高，一般在1 0 5 以上，有的甚至高达1 0 - 2 。而高度 压缩后的视频码流存在很强的相关性，因此对传输时所产生的误码非常敏感，一 旦发生了误码，不仅影响该误码数据的恢复，还会影响与之相关的其他数据的恢 复，造成“差错蔓延”( e 圩0 rp r o p a g a t i o n ) ，使恢复出来的信号面目全非，从而对 重建的视频质量有着破坏性的影响。因此，为了提高视频传输的可靠性，必须设 计可以有效抵抗信道误码的差错控制机制。 ( 4 ) 终端设备的限制 手持无线终端( 手机、无线p d a 等) 是无线移动接入中使用的主要终端设备。 对于这类移动设备而言，为了追求方便性、低功耗以及低成本，体积和重量都受 到很大限制，其处理能力与显示能力与台式机等固定设备相比有很大不足，特别 是电源的供给很大程度上受到电池的制约。因此，终端设备处理能力的限制对视 频编码算法的复杂度提出了严格的要求。 ( 5 ) 用户的异构性 用户的异构性分为两种情况：用户接收设备的异构性和用户对服务质量、内 容需求的异构性。受到个人兴趣爱好、显示设备等各种因素的影响，每个用户对 视频的显示尺寸、质量、帧率等有着不同的需求，而不同移动终端的功率、处理 能力、以及带宽的受限程度也不尽相同。用户的异构性使得设计一个高效的视频 传输系统变得非常困难。 1 3 研究背景和意义 对于一些特殊的视频应用场合，如煤井，矿井，火场等场合不能提供有线视 频通信，但我们需要实时的掌握这些特殊场合的态势的发展，必须采用无线视频 通信。 新一代视频编码标准h 2 6 4 a 、，c 的推出及其不断发展以及d s p 技术的高速发 展使得高效的无线视频通信有可能成为现实。但由于h 2 6 4 几w c 视频编码器的高 复杂度，目前还没有很好的实时编码器，这就限制了其应用范围。本文的主要研 究成果就是提出一种适合低码率无线视频传输的容错编码方法，并对其在d s p 上 的可实现性做了分析和研究。 无线视频传输有着广泛的应用前景，人们只用一个手持移动终端就可以随时 随地通过无线网络查询视频、音频资料，欣赏最新的电影和电视直播，进行电子商 务活动。可以相信，随着无线视频传输技术的发展，将对人们的日常生活与工作 产生深远的影响。 4 扬州大学硕士学位论文 1 4 国内外研究现状 目前，国内外对h 2 6 4 a v c 实时编码器的研究工作主要为以下三方面： ( 1 ) 算法级的优化 算法级的优化做得最多，主要是对h - 2 6 4 编码器中最为耗时的模块进行优化， 最主要的是对运动估计算法进行优化。据统计，采用多参考帧及所有分块模式的 运动估计占整个h 2 6 4 编码器计算量的8 5 以上，只采用单参考帧的运动估计也至 少占整个编码器计算量的6 0 以上。因此，提高运动估计算法的效率就显得尤为重 要。 在h 2 6 4 中，运动估计通常有两种：整像素运动估计和子像素运动估计。整像 素运动估计是运动估计耗时最多的部分，因此国内外学者对运动估计算法进行了 很多研究工作【7 1 7 1 。 到目前为止常用的整像素搜索算法有：全局搜索法f s ( f u us e a r c h ) 、三步搜索 法t s s ( n 啪es t 印s e a r c h ) 、六边形搜索法h e x b s ( h e x a g o n b a s e ds e a r c h ) 及增强型 六边形搜索算法e h e s 、非对称十字型多层次六边形格点搜索算法 m h e x a g o n s ) 。 全局搜索法由于是在整个搜索空间进行匹配查找，保证了完成匹配的像素是 全局最优，但它是以牺牲时间来提高图像质量的，不适合于实际运用。相比较， 三步搜索法在不损失信噪比的情况下，搜索速度明显提高，并且其算法原理简单， 比较容易在硬件上实现。实践证明，现实世界的视频的块运动矢量有超过8 0 的 概率落在以( o ，o ) 为圆心，2 为半径的圆内，而六边形搜索算法相对其他模式更接 近于以2 为半径的圆，因此搜索效率更高。由于物体的运动千变万化，用单一的 算法很难搜索到物体的最佳运动矢量，采用多种搜索算法相组合的u m h e x a g o n s 算法，在很大程度上提高了预测的有效性和健壮性。 ( 2 ) 指令级的优化 在算法级优化的基础上，如果要进一步提高运算速度，就需要进行指令级的 优化。指令级的优化也是对耗时模块进行优化，如用s i m d 指令集改写1 4 像素插值、 s a d 、d c t 1 d c t 等算法。 ( 3 ) 系统级的优化 系统级的优化是三个优化类型中最为重要的，也是应该首先考虑的优化方案。 这种优化方案主要考虑的是通过增强运算能力以及合理分配运算量来提高速度， 如进行并行计算等。 总得来说，尽管国内外的学者对h 2 6 4 实时编码器的实现方案进行大量的研 胡振： 基于h 2 6 4 无线视频编码算法研究与d s p 实现 5 究，但是还没达到实用的要求，相信未来一段时间对这方面的研究投入还会增加。 1 5 主要研究内容、论文结构 1 主要研究内容 ( 1 ) 在对h 2 6 4 编码理论以及无线通信特点研究的基础上，提出基于h 2 6 4 无 线视频编码算法研究与d s p 硬件实现。 ( 2 ) 对h 2 6 4 中关键算法整数变换进行研究，并对其硬件实现复杂度进行分析， 同时重点研究帧间预测块匹配模式选择算法，提出一种帧间预测模式优化算法， 实验证明，优化算法可以提高编码效率。 ( 3 ) 在对h 2 6 4 中s p 帧研究的基础上，提出一种基于s p 帧无线视频传输容错编 码方法，实验证明，s p 帧与i 帧相结合的抗误码扩散方法能够获得和帧内刷新相当 的恢复质量，而同时降低了码率，这种编码方法更适合于无线视频通信。 ( 4 ) 在对t m s 3 2 0 d m 6 4 2 芯片研究的基础上，并对h 2 6 4 中的多参考帧选项 进行性能测试，最终采取参考帧取l 的编码策略，实现了基于h 2 6 4 的d s p 编码 器移植，构建了基于d s p 硬件编码器的视频采集压缩平台，通过视频采集、压缩 编码、j m 解码实现了基于h 2 6 4 的d s p 硬件实时编码。 2 论文结构 本文接下来的论文结构安排如下： 第二章对视频编码基本原理进行了概述，并对进行视频信号压缩的可行性和 必要性进行了分析，讲述了视频编码压缩标准的发展，最后研究了h 2 6 4 视频编码 标准中编码器的结构，对开源编码器j m 进行了分析研究。 第三章主要研究了h 2 6 4 中整数d c t 变换，分析了其硬件实现的复杂度：并对 h 2 6 4 中块匹配模式选择算法进行优化，提出一种优化算法。 第四章对h 2 6 4 中的s p 帧技术进行了研究，并在此基础上提出一种基于s p 帧无 线视频传输容错编码方法。 第五章在对1 m s 3 2 0 d m 6 4 2 研究的基础上实现了h 2 6 4 编码，并利用d s p 编码 器构建了视频采集、压缩、j m 解码系统。 第六章是论文工作总结与展望。 6 扬州大学硕士学位论文 2 视频编码基本原理与技术 2 1 视频编码概述 随着v l s i 、计算机和通信技术的迅猛发展，数字化技术从未像今天这样深刻 地影响着人们的日常生活，它以其良好的可编辑性能、更高的数据传输可靠性和 数据保密性等优点迅速替代原有传统的模拟传输方式成为人类社会信息载体的首 选。而视频编码技术则是面向通信的视频信号处理中的一项核心技术，其目的就 是针对给定的图像序列，在保证一定重构视频质量的前提下，使用尽可能少的比 特数对其加以描述，以利用在给定的通信信道中进行传输。 2 。1 1 必要性与可行性 由于承载着海量信息，图像和视频中通常包含大量的数据，对通信传输带宽、 数据存储容量等都提出了更高的要求。以多媒体通信中常见的c i f 图像格式为例 子，每幅c i f 图像由2 8 8 行组成，每行又包括3 5 2 个像素点；如果对于每个像素的r ， g ，b 分量都使用8b i t 数据进行表示，则当帧速率为2 5 邱s 时，每秒c i f 数字视频所 占用的比特数为： 2 8 8 3 5 2 3 8 2 5 = 5 9 4 m b i t 对符合p a l 制式的标准电视信号，其y ，c ，c b 3 个分量所占用的比特数分别 为7 9 1 m b i t ，1 9 7 8 m b i t ，1 9 。7 8 m b i t ，每秒p a l 制式的视频数据量为： ( 7 9 1 0 + 1 9 7 8 + 1 9 7 8 ) 2 = 2 3 7 3 2 m b i t 而高清晰度电视h d t v 的数据量则达到了1 2 g b p s 以上。与此同时，用于传输 通信的网络带宽和存储的媒质容量都非常有限，例如： p s t n ( 公共交换电信网) ：3 3 6 5 6 k b p s i s d n ( 综合业务数字网) ： ( 2 b + d ) 1 4 4 k b p s a d s l x d s l ( 非对称数字用户环路数字用户环路) ：1 1 5 m b p s l a n ( 局域网) ：1 0 1 0 0 m b p s g s m c d m a ( 全球移动通信系统通用无线分组业务厂码分多址) ： 9 6 1 4 4 k b p s c d r o m ：7 5 0 m b d v d r o m ：4 7 m b 可以看出，如果直接在d v d r o m 中保存p a l 制式的原始视频数据，则只能保 存不到半分钟的内容。即使对于传输速率较高的l a n ，也无法进行连续的视频信 息实时传输。视频数据的这种海量性给存储器的存储容量、通信信道的传输带宽， 胡振：基于h2 6 4 无线视频编码算法研究与d s p 实现 以及计算机的处理速度都增加了极大的压力。因此无论是存储、传输还是处理， 数字视频都必须经过有效压缩才能具有实际使用价值，这就使得视频编码技术成 为面向通信的视频信号处理技术中的关键所在。此外，视频编码还能带来如下优 势： 对于给定信道，能够更快地传输视频信息，降低对信道的占用时间； 对于固定带宽的信道而言，能够开通更多的并行业务( 如电视电话、传真等) ； 降低硬件设备的发射功率； 压缩视频数据容量，节省存储费用。 虽然表示图像和视频信息需要占用海量数据，但是数据并不完全等价于信息。 数据是信息的载体，同样的信息可以由不同长度的数据进行描述。数字视频具有 自身的独特特点，即视频数据具有多种相关性。如果能够去除由相关性所造成的 各种冗余，便能够实现对原始视频信号的有效压缩。一般而言，数字视频信号中 的冗余可以归为如下几类u q ： 空间冗余 作为视频基本元素的数字图像是对模拟视频信号空间采样得到的，因而构成 图像的相邻像素之间具有较强的相关性，即这些相邻像素之间的像素值通常相差 不会太大。各像素的数值可以由其临近像素的数值预测出来。每个独立的像素所 携带的信息相对较少，这种像素闻的冗余就称为空间冗余或几何冗余。 髟划髟划髟划 雕雕 ( b ) f o 埘n 蛐序列第二帧( c ) f o m 锄序列第三帧 图2 l 时间冗余示例 时间冗余 由于视频信号本质上是一系列连续的图像，为了达到连续的视觉效果，视频 帧与帧之问的采样间隔很小，对于2 5 邱s 的视频信号，其间隔仅为0 0 4 秒。因此相 邻两幅图像之间也存在着很强的相关性。对于静止不动的场景，当前帧和前一帧 的图像内容是完全相同的：对于场景中的运动目标，如果知道其运动规律，也可 以很容易地从前一帧图像推算出它在当前帧中的大致位置：这就是视频序列中的 时问冗余。在编码过程中可以充分利用这种相关性，采用相应的编码策略。图2 1 8 扬州大学硕士学位论文 显示了f o r e m a l l 序列中相邻的3 帧图像，可以看出，3 帧的前景目标与背景都大致相 同，仅有目标存在少量的旋转及位移运动。 心理视觉冗余 在大多数情况下，视频编码系统的最终接收者是人类视觉系统。而人类视觉 系统具有非均匀和非线性的特点，所感知的图像亮度不仅仅与该点的反射光强有 关，同时也会受到相邻区域光强的影响。在某些情况下，即便是在灰度值为常数 的区域也能感觉到灰度值的变化。此外人类视觉系统并不是对所有视觉信息都具 有相同的敏感度。视频中的部分信息在通常的感知过程中与另外一些信息相比来 说不那么重要，如图像信息在一定幅度内的微小变化是不能被人眼所感知的。上 述这些特性都可认为是心理视觉冗余的，去除这些信息并不会明显地降低所感受 到的图像的质量。 编码冗余 如果对图像的所有信息都使用相同长度的符号进行表示，将使用较多的比特 才能够完全表示图像中的灰度和颜色信息。例如，对于2 个灰度级使用自然码进 行编码，平均码字长度为。为有效表示图像信息中的像素点，理想情况是按照像 素信息熵的大小为其分配相应的比特数。而在实际情况中，很难计算出像素的具 体信息熵。在进行图像的采样和量化时一般的方法是对所有的像素都分配相同的 比特数，此时编码所用的码本不能使平均比特数达到或接近熵值。在这些情况下 必然存在熵编码冗余。 上述四种类型的冗余便是数字视频进行压缩的出发点和理论依据，若能去除 这些冗余数据，就可以使原始图像数据量极大的减少，解决图像数据量巨大的问 题。因此研究图像和视频压缩编码技术，在多媒体通信领域具有重要意义。 2 2 视频编码的发展与分类 1 9 4 8 年，o l i v e r 提出了第一个编码理论一一脉冲编码调制( p u l s ec o d i n g m o “l a t i o n ，p c m ) ；同年，s h a l l l l o n 的经典论文“通信的数学原理”首次提出 并建立了信息率失真函数概念；1 9 5 9 年，s h a l l n o n 进一步确立了码率失真理论，以 上工作奠定了信息编码的理论基础。主要编码方法有预测编码、变换编码和统计 编码，也称为三大经典编码方法。这些经典编码技术也被称为“第一代 视频压 缩编码技术。它们能够在中等压缩率的情况下，提供非常好的图像质量，但在非 常低的压缩率下，无法为一般的序列提供令人满意的质量。2 0 世纪8 0 年代初期， “第一代”编码技术已经达到了顶峰，这类技术去除客观和视觉冗余信息的能力 已接近极限。究其原因是由于这些技术都没有利用图像的结构特点，因此它们也 胡振：基于h 2 6 4 无线视频编码算法研究与d s p 实现9 就只能以像素或块作为编码的对像，另外，这些技术在设计编码器时也没有考虑 人类视觉系统的特性、视频信息的具体含义和重要程度，只是力图去除视频中的 各类冗余。 为了克服“第一代”视频压缩编码技术的局限性，k 吼t 等人于1 9 8 5 年提出了 “第二代”视频压缩编码技术。他们认为，“第一代 编码技术只是以信息论和 数字信号处理技术为理论基础，旨在去除图像数据中的线性相关性的一类编码技 术。其压缩比不高，大约在1 0 ：1 左右。而“第二代”编码技术不局限于信息论的 框架，要充分利用人的视觉生理、心理和图像信源的各种特征，实现从“波形” 编码到“模型 编码的转变，以便获得更高的压缩比。其压缩比多在3 0 ：1 至7 0 ：l 之间，有的甚至高达1 0 0 ：1 。“第二代编码方法主要有：基于分形的编码，基于 模型的编码，基于区域分割的编码和基于神经网络的编码等。“第二代”编码方 法充分利用了计算机图形学、计算机视觉、人工智能与模式识别等相关学科的研 究成果，为视频图像压缩编码开拓出广阔的前景。但是由于“第二代 编码方法 增加了分析的难度，所以大大增加了实现的复杂性。 2 0 世纪9 0 年代以来，出现了一类充分利用人类视觉特性的“多分辨率编码” 方法，如子带编码、塔形编码和基于小波变换的编码方法。这类方法使用不同类 型的一维或二维线性数字滤波器，对视频图像进行整体的分解，然后根据人类视 觉特性对不同拼段的数据进行粗细不同的量化处理，以达到更好的压缩效果。这 类方法原理上仍属于线性处理，属于“波形”编码，可以归入经典编码方法，但 它们又充分利用了人类视觉系统的特性，因此可以被看做是“第一代”编码技术 向。第二代 编码技术过渡的桥梁，也是目前正在逐步投入实用的编码之一，如 于2 0 0 0 年正式颁布的国际静止图像编码标准j p e g 2 0 0 0 等。 为了在全世界范围内推进视频编码压缩技术和多媒体通信技术的发展与应 用，由国际标准化组织( i n t e m a t i o n a ls t a l l d a r d i z a t i o no r g a l l i z a t i o n ，i s o ) 和国际电 信联盟( i n t e m a t i o i 试t e l e c o m m u l l i c a t i o nu m o n ，i t u ) 制定了一系列视频压缩国际标 准由i t u 组织制定的标准主要是针对实时视频通信的应用，如视频会议和可视电 话等，他们以h 2 6 x 命名( 如h 2 6 1 ，h 2 6 2 ，h 2 6 3 ，h 2 6 4 ) ；而由i s o 和i t u 的j p e g ( j o i n t p l l o t o 伊印l l i ce x p e n sg r o u p ，联合照片专家组) 所制定的标准有j p e g 和j p e g 2 0 0 0 ， 主要针对静止图像的压缩。由i s o 和i e c ( i n t e m a t i o n a le l e c 们t e c h i l i c a lc o l t l m i s s i o n ， 国际电工委员会) 的共同委员会中的m p e g 组织( m o v i n gp i c t u r - ee x p e r t u p ) 制 定的标准主要针对视频数据的存储( 如d v d ) ，广播电视和视频流的网络传输等 应用，它们以m p e g x ( 如m p e g 1 ，m p e g 2 ，m p e g 4 ，m p e g 7 等) 。 1 0扬州大学硕士学位论文 视频压缩技术的不断发展，归纳起来具有以下特点：1 ) 支持的算法和工具不 断增加，灵活性和容错能力越来越强；2 ) 编码效率越来越高，图像质量越来越好； 3 ) 算法涉及的计算复杂度越来越高；4 ) 编码标准不断更新。 2 3 视频编解码系统结构 一个典型的视频编解码系统由如下各部分组成：视频编码器、视频解码器、 信道编码器、信道解码器。图2 2 给出了视频编码解码系统的原理框图，当输入视 频信号送入编码器后，编码器根据当前帧和相邻帧进行编码产生一组码字，这组 码字再进一步被信道编码器编码后进入通信信道。通过通信信道传输后被依次送 入解码器中的信道解码器和信号解码器，重建原始视频图像。此时所获得的视频 图像可以是与原始输入视频完全一致的( 无损编码) ，也可以是原始输入视频的 近似图像( 有损编码) 。 编码器 解码器 r 一一一一一一一一一一一一一一一lr 一一一一一一一一一一一一一一一l 视频输入_1二至三至三垂三至至至三三二卜辛亏乏二茎寸7至垂堕至至三垂三频输出 l j l ! 图2 2 视频编刀薛码系统模型 编码器由信源编码器和信道编码器两部分构成。信源编码器的作用是在保证 传输视频质量的前提下尽可能减少输入视频信号的各类冗余。输入数据首先经过 图像变换以减少像素间冗余。量化过程根据所设定的保真度准则去除数据的高频 信息，用以降低心理视觉冗余，可以用标量量化器实现。标量量化对数据逐个进 行量化，而矢量量化则对一系列数据同时量化。符号编码器对量化器输出的每个 符号定义相应的码字，生成二进制码流。再使用定长编码或者可变长编码等方法 完成最终的编码任务。 信源编码器 信源解码器 图2 3 信源编码器和信源解码器模型 胡振： 基于h 2 6 4 无线视频编码算法研究与d s p 实现 l l 信道编码器