（信号与信息处理专业论文）基于h264的无线视频帧间编码研究及其dsp实现.pdf

摘要 随着第三代移动通信( 3 g ) 以及b e y o n d3 g 等无线通信技术的飞速发展，人 们对无线多媒体业务的需求也与日俱增，其中，图像和视频通信将成为主要的业务 方式。比如对于救火现场、煤井等场合，不能提供有线视频通信，就必须使用无线 视频通信来实时掌握现场的情况。因此，如何在无线环境中实时传输高质量的视频 将是人们研究的热点。 无线信道具有多径效应、抖动效应、瑞利衰落等特点，容易导致高的误码率， 同时，无线网络带宽有限，波动较大，很难为无线应用提供可靠的服务质量。而新 一代视频编码标准h 2 6 4 标准压缩效率高，可在各种码率下提供较高质量的视频图 像，同时具有自适应的延时特性，支持各种视频应用，具有较强的容错能力，适合 在无线信道中传输。 h 2 6 4 标准跟以往的标准相比有很大的优越性，但是，这些优势是通过更加复 杂的算法，以及更高的硬件支撑平台来实现的，这就给它在实时无线通信领域的应 用带来了困难，所以有必要研究快速有效的算法及其实现。本文在对h 2 6 4 帧问编 码研究的基础上，提出了一些优化算法，并在d a m 6 4 1 6 p 平台上对h 2 6 4 帧间编 码的d s p 实现做了相关研究，具体研究工作如下： ( 1 ) 研究了基于块的h 2 6 4 帧间前向预测编码、帧间后向预测编码和帧间双 向预测编码，并对运动估计中的一些关键技术做了详细研究，如块匹配准则、运动 搜索策略、运动估计算法的评价指标等等，同时对一些经典的运动估计算法做了详 细描述。 ( 2 ) 为了减少h 2 6 4 无线视频帧间编码中模式选择算法的时间，提出了一种 p 帧模式选择的优化算法，将视频序列分为变化区域和相对静止区域，同时采用p 帧模式中的4 4 、8 8 、8 1 6 、1 6 x 8 、1 6 1 6 以及s k i p 模式，实验结果表 明，该算法可以显著减少编码时间，提高编码的效率，更有利于无线视频的通信。 ( 3 ) 在对h 2 6 4 无线视频帧间编码中运动搜索算法研究的基础上，提出了一 种混合运动搜索算法( m i x i n gm o t i o ns e a r c ha l g o r i t h m ，m m s a ) ，采用三种搜索 窗口：矩形窗口、大菱形窗口和小六边形窗口，实验结果表明，该算法可以有效减 i i 少平均运动搜索点数，进而减少编码时间，提高编码效率，同时，能够保证较好的 图像质量，这对无线视频帧间编码对编码效率和图像质量的高要求作出了一定的贡 献。 ( 4 ) 在对d a m 6 4 1 6 p 平台和x 2 6 4 编码器研究的基础上，构建了基于 d a m 6 4 1 6 p 平台的视频采集压缩和显示的硬件平台，并结合开发软件c c s 3 1 ，通 过对多参考帧等硬件实现的参数的研究，确定了硬件实现的参数及其实验环境，采 用p 帧作为帧间编码的方式，编码格式为i p p p ，最终实现了视频的实时采集和压 缩编码，并通过软件j m l 2 4 实现了视频解码，同时还验证了不同的视频序列对 h 2 6 4 帧间编码优化算法的适应性。 关键词：h 2 6 4 ；无线信道；帧间编码；模式选择；运动搜索；优化 l l i a b s tr a c t w i mt h er a p i dd e v e l o p m e n to fw i r e l e s sc o m m u n i c a t i o nt e c h n o l o g y , w h i c hi n c l u d e 3 g 、b e y o n d3 ga n ds oo n ，p e o p l e sn e e do f t h eb u s i n e s sa b o u tw i r e l e s sm u l t i m e d i ai s d a i l yo nt h ei n c r e a s e ，i ni t , i m a g ea n dv i d e oc o m m u n i c a t i o nw i l lb e c o m et h em a i n b u s i n e s sp a t t e r n s u c ha st h es c e n eo ff i r ef i g h t i n g 、t h ew e l lo fc o l l i e r ya n ds oo n , i tc a l l n o ts u p p l yw i r e dv i d e oc o m m u n i c a t i o n , s ow eh a v et ou s ew i r e l e s sv i d e oc o m m u n i c a t i o n t og e tt h er e a l - t i m ec i r c u m s t a n c eo ft h es c e n e t h e r e f o r e ，h o wt ot r a n s m i tr e a l t i m eh i g h - q u a l i t yv i d e ow i l lb e c o m eah o t s p o tf o rr e s e a r c h t h ew i r e l e s sc h a n n e lc o n t a i n sc h a r a c t e r i s t i c so fm u l t i p a t he f f e c t 、d i t h e r i n ge f f e c t 、 r a y l e i g hf a d i n g ，a n ds 0o n , s o i te a s yb r i n ga b o u th i g hb i te r r o rr a t e ，m e a n w h i l e ，w i r e l e s s n e 铆o r kh a v el i m i t e db a n d w i d t h ，a n di ti su n d u l a t e ，s oi t sd i f f i c u l tt os u p p l yd e p e n d a b l e s e r v i c eq u a l i t yf o rw i r e l e s sa p p l i c a t i o n t h eh 2 6 4s t a n d a r dh a sh i g hc o m p r e s s i o nr a t i o ，i t c a ns u p p l yh i g h e rq u a l i t yv i d e oi nv a r i o u sk i n d so f c o d er a t e ，a tt h es a m et i m e ，i th a ss e l f - a d a p t i n gt i m ed e l a yc h a r a c t e r i s t i c ，a n di ts u p p o r t sa l lk i n d so f v i d e oa p p l i c a t i o n , a n di th a s b e t t e rf a u l t - t o l e r a n ta b i l i t y , f i t t i n gf o rt r a n s m i s s i o ni nt h ew i r e l e s sc h a n n e l c o m p a r e d 、) v i t l lo t h e rs t a n d a r d ，h 2 6 4s t a n d a r dh a sp r o d i g i o u sa d v a n t a g e s ，b u ti n o r d e rt or e a l i z et h e s ea d v a n t a g e s ，w en e e dm o r ec o m p l e xa l g o r i t h m sa n dh i g h e rh a r d w a r e p l a t f o r m ，i tb r i n g sd i f f i c u l t i e st ot h ea p p l i c a t i o ni nr e a l t i m ew i r e l e s sc o m m u n i c a t i o n , s o i t s n e c e s s a r yt o r e s e a r c hc e l e r i t ya n de f f e c t i v ea l g o r i t h m s b a s e do n r e s e a r c h i n g i n t e r f r a m ec o d i n gi nh 2 6 4 ，t h i sp a p e rp r o p o s e ss o m eo p t i m i z a t i o na l g o r i t h m s ，a n dd o s e s o m er e s e a r c ho n r e a l i z i n gt h ei n t e r f r a m ec o d i n go nd s p , s p e c i f i cr e s e a r c hw o r kw i l lb e a sf o l l o w ( 1 ) r e s e a r c h i n g o nf o r w a r dd i r e c t i o ni n t e r f i a m e p r e d i c t i v ec o d i n g 、b a c k w a r d d i r e c t i o ni n t e m a m ep r e d i c t i v ec o d i n ga n db i d i r e c t i o n a li n t e r f r a m ep r e d i c t i v ec o d i n g b a s e do nm a c r o b l o c ki nh 2 6 4 ，a n dt h i sp a p e ra l s od o s ed e t a i l e dr e s e a r c ho ns o m ek e y t e c h n o l o g i e s i nm o t i o ne s t i m a t i o n , s u c ha sb l o c km a t c h i n gc r i t e r i o n 、m o t i o ns e a r c h s t r a t e g y 、e v a l u a t i o nc r i t e r i o no fm o t i o ne s t i m a t i o na l g o r i t h m s ，a n d s oo n , i nt h e m e a n t i m e ，d o i n gs o m ed e t a i l e dd e s c r i p t i o n s o ns o m ec l a s s i c a lm o t i o ne s t i m a t i o n i v a l g o r i t h m s ( 2 ) i no r d e rt or e d u c et h et i m eo ft h em o d es e l e c t i o no fw i r e l e s si n t e r f r a r n ev i d e o c o d i n gb a s e do nh 2 6 4 ，t h i sp a p e rp r o p o s e sa l li m p r o v e da l g o r i t h mi np f l a m e sm o d e s e l e c t i o n , t od i v i d et h ev i d e os e q u e n c ei n t ov a r y i n ga r e a sa n dr e l a t i v e l ys t a t i ca r e a s ， m e a n w i l e u s i n gb l o c k s ：4 x 4 、8 x 8 、8 x 1 6 、1 6 x 8 、1 6 x 1 6a n ds k i pm o d eo fp f l a m e s m o d e ，t h ee x p e r i m e n tr e s u l t si n d i c a t et h a tt h i sa l g o r i t h mc a ns a v eal o to ft i m ef o rc o d i n g a n di n c r e a s et h ec o d i n ge f f i c i e n c y , i ti sm o r ep r o p i t i o u st ot h ew i r e l e s sc o m m u n i c a t i o n ( 3 ) b a s e do nr e s e a r c h i n gt h em o t i o ns e a r c ha l g o r i t h m so fw i r e l e s si n t e r f r a m ev i d e o c o d i n gi nh 2 6 4 ，t h i sp a p e rp r o p o s e s an e wa l g o r i t h mm m s a ，i tu s e st h r e es e a r c h w i n d o w ：r e c t a n g u l a rw i n d o w 、b i gd i a m o n dw i n d o w 、a n ds m a l lh e x a g o nw i n d o w , t h e e x p e r i m e n tr e s u l t si n d i c a t et h a tt h i sa l g o r i t h mc a r le f f e c t i v e l yr e d u c et h ea v e r a g em o t i o n s e a r c hp o i n t s ，s oi tc a ns a v et h et i m ef o rc o d i n ga n di n c r e a s et h ec o d i n ge f f i c i e n c y , a tt h e m e a n t i m e ，i tc a n e n s u r eb e t t e ri m a g eq u a l i t y , t h e r e f o r e ，t h i sa l g o r i t h mm a k eac o n t r i b u t i o n t ot h eh i g hr e q u i r e m e n t so ft h ec o d i n ge f f i c i e n c ya n dt h ei m a g eq u a l i t yi nt h ew i r e l e s s i n t e r f i a m ev i d e oc o d i n g ，w h i c hi sb a s e do nh 2 6 4 ( 4 ) b a s e do nt h er e s e a r c ho ft h ed a m 6 4 16 pp l a t f o r ma n dt h ex 2 6 4e n c o d e r , w e b u i l dah a r d w a r ep l a t f o r mf o rv i d e oc o l l e c t i o n 、c o m p r e s s i o na n dd i s p l a y , a n dt ou s et h e d e v e l o p m e n ts o f t w a r ec c s 3 1 ，b ym e a n so fr e s e a r c h i n gt h ep a r a m e t e r so f t h eh a r d w a r e r e a l i z a t i o n ，s u c ha sm u l t i - r e f e r e n c ef l a m e ，a n ds oo n ，a n dt h e nw ee s t a b l i s ht h ep a r a m e t e r s o ft h eh a r d w a r er e a l i z a t i o na n dt h ec i r c u m s t a n c e so ft h ee x p e r i m e n t s ，a n dt ou s ep f i a i i l e s a st h ew a yo fi n t e r f r a m ec o d i n g , t h ec o d e df o r m a ti si p p p , a tl a s t ，w eh a v er e a l i z e dt h e r e a l t i m ev i d e oc o l l e c t i o na n dv i d e oc o m p r e s s i o n , a n da c h i e v e dt h ev i d e od e c o d i n g t h r o u g hs o f l 3 v a r ej m 12 4 ，m e a n w h i l e ，w eh a v ec h e c k e dt h ea d a p t a b i l i t yo ft h ei n t e r f r a m e c o d i n go p t i m i z a t i o na l g o r i t h mi nh 2 6 4t od i f f e r e n tv i d e os e q u e n c e s k e yw o rds ：h 2 6 4 ；w i r e l e s sn e t w o r k ；i n t e rf r a m ec o d i n g ；m o d es e l e c t i o n ；m o t i o n s e a r c h ；o p t i m i z a t i o n 陆大伟：基于h 2 6 4 的无线视频帧间编码研究及其d s p 实现6 l 扬州大学学位论文原创性声明和版权使用授权书 学位论文原创性声明 本人声明：所呈交的学位论文是在导师指导下独立进行研究工作所取得的研 究成果。除文中已经标明引用的内容外，本论文不包含其他个人或集体已经发表 的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标 明。本声明的法律结果由本人承担。 n 学位论文作者签名：参秀缪 f 签字日期：79 卜年j 、月f7 日 学位论文版权使用授权书 本人完全了解学校有关保留、使用学位论文的规定，u p 学校有权保留并向 国家有关部门或机构送交学位论文的复印件和电子文档，允许论文被查阅和借 阅。本人授权扬州大学可以将学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国 科学技术信息研究所将本学位论文收录到：中国学位论文全文数据库，并通过网 学位论文作者签名：7 移刈7 b 签字日期：伽年朔达日 名：掰 签字日期渺睥，月日 ( 本页为学位论文末页。如论文为密件可不授权，但论文原t g d , g , 须声明。) 陆大伟：基于h 2 6 4 的无线视频帧间编码研究及其d s p 实现 1 绪论 1 1 无线视频通信的基本要求 由于视频通信的数据量巨大，对误码率要求比较高，而无线信道又具有易错、 时变和带限的问题，因此无线信道的误码率要比有线信道大的多，并且当无线基站 和终端设备的位置和方向发生改变时，它也会随之发生改变。所以，无线视频通信 在实际应用过程中仍然面临着许多问题。因此，对无线视频通信提出了以下三点要 求： ( 1 ) 视频信号要有很高的压缩比 由于无线信道的带宽资源有限，在通常情况下，移动通信网络数据数量级也只 有几百k b p s ，相矛盾的是原始的视频数据却很巨大。所以必须采用高压缩比和低 码率的视频压缩方法。 ( 2 ) 无线信道要求高的抗误码能力 因为无线信道是易错、时变和带限的，所以为了克服远近效应等问题，以获得 更高的系统容量，就需要更低的信噪比，但同时也会带来更高的误码率。因此如何 提高信道误差的弹性尤为重要。一般通过增强信源编码算法的容错能力，使用高效 的信道编码方法，以及采用最佳的接收检测技术三种途径，来提高信道的容错能 力。 ( 3 ) 要求低功耗的无线视频通信终端设备 无线视频通信的终端设备一般都是便携式的，所以其能量供应系统受到了较大 的制约，因此需要降低功率消耗来维持设备的长时间正常运转。 另外，要真正实现无线视频通信，还需要大量的资金投入，以及标准化组织和 设备运营商之间的通力合作。要实现双向无线视频通信，必须有足够的带宽，同时 手机等通信设备必须具备编解码的双重能力。日本的移动运营商n t td o c o m o 已 经开展了类似的服务，d o c o m o 公司提供的这类服务的p h s w 网络中，视频数据 的传输速率可以达到6 4 k b p s ，但是它有很大的限制，它要求终端要处于静止或者 缓慢移动状态，而且价格相当昂贵，相信未来人们还会加大这方面的研究力度和资 金投入。 2 扬州大学硕士学位论文 1 2 课题研究背景和意义 随着数字通信、多媒体技术、计算机网络等信息技术的飞速发展，以及人们日 益增长的物质文化需求，人们对多媒体通信业务的需求也与只俱增。图像和视频通 信作为主要的业务方式，同时附带一些文字信息已经融入了人们的r 常生活，并不 断发展。但是一般原始视频数据量巨大，不利于存储和传输，例如：9 0 分钟左右 的s i f 格式( 3 5 2 2 8 8 2 5 f p s ) 视频数据，未经压缩的数据量约为2 0 g 字节，一张 容量为6 5 0 m b 的v c d 只能存放2 2 3 分钟的数据：一部6 0 分钟左右的标清的视频 数据( 7 2 0 4 8 0 3 0 f p s ) ，未经压缩的数据量约为5 0 g 字节，一张d v d 只能存储 约2 1 5 的数据；广播级高清视频节目( 1 9 2 0 1 0 8 0 3 0 f p s ) ，需要经过3 0 ：1 ( p a 及 6 0 ：1 ) 的压缩才能在2 4 m b p s 的信道上播出；而手机视频通信( 3 2 0 2 4 0 1 5 f p s ) ， 则需要大于1 0 0 ：1 的压缩，才能在单向带宽小于1 2 8 k b p s 的信道上传输。因此，必 须对视频数据进行高效的压缩编码，并以压缩格式进行存储和传输，这样一来，视 频编码技术的研究就成为解决这些问题的关键。由此出现了m p e g 1 、m p e g - 2 、 m p e g 4 、h 2 6 1 、h 2 6 3 、h 2 6 4 t m j 等图像编码标准。表1 1 给出了视频编码标准 的发展历程。 表1 。1 视频编码发展历程 视频编码标准颁布年度一般应用场合 m p e g 11 9 9 2 视频监控、光盘存储等 m p e g 21 9 9 4 d v d 、数字电视、卫星电视等 m p e g 4 1 9 9 9 移动通信、i p 网络、交互式视频等 h 2 6 11 9 9 0 ( 综合业务数字网) 视频会议等 h 2 6 31 9 9 6 h 2 6 3 +1 9 9 8 移动视频、桌面可视电话等 h 2 6 3 抖2 0 0 0 h 2 6 42 0 0 3 网络视频、实时双向通信等 h 2 6 4 标准是由国际标准化组织i s o 的m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 和国际电信联盟i t u 下属的v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 联合制定的当前 国际上最新的图像编码标准，此标准的主要目的就在于增强图像的压缩效率和改善 图像数据在网络中的传输。和以往的m p e g - 4 、h 2 6 3 等标准相比，h 2 6 4 视频编 码标准在延续原有一些标准的基本特性的同时，在提高编码性能方面具有较大的突 破，主要有以下几个方面： ( 1 ) 更高的编码效率：同h 2 6 3 + 或m p e g - 4 相比，在获得相同重建图像质量 陆大伟：基丁h 2 6 4 的无线视频帧间编码研究及其d s p 实现 3 情况下，可平均节省约5 0 的码率。 ( 2 ) 高质量的图像：可在所有码率( 含低码率) 条件下提供较高质量的视频图 像。 ( 3 ) 自适应的延时特性：可工作于低延时模式下，用于实时的通信应用( 例 如：视频会议) ，也能用于无延时限制的应用，如视频存储，视频流服务器等等。 ( 4 ) 容错功能：h 2 6 4 提供了解决网络传输丢失问题的工具，适用于高误码 传输的无线网络中视频数据传输。 同时伴随着第三代移动通信( 3 g ) 以及b e y o n d3 g 的发展，无线多媒体的应用 将是无线通信网络所要面临的重要课题。比如对于一些特殊的视频应用场合，如煤 井、救火现场等场合不能提供有线视频通信，就必须使用无线视频通信来实时掌握 现场的情况。无线信道由于其本身的一些特性，如多径效应、抖动效应、瑞利衰落 等导致误码率高，干扰严重，而且无线网络带宽有限，波动较大，很难为应用提供 可靠的服务质量保证。这就给在无线信道中的视频通信提出了许多要求，主要包括 高效的视频压缩编码效率，良好的视频编码层和网络传输层的接口，稳固的视频传 输和控制机制以及适合于不同无线网络的传输协议等。而h 2 6 4 标准压缩效率高， 支持各种视频应用，还具有较强的容错能力，适合在无线信道中传输。 虽然h 2 6 4 标准跟以往的标准相比有很大的优越性，但是，这些优势是通过更 加复杂精细的算法，以及更高的硬件支撑平台来实现的。由于h 2 6 4 标准的编解码 算法具有很高的计算复杂度，这就给它在实时无线通信领域的应用带来了困难，所 以有必要研究快速有效的算法及其实现。本文就无线视频帧间编码算法做了相关研 究，提出了优化的算法，并结合d s p 开发平台，对编码的硬件实现做了研究。 随着人们对视频编码技术研究的逐渐深入，它对人们生活的影响也会不断增 强，对它的市场应用也会越来越广泛，比如在多媒体、计算机，广播电视等方面都 有着乐观的应用前景，尤其是高质量和高清晰度的无线视频服务将对人们的生活产 生巨大的影响。因此本课题的研究不仅关系到视频编码技术本身的发展，同时对人 们生活质量的提高也有着深远的影响与意义。 1 3 课题国内外研究现状 对于h 2 6 4 帧间编码算法p 躬1 ，特别是其中的运动估计( m o t i o ne s t i m a t i o n ， m e ) 算法【1 4 - 2 0 ，国内外学者做了很多研究工作。早期的有全搜索法【2 1 】( f u l l 4 扬州大学硕十学位论文 s e a r c h ，f s ) ，它对搜索范围内的每一个像素点进行匹配运算以得到一个最优的运 动矢量，虽然这样搜索精度最高，但是它的计算复杂度很高，不适合实时应用。为 此学者们又提出了许多快速运动估计算法，比如三步搜索算法1 2 l 】( t h r e es t e p s e a r c h ，t s s ) ，主要通过限制搜索位置的数目来减少运算量，但是它的第一步搜索 步长较大，不利于估计小的运动模块。后来又出现了基于块的梯度下降算法i 捌 ( b l o c k - b a s e dg r a d i e n td e s c e n ts e a r c h ，b b g d s ) ，它利用运动矢量具有中心偏移 的特性，提高了匹配速度，减少了陷入局部最小点的可能性，但是他们的缺点是都 以原点作为初始搜索点，没有充分利用相邻模块之间的相关性。1 9 9 9 年l o 月，菱 形法【2 3 】( d i a m o n ds e a r c h ，d s ) 由于它的综合性能比较优越，被m p e g - 4 采纳并 收入验证模型，但是它对图像内容处理的灵活度不够。针对d s 的缺陷，又出现了 六边形搜索算法【2 ( h e x a g o n b a s e ds e a r c h ，h e x b s ) ，但是搜索精度跟d s 相比 有所下降。再后来，又出现了运动矢量场自适应搜索算法【2 1 】( m o t i o nv e c t o rf i e l d a d a p t i v es e a r c ht e c h n o l o g y ，m v f a s t ) 以及预测运动矢量场自适应搜索算法 捌 ( p r e d i c t i v em o t i o nv e c t o rf i e l da d a p t i v es e a r c ht e c h n o l o g y ，p m v f a s t ) ，他们综 合利用了相邻块的相关性，根据不同类型的运动模块使用不同的搜索模板，所以它 们的搜索精度和速度都有所提高。针对h 2 6 4 的多预测模式以及多参考帧的特点， 研究者们又提出了混合非对称交叉多六边形网格搜索算法【2 引( u n s y m m e t r i c a l c r o s s m u t i h e x a g o n 一鲥ds e a r c h ，u m h e x a g o n s ) ，相对于f s 算法，u m h e x a g o n s 能节约 9 0 以上的运算量，同时能够保持较好的率失真性能。近年来，学者们继续对帧间 编码算法及其d s p 实现做了大量研究【2 9 d 。 总体来说，尽管国内外学者对h 2 6 4 帧间编码算法及其d s p 实现的研究已经 取得了很多成果，但是仍需要进一步研究，以更加适合无线视频通信环境的要求， 同时增加它的实用性，相信未来人们还会增加对这方面的研究，以取得更好的成 果。 1 4 本文的主要工作 本文的主要工作有以下几点： ( 1 ) 在对h 2 6 4 编码理论以及无线信道特点研究的基础上，提出了基于 h 2 6 4 的无线视频帧间编码研究及其d s p 实现。 ( 2 ) 对h 2 6 4 帧间编码理论，特别是运动估计理论做了详细研究。 陆大伟：基于h 2 6 4 的无线视频帧间编码研究及其d s p 实现5 ( 3 ) 针对无线视频帧间编码中模式选择算法的研究，提出了优化算法，实验 结果表明，本文优化的算法可以减少编码时间，提高编码效率，有利于无线视频的 通信。 ( 4 ) 在对h 2 6 4 运动估计算法研究的基础上，提出了一种混合运动搜索算 法，实验结果表明，该算法可以有效减少平均运动搜索点数，提高编码效率，同时 能保证较好的编码质量，符合无线视频编码对编码效率和图像质量的高要求。 ( 5 ) 在对t m s 3 2 0 c 6 4 1 6 芯片研究的基础上，构建了基于d a m 6 4 1 6 p 的视频 采集压缩和显示的硬件平台，并结合集成开发环境c c s ( c o d ec o m p o s e rs t u d i o ) 3 1 ，实现了视频的采集和压缩编码，同时通过j m 软件实现了解码。 1 5 本文的组织结构 本文主要内容共分为六章，大体结构如下： 第一章：绪论。主要介绍论文的的研究背景和现状， 文的组织结构。 第二章：h 2 6 4 帧间编码原理和运动估计算法研究。 和运动估计理论及其算法。 以及论文的主要工作和论 主要研究了帧间编码技术 第三章：h 2 6 4 无线视频帧间编码中的模式选择算法优化。对模式选择算法进 行研究，并提出了一种优化算法。 第四章：h 2 6 4 无线视帧间编码中的一种混合运动搜索法。在对运动搜索算法 研究的基础上，提出一种混合运动搜索算法。 第五章：h 2 6 4 无线视频帧间编码的d s p 实现。构建了d a m 6 4 1 6 p 视频采集 压缩及显示的软硬件平台，并完成了h 2 6 4 帧间编码的d s p 硬件实现。 第六章：总结与展望。给出了论文的总体研究结果，并提出了进一步的研究方 向。 6 扬州大学硕士学位论文 2h 2 6 4 帧问编码技术和运动估计算法研究 对于个视频序列，特别是运动比较平缓，背景相对稳定的视频序列，相邻的 帧与帧之间存在着很强的相关性，也就是时间冗余( t e m p o r a lr e d u n d a n c y ) 。为了 直观地看出一个视频序列的时间冗余，我们以3 0 f 幽的q c i f 格式的g r a n d m a 序列 为例，取其中的第3 3 、3 4 、3 5 帧进行对比，见图2 i 所示。 ( a ) 第”帧( b ) 第3 4 帧( c ) 第3 5 帧 图21g r a n d m a 序列 从图2 1 中我们可以看出，相邻的三帧之间存在着很大的冗余度，如果能够减 少这些时间冗余，就可以提高视频的压缩效率。这就需要对视频进行帧蒯预测编 码，而运动估计( m o t i o ne s t i m a t i o n ，m e ) 是去除时问冗余最基础和最有效的方 法，也是各类视频编码算法所普遍采用的一项核心技术。运动估计的优劣直接决定 了编码的效率和视频重构的质量。 21 帧间预测编码原理 由于一般视频序列的相邻帧之问具有较强的时间相关性，如果能充分利用相邻 帧图像像素进行预测编码，则可以提高编码的效率，这种基于时问相关性的相邻帧 预测编码方法，称为帧问预测编码。当前被编码像素所处的图像帧称为当前帧或编 码帧，用来预测用的相邻图像帧称为参考帧。用一帧参考帧进行预测称为单帧预测 ( 单向预测) ，用多帧参考帧进行预测称为多帧预测。若用来预测的参考帧是当前 帧以前已经编码的图像帧，称为前向预测；若采用当前帧以后的参考帧进行预测， 则称为后向预测；若同时采用当前帧之前和之后的参考帧进行预测，则称为双向预 测。 陆大伟：基于h 2 6 4 的无线视频帧间编码研究及其d s p 实现 7 当图像静止时，当前帧图像像素和参考帧图像像素在位置上是相互对应的，所 以预测可以直接用前时刻参考帧在同一位置上的像素点预测；当图像运动时，就 不能直接使用前一时刻或后一时刻参考帧所处的同一位置的像素点来预测，需要在 参考帧中找到最佳匹配的像素点，这种技术就叫做运动补偿帧间预测技术。 当然，在实际视频编码过程中，单个像素点不足以代表图像的具体内容，也就 是说，在参考帧中找到具有相同像素值的像素点并不一定代表相同的图像内容。所 以，对单个像素点进行帧问预测编码没有任何实际意义，因此，本文采用基于块的 运动补偿帧间预测编码。对于这种编码方法，首先在参考帧中寻找与当前编码块最 匹配的区域，称为匹配块，然后计算当前编码块与匹配块的差值( 块预测误差) 进 行量化编码，并根据找到的匹配块，计算出当前编码块的运动矢量。在对运动矢量 信息和块预测误差编码后，将它们发送到解码端，便可以重建图像。下面讲着重研 究基于块的帧间预测编码方法。 2 1 1 基于块的帧间前向预测编码 如图2 2 所示，设x 为当前编码块b 像素的集合，t 表示当前帧时刻，哥俐表 示当前被编码像素的灰度值，t 表示当前帧前一参考帧的时刻，t + 表示当前帧后一 参考帧的时刻。 图2 2 当前帧和参考帧不意图 在t 时刻的像素块b 是由t - 时刻的像素块b 运动产生的，设从时刻t - n 时刻t 改像素块的运动矢量为s 似，则此时的帧间前向预测值为： g ( x ) = g t i x + 墨( x ) i ( 2 1 ) 预测误差为： d ( x ) = 蜀( x ) 一或( x ) = g t ( x ) 一岛【x + s t ) 】 ( 2 2 ) 2 1 2 基于块的帧间后向预测编码 如图2 1 所示，在t 时刻的当前编码块b 移动到了什时刻的像素块b ，从t 到 8扬州大学硕士学位论文 t + l 耐$ 1 j 像素块b 的运动矢量为墨+ 似，即为后向预测运动矢量， 彰( 功= 吕+ 肛+ 萎+ ( 瑚 预测误差为： j ( 功= 吕( x ) 一硝 ) = ) 一岛+ 肛+ 墨+ ) 】 2 1 3 基于块的帧间双向预测编码 则后向预测值为： ( 2 3 ) ( 2 4 ) 双向预测是同时采用前向预测帧和后向预测帧进行预测，预测值为g g ，( x ) = 毛一【x + 墨+ ( x ) 】+ 屯+ 【x + 墨+ ( x ) 】 ( 2 5 ) 其中，毛和岛是根据三帧图像对应像素的相关性来确定的，一种最容易实现 的双向预测方法是采用前后参考帧的预测值的平均值，此时毛= 岛= 0 5 。 双向预测编码方法对于编码由物体运动引起暴露区域的图像是非常有效的。因 为物体运动后所暴露出来的区域是曾被物体遮住的区域，这些被遮盖的区域是无法 从先前的参考帧中预测得到的。如图2 3 所示，第n 帧图像的三角形在第n 1 帧图 像之前是被圆形物体遮盖住的，根本无法从前向参考帧中进行预测。但是可以从第 k + 1 帧图像中预测得到，因此采用双向预测编码算法能够极大地提高编码效率。 图2 3 物体运动引起的区域暴露图 虽然采用双向预测编码算法的编码效率比较高，但是计算复杂度有所增加，同 时要求有更多的存储器来存储参考帧图像，因此在视频实时通信中要有选择地使 用。 在实际应用当中，对于前向预测编码、后向预测编码和双向预测编码这三种帧 间编码方法，根据编码要求要有选择地灵活使用。 2 2 运动估计原理及其关键技术研究 前面我们已经分析过帧间预测编码的基本原理，以及三种预测编码方法：前向 预测、后向预测和双向预测，接下来我们将研究帧间预测编码中的关键部分：运动 陆大伟：基于h 2 6 4 的无线视频帧间编码研究及其d s p 实现 9 估计。 2 2 1 运动估计基本原理 一般情况下，由于视频序列中只有部分区域在运动，相邻两帧图像之间的差异 不是很大，因而编码器无需将视频序列中每帧图像的所有信息都进行编码，然后再 传输给解码器，而只要将当前帧中目标的运动信息传输到解码器，它就能够根据运 动信息和前一帧图像的内容来更新当前帧图像，从而获得当前帧的真实数据。这样 就可以有效地降低对每帧图像进行编码所需要的数据量。这种从视频序列中提取有 关物体运动信息的过程就是运动估计。 运动估计研究的主要内容就是如何快速有效地获得足够精度的运动矢量，把前 一帧相应的运动部分信息根据运动矢量补偿过来的过程称为运动补偿( m o t i o n c o m p e n s a t i o n ，m c ) 。 相比较而言，块匹配运动估计( b l o c km a t c h i n gm o t i o ne s t i m a t i o n ，b m m e ) 由于算法简单高效，额外开销小，并且易于硬件实现等优点而被h 2 6 4 等标准所采 用。下面主要针对块匹配运动估计进行研究。 宏块分割 亚宏块分割 8 8 8 8 4 4 图2 4 宏块和子宏块分割图 块匹配运动估计的思想是将视频序列的每一帧划分为大小相同、互不重叠的宏 块，一般为1 6 1 6 宏块，1 6 1 6 宏块又可以分为1 6 8 、8 1 6 、8 8 宏块，对 于8 8 模块还可以进行亚分割，分为8 8 、8 x 4 、4 8 、4 4 子宏块，具体分 割如上图2 4 所示。研究表明，大尺寸宏块模式适合背景相对简单、运动不剧烈的 视频序列；小尺寸宏块模式适合背景和纹理相对复杂或运动剧烈的视频序列。在 h 2 6 4 标准中支持这种可变块的多模式块匹配运动估计算法。 1 0扬州大学硕士学位论文 在采用多模式运动估计后，需要综合考虑对残差值进行编码所需要的比特数和 运动矢量进行编码所需的比特数。为此h 2 6 4 采用率失真优化( r a t ed i s t o r t i o n o p t i m i z a t i o n ，r d o ) 的方法选择最优模式。率失真优化采用拉格朗日方程来计 算，其计算公式如下： j ( s ，c ，m o d ej q 尸，名) = s s d ( s ，c ，r o o d e i 鲈) + 2 r ( s ，c ，m o d ej 鲈) ( 2 6 ) 其中，s 代表原始图像宏块，c 代表运动估计后重构的图像宏块，s s d 函数用 来计算原始信号和重构信号之间的均方误差和，名代表拉格朗日乘子，r 为图像信 号编码后的比特数。而模式选择中的最优模式对应于拉格朗日方程的极小值。 2 2 2 运动估计中的块匹配准则 在基于块的快速运动搜索算法中，需要使用块匹配准则来衡量两个相匹配的像 素块之间的误差，通常有三种块匹配准则：最小绝对差( m i n i m u ma b s o l u t e d i f f e r e n c e ，m a d ) 、均方误差和( m e a ns q u a r ee r r o r ，m s e ) 和归一化互相关函数 ( n o r m a l i z e dc r o s sc o r r e l a t i o nf u n c t i o n ，n c c f ) 。 ( 1 ) 最小绝对差 心硼2 高蚤善1 ( 肌砌飞- ( 卅如埘l ( 2 7 ) 式中，力为位移