（信号与信息处理专业论文）基于h264无线视频传输编解码算法研究及解码器arm实现.pdf

海爱成：基于h 2 6 4 无线视频传输编解码算法研究及解码器a r m 实现 摘要 伴随着多媒体技术的发展以及无线通信服务需求的不断增加，在移动环境下 为用户提供多媒体通信业务正在成为发展的趋势。视频通信是多媒体业务的核心， 由于视频信号的数据量大、无线信道带宽有限和误码率高等特点，如何在无线环 境中实时传输高质量的视频面临着巨大的挑战。 视频通信有严格的实时性要求，这就要求网络为视频传输提供足够的带宽、 有保障的延时和可接受的误码率。由于无线移动信道带宽有限，另外有噪声、多 径、衰落等信道干扰因素，使得传输中的差错总是难以避免，而且，压缩后的码 流对错误非常敏感，误码很容易在时域和空域扩散。因此视频通信中的差错控制 技术必不可少，错误隐藏技术在解码端实现，不会增加带宽开销和时延，是一种 非常有效的抗误码方法。 针对无线信道带宽有限以及时变、易误码等特性，需要有效地控制编码端输 出码流，使码流的大小能很好的适应无线信道带宽的限制，从而在解码端获得最 优的解码图像。本文研究了码率控制算法，提出了一种基于可变参量的码率控制 算法。经过实验比较，本文提出的算法在码率控制的精度上优于标准的码率控制 算法，比标准码率控制算法平均提高了0 2 5 d b 的信噪比。 为降低视频无线传输时误码对视频质量的影响，本文详细地讨论了h ，2 6 4 视 频编码标准中现有的错误隐藏算法，针对时空域错误隐藏的特点，提出了一种基 于解码端的自适应错误隐减算法。根据受损块所处区域的运动剧烈程度，自适应 地选择时域空域错误隐藏。实验测试结果表明，该算法对于视频错误的恢复效果 有一定程度的提高。 随着嵌入式技术的不断发展，嵌入式多媒体越来越广泛的得到应用。本文通 过对嵌入式和h 2 6 4 视频编解码技术的研究，实现了h 2 6 4 解码器和播放器在 $ 3 c 6 4 1 0 平台上的应用。在$ 3 c 6 4 1 0 基础上进行环境的配置，定制嵌入式l i n u x 操作系统，完成了嵌入式操作系统的移植工作。在完成交叉编译等嵌入式平台开 发环境的搭建后，对基于l i n u x 的开源编解码库f f m p e g 在$ 3 c 6 4 1 0 平台上进行了 移植，最终实现了嵌入式平台上对h 2 6 4 码流的解码和播放。 关键词：h 2 6 4 ；码率控制；差错控制：错误隐藏；嵌入式l i n u x ；$ 3 c 6 4 1 0 i i扬州大学硕士学位论文 a b s l ：r a c t w i t ht h ed e v e l o p m e n to fm u l t i m e d i at e c h n o l o g ya n dt h ee v e ri n c r e a s i n gd e m a n d s o fw i r e l e s sc o m m u n i c a t i o ns e r v i c e s ，t h em u l t i m e d i ac o m m u n i c a t i o ns e r v i c e si nt h e m o b i l ee n v i r o n m e n tf o ru s e r si s b e c o m i n g at r e n do f d e v e l o p m e n t v i d e o c o m m u n i c a t i o ni st h ec o r eo fm u l t i m e d i as e r v i c e s ，d u et ot h el a r g ea m o u n to fv i d e o d a t a ，l i m i t e db a n d w i d t ha n dh i g he r r o rr a t eo fw i r e l e s sc h a n n e l ，g r e a tc h a l l e n g e so f t r a n s f e r r i n gr e a l - t i m eh i l e , hq u a l i t y v i d e oi nw i r e l e s se n v i r o n m e n ta r ec o n f r o n t e d v i d e oc o m m u n i c a t i o nh a ss t r i c tr e a l t i m er e q u i r e m e n t s ，w h i c ha s k st h en e t w o r kt o s u p p l ys u f f i c i e n tb a n d w i d t h ，g u a r a n t e e dd e l a ya n da c c e p t a b l ee r r o rr a t e b e c a u s eo f t h e l i m i t e db a n d w i d t ho fw i r e l e s sc h a n n e la n dt h ec h a n n e li n t e r f e r e n c ef a c t o r ss u c ha s n o i s e ，m u l t i p a t ha n df a d i n gf a c t o r , t h ee r r o r s i nt r a n s m i s s i o na r ea l w a y sd i f f i c u l tt o a v o i d b e s i d e s ，t h ec o m p r e s s e db i ts t r e a mi sv e r ys e n s i t i v et ot h ee r r o r s ，t h e r e f o r e m a k e st h ee r r o re a s i l yt od i f f u s ei nt i m ea n ds p a t i a ld o m a i n c o n s e q u e n t l y , e r r o r - c o n t r o l l i n gt e c h n i q u e s a r e i n d i s p e n s a b l e i nv i d e o c o m m u n i c a t i o n ，f o r e r r o r c o n c e a l m e n ti sd o n ea tt h ed e c o d e r , i ti sav e r ye f f e c t i v ea n t i - e r r o rm e t h o dw h i c hw i l l n o ti n c r e a s et h eb a n d w i d t ho c c u p a t i o na n dd e l a y d u et ot h ew i r e l e s sc h a n n e l sf e a t u r e si nl i m i t e db a n dw i d t h ，t i m e v a r i a t i o na n d e r r o rp r o n e ，f o rt h ep u r p o s eo fe f f i c i e n tc o n t r o lo fo u t p u ts t r e a ma te n c o d e r , a n dt h e n e n a b l e st h es i z eo fc o d e ds t r e a mt oa d a p tt h el i m i t a t i o no fb a n dw i d t ht ow i r e l e s s c h a n n e l ，t h e r e b ya t t a i nt h eo p t i m a ld e c o d e di m a g ea tt h ed e c o d e r , t h i sp a p e rm a k e sa s t u d yo fr a t ec o n t r o la l g o r i t h m ，w h i c hi sa na l g o r i t h mb a s e do nav a r i a b l ep a r a m e t e r b ye x p e r i m e n t a lc o m p a r i s o n ，t h ea l g o r i t h mt h i sp a p e rp r o p o s e dh a sa na d v a n t a g ei n p r e c i s i o no fr a t ec o n t r o lo v e rt h es t a n d a r dr a t ec o n t r o la l g o r i t h m ，s p e c i f i c a l l yh a sa n a v e r a g ei n c r e a s eo f0 2 5 d bs i g n a l t o - n o i s et ot h es t a n d a r dr a t ec o n t r o la l g o r i t h m i no r d e rt od i m i n i s ht h ei m p a c to ft h ee r r o r so c c u r r e dd u r i n gt h ew i r e l e s s t r a n s m i s s i o no fv i d e ot oi t sq u a l i t y , t h et h e s i se l a b o r a t e st h ee x i s t i n ge r r o rc o n c e a l m e n t a l g o r i t h m b a s e do nv i d e oc o d i n gs t a n d a r d ，a n dt h e np r e s e n t sa nd e c o d i n g b a s e d a d a p t i v ee r r o rc o n c e a l m e n ta l g o r i t h mc h a r a c t e r i z e db ys p a t i a l a n dt e m p o r a le r r o r 海爱成：基丁h 2 6 4 无线视频传输编解码算法研究及解码器a r m 实现 i i i c o n c e a l m e n t ，w h i c hm e a n st h ea d a p t a b i l i t yo nm a k i n gc h o i c eo fs p a t i a la n dt e m p o r a l e r r o rc o n c e a l m e n ta c c o r d i n gt ot h em o v e m e n ti n t e n s i t yo ft h er e g i o nt h ed a m a g e d b l o c k si n t h ee x p e r i m e n tr e s u l t st u r no u tt os h o wt h a tt h i sa l g o r i t h mc a ne n h a n c et h e q u a l i t yo ft h er e s u m e dv i d e ot os o m ee x t e n t w i t ht h ec o n t i n u o u sd e v e l o p m e n to fe m b e d d e dt e c h n o l o g y , e m b e d d e dm u l t i m e d i a a r em o r ea n dm o r ew i d e l ya p p l i e d t h r o u g ht h er e s e a r c ho fe m b e d d e dt e c h n o l o g ya n d h 2 6 4v i d e oc o d e ct e c h n o l o g y , t h eh 2 6 4d e c o d e ra n dp l a y e ra r es u c c e s s f u l l ya p p l i e d o n $ 3 c 6 4 10p l a t f o r m c o n f i g u r e dt h ee n v i r o n m e n tb a s e do n $ 3 c 6 4 1 0 ，c o s t u m e d e m b e d d e dl i n u xo p e r a t i n gs y s t e ma n dc o m p l e t e dt h et r a n s p l a n t a t i o no fe m b e d d e d o p e r a t i n gs y s t e m a f t e rc o n s t r u c t i n g t h e d e v e l o p m e n t e n v i r o n m e n ts u c ha s c r o s s c o m p i l e rf o re m b e d d e dp l a t f o r m s ，t h el i n u x - b a s e do p e ns o u r c ec o d e cl i b r a r y f f m p e gi st r a n s p l a n t e do nt h e $ 3 c 6 4 10p l a t f o r m ，a n du l t i m a t e l yc o m p l e t et h ed e c o d i n g a n dp l a y i n go fh 2 6 4s t r e a mo nt h ee m b e d d e dp l a t f o r m k e yw o rds ：h 2 6 4 ；r a t ec o n t r o l ；e r r o rc o n t r o l ；e r r o rc o n c e a l m e n t ；e m b e d d e d l i n u x ；$ 3 c 6 4 10 海爱成：基丁h 2 6 4 无线视频传输编解码算法研究及解码器a r m 实现 1 绪论 1 1 课题的研究背景及意义 自2 0 世纪8 0 年代，随着多媒体技术的飞速发展，信息已经从简单的文字图片 向更为复杂的音视频多媒体信息转变，其中视频信息的开发、利用更具有重要的理 论意义和应用价值。如何更方便、更准确地利用视频信息将成为发展的趋势。 h 2 6 4 标准是2 0 0 3 年3 月由国际标准化组织i s o 的m p e g ( m o v i n g p i c t u r e e x p e r t sg r o u p ) 和i t u 下属的v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 联合制定的最 新视频压缩编码标准。它优异的压缩性能在数字电视广播、视频实时通信、网络视 频多媒体传递等方而发挥着重要的作用【。 随着移动通信业务的增加，无线通信己获得非常广泛的应用，无线网络提供了 包括语音、视频图像、高速数据等多种业务的传输，目前，视频除了在i n t e r n e t 中 得到广泛应用外，在无线和移动网络( g s m g p r s 、c d m a 2 0 0 0 、3 g ) 中的应用 也在保持着持续的增长【2 】，基于无线网络的视频图像编码与传输技术已成为当今信 息科学的前沿课题。 无线视频传输有着广泛的应用前景，视频传输无线化打破了传统有线传输受限 与硬件连接的不利局面，具有更强的灵活性和方便性，人们只用一个手持移动终端 就可以随时随地通过无线网络查询视频、音频资料，欣赏最新的电影和电视直播， 进行电子商务活动。随着信息社会的发展，人们对安防监控的要求越来越高，对于 一些特殊的视频应用场合，如海上、山地、火场搜救、矿井、单兵侦察、远程监控 等复杂环境场合不能提供有线网络架设的地方，但我们需要实时的掌握这些特殊场 合的态势的发展，这就必须采用无线视频通信。可以相信，无线视频传输技术的发 展将对人们的日常生活与工作产生深远的影响。 视频无线通信是h 2 6 4 的一个重要应用领域，无线视频直到今天，尚未很好地 广泛地得到应用，其中一个重要的原因是视频质量不理想，这与视频压缩技术有密 切的关系。无线信道传输时经常发生丢包、误码，看到的图像中带有不少方块，如 图1 1 所示，因此，视频传输不仅要压缩比高，而且要在恶劣的传输条件下具有抗 阻塞、抗误码的健壮性。h 2 6 4 不仅具有优异的压缩性能，而且具有良好的网络亲 2 扬州人学硕十学位论文 和性，这对视频的通信有十分重要的意义，在视频通信中有重要的应用价值。 1 2 面临的困难 无线信道与其他信道不同，它是开放的变参量信道。与其他信道相比，由于地 形、湿度、温度等环境因素的影响，是稳定性最差的一种。在与固定传输链路( 如 同轴电缆或光缆) 中的信号传输相比，由于丢包、衰落、噪声等的影响，信号在无 线信道中传输时在时域和空域上都会有较大的波动和起伏。具体来说，无线视频传 输主要面临的问题如下： 1 、视频信号的数据量大 例如，移动可视电话一般采用q c i f 分辨率的图像，一路可视电话或会议电视 信号，由于其运动的内容较少，所需的带宽较窄，但要达到良好的质量，不压缩约 需要若干m b i t s ，压缩后也需要3 8 4k b i t s t ”。 2 、视频信号实时性要求高 与对普通的数据通信要求低不同，人眼对视频信号的基本要求是延迟小，实时 性好，因此视频通信要求更高的实时洼。 3 、无线信道带宽有限 由于无线信道环境恶劣，有效的带宽资源十分有限。因此想在无线信道上进行 大数据量的视频信号传输是一个极富挑战性的任务。 4 、无线网络是一个时变的网络 无线信道的物理特点决定了无线信道是一个时变的信道。另外，基站和移动终 端之问距离的变化、不同网络间的移动等情况均会使信道发生波动。 5 、误码率高 无线信道具有噪声强、多径和阴影衰落等特点，因此无线信道的误码率非常高。 另外由于视频数据采用特殊的编码方式以及数据之问的强相关性，使的视频传输中 的误码很容易扩斟卅。 由此可见，视频传输的要求和无线信道的特点之问存在尖锐的矛盾，视频信号 的无线传输在拥有巨大的发展前景的同时也面临着很大的挑战。由于视频信号的特 点以及无线信道自身的缺点，在传输过程中不可避免的会发生错误，因此，如何控 制低码率无线视频传输中误码的发生，如何在已经发生误码的情况下获得好的修复 效果就具有很大的意义，如何在不降低其他特性的前提下获得好的视频质量是值得 海爱成：基于h 2 6 4 无线视频传输编解码算法研究及解码器a r m 实现 3 我们深入研究的。 正常解码的图像发生丢包的图像 图1 1 正常解码图像与发生丢包解码图像对比 1 3 主要研究工作和成果 了解了视频的编解码方法以及视频无线传输过程中差错控制的方法及其优缺 点。针对视频无线传输带宽有限的特性，为了使视频能够更好的在无线信道中传输， 获得更好的传输质量，研究了视频无线传输的码率控制算法，提出了基于可变参量 的码率控制算法。经过实验比较，本文提出的算法在码率控制的精度上优于标准中 的码率控制算法，并且比标准码率控制算法平均提高了0 2 5 d b 的信噪比；针对视频 无线传输容易发生误码的特性，研究了基于解码端的视频错误隐藏算法，提出了一 种基于视频内容的自适应错误隐藏方法，根据视频内容的运动复杂度，自适应的选 择帧内帧间错误隐藏算法，并且和标准的方法以及前人的研究方法做了详细的比较， 在解码信噪比和图像效果上都有提高；针对h 2 6 4 的应用，研究了基于嵌入式l i n u x 系统的a r m 平台的视频解码器和播放器的移植，实现了h 2 6 4 格式码流在嵌入式 平台上的解码和播放，给出了解码后的图像效果。 1 4 论文的内容安排 第一章：阐述国内外关于h 2 6 4 a v c 无线视频传输的研究现状及存在的问题， 提出研究本课题的目的与意义及作者要解决的问题。由于信道的带宽有限，视频信 号传输会出现丢包、误码等一些错误，因此在视频编解码端需要采取相应的差错控 制技术来控制误码，减小误码产生的影响。 第二章：简要阐述了与本课题相关的h 2 6 4 a v c 视频编解码理论，并对其中的 4 扬州大学硕士学位论文 关键技术进行了研究。介绍了无线视频传输系统的基本组成，重点研究了针对视频 无线传输的差错控制技术。 第三章：针对无线信道带宽有限的特点，为了在解码端获得最优的解码效果， 研究了h 2 6 4 的码率控制算法，提出了基于可变参量的码率控制算法，并对算法进 行了测试。 第四章：针对视频无线传输的易误码特性，研究了h 2 6 4 视频解码端的错误隐 藏知识，学习前人改进的算法并对标准测试软件j m 中的错误隐藏部分进行了深入 的研究，提出了基于视频内容的自适应错误隐藏算法研究，并对算法的效果进行了 测试。 第五章：简述a r m 嵌入式系统发展概况和体系结构，介绍了嵌入式l i n u x 操 作系统的特点，完成了嵌入式开发环境的搭建，包括内核、文件系统的制作和移植 以及交叉编译和平台开发的环境配置等。分析研究了视频解码器，对现有的视频解 码器从性能和解码效率等方面进行了比较，研究了基于f f m p e g 的h 2 6 4 视频解码器， 最后在实现了h 2 6 4 解码器在p c 机和a r m 平台上的应用。 第六章：总结和展望。 海爱成：基于h 2 6 4 无线视频传输编解码算法研究及解码器a r m 实现 5 2 视频编解码原理 2 1 视频编解码基础 一般而言，视频信号所包含的信息量大，传输网络所需要的带宽比较大，而无 线网络由于其自身的信道带宽有限，因此需要将视频信号在获得一定的压缩比和保 证一定的视频质量的前提下，先进行压缩编码，然后在信道上传输，以便节省传送 的带宽和存储空问。常用的视频编码技术主要有预测编码和变换编码。 2 1 1 预测编码 预测法是最简单和实用的视频压缩方法，由于视频图像的临近像素之间存在着 很强的相关性，所以经过压缩编码后传输的并不是像素本身的取样值，而是预测值 和实际值之差。 预测编码有线性预测和非线性预测两种，根据预测像素选取的位置的不同，分 为帧内预测和帧间预测两种。帧内预测一般在一帧图像内进行，帧间预测一般在多 幅图像之问进行【5 】o 1 、帧内预测编码 线性预测编码又称为差分脉冲编码调制( d p c m ：d i f f e r e n t i a lp u l s ec o d e m o d u l a t i o n ) ，如图2 1 所示。帧内预测编码一般采用像素预测形式的d p c m ，算法 简单，易于实现，但是对信道噪声和误码很敏感，容易产生误码扩散，降低图像质 量。 编码端 解码端 图2 1d p c m 系统示意图 6 扬州入学硕士学位论文 x ( n ) 为输入信号，x ( n ) 为预测器根据前面的样值推算出的估计值，虚线框内即 为预测器， d i 为延迟单元，k l ，k 2 k n 为固定的加权系数，q 为量化器，x ( n ) 为预测、量化后重建的x ( n ) 。需要传输的e ( n ) 为实际样值x ( n ) 与估计值x ( n ) 之差， 如式2 1 所示。 ) = ) 一a ) = ) 一羔t ( ，z f )(21e(x x ( nx ( nx ( n k t x ) ) =) 一) = ) 一芝： ( ，z f ) ( 2 一) e ( x ) 经过量化得至：l j e ( n ) ，为获得最佳预测效果，应使e ( x ) 的均方误差最小，编码效 率最高。 。 全( 以) = 羔k ；工t o f ) ( 2 2 ) ， i = 1 式2 2 为预测器的估计值，式中n 为预测器的阶数。 2 、帧问预测编码 帧间预测编码主要利用视频序列相邻帧之间的相关性，即不直接传送当前帧的 像素，而是传送当前帧与其前一帧或后一帧对应位置像素的差值。一般而言，帧间 预测编码的效率比帧内更高，采用的技术有帧重复法、帧内插法、运动补偿法等【7 1 。 其中，运动补偿预测编码由于其良好的编码效果已被各种视频编码标准采用。 视频序列在时域的冗余情况主要有：1 、场景静止不动，前后两帧图像的内容相 同；2 、运动的物体，可以根据运动规律推算在当前帧中的位置。对于静止的序列， 可以直接利用前一帧对应位置的像素来预测当前的帧的像素。对于运动的序列，可 以先采用运动补偿技术，再进行帧间预测，充分利用视频序列帧问的相关性。 海爱成：基于h 2 6 4 无线视频传输编解码算法研究及解码器a r m 实现 量化变 出 图2 2 帧间运动补偿预测编码框图 图2 2 为帧间运动补偿预测编码框图，也是高效的混合编码方法。其中d c t 为 离散余弦变换，q 为量化，v l c 为变长编码，虚线框内为预测器，与帧内预测编码 相比，除了预测器的构成不同之外，还需要从外界传送运动矢量数据。 帧间运动补偿预测编码技术主要有以下几个方面： 1 、图像分割：将图像分为静止区域和运动区域； 2 、运动估计：估计运动区域物体的运动矢量： 3 、运动补偿：补偿物体的运动效果，再进行预测： 4 、编码：对预测误差和运动矢量信息进行编码。 k t 帧 运动矢量 ，一 图2 3 运动补偿示意图 图2 3 给出了运动补偿预测的示意图。图像分割是运动补偿预测的基础，适当 选择块的大小，把图像分为静止和运动的不同子块，静止的子块用前一帧的相应像 扬州大学硕士学位论文 素代替，运动的子块先估计出位移，再进行预测传输，从而达到较高的压缩比。 在有运动补偿预测的编码系统中，对静止区和运动区的分解和运动矢量的计算 是较为复杂和困难的，为了获得好的运动补偿效果，对运动子块的估计成了必须解 决的关键技术，其中块匹配法是一种简单有效地方法。 块匹配法是通过将一帧图像分成若干子块，以块为单位分配运动矢量。对于第 n 帧的一个子块，要在第n 1 帧中寻找若干与其相似的子块，称其中最相似的子块 为匹配块，认为该匹配块在n 1 帧内的位置即是第n 帧子块位移前的位置。 为简化计算，假设在给定的时间间隔内最大可能的水平和垂直位移量为d 。个像 素，则搜索范围如式2 3 ： s = ( m + 2 d m ) ( + 2 d m ) ( 2 - 3 ) 其中，m 、n 为子块的水平和垂直像素数。 一帧 配快 图2 4 子块与搜索范同示意图 图2 4 描述了在搜索范围内，通过运动矢量在前一帧中寻找当前丢失块的匹配 快。 块匹配方法中有两个重要的问题：一、确定判别两个子块相似的准则；二、确 定计算量最小的搜索算法( 6 】。 判断子块相似的准则有： 1 、均方误差( m s e ) 最小准则，如式2 4 所示。 m s e q , d 。赤善否【( y ) 一- l ( x 十i ，y + i ) 】2 2 - 4 2 、绝对误差均值( m a d ) 最小准则，如式2 5 所示。 海爱成：基于h 2 6 4 无线视频传输编解码算法研究及解码器a r m 实现 9 刎邯，) = 赤x = l l 讹川一肌州，5 ) , 2 - 1 y + j ) l 1 m 块匹配算法相对简单，容易实现，。在活动图像的压缩编码中得到了较为普遍的 应用。 2 1 2 变换编码 统计表明，视频信号的主要部分为直流和低频成分，只有少量的高频成分。变 换编码通过将空间域的图像变换到变换域，在变换域中，所有的系数相关性很小， 能量集中在少数几个系数上，这些系数集中在一个很小的范围内，只需保留少数重 要的系数就能很好恢复出图像，从而实现对其压缩编码。 正交变换是变换中的一种，也是图像数据压缩常用的变换方法，常见的有k - l 变换、离散余弦变换( d c t ) 等。 1 、k l 变换 k - l 变换是最理想的正交变换，它产生的变换系数完全不相关。如果图像数据 之间高度相关，变换后将出现多个零值系数，而且其他某些系数会很小。由于k - l 变换的变换矩阵根据图像数据本身获得，因此变换矩阵随图像而异，另外k - l 变换 的计算量非常大，因而并不是一种实用的变换方法，通常作为参考比较。 2 、d c t 变换 选择不同的正交基向量，可以得到不同的正交变换。d c t 变换编码性能最接近 k l 变换，再加上其基向量固定，同时具有快速算法，因此广泛地应用于图像编码。 一维d c t 的正变换和反变换如式2 - 6 和式2 7 ： s c n ) 2 吾c ( 月) 篓s ( 后) c 。s ! 三生主；萝! 竺二( n = 。，2 ，n - - ) c 2 6 ) s c k ，2 寻篓c ( 以) s ( 以) 。s ! 兰生主亨生翌( k = 。，t ，2 ，n 一) c 2 7 ) 其中，s ( k ) 为信号样值；s ( n ) 为变换系数，其中“n ) 的值如式2 8 所示： r 1 厄 刀：0 c ( 聆) = h _ l ，2 ，弘l ( 2 - 8 ) 在实际的应用中，为了方便实现和后处理，d c t 变换采用了分块变换技术。今 扬州入学硕士学位论文 天基于分块d c t 变换的编码技术已成为很多图像视频编码标准的核心技术。 2 1 3 视频解码 视频解码是视频编码的逆过程，在发送端，通过将一帧图像的实际值与预测值 相减，将得到的差值进化传输。在接受端把差值与预测值相加，恢复原始值。 与编码相对应，视频解码有帧内预测解码、帧间预测解码、变换系数解码处理 等。 2 2h 2 6 4 a v c 视频编解码原理和特点 h 2 6 4 编码标准力求设计简单有效的编码技术，在继承前面标准编码技术的前 提下，在许多细节方面有了改进。如可变大小块运动补偿、多模式运动估计等。和 以往的编码标准相比，h 2 6 4 的编码性能有了较大突破，在3 0 3 5 d b 的解码质量范 围内，比m p e g 一4 节约3 0 5 0 的码率6 ，7 1 。 图2 5h 2 6 4 编码器 图2 5 给出了h 2 6 4 编码器框图。h 2 6 4 并不明确地规定编解码器如何实现，而 是规定了一个编了码的视频比特流的句法，在实现上有较大的灵活性。采用了与以 往标准类似的运动估计补偿加分块d c t 变换的混合编码框架，为了提高编码技术， h 2 6 4 在每个功能模块采用了许多新的编码技术。 2 2 1 帧内预测编码 在帧内预测模式中，当前编码块的预测块p 由已编码的重建块和当前块形成。 海爱成：基于h 2 6 4 无线视频传输编解码算法研究及解码器a r m 实现 11 对于亮度像素而言，p 块有4 4 和1 6 1 6 两种尺寸。4 4 亮度子块有9 种可选的预 测模式，对于有大量细节的图像有较好的编码效果；1 6 x 1 6 亮度块有4 种可选模式， 适用于平坦的图像区域。色度分量也有4 种预测模式。编码器通常选择使当前块与 预测块p 之间差别最小的模式【6 j 。 在图像内容不规则或量化参数非常低等特殊情况下，h 2 6 4 还提供了ip c m 帧 内编码模式，允许编码器直接传送图像的像素值而无需预测和变换，效率更高。 1 、4 4 亮度预测模式 h 2 6 4 标准帧内编码参考预测块左方或者上方的已编码块的邻近像素点，如图 2 6 所示，要预测的4 4 亮度块的上方和左方像素a m 已完成编码和重构，a 叩为 待预测像素，图2 7 给出了4 4 亮度块的9 种预测模式。 o mabcdefgh labcd j e fgh k l j k l lmn o p 图2 6 帧内编码预测模式示意图 m abcde f lgh l i j k l m abcdefg h j k l 模式0 ( 垂直)模式l ( 水平)模式2 ( 直流) mab cd ef ig lh l l 。 j0 k l p mab cdefg h i 、 j 、 k 、 l、 、 、 m abc d efg h l iil j 1 t j ki 。it l 3 333 模式3 ( 左下对角线)模式4 ( 右下对角线)模式5 ( 垂直一向右) 1 2扬州大学硕士学位论文 mabcdefgh 、- j 、噜 k 、- l 、 m abcdef g h l i |l f j k | l l； m abcde fg lh | 一 ， 一 j k 1 ， l 模式6 ( 水平一向下)模式7 ( 垂直一向右)模式8 ( 水平- 向上) 图2 74 4 亮度预测模式 2 、1 6 x 1 6 亮度预测模式 还可以将宏块中全部1 6 1 6 的亮度分量一起进行预测，适合大面积平滑区域。 如图2 8 ，共有四种模式。 模式0 ( 垂直)模式1 ( 水平) 模式2 ( 直流)模式3 ( 平面) 图2 81 6 1 6 亮度预测模式 3 、8 8 色度预测模式 帧内编码宏块中的2 个8 8 色度成分由左上方的色度像素预测而得，它们常用 一种预测模式。四种预测模式与帧内1 6 1 6 预测模式非常相似，只是编号不同。模 式o ( 直流) ，模式l ( 水平) ，模式2 ( 垂直) ，模式3 ( 平面) 。 2 2 2 帧间预测编码 与之前的编码标准相比，h 2 6 4 的帧间编码可以支持多种块尺寸( 从1 6 x1 6 到 4 x 4 ) ，并具有更精细的运动矢量精度以及多参考帧等 8 1 。 海爱成：基于h 2 6 4 无线视频传输编解码算法研究及解码器a r m 实现 1 3 1 、树状结构运动补偿 每个宏块( 1 6 x 1 6 像素) 可以按4 种方式进行分割，如图2 9 所示：1 个1 6 x 1 6 、 2 个1 6 8 、2 个8 1 6 或4 个8 x 8 ，其中8 8 还可以分割为1 个8 8 、两个8 x 4 、 两个4 x 8 或4 个4 x 4 宏块，如图2 1 0 所示。 8 8 ol o l 图2 91 6 x1 6 宏块四种分割方式 4 4 0l o l o 1 2 3 8 84 8苎4 4 4 图2 1 08 8 宏块的四种分割方式 r 分裂尺寸对视频信号压缩性能有重要影响，大的尺寸可以用较少的比特表示运 动矢量和分割方式，但是对于运动剧烈的区域有较大的残差；小的尺寸运动补偿后 的残差量小，但是需要较多的比特表示运动矢量和分割方式。 2 、运动矢量 帧间编码的每一个分割宏块都是由参考帧中相应位置预测得到的，两者间的差 异( m v ) 对亮度有1 4 像素精度，对色度有1 8 精度。 由于每个m v 需要相当的比特数编码，为减少比特数，利用临近分割m v 的相 关性，用已计算m v 和预测与当前的差值m v d 来得到预测矢量m v d ，并编码传 输。 另外，h 2 6 4 中还有b 片的预测，每个子块都是由存储在解码器中的一个或两 个参考图像获得，预测方式有：宏块分割方式、双向选择方式、参考列表选择方式 等等。 h 2 6 4 新引进了s p 帧和s i 帧，它们可以参照不同的参考帧重构出相同的图像 帧，可以利用于流间切换、快进快退及错误恢复等方面，支持灵活的流媒体服务并 1 4扬州人学硕士学位论文 具有很强的抗无码性能 3 1 。 2 2 3h 2 6 4 a v c 视频解码原理和特点 h 2 6 4 包含视频编码层( v c l ) 和网络提取层( n a l ) 。解码器负责将符合h 2 6 4 码流规范的视频流解码。当压缩码流送入解码器时，对码流进行熵解码和重排序得 到量化系数，然后根据语法元素判断：若采用的是帧内编码，则直接对量化细数进 行反量化、反变换加以重构；若采用的是帧间编码，则所得到的为重构的残差图像， 此时需要根据帧存储器中的参考图像进行运动估计后与残差图像一起得出最终的重 构帧。解码器的框图如图2 1 1 所示： 图2 1 1h 2 6 4 解码器 2 3h 2 6 4 a v c 无线视频传输特性 移动终端传输视频流已经成为3 g 的主体业务之一，包括视频电话、视频会议 以及直播等各个方面。由于无线信道自身的特点，视频的传输带宽瓶颈是其中一个 主要的问题。h 2 6 4 a v c 有较高的编码效率、较好的网络适应性和很强的抗误码特 性，非常适合丢包率高的无线视频的传输要求咿 1 0 1 。 h 2 6 4 无线视频传输采用分层编码结构，如图2 1 2 所示，定义了视频编码层 ( v c l ) 和网络提取层( n a l ) 【6 】，将视频的压缩编码和打包传输分开，别放在v c l 层和n a l 层进行。视频编码层在使用预测和变换混合编码的基础上引入新技术， 不但使数据的编码效率提升了将近一倍，而且采取多种抗误码技术增强视频流的鲁 棒性；网络提取层主要定义数据封装的格式，包括独立片解码所要求的数据表示、 防竞争的编码以及附加信息和编码片的比特字符串三个部分，增加了数据的网络友 好性。 海爱成：基于h 2 6 4 无线视频传输编解码算法研究及解码器a r m 实现 1 5 图2 1 2h 2 6 4 编码器分层结构 2 4h 2 6 4 a v c 无线视频差错控制技术 传输差错可以分为两类：一类是随机错误，这主要是由于信道的物理缺陷而随 机生成的，这种随机错误对视频重建质量的影响也不同，某些随机错误可以忽略不 计，某些则可能非常严重。另一类是突发错误，集中或连续的突发产生错误，有时 随机比特错误也会导致突发错误。由于突发错误会造成连续的数据包丢失，它可能 带来比随机比特错误更加严重的影响。 。 长期以来，视频通信中的抗误码技术沿着三个方向发展，目前的差错控制技术 分为三类：前向差错控制、差错后处理技术和交互式抗误码技术f 1 1 , 1 2 】。 2 4 1 前向差错控制技术 该技术从编码端考虑，在源编码端和信道编码中加入一些额外的冗余信息，码 流不需要解码器做更多的处理就能够降低传输差错的影响，使的码流对可能发生的 错误有较强的控制和恢复能力。抗误码编码主要有编码端容错编码和信道编码两部 分。 编码端容错编码方法大致有以下几种： 1 、控制预测误差的传播 由于编码内容之间的相关性，码流中的错误很容易发生扩散，因此限制误码的 传播非常重要。为此，人们提出了帧内编码刷新和限定预测区域等方法1 1 3 , 1 4 。 帧内编码刷新是指在固定的时间间隔内插入i n t r a 帧，由于帧内编码块不需要参 考前面的帧，这样可以有效地限制误码的扩散，改善视频重建质量。 1 6 扬步i 1 大学硕士学位论文 限定预测区域是指将一帧图像分成互不重叠的几个区域，规定某个区域内只能 使用指定区域进行预测，这样当某个区域发生了误码就不会对其他区域造成影响。 2 、减小失步长度 编码端的变长编码常常会导致一个随机比特错误使码流失去同步，使的这个错 误码字到下个同步头之间的码字失效，可变长编码中，这种误码对视频的重建质量 影响很大。为减小被丢弃的比特数，一般有以下方法： ( a ) 插入同步标识 在熵编码的过程中周期性的插入同步码字，这种方法能使解码器快速地恢复同 步，但是会过多地增加额外的比特数。 ( b ) 可逆变长编码( r v c l ) 传统的v c l 只能从前面向后面解码，而r v c l 可以从正反两个方向解码，当 检测到错误比特时，可以从下一个同步头向前解码来恢复出更多的信息。 3 、数据交织 数据交织最大程度地打乱原来数据的排列顺序，使相邻块不同时出错，有效地 把码流中的突发性错误转变成随机错谢引。图2 1 3 给出了数据交织的实现方法。 无交织比特流 有交织比特流 无交织错误比特流 有交织错误比特流 ( a ) 交织( b ) 解交织 ( c ) 有无交织的突发错误比较 图2 1 3 数据交织示意图 4 、分层编码与不等错误保护机制 视频序列被分成一个基本层码流和一个或几个增强层码流，基本层提供一个可 以接受质量的解码图像，增强层包含细节信息，可提高视频的恢复质量。分层编码 海爱成：基于h 2 6 4 羌线视频传输编解码算法研究及解码器a r m 实现 17 主要有时域分层编码、空域分层编码、频域分层编码以及信噪比分层编码。 不等错误保护机制是针对分层编码产生的压缩码流有不同程度的重要性，采用 不同的错误保护机制，保障基本层码流受损程度低，接受端可以得到一定质量的视 频重建信号。 5 、多描述编码 在多描述系统采用不分层，相关分解的方法。视频序列被编码成两个或更多的 互补码流，这些流独立编码并可以通过各自的网络路径传输。接收端根据根据j 下确 传输的码流选择解码方案，只要接收端正确接受任一个描述，解码器就可恢复出一 定质量的视频信号，若多个描述被正确接收，恢复质量就能得以增强。 信道差错控制编码用于保证视频数据在信道内的可靠传输，是视频通信中最为 重要的部分之一，现有的技术主要有前向纠错( f e c ) 、自动重传( a r q ) 和不等错 误保护机制等。 1 、f e c 编码 f e c 通过增加冗余的办法提高数据对信道的抗无码能力，增强信道传输的可靠 性。信道和误码特性不同，f e c 编码方式也不同。对无线信道，常发生随机和突发 误码，所以f e c 编码在码流层面上进行，将码流连续k 比