（信号与信息处理专业论文）avsm视频编码的研究与优化.pdf

摘要 摘要 a v s m 视频编码的研究与优化 学生姓名：张承业导师姓名：邹采荣 东南大学信息科学与工程学院 视频压缩标准是为了适应视频信号信息量大，占用带宽高的特点而逐渐发展起来的。 国际上不同组织针对不同应用制定了如i s o i e c 的m p e g 系列、n u t 的h 2 6 l 系列和 j v t 的h 2 6 4 a v c 等标准。a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 工作组于2 0 0 2 年由信息 产业部牵头成立，目的是建立中国自主的用于压缩、存储和数字版权管理的音视频及多 媒体应用系统。a v s 工作组在2 0 0 4 年发布了a v s m ( a v sf o rm o b i l e ) 视频编码标准， 作为a v s 标准的第七部分( 因此也被称为a v s l p 7 ) ，这个标准主要是面向低码率的移动 多媒体通信而制定的。本文的研究内容就是针对a v s m 视频编码器的研究与优化。 本文首先介绍视频信息在压缩过程中去除空间冗余、时间冗余和统计冗余的原理， 重点在于分析视频压缩原理在a v s m 中的应用。在a v s m 标准中利用整型余弦变换和 多方向空间预测束消除空间冗余，并利用量化技术进一步去除不重要的信息；利用基于 块的运动估计和运动补偿来消除空间冗余；利用可变长编码消除统计冗余。然后本文对 a v s m 视频编码器的性能和复杂度进行了分析，得到a v s m 编码器的性能瓶颈和热点 f h o t s p o t ) ：帧问预测模块和变换量化反变换量化模块，并据此确定了优化方案。 在优化过程中，首先针对帧问预测中运动搜索与估计占用编码时间最多的特点，对 视频编码中运动估计的原理与现有算法做了深入的分析，在此基础之上，本文提出了一 种新的适用于a v s m 帧间预测的快速运动搜索算法：然后根据视频处理中对大量小数据 进行重复操作的特点，本文利用i n t e l 的s s e 2 扩展指令集对编码器的瓶颈进行优化。实 验结果表明，优化取得很好的效果，整个编码器的速度有了很大的提高。在文章的最后 对本文的工作与成果做了总结，并对下一步的工作做了计划与展望。 关键词：视频编码；优化；a v s m ：s 1 m d ：s s e 2 i i i a b s t r a e t a b s t r a c t t h ed e v e l o p m e n to fv i d e oc o d i n gs t a n d a r di sf o rt h ea d a p t a t i o no fs u c hf e a t u r e sa sm a s s i v e v i d e oi n f o r m a t i o nd a t aa n db r o a db a n d w i d t ho c c u p a t i o n d i f f e r e n ti n t e m a t i o n a lo r g a n i z a t i o n s d e v e l o pv i d e oc o d i n gs t a n d a r d sa c c o r d i n gt ot h ed i f f e r e n ta p p l i c a t i o n s s u c h 船t h em p e g s e r i e sb vi s o i e c t h eh 2 6 ls e r i e sb yi t u ta n dh 2 6 4 a v cb vj v t a v s mv i d e oc o d i n g s t a n d a r dw a sd e v e l o p e db y a u d i ov i d e oc o d i n gs t a n d a r dw o r k i n gg r o u p o fc h i n a , w h i c h w a se s t a b l i s h e da n dl e db yt h ec l l i n e s es c i e n c ea n dt e c h n o l o g yd e p a r t m e n to fm i n i s t r yo f i n f o r m a t i o ni n d u s t r yi nj u n e2 0 0 2 t h e 鼬a lo ft h ew o r k i n gg r o u pi st 0e s t a b l i s hc h i n e s e n a t i o n a ls t a n d a r d sf o rc o m p r e s s i o n , m a n i p u l a t i o na n dd i g i t a lt i g h tm a n a g e m e n tf o rd i 西t a l a u d i oa n dv i d e om u l t i m e d i ae q u i p m e n ta n ds y s t e m s a v sw o r k i n gg r o u dr e l e a s e dt h ea v s m v i d e oc o d i n gs t a n d a r di n2 0 0 4 a st h es e v e n t hp a r to f a v s ( s oa v s mi sa l s oc a l l e da v s l p 7 ) t h i ss t a n d a r dm a i n l yt a r g e t sa tt h em o b i l em u l t i m e d i ac o m m u n i c a t i o n t h ec o n t e n to ft h i s p a p e ri st h er e s e a r c ha n do p t i m i z a t i o no f a v s me n c o d e r f i r s t l y , t h et h e o r yt h a td u r i n gt h ec o m p r e s s i o np r o c e s s i n g , s p a t i a lr e d u n d a n c y , t e m p o r a l r e d u n d a n c ya n ds t a t i s t i c a lr e d u n d a n c ya r ee l i m i n a t e df r o mt h ev i d e oi n f o r m a t i o ni si n t r o d u c e d e m p h a s i so nt h ea p p l i c a t i o no ft h ev i d e oc o m p r e s s i o nt h e o r yo na v s m h la v s mv i d e o c o d i n gs t a n d a r d i n t e g e rc o s i n et r a n s f o r n la n dm u l t i d i r e c t i o np r e d i c t i o na r eu s e dt or e d u c e s p a t i a lr e d u n d a n c ya n dt h et e c h n i q u eo fq u a n t i z a t i o ni s u s e dt oe l i m i n a t eu n i m p o r t a n t i 1 1 f o r m a t i o n ；b l o c k b a s e dm o t i o ne s t i m a t e sa n dm o t i o nc o m p e n s a t i o na r eu s e dt or e d u c e t e m p o r a lr e d u n d a n c y ；v a r i a b l el e n g t hc o d i n gi su s e dt or e d u c es t a t i s t i c a lr e d u n d a n c y t h e nt h e p e r f o r m a n c ea n dt h ec o m p l e x i t yo fa v s me n c o d e ra r ea n a l y z e d a n dt h em a i nb o t t l e n e c ka n d h o t s p o tw h i c hi n f l u e n c et h ec o d i n gs p e e da r ec o n c l u d e d ：t h ei n t e r - p r e d i c t i o nm o d u l e ，t h e t r a n s f o r m - q u a n t i z a t i o nm o d u l ea n dt h ei n v e r s et r a n s f o r m q u a n t i z a t i o nm o d u l e a c c o r d i n gt o t h em a i nb o t t l e n e c k t h eo p t i m i z a t i o ns c h e m eo f a v s me n c o d e ri sp r o p o s e d t h e nd u r i n gt h ep r o c e d u r eo fo p t i m i z a t i o n ，f i r s t l y , a i m i n ga tt h ef e a t u r eo fi n t e r - p r e d i c t i o n m o d u l ew h i c hc o s t sm o r et i m e ，t h ep a ! c i e l a n a l y z e st h et h e o r yo fm o t i o ne s t i m a t i o na n dt h e c h a r a c t e r i s t i c so ft h ee x i s t i n ga l g o r i t h m s b a s e do nt h ea n a l y s i s an o v e if a s t e rm o t i o n e s t i m a t i o na l g o r i t h ms u i t a b l et oa v s mi sp r o p o s e d a l r e r w a r dt h ea v s me n c o d e ri s o p t i m i z e db yu s i n gi n t e ls s e 2e x t e n s i o ni n s t r u c t i o ns e ta st h eo p t i m i z i n gi n s t r u m e n t i ti s s h o w nt h a ta f t e rt h eo p t i m i z a t i o n t h es p e e do fa v s - me n c o d e ri n c r e a s e sal o t a tt h ee n do f t h ep a p e r ac o n c l u s i o ni sm a d et oc o n c l u d et h ew o r ka n dp r o d u c t i o n , a sw e l la st h ep l a na n d p r o s p e c tf o rt h ef u t u r ew o r k k e y w o r d s ：v i d e oc o d i n g ；o p t i m i z a t i o n ；a v s m ：s i m d ；s s e 2 i v 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名：日 期： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复 印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容 和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以 公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究 生院办理。 研究生签名：导师签名：日期： 第一章绪论 1 1 课题研究背景及意义 第一章绪论 随着互联网的飞速发展，消费类电子、通信、电视、电影、j 播和计算机技术日益紧密结合起来， 计算机与通信、多媒体技术融合的趋势不可逆转，使得基丁互联网的多媒体产业成为目前发展最快、 规模最大的产业之一。众所周知，人类通过视觉获取的信息精约占总信息量的7 0 ，而且视频信息 具有直观性、可靠性等一系列优点，所以多媒体技术中一个重要的技术就是视频技术。 对于传统的模拟信号，由于其数据量大、效率低、传输不方便、不能压缩等等原因，最终被数字 信号所代替。数字信号处理有很多的优点，为了取得高的分辨率，必须采用高的采样率，但是这样数 据餐将会非常犬，处理平传输的时候计算餐巨人、效率非常低。从表1 1 可知，单纯用扩大存储器容 量、增加数据传输率的办法是不现实的。 表1 1 信源信号原始数据速率 电话( 2 0 0 3 4 0 0h z ) 8 0 0 0s a m p l e s 。1 2b i t s a m p l e = 9 6i o ) ( z 1 ) l = cc 等爹z ，c o s ! 兰三旦鉴c o s ( 2 2 ) 岛= x c ，善：萎z fc o s 竺铲c o s ( 2 1 i + 矿1 ) x n ( 2 2 )t = 0 ，；0 x 二= 字笋c ，c ，l ，c o s ! 兰三1 2 坚c o s ( 2 i + 1 ) x n ( 2 3 ) 西2 萎荟e q 巧c o s 竺气考坚c o s 瓦f 一( 2 3 )# 0v = 0 最化是指用有限位数或级数( 比特数) l 来表示原来的系数f 通过建立量化表来完成。通过量 化，取得所需要的幽像的主要信息，然后再进行z 字形序列扫描，使得行程中零值的长度增加，进一 步提高乐缩率。z 字形序列扫描( 如图2 3 ) 将低频的系数( 较有可能为非零值) 排在高频的系数之 前，以便丁进行f 一步的熵编码。 尽管d c t 变换可以达剑接近丁j 最优的性能，并且有快速算法，但是d c t 变换中使用到大量浮点 数的乘法g l e n 法运算，使编码和解码器的运算速度受剑限制。 在a v s m 标准中为了避免d c t 变换中浮点数的运算对计算鼍的增加，同时保留d c t 变换的优 势，采用了4 x 4 块的整型余弦变换，其过祥和d c t 基本相似。这种方法的优点在于：在编码器和解 码器中允许精度相同的变换和反变换，便于使川简单的定点运算方式。也就是说，这里没有“反变换 误差”。变换的单位是4 x 4 块，而不是以往常川的8 x 8 块。由丁_ h j 丁二交换块的尺寸缩小，运动物体的 0 第二章视频编码摹奉原理及a v s - i , i 视频舭缩标准研究 划分更精确，这样，不但变换计算量变小，而且在运动物体边缘处的衔接误差也人为减小。式2 4 为 s t a r 图2 3 4 x 4 块z i g - z a g 扫描( z 字形序列扫描) a v s m 标准中采用的粘型余弦变换矩阵，整型余弦变换将原来的d c t 变换分为整型变换部分和归一 化部分。在整犁变换时，聿4 数部分的变换只需要加和移何的运算，而归一化的部分被整合剑昔化中去， 将变换和苗化中要进行的两次乘法简化为一次，从而达剑了提高运算速度降低运算复杂度的目的。类 似h 2 6 4 ，a v s m 采t i j 了基于4 x 4 块的整数变换，但具体实现方法不同。其进行的变换如f ： y = c f x c ；固e f = a 2 口b 口bb 2 4 2a b a bb 2 a 2 口b a bb 2 a 24 b 4 bb 2 ( 2 4 ) 其中c ，x c ：是二维变换的核心部分，e r 是缩放系数矩阵。运算符0 表示每一个变换后的系数分别 与矩阵e f 中相同位置的缩放冈子相乘。变换过稃中实现了变换归一化与量化的结合，并且计算只使 川加减、移位运算，不仅降低了编解码器的实现复杂度，而且避免了精度的损失。 由于变换的过程中将所有行的模都做了归一化的处理，冈而只需要一个二维数组和一个一维数组 即可完成不同级别的螭化。另外，a v s m 对变换参差系数的昔化使川6 4 级步跃的量化器( h 2 6 4 为 5 2 级) 。量化步长范围的扩人使得编码器能够更灵活和精确地进行控制，在比特率和图像质昔之间达 到折中。在a v s m 当中，晕化操作在变换操作之后进行。从理论上来说，变换过科是无损的，只是 单纯的信息转换，而鼍化过稗是有损的，冈此茸化过程对图象质肇以及图像压缩都起着至关重要的作 j ，链化的精度直接影响都视频编码的效果。簧化需要满足以f 条件： 避免除法等浮点运算采川只有加、减、移位筲算术运算； 合并止向变换矩阵e f 和反向变换矩阵e 。的缩放系数( 比例冈子) 运算。 鼙化的基本原理如f ： z f = r o u n d ( w 4 x p f q 。= r o u n d ( i 啊x m f f2 q 。) 。 m f = p f p 2 8 其中w “是正向变换后的系数，q s 卸是龌化步长，每一个q 鲫印对应一个鼙化参数q p ，磊是域化 后的系数，m f 为草化系数，p f 为缩放矩阵( 即式2 4 中e f ) ，r o u n d ( ) 为四舍五入运算。 a v s - m 规定晕化参数q p 的范用为0 剑6 3 彗化步k q 。以8 为周期，即q p 与q 卸的对应关 系为以8 为周期递增。而在h 2 6 4 当中，规定共有5 2 个鼙化步跃，鼙化参数q p 与阜化步氏q 。的 对麻天系为以6 为周期递增。人鼙试验数据证明：在a v s m 编码结构f ，改进的阜化方法更加有效。 1，j o ，o2乞乇2 ，o o 一陀陀陀陀一、lk厂 2 o 2 一 ：o之，2 。以o 2 3 2 l 东南人学顾t 学位论文 2 2 3 2 帧内预测 帧内预测的目的在于消除图像的空间冗余，i 帧内的所有块都使用帧内预测米得到预测值，p 帧中 的某些块也可以选择帧内预测模式。对丁采用帧内模式预测的块，其参考值来自于同一帧幽像中在它之 前已经编码并重构的块。当对一个块进行帧内预测时，对其亮度分量和色度分量分别采用不同的模式进 行预测。 a v s m 帧内预测沿袭h 2 6 4l 帧内预测的技术思路，用相邻块的像素预测当前块，采用代表空间域 纹理方向的多种预测模式。类似h 2 6 4 ，在a v s m 标准中帧内预测亮度有9 种预测模式( 8 种不同方向 上的预测模式及d c 预测模式) ，色度有3 种预测模式，当前块帧内预测数据由其左边和上边的参考样 本计算获得，亮度预测模式由相邻块预测得剑，色度预测模式直接从码流中获得。为保证条带( s l i c e ) 的 编码独立性，帧内预测不允许跨越条带边界。与h 2 6 4 不同的是，一方面a v s - m 采用了增强最佳模式 预测，提高了最佳模式与最可能模式的匹配效率，在保证图像质量的同时，减少了编码比特数；另一方 面，为降低帧内预测算法的复杂度，a v s m 预测基于4 x 4 块，不采_ l j 基丁二1 6 x 1 6 块的预测，并且将用 于预测每个4 x 4 块像素值的邻近1 7 个参考样本降为9 个，减少了参考样本取点个数和内存读取次数， 降低了l 帧内预测实现复杂度。 在a v s m 中，亮度帧内预测的块大小为4 x 4 ，有9 种i 赜内预测模式，见表2 1 ；色度帧i j 预测的块 人小为4 x 4 ，有3 种帧内预测模式，j ! | 表2 2 。 表2 14 x 4 亮度块帧内预测模式 i n t r a l u m a p r e d m o d e 名称 o i n t r a _ l u m a _ d o w n _ l e f t l i n t m _ l u m a _ v e r t i c a l _ l e f l 2 i n t r a _ l u m a _ v e r t i c a l 3 i n t r a _ l u m a _ v e r t i c a l _ r i g h t 4 i n t r a _ l u m a _ d o w n _ r i g h t 5 i n t r a _ l u m a _ h o r i z o n t a l _ d o w n 6 i n t r a _ l u m a _ h o r i z o n t a l 7 i n t r a _ l u m a _ h o r i z o n t a l _ u p 8 i n t r a _ l u m a _ d c 表2 24 x 4 色度块帧内预测模式 i n t r a c h r o m a p r e d m o d e 名称 oi n t r ac h r o m a _ d c 1 i n t r a _ c h r o m ah o r i z o n t a l 2i n t r ac h r o m a _ v e r t i c a l 以亮度为例，当前编码块中的像素值将用己编码的相邻块的像素值a 到q 米预测，预测模式有9 种，对应8 个预测方向( 如图2 4 ) 及d c 预测以适应4 x 4 块内的不同纹理走向。 2 第一二章t | j l ! 频编码摹奉蟓理发a v s - 1 4 视频崩缩标准研究 r - - - - - - - 012345678 1 2 3 。 4 5 浮 6 7 8 图2 4 4 x 4 亮度块帧内预测模式 2 2 3 3 帧间预测及运动搜索补偿技术 引起不同i 赜之间变化的原冈有四个方面：物体的移动( 如图像中运动的车或手臂) 、摄像机的移动 ( 旋转，缩放等) 、由丁物体移动导致背景的覆需或显现、光源的变化。除了光源的变化引起的不同帧 之间的变化，其他二种原冈引起的变化都可以看作是图像中像素的移动。也就是说可以通过估计像素 的运动轨迹，从当前帧预测下一帧的情况。 但是在实际应用中，如果对每个像素都进行运动估计并对得剑的运动向量进行编码，不但会极大 的增加算法的复杂性同时也会降低编码效率，冈此在各个视频压缩标准中都采用了基丁i 块的运动估计 和运动补偿算法。 首先在参考帧中按某种匹配算法找到与当前块最匹配的形状相同的块，作为当前块的预测块。然 后从当前块中减去预测块的值得剑当前块的残筹块，并根据该块的位置得剑当前块的位移f 运动向鼙) 。 最后对残筹和运动向姑进行编码，以达剑增加编码效率的目的。 在解码端，解码器利_ j 得剑的残差块和运动向量，根据参考块解码得到该块的重构。 基丁块的运动估计平运动补偿算法应用十分“泛，其优点在于直观、计算量可控。同时以块为单 位进行运动估计和运动补偿很好的吻合了视频图像本身的形状，并且利丁运用d c t 变换进一步压缩 残筹信息。但是基于块的运动估计和运动补偿算法也存在一些缺点，如幽像中的物体的边缘往往不能 与块的边缘吻合。 a v s - m 采_ l f j 与h 2 6 4 相同的幽像宏块划分技术，白顶向卜将视频幽像划分为序列，帧，条带， 宏块，子宏块，块，像素点。宏块划分采州可变宏块人小，1 6 x 1 6 宏块可划分为1 6 1 6 、1 6 x 8 、8 x 1 6 、 8 x 8 四种子宏块类删，当划分为8 x 8 类型时，可进一步划分为8 x 8 、8 4 、4 8 、4 x 4 四种子宏块类刑。 88 o1 o 1 01 2 3 敷1 61 6 ，c 88 x 8 幽2 5 宏块数据分割类型 1 3 cl 东南人学硕i ：学位论文 o1 o 1 o1 23 4 x 4 图2 6 子宏块数据分割类型 除了采用与h 2 6 4 类似的可变宏块人小划分外，a v s m 也采用了亮度最大1 4 像素、色度1 8 像素精度插值的运动补偿技术；a v s m 采州创新的帧间插值算法。不同于h 2 6 4 采用6 抽头滤波器 进行半像素插值并采川烈线性滤波器进行1 4 像素插值，a v s m 采用水平8 抽头滤波器( 1 ，4 ，1 2 ， 4 l ，4 l ，- 1 2 ，4 ，1 ) ，年直4 抽头滤波器( 1 ，5 ，5 ，1 ) 进行二分之一像素插值，并采用线性滤波器进行四分 之一像素插值。在获得同样的编码效率的同时，新的插值算法有效地避开了专利问题。具体的插值过 程可参见5 2 2 旺像素插值的优化。 在a v s m 标准中规定只使h j 前向预测，即帧间预测只有p 帧类犁。每个p 帧最多可参考之前已 经解码的2 个帧，这样既可以提高预测准确度义可以降低由参考帧过多带来的搜索复杂性的提高。 编码器中运用多种人小不同的块进行运动估计，可节省1 5 以上的比特率( 相对t1 6 x 1 6 的块) 。运 用1 4 像素精度的运动估计，可以仃省2 0 的码率( 相对于辂像素预测) 。多参考帧预测方面，使用 了两个参考i 帧预测，相对丁一个参考帧，可以降低2 5 的码率。以上百分比都是统计数据，不同 视频闵其细节特征与运动情况而有所差异。 可以看剑，a v s m 充分考虑到移动通信设备处理能力和i 存储容量的限制，在帧间预测中采取了 更为简洁有效的技术方案。其表现就在于不支持烈向预测，加权预测；采用新的参考图像缓冲区管理 机制，限定至多两个参考帧，在缓冲区管理上十分简单、有效。相对于h 2 6 4 ，算法复杂度小，对存 储空间要求低，冈而，编解码器更易丁在资源有限的移动终端上实现。此外a v s m 只支持帧图像， 不支持场图像，使标准更趋丁简沽。 2 2 3 4 环路滤波 由ta v s m 采j j 了基丁j 块的混台编码框架，在编码块重建过程中，块边缘的像素重建精确度比 块内像素低，冈而带来块边缘明显的视觉块效应。a v s m 在编码框架中使川环路滤波对条带内每一 个宏块的所有块边界进行滤波操作米有效降低块效应。对丁每一个宏块单元，需要对其亮度，色度分 量进行水平，乖直操作，冈而环路滤波在解码器端占据了很高的复杂度。 除图像边界及d i s a b l e 值为l 的条带的边界之外，宏块的所有块边界都应进行_ l o o p f i l t e rs l i c ef l a g 滤波。此处宏块边界定义为宏块内部各个4 x 4 块的边界，以及当前宏块与相邻宏块的上边界和左边界。 环路滤波以宏块为单位，图像中每个宏块的滤波过程如f ： 对亮度和色度分别做环路滤波，见图2 7 ，首先从左到厶对垂直边界滤波，然后从上到下对水平 边界滤波。当前宏块的环路滤波的输入为i 劐像未进行滤波的样本值，当前宏块环路滤波会修改这些样 本值。当前宏块币直边界滤波过程中修改的样本值作为水平边界滤波过程的输入。 帧内预测使_ l j 环路滤波前的重建幽像样本值。 4 第一二章视频编码攮本原理及a v s - m ；! i l 频h 淘a 标准研究 宏块亮度边界宏块也j 矍边界 注：辑i 实线为垂直边界，点划线为水f 边界。 图2 7 宏块中需要滤波的边界示意图 a v s m 具有帧间滤波，帧内滤波和不滤波3 种模式。如果当前宏块是帧| j j 编码宏块，那么就使 用帧内滤波模式；如果当前宏块不是帧间跳过模式，或者当前宏块超过rj 限q p ，则使用帧间滤波模 式，不满足上述条件的宏块不滤波。无论选择的是帧l 还是帧问滤波模式，由丁涉及滤波操作的图像 内容相关性，需要判断边界是否满足滤波条件。如图2 8 所示块p 利块q 在水平或年直边界两侧的4 个样本点p 0 ，p l q 0 和q l ，只有满足l p o q o l a 时，对边界样本进行滤波处理。其中，n 为边界阙值， j t 卜+ 二卜 a ti ： 幽2 84 4 块水平或币直边界样本 由边界两边滤波块的平均昔化参数决定。当采刚i 愤内滤波模式时，首先根据边界两边滤波块的平均肇 化参数q p 。，得剑帧内宏块滤波裁剪系数索引i n d e x c t ，而后，根据索引表得剑帧内宏块滤波裁剪系 数c i ，由c i 和边界样本p o ，p lq o 和q l 得刨滤波冈子d e l t a 。最后，使州d e l t a 对边界两边原始样本进 行滤波操作。当采川帧间滤波模式时，首先使h j 帧内裁剪系数c i 和全局滤波参数c po f f s e t 由c p - - c i 2 + c po f f s e t 关系式得到帧问宏块滤波裁剪系数c p 。而后，根据c p 和边界样本得剑帧间滤波网子d c l 诅， 最后使j jd e l t a 对帧间块边界两边原始样本进行滤波。 相比较h 2 6 4 ，a v s m 的滤波操作减少了滤波强度，简化了边界判断和索引准则，大大降低了计 算复杂度。 2 2 3 5 熵编码 熵编码部分主要h j 丁去除统计冗余，属丁无损压缩过程。熵编码使用伉数米衡龉信息中包含的信 息颦。编码的时候通过将出现频率高的数据h j 短字表示，出现频率低的数据川氏字表示，从而使得信 息的总长度变短。运动估计得剑的运动数据，残著昔化后得剑的系数，以及控制数据( 比如选抒的模 式管1 都要经过熵编码模块无损乐缩后，变成最终的码流。熵编码是视频乐缩的晟后一步也是十分 重要的一个环1 ，。熵编码的主要方法分两类：变长编码和算术编码。变长编码经过巧妙的设计，可以 达剑很低的时间复杂度和空间复杂度，而算术编码则压缩效率很高。 a v s - m 熵编码采j j 自适应变长编码技术。在a v s ，m 熵编码过样中，所有的语法元素和残筹数据 都是以指数哥伦布码的形式映射成二进制比特流。采聃指数哥伦布码的优势在丁：一方面，它的硬什 复杂度比较低，可以根据闭合公式解析码字，无需杏表；另一方面，它可以根据编码元素的概率分布 灵活地确定。以k 阶指数哥伦布码编码为例，如果k 选得恰当，则编码效率可以逼近信息熵。对预测 1 5 东南大学硕i ：学位论文 残著的块变换系数，经扫描形成( 1 e v e l ，r u n ) 对串，l e v e l ，r u n 不是独立事件，而存在着很强的相关性， 在a v s m 中l e v e l ，r u n 采用二维联合编码，并根据当前l e v e l ，r u n 的不同概率分布趋势，自适应改变指 数哥伦布码的阶数。 2 2 3 6 网络适应性与抗误码机制 作为一种面向移动视频通信的编码标准，为适应备种网络环境和应_ h ；i 场合，a v s m 定义了类似 h 2 6 4 的视频编码层( v c l ) 平l i 网络提取层m a l ) 。其中视频编码层的功能是进行视频编解码，包括上述 帧内预测、帧问预测、变换量化和熵编码等功能：网络提取层用丁i 采用适当的格式对视频编码层编码 视频数据进行封装打包。 同时，a v s - m 采用了多种增强压缩视频流抗误码能力的编码技术，以适应误码多发的移动视频 应用。这些技术包括：采用i d r 图像( 即时解码刷新剀像) 消除误码扩散所导致的图像漂移，i d r 图像斤的所有i 刻像( 解码顺序) 的解码过程都不会用剑该i d r 图像前的图像( 解码顺序) 进行帧间 预测：片( s l i c e ) 数据独立编码及受限帧内预测编码，某一片因误码或者丢包而无法解码并不影响其他 片的解码；多序列参数集和幽像参数集，a v s m 允许存在多个序列参数集和图像参数集，并允许这 些参数集单独作为n a l 单元传输，这些极为重要的参数信息可以事先嵌入到解码器中或是采h j 可靠 的传输机制和性能更好的信道将其可靠地送达解码器，以保证解码端正确解码等。但a v s - m 删减了 h 2 6 4 中对编码效率有着较人影响的抗误码j ：具如灵活宏块排列次序( f m o ) 、任意条带顺序( a s o ) 、 冗余片( r s ) 等技术。使得抗误码r ：具够h j ，但是又不至于太繁杂，有利丁应用实现。 2 2 4a v s m 标准比特流结构 按照a v s m 标准编码后的比特流的结构及其层次关系和处理顺序如图2 9 所示。 从高剑低的语法结构依次为：编码视频序列，图像组，幽像，条带，宏块平块。编码视频序列是 比特流最高层语法结构，编码视频序列由连续的图像组成，图像在比特流中按比特流顺序排列，比特 流顺序与解码顺序相同。 a v s m 的码流结构如图2 1 0 所示。在a v s 码流中定义了序列起始码，图像起始码和条带( s l i c e ) 起始码，a v s 没有定义c o p ( g r o u po f p i c t u r e s ) 头，绝对时间信息包含在i 帧的头信启冲，冈此可以 利用i 帧作为压缩码流随机访问的入口点。为了区分山ii 帧，1 帧的幽像起始码与p 帧的幽像起始码 不同。当前a v s m 支持4 ：2 ：0 采样格式和8 位采样精度。 图2 9 a v s m 的编码比特流结构 6 第二章视频编码皋奉原理及a v s m 视频h i 缩标准研究 。“1 一_ 。一 序列头5 q _ h t 4 甘 i 嘲r 一1 j l 一 帧田露头 l 二 詈 瞄戢口 一 圈象高宽一 l 嘲铋码蚍参l 一j厂用戢认预舅蕞式标疰一1 t ，度帧内授测筷苎一 l 所琏蕞式与默五模式之莉比较 鲫矗 i 一。三毒器，j 一， 一 n ! 亮度系囊 ，一一 色度系鼙 - 赢i 元参i 厂；块妄f 。j 厂一j 纛f 【，_ 厂i ；，占矗翥；舅援i 亮度系彀 2 2 5a v s m 标准的图像格式及类型 一幅图像是一帧，帧由二个样本矩阵组成，包括一个亮度样本( y ) 和两个色度样本矩阵( c b 和c r ) 。 爻萋爻萋 爻萋爻萋 7 一。，：， 一 一 【_1i；l 口 东南人学颇 ：学位论文 针对具体应用a v s m 标准定义了两种图像类璎：帧内图像( 1 帧) 和前向帧问图像( p 帧) 。其中i 帧在预测和编码时只用到当前帧内的信息。p 帧在预测和编码时需要参考在其之前已解码的帧，标准 中规定pl 帧的参考帧最多有两个。同时规定p 帧的运动矢量所指的参考像素可超出参考图像的边界， 在这种情况卜对超出参考图像边界的整数样本应使用距离该整数参考样本所指位置最近的圈像内的 整数样本进行边界扩展。 2 2 6a v s m 。a v s l i ) 2 和h 2 6 4 的技术比较 下表列出了a v s - m a v s i - p 2 利h 2 6 4 三种视频编码标准的主要技术比较。 表2 3a v s - m 与a v sh 2 6 4 的技术比较 h 2 6 4b a s e l i n ea 、，s l - p 2j l v s m 4 x 4 整数变换8 8 整数变换4 x 4 整数变换 整珲! d c t 变化 1 6 位精度1 6 位精度 1 6 位精度 分级等步艮标苗肇化 量化机制分级等步长标量量化6 4 级标撬鼍化 ( 不同于h 2 6 4 ) 1 6 1 6 块，4 种模式 帧内预测模式8 x 8 块，5 种模式4 x 4 块，9 种模式 4 x 4 块，9 种模式 1 6 x 1 6 ，1 6 x 8 ，8 1 6 ，1 6 x 1 6 ，1 6 x 8 ，8 1 6 ，1 6 1 6 ，1 6 x 8 ，8 x 1 6 ， 帧间预测模式 8 x 8 ，8 x 4 ，4 x 8 ，4 x 48 88 x 8 8 4 ，4 x 8 ，4 x 4 1 2 精度：4 t a pl 2 精度：水平8 t a p ( l 2 精度：6 t a p( 1 ，5 , 5 ，1 )1 ，4 ，一1 2 ，4 1 ，4 1 ，一1 2 ， 插值技术 ( 1 ，一5 ，2 0 ，2 0 ，- 5 ，1 )l 4 精度：4 t a p 4 ，1 ) ，垂直4 t a p ( 1 ， ( 1 ，7 , 7 ，1 )5 ，5 ，一1 ) p 帧有2 个前向参考 参考帧 p i 帧最多3 1 个参考帧帧；b 帧有一个前向 p 帧有2 个前向参考 和一个后向参考帧 帧 前向模式，后向模式， 双向预测模式 无无 政向模式，跳过模式 熵编码 u v l c c a b a cc p m cc a v l c 档次b a s e l i n e 档次基准档次 基本档次 级别1 5 个级别4 个级别9 个级别 其他a s o 年l is l i c e 无 s l i c e 2 3 本章小结 本章首先从去除时间冗余，空间冗余和统计冗余三方面介绍了视频压缩原理，然后重点研究了 a v s m 标准中帧内预测、帧间预测( 运动搜索和运动补偿) 、变换量化、环路滤波以及熵编码等关键 模块的算法实现，并分析了a v s m 标准的特点。 8 第三章a v s m 编码器性能o - j 复杂度分析 3 1 概述 第三章a v s - m 编码器性能与复杂度分析 对丁i 视频编解码器性能与复杂度的分析，是视频编解码研究的重要内容，也是优化的基础。本章 比较和分析了a v s m 参考编码器的性能，实验结果显示前文所述的关键技术使a v s m 编码器的性能 得剑巨人提升。接着文章对编码器各模块的复杂性进行了测试，找出编码运行的瓶颈和热点，为后文 的优化【作指明了方向，提供了依据。 3 2a v s m 编码器性能分析及与a v s l p 2 ，h 2 6 4 的性能差异 本节，我们将对a v s m ，a v s l - p 2 以及h 2 6 4 三个视频编码标准编码器的编码性能做横向的比较。 一方面。通过对多个视频序列( 不同分辨率和不同运动类型) 的编码性能测试，可以对目前a v s m 编码器的性能有一个全面的了解；另一方面，通过对比，对a v s m 编码器与其他主流编码器的性能 差异，也将有一个较为综合的认识，对后续的a v s m 算法及代码的优化i 作，具有重要的指导意义。 我们的性能测试与比较将在a 、，s mj i b e np r o f i l e ( w m 3 o ) 、a v s i - p 2j i z h u np r o f i l e ( r m6 o ) 、h 2 6 4 b a s e l i n ep r o f i l e ( j m 8 6 1 之间进行。 测试的软硬件条件：性能测试在p e n t i u m m1 4 g h z ，5 1 2 m 内存的p c 上进行，操作系统使用 w i n d o w s x p p r o f e s s i o n a l ，编译器使h ji n t e l c o m p l i e r8 0 。为了减少其他运行中程序对测试的影响，在 计算机重新启动后进行测试，最后所得的数据取1 5 次编码的平均。 三种编码器主要配置条件如下： a v s i p 2w i t h o u tbf l a m e ：i n t r a p e r i o d = 2 5 。r a t ec o n t r o lo f f , r d oo n , 搜索范围：v - 3 2 ，f m e ， w e i g h t e d a ，r e d i c t i o no f f ； a v s m ：i n t r a p e r i o d = 2 5 r a t ec o n t r o lo f f , r d oo n 。搜索范嗣= t = 3 2 。f m e ； h 2 6 4b a s e l i n e ：i n t r a p e r i o d = 2 5 r a t ec o n t r o lo f f , r d oo n , 搜索范围4 - 3 2 ，f m e ； 编码帧数均为5 0 帧。所选的测试系列为c i f ( p a r i s ，b u s ) ，q c i f ( f o r e m a n ，n e w s ) ，7 2 0 x 4 8 0 ( b u s ， t e m p t e ) 。测试结果分别显示了二种编码器在以上配置情况f ，使川一个或两个参考帧情况卜的率失 真曲线。 堑 图3 1c i f 格式p a r i s 序列率火真曲线 1 9 东南人学硕l 学位论文 图3 2c i f 格式b u s 序列率失真曲