（电路与系统专业论文）基于simd技术的可重构去块滤波vlsi结构.pdf

浙江大学硕士毕业论文基于s i m d 技术的可重构去块滤波v l s i 结构 摘要 大多数基于离散余弦变换的视频编码标准为了提高主观视觉效果、节省码 率，都引入了环路滤波器以消除方块效应。因为去块滤波运算数据量庞大的特点 以及视频解码实时性的要求，近年来去块滤波运算的硬件加速器已逐渐成为研究 的热点。 文章介绍了数字视频压缩技术，数字视频编码标准的发展，从i s o i e c 移动 图像专家组制定的m p e g 系列标准，从i t u t 制定的h 2 6 x 系列标准，g o o g l e 公司推行的w e b m v p 8 开源视频标准，r e a l n e t w o r k 公司的r e a l v i d e o 视频编码 格式，以及中国具有自主知识产权的音视频编码标准a v s 。 第二章介绍了视频编码标准的基本框架，包括预测编码、变换编码以及熵编 码三种主要的视频压缩编码技术。并介绍了h 2 6 4 以及a v s 标准中的关键技术。 第三章阐述了视频压缩编码标准块效应产生的原因，以及去块效应滤波算法 与两种不同的滤波器：环路去块滤波以及后置滤波。 第四章进介绍去块滤波算法的特性，进行了包括快边界分析，滤波计算两个 部分算法的相似性分析，为支持多标准的可重构去块滤波v l s i 结构奠定了基础。 第五章详细介绍了基于s i m d 技术的可重构去块滤波v l s i 设计，包括了整 体架构设计，去块滤波多媒体s i m d 扩展指令集设计，流水化滤波器的设计。 与传统支持单一标准的去块滤波硬件加速器相比，本文所设计的可重构去块 滤波器具有以下优点：实现了一种滤波算法可配置的滤波器结构，从而可以支持 多个视频编码标准；采用了基于s i m d 单指令多数据流技术，实现滤波数据全并 行运算，使硬件高度规整，易于芯片布局布线；设计了一个六级可配置的流水线， 重构为不同视频标准的去块滤波器，复用硬件资源，提高了硬件利用率和系统数 据吞吐量。用这种架构实现了一个同时支持h 2 6 4 、a v s 、v p 8 、r e a l v i d e o 四种 标准的多标准去块滤波加速器，时钟频率为2 0 0 m h z ，能够用于多标准高清视频 的实时滤波处理。 关键词：去块滤波；s i m d ；可重构；多标准 i i 浙江大学硕士毕业论文 基于s i m d 技术的可重构去块滤波v l s i 结构 a b s t r a c t i no r d e rt oi m p r o v ev i s u a lq u a l i t ya n ds a v i n gc o d er a t e ，m o s to ft h ed i s c r e t ec o s i n e t r a n s f o r mb a s e dv i d e oc o d i n gs t a n d a r dh a v ei n t r o d u c e dal o o pf i l t e rt or e m o v e b l o c k i n ga r t i f a c t s o w i n gt od e b l o c k i n gf i l t e ro p e r a t i o n sd a t a - i n t e n s i v ec h a r a c t e r i s t i c a n dr e q u i r e m e n t so fr e a l - t i m ev i d e od e c o d i n g ，t h eh a r d w a r ed e b l o c k i n gf i l t e r i n g a c c e l e r a t o rh a sg r a d u a l l yb e c o m ear e s e a r c hh o t s p o ti nr e c e n ty e a r s t h i sp a p e ri n t r o d u c e st h ed i g i t a lv i d e oc o m p r e s s i o nt e c h n o l o g y , d i g i t a lv i d e oc o d i n g s t a n d a r d ，m p e gs e r i e so fs t a n d a r d sd e v e l o p e db yi s o i e cm o v i n gp i c t u r ee x p e r t s g r o u p ，s e r i e so fh 2 6 xd e v e l o p e df r o mt h ei t u ts t a n d a r d ，g o o g l ei n t r o d u c e d w e b m v p 8o p e ns o u r c e v i d e os t a n d a r d s ，r e a l n e t w o r k sr e a l v i d e ov i d e oe n c o d i n g f o r m a t , a sw e l la sc h i n aw i t hi n d e p e n d e n ti n t e l l e c t u a lp r o p e r t yr i g h t so fa u d i oa n d v i d e oc o d i n gs t a n d a r da v s t h es e c o n dc h a p t e rd e s c r i b e st h eb a s i cf r a m e w o r ko fv i d e oc o d i n gs t a n d a r d s ， i n c l u d i n gp r e d i c t i v ec o d i n g ，t r a n s f o r mc o d i n ga n de n t r o p yc o d i n ga r et h r e em a i n t y p e so fv i d e oc o m p r e s s i o nt e c h n o l o g y a n dd e s c r i b e st h ek e yt e c h n o l o g i e si nh 2 6 4 ， a n da v ss t a n d a r d t h et h i r dc h a p t e ro nt h ev i d e oc o m p r e s s i o nc o d i n gs t a n d a r db l o c k e f f e c tc a u s e s ，a n dt ot h eb l o c ke f f e c tf i l t e ra l g o r i t h ma n dt w od i f f e r e n tf i l t e r s ：l o o p d e b l o c k i n gf i l t e ra n dp o s tf i l t e r t h ef o n hc h a p t e r d e s c r i b e st h ec h a r a c t e r i s t i c so ft h e d e b l o c k i n gf i l t e ra l g o r i t h m ，i n c l u d i n gf a s tb o u n d a r ya n a l y s i s ，f i l t e r i n gt oc a l c u l a t et h e s i m i l a r i t ya n a l y s i so ft h ea l g o r i t h mi nt w op a r t s ，a n dl a i d t h ef o u n d a t i o nf o r m u l t i s t a n d a r dr e c o n f i g u r a b l ed e b l o c k i n gf i l t e r i n gv l s ia r c h i t e c t u r e t h ef i f t hc h a p t e r d e s c r i b e st h ed e b l o c k i n gf i l t e rb a s e do nas i m dr e c o n f i g u r a b l ev l s id e s i g n ， i n c l u d i n ga r c h i t e c t u r ed e s i g n ，m u l t i m e d i as i m de x t e n s i o n si n s t r u c t i o ns e td e s i g n ， p i p e l i n e dd e b l o c k i n gf i l t e rd e s i g n c o m p a r e d t ot h et r a d i t i o n a lh a r d w a r ea c c e l e r a t o r sw h i c hs u p p o r ts i n g l es t a n d a r df o r d e b l o c k i n gf i l t e r i n g ，d e s i g n e dr e c o n f i g u r a b l ed e b l o c k i n g f i l t e rh a st h ef o l l o w i n g a d v a n t a g e s ：i m p l e m e n t sad e b l o c k i n ga r c h i t e c t u r ew h i c hf i l t e r i n ga l g o r i t h mc a nb e i i i 浙江大学硕士毕业论文 基于s i m d 技术的可重构去块滤波v l s i 结构 r e c o n f i g u r e d t o s u p p o r tm u l t i p l e v i d e o e n c o d i n gs t a n d a r d s ；a d o p t e ds i m d t e c h n o l o g y , a l lt h ef i l t e r i n gd a t ac o m p u t i n gp a r a l l e l l y , t h eh a r d w a r ec a l lt h e r e b yh i g h l y r e g u l a r l ys t r u c t u r e d w h i c hi sc o n v e n i e n tf o r c h i pl a y o u t ；d e s i g n e d a6 - s t a g e r e c o n f i g u r a b l ep i p e l i n et oe n h a n c i n gh a r d w a r eu t i l i z a t i o na n dg a i n i n gah i g hs y s t e m t h r o u g h p u tw h i c hr e u s eo fh a r d w a r er e s o u r c e sa n dc o n f i g u r e di n t od i f f e r e n tv i d e o s t a n d a r d s am u l t i - s t a n d a r da c c e l e r a t o rd e b l o c k i n gf i l t e rw h i c hs u p p o r t sh 2 6 4 ，a v s ， v p 8 ，r e a l v i d e os t a n d a r d sh a si m p l e m e n t e d t h em a x i m u mo p e r a t i n gc l o c kf r e q u e n c y i s2 0 0 m h z ，i tc a r lb eu s e df o rr e a l - t i m em u l t i - s t a n d a r dh dv i d e od e b l o c k i n gf i l t e r i n g k e y w o r d s ：d e b l o c k i n gf i l t e r ；s i m d ；r e c o n f i g u r a b l e ；m u l t i - s t a n d a r d i v 浙江大学硕士毕业论文基于s i m d 技术的可重构去块滤波v l s i 结构 致谢 回首玉泉三年求学的历程，我始终抱着珍惜这来之不易的学习机会的态度， 认真严谨、脚踏实地的工作学习。期间取得的每一个进步，更多的得益于良师益 友的鼓励和帮助。在这论文完成之际，我在此表达最诚挚的谢意。 首先需特别感谢硕士期间的指导老师丁勇副教授这些年来的悉心指导与关 怀。感谢他三年来在学习上和生活上对我的关怀和无私的帮助。丁老师学术渊博， 严谨求是，对待日常工作的认真负责的精神更是令我深受启发。他看待问题的问 题的角度，对学科前沿的敏锐洞察力，引导扩展面对复杂世界、解决复杂问题的 能力，令我终生受用。他创造了宽松的学术氛围、团结与和谐的学习与工作环境 无不激发了我的创新意识和进取精神。丁老师手把手地把我领入数字视频编解码 及集成电路设计的领域，他的全力支持让我在日常的工作中无所畏惧，勇往直前。 感谢超大规模集成电路研究所的全体老师，特别是史铮老师，吴晓波老师， 沈海斌老师，潘赞老师等在我的研究生生活中给予我的帮助和鼓励。 感谢我的的室友南超洲、李洪才和黄弘扬。从玉泉的7 舍4 0 2 5 到1 1 舍5 2 4 ， 从学校的篮球场到美丽杭城的角角落落，是你们在这三年里陪伴着我给我温暖与 关怀，祝即将走上工作岗位的你们前程似锦，祝仍然在攻读博士学位的黄弘扬早 日摘得博士头衔。 感谢项目组的王一木学长，陈爱莲学姐，感谢你们在我刚进入实验室及其后 的科研及实验室生活中的耐心指导与帮助，感谢郑宁，曹晓阳，张渊，宋文华， 刘晓东，叶森，是你们，在项目进展的数百上千个日日夜夜里陪伴着我一起学习， 一起奋斗，一起感悟，一起成长。感谢学弟学妹们，你们的乐观与开朗给我的实 验室生活增添许多美好的回忆。 最后，特别感谢我的父母家人。你们的全力支持，不断鼓励让我敢于追逐梦 想，我的心永远会和你们在一起。感谢我的女友，是你一如既往的在身边默默支 持，让我能体验这淋漓痛快的人生。 贾梦楠 2 0 1 2 年2 月于玉泉 浙江大学硕士毕业论文基于s i m d 技术的可重构去块滤波v l s i 结构 1 绪论 九十年代以来，随着信息技术和网络的飞速发展，人们对多媒体业务的 需求不断增长。多媒体技术无所不包，它是一个先进的计算机技术，能够交 互地综合处理不同感觉媒体的信息处理技术，其技术涉及面非常广泛，融合 了通信、文字、图像、音视频技术等多种内容，成为了人们获得信息的重要 载体。从移动电视，d v d ，视频通话，3 d 立体电视等等。多媒体技术已成 为世界各国计算机领域研究的热门重点以及各大公司产品研发的热点。 多媒体信息中，视频信息是人类最高效最容易接受的信息获取方式，它 具有直观性、确定性、高效性和广泛性的特点。人类接受的信息大约有7 0 来自视觉【1 】【2 】，因此视频信息技术在多媒体技术中占有很大的比例。视频信息 与其它多媒体信息相比，最大的特点就是它所包含的数据量、信息量非常巨 大，需要占用很大的带宽。例如，一路未经压缩的c 1 f 格式的视频信号数据 量为3 8 m b s ，一部1 2 0 分钟的c i f 格式原始视频流( y u v 4 ：2 ：0 ， 3 0 p s ) 影 将需要3 0 g 的空间来存储，而d v d 刻录碟片容量有4 7 g b ，专门用于播放 用的光盘的最大容量能够达到1 7 g b ，下一代d v d 蓝光( b l u e r a yd i s c ) ，理 论容量更能够达到2 7 g b 。但即使这样，一张碟片也放不下一部电影。又如， 一路高清晰度电视信号( h d t v ) ，不压缩的时候需要1 g b i t s 的带宽。随着人 们对视频体验需求的提高，数字视频格式逐步向高分辨率发展，数据量变得 越来越大。以1 0 8 0 p 高清视频( 1 9 2 0 x 1 0 8 8 6 0 p s y u v 4 ：2 ：0 ) 为例，每帧的数 据量达到1 9 2 0 1 0 8 8 = 3 1 3 ( m b ) ，每秒的数据量为3 1 3 x 6 0 = 1 8 7 5 ( m b s ) ， 而百兆网( 1 0 0 m b p s ) 的理论传输速度仅有1 0 0 8 = 1 2 5 m b s 。因此，在视频数 据传输或储存之前不对其进行压缩来减少传输的数据量，这在传输速率与存 储空间都有限的互联网环境下是不现实的。 由于视频数据有着信息量巨大，传送带宽需求高等特点，因此，视频数 据的高效率压缩有很重要的意义，它是降低存储成本，缓解网络带宽压力的 关键技术如何从原始数据中去除大量的冗余信息，高效的处理、组织这些 数据，以追求更大的压缩率，使之能够适应现在的网络带宽与实时处理的需 浙江大学硕士毕业论文基于s i m d 技术的可重构去块滤波v l s i 结构 求是现今各类视频压缩技术需要解决的一个重要问题，有效的解决存储设备 和通信网络的问题能大大提高多媒体技术的推广度，高效的视频压缩技术已 成为国内外数字通信的研究热点。在过去的几十年里，国内外各种面向应用 的多媒体压缩编解码标准应运而生。 1 1 数字视频压缩的原理 视频压缩是多媒体技术里一项关键技术，它通过去除信号中的冗余量， 减小信息数据量，视频压缩编码的目的【3 】就是去除视频序列的冗余，只保留 相互独立的信息分量，用尽可能少的数据表征原始图像数据，同时保持重建 视频的质量，使之更容易传输实时视频信息或者在存储器中存放更多的视频 内容。 视频图像虽然数据量很大，但这些数据往往是高度相关的，这些相关性 会引起信息的冗余，如空间冗余、时间冗余、结构冗余、知识冗余等【4 1 。视 频的空间冗余指在某一帧图像内部相邻像素之间的相关性：时间冗余是指连 续的图像帧之间存在的相关性。一般通过信息熵的大小分配相应比特数来表 示图像的一个像素，然而对于图像的像素，得到它的信息熵比较困难，因而 会对每个像素是采用相同的比特位表示，于是就产生了信息熵冗余。人眼对 某些高频信息、色度信号不敏感，因此削弱这些信息图像的主观质量也不会 受到很大的影响。这些信息便可认为是视觉冗余。视频压缩的目的就是在保 持一定图像质量的前提下，尽可能地去除信息冗余来减少数据量。 视频是一组运动中的图像，它由一系列连续的画面组成，其中每一幅画 面即为一帧。我们把视频分解为连续的帧，最常见的视频通常每秒有3 0 帧 的图像，也就是说每两帧图像的间隔是1 3 0 秒，实际上在这1 3 0 秒之间， 两幅图像的变化是很小的，视频画面有1 秒钟的停顿那么连续3 0 帧画面都 会完全一样，这就是时间冗余一帧单一图像也存在一致性的区域，即空间 冗余，根据视觉模型可知，人眼和大脑对高频信号相对不敏感，对亮度分量 的敏感程度比色度分量更高，这就是视觉冗余。针对不同的冗余信息，有着 各种不同的压缩方法。 时间冗余是图像数据最大的冗余例如，1 秒的静止图像相当于传送了 2 浙江大学硕士毕业论文基于s i m d 技术的可重构去块滤波v l s i 结构 3 0 帧相同的数据。即使是运动图像，多数情况下也只是很少的一部分画面在 运动。比如大范围的运动视频，前、后两帧的画面尽管有不小的区别，移动 物体本身在却基本相同，通过物体移动的方位与距离，就可以在前一帧找到 相应的图像内容，因而这部分图像块的信息就不需要再被传送。通过运动矢 量来表示物体移动的距离和方向，用运动牢j 、偿来表示把前一帧相应的运动部 分填补到新的一帧画面的残差。这种查找匹配块的过程就被称为运动估计。 运动估计和运动补偿就是去除时间容易的视频压缩技术。 视频的每一帧图像通常由大块的平坦色块块组成，一帧图像内部有很大 一部分像素点的数值是一模一样的，这便是空间冗余。通常采用差值脉冲编 码和帧内预测编码来消除空间冗余。差值脉冲编码时，所传送的数据按照扫 描的顺序将当前样值和前一像素的差值来进行传输。由于相邻取样点之间的 相关性，所传送的差值经常为零或者很小。这时如果采用零游程编码就可以 很大地压缩数据了。 帧内预测编码是二维预测编码，它在预测某一样点的数值时，不仅用到 当前行前一样点的取样值，还用到上一行相邻样点的采样值，以及上一行取 样点前一样点的取样值，目的是让预测的值和实际出现的样值更接近，这时， 所传送的修正数值才会更小甚至为零。从而降低了码率。显然，图像各样点 之间的相关性越强帧内预测编码所取得的码率压缩效果越好 在一串数值组成的信号中，根据统计学规律，某些数值会经常出现，而 一些数值很少出现，这种数值出现的概率不同就是统计冗余。可以根据这种 概率的不同来分配不同长度的码字，相对于定长码字表示方法，就可以达到 了数据压缩的目的，这种编码方式即是熵编码。事件发生的概率越大，熵越 小，分配较小的码字；反之，事件发生的概率越小，其熵值越大，就分配较 长的码字。通过这样的可变长编码，可对数据信号进行有效的压缩。 1 2 数字视频压缩技术的发展 为应对数字视频的海量数据与有限的网络传输带宽以及存储空间之间的矛 盾，出现了一系列数字视频压缩技术。第一代视频压缩编码技术在2 0 世纪8 0 年代日趋成熟，主要包括预测编码、变换编码和熵编码三大经典纹理编码方法 3 浙江大学硕士毕业论文 基于s i m d 技术的* - i t 构去块滤波v l s i 结构 5 - s 这类技术能够在中等压缩率的情况下提供非常好的图像质量，许多优秀成 果已被吸收到近年来制定的图像视频压缩标准中来。 1 9 8 5 年出现的第二代视频压缩编码技术，以基于块的混合运动补偿离散余弦 变换( m c d c t ) 为代表，它克服了第一代技术的局限性，突破了原有信息论的框 架【9 】，充分利用了模式识别、人工智能、计算机图形学与等交叉学科的研究成果， 为视频压缩领域开拓出广阔的前景。如小波视频编码分布式信源编码等1 0 】。 基于这些早期的视频编码技术，国际标准化组织i s o ( i n t e m a t i o n a l s t a n d a r d i z a t i o no r g a n i z a t i o n ) 和国际电工委员会i e c ( i n t e m a t i o n a le l e c t r o n i c s c o m m i t t e e ) t 属的运动图像专家组m p e g ( m o v i n gp i c t u r e se x p e r t sg m u p ) 组织制 定了m p e g 系列【1 1 】标准： 1 9 9 1 年，i s o i e c 公布了码率为1 5 m b i t sm p e g 1 【1 2 】视频编码标准，此标准 主要用于存储和检索类似光盘只读存储器( c d r o m ) 的数字媒体视频。在编码方 法上，m e p g 1 除了包含帧内帧( i ) 和预测帧( p ) 外，还增加了双向帧( b ) 和直流帧 ( d ) ，进一步提高了编码效率。1 9 9 4 年1 1 月，i s o i e c 公布了码率从4 m b i t s 、 1 5 m b i t s 直至1 0 0 m b i t s 多个档次和不同级别的视频压缩标准m p e g 2 【1 3 】，用 于数字视频广播( d v b ) 、家用d v d 的视频压缩及高清晰度电视( h d t 1 9 9 9 年1 2 月，i s o i e c 通过了“视听对象的编码标准一一m p e g - 4 【1 4 】，它除了定义 视频压缩编码标准外，还强调了多媒体通信的交互性和灵活性。该标准主要应用 于可视电话和视频会议等。 同时，国际电信联盟i t u t ( i n t e m a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ) ，制定了 h 2 6 x 系列的视频压缩编码标准： 1 9 8 8 年，i t u t 前身c c i t t 通过了 p x 6 4 b i t s ( p = l ，2 ，3 ，4 ，5 ，3 0 ) ”视像编码 标准h 2 6 1 1 5 】，它是针对在综合业务数字n ( i s d n ) 上实现电信会议应用的技术， 规范了i s d n 上的双向声像业务，使面对面的可视电话和视频会议成为可能。 h 2 6 1 采用的算法结合了可减少时间冗余度的帧间预测和可减少空间冗余度的 d c t 变换的混合编码算法，其他的技术包括图像分块变换，标量量化，熵编码， 运动补偿，并使用了帧问预测来消除空间冗余，这些方法跟和i s d n 信道相匹配， 它奠定了混合编码框架的雏形。这些技术成为了日后其它各种视频压缩标准的基 础和核心1 9 9 5 年，i t u t 推出了h 2 6 3 1 6 】标准，用于低于6 4 b i t s 的低码率 4 浙江大学硕士毕业论文 基于s l m d 技术的可熏构去块滤波v l s i 结构 视频传输，如p s t n 信道中的可视会议、多媒体通信等码率小于6 4 k b p s 的应 用。2 0 0 0 年又陆续公布了h 2 6 3 改进版h 2 6 3 + - 9h 2 6 3 + + 视频编码标准，能 够支持多数的图像格式，比如q c m 、c i f 、4 c i f 和1 6 c i f 等，h 2 6 x 系列编 码标准向支持全码率应用方向发展。h 2 6 3 编码算法核心仍然基于h 2 6 1 标准中 的d p c m 以及d c t 的混合编码方法，同时也吸收了其它一些国际标准中有效先 进的部分，比如p 帧与b 帧、半像素预测、不受限的运动矢量、高级预测模式 等，进过这些改进，h 2 6 3 在编码性能和复原的图像主观质量上都要优于h 2 6 1 。 随着市场对图像传输需求的增加，同时面临着网络多种条件的信道环境共存 的情况，如何适应不同信道的传输特性，日益成为了研究的重点。i s o l e c 下属 的m p e g 和i t u 下属的视频编码专家组v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 共同 成立了联合视频小组j v t ( j o i n tv i d e ot e a m ) ，其目标在于制定一个新的视频编码 标准，能实现视频的高压缩率与高的还原图像质量、并且有着强壮的网络环境适 应能力。2 0 0 3 年，j 、丌推出了新一代的视频编码标准，并纳入了i t u t 体系称 为h 2 6 4 标准。在i s o h e c 中，此标准则被命名为a v c ( a d v a n c e dv i d e oc o d i n g ) ， 并作为m p e g 4 标准的第1 0 部分【切。与以前的编码标准相比，新标准有若干不 同之处：h 2 6 4 不仅含有一个规定视频编码算法的视频编码层c l ) ，还包括一 个规定网络传输规范的网络抽象层( n a l ) ；它引入了高精度、多种模式运动估计， 整数变换和环路去块滤波器等新技术，能提供更高的压缩率和更良好的网络适应 能力，具有更加广泛的应用范围。编码框架仍然是传统的混合编码框架，其编码 效率的提高是多种新技术产生的细微效果积累而致，这些技术包括新的帧内预测 方法、可变尺寸的多参考帧的运动补偿技术、4 x 4 整数变换技术、基于上下文的 二进制算术编码技术( c a v l c ) 以及新的环路滤波算法。h 2 6 4 标准的制定标志着 限失真数字视频编码技术开始走向成熟。h 2 6 4 的颁布是视频压缩编码学科发展 的里程碑，它以优异的压缩性能、良好的网络适应能力在数字电视广播、视频实 时传输、网络视频流媒体及多媒体通信等多个方面都发挥了重要作用。 图1 1 是i t u t 的h 2 6 x 标准与i s o i e c 制定的m p e g x 标准的演化年表 浙江大学硕士毕业论文 基于s i m d 技术的可重构去块滤波v l s i 结构 图日叵田 圆圈曰 囤e 工卫 1 9 8 51 9 9 01 9 9 52 o 2 0 图1 - 1i t u t 和i s o i e c 制定的视频编码标准 除了i t u t 及i s o i e c 标准化组织之外，各大公司也在研发跟推广自己的 视频编解码标准。 r e a l n e t w o r k 公司制定了一种针对视频流应用的r e a l v i d e o 1 8 】视频压缩规范， 它是一种编码框架基于h 2 6 4 a v c 的视频文件格式，凭借其优良的压缩性能， 已经成为可目前互联网上最为流行的数字视频文件格式之一。与其它基于宏块的 编码规范类似，r e a l v i d e o 采用了运动估计、整数变换、运动补偿及预测技术。 其运动补偿技术能够从所有可用的参考帧中搜索最佳运动向量，然后直接复制最 佳运动向量所指示的一个块的像素值，或是插值产生的像素值。编解码器同样采 用了去块效应滤波算法。去块滤波算法的加入在改善重建图像主观质量的同时， 也提高了压缩效率。 g o o g l e 公司最近推出了一种开源视频编码格式w e b m v p 8 1 9 】。该视频编码 标准应能提供高质量的视频压缩格式以配合h t m l5 使用。w e b m 采用了o n 2 t e c h n o l o g i e s 公司开发的v p 8 视频编解码器和x i p h o r g 基金会开发的v o r b i s 音 频编解码器，其封装格式则以m a t r o s k a ( m k v ) 开源格式为基础。v p 8 能以更少的 数据提供更高质量的视频，而且只需较小的处理能力即可播放视频，为致力于 实现产品及服务差异化的网络电视、p t v 和视频会议提供理想的解决方案。v p 8 包含了多项创新技术，包括：基于虚拟参考祯的高级预计编码、基于宏块级的多 线程技术、改进的局域参考编码、增加复杂度的先进上下文熵编码、稀疏目标区 域的自适应回路滤波等，从而能以更少的数据提供更高质量的视频。例如：主要 的h 2 6 4 实现方案需要两倍的数据才能提供与w e b m v p 8 相同质量的视频( 基于 客观峰值信噪比测试结果) 因为g o o s e 公司的免费开源与授权开放政策，不同 6 浙江大学硕士毕业论文基于s i m d 技术的可重构去块滤波v l s i 结构 于需要收取专利授权费用的h 2 6 4 标准，使用w e b m v p 8 标准无需支付高昂的 专利费用。同时，w e b mv p 8 比特流的解码只需要极少的处理周期，故用户无需 拥有高端的p c 或移动设备也能够享受到w e b m v p 8 的视频质量，此外，w e b m v p 8 在a r m 架构兼容性与多核处理器适用性方面也具有后发优势。近日，瑞芯 微电子( r o c k c h i p ) 披露，其将在2 0 11 c e s 展会正式发布r k 2 9 x x 系列解决方案 与终端应用产品，涵盖谷歌互联网电视、平板电脑及智能手机领域，并将在全球 范围率先实现a n d r o i d 平台上对w e b mv p 8 解码的支持，意味着w e b mv p 8 与 a n d r o i d 的全面融合即将揭幕。 除了上述国际标准之外，中国也在制定具有自主知识产权的音视频编码标 准。在2 0 0 3 年中国a v s ( a u d i ov i d e os t a n d a r d ) 音视频编解码技术标准工作组制 定了先进视音频编码标准( a v s ) f 5 9 】标准的第一部分( 系统) 和第二部分( 视频) 的草 案最终稿( f c d ) 。2 0 0 4 年，全国信息技术标准化技术委员会组织评审并通过了 a v s 标准视频草案。两年以后a v s 标准成为国家标准。a v s 是我国具备自主知 识产权的第二代信源编码标准，具备完备的一整套包括系统、视频、音频、数字 版权管理在内的四个主要技术标准和一致性测试等支撑标准，能够为数字音视频 产业提供更全面的解决方案。a v s 标准以h 2 6 4 框架为起点，在考虑实现复杂 度的前提下强调自主知识产权。经过测试表明，在编码效率方面，a v s 是m p e g 2 的两倍以上，与h 2 6 4 相当。复杂度方面，技术方案简洁，芯片实现复杂度低， 算法复杂度要比h 2 6 4 低3 0 以上，而实际观看的效果与h 2 6 4 差别不大。专 利费用方面，a v s 标准则远低于国际标准，这也是a v s 标准最大的优势，它最 直接的经济效益就是在未来视频应用市场上将省超过1 0 亿美元的专利费。 浙江大学硕士毕业论文基于s i m d 技术的可重构去块滤波v l s i 结构 2 视频编码的基本框架与标准 2 1 视频编码的基本框架 为了满足视频解码快速运算的需求，广泛采用硬件加速引擎实现视频解码， 而众多视频编解码标准并存的格局，给视频解码器的设计带来了一定的挑战。在 设计一个支持多标准的视频解码器时，必须充分挖掘各标准之间的相似性，以灵 活、可重构的方法设计硬件结构，以较少的硬件资源实现对多个标准的支持，取 得性能与成本的折中。 虽然各视频标准有所差异，有着各自的特点，但其核心是一致的，如图1 所 示。由图1 2 可以看出，视频编码方法与所采用的信源模型有关，一般可以分为 两大类：基于波形的编码和基于内容的编码。它们利用不同的压缩编码方法，得 到相应的量化前的参数，再对这些参数进行有损二进制编码，最后利用无损编码 进行进一步压缩。解码是编码的逆过程。 信源模型 量化参数参数统计特性 图2 1 视频编解码系统 信道“ 基于波形的编码，是指利用像素间的空间相关性和帧间的时间相关性，采用 预测编码和变换编码技术，显著降低视频序列的码率，实现压缩编码的方法。在 基于波形的编码中，采用的信源模型是一幅图像由许多像素构成的。而基于内容 的编码采用的信源模型是一幅图像由几个物体构成。先把视频帧分成对应于不同 物体的区域，然后分别对其进行编码，即对不同物体的形状、运动和纹理进行编 码。 视频压缩编码的预测编码、变换编码、熵编码三类技术是目前视频压缩编码 的核心，它们分别用于去除视频信号的空域冗余、时域冗余和信息熵冗余。在视 浙江大学硕士毕业论文 基于s i m d 技术的可重构去块滤波v l s i 结构 频压缩编码的发展中，已逐渐形成了基于图像分块的的预测编码加变换编码的混 合编码框架。在这个混合编码的过程，首先将一幅图像分成若干固定大小的块， 对这些分块数据，单独进行帧内预测或帧间预测，达到压缩空间冗余和时间冗余 的目的，对预测后的残差块数据则采用变换编码进一步压缩空间冗余，然后通过 对变换编码产生的编码系数进行量化以降低视觉冗余，最后再通过嫡编码压缩信 息嫡冗余，从而完成整个压缩编码过程。 2 1 1 预测编码 预测编码分为帧内预测编码与帧间预测编码两种。统计表明，同一幅图像的 邻近像素之间有着很强的相关性，即邻近像素值之差很小，如果对差值进行量化 编码，则量化器的动态范围可以缩小，这样每个像素的编码比特数就可以得到降 低。帧内预测就是使用这样的方法来降低空间冗余度。对于视频序列数据在时间 上的冗余，可以利用己编码帧的信息来对当前图像帧进行编码，以便尽可能的去 除时间冗余。与帧内预测技术相对应，这种编码方式称为帧间预测编码。在帧问 预测编码中，先进行运动估计( m e ) ，即依据某种匹配算法，通过在参考图像中 搜索到与当前图像块匹配程度最高的参考块，获取两者之间空间位置的相对位移 量，称之为运动矢量( m ；接着是运动补偿过程( m c ) ，即用当前图像块和匹配 块相减，得到的残差块和运动矢量一起通过编码后传输。由于残差值的动态范围 比原始图像块的像素值要小，所以通过只编码残差值，大大减小了数据量，能够 有效地去除连续图像帧间的数据冗余。预测编码利用了图像空间和时间的相关 性，通过空间或时间相邻像素进行预测，从而有效地降低了图像的空间冗余和时 间冗余。 2 1 2 变换编码 变换编码最基本的思想是将空间域中的图像数据变换到另外的一个变换域 中，在这个变换域中再对表征图像信息的数据进行处理会比在原来的空间域中方 便和简单得多空间域中n x n 的像素块经过正交变换后，在变换域中会形成同 样大小的变换系数块。在变换前，空间域中的像素存在很强的相关性，能量在块 内分布均匀，而在变换后，能量主要集中在直流系数和少数低频的变换系数上。 9 浙江大学硕士毕业论文 基于s i m d 技术的可重构去块滤波v l s i 结构 变换本身不压缩数据，但由于变换后系数相关性明显下降，并且能量相对集中在 少数几个系数上，就容易实现编码率的压缩。整数d c t 变换，变换矩阵系数全 部使用整数，核心算法只需要移位和加法操作，精度和运算速度都可以得到保证 逆变换可以完全恢复原始信号，不再存在失配问题。 2 1 3 熵编码 熵编码是利用统计特性对数据信息嫡冗余进行压缩的一种编码技术，在视频 压缩的墒编码技术中，应用最广泛的两种是哈夫曼编码( h u f r m a nc o d i n g ) 和算术 编码( a r i t h m e t i cc o d i n g ) 。哈夫曼编码的理论基础是著名的h u f f i n a n 定理，即如 果码字长度严格按照所对应信源符号出现概率大小逆序排列，则编码结果平均码 字长度应接近信源嫡。理论上，采用哈夫曼编码可以消除信息嫡冗余，但由于计 算机中存储和处理的最小数据单位是比特，实际应用时压缩编码效果往往达不到 理论的压缩比。算术编码的本质是用区间递进的方法为多个输入符号分配一个码 字，而不是给每个输入符号分别指定码字。跟哈夫曼编码相比，算术编码能较好 地解决计算机中整数位编码的问题，因此能够获得更好的压缩性能，当然复杂度 也相应较高。 2 2 视频编码标准的关键技术 2 2 1h 2 6 4 a v c 的关键技术 h 2 6 4 a v c 标准也叫新一代视频压缩编码标准，它继承了以往h 2 6 x 系列 标准发展中的优点，同时解决了以前标准中存在的不足，与此前的h 2 6 3 v 2 ( h 2 6 3 + ) 或m p e g - 4s i m p l ep r o f i l e 等标准相比，h 2 6 4 具有许多新的特征：系 统分为视频编码层( v c l ) 和网络抽象层( n a l ) 、适用范围更为广泛、大的容错能 力、编码效率主档比m p e g 2 节省约6 3 的比特率、m p e g 4 省约3 6 的比特 率，而且在高比特率时质量优良【2 1 1 ，h 2 6 4 a v c 编码效率的显著提高得益于高精 度、多模式的运动估计，整数变换和环路去块滤波等技术以下介绍h 2 6 4 视频 压缩编码标准中的关键技术： ( 1 ) 高精度、多模式的运动估计 1 0 浙江大学硕士毕业论文 基于s i m d 技术的可重构去块滤波v l s i 结构 h 2 6 4 支持1 4 和l 8 像素精度的运动矢量。其中，1 4 像素精度用于亮度块， 1 8 像素精度用于色度块。高精度运动估计首先进行整像素的运动估计，当搜索 到整数级别的最佳匹配块时，在该点土1 像素范围内处进行插值，得到1 4 像素 精度的采样点。最后在这些亚像素采样点中进行搜索，得到就是1 4 像素精度的 最优运动矢量。在进行运动估计时，编码器还可选择”增强”内插滤波器来提高预 测的效果。 在h 2 6 4 a v c 的运动估计中，一个宏块( m b ) 可划分为1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 ， 8 x 8 的块。采用8 x 8 块时，还可以进一步分为更小的8 x 4 ，4 x 8 ，4 x 4 的子块，从 而形成7 种不同模式的块尺寸【2 2 1 。这种多模式的灵活和细致的划分，更切合图 像中实际运动物体的形状，大大提高了运动估计的精确程度。在这种方式下，在 每个宏块中可以包含有l 、2 、4 、8 或1 6 个运动矢量，运动矢量和分块信息需要 进行编码和传输。 ( 2 ) 多参考帧技术 h 2 6 4 a v c 运动估计允许编码器使用多于一帧的已编码帧作参考，这就是所 谓的多帧参考技术。多参考帧在很多自然场景的周期变换以及镜头在两个场景中 交替转换等情况下可以提高编码效率。在这种模式下，对某一个块进行运动估计 时，编码器利用己经编码结束的多个帧对当前编码块分别进行预测，并从中选择 预测最好的帧作为参考帧，可以提高预测效果，但同时由于采用多参考帧进行预 测，计算复杂度增大，而且存储多个参考帧需要较大的缓冲区。 ( 3 ) 整数变换 h 2 6 4 a v c 中不同的残差系数在编码时要经过不同的变换，如图1 2 所示。 对一个宏块进行变换编码的流程如下【2 3 1 。不同于t ；z 前- 标准对预测参差值的变换 编码使用d c t 变换，h 2 6 4 使用了简单的整数变换。这种变换与d c t 相比压 缩性能几乎相同且有许多优势，其核心变换的计算只使用加减，移位运算，避免 了精度的损失。首先对1 6 个亮度和8 个色度4 x 4 残差块进行整数d c t 变换；由 于图像通常是缓慢变化的，在进行了上述4 x 4 整数变换后，各块( o ，0 ) 位