（微电子学与固体电子学专业论文）mpeg4解码器的运动补偿vlsi设计与实现.pdf

m p e g 4 解码器的运动补偿v l s i 设计与实现摘要m p e g 4 是基于第二代视频压缩编码技术制定的标准，它采用了一系列创新性的技术，在压缩效率和灵活性方面比先前的标准有了明显的改善。m p e g - 4凭借其低码率高质量的优点，广泛应用在多媒体传输、存储和检索等领域。运动补偿是利用先前已编码帧的图像作为参考图像对当前图像进行预测的一种方式。在m p e g 4 中引入了先进的运动补偿算法，其中包括4 m v ( f o u rm o t i o nv e c t o r s ，四运动矢量) 模式，直接模式，无限制运动补偿，i 4 像素精度运动补偿等以前没有的工具集。这些算法可以获得更高的编码效率和更优的图像质量，但也为v l s i 设计和实现增加了难度。本文研究了m p e g 4 运动补偿电路的v l s i 设计与实现方法，完成的主要工作包括以下几个方面：( 1 ) 体系结构的设计：采用了自顶向下的方法，将运动补偿电路具体划分为运动矢量解码模块、地址产生模块、像素预测模块和重建模块四个子模块，然后对四个子模块进行了详细的设计和说明，包括介绍子模块的功能、内部硬件结构以及操作时序等。( 2 )关键功能模块的优化实现研究：针对运动补偿模块数据运算量大和访问帧存储器频繁的特点，采用四个插值单元同时处理，增加像素缓冲器，充分利用并行性结构等方法来加快运动补偿速度。( 3 ) 关键算法的改进和优化研究：对4 - m v 模式和直接模式的运动矢量预测，无限制运动补偿，1 4 像素插值等关键算法的实现进行了详细的讨论。特别的，在4 - m v 模式运动矢量预测部分采用行存储策略和对无限制运动补偿提出了坐标转换法，节省了存储器资源。( 4 ) f p g a 原型实现及基于硬件原型的功能验证实践：针对运动补偿模块的功能验证情况多和整体性强的特点，提出了软件仿真验证和f p g a原型验证相结合的联合验证的方法。整个设计采用v e r i l o gh d l 语言描述，通过了现场可编程门阵列( f p g a ) 的原型验证，并采用s i m c0 18 | lm 工艺单元库完成了该电路的逻辑综合。经过实际视频码流测试，本设计可以达到m p e g 4 简单类和高级简单类的实时解码的技术要求。关键词：运动补偿，m p e g 4 ，v l s i 结构v l s id e s i g na n di m p l e m e n t a t i o no fm o t i o nc o m p e n s a t i o nf o rm p e g 4d e c o d e ra bs t r a c tm p e g - 4i sam u l t i m e d i ac o m p r e s s i o ns t a n d a r db a s e do nt h es e c o n d a r yg e n e r a t i o nv i s u a lc o d e dt e c h n o l o g y i th a sa d o p t e dal o to fc r e a t i v et e c h n o l o g i e s ，s ot h ec o d ee f f i c i e n c ya n df l e x i b i l i t yh a v eb e e ng r e a t l yi m p r o v e dt h a nt h ep r e v i o u s l ys t a n d a r d s m p e g - 4s t a n d a r dh a sb e e na p p l i e db r o a d l yi nt h ed o m a i n so fm u l t i m e d i at r a n s m i s s i o n ，s t o r a g ea n ds e a r c h e s ，w i t hi t sa d v a n t a g e ss u c ha sl o wb i t r a t ea n dh i g hc o m p r e s s i o n m o t i o nc o m p e n s a t i o ni sam e t h o dw h i c hu s e st h ec o d e dp i c t u r ef o rr e f e r e n c ep i c t u r et oi n t e r p o l a t et h ec u r r e n tp i c t u r e l o t so fn e wa l g o r i t h m s ，s u c ha s4 - m vm e t h o d ，d i r e c t e dm e t h o d ，q u a r t e r p i x e lm o t i o nc o m p e n s a t i o n ，u n r e s t r i c t e dm o t i o nc o m p e n s a t i o na n ds oo n ，a r ea d o p t e db yt h em o t i o nc o m p e n s a t i o nt o o lo fm p e g 一4 t h e s ec a ne n h a n c et h ev i d e oq u a l i t ya n dc o d ee f f i c i e n c y , b u ti n c r e a s et h ed i f f i c u l t yf o rv l s id e s i g na n di m p l e m e n t a t i o n t h em a i no b j e c to ft h i st h e s i sd i s c u s s e st h ev l s id e s i g na n di m p l e m e n t a t i o no fm o t i o nc o m p e n s a t i o nf o rm p e g - 4d e c o d e r t h ec o n t r i b u t i o n so ft h ee s s a ya r es u m m e r e da sf o l l o w e d ：( 1 ) t h er e s e a r c ho nt h ea r c h i t e c t u r ed e s i g n ：w i t ht o p - d o w nm e t h o d ，t h em o t i o nc o m p e n s a t i o nc i r c u i tw a sd i v i d e di n t of o u rs u b m o d u l e s ：m o t i o nv e c t o rd e c o d e r , a d d r e s sg e n e r a t i o nm o d u l e ，p i x e li n t e r p o l a t i o nm o d u l ea n dr e c o n s t r u c t i o nm o d u l e t h e nt h ef o u rs u b m o d u l e sw e r ed e t a i l e d ，i n c l u d et h ef u n c t i o n ，t h eh a r d w a r ea r c h i t e c t u r ea n do p e r a t i o nt i m i n g ( 2 ) r e s e a r c h e so nt h eo p t i m i z a t i o nd e s i g no ft h ek e ym o d u l e s ：f o rt h em o t i o nc o m p e n s a t i o ni st h em o s ti n t e n s i v ep a r to fa c c e s s i n gm e m o r ya n dh a sh i g ht h r o u g h p u t ，s e v e r a lm e t h o d sw e r ea d o p t e dt oi m p r o v em e m o r ya c c e s se f f i c i e n c y , i n c l u d i n gf o u rp i x e li n t e r p o l a t o r ，p i x e lb u f f e ra u g m e n t a t i o n ，a n dp a r a l l e la r c h i t e c t u r e ，w h i c hl e a dt og o o ds p e e d u po fm o t i o nc o m p e n s a t i o n ( 3 ) s t u d ya n do p t i m i z a t i o no fs o m em a j o ra l g o r i t h m so fm o t i o nc o m p e n s a t i o n t h ei m p l e m e n t a t i o n so f4 一m vm e t h o d ，d i r e c t e dm e t h o d ，q u a r t e r p e lm o t i o nc o m p e n s a t i o n ，a n du n r e s t r i c t e dm o t i o nc o m p e n s a t i o nw e r ed i s c u s s e di nd e t a i l t h em e t h o d sw e r ep r o p o s e dw h i c hc a nr e d u c em e m o r yc o n s u m p t i o nf o rm o t i o nv e c t o rd e c o d i n gi n4 一m va n du n r e s t r i c t e dm o t i o nc o m p e n s a t i o nr e s p e c t i v e l y a sf o rt h ef o r m e r , al i n eb u f f e ri sa d o p t e di n s t e a do ff r a m eb u f f e r ，a n df o rt h e1 a t e r ，am e t h o do fc o o r d i n a t et r a n s f o r m a t i o ni su s e d ( 4 ) p r a c t i c e so nf p g ap r o t o t y p ei m p l e m e n t a t i o na n df u n c t i o nv e r if i c a t i o n ：t h ef u n c t i o nv e r i f i c a t i o no fm o t i o nc o m p e n s a t i o nm o d u l eh a ss u c hc h a r a c t e r i s t i c sa se x c e s s i v et e s ts u i t s ，s e ao ft e s td a t a ，a n dh i g hc o r r e l a t i o nb e t w e e ns u b m o d u l e s ，s ot h ec o m b i n a t i o no fs o f t w a r eb a s e ds i m u l a t i o na n df p g ap r o t o t y p eb a s e de m u l a t i o nw a sa d o p t e da st h ep r i n c i p a lv e r i f i c a t i o nm e t h o d o l o g yi no u rd e s i g n t h ed e s i g nw a sd e s c r i b e dw i t hv e r i l o gh d l i th a sb e e ni m p l e m e n t e db yf i e l dp r o g r a m m a b l eg a t ea r r a y ( f p g a ) s y n t h e s i sw a sa l s of u l f i l l e dw i t hs y n o p s y sd e s i g nc o m p i l e r , b a s e do ns m i co 18 p ms t a n d a r dc e l lc m o st e c h n o l o g y d e m oe x p e r i m e n tw i t hr e a lv i d e os t r e a m ，s h o w st h a tt h ed e s i g nc a nm e e tt h er e a l t i m ed e c o d i n gr e q u i r e m e n t so ft h em p e g - 4s i m p l ep r o f i l ea n da d v a n c e ds i m p l ep r o f i l e k e yw o r d s ：m o t i o nc o m p e n s a t i o n ，m p e g - 4 ，v l s ia r c h i t e c t u r ei i i致谢首先感谢我的导师高明伦教授。一个人最大的幸运莫过于在他的青年时代遇到一位品德高尚而又睿智的老师。高老师不仅是一位爱国爱校、学识渊博、治学严谨的学者，而且是一位待人诚恳、平易近人的慈爱长者。能成为高老师的学生是我一生的骄傲，高老师是我永远学习的榜样。同时深深感谢潘剑宏老师曾经给予的悉心关怀和帮助。感谢张多利老师对我论文的耐心修改以及在项目中给予的极大鼓励、指导和帮助。感谢杜高明老师，宋宇鲲老师，耿罗锋博士在我日常学习、项目实践和论文写作中给予的巨大帮助。感谢林微老师，邓红辉老师，贾靖华老师对我的关心和热情帮助。感谢尹勇生老师，王晓蕾老师，王锐老师，胡永华老师在课程上的指导，使我受益匪浅。感谢n o c 项目组的章伟、候宁、汤益华、张文婷等师兄师姐的帮助。感谢程贤文同学在运动补偿模块设计过程中和对论文第三章的校正工作中做出的努力。感谢黄俊俏、吴腊狗、胡学权同学对论文提出的宝贵意见和修改建议。感谢于亚轩和覃春平同学对无限制运动补偿模块做出的相关实验。感谢张云和付强同学在m p e g 2 4 视频解码器的实现上付出的心血。感谢杜福慧、王白露、翟元杰、温海华、陈迎春、肖福明、刘艳等同学与我的长期合作和对我的帮助。感谢范阿姨、胡剑、木子一在实验室日常事务中的辛勤劳动。最后，感谢我的父母所给予我学业和生活上的关心、帮助和支持。感谢黄俊俏同学的长期支持和帮助。作者：马亮2 0 0 9 年3 月图i - i图2 - 1图2 - 2图2 - 3图2 4图2 - 5图2 - 6图2 - 7图2 8图2 9图2 1 0图3 - 1图3 - 2图3 - 3图3 4图3 5图3 - 6图3 7图3 8图3 9图3 - i 0图3 一l1图3 1 2图3 一1 3图3 一1 4图3 15图3 - 1 6图3 17图3 一1 8图3 一1 9图3 2 0图3 - 2 1图3 2 2图3 - 2 3图3 2 4插图清单视频压缩标准的发展1运动补偿原理图1 1运动补偿解码过程框图1 2视频序列重排序1 3运动矢量预测中的相关块1 4宏块中每一个块的候选运动矢量预测器的定义1 6直接模式双向预测1 8半像素精度插值1 9块边界镜像扩展2 01 4 像素模式下的半像素插值( f i r 滤波) 2 0无限制运动补偿2 1运动补偿模块整体结构2 3控制模块状态转移图2 5运动矢量解码模块的状态机转移图2 7运动矢量存储格式2 8运动矢量解码模块结构图2 8变长解码器电路结构2 94 - m v 预测的硬件实现流程3 0运动矢量的存储器更新3 2直接模式运动矢量解码器3 3色差块运动矢量求解3 44 ：2 ：0 格式宏块结构3 6帧存储器存储空间分配3 6地址产生模块3 8半像素插值单元3 9运动补偿输入数据格式4 0整数像素的存储结构4 1像素缓冲单元4 1本设计算法的时序图4 4没有优化的算法插值时序图4 4文 6 3 的半像素插值时序图4 41 4 精度像素插值单元4 5存储器的重新分配4 6坐标转换法的地址分配4 7运动补偿模块在解码系统中的时序4 9i图3 - 2 5图3 - 2 6图3 - 2 7图3 - 2 8图3 - 2 9图4 - 1图4 2图4 - 3图4 4图4 - 5图4 - 6图4 7图4 8图4 9图4 1 0图4 11图4 1 2图4 - 1 3图4 1 4图4 1 5图4 1 6图4 - 1 7图4 - 1 8图4 - 1 9重建模块5 0s r a m 读取波形1 哺引5 1s r a m 读取波形2 哺引5 1s r a m 写入波形1 印引5 2s r a m 写入波形2 引5 2a s i c 实现流程7 1 5 4 p e g - 4 视频解码处理要求5 6运动补偿模块代码结构图5 8功能验证定义5 9基于软件仿真的验证流程6 0f p g a 的验证流程6 2模块级的软件仿真测试平台6 4系统级软件仿真测试平台6 7联合验证的流程6 8仿真结果对比图6 8f p g a 原型验证平台6 9p - v o p 运动矢量解码仿真波形图7 0p - v o p 运动矢量解码软件模型的输出结果7 0b - v o p 运动矢量解码仿真波形图7 1b - v o p 运动矢量解码软件模型的输出结果7 1像素预测模块的仿真波形图7 2f p g a 综合结果7 3综合后的面积报告7 5综合后的时序报告7 6l表卜1表2 - 1表2 - 2表2 - 3表2 - 4表2 5表2 - 6表3 - 1表3 - 2表3 3表3 - 4表3 - 5表3 - 6表3 - 7表3 - 8表3 - 9表3 - 1 0表3 - i1表3 - 1 2表3 - 1 3表3 - 1 4表4 - i表4 - 2表4 3表4 4表4 - 5表4 6表4 - 7表4 8表格清单现有m p e g 一4 芯片产品7运动矢量求解算法( 伪码) 1 4运动矢量范围1 5对十六分之一像素精度的色差矢量的修正1 7对十二分之一像素精度的色差矢量的修正1 7对八分之一像素精度的色差矢量的修正1 7对四分之一像素精度的色差矢量的修正1 7p v o p 的宏块类型2 6b - v o p 的宏块类型2 7候选预测器的赋值3 1无效标志位赋值3 1m i n 和m a x 的实现代码3 2直接模式运动矢量求解表达式3 3进位表7 9 的实现代码3 5进位表7 6 的实现代码3 5块的首像素坐标3 8第一个半像素插值单元各寄存器取值4 3第二个半像素插值单元各寄存器取值4 3第三个半像素插值单元各寄存器取值4 3第四个半像素插值单元各寄存器取值4 3越界标志位定义4 8解码一个宏块各功能模块所需的时钟周期数5 6运动补偿处理器实时解码所需的最小频率5 7本设计采用的头格式文件5 8参考视频特征宏块位置表6 4运动补偿模块端口6 5环境类约束设置脚本7 4时钟类约束设置脚本7 4设计规则类约束设置脚本7 5第一章绪论1 1m p e g - 4 视频标准及其实现简介1 1 1视频压缩标准的发展二十多年来，视频压缩技术得到了迅速发展和广泛应用，并且日臻成熟，其标志就是几个关于视频编码的国际标准的制定，即国际电信联盟i t u - t 关于可视电话电话会议的视频编码标准h 2 6 x 系列和i s o i e c 关于活动图像的编码标准m p e g x 系列，以及联合专家组j v t 制定的h 2 6 2 m p e g 一2 和h 2 6 4 m p e g - 4a v c 等。这些标准融合了各种性能优良的视频编码方法，代表了目前视频编码的发展水平。图1 - 1视频压缩标准的发展1 1 1h 2 6 1 1 2 l ：i t u t 于1 9 9 0 年制定的针对可视电话和视频会议等要求实时编解码和低延迟的视频压缩标准，是最早出现的视频编码标准。它的输出码率是6 4 k b s 的倍数，码率范围在6 4 k b s 1 9 2 m b s 之间。h 2 6 1 最初是针对p a l 制式或者n t s c 制式电视信号提出的视频压缩标准，但后来的h 2 6 1 主要应用在会议电视和可视电话等领域。h 2 6 1 支持c i f ( 3 5 2 x 2 8 8 像素) 和q c i f ( 17 6 x1 4 4像素) 两种视频图像格式，采用简单的渐进扫描模式，使用典型的8 x 8d c t ( d i s c r e t ec o s i n et r a n s f o r m ，离散余弦变换) 分块变换。只允许使用i - f r a m e和p f r a m e 两种帧模式，运动估计采用整像素运动矢量，所以，基于h 2 6 1 标准的视频压缩的码率不是特别高。m p e g 1 1 3 1 ：i s o 于1 9 9 1 年制定，是由i s o 制定的第一个视频压缩标准。主要针对1 5 m b s 速率的数字存储媒体运动图像及其伴音编码制定的，该标准的制定使得基于c d r o m 的数字视频以及m p 3 等产品成为可能。m p e g - l 的带宽最多为1 5 m b s ，其中1 1 m b s 用于视频，1 2 8 k b s 用于音频，其余带宽用于m p e g 系统本身。与h 2 6 1 相比，m p e g 1 允许采用b f r a m e ，并可以采用自适应的量化步长。它所适用的视频信号的分辨率只有c c i r ( c o n s u l t a t i v ec o m m i t t e ei n t e r n a t i o n a lr a d i o ，国际无线电咨询委员会) 提出的数字电视演播室建议的格式( 7 2 0 x 5 7 6 像素) 的1 4 大小，很难满足人们日益增长的需求，虽然可以经过一些后处理的方法来提高它的分辨率( 例如内插的方法) ，但效果仍是差强人意的。h 2 6 2 m p e g 2 1 4 l ：i t u t 和i s o 于1 9 9 4 年共同制定的音视频压缩标准。它广泛应用于多媒体、视频会议可视电话、数字电视、高清晰度电视、广播、通信和网络等领域。m p e g 2 提出了通用的压缩编码方法，定义了不同的档次( p r o f i l e ) 和等级( l e v e l ) ，可满足不同图像分辨率、相应的存储成本和处理器速度的要求。m p e g 2 向下兼容m p e g 1 ，改进在于如下三点：( 1 ) m p e g - 2 标准使用的影视图像质量达到广播级质量，分辨率为7 2 0 x 5 7 6 ( p a l 制式) 和7 2 0 x 4 8 0 ( n t s c 制式) 。( 2 ) m p e g 2 标准能够有效地支持电视的隔行扫描( 先扫描每帧图像的奇数行，构成奇数场；再扫描偶数行，构成偶数场) 格式，在运动补偿中添加了场间预测和双基预测等模式，以改进对运动较快的物体预测的准确性，并提高压缩比。( 3 ) 支持分层次的可调视频编码，这适用于需要同时提供多种质量的视频服务的情况。例如，当普通电视和高清晰度电视同播时，将视频信号进行分层次的编码，解码能力较低的普通电视接收机可以只对码流中的低层次部分解码，得到低分辨率图像，而高清晰度电视接收机对所有层次码流解码，则可获得更清晰的图像。可调视频编码的层次不仅可按空间分辨率，也可按时间分辨率、信噪比和数据比特的重要性等来划分。h 2 6 31 5 i ：i t u 于1 9 9 5 年制定的一种码率低于6 4 k b s 的甚低码率视频压缩编码标准。该标准不仅着眼于利用p s t n ( p u b l i cs w i t c h e dt e l e p h o n en e t w o r k ，公共交换电话网络) 传输，而且兼顾p l m n ( p u b l i cl a n dm o b i l e - c o m m u n i c a t i o nn e t w o r k ，公众陆地移动通信网) 等无线业务。它支持五种图像格式：s u b - q c i f( 1 2 8 x 9 6 像素) 、q c i f ( 1 7 6 x 1 4 4 像素) 、c i f ( 3 5 2 2 8 8 像素) 、4 c i f 、1 6 c i f ，编码按1 6 x1 6 像素的宏块进行。h 2 6 3 与h 2 6 1 相比增加了以下一些功能：( 1 )运动补偿采用了半像素精度并使用了环形滤波器；( 2 ) 无限制运动矢量：( 3 )先进预测模式；( 4 ) p b v o p 模式；( 5 ) 基于语法的算术编码。i t u t 在h 2 6 3发布后又修订发布了h 2 6 3 标准的版本2 ，非正式地命名为h 2 6 3 + 6 标准。它在保证原h 2 6 3 标准核心句法和语义不变的基础上，增加了若干选项以提高压缩效率和改善某些功能。h 2 6 3 + 标准允许更大范围的图像输入格式，自定义图像的尺寸，从而拓宽了标准使用的范围，使之可以处理基于视窗的计算机图像、更高帧频的图像序列及宽屏图像。h 2 6 3 + + 【7 j 是对h 2 6 3 + 进一步改进的标准。h 2 6 3 + + 在h 2 6 3 + 标准的基础上再加上若干个可选编码模式：增强参考帧选择模式、误码恢复的数据划分模式、i d c t ( i n v e r s ed i s c r e t ec o s i n et r a n s f o r m ，逆离散余弦变换) 误匹配减少模式。另外，仿射运动补偿、选择系数扫描、误码控制编码及头信息重复等方法也是标准所考虑采纳的技术。m p e g 。4 1 8 i i 9 1 ：m p e g 4 视频标准于1 9 9 8 年1 0 月定案，1 9 9 9 年2 月正式命名为国际标准i s o i e c1 4 4 9 6 。以其高质量、低传输速率等优点被广泛应用到网络多媒体、个人多媒体、视频会议和多媒体监控等图像传输系统中。相对于m p e g 2 ，m p e g 4 给出了一系列改善压缩比率以及容错性能的方法：( 1 ) 无2限制运动矢量；( 2 ) 可变块大小的运动补偿；( 3 ) 帧内预测；( 4 ) 片重新同步；( 5 ) 数据分割；( 6 ) 可逆的v l c ( v a r i a b l el e n g t hc o d i n g ，可变长编码) 。m p e g 4采用了新一代视频编码技术，它充分利用了人眼的视觉特性，抓住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交互功能，适应了多媒体信息的应用由播放型转向基于内容的访问、检索及操作的发展趋势。a v o( a u d i ov i s u a lo b j e c t ，a v 对象) 是m p e g 4 标准为支持基于内容编码而提出的重要概念。对象是指在一个场景中能够访问和操纵的实体，对象可根据其独特的纹理、运动、形状、模型和高层语义进行划分。m p e g 。4 标准中的视频己不再是过去m p e g 1 、m p e g 2 中图像帧的概念，而是一个个视听场景( a v 场景) ，这些不同的a v 场景由不同的a v 对象组成。a v 对象是听觉、视觉、或者视听内容的表示单元，其基本单位是原始a v 对象，它可以是自然的或合成的声音、图像。原始a v 对象具有高效编码、高效存储与传输以及可交互操作的特性，它又可进一步组成复合a v 对象。因此m p e g 4 标准的基本内容就是对a v 对象进行高效编码、组织、存储与传输。a v 对象的提出，使多媒体通信具有高度交互及高效编码的能力，a v 对象编码就是m p e g 4 标准的核心编码技术。m p e g 4 标准不仅可提供高压缩率，同时也可实现更好的多媒体内容互动性及全方位的存取性，它采用开放的编码系统，可随时加入新的编码算法模块，同时也可根据不同的应用需求现场配置解码器，以支持多种多媒体应用。该标准适合于计算机网络尤其是因特网上的多媒体表示，允许在灵活的终端上对敏感数据进行可选择的高效压缩来适应网络。同时也在视频监控领域应用广泛。m p e g 4 标准提供了大量的编码工具集来对视听对象进行编码。同m p e g 2标准一样，m p e g 4 标准针对不同的应用需求定义了不同的档次和等级。在这些档次中，应用最广泛的是简单类( s i m p l ep r o f i l e ) 和高级简单类( a d v a n c e ds i m p l ep r o f i l e ) 。简单类所使用的编码工具最少，仅仅包括基本功能( i v o p 解码，p v o p解码，帧内预测，4 m v 模式和无限制运动补偿等) ，纠错功能( 条带重同步，数据分割，可逆变长编码) 以及短头格式这三种基本编码工具，因此基于简单类的编解码器最容易实现。高级简单类是为了适应因特网上流媒体应用的需求而新增加的。它可以在很小的码率范围内编码只有一层的基于帧结构的数字视频信号。采用高级简单类，在大约1 - 2 m b i t s s 的码率下，即可达到数字电视的质量。这使得高级简单类在第三代移动可视电话和因特网上的视频服务等领域有很好的应用前景。为实现高效的视频编码，在高级简单类中引入了高级有效类( a d v a n c e dc o d i n ge f f i c i e n c yp r o f i l e ) 的工具集。具体而言，即先进运动补偿工具，包括：运动矢量预测的直接模式，1 4 像素运动补偿( q m c ) ，全局运动补偿( g m c ) 。同时，为满足较低码率下应用的要求，提供了容错工具。并提供了后处理可选工具( d e b l o c k i n g 工具和d e r i n g i n g 工具) 。与简单类相比，高级简单类具有更高的编码效率。另一方面，由于只支持单层和矩形v o ( v i s u a lo b j e c t ，视频对象) ，因而其实现复杂性低于高级有效类。为此，基于m p e g 4 高级简单类的硬件系统以及a s i c 实现，具有很好的应用前景。i t 2 6 4 m p e g 4a v c l l o i l l l i ：2 0 0 3 年3 月由i t u 和i s o 再次联合推出了新的视频编码标准，这就是h 2 6 4 视频编码标准，其在i s o 被称为a v c ( a d v a n c e dv i d e oc o d i n g ) 标准，并被收录为m p e g 4 的第1 0 部分。h 2 6 4 同样采用d p c m( d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ，差值脉码调制) 加变换编码的混合编码模式。它采用“回归基本”的简洁设计，不用众多的选项，获得比h 2 6 3 好得多的压缩性能；应用目标范围较宽，以满足不同速率、不同分辨率以及不同传输( 存储) 场合的需求；它的基本系统是开放的，使用无需版权。技术特点包括：( 1 )帧内预测采用多方向的空间预侧技术；( 2 ) 帧间预测中采用了1 4 像素精度的插值，可变块大小的运动补偿和多参考帧预测等；( 3 ) 使用自适应去块滤波器来消除因为块预测错误导致的在块的水平和垂直方向的误差；( 4 ) 4 x 4 的整数正交变换及相应的量化策略；( 5 ) 改进的运动矢量预测编码；( 6 ) 更加高效的熵编码器：基本配置的熵编码使用u v l c ( u n i v e r s a lv l c ，通用可变长编码)和c a v l c ( c o n t e x ta d a p t i v ev l c ，上下文相关自适应可变长编码) ，主配置的熵编码也可以使用一种新的c a b a c ( c o n t e x ta d a p t i v eb i n a r ya r i t h m e t i cc o d e r ，上下文相关自适应二进制算术编码) ；( 7 ) 基于率失真的编码优化技术。这些措施使得h 2 6 4 算法具有很高的编码效率，在相同的重建图像质量下，能够比h 2 6 3 节约5 0 左右的码率。h 2 6 4 的码流结构网络适应性强，增加了差错恢复能力，能够很好地适应i p 和无线网络的应用。但从总体上说，h 2 6 4 性能的改进是以增加复杂性为代价而获得的，据分析，h 2 6 4 a v c 的编码复杂度是m p e g 4 的2 1 4 倍，解码复杂度是m p e g 4 的2 3 倍。1 1 2m p e g 一4 视频压缩标准的意义第一，m p e g 4 标准是视频压缩技术发展的里程碑。在m p e g 4 制定之前，m p e g 1 、m p e g 2 、h 2 6 1 、h 2 6 3 都是采用第一代压缩编码技术【1 2 】，着眼于图像信号的统计特性来设计编码器，属于波形编码的范畴。第一代压缩编码方案把视频序列按时间先后分为一系列帧，每一帧图像又分成宏块以进行运动补偿和d c t 编码，这种d p c m d c t 编码方案存在以下缺陷：将图像固定地分成相同大小的块，在高压缩比的情况下会出现严重的块效应，即马赛克效应；不能对图像内容进行访问、编辑和回放等操作；未充分利用h v s ( h u m a nv i s u a ls y s t e m ，人类视觉系统) 的特性。4m p e g 4 采用了新一代视频编码技术，它在视频编码发展史上第一次把编码对象从图像帧拓展到具有实际意义的任意形状视频对象，从而实现了从基于像素的传统编码向基于对象和内容的现代编码的转变，因而引领着新一代智能图像编码的发展潮流。m p e g 4 代表了基于模型对象的第二代压缩编码技术，它充分利用了人眼视觉特性，抓住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交互功能，这适应了多媒体信息的应用由播放型转向基于内容的访问、检索及操作的发展趋势。目前，h 2 6 4 技术由于其在低比特率下具有较好的效果，可能相对比较流行。但从长期来看，随着处理器性能的提高和软件算法的不断优化，m p e g 4 视频中提出的看似“深奥”的技术( 如基于对象的编码和网格编码) 会伴随改进了的编码技术在未来新的标准中被再次提出。可以认为这些技术超越了当前的时代，当相关技术变得成熟时，它们在商业上获得成功的几率将大大增加。第二，m p e g 4 标准的实现，带给人类一场视听的变革。广播电视的发展趋势是数字化、网络化和信息化。视频信息的数据传输率非常高，标准清晰度电视的码率已经达到2 7 0 m b s 3 6 0 m b s 。如此高的数据传输率无论是对网络的带宽还是对硬盘存储的容量来说，都是非常巨大的开支。m p e g 4 可以提供高的压缩比，近似d v d 的图像质量和近似c d 的音质，具有高效编码，高效存储与传输的特点。采用m p e g 4 技术可以将传统的实时线性节目制作出非线性版本，使d v d r i p 的存储开支大大下降，在电视节目制作方面，无疑会引发一场变革。作为m p e g 4 的实现之一x v i d 成为了d v d r i p 默认标准 1 ”，x v i d 是依照g p l 完全开放源代码的，这使得有更多的人投入到x v i d的研发之中。x v i d 是o p e nd i v x 的延续，x v i d 重新改写了所有源代码，去粗取精，焕然一新，使其编码效率得到了极大的提升，被认为是目前最好的m p e g 4 编码器。x v i d 目前广泛使用在压缩电影、视频电话，数码摄像机、数码相机等领域。随着宽带网络的普及，x v i d 编码技术带动网络视频应用的发展。基于对象的广播电视也具有相当的诱惑力，m p e g 4 支持更多的交互操作，在视频点播中也将产生深远影响。m p e g 4 在数字c a t vs t b ( s e tt o pb o x ，电视机顶盒) 的研发中已进入实质阶段【l4 1 。例如，中国教育电视台( c e t v ) 基于m p e g 4 技术的v b i ( v e r t i c a lb l a n k i n gi n t e r v a l ，场消隐期) 数据广播已应用在远程教育中。第三，m p e g 4 视频标准的制定与应用推动了芯片设计业的发展 15 】 16 1 。m p e g 4 标准推出的初期是以b r o a d c o m 、c o n e x a n t 、v w e b 、i n t i m e 、w i s ( 现m i r o n a s ) 、s i g m ad e s i g n s 、w i n b o n d 等为首的a s i c芯片厂商和t i 、p h i l i p s 、e q u a t o r 、和a d i 为首的d s p 芯片厂商把持着主要的市场份额。后续又加入了p e n t a m i c r o 、c r a d l e 、s u n p l u s 、s i g m a t e l 、a v e r l o g i c 、i m g a e t e c h 、n e x t c h i p 等芯片设计公司，也涌现出中星微、上海杰得、海思半导体、上海富瀚、珠海炬力，瑞芯微电子等本地设计公司。随着m p e g 4 技术的日益成熟，从先前单一功能的m p e g - 4 编码器、解码器发展到今天的集成了编解码器、嵌入式处理器、存储器和丰富的外部通讯接口的s o c 。支持的分辨率也从c i f 、v g a ( 6 4 0 x 4 8 0 像素) 变化到了d 1 ( 7 2 0 x 4 8 0 像素) ，甚至高清( 1 9 2 0 x 1 0 8 8 像素) 。由于压缩标准本身是相对成熟的，所以作为这些芯片的供应商就会考虑在芯片本身的一些特色功能来规避激烈的市场竞争，比如在d v r ( d i g i t a lv i d e or e c o r d e r ，数字视频录像机) 应用中，客户都希望一颗芯片可以支持同时处理多路视频压缩的功能，所以同是单路d 1 格式的视频芯片，有些厂商会增加同时支持4 路c i f 格式的功能，这样的产品倍受青睐，在早期的i n t i m e 的产品中就具备这样的功能。适合客户应用的完善解决方案和多功能是目前芯片厂商竞争的关键。正是九十年代m p e g 4 视频标准的发展，促使很多芯片厂商设计和制造基于多媒体通信、存储的通用和专用芯片，以便应用者更加方便对视频信号进行处理。第四，m p e g 4 标准是第一个有中国人参与制定的多媒体数据压缩编码国际标准【17 1 。产品的利润取决于其技术含量，在m p e g 1 和m p e g 2 推广过程中的巨大商业利润的大部分为外国公司所获得。由于缺乏自主的知识产权，民族产业的发展始终受到严重的制约，每年昂贵的专利费极大的挤压了中国v c d ，d v d 厂商的利润空间。m p e g 4 是第一个有中国人参与制定的多媒体数据压缩编码国际标准。微软中国研究院、清华大学、哈尔滨工业大学和中科院计算技术研究所等单位提交的算法都先后被m p e g 组织接受，成为m p e g 4 标准的一部分。中国人参与制定m p e g 4 标准，不仅有助于我们分享关键领域的知识产权，而且为民族产业参与多媒体信息领域新的一轮竞争积累了技术、人才和经验。1 1 3m p e g 一4 视频标准的实现方案目前，国内外开发基于m p e g 4 标准的视频编解码器一般采用以下四种方案：( 1 ) 采用通用处理器【1 8 】：比如采用p e n t i u m 四代处理器实现。此方案的优点是利用当前最新的p c 资源，以及较强的软件工具。i n t e l 的s s e 2 和m m x提供了较完整的多媒体指令集和流水线。其缺点是单位成本高体积大，利用s i m d 这些特殊的指令集限制视频编码的可移植性。另外还有基于嵌入式处理器视频压缩方案，比如a r m 或m i p s 处理器。这些处理器一直广泛被应用于通讯领域( 移动设备，网络设备等) 和控制领域( 自动化控制) ，近年来随着其性能的提高，也被应用于视频处理领域，原因主要在于嵌入式处理器的成本较低，而且市场应用面很广。采用嵌入式处理器的缺点如下：嵌入式处理器运算速度不够快( 4 0 0 m i p s 左右) 且内存有限，而m p e g 4 压缩算法非常复杂，如果不对m p e g 4 算法进行很好的优化，很难实6现实时压缩的效果。目前a r m 9 系列仅能完成每秒1 5 帧的q c i f 分辨率的m p e g 4 视频编解码【l 引。( 2 ) 采用d s p 技术方案，这是一种常用的视频解决方案。t i 公司的t m s 3 2 0 c 6 0 0 0 系列d s p 与m o t o r o l a 公司的m c 9 6 0 0 2 系列d s p ，a d i 公司推出的b l a c k f i n 系列d s p ，e q u a t o r 公司的b s p 1 5 系列d s p ，都是面向实时视频处理领域，具有运算速度很高的核心部件。例如t i 公司的c 6 4 x x 系列d s p 内核，主频达到1 1 g h z ，处理速度接近9 0 0 m i p s ，总体性能比c 6 2 x x 提高了1 0 1 5倍。其中，c 6 4 1 6 在6 0 0 m h z 的主频下，只利用5 0 的运算能力就可以同时进行单通道m p e g 4 视频编码和解码能力，获得了2 0 0 2 年3 月美国e d n 杂志的“2 0 0 1 年度创新大奖” 2 0 1 。d s