（电路与系统专业论文）专用视频处理器指令集研究与数据通路设计[电路与系统专业优秀论文].pdf

浙江大学硕上学位论文 摘要 专用指令集处理器具备了专用集成电路的高效性与通用处理器的灵活性，在 视频处理领域有着广阔的应用前景。本文围绕面向视频应用的专用指令集处理 器，在指令集和体系结构方面进行了研究。 通过对典型视频应用的研究与分析，提取并归纳出视频处理中复杂度集中关 键函数。通过对关键函数的深入研究，发现其中存在着并行性高，指令组合运算 丰富，数据精度低等特性。在此基础上，设计了一套s i m d v l i w 混合结构的专 用指令集。专用指令集结合s i m d 和v l i w 指令体系的特点，支持指令条件执 行、计算结果饱和处理，内置数据组织等扩展指令功能，并针对视频处理中复杂 度集中的运算核心，设计了专用的加速指令。典型视频运算核心的测试表明，与 m m x ，s s e 2 等通用处理器媒体扩展相比，采用s i m d v l i w 混合结构指令集能 显著减少时钟数和非计算开销，实现高效的视频处理。 v l i w 体系会造成代码长度膨胀，给嵌入式系统带来资源上的浪费。本文采 用动态变长编码方法，采用添加取指控制码的形式，在编码时有效地消除了 v l i w 指令束中的空指令；采用双字和单字两种指令编码宽度，提高指令内部的 编码效率。测试表明，对于典型的视频运算核心，动态变长编码的代码长度仅为 v l i w 定长指令柬编码的2 0 - - - - 3 5 。为了能支持动态变长编码和特殊的指令格 式，本文设计了混合结构指令集的汇编器。汇编器采用了两遍扫描结构来解决前 向应用，通过词法扫描、语法解析、代码生成等步骤，将汇编代码转换成可执行 的目标文件，并生成动态变长编码所需的取指控制码。 在基于s i m d v l i w 混合结构指令集的专用指令集视频处理器设计中，完成 了数据通路模块的微体系结构设计和实现。数据通路模块具有4 级流水线结构， 包含4 路并行的算术逻辑，乘法，移位等2 7 个功能单元。它能根据指令类型和 数据精度的要求，进行l 、2 、4 和8 路的并行计算；能支持视频处理专用指令， 实现对视频运算核心的加速。数据通路模块支持数据旁路和标志位产生，并能对 运算结果进行多种方式的饱和处理。 关键词：专用指令集处理器，视频处理，指令集，变长编码，汇编器，数据通 路 浙江人学硕士学位论文 a b s t r a c t t h ea p p l i c a t i o ns p e c i f i ci n s t r u c t i o ns e tp r o c e s s o r ( a s i p ) ，w h i c hf e a t u r e st h e h i g he f f i c i e n c yo fa p p l i c a t i o ns p e c i f i ci n t e r g r a t e dc i r c u i t s ( a s i c ) a n dt h ef l e x i b i l i t y o fg e n e r a lp u r p o s ep r o c e s s o r ( g p p ) ，h a sa n dw i l lh a v eb e e np o p u l a ri nv i d e o p r o c e s s i n gd o m a i n t oe n h a n c et h ep e r f o r m a n c eo ft h ea s i pf o rv i d e op r o c e s s i n g ，w e d os o m ev a l u a b l e r e s e a r c ho nb o t h o fi n s t r u c t i o ns e td e s i g na n da r c h i t e c t u r e i m p l e m e n t a t i o na s p e c t s t h r o u g hs t u d ya n da n a l y s i so nt h em e d i a b e n c hi iv i d e o & i m a g eb e n c h m a r k i n g s u i t e ，t h ec h a r a c t e r i s t i c so fv i d e oa p p l i c a t i o nw e r es u m m a r i z e d ，w h i c hw e r ef o u n d h i 曲p r o p o r t i o no fp a r a l l e l i s m ，f u l lo fc o m b i n e di n s t r u c t i o no p e r a t i o n ，a n dt y p i c a l l y u s i n gs m a l li n t e g e r d a t a t y p e s s oas i m da n dv l i wm i x e di n s t r u c t i o n s e t a r c h i t e c t u r e ( i s a ) i sp r o p o s e d t h ei s ac o m b i n e su s e f u lf e a t u r e so fs i m da n dv l i w a r c h i t e c t u r e ，s u p p o r t sc o n d i t i o n a le x e c u t i o n ，s a t u r a t i o na r i t h m e t i ca n de x p l i c i td a t a o r g a n i z a t i o n ，i n c l u d e ss o m ev i d e oa p p l i c a t i o ns p e c i f i ci n s t r u c t i o n st ob o o s tv i d e o p r o c e s s i n g s o m ev i d e op r o c e s s i n gk e r n e l s s i m u l a t i o nr e s u l t ss h o wt h a t ，c o m p a r e dt o m m xa n ds s e 2 t h es i m da n dv l i wm i x e di s ac a l la c h i e v eb e u e rp e r f o r m a n c ei n v i d e op r o c e s s i n g v l i wa r c h i t e c t u r em a yr e s u l ti nc o d es i z ee x p a n s i o nb e c a u s eo fl a c k i n go f i n s t r u c t i o n - l e v e lp a r a l l e l i s m t os o l v ei t ，t h i sd i s s e r t a t i o np r o p o s e san e we n c o d i n g m e t h o d ，d y n a m i cv a r i a b l e l e n g t he n c o d i n g t h ed y n a m i cv a r i a b l e l e n g t he n c o d i n g d i s c a r d st h en o pi n s t r u c t i o nf r o mt h ev l i wi n s t r u c t i o nb u n d l e ，a n du s e s3 2 b i ta n d 6 4 b i t ，t w ot y p e so fi n s t r u c t i o n w i d t h e x p e r i m e n t a lr e s u l t ss h o wt h a t ，c o m p a r e dt o t r a d i t i o n a lv l i wd e f i n e d - l e n g t he n c o d i n g t h ed y n a m i cv a r i a b l e l e n g t he n c o d i n gc a l l r e d u c ec o d es i z et o2 0 - - , 3 5 i no r d e rt os u p p o r tt h ed y n a m i cv a r i a b l e l e n g t h e n c o d i n ga n ds p e c i a li n s t r u c t i o nf o r m a t ，t h ei m p l e m e n t a t i o no ft h em i x e di s a s a s s e m b l e ri sp r e s e n t e di nt h i sd i s s e r t a t i o n t h ea s s e m b l e ri so r g a n i z e da sat w o - p a s s s t r u c t u r et oe a s et h ef o r w a r dr e f e r e n c e a f t e rl e x c i a la n a l y s i s ，s y n t a xa n a l y s i sa n dc o d e g e n e r a t i n gp r o c e s s ，t h ea s s e m b l e r w i l l p r o d u c em a c h i n e c o d ea n di n s t r u c t i o n f e t c h c o n t r 0 1c o d e t h em i c r o a r c h i t e c t u r ed e s i g no ft h ed a t ap a t hm o d u l eo ft h ev i d e op r o c e s s o ri s a l s op r o p o s e di nt h i sd i s s e r t a t i o n t h ed a t ap a t hm o d u l ei sd e s i g n e da sa4 - w a ya n d 4 - s t a g ep i p e l i n ea r c h i t e c t u r e ，i n c l u d i n g2 7f u n c t i o nu n i t ss u c ha sa l u ，m u l t i p l i e r , i i 浙江大学硕士学位论文 s h i f t e r , e t c ，s u p p o r t s1 - w a y , 2 - w a y , 4 - w a ya n d8 - w a yp a r a l l e lc o m p u t a t i o na n dv i d e o a p p l i c a t i o ns p e c i f i ci n s t r u c t i o n s b e s i d e s ，t h ed a t ap a t hc a l ls u p p o r to p e r a n d sb y p a s s ， s t a t e sf l a gg e n e r a t i n ga n dr e s u l t ss a t u r a t e d k e y w o r d s ：a p p l i c a t i o ns p e c i f i ci n s t r u c t i o ns e tp r o c e s s o r ( a s i p ) ，v i d e op r o c e s s i n g ， i n s t r u c t i o ns e ta r c h i t e c t u r e ( i s a ) ，v a r i a b l e l e n g t h e n c o d i n g , a s s e m b l e r , d a t ap a t h i i i 浙江大学硕士学位论文 图目录 图1 1 基于v l i w 体系结构的t m s 3 2 0 c 6 x 系统框图4 图2 1h 2 6 1 编码器框图6 图2 2h 2 6 1 解码器框图7 图2 3k c a c h e g r i n d 工作界面1 1 图2 _ 4 视频应用指令类型分布1 6 图2 5 视频应用数据类型分布一l6 图3 1s i m d 数据类型和8 b i t 加指令1 9 图3 2v l i w 中的指令级并行2 0 图3 3s h u f f l e 指令示例2 3 图3 4p a c k 指令示例2 3 图3 5 指令示例：v q a n dv r l ，v r 0 ，v a c c q 0 一2 4 图3 6s p s a d 和s u m 专用指令2 5 图3 7m i n 指令示例2 6 图3 8 一维整数余弦变化快速算法一2 6 图3 - 9 一维整数余弦变化专用指令实现2 7 图3 1 0m a c 指令示例一2 7 图3 1 1s m u l 指令实现4 抽头滤波器2 8 图3 1 2m p e g - 4 中的半像素插值一2 8 图3 1 3 用a v g 指令实现半像素插值一2 8 图3 1 4v r 和v a c c 寄存器3 0 图3 15 指令打包模式3 0 图3 一1 6 指令格式3 0 图3 1 7 指令集仿真器结构框图3 2 图3 1 8 混合指令集与通用处理器媒体扩展实现媒体算法性能比较3 2 图4 一ly = a + b r 卜c d 的汇编实现3 4 图4 2 定长编码和变长编码取指比较一3 7 图4 3 取指控制码结构3 7 图4 4 取指控制码与指令束对应关系一3 8 图4 5 变长编码指令类型确定和功能单元选择3 8 图4 6 不同编码方法下的运算核心代码长度4 0 图4 7 汇编器处理流程一4 2 图4 8 汇编器总体结构4 2 图4 9b i s o n 和f l e x 组合使用4 6 图5 1s c h u b e r t 结构框图4 9 图5 2s c h u b e r t 流水线结构5 l 图5 3v d p 模块的抽象结构图5 3 图5 4 特殊指令数据流图5 4 图5 5 累加器a c c 结构及q ，o m o d e 下使用情况5 5 图5 - 6e x 0 级运算单元结构5 5 图5 7e x 0 级a l u 硬件结构5 6 图5 8 乘法器硬件结构一5 7 i i i 浙江大学硕士学位论文 图5 - 9b o o t h 乘法器的结构5 7 图5 1 0e x l 级a l u 硬件结构5 8 图5 1 1 移位器硬件结构6 0 图5 1 2e x 3 级a l u 硬件结构6 l i v 浙江大学硕士学位论文 表目录 表1 1a s i p 与g p p ，a s i c 之间比较3 表2 1m e d i a b e n c hi iv i d e o & i m a g e 基准测试子集1o 表2 2 典型视频应用程序复杂度分析结果1 2 表3 1 数据后处理方式2 1 表3 2 主要专用指令。2 9 表3 3 指令分布一览一3 1 表4 1 指令类型编码3 9 表4 2i s a 编码分类4 0 表5 1 部分指令流水级使用和数据旁路情况5 3 表5 2e x 0 级标志位产生方式5 8 表5 3e x l 级标志位产生方式5 9 表5 4e x 2 级标志位产生方式6 0 v 浙江大学硕士学位论文 1 1 研究背景 第1 章绪论 1 1 1 视频编解码技术发展现状 二十一世纪是信息技术飞速发展的时代，其基本特征是数字化，网络化和信 息化。半导体技术，通信技术，计算机技术和数字信号处理技术的突飞猛进，促 进了基于互联网的多媒体技术和数字视频技术的高速发展。这一系列新技术正日 益深刻的影响我们工作、生活和娱乐等各个方面。 视觉是人类最重要的感觉，也是人类获取信息的主要来源，据统计，人类从 外界获取的信息中，7 5 来自视觉视觉与其他的信息形式相比，具有直观、具体、 生动等诸多优点，并且视觉包含的信息量很大，“百闻不如一见 ，“耳听为虚， 眼见为实”等成语都说明了这一点 1 】。正因为如此，视频技术受到了人们的追 捧，数码相机、摄像机、打印机等的使用，使视频信息来源不断扩大。同时，人 们对视频技术的应用也越来越广泛，视频点播，可视电话，视频会议等应用形式 不断涌现视频信息正对人们的生活方式和社会发展起着越来越重要的作用。 视频技术虽然有一系列的优点，但它也存在着应用的瓶颈：数字化后的图像 数据量非常庞大。以一路c c i r 6 0 1 的数字电视信号为例，y ：u ：v 为4 ：1 ：1 ，图像 尺寸为7 2 0 x 5 7 6 ，帧数为2 5 帧，所需要的传输码率约为1 2 4 m b p s 。因此，不进 行视频图像的压缩将给存储器容量、信道的传输率及计算机的处理速度等方面增 加极大的压力。同时，由于视频数据本身有极强的相关性，即有大量的冗余信息， 不仅在时间上存在亢余，同时在空间上也存在亢余，所以对图像数据进行压缩不 会严重的降低视觉效果。视频编码将每帧内编码和连续多帧图像间编码混合起来 达到较高的压缩率，并考虑人眼视觉特性的影响，通过数据压缩，把数据量减小 下来。以压缩形式存储、传输视频数据，既可以保证视频的高质量，又可以节省 存储空间，提高了通信干线的传输效率。 为了实现视频信息及其产品的全球通用性，国际标准化组织对视频压缩算法 以及视频格式进行统一。最早提出的是h 2 6 1 ，它被称为视频压缩编码的一个里 程碑，此后i s o 和i t u t 的一系列视频标准都是基于h 2 6 1 中的混合编码方法。 i s o i e c 信息技术联合委员会于1 9 9 1 年提出了m p e g ( m o v i n gp i c t m e se x p e r t s g r o u p ) 系列的第一个标准：m p e g 1 ，主要应用于家用v c d 的压缩；其后于1 9 9 4 年又推出了m p e g 2 ，主要针对家用d v d 压缩、数字电视广播和高清晰度电视 的应用；1 9 9 9 年，i s o i e c 通过了m p e g - 4 ，它除了定义视频压缩编码的标准外， 浙江大学硕十学位论文 还强调了多媒体通信的交互性和灵活性。i t u t 于1 9 9 5 年提出了h 2 6 3 标准， 主要针对视频通信应用，如视频电话和视频会议。h 2 6 4 标准是由i s o i e c 下属 的运动图像专家组m p e g 和i t u 下属的视频编码专家组v c e g ( v i d e oc o d i n g e x p e r t sg r o u p ) 共同开发，并于2 0 0 3 年正式公布。它着重于解决压缩的高效率 和传输的可靠性，提供更适合于网络和通信的交互式( 如视频电话，视频点播， 数字电视广播等) 应用【2 】。 1 1 2 专用指令集处理器( a s i p ) 视频编解码算法的不断突破和超大规模集成电路( v l s i ) 制造和设计技术的 迅猛发展，为消费类视频电子市场的兴起提供了契机。近年来，随着消费者对各 种消费类电子产品的需求不断扩大，各类数字视频产品层出不穷，如手持媒体播 放器( p m p ) 、高清晰度数字电视( h d t v ) ，便携式数码摄像机以及可视电话等， 这些消费电子产品给人们的生活带来了丰富多彩的体验。 然而实时视频处理涉及到海量的连续数据流，对处理能力有很高的要求，因 此，视频处理需要特定硬件结构来实现。传统的解决方案是使用专用集成电路 ( a p p l i c a t i o ns p e c i f i ci n t e r g r a t e dc i r c u i t s ，a s i c ) ，它可以通过关键算法进行硬件 优化来获得高性能。但是，该方案不具备编程能力，不能灵活地支持多种标准， 并且设计周期长，风险高。另一种方案是用通用处理器( g e n e r a lp u r p o s ep r o c e s s o r ， g p p ) 来实现编解码，这种方案灵活性很强，也具备很高的性能，但其缺点就是 功耗、面积和成本都很高，难以应用于各种便携式设备。为了在灵活性、经济性 与高效率、低功耗间寻求平衡，具备了a s i c 高性能低功耗和通用处理器的灵活 性的专用指令集处理器( a p p l i c a t i o ns p e c i f i ci n s t r u c t i o ns e tp r o c e s s o r ，a s i p ) 的设 计方案发展迅速。 专用指令集处理器( a s i p ) 是一种以应用为中心，以传统的指令集体系结 构为基础，利用并行处理，添加专用硬件和定制存储结构等手段，满足对功能， 功耗，成本，灵活性等方面要求的定制处理器。对于硬件开发商来说，采用a s i p 可以降低开发成本，因为a s i p 具有可编程性，同一平台可以用于某一特定领域 的多种不同标准；对于应用实现者，通过写软件的形式来开发各种应用，可以降 低设计风险和开发的复杂度，为产品带来更快的上市时间【3 】。 表1 给出了专用指令集处理器( a s i p ) ，通用处理器( g p p ) 和专用集成电 路( a s i c ) 的主要属性之间的比较。从表中可以看出，a s i p 的属性介于g p p 和a s i c 之间，是对两种方案的折中。而正是因为a s i p 本身定制和灵活性相结 合的特点，使它具有多方面权衡和可调整能力，成为了嵌入式平台最有潜力的发 展方向。 2 浙江大学硕十学位论文 表1 - 1a s i p 与g p p ，a s i c 之间比较 通用处理器( g p p )专用指令集处理器( a s i p )专用集成电路( a s i c ) 对特定应用性能低，未对应用优化高，对应用做相应优化极高，为应用专门设计电路 灵活性极高，用途广泛较高，对某一领域应用低，只能用于特定标准应用 功耗，成本高中等低 1 2 课题研究的意义 视频压缩标准的制定极大地推动了视频压缩技术的研究与发展，从而为视频 压缩技术的实用化和产业化奠定了基础。另一方面，消费电子市场的蓬勃发展， 使各种视频处理解决方案层出不穷。9 0 年代中后期开始，a s i p 开始被应用到多 媒体和视频处理领域，各大跨国公司纷纷投入巨资进行研发，不断推出各自产品。 面向这一类应用的a s i p 一般被称为媒体处理器( m e d i ap r o c e s s o r ) ，这类芯片 系统被广泛应用于无线通讯设备、i p 机顶盒、便携媒体播放器、移动电视等数 字媒体设备，在消费视频电子产品领域有着广阔的应用前景。因此，进行对面向 视频应用的a s i p 指令集和体系结构的研究，具有非常重要的现实意义。 1 3 相关研究的现状 为了满足对多媒体处理特别是视频处理的需要，提高对多媒体程序的处理能 力，各类通用处理器的媒体扩展和媒体处理器大都采用了单指令多数据流( s i n g l e i n s t r u c t i o nm u l t i p l ed a t a ，s i m d ) 体系或者超长指令字( v e r yl o n gi n s t r u c t i o nw o r d ， v l i w ) 体系，并将一些出现频率高的组合运算映射为特殊的扩展指令，以实现多 条通用指令才能完成的功能。 s i m d 体系通过在单个高精度的数据通路上并行处理多个低精度的数据元 素。目前，通用处理器的媒体扩展基本上是基于s i m d 体系，如i n t e l 的m m x 4 】， s s e 5 】，s s e 2 1 6 技术，i b m 和m o t o r o l a 的a l t i v e c 7 技术，a m d 的3 d n o w t 8 技术等。 以s s e 为例，该扩展指令集包括了7 0 条指令，其中包含提高3 d 图形运算 效率的5 0 条s i m d 浮点运算指令、1 2 条m m x 整数运算增强指令、8 条优化内 存中连续数据块传输指令。这些指令对目前流行的图像处理、浮点运算、3 d 运 算、视频处理、音频处理等诸多多媒体应用起到全面增强作用【5 】。 v l i w 技术使用多个独立的功能部件，非常长的指令组合，采用水平编码技 术，使指令中的每个操作域并发执行。但是它要求长指令中的各个操作满足不相 关的要求。t r i m e d i at m 3 2 1 9 系列处理器，m a p l 0 0 0 1 0 媒体处理器，t r a n s m e t a 的c r u s o e 1 l 】处理器，c h r o m a t i c 的m p a c t 1 2 】，t i 的c 6 x 1 3 系列处理器，i n t e l 3 浙江大学硕士学位论文 和h p 联盟提出的认- 6 4 体系结构【1 4 】等，都采用了v l i w 的体系。 1 1 的t m s 3 2 0 c 6 2 系列是典型的v l i w 结构处理器，该处理器每个指令周期 可以执行8 条3 2 b i t 指令。包含3 2 个通用寄存器和8 个执行部件。8 个执行部件 包含2 个乘法器和6 个a l u 。支持8 1 6 3 2 b i t 数据类型，所有指令均为条件执行， 减小了分支指令开销。 p r o g r a mf e t c h c o n t r o i r e g i s t e r s i n s t r u c t i o nd i s p a t c h i n s t r u c t i o nd e c o d e c o n t r o ll o g i c d a t a p a t hld a t a p a t h2 ar e g i s t e rf i l ebr e g i s t e rf i l e t e s t k 二j 奉1 一 一 一 e m u l a t i o n ，t vv l 1s lm ld 1d 21 2s 2l 2 i n t e r r u p t s 图1 1 基于v l i w 体系结构的t m s 3 2 0 c 6 x 系统框图 1 4 本文研究的内容和文章结构 1 4 1 研究的主要内容 如何针对视频应用提取一个高效而又适合嵌入式设备的专用指令集，如何设 计能对视频应用加速的硬件体系结构，是面向视频应用的专用指令集处理器设计 的两个要点。因此，本文试图通过对视频压缩标准的应用特性分析，研究专用视 频处理器的指令集设计及其数据通路的实现。研究的主要内容，包括以下几个方 面： 1 面向视频应用的s i m d v l i w 混合指令集设计。 本文试图通过对视频压缩标准的进行分析，从中提取出视频应用的关键函数 和应用特性，并根据视频应用的特性结合s i m d 和v l i w 体系的各自的特点， 提出一套高效的、能灵活应用于各种视频标准的、适合嵌入式系统的专用指令集。 2变长指令编码研究和汇编器设计。 采用s i m d v l i w 混合结构指令集，能够很好的结合s i m d 和v l i w 的优点， 能够提供良好的指令和数掘并行性。但是并行性的增加会使代码长度迅速膨胀， 给嵌入式系统带来资源上的浪费。因此，本文将在提出的s i m d v l i w 混合指令 集的基础上，进行对指令编码的研究，采用动态变长指令编码提高存储空间的有 4 浙江大学硕士学位论文 效利用率，并完成指令集汇编器的设计和实现。 3 专用指令集视频处理器的数据处理通路设计。 为加速特定应用而专门设计硬件结构，是a s i p 研究的另外一个要点。本文 对基于所设计指令集的视频处理器体系结构进行了研究，并重点介绍了能完成各 类运算功能的数据通路模块的设计实现。 1 4 2 论文的组织结构 本文的主要分为五个部分： 第一章是绪论，介绍课题的研究背景和研究的现状，并在此基础上介绍本文 研究的主要内容和意义，最后介绍论文的组织结构。 第二章对典型视频标准m p e g 2 和h 2 6 4 应用特性和复杂度作了深入分析， 将分析结果作为专用指令集设计的依据。 第三章中主要介绍了s i m d v l i w 混合结构指令集的设计。并通过指令集仿 真器，对该指令体系实现视频处理中的各类运算核心进行评估。 第四章介绍了指令集的动态变长指令编码和指令集汇编器的设计和实现。 第五章介绍了专用指令集视频处理器的微体系结构和数据通路模块的设计。 5 浙江大学硕上学位论文 第2 章视频标准的特性分析 对应用程序的特性进行分析和研究，一直是处理器体系结构设计的研究重 点，它直接影响系统性能的优化和设计。本章在m p e g 一2 、m p e g - - 4 、h 2 6 3 和 h 2 6 4 定性分析的基础上，通过对m e d i a b e n c h i i v i d e o & i m a g e 测试子集中的 m p e g 2 、m p e g - 4 、h 2 6 3 和h 2 6 4 的典型应用程序详细分析，对视频压缩应用 程序的特点和需求特性进行总结，为面向视频应用的指令集设计提供依据。 2 1 视频压缩标准的定性分析 当前最流行的视频标准基本上都是基于h 2 6 1 标准的混合编码算法。即编码 时以按帧处理，包含运动补偿和帧间预测，分块正交变换和熵编码的混合编码， 编码的基本单位是1 6 x 1 6 基本宏块。解码时将当前帧量化后的变换系数进行反向 处理，包括反量化和i d c t ，再加上相应的预测图像数据，进行图像的重构。 h 2 6 1 的编解码器结构如图2 1 和图2 2 所示。后续的各个视频标准( 包括 m p e g 2 ，h 2 6 3 ，m p e g 4 ，h 2 6 4 ) 的编解码器的功能块组成与h 2 6 1 基本没有 什么区别，主要的不同在于各个功能块内部的细节【2 】。本节对m p e g - 2 、m p e g - 4 、 h 2 6 3 和h 2 6 4 视频标准特性进行简要分析，获取对视频标准特性的定性认识。 图2 ih 2 6 1 编码器框图 6 浙江大学硕士学位论文 2 1 1m p e g 2 图2 - 2h 2 6 1 解码器框图 j 重构图像 m p e g 组织于19 9 4 年推出m p e g 2 压缩标准以实现视音频服务与应用互 操作的可能性。m p e g 2 标准是针对标准数字电视和高清晰度电视在各种应用下 的压缩方案和系统层的详细规定，是当前应用最广泛的视频压缩标准之一。 m p e g 2 在h 2 6 1 的基础上，采用了双向预测帧技术，支持半像素的运动估 计和运动补偿。并对隔行扫描的显示终端提供场信号支持以及相应的场编码，它 提供场预测和帧预测两类帧间预测方式，并根据变换块的不同排序方法，提供帧 d c t 和场d c t 变化。m p e g 2 还对帧图的d c t 的变化系数，提供了一种“交替 扫描”的行程编码扫描方式，可以获得比先前标准的之字扫描更高的编码效率。 m p e g 2 是第一个支持可变码率v b r 应用的视频编码标准，它提供了完善 的分级编码：把编码分为基本层和增强层，使输出码率具有不同的码率，争强了 编码的网路适应性。 2 1 2h 2 6 3 h 2 6 3 是最早用于低码率视频编码的i t u t 标准，随后出现的第二版( h 2 6 3 + ) 及h 2 6 3 h ，增加了许多选项，使其具有更广泛的适用性。h 2 6 3 是i t u t 为低 于6 4 k b s 的窄带通信信道制定的视频编码标准。它是在h 2 6 1 基础上发展起来 的，其标准输入图像格式可以是s q c i f 、q c i f 、c i f 、4 c i f 或者1 6 c i f 的彩 色4 ：2 ：0 亚取样图像。h 2 6 3 与h 2 6 1 相比采用了半像素的运动补偿和二维预测， 并增加了四个高级选项： 非限制的运动矢量模式，允许将运动估计的范围指向图像帧以外。 7 浙江大学硕十学位论文 基于句法的算术编码( s a c ，s y n t a x b a s e da r i t h m e t i cc o d i n g ) ，显著降低了码 率。 高级预测模式，支持8 8 和1 6 x 1 6 块大小的运动矢量，还采用o b m c 运动 补偿方式，以减少块效应。 p b 帧模式，p 帧由前一帧预测得到，b 帧由双向预测得到，分别用前向m v ， 后向m v ，前后向m v 平均进行运动补偿得到三个预测误差，取最小者作为b 帧的预测误差进行编码。 2 1 3m p e g 4 m p e g 4 于1 9 9 9 年正式成为国际标准，它于与前面提到的m p e g2 、h 2 6 3 不同，它定义的是一种格式、一种框架，而不是具体算法，它的目标被定义为： 支持多种多媒体的应用，特别是多媒体信息基于内容的检索和访问，可根据不同 的应用需求，现场配置解码器；开放的编码系统，可随时加入新的有效的算法模 块。m p e g 4 标准将众多的多媒体应用集成在一个完整的框架内，旨在为多媒体 通信和应用环境提供标准的算法和工具，从而建立起一种能被多媒体传输、存储、 检索等应用领域普遍采用的统一数据格式。 m p e g 4 采用了基于对象的压缩编码技术，它充分利用了人眼视觉特性，抓 住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交互功 能。a v 对象( a v o ，a u d i ov i s u a lo b j e c t ) 是m p e g 4 为支持基于内容编码而提 出的重要概念。对象的划分可根据其独特的纹理、运动、形状、模型和高层语义 为依据。在m p e g 4 中所见的视音频已不再是过去标准中图像帧的概念，而是 一个个视听场景( a 、，场景) ，这些不同的a v 场景由不同的a v 对象组成。因此 m p e g - 4 标准的基本内容就是对a v 对象进行高效编码、组织、存储与传输。a v 对象编码就是m p e g 4 的核心编码技术。 m p e g 一4 在视频方面，除了采用和h 2 6 3 类似的核心技术，如变换编码、运 动估计与运动补偿、量化、熵编码，还引入了四分之一像素精度的运动估计和运 动补偿，全局运动补偿等新的技术，并根据其面向对象的特点，提出了一些新的 技术，如形状编码，基于对象的运动估计和运动补偿，纹理编码，分级扩展编码 等技术。 2 1 4h 2 6 4 h 2 6 4 ( m p e g 4 第1 0 部分) 是由i s o i e c 与i t u t 组成的联合视频组( j v t ) 制定的新一代视频压缩编码标准，它代表了现在最先进的视频压缩技术。它提高 8 浙江大学硕+ 学位论文 网络适应性，采用复杂度可分级设计，支持基本档次( 主要应用于视频对话，如 会议电视，可视电话，远程教育等) ，扩展档次( 主要用于网络的视频流，如视 频点播) ，主要档次( 主要应用于消费电子应用，如数字电视广播，数字视频存 储等) 三个不同档次的应用，并且采用了许多新技术以提高压缩效率，其主要技 术特点包括： 帧内预测编码：帧内编码用来缩减图像的空间冗余。h 2 6 4 提供9 种4 x 4 宏 块的预测模式，1 6 x 1 6 宏块有水平、垂直、直流和平面4 种预测模式。 多参考帧：h 2 6 4 提供可选的多帧预测功能，在帧间编码时，可选5 个不同 的参考帧。 多种宏块预测模式：提供1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 ，8 x 8 ，8 x 4 ，4 x 8 ，4 x 4 七种尺寸的 宏块分割方式，可以更好的利用图像本身特点来达到更精确的匹配，使运动估计 和补偿更加精确。 整数变换：h 2 6 4 使用了基于4 x 4 像素块的离散余弦变换( i t i i t ) ，能减少 运算量和复杂度。 改进的去块效应滤波器：h 2 6 4 定义了自适应环内去块效应的滤波器，这可 以处理预测环路中的水平和垂直块边缘，大大减少了方块效应，改善了图像的质 量。 高精度的亚像素运动补偿：h 2 6 4 中可以采用1 4 像素亮度精度和1 8 像素 色度精度的运动补偿。可以提高预测准确性，降低亢余量，提高编码效率。 小块变换和短字长变换：以前标准的变换都是8 x 8 块，3 2 b i t 精度运算，h 2 6 4 主要使用4 x 4 块变换，1 6 b i t 精度运算。 增强的熵编码方法：h 2 6 4 中采用了上下文自适用变长编码( c a v l c ) 和上 下文自适应二进制算术编码( c a b a c ) 两种不同的熵编码，相对先前标准性能 和灵活性上都有所提高。 2 2 视频压缩标准的定量分析 2 2 1m e d i a b e n c hi iv i d e o & i m a g e 基准测试集 基准测试程序( b e n c h m a r k ) 用于测试和预测目标系统的性能，揭示不同结构 处理器体系的优缺点或为新处理器体系设计提供决策。它试图提供一个客观，公 正的评价处理器性能的标准。 学术界和工业界针对不同的应用领域，设计了多种不同的基准测试集。如通 用处理领域的d h r y s t o n e 1 5 钡e 试基准、w h e t s t o n e 1 6 澳1 试基准和s p e c 1 7 系列 测试基准，并行处理领域的n p b ( n a sp a r a l l e lb e n c h m a r k ) 18 】并行测试基准，数 9 浙江大学硕十学位论文 学计算领域的l i n p a c k 1 9 澳l 试基准，嵌入式控制领域的e e m b c 2 0 测试基准， 数字信号处理领域的b d t i 2 1 f l l 试基准。以及多媒体处理领域的m e d i a b e n c h 2 2 】 测试基准等。 m e d i a b e n c h 基准测试集是1 9 9 7 年由c h u n h ol e e 等人设计的一套多媒体综 合测试标准，它是用c 语言编写的一套源代码公开的多媒体标准应用程序，涵 盖了视频、图像、图形、音频、语音、安全等多个方向，它不仅具有典型多媒体 特征，在嵌入式系统研究方面，也很有代表意义。但是，多媒体技术发展迅速， 十年前设计的m e d i a b e n c h 基准测试集已经不能适合多媒体领域新技术和新标准 的发展，因此，j a s o nf r i t t s 等人在m e d i a b e n c h 基准测试集的基础上设计了 m e d i a b e n c hi i 2 3 1 。它除了支持多媒体领域的各种新的标准，还将基准测试集根 据应用分为视频& 图像，音频，语言等不同的子集。 m e d i a b e n c hi iv i d e o & i m a g e 测试子集除了包含主流的视