（信号与信息处理专业论文）h264编码器的优化.pdf

原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特i i i i i 以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：之。l 垤名一一日期j 坐竺：一主 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学校有权保留 论文及送交论文复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容。 ( 保密的论文在解密后应遵守此规定) 签名：陋导师签名：0 盖扛日期：坦业 海大学倾f 学位论文 h2 6 4 编码器的优化 摘要 h 2 6 4 ( m p e g - 4 p a r t1 0 ) 是i t u - t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动图像编码专家组) 组成的联合视频组( j v t ：i o i n tv i d e ot e a m ) 开发的新一代视频编码标准。其采用了多项新技术，如多模式预测、多参考帧运 动估计、整数变换、c a b a c 、循环去块滤波等，使得h 2 6 4 具有很高编码效率。 在相同的重建图像质量下，比h 2 6 3 或m p e g 4 节省5 0 左右的码率。 除了高编码效率外，h 2 6 4 标准中引入了网络适配层对码流进行封装，封装 后的码流对网络的适应性强。此外，针对传输中的丢包和误比特现象，h 2 6 4 提 供了更多更好的抗误码策略。 基于上述优点，h 2 6 4 有可能在广播、存储媒体( c d t d v d ) 以及多媒体通 信等方面取代以前的标准而成为统一的标准。 但h 2 6 4 编码效率的提高，是以高计算复杂度为代价换来的，其编码复杂度 超出h 2 6 3 m p e g 4 十倍以上。以现有平台韵处理能力，根本无法做到h 2 6 4 的 实时编码。所以，必须对编码器进行优化，减小计算复杂度。 针对h 2 6 4 的编码特点，通用的算法优化有快速运动估计、多参考帧选择、 快速帧内预测模式选择、c a b a c 优化、去块滤波器优化等方法。针对不同的实 现平台，平台相关优化有程序结构优化、指令级优化等。 本论文主要研究了h 2 6 4 帧内预测方漱对其预测效率、复杂度进行了深入 分析。在此基础上提出了种帧内模式快速选择算法。首先报据帧间编码信息对 帧内预测模式进行有效性选择。其次i 采用亮色分离方案进行模式选择。最后， 对i n t r a 一4 x 4 模式进行选择。实验结果显示，与原参考软件j m 7 2 相比，在信 噪比基本不变以及平均码率增加不超过1 的条件下，编码时间比原来减少 2 8 ，5 3 。 另外，本文的研究工作还包括对j m 模型程序结构的优化。优化好的编码器， 符合m a i np r o f i l e 规范，程序结构简单、清晰。不含有冗余模块，编码结果完全 与原j m 相同。此结构不仅易于算法，能够作为算法验证平台，而且在该结构上 实现的算法能够较方便地移植到d s p 平台上，对应用开发具有一定的实际意义。 关键字：视频压缩，h 2 6 4 ，帧内预测，优化 海入学坝卜学位论文 h2 6 4 编码措的优化 a b s t r a c t h 2 6 4i st h en e w e s tv i d e oc o d i n gs t a n d a r do ft h ej o i n tv i d e o r e a m ( j v t ) f o r m e db yt h ei t u t d e oc o d i n ge x p e r t sg r o u p ( v c e g ) a n dt h ei s o i e cm o v i n g p i c t u r ee x p e r t sg r o u p ( m p e g ) i nd e c e m b e ro f2 0 0 l ，s o m en e wt e c h n o l o g i e sa r e p r o v i d e dt oe n h a n c et h ec o d i n ge f f i c i e n c y , i n c l u d i n gv a r i a b l eb l o c k s i z em o t i o n c o m p e n s a t i o n ；m u l t i p l er e f e r e n c ep i c t u r em o t i o nc o m p e n s a t i o n ，i n t e g e rt r a n s f o f m ， c o n t e x t a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g 、i n l o o pd e b l o c k i n gf i l t e re t c t h ef e a t u r e s o ft h en e wd e s i g np r o v i d ea p p r o x i m a t e l ya5 0 b i tr a t es a v i n g sf o re q u i v a l e n t p e r c e p t u a lq u a l i t yr e l a t i v et ot h ep e r f o r m a n c eo fp r i o rs t a n d a r d s ，s u c ha sh ，2 6 3a n d m p e g 4 i na d d i t i o nt ot h ee x c e l l e n tc o d i n ge f f i c i e n c y ，t h ed e s i g no fh 2 6 4a l s ot a k e si n t o a c c o u n tn e t w o r ka d a p t a t i o n b yt h ee n c a p s u l a t i o no f n a lu n i t sf o rd i f f e r e n tt r a n s p o r t s y s t e m s ：f u r t h e r m o r e s o m ea d v a n c e de r r o r r e s i l i e n c et o o l sa r es u p p o r t e db yh 2 6 4t o d e a lw i t ht h eb i to n o r so rp a c k e tl o s s e so f t r a n s m i s s i o n 。 b a s e do nt h e s ef e a t u r e s i nt h ea p p l i c a t i o na r e a so f b r o a d c a s t i n t c r a c t i v eo rs e r i a l s t o r a g e ，a n dm u l t i m e d i ac o m m u n i c a t i o n ，h 2 6 4i sl i k e l y t or e p l a c et h ef o r m e r s t a n d a r d sa n db e c o m e st h eu n i f o r ms t a n d a r d b u tt h ei m p r o v e m e n to fc o d i n ge f f i c i e n c yi sa t l ec o s to ft h eh i g hc a l c u l a t i o n c o m p l e x i t y t h ec o m p l e x i t yo ft h eh 2 6 4e n c o d e ri sm o r et h a l lt e nt i m e st h a l q 【t h a to f t h eh 2 6 3o rm p e g - 4 ，a n d 协ee x i s t i n gp l a t f o r m sa r ei n c a p a b l eo f r e a l t i m ee n c o d i n g ， s ot h ee n c o d e rh a st ob eo p t i m i z e d , t or e d u c et h ec o m p l e x i t yo f c a l c u l a t i o n a c c o r d i n gt o t h ec h a r a c t e r i s t i c so fh 2 6 4 u n i v e r s a la l g o r i t h mo p t i m i z a t i o n m e t h o d sc o n s i s to ff a s tm o d es e l e c t i o n ，f a s tm o t i o ne s t i m a t i o n , m u l t ir e f e r e l 3 c ep i c t u r e s e l e c t i o n , f a s ti n t r a ：p r e d i c t i o n 。m o d es e l e c t i o n , 1o p t i m i z a t i o no fc a b a ca n di n 。l o o p d e b l o c k i n gf i l t e re t c t 0t h ev a r i a b l eo fp l a t f o r m s p l a t f o r m - d e p e n d e do p t i m i z a t i o n m e t h o d sc o n s i s to fo p t i m i z a t i o no ft h ep r o g r a ms t r u c t u r ea n di n s t r u c t i o n se t c m a j o r w o r ko f t h i sd i s s e r t a t i o ni sa sf o l l o w s ： f i r s t ，b a s e do nt h ea n a l y s i st h ee f f i c i e n c ya n dc o m p l e x i t yo ft h ei n t r ap r e d i c t i o n ， af a s ts e l e c t i o nm e t h o do fi n t r ap r e d i c t i o nm o d ei sp r o p o s e d i tc o n s i s t so ft h ev a l i d i t y j u d g e m e n to ft h ei n t r ap r e d i c t i o nm o d eu s i n gi m e rc o d i n gi n f o r m a t i o n ，s e p a r a t em o d e s e l e c t i o no fl u m i n a n c ea n dc h r o m aa n df a s ts e l e c t i o no fi n t r a - 4 x 4m o d e e x p e r i m e n t a l ? r e s u l t gd e m o n s t r a t et h a t , c o m p a r e dw i t ht h er e f e r e n c es o f t w a r ej m 7 2 i t r e d u c e s2 8 。5 3p e r c e n tc o d i n gt i m e , w i 垃t t h es a l t 船p s n ra n db i tr a t ei n c r e a s i n gw i t h i n 1 p e r c e n t s e c o n d ；o p t i m i z et h es t r u c t u r eo ft h er e f e r e n c es o f t w a r ej m 7 2 i ti s c o n s i s t e n tw i t ht h em a i np r o f i l e ，s i m p l e ，c l e a r 。w i t h o u tt h er e d u n d a n tf u n c t i o n sa n d h a st h es a m ec o d i n sr e s u l to fj m 7 2 o nt h eo n eh a n d ，n e wa l g o r i t h m sa r ee a s i l y i n t e g r a t e di n t oi t s oi tc a nb eu s e da sa na l g o r i t h mv a l i d a t i o np l a t f o r m o nt h eo t h e r h a n d ，i ti se a s i l yt r a n s p l a n t e dt ot h ed s pp l a t f o r m ，s oi th a sp r a c t i c a lm e a n i n go f a p p l i c a t i o nd e v e l o p m e n t k e y w o r d s ：v i d e oc o m p r e s s i o n ，h 2 6 4 ，i n t r ap r e d i c t i o n ，o p t i m i z a t i o n 2 海人学颂 学位论文 i 2 6 4 编码器的优化 第一章绪论 1 1 视频编码标准的发展及其关键技术 图像视频具有庞大的数据量，对存储与传输的要求极为苛刻。图像视频压 缩编码的主要目的，就是在保证一定重建质量的前提下，以尽量少的比特数来表 示图像视频信息。 传统的压缩编码是以香农信息论为出发点，用统计概率模型来描述信源。编 码实体是像素或像素块，以显示器件为图像视频系统的最后环节。 经过近二二十年的发展，视频编码技术已经比较成熟，各压缩标准得到了广泛 的应用，这主要包括国际标准化组织i s o 和国际电工委员会i e c 关于静止图像 的编码标准j p e g 、j p e g 2 0 0 0 ；国际电信联盟i t u t 关于电视电话、会议电视 的视频编码标准h 2 6 1 、h 2 6 3 ；以及 s o i e c 关于活动图像的编码标准m p e g 1 、 m p e g 2 、m p e g 一4 。 视频编码标准的发展如图1 1 所示： 国日圃 圈 m 墨p f g l 2 日 1 _ s n t i d a 陆i 。 li 1 9 8 4 1 9 8 6 t 9 8 9 1 9 9 0 1 9 9 2 1 9 9 4 1 9 9 6 1 9 9 82 0 0 0 2 0 0 22 0 0 4 图1 1 ：r r u t 和i s 0 i e c 制定的标准发展过程 以上标准的码率范围、主要技术与应用范围如表1 1 所示f l 】 标准码率主要技术虚用 m p e g 1 0 ，8 k b p s - - 1 5 m b p s 双向运动补偿技术v c d c d r o m 运动图像1 2 像素运动估计视频监控 及其伴音 m p e gd c t 的编码 标准 z i g z a g 扫描 白适应量化 h u f f m a n 编码 海入学倾i 学位论立 h2 6 4 编码器的优化 3 m b p s - - 1 0 m b p s m p e g 一1 所有技术数字广播 m p e g 2 ( m p m l ) 帧场运动补偿 d v d d v h s 运动图像 1 6 m b p s - - 5 0 m b p s 可扩展编码 及其伴音 ( m p m l ) 容错编码 的编码 s o s 羽o p s - 1 0 0 m b p s 专! 比视频处理 ( 4 ：2 ：2 p m l h l ) l o k b p s - - 3 8 4 k b p s m p e g ，2 所有技术 c e l l a r , i n t e m e t ( s p l 11 2 3 ) 高级运动估计 1 0 k b p s - - 2 m b p s 位图形状编码消费电视 m p e g - 4 ( c p l 1 2 ) 对象编码 视频 2 m b p s - - 3 8 m b p s 小波变换 交互式电视 ( m p l 2 l 3 l 4 ) 5 0 m b p s - - 1 2 0 0 m b p s 视频剪辑 ( s t u d i o l 1 2 3 1 4 ) h 2 6 1 6 4 k b p s - - 1 s 硼o p s d c t视频通信( i s d n ) p x 6 4 k b s自适应量化 音视频服 z i g z a g 扫描 务 运动补偿技术 i t u _ t h u f f m a n 编码 标准h 2 6 3 1 0 k b p s - - 3 8 4 k b p s h 2 6 1 所有技术视频通信( p s t n ， l i l t e m e t ) 低彼特率 双向运动补偿技术 移动视频电诵 视频通信 1 2 像素运动估计 高级运动估计 算术编码 e 述视频编码盼压缩率约5 0 倍左右。采用的主要技术有i i “： 夺预测：用帧内预测消除空间冗余；用帧问预测消除时间冗余。随着标准 的发展，帧内向多方向预测发展，模式越来越丰富；运动估计也越来越 复杂，从整像素运动估计到亚像素运动估计，搜索范围由, 3 , g o 大，预测 方向有前向到双向，参考帧由少到多。 夺变换与量化：用d c t 变换将预测残差从空间域变换到频率域，进一步 消除空间冗余，能量主要集中在低频系数上。与量化结合，将能量小且 对视觉效应影响小的高频系数量化为零，为下一步编码做准备。 随着小波技术的发展，m p e g - 4 曾尝试对静态纹理采用小波变换，分别 对a c 予带和d c 子带编码，采用零树扫描与算术编码对小波系数进行 编码。但复杂度高，而压缩率提高却不大。 海人学札鲰 学位论止h2 6 4 编码器的优化 夺编码：z i g z a g 扫描结合游程编码、h u f f m a n 编码。采用z i g z a g 扫描，将 量化后的零系数连在一起，与非零系数结合，采用游程编码 ( r u n l e n g t h ) ，对( r u n l e n g t h ) 码字根据统计概率，进行h u f f m a n 编码。 随着算术编码的发展，h 2 6 3 中曾使用算术编码，相比于h u f f m a n 编码 码率提高约5 ，但由于复杂度非常高，无法实用。 1 2h 2 6 4 的发展、特点、应用范围与优势 近年来c a b l em o d e m 、x d s l 等接入方式越来越酱及，用户希望能够通过这 些接入获得视频服务，但这些信道的带宽无法与广播信道相比，采用以前的标准 因压缩率不够，无法满足带宽要求。并且人们对视频服务质量的要求越来越高。 因此希望提高视频标准的压缩率，使得视频服务能够通过已有的窄带网络传输， 或者在广播信道上获得更高的视频质量。 同时如可视电话、视频会议、等视频通的应用不断增长，但网络结构越来越 复杂：i s d n 、d s l 、e t h e r n e t 、l a n 、无线局域网、移动网等，为了适应各种网 络，视频流需要具有高鲁榜性与网络友好性。 随着芯片处理能力、存储容量的提高，新编码技术不断提出。同时新编码算 法又促进了硬件的发展。市场的需要、新编码算法、硬件处理速度，共同推动了 h 2 6 4 标准的制定： h 2 6 4 最初是由v i d e oc o d i n ge x p e r t sg r o u p ( v c e g i h j t ) 在19 9 8 年提出。早 期命名为h 2 6 l ，设计目标为相比于当时最好的视频编码标准，编码效率提高2 倍，即在相同的质量与保真度的前提r 码率要求减少l 倍。发展至u 2 0 0 1 年1 2 月， m o v i n gp i c t u r ee x p e r t sg r o u p ( m p e g i s o i e c ) 意识到了该编码技术潜在优越性， 与v c e g i t u t 联合，组成了j o i n tv i d e ot e a m ( j v t ) 共同开发新一代视频编码标 准。该标准于2 0 0 3 年3 月制定完成。h 2 6 l 被m p e g 收入m p e g 4 标准的第1 0 部分， 即m p e g 一4 a v c ( a d v a n c e v i d e o c o d i n g ) ，同时也被v c e g 称为h 2 6 4 。 h 2 6 4 主要有以下特点哪4 ： 7 种不同块大小的运动补偿 1 4 像素耩度运动补偿 运动向量( m v ) 可超出图像边界 多参考帧运动补偿 参考帧顺序与图像显示顺序无关 图像重建顺序与参考帧选择无关 加权预测 提高“s 妯”与“d m e c t ”模式的预测效率 基于方向的空间域帧内预测 自适应的循环去块滤波器 4 x 4 的整数变换 多级变换 短字长( 1 6 b i t ) 变换 夺夺夺夺夺夺夺夺夺夺令夺夺 卜诲人学坝 学位晓史 h2 6 4 编码辨的忧化 - 6 - 编码：z i g z a g 扫描结合游程编码，h u f f m a n 编码。采用z i g z a g 扫描，将 鼍化后的零系数连在一起，与非零系数结合，采用游程编妈 ( r u n l e n g t h ) ，对( r u n l e n g t h ) 码字根据统计概率，进行h u f f m a n 编码。 随着算术编码的发展，h ：2 6 3 中曾使用算术编码，相比于h u f f m a n 编码 码率提高约5 ，但由于复杂度非常高，无法实用。 1 2h 2 6 4 的发展、特点、应用范围与优势 近年来c a b l em o d e r n ，x d s l 等接入方式越来越普及，用户希望能够通过这 些接入获得视频服务，但这些信道的带宽无法与广播信道相比，采用以静的标准 因压缩率不够，无法满足带宽要求。并且人们对视频服务质量的要求越来越高。 因此希望提高视频标准的压缩率，使得视频服务能够通过己有的窄带网络传输， 或者在广播信道上获得更高的视频质量。 同时如可视电话、视频会议、等视频通的应用不断增长，但网络结构越来越 复杂：i s d n 、d s l 、e t h e m e t 、l a n 、无线局域网、移动网等。为了适应各种网 络，视频流需要具有高鲁榜性与网绍友好性。 随着芯片处理能力、存储容量的提高，新编码技术不断提出，同时新编码算 法又促进了硬件的发展。市场的需要，新编码算法、硬件处理速度，共同推动了 h 2 6 4 标准的制定： h 2 6 4 最棚是幽v i d e oc o d i n ge x p e r t sg r o u p ( v c e g i t u t ) 在t 9 9 8 年提出，早 期命名为h 2 6 l , 设计目标为相比于当时最好的视频编码标准，编码效率掇高2 倍，即在相同的质量与保真度的前提下码率要求减少t 倍。发展n 2 0 0 1 年1 2 月， m o v i n gp i c t u r ee x p e r t sg - t o u p ( m p e g - i s o 1 e c ) 意识到了该编码技术潜在优越性， 与v c e g i t u t 联合，组成了i o i n tv i d e ot e a m ( j v t ) 共同开发新一代视频编码标 准。该标准于2 0 0 3 年3 月制定完成。h ，2 6 l 被m p e g 收入m p e g 4 标准的第l o 部分， 即m p e g 一4 a v c ( a d v a n c ev i d e oc o d i n g ) ，同时也被v c e g 称为h 2 6 4 。 h 2 6 4 主要有以下特点1 3 】【4 】： 夺 夺 夺 夺 夺 杏 办 7 种不同块大小的运动补偿 l a 像素耪度运动补偿 运动向量( m v ) 可超出图像边界 多参考帧运动补偿 参考帧顺序与图像显示顺序无关 图像重建顺序与参考帧选择无关 加权预测 夺提高“s k i p ”与“d i r e c t ”模式的预测效率 夺基于方向的空间域帧内预测 夺自适应的循环去块滤波嚣 夺4 x 4 的整数变换 多级变换 夺短字长( 1 6 b i t ) 变换 夺短字长( 1 6 b i t ) 变换 海人学顺卜学位论文 h2 6 4 编码器的优化 夺上下文自适应变氏编( c a v l c c o d i n g ) 夺上下文自适应算术编码( c a b a c ： c o d i n g ) 夺参数集结构 c o n t e x t a d a p t i v ev a r i a b l e l e n g t h c o n t e x t a d a p t i v eb i n a r ya r i t h m e t i c 网络适应层单元( n a lu n i t ) 语法结构 令灵活的s l i c e 大小 夺灵活的宏块顺序( f m o ) 夺任意的s l i c ej l 颐序( a s o ) 夺冗余帧编码 令数据分割划分 令s p s i 帧 h 2 6 4 应用范围包括如下几个方面【3 j ： 夺广播应用：有线广播、卫星广播、地面广播、c a b l em o d e m 、d s l 等。 夺交互式或串行存储：如d v d 等。 夺流媒体服务：基于i s d n 、d s l 、c a b l em o d e m 、l a n 、无线局域网的 v o d 或流媒体服务。 夺多媒体消息服务：基于i s d n 、d s l 、e t h e r n e t 、l a n 、无线局域网、移 动网等的多媒体消息服务。 夺传统视频服务：基于i s d n 、d s l 、e t h e m e t 、l a n 、无线局域网、移动 网等的传统视频服务。 相比于以前的视频编码标准h 2 6 4 具有以下优势： 夺相对于h 2 6 3 + ( h 2 6 3 v 2 ) 或m p e g 4 ，h2 6 4 在相同的信噪比条件下可节 省约5 0 的码漉。 夺支持高清隔行编码，及其它各种高码率与低码率编码方式，应用范围广。 夺更强的差错鲁棒性。针对传输中的丢包和误 e 特现象，h 2 6 4 提供了更 多更好的抗误码策略，j t o f m o 、a s o 、数据划分以及参数集等。 夺通过网络适应层( n a l ) 使得h 2 6 4 视频流具有网络友好性，能与各种传输 协议无缝连接，使编码码流更好地在网络上传输。 基于以上优势，h 2 6 4 有可能在广播、存储媒体( c d d v d ) 、多媒体通信等 方面，取代其它标准而成为统一的标准。h 2 6 4 与m p e g - 4 的深入比较参见参考 文献 5 1 7 ，与j p e g 一2 0 0 0 的比较参见文献【6 】。 1 3 业界的实现状况 在h 2 6 4 标准的制定过程中曾经有2 家外国公司( u b v i d e o i8 】与 v i d e o l o c u s 【9 】) 演示他们各自的实现方案。其中u b 。v i d e o 公司在2 0 0 2 年1 0 月 在g e n e v a 第5 次会议上，展示了其在p e n t i u mi i i8 0 0 m h z 膝，t z 型电脑上实现的 h 2 6 4b a s e l i n ep r o f i l e 的c i f 格式图像的实时编码系统，其编码平均4 9 帧秒， 解码1 0 5 帧秒，编码和解码一起达到3 3 帧秒。为了达到实时的编码速度，特别 对运动估计与模式选择部分进行了优化。但相比于原来带有率一失真优化的参考 软件，其比特率大约高出1 0 。 e 海大学坝i 学位论f ：h2 6 4 编码糟的优化 现在，已经有多家国外公司实现了h 2 6 4 的实时编解码。如m o o n l i 加t 公司， 主要对去块滤波器进行了优化，在p e n t i u mi v3 2 g h zc p u 上实现了m a i u p r o f i l e ，7 2 0 p ( 1 2 8 0 x 7 2 0 帧格式) ，3 0 帧秒，支持c a b a c c a v l c 与多参考i 帧 的实时解码。其编码器支持d l 格式，在p e n t i u m i v3 1 g h z c p u 上实现了b a s e l i n e p r o f i l e 的实时编码，但不包括f m o 模式，且对帧内预测模式进行了简化。 w wc o m m u n i e m i o n s 公司基于d m 6 4 x 的b c 2 6 4 ( b a s e l i n ep r o f i l eh 2 6 4 编解码器) ，实现了7 2 0 x 4 8 03 0 帧秒n t s c 制，以及7 2 0 x 5 7 62 5 帧秒p a l 制 的实时编解码i l 。 l s il o g i c 公司也实现了d 1 格式，3 0 帧秒的实时编解码。 与此同时，美国m p e g l a 已召集拥有h 2 6 4 专利的各方举行了正式会谈。 公开的名单中包括美国哥伦比亚太学、韩国电子通信研究院、法国f r a n s et e l e c o m s a 、富士通、松下电器产业、三菱电机、美国微软、美国摩托罗拉、芬兰诺基 亚、荷兰皇家飞利普电子n v 、美国宝丽金、德国r o b o tb o s c h g m b h 、韩国三 星电子、夏普、索尼、法国t h o m s o n s a 、东芝及日本j v t 等1 8 家企业和机构。 目前打算从事h 2 6 4 授权管理的并非只有m p e g l a 一家。美国杜比实验室 的子公司v i al i c e n s i n g 为进行h 2 6 4 的授权管理已开始征集专利。围绕h 2 6 4 的授权管理，两家公司之间的竞争正在加剧。这同时也反映出业界对于h 2 6 4 寄 予很高希望。 如同m p e g 1 2 一样，h 2 6 4 标准的专利掌握在外国公司的手中，鉴于我国 v c d d v d 产品需向国外公司付专利费的惨痛教训；国内成立了a v s 联盟，负 责新一代视频编码中国标准的制定；其目的是尽量避开国外专利，开发出拥有自 己知识产权的在国内能够代替h 2 6 4 的标准。a v s 标准包括系统、视频、音频、 数字版权管理等四个主要技术标准和致性测试等支撑稼准。在2 0 0 3 年1 2 月 1 8 1 9 目举行第七次会议上工作组完成了a v s 标准韵第一部分 = d ( s ，c ) ，所以式1 - 4 相对于式 1 - 2 更逼近s a d 或s s d 。2 x 2 块划分在一定程度上考虑了宏块的纹理信息，所以 d ( s ，c ) 作为搜索判决准贝| l ，搜索到最佳运动向量的概率更高。 t h o m a sw i e g a n 4 ：的方法类似于快速运动估计中的下采样方法，并且通过保 存预测块之和、改变运动估计判断方法，使复杂度降低非常大，尤其适合于长期 ( 1 0 帧以上) 参考帧运动估计。但它存在如下缺点：首先，对所有参考帧采用 全搜索方法( 下采样后) ，没有结台多参考帧之问的相关性。其次，对于1 6 x 1 6 块的运动估计，采用下采样方法，误差并不明显，但随着块尺寸的减少，下采样 方法忽略了2 x 2 块内的像素纹理，影响越来越大，非最佳运动向量搜索发生的几 率越来越大。而多模式编码作为h 2 6 4 提高预测效率的一个重要方法支持最小 的块模式为4 x 4 ；所以其方法并不适用于h 2 6 4 的多参考帧选择。 1 5 t 4 模式选择算法 以前的标准。只支持两种运动补偿模式：”1 6 x l 或8 x 8 ，而h 2 6 4 支持7 种 模式。每种模式独立，且均包含多参考帧运动估计，所以复杂度相比于以前的标 准大大提高。文献 1 6 】中提出了一种快速模式选择算法，其思想为：基于块大小 判断误差面是否满足单调性的假设，即当前宏块对于使用更小或更大的块模式是 否具有一致性，即随着块尺寸的减小误差也在减小；或者随着块尺寸的减小误差 在增大。误差面一致性由3 种模式决定：i n t e r - 1 6 x 1 6 ，i n t e r - 8 x 8 ，1 n t e r - 4 x 4 。 致性指： j t 6 x t 6 j 4 x 4 ，其中j 代表率失真代价值。 是否对其余模式进行运动估计由这3 种模式之间的一致性决定。如果误差面 不具有致性，则所有的其余模式都进行运动估计搜索。如果具有一致性，只育 两种最好模式之间盼中间模式才进行运动估计的搜索。模式选择过程中还增加了 阈值的判断，提前中止搜索方法等，进一步提高了计算速度。 该方法比较简单，速度的提高主要是通过减少i n t e r - 8 x 8 子块模式的选择 得到，但码率增加很大。 1 _ 5 - 1 5 算法优化存在的问题 算法研究主要集中在快速运动估计、快速参考帧选择、快速模式选择上，但 对帧内预测的研究却很少。但在h 2 6 4 标准中，为了提高帧内预测效率，夫幅度 提高了帧内预测的复杂度，有必要优化帧内预测编码。 海人学橛卜学位论立h2 6 4 编码器的优化 h 2 6 4 为了达到在给定码率下编码质量最优，采用率失真优化进行模式选择， 把多模式编码、多参考帧运动估计、c a b a c 编码结合起来，每种模式预测( 帧 问运动估计、帧内预测) 、残差变换、量化、编码独立进行，使得运动估计、变 换、量化、c a b a c 编码随模式选择而重复计算。 上述编码器复杂度的分析表明：由于重复计算，c a b a c 编码虽然只占编码 总时间的6 3 ，但由于编码器总时间太大，仅c a b a c 编码所占用的时间就已 经超出了实时编码的要求。 又由于c a b a c 编码需根据语法元素上下文进行概率刷新，每种模式编码对 应的初始概率模型不同，编码过程中预溯残差不同致使概率刷新不同，所以不同 预测模式，对应的码流相差很大。 单独的快速模式选择算法或者单独的快速运动估计复杂度减少可能很大，但 结合率失真优化，编码器总计算复杂度还是很大；同时由于c a b a c 编码对预测 残差非常敏感，非最优模式概率刷新会使信噪比下降很大。因此，在算法优化上 应该根据率失真优化，综合考虑模式选择、多参考帧选择、运动估计与c a b a c 编码的问题。但由于涉及面广，算法复杂度是相当高的。 1 5 2 平台相关优化 平台相关的优化主要针对编码器的实现平台，结食平台结构进行优化。这时 编码器所含功能已经固定，甚至算法优化已经完成。常用韵平台相关算法主要包 括：通用的程序结构优化、针对p c 平台的多媒体指令集优化以及针对d s p 平台 的优化等。 1 5 2 1 通用的程序结构优化 h 2 6 4 的j m 系列参考软件，将三个档次的所有功能包含在一个工程中，相 应程序结构错综复杂，函数调用关系复杂，重复判断过多，循环嵌套，严重影响 了代码的执行效率。 如帧， 场自适应编码、冗余帧编码、任意多s l i c e 分割、任意宏块顺序编码、 宏块皂适应帧场编码、宏块随机帧内刷耨编码等，并不是每个档次所必需的，没 必要包含在每个编码器中。针对应用范围对编码器所包含的功能进行选择，并根 据实现平台特点优化程序结构，是h | 2 6 4 实用的第一步。 1 5 。2 , 2 多媒体指令集优化 为了提高通用处理器的多媒体数据处理能力，以便实现实时编解码，针对多 媒体数据处理的特点： 奄大量重复操作。 执行可预测性高。 夺短字长数据，一般为字节型。 夺乘累加和运算。 i 海大学倾l j 学位论文 h2 6 4 编码器的优化 对通用处理器进行单指令多数据多媒体指令集结构扩展s i n g l ei n s t r u c t i o n m u l t i p l ed a t a ( s i m d ) m u l t i m e d i ao rm e d i ai n s t r u c t i o ns e ta r c h i t e c t u r e ( i s a ) e x t e n s i o n s ) 。包含两部分：在指令集上增加多媒体指令；在结构上增加多媒体指 令寄存器【17 1 。 h p 的p a r i s c 是第一个采用单指令多数据多媒体指令集的结构，又称作 m a x 一1 ( m u l t i m e d i a a c c e l e r a t i o ne x t e n s i o n s ) 。到现在，多媒体指令集结构有： v i s u mi n s t r u c t i o ns e t ( v i s ) m a x 2 m a t r i xm a t he x t e n s i o n s ( m m x ) m i p sd i g i t a lm e d i ae x t e n s i o n ( m d m x ) m o t i o nv i d e oi n s t r u c t i o n ( m v l ) a i t i v e c s t r e a m i n gs i m de x e n s i o n s ( s s e ) 3 d n o w ! m p s - 3 d a p p l i c a t i o ns p e c i f i ce x t e n s i o n sr a s e ) s s e 2 由于i n t e l 处理器应用范围最广，只介绍m m x 多媒体指令扩展【1 9 】。i n t e l 通 过m m x 技术解决了宽数据总线对短数据操作时的带宽浪费，可提高系统效率l 至8 倍。 为了在单个指令执行中，同时操作多个短数据，把短数据放在一个6 4 位的 寄存器中。m m x 定义了四种6 4 位数据格式? 由8 个字节构成的字节组，由四个1 6 位的字构成的字组由两个3 2 位双字构成的双字组，。由一个“位的四字构成的 四字，统称数据组数据类型。 为了操作这些新的数据类型，i n t e l 定义了8 个6 4 位的m m x 寄存器( 寄存 器名m m o 到m m 7 ) ，这些寄存器只能由m m x 指令操作，仅能应用于数值处理， 通过m m x 寄存器以并行的方式处理组数据中的各数据元素。 m m x 指令集有5 7 条指令，包括：数据转移指令、算术运算指令、比较运算 指令、转换运算指令、逻辑运算指令、移位运算指令、m m x 状态置空指令。 m m x 指令支持有符号和无符号数据元素的操作。特别的是为了适合多媒体 数据处理的要求，首次在通用c p u 中引入了溢出的饱和处理方式：在运算结果出 现上溢或下溢后，在寄存器中保持极端值，防止环绕式处理中的符号逆转，减少 了对有限字长的影响。是否采用饱和处理方式可由指令指定。 m m x 指令能够对操作数据组各元素独立进行相同的操作，在饱和方式 f 加 减，可以用指令指定数据有无符号而采用不同的饱和处理方式。特别是组数据的 乘法可以根据用户的需要取出3 2 位积的高1 6 位与低1 6 位进行乘累加操作。 但使用6 4 位的数据转移和数值运算必需考虑数据对齐问题。在p e n t i u m 处理 器上，在高速缓存或总线上进行一个未对齐数据的访问至少多耗费3 个时钟周期， 为了提高数据处理效率，可采用数据对齐方法有： 夺8 字节数据必须以8 字节为边界对齐。 夺常量数据对齐通过复制原始数据进行。 令对于较长的数据可以先按对齐方式把数据读入寄存器，再在寄存器中进 行拼接。 a ) ) 鬻怒慧淼等 h2 6 4 编码器的优化 文献 2 0 】针对h 2 6 4 视频解码器，给出了一种优化方案从程序结构入手， 结合m m x 技术，对h 。2 6 4 软件解码器数据结构、程序流程与内存分配进行全面 的优化。优化后的解码器在p 38 0 0 m h z 以上的p c 机上能够对于c i f 格式的h 2 6 4 序列进行实时解码。对于编码器来说也有一定的借鉴作用。 1 5 2 3 针对d s p 平台的优化 d s p 平台的优化必须考虑其平台的结构特点，常用的优化方法有2 1 1 2 2 】f 2 3 】： 存储器优化：高效地利用片内存储器，把常用的数据及代码放在片内存储器 中。 直接存储器访问( d m a ) ：d m a 控制器可以在没有c p u 参与的情况下完成数 据搬移，不影响c p u 的工作。 提高c a c h e 的命中率：合理的设置源程序的连接顺序( 1 i n ko r d e r ) 。连接顺 序将影响指令代码和数据在存储空间的位鼍。时间上连续访问的代码和数据在存 储空间上如果连续放置，会使