（计算机应用技术专业论文）基于adspbf561的h264解码器设计与实现.pdf

摘要 由r r u t 视频编码专家组( v c e g ) 和i s o i e c 运动图像专家组( m p e g ) 成立的联合视频小组( j 、丌) 于2 0 0 3 年发布了新一代视频编码标准h 2 6 4 a v c ， 相对于先前的视频编码标准，h 2 6 4 a v c 具有更优秀的性能，能够提供更高的 压缩效率、更友好的网络视频接口。视频编码标准的发展必然导致工业领域的 相应发展，促使工业领域开发适合新标准的视频编解码器。目前实现h 2 6 4 编解 码器的方法主要有两种：一种方法是采用硬件实现h 2 6 4 编解码器，这种方法的 主要优点是性能好、速度快，但是其开发成本高、周期长、系统灵活性较差、 不利于系统的升级与维护；另一种方法是采用高速可编程d s p 实现h 2 6 4 编解 码器，这种方法能够提供良好的适应性和扩展性，便于代码的移植和系统的升 级，但这种方法要求目标d s p 必须有足够的处理能力。本文以h 2 6 4 标准的软 件参考模型j m l 3 2 的解码器源代码为基础，以a d i 公司的高性能嵌入式媒体处 理器a d s p b f 5 6 1 为目标平台，实现了基于a d s p b f 5 6 1 的h 2 6 4 解码器。 本文详细论述了h 2 6 4 a v c 采用的新技术，比如帧内预测、多种块模式的 帧间预测、去块效应滤波器等，简要介绍了a d s p b f 5 6 1 的内核结构、功能模 块、指令特点、以及开发环境，并在此基础上完成了如下工作：以a d i 公司的 a d s p b f 5 6 1 评估板为参考，设计了基于a d s p b f 5 6 1 的嵌入式音视频应用系 统；以h 2 6 4 参考模型j m l 3 2 的解码器源代码为参考，分析了h 2 6 4 的码流结 构和h 2 6 4 的解码流程，并基于p c 机对j m l 3 2 解码器进行了优化，优化工作 包括优化j m l 3 2 解码器的程序结构、优化j m l 3 2 解码器的关键的数据结构、 优化j m l 3 2 解码器的内存分配方式、优化j m l 3 2 解码器的关键模块，并使用 标准测试序列对优化效果进行了测试；以a d i 公司的高性能嵌入式媒体处理器 a d s p b f 5 6 1 为目标处理器，将优化后的j m l 3 2 解码器移植到a d s p b f 5 6 1 ， 并结合a d s p b f 5 6 1 的结构特点，通过使用二维d m a 技术、汇编级的优化等技 术，实现了基于a d s p b f 5 6 1 的h 2 6 4 解码器。测试结果表明，本文实现的基 于a d s p b f 5 6 1 的h 2 6 4 解码器，对c i f ( 3 5 2 2 8 8 ) 格式测试序列的解码速度 可以达到3 0 帧秒以上，达到了对c i f 格式测试序列实时解码的效果。 关键词：h 2 6 4 解码器，a d s p b f 5 6 1 ，解码器优化 a b s t r a c t t h el a t e s tv i d e oc o d i n gs t a n d a r dh 2 6 4 a v ci sd e v e l o p e db yj v r ( j o i n tv i d e o t e a m ) ，w h i c hf o r m e db yt h e u - tv i d e oc o d i n ge x p e r t sg r o u p ( v c e g ) a n dt h e i s o i e cm o v i n gp i c t u r ee x p e r t sg r o u p ( m p e g ) c o m p a r e dw i t h p r i o rv i d e o s t a n d a r d s ，h 2 6 a | 蝌ch a sb e t t e rp e r f o r m a n c e s ，c a np r o v i de n h a n c e dc o m p r e s s i o n e f f i c i e n c ya n da “n e t w o r k - f r i e n d l y i n t e r f a c e t h ed e v e l o p m e n to fv i d e oc o d i n g s t a n d a r dr e s u l t si nt h ed e v e l o p m e n to fi n d u s t r ya r e a , v i d e oe n c o d e ra n dd e c o d e rw i l l b ed e v e l o p e d c u r r e n t l yt h e r ea r et w om a i ns o l u t i o n st od e v e l o ph 2 6 4c o d e c ：t h e i n s ts o l u t i o ni st od e v e l o ph 2 6 4c o d e c u s i n gh a r d w a r e ，i ti s as o l u t i o nw i t h o u t s t a n d i n gp e r f o r m a n c eb u th i g hc o s t sa n dl o n gd e v e l o p i n gc y c l e ；t h es e c o n d s o l u t i o ni st od e v e l o ph 2 6 4c o d e cb a s e do nd s p ，i ti sas o l u t i o nw i t ha d e q u a t e p e r f o r m a n c ea n dg o o dc o m p a t i b i l i t y t h i sp a p e rd e v e l o ph 2 6 4d e c o d e rb a s e do n a d im u l t i m e d i ap r o c e s s o ra d s p - b f 5 6 1 t h i sp a p e re l a b o r a t e st h en e w t e c h n i q u e so fh 2 6 4 | 冰c ，p r e s e n t st h ef e a t u r e so f a d s p b f 5 6 1a n dt h ev i s u a l d s p + + d e v e l o p m e n te n v i r o n m e n t ，a n dd e s i g n st h e e m b e d e dv i d e os y s t e mb a s e do na d s p - b f 5 6 1 a n dt h i sp a p e ra n a l y z e st h ed e c o d e r s s o u r c ec o d eo ft h er e f e r e n c em o d e lj m l 3 2 ，a n do p t i m i z e st h ed e c o d e rb a s e do np c ， i n c l u d i n go p t i m i z i n gt h ec o d es t r u c t u r eo ft h ed e c o d e r , o p t i m i z i n gt h ed a t as t r u c t u r e o ft h ed e c o d e r ，o p t i m i z i n gt h em e m o r yu s a g eo ft h ed e c o d e r , a n do p t i m i z i n gt h e a r i t h m e t i co ft h ek e ym o d e l s f i n a l l y ，t h i sp a p e rp o r t st h eo p t i m i z e dd e c o d e ro n a d s p b f 5 6 1 ，c o m b i n i n gt h ef e a t u r e so fa d s p b f 5 6 1a n do p t i m i z i n gt e c h n i q u eo f a s s e m b l yl a n g u a g e ，f i n i s h st h eh 2 6 4d e c o d e rb a s e do na d s p b f 5 6 1 t h et e s tr e s u l t ss h o w st h a tt h ed e c o n d i gs p e e do ft h eh 2 6 4d e c o d e rb a s e do n a d s p - b f 5 6 1w i l lb ea b o v e3 0f r a m e sp e rs e c o n di ft h et e s ts e q u e n c e sa r ec i ff o r m a t s e q u e n c e s t h eh 2 6 4d e c o d e rb a s e do na d s p b f 5 6 1h a sa c h i e v e dt h eg o a lo f r e a l t i m ed e c o d i n gt h ec i ff o r m a ts e q u e n c e s k e y w o r d s ：h 2 6 4d e c o d e r ，a d s p - b f 5 6 1 ，d e c o d e ro p t i m i z a t i o n i i 缩略表 a d i ( a n a l o gd e v i c e s ，i n c ) ：模拟器件公司 蛆u ( a r i t h m e t i cl o g i cu n i t ) ：算术逻辑单元 a s i c ( a p p l i c a t i o ns p e c i f i ci n t e g r a t e dc i r c u i t s ) ：专用集成电路 c a v l c ( c o n t e x t - b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ) ：基于上下文的自适应变 长编码 c a b a c ( c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) ：基于上下文的自适应 二进制算术编码 c c d ( c h a r g ec o u p l e dd e v i c e ) ：电荷耦合器件 c m o s ( c o m p l e m e n t a r ym e t a l - o x i d es e m i c o n d u c t o r ) ：互补金属氧化物半导体 d a g ( d a t aa d d r e s sg e n e r a t o r ) ：数据地址产生器 d c t ( d i s c r e t ec o s i n et r a n s f o r m ) ：离散余弦变换 d m a ( d i r e c tm e m o r ya c c e s s ) ：直接内存存取 d v b ( d i g i t a lv i d e ob r o a d c a s t ) ：数字视频广播 d v r ( d i g i t a lv i d e or e c o r d e r ) ：数字视频录像机或数字硬盘录像机 d s p ( d i g i t a ls i g n a lp r o c e s s o r ) ：数字信号处理器 e b i u ( e x t e r n a lb u si n t e r f a c eu n i t ) ：外部总线接口单元 j v r ( j o i n tv i d e ot e a m ) ：联合视频小组 l d f ( l i n k e rd e f i n ef i l e ) ：链接定义文件 m c u ( m i c r o p r o c e s s o rc o n t r o lu n i t ) ：微处理机控制单元 m m r ( m e m o r ym a p p e dr e g i s t e r s ) ：存储映射寄存器 m s a ( m i c r os i g n a la r c h i t e c t u r e ) ：微信号处理器架构 n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) ：网络抽象层 s i m d ( s i n g l e i n s t r u c t i o nm u l t i p l e d a t a ) ：单指令流多数据流 p p i ( p a r a l l e lp e r i p h e r a li n t e r f a c e ) ：并行外设接口 r b s p ( r a wb y t es e q u e n c ep a y l o a d ) ：原始字节序列载荷 v c l ( v i d e oc o d i n gl a y e r ) ：视频编码层 v 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名： 期： 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅。本人授权武汉理工大学可以将本学位论文的全部内容编入有关数据库 进行检索，可以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时 授权经武汉理工大学认可的国家有关机构或论文数据库使用或收录本学位论 文，并向社会公众提供信息服务。 ( 保密的论文在解密后应遵守此规定) 一醉翩躲磐嗍c 沙f b 7 武汉理工大学硕士学位论文 1 1 选题意义 第1 章绪论 随着现代通信技术、信号处理技术和计算机互联网的飞速发展，多媒体信 息己成为人类获取信息的最主要载体，多媒体应用技术也成为学术领域和业界 关注的热点。诸如视频会议、数字存储媒体、电视广播、网络流媒体、远程医 疗、远程监控等应用，对更高质量的多媒体信息服务提出了越来越迫切的需求。 众所周知，人类获取的信息中7 0 来自于视觉【1 1 。为了满足人类日益增长的 高质量多媒体信息需求，需要解决的关键问题是视频信息激增带来的传输和存 储的问题。通常解决这个问题有两种途径：一是提供更大的网络带宽和存储介 质的容量、一是提高视频信息的压缩效率。第一种方案需要大量的设备投入， 成本太高。第二种方案则需要开发具有更高压缩效率的视频编码技术，然后更 换编码端和解码端设备以支持新的视频编码技术，或者升级现有终端设备的软 件以支持新的视频编码技术。高质量的多媒体通信终端设备，无疑是满足人类 高质量视频需求的很好选择。 实现实时的多媒体通信终端设备必须解决以下问题：一是需要有支持实时 多媒体处理的硬件平台；二是需要有先进的视频压缩标准。 多媒体通信终端的实现可以分为两类：一类是基于p c 机的多媒体通信终端； 一类是嵌入式多媒体通信终端设备。基于p c 机的多媒体通信终端由于应用场景 非常有限，从而只得到了有限的应用，例如在矿井、野外架设p c 终端就不现实， 相对而言嵌入式多媒体通信终端设备得到了更为广泛的应用。嵌入式多媒体通 信终端设备可以采用专用a s i c 芯片实现，也可以采用数字信号处理器d s p 实 现。采用专用a s i c 芯片实现嵌入式多媒体通信终端设备，需要一次性将程序固 化在芯片上，这使得系统灵活性较差，不利于系统的升级与维护，而且一旦发 生错误或者使用新的协议或标准就必须重写程序，并且采用专用a s i c 芯片开发 多媒体通信芯片成本高、周期长，这必然影响产品的上市时间。采用高速d s p 实现嵌入式多媒体通信终端设备，则具有良好的适应性和扩展性，便于代码的 移植和系统的升级。同时，d s p 技术的高速发展，也为采用高速d s p 实现嵌入 式多媒体通信终端设备提供了现实的可行性。 武汉理工大学硕士学位论文 实现多媒体通信终端设备的另一关键技术是数字视频压缩技术。多年来， i t u t 的视频编码专家组v c e g 和i s o i e c 的运动图像专家组m p e g 都致力于 研究先进的视频压缩算法和制定相关的标准。2 0 0 3 年3 月，v c e g 和m p e g 联 合成立的联合视频组j v t 发布了最新的视频编码标准的最终草案h 2 6 4 1 j 【2 j ， h 2 6 4 的目的在于为不同的视频应用提供可变的码率大小并保证视频质量，同时 在视频质量不变的情况下，可以提供比m p e g 一4 低大约5 0 的压缩码流，并在 编码效率、差错控制、容错、网络传输方面进行改进和提高。h 2 6 4 的推出，为 实现高压缩率、高质量的视频应用提供了新的方向。 可见，基于高速d s p 实现h 2 6 4 编解码算法，进而实现基于高速d s p 的多 媒体通信终端设备，对于推广h 2 6 4 新技术、促进视频压缩技术的发展、满足人 类高质量的多媒体信息需求都有着重要的现实意义。本文的主要工作是研究基 于a d i 公司的媒体处理器a d s p b f 5 6 1 实现h 2 6 4 解码器相关的问题。 1 2 视频编码标准概述 视频编解码技术是多媒体通信中的关键技术。视频编码就是要以尽量少的 比特数表征视频内容，同时保证复原视频的质量，使之满足不同视频应用的质 量要求和计算复杂度的要求。视频数据因其数据量非常庞大，难以传输和存储， 极大地制约了视频通信的发展，所以必须进行视频数据的压缩编码。 视频数据的压缩是通过移除视频数据的冗余来实现的，通常通过无损压缩 来删除视频数据统计上的冗余，比如相邻像素、相邻行、相邻帧问的冗余，通 常通过有损压缩来删除视频数据主观上的冗余，主观冗余主要是由人眼的视觉 特性造成的，入眼对高频率的信号成分视感度低，故在一定程度上压缩高频成 分对视频效果并无太大影响，人眼对色度信号的视感度低于亮度信号，故可对 色度信号频带在行及帧方向进行压缩。 视频压缩标准主要由两大国际组织制定【2 】：一个是国际电信联盟电信标准化 部门( 丌u t ) 、一个是国际标准化组织( i s o ) 和国际电工技术委员会( 正c ) 。 i t u t 发布的视频编码标准包括h 2 6 1 、h 2 6 3 、h 2 6 3 + 和h 2 6 3 + + ，h 系列视频 编码标准针对低码率视频要求，主要应用于视频电话、视频会议、视频广播等 应用领域。i s o i e c 发布的标准包括m p e g 1 、m p e g 2 和m p e g 4 ，m p e g 系 列视频编码标准主要针对视频压缩码率不是太低的应用领域，如v c d 、d v d 、 h d t v 以及视频娱乐等等。i t u t 的视频编码专家组( v c e g ) 和i s o i e c 的运 2 武汉理工大学硕士学位论文 动图像专家组( m p e g ) 于2 0 0 1 年成立了联合视频小组j v t ，致力于开发一个 具有较高压缩效率、有更好的网络健壮性的新一代视频压缩标准。2 0 0 3 年3 月， j v t 公布了新一代标准的最终草案，称作h 2 6 4 a v c 或m p e g - 4v i s u a lp a r t1 0 。 h 2 6 劬w c 满足了视频会议、数字存储媒体、电视广播、网络流媒体和通信等 应用对高压缩比运动图像压缩日益迫切的需求，同时也为不同的网络环境中的 应用设计了一种灵活的表示方式。 1 2 1i t u t 视频编码标准 r r u t 制定视频编码标准包括：h 2 6 1 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 和h 2 6 4 。 n u t 于1 9 9 0 年公布了h 2 6 1 标准【2 】1 3 l 。h 2 6 1 是最早出现的视频编码标准， 是丌u - t 为i s d n 开展可视电话、视频会议而制定的，输出码率为6 4 k b i t s 的整 数倍( 码率范围在6 4 k b p s 到1 9 2 m b p s 之间) 。h 2 6 1 只支持c i f ( 3 5 2 x 2 8 8 ) 和q c i f ( 1 7 6 x 1 4 4 ) 两种视频图像格式，采用简单的逐行扫描模式，帧率为 2 9 9 7 h z 。在h 2 6 1 协议中，只允许使用i 帧( i n t r af r a m e ) 和p 帧( p r e d i c tf r a m e ) 两种帧模式，运动估计采用整像素运动矢量，每帧图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、块( b l o c k ) 层来处理。 r r u t 于1 9 9 5 年7 月公布了h 2 6 3 标准【2 】【4 1 。h 2 6 3 是为了支持低码率的通 信而制定的，但实际上h 2 6 3 可用在很宽的码率范围，在许多应用中被认为可以 用于取代h 2 6 1 。h 2 6 3 仍然以运动估计( m c ) 和变换编码( d c t ) 作为编码 的技术核心，同时吸收了m p e g 等其他一些国际标准中有效合理的部分做出改 进，比如运动补偿使用半象素精度、采用无限制的运动向量、先进的预测模式、 p b 帧模式、基于语法的算术编码等，从而用于实现了低于6 4 k b p s 的视频压缩 编码。 i t u t 于1 9 9 8 年公布了h 2 6 3 的第二版h 2 6 3 + 。h 2 6 3 + 基于h 2 6 3 ，提出 了一些新的可选特性以扩展h 2 6 3 的应用领域并增强其压缩编码效率。这些特性 包括灵活视频格式、分级编码、补充增强信息、增强p b 帧编码及高级帧内编码 方法等。其中分级编码包括空域分级、时域分级、s n r 分级模式，这几种模式 的选择，增强了压缩信号的抗干扰能力，使得h 2 6 3 码流适合于网络的传输。 l t u t 于2 0 0 0 年公布了h 2 6 3 的第三版h 2 6 3 + + 。h 2 6 3 + + 在h 2 6 3 + 的基 础上又增加了很多优化的选项。这些优化选项被整合后，作为必需选项，构成 了h 2 6 4 的前身：h 2 6 l 。其中，“l ”是长期( l o n g t e r m ) 的意思。 3 武汉理工大学硕士学位论文 1 2 2i s o i e c 视频编码标准 i s o i e c 制定的视频编码标准主要包括：m p e g 1 、m p e g 2 、m p e g 4 。 i s o i e c 于1 9 9 2 年发布m p e g 1 标准1 2 】【5 1 ，标准编号i s o i e c1 1 1 7 2 。m p e g 1 是用于传输速率达1 5 m b p s 的数字存储媒体运动图像及其伴音编码的国际标准， 包括m p e g 1 视频、音频和系统( 同步和复用) 三个部分。m p e g 1 主要是为了 视频存储媒体( 如v c d ) 而制定的，提供了视频序列的随机读取，快进和快退， 视频序列的反向播放和压缩码流的可编辑性等特点。m p e g 1 标准只规定了码流 语法和解码过程，用户可以很好地利用这个语法的灵活性来设计质量非常高的 编码器和成本非常低的解码器。 i s o i e c 于1 9 9 4 年发布m p e g 2 标准1 2 1 1 6 】，标准编号i s o m c1 3 8 1 8 。m p e g 2 标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的 详细规定，m p e g 2 在系统和传送方面作了更加详细的规定和进一步的完善，特 别适用于广播级的数字电视的编码和传送，被认定为标清电视( s d t v ) 和高清 晰度电视( h d t v ) 的编码标准。m p e g 2 的目标码率在2m b p s 到1 5 m b p s ，这 种较宽的码率范围使得m p e g 具有广泛的应用领域。可以应用于数字视盘 ( d v d ) 、h d t v 和数字视频广播( d v b ) 等视频领域。m p e g 2 为了同n t s c p a l 制视频信号更好的兼容，提出了帧( f r a m e ) 、场( f i e l d ) 两种不同的编码模式。 m p e g 2 也提出了s n r 、时间、空间三种不同形式的分级编码方式。 i s o i e c 于1 9 9 9 年发布m p e g 4 标准1 2 】【7 j ，标准编号i s o i e c1 4 4 9 6 。m p e g 一4 的目标是为视听数据的编码和交互播放开发算法和工具，是第一个采用基于内 容的压缩编码的视频标准。m p e g 4 是一个低速率的多媒体通信标准，能够支持 低于6 4 k b i t s 的视频应用，也能够支持广播级的视频应用。m p e g 4 引入了基于 对象、内容的概念和图像模型的概念，理论上具有更高的压缩效率。m p e g 4 更 注重于定义一种框架，而不是具体的算法，其出发点就是希望建立起一个有良 好扩展性的通信与研发环境，可以在系统中加入许多新的特性，便于将各种各 样的多媒体技术充分应用于系统中。 1 2 3 新一代视频编码标准h 2 6 4 j v t 于2 0 0 3 年3 月公布了新一代视频编码标准的最终草案【8 】【9 】【1 0 1 ，称作 h 2 6 4 a v c 或m p e g 4v i s u a lp a r t1 0 ，新标准分别在l t u t 和i s o i e c 两个组 4 武汉理工大学硕十学位论文 织中以技术对等的同文标准发布。 h 2 6 4 是在先前的视频编码标准基础上发展起来的1 9 】【1 0 l ，h 2 6 4 仍基于经典 混合编码算法的基本结构，但是h 2 6 4 在运动估计、变换编码、熵编码等方面采 用了一系列新技术，使其编码效率超越了先前的编码标准。 h 2 6 4 的码流结构同先前的视频标准不同，分为视频编码层( v c l ：v i d e o c o d i n gl a y e r ) 和网络适配层( n a l ：n e t w o r ka b s t r a c t i o nl a y e r ) ，规定v c l 层是为了有效的表示视频数据的内容，规定n a l 则是为了格式化数据，并以适 用于存储介质或在多种通信信道上传输的格式提供头信息。n a l 单元规定一种 既适用于面向分组系统又适用于比特流系统的通用格式。 h 2 6 4 在进行帧间预测时可以灵活选择块的大小。在宏块划分上，h 2 6 4 可 在1 6 x 1 6 、1 6 x 8 、8 x 1 6 、8 x 8 四种模式中选择最优的模式。当选中的最优划分模 式为8 x 8 时，又可进一步采用8 x 4 、4 x 8 、4 x 4 三种子宏块划分模式，这样可以 使运动物体的划分更加精确，减小预测误差，提高编码效率。帧内预测一般采 取两种亮度预测模式：i n t r a 4 x 4 和i n t r a l 6 x 1 6 。 h 2 6 4 采用多参考帧运动估计，允许在参考缓冲区的多个图像中选取一个( p 预测方式) 或两个( b 预测方式) 图像作为参考图像，参考图像甚至可以是采用双向 预测编码方式的图像。 h 2 6 4 采用1 4 像素精度对亮度信号进行运动补偿预测，进一步减小了帧间 预测误差。如果运动矢量指向参考图像的整像素位置，预测值就是该位置上参 考图像像素的值；否则使用6 阶f i r 滤波器的线性内插获得1 2 像素位置的预测 值，通过取整数和1 2 像素位置像素值均值的方式获得1 4 像素位置的值。 h 2 6 4 采用的去块效应滤波器位于运动估计循环内部，可以利用去块效应滤 波以后的图像去预测其它图像的运动，进一步提高了预测精度。 h 2 6 4 采用一系列新技术，获得了比先前编码标准更优秀的性能，h 2 6 4 能 提供比m p e g 4 和h 2 6 3 更高的压缩效率，使视频数据量减少近5 0 ，因而h 2 6 4 可以在相同的压缩率下能提供更好的视频质量，或者能以更低的码率提供相同 的视频质量；h 2 6 4 具有较强的抗误码特性，便于在噪声干扰大、丢包率高的无 线信道中传输；h 2 6 4 对不同应用的时延要求具有灵活的适应性；h 2 6 4 编码和 解码复杂度具有可扩展性。 h 2 6 4 优良的特性决定了它能广泛应用于不用的领域1 0 】，包括但不限于下 列各项： 5 武汉理工大学硕士学位论文 ( 1 ) 在光网络、铜缆等介质上传输的有线电视( c a t v ) ； ( 2 ) 直接广播的卫星视频业务( d b s ) ； ( 3 ) 数字用户线上的视频业务( d s l ) ； ( 4 ) 数字地面电视广播( d t r b ) ； ( 5 ) 交互式存储媒体( i s m ，如光盘等) ； ( 6 ) 多媒体邮件( m m m ) ； ( 7 ) 分组交换网上的多媒体业务( m s p n ) ； ( 8 ) 实时会话业务( r t c ，如视频会议、可视电话等) ； ( 9 ) 远程视频监控( r v s ) ； ( 1 0 ) 串行存储媒体( s s m ，如数字v 限等) 。 1 3 研究现状 h 2 6 4 具有以往标准无法比拟的优越性，但这是以计算的高复杂度为代价 的，正是这种高复杂度的计算成为了h 2 6 4 实时应用的瓶颈。因此降低h 2 6 4 编解码器的复杂度，具有重要的现实意义和实用价值。为了满足h 2 6 4 实时应用 的需求，主要的研究方向有两个：采用硬件实现h 2 6 4 编解码、采用高速可编程 d s p 实现h 2 6 4 编解码。 采用硬件实现h 2 6 4 编解码的研究，大都是在研究h 2 6 4 中复杂度较高的模 块的算法及其硬件实现。例如对于运动估计模块，文献【1 1 】在全搜索算法的基础 上提出了一种混合二步搜索算法，设计了硬件结构，并给出了其f p g a 实现； 对于变换与量化模块，文献【1 2 】采用流水线来提高变化与量化模块的数据吞吐 量，并设计了其硬件原型；对于去块效应滤波模块，文献【1 3 】给出了其硬件实现 结构。 采用高速可编程d s p 实现h 2 6 4 编解码的研究，大都是基于高速d s p ，对 开源代码进行优化、移植。因为花费大量的人力物力去自主研发一套全新的代 码，很难取得比成熟的开源代码更好的效果，而且对于产品而言，研发速度也 是必须考虑的关键因素。当前主流的高速可编程d s p 有t i 公司的基于达芬奇技 术( d a v i n c i t m ) 的d s p 和a d i 公司的b l a c k f i n 系列d s p 。当前用于研究的h 2 6 4 开源代码主要是i t u t 官方推荐的h 2 6 4 参考模型j m 。采用高速可编程d s p 实现h 2 6 4 编解码的研究，大都以j m 源码为参考，以d a v i n c i t m 系列d s p 或 b l a c k f i n 系列d s p 为目标平台，对j m 源码进行优化、移植，达到在d s p 平台 6 武汉理工大学硕士学位论文 实现h 2 6 4 实时编解码的目的。例如文献 1 4 】以j m 8 6 编码器为参考，以 d a v i n c i t m 处理器为目标平台，实现了h 2 6 4 编码器；文献 1 5 1 以j m 8 6 解码器 为参考，以a d s p b f 5 3 3 为目标平台，实现了h 2 6 4 编码器。 以b l a c k f m 系列d s p 为目标平台，实现h 2 6 4 编解码器的研究，大都选用 b l a c k f i n 的单核处理器a d s p b f 5 3 3 为目标平台，实现h 2 6 4 编解码器，例如文 献1 5 1 。而对于b l a c k f i n 的双核处理器a d s p b f 5 6 1 ，目前尚无以a d s p b f 5 6 1 为目标平台，实现h 2 6 4 解码器的学术研究成果，本文将以a d s p b f 5 6 1 为目 标平台，实现h 2 6 4 解码器。 1 4 本文的研究内容 本文以h 2 6 4 标准的软件参考模型j m l 3 2 的解码器源代码为基础，以a d i 公司的媒体处理器a d s p b f 5 6 1 为硬件平台，研究了j m l 3 2 版本的h 2 6 4 基准 简表( b a s e l i n ep r o f i l e ) 解码器在a d s p b f 5 6 1 上的实现过程。 本文的主要内容安排如下： 第一章为绪论，阐述了选题意义及视频编码标准的发展与现状。 第二章阐述了h 2 6 4 视频编码标准的编码流程及其不同于先前编码标准的 技术。 第三章介绍了a d s p b f 5 6 1 芯片的特点并构建了基于a d s p b f 5 6 1 的音视 频应用系统。 第四章在分析j m l 3 2 版本的h 2 6 4 解码器的解码流程的基础上，基于p c 机对j m l 3 2 版本的h 2 6 4 解码器进行了优化，并进行了相应的测试。 第五章将j m l 3 2 版本的h 2 6 4 解码器移植到a d s p b f 5 6 1 平台，并结合 a d s p b f 5 6 1 的特点，使用汇编级的优化技术，实现了基于a d s p b f 5 6 1 的h 2 6 4 解码器，并进行了相应的测试。 第六章对全文进行了总结，对未来的应用做了展望。 7 武汉理工大学硕士学位论文 第2 章h 2 6 4 视频编码标准 2 1h 2 6 4 的简表和级别 h 2 6 4 是为通用的应用场景设计的【9 】【1 们，适用于不同的应用、比特率、分辨 率、质量和业务。应用领域包括数字存储媒体、电视广播和实时通信等。h 2 6 4 的制定过程中考虑了来自不同典型应用的各种需求，开发了必要的算法，将他 们整合在统一的语法规则之下。因此，h 2 6 4 有利于视频数据在不同应用之间的 交换。 h 2 6 4 通过定义“简表( p r o f i l e ) 和“级别( l e v e l ) 的方法规定了很少 的几个语法子集【9 】【l o l 。h 2 6 4 定义的简表是指完整码流语法的一个子集。在给定 简表的语法限定之下，编解码器性能仍然可能差别很大，这取决于比特流中语 法元素的取值，如解码图像大小等。在实际应用中，解码器处理一个简表下的 所有可能情况的做法既不实用也不经济。为了解决这一问题，每个简表下还定 义了若干级别。级别是在某一简表下对语法元素和语法元素参数值的限定集合。 简表与级别规定了对比特流的限制，因此也限制了解码比特流所需的能力。 h 2 6 4 主要定义了如下几个简表：基准简表( b a s e l i n ep r o f i l e ) 、主要简表 ( m a i np r o f i l e ) 、扩展简表( e x t e n d e dp r o f i l e ) 。这些简表分别代表了针对不同 应用的算法集及技术限定，h 2 6 4 规定了每个简表的特性。 基准简表主要包含了低复杂度、低延时的技术特征，主要应用于可视电话、 视频会议和无线通信等。基准简表的内容基本都被其它更高级别的简表所包含。 主要简表是针对更高编码效率的应用，可以应用于广播电视和视频存储。扩展 简表主要针对流媒体的应用，容错技术、对比特流的灵活访问及切换技术都包 括其中。尽管各个简表有所差别，但实际上每个简表都非常灵活，可以支持很 广泛的应用。 h 2 6 4 的级别选择一般与运算能力和内存容量相关，不同的级别支持不同分 辨率的视频图像和不同的码率，详细的描述请参考文献【9 】。 2 2h 2 6 4 解码器的分层结构 h 2 6 4 将编码器分成视频编码层( v c l ，v i d e oc o d i n gl a y e r ) 和网络抽象层 8 武汉理工大学硕士学位论文 ( n a l ，n e t w o r ka b s t r a c t i o nl a y e r ) 1 1 0 1 ，以满足不用的应用和网络环境，如图 2 1 所示。其中视频编码层用来有效的表示视频数据的内容，网络抽象层用来格 式化数据，并以适用于存储介质或在多种通信信道上传输的格式提供头信息。 网络抽象层规定了一种既适用于面向分组系统又适用于比特流系统的通用格 式。 视频编码层 寒 籁 编码宏块 器 r 辑 数据分割层 工编码条带数据分割、r i 网络抽象层 i 卜3 2 0l m 附f f h 3 2 3 i p | m p e g 一2 | e t c 1 2 3h 2 6 4 编解码流程 图2 - 1 ：h 2 6 4 编码器的结构 与先前的视频编码标准一样，h 2 6 4 并不明确的定义视频编解码器【r 7 1 ，而只 是定义了编码视频流的语法及其解码视频流的方法，至于如何对视频流进行编 码，h 2 6 4 并没有规定，而是将其留给视频编码器厂商完成，但是，编解码器通 常包含如图2 2 与图2 3 所示的功能元素以保证兼容性。h 2 6 4 的基本功能元素 ( 预测、变换、量化、熵编码) 与先前的标准差别不大，但是在实现细节方面 做出了重大的改进。 ( 1 ) 编码端 编码器工作原理如图2 2 所示。编码器接收到视频帧f n 后，将以宏块为单 位处理视频帧f n 。首先，编码器采用帧间预测或者帧内预测对宏块进行编码， 得到预测宏块p ，其中帧内预测模式以当前帧中已经被编码、解码并重构的样本 为基础，帧间预测以参考帧为基础。然后用当前宏块减去预测宏块p 生成残差 块d n 。残差块d n 经过基于块的变换、量化后生成量化后的变化系统x 。将量 化后的变换系数x 和其他一些有用信息( 比如宏块预测模式、量化步长、运动 9 武汉理工大学硕士学位论文 向量信息等) 进行重排序和熵编码即可得到压缩后的视频比特流，进而通过n a l 进行传输和存储。 同时量化后的变换系数x 将被解码用于生成重构帧。x 经过逆量化、逆变 换而生成d n ，再将d n ，与p 相加得到重构宏块u f n ，u f n 经过去块滤波后得 到重构帧砌。 图2 2 ：h 2 6 4 编码框图 ( 2 ) 解码端 解码器工作原理如图2 3 所示。解码器从n a l 单元得到压缩的比特流，经 过墒解码和重排序生成量化后的变换系数x ，x 经过逆量化、逆变换而生成d n 。 解码器利用从比特流中解码得到的头信息生成预测宏块p ，再将d n 与p 相加得 到重构宏块u f nt ，u f n 经过去块滤波后得到重构帧砌。 2 4h 2 6 4 的帧内预测 图2 3 ：h 2 6 4 解码框图 如果对宏块编码采用帧内模式【1 8 l ，则基于已编码和重建( 未滤波) 的宏块 构造预测块p 。对于亮度样点阵列来说，p 可能是4 4 的子块也可能是1 6 x1 6 的宏块。对4 4 的亮度块，有9 种可选择的预测模式；对于1 6 1 6 的亮度块， 1 0 武汉理1 二大学硕士学位论文 有4 种可选的预测模式；而对于4 x4 的色度块通常只用一种预测模式。 ( 1 ) 4 x 4 亮度块预测模式 如图2 4 所示，4 x4 亮度块的上方和左方像素a m 为已编码并重构的像素， 用作编解码中的预测参考像素。a 呻为待预测像素，利用参考象素从m 和图2 - 5 所示的9 种预测模式，实现对象素a 叩的预测。图2 - 5 中的箭头表示相应预测模 式的预测方向。 mabcdefgh iabcd j e f g h klkll lmno p 0 ( 垂直) 图2 - 4 ：4 x 4 预测样点及参考样点 舅ab cd l e if i g i h l i l ： r j 7 l 鼍一 删i 一 l if，i 一一 6 ( 水平向下) 繁篓严幽 长斟 2 ( 直流) 幽ab cd i e i f l g i h l i ， j m c 蛐n t v _ 一 k l ：d l i j 5 ( 垂直向右) 幽abcd i e f f i gh 乡7 r j 一一，；j p p 式 图2 - 5 ：4 x 4 亮度样点的帧内预测模式 模式o ：由上方的样点a 、b 、c 、d 按垂直方向进行预测。 模式1 ：由左方样点i 、j 、k 、l 按水平方向进行预测。 模式2 ：由a 、b 、c 、d 、i 、j 、k 、l 的均值进行预测。 模式3 ：由右上方到左下方沿4 5 度方向进行预测。 模式4 ：由左上方到右下方沿4 5 度方向进行预测。 模式5 ：由左上方到右下方沿与垂