（信号与信息处理专业论文）基于blackfin的h264子像素编码的实现与优化.pdf

南京l | | | f u 人学硕j 研究生学位论文 摘要 摘要 h 2 6 4 是i t u t 的v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 和i s o 1 e c 的m p e g ( m o t i o n p i c t u r ee x p e r t sg r o u p ) 联合成立的联合视频组j v t ( j o i n tv i d e ot e a m ) 共同制定的视频 编码新标准，同时是m p e g 一4 的第十部分。与以往的视频压缩标准相比，h 2 6 4 在相同 的图像质量下提供了更高的压缩比，同时，它对于网络传输也有更好的支持。 i i 2 6 4 仍然采用经典的基于块的混合编码方式。为了消除空间的数据冗余性， 2 6 4 提供了帧内预测方法；而在消除时间的数据冗余性上，h 2 6 4 使用的是高达1 4 像素精度的运动估计方法；然后对残差信号进行变换和编码。 本文在实现和优化i 2 6 4 编码系统的基础上重点研究了其子像素编码。通过程 序流程的调整，数据结构以及代码层的优化，提高了整个系统的运行效率。同时， 在结合经典的运动估计算法的基础上，针对系统的资源利用和管理以及数据流程方 面提出了t t 2 6 4 子像素编码的快速方法。 最后，我们在a d 公司的b 1 a c k f i i 3d s p 平台上实现了这一方案。我们利用d s p 在数据传输，指令读取，代码优化方面的特点，进一步的改进和提高了系统的性能。 关键词2 6 4h 2 6 3 予像素内插运动估计系统优化多处理器同步 a c k “nd s i 南京邮l b 人学硕士研究生学位论义 摘萤 a b s t r a c t h 2 6 4i san e wv i d e oc o d i n gs t a n d a r dc o d e v e l o p e d j o i n t l yb yt h ei t u tv i d e o c o d i n ge x p e r t sg r o u p ( v c e g ) a n dt h ei s o i e cm o v i n gp i c t u r ee x p e r t sg r o u p ( m p e g ) ， i t sa l s ob ek n o w na sp a r t 一10o fm p e g 一4s t a n d a r d c o m p a r e dw i t ht h ef o r m e r i n t e r n a t i o n a lv i d e oc o m p r e s ss t a n d a r d s t h ec o m p r e s s i o np e r f o r m a n c eo fh 2 6 4i su l o r e e x c e l l e n t a n da l s o ，i tp r o v i d e sa ne f f e c i e n ts u p p o r tf o rt r a n s f e r i n go v e rn e t w o r k h 2 6 4s t i l la d o p t sac l a s s i ch y b r i dc o d e cm e t h o d ，w h i c hi sb a s e do nb l o c k s i tm a k e s n s co f p r e d i c t i o nw i t h i naf r a m et oe l i m i n i s ht h ed a t ar e d u n d a n c eo f t h es p a c e m e a n w h i l e t h ew a yt oe l i m i n i s ht h ed a t ar e d u d a n c eo f t h et i m ei sa c h i e v e db yu s i n gm o t i o ne s t i m a t i o n ， w h i c hi sa c c u r a t et oo n eq u a r t e rp i x e l a n dt h e nt r a n s f o r ma n de n c o d et h ed i f l b r e n c e b a s e do nt h e r e a l i s a t i o na n do p t m i z a t i o no f t h eh ，2 6 4c o d i n gs y s t e m t h i st h e s i s f o c u s e so nt h er e s e a r c ho l c o d i n go ni t ss u bp i x e l s a n dt h ee f f i c i e n c yo f t h ew h o l es y s t e m h a sb e e ni m p r o v e db ya d a p t i n gt h ep r o g r m nf l o wa n do p t i m i s i n gt h ed a t as t r u c t u r ea n d c o d e m o r e o v e r ，c o m b i n i n gw i t ht h ec l a s s i c a la r i t h m e t i co f m o t i o ne s t i m a t i o n ，t h et h e s i s b r i n g saq u i c km e t h o do nt h es u bp i x e l so fh 2 6 4t oi m p r o v et h es o u r c eu s a g ea n d m a n a g e m e n to f t h es y s t e m l a s t l y ，t h ep r o j e c th a sb e e nr e a l i z e do nt h eb l a c k f i nd s po f a d ic o m p a n y w i t ht h e d s p l sf e a t u r e si nd a t at r a n s f e r i n g ，i n s t r u c t i o n sr e a d i n ga n dc o d eo p t i m i s i n g ，t r a n s m i t i n go f d s p ，f o l l o w i n gt h ei n s t r u c t i o n i p t i m i z i n gt h ec o d e ，t h ep e r f o r m a n c eo ft h es y s t e mh a sb e e n i m p r o v e d k e yw o r d ：h 2 6 4 h 2 6 3s u b p e li n t e r p o l a t i o nm o t i o ne s t i m a t i o n s y n c h r o n i z a t i o no fm u l t i p r o c e s s o rs y s t e mo p t i m i z a t i o n b l a c k f i n d s p 南京邮电大学 硕士学位论文摘要 学科、专业：工学信号与信息处理 研究方向： 图像处理与多媒体通信 作 者：j 塑堕级研究生 向一君指导教师塞菱星 题目：基于b l a e k f i n 的h 2 6 4 子像素编码的实现与优化 英文题目：t h ei m p l e m e n t a i o na n do p t i m i z a t i o no fs u b p e lc o d i n g i nh 2 6 4b a s e do nb l a c k i l nd s p 主题词：h 2 6 4h 2 6 3子像素内插运动估计 系统优化多处理器同步 b l a c k f i n d s p k e y w o r d s ： h 2 6 4 h 2 6 3s u b p e li n t e r p o l a t i o n m o t i o ne s t i m a t i o n s y s t e mo p t i m i z a t i o n s y n c h r o n i z a t i o no fm u l t i p r o e e s s o r b l a e k f i n d s p 南京邮电大学学位论文独创性声明 y 8 5 1 0 1 2 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名饲一声日期：盟 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：f 鱼二墨导师签名 塑隰趟 南京邮i 乜人学坝上研究生学位论文 第一章绪论 第一章绪论 图像、视频是对客观事物形象，直接的描述，是直观而具体的信息表达形式， 是人类最重要的信息载体。随着信息技术和计算机互联网技术的发展，多媒体技术 逐渐成为电子信息领域技术研究和开发的热点，引起了广泛的关注。由于受传输信 道带宽和存储容量的限制，多媒体技术的各项应用都离不开高效的视频压缩算法。 为了使视频压缩标准规范化，i t u 和i s o 两大组织从2 0 世纪8 0 年代末开始了图像 压缩的标准化工作，先后制定了i 2 6 x 和m p e ( ；一x 标准。而本文所研究的2 5 4 标 准，则是这两者最近合作推出的最新视频编码标准。 1 1 视频编码方法介绍 图像压缩编码主要分成三个部分：映射变换、量化器和熵编码。 1 1 1 映射变换 映射变换的目的是要通过变换改变图像数据特性，使其更有利于进行压缩，即 可去除图像空间域、频率域和时间域的冗余度。常用的映射变换的方法有： 1 ) 预测编码：又称d p c m ( d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) ，它可分为帧 内预测和帧间预测两种。帧涮预测，特别是已广泛采用运动补偿技术的帧| 日j 预测， 对于序列图像编码效果非常有效，且简单易于实现。 2 ) 变换编码：对变换域中的变换系数进行量化编码。如f o u r i e r 变换、离散余 弦变换( d c t ) 、k l 变换、子带编码以及近几年发展起来的小波变换均属于变换 编码。d c t 由于其性能接近k a r h u n e n l e o v e 变换( k l t ) 且具有快速算法而得到广 泛使用，在几个国际标准都得到采纳。 3 ) 模型编码：先对原始图像建立模型，然后求出模型参数并对模型参数进行 量化编码。利用模型编码可阻大大提高压缩比，是图像编码中颇具发展前景的方法。 4 ) 分形编码：利用图像中存在的分析特征，即图像中存在的自相似性来进行 图像表征。 南京邮【u 大学硕上研究生学位论文 第一章绪论 1 1 2 量化 映射变换实现了对图像信号的恰当表征，但是要完成压缩，即用有限数目的比 特数来表示变换后的数据，还需要进行量化，而量化必然引入误差。人眼的视觉特 性允许重建的图像有一定的失真，但仍能保持所需的图像质量。量化正是根据这一 特性实现对变换后数据的有限比特表示，即去除了图像的视觉冗余度。常见的量化 方式有： 1 ) 标量量化：标量量化是对映射变换后的数据逐个进行量化。 2 ) 矢量量化：矢量量化则是将数据成组地进行量化。矢量量化是根据s h a n n o n 率失真理论而提出来的一种量化方法。在理论上，即使是对于无记忆信源，该方法 也总是优于标量量化。 1 1 3 熵编码 量化后的数据还需经过熵编码最终生成码字输出，即对量化后产生的“事件” ( 符号) 指定专门的码字来表示，其目的是去除符号冗余度。经典的熵编码方法有： 1 ) h u f f m a n 编码：该编码属于可变长编码。在可变长编码中，对于出现概率大 的信息符号编短码字，对于出现概率小的信息符号编长码字。如果码字长短严格按 照符号概率大小的相反顺序，则平均码字长度一定小于按照任何其他符号顺序排列 方式得到的码字长度。h u f f m a n 编码正是基于这种思想进行编码的，因此是可变长 编码中的最佳方法，其平均码长接近于信源的熵。 2 ) 游程编码( r u n l e n g t hc o d i n g ) ：像素的联合出现概率是表征给定图像的 结构相关性的重要指标。由此，可通过统计相同灰度像素段长度，称为一个游程， 结合该狄度值即可表征该像素段，这就是游程编码。由于其充分利用段像素本身相 关性，从而减少了所需比特数，达到压缩编码目的。 3 ) 算术编码：算术编码与h u f f m a n 编码在统计模型之间有一个很大的区别是 算术编码中使用了条件概率。算术编码总是能给出较好的压缩性能，同时还具有一 阶自适应编码的优点。它的编码效率要比h u f l h l a n 编码的效率高，平均节省i o 的 字节，但是h u f f m a n 编码相对容易硬件实现。 南京邮l u 大学硕士 i o f 究生学位论文 笫一章绪论 1 2 视频压缩标准 视频信号包含了大量、丰富的信息，且表达直观，形象，容易被公众接受，因 此视频通信是一种直接有效的信息传递方式。但是在实际应用中，视频信号庞大的 数据量成为视频通信技术发展的障碍。视频压缩技术能够有效地降低视频通信系统 的传输和存储成本，也因此成为视频通信中的关键技术。 压缩基本上是这样一个过程：通过消除存在于视频信号里的冗余成分，来减少 视频信号的数据量。这可以通过分析视频信号的统计预知性来实现。一个极端的例 子是正弦波信号，它有高度的可预知性，因为每个周期都是相同的，且只有一个频 率，这样就不需占用带宽。另一个极端的例子是噪声信号完全不可预测。当然， 实际上所有的信号都介于这两者之间。压缩技术总的来说就是要识别并去除这些冗 余，从而减少存储量和所需带宽。 视频压缩编码一个主要目的就是在保证一定重构质量的情况下，以尽量少的比 特数来表征视频信息。现有的视频编码标准，基本采用基于块的混合编码方式。其 基本算法是通过帧间预测和运动补偿消除时域冗余，经过变换编码消除频域冗余。 它是以香农信息论为出发点，用统计概率模型来描述信源。j p e g 、m p e g 一1 、 m e p g 一2 、h 2 6 1 、h 2 6 3 以及本文将要讨论的h 2 6 4 都采用了该种视频编码技术。 国际上有两个负责音视频编码的标准化组织，一个是m p e g ( m o t i o np i c t u r e e x p e r tg r o u p ) ，为国际标准化组织( i s o ) 下的运动图像专家组。另一个是v c e g ( v i d e oc o d ee x p e r tg r o u p ) ，是国际电信联合会( i t u t ) 下的视频编码专家组。 m p e g 制定的标准有m p e g _ l 、m p e g 一2 及m p e g 一4 等。m p e g 一1 即俗称的v c d ， m p e g 一2 则为d v d 所采用，m p e g 4 是为交互式多媒体通讯制定得压缩标准。 m p e g 1 标准 m p e g i 是国际标准化组织i s o i e c 的运动图像专家组于1 9 9 3 年推出的视频编 码标准，主要是为数字存储媒介中音频和视频信息压缩而提出的，应用于c d r o m 、 数字录音带、计算机硬盘和可擦写光盘等，比特率不超过1 5 m b i t s ，其中1 1 m b p s 用于视频，1 2 8 k b s 用于音频，其余部分带宽用于m p e g 系统。 为了提高压缩效率，去除图像序列的时间冗余，同时满足多媒体应用中随机存 取的要求，m p e g 一1 视频把图像编码分成i 、p 、b 和d 共4 种帧类型。其中i 和p 帧和h 2 6 l 类似。b 帧使用双向预测编码，对每个1 6 1 6 的块结构，均作| j i 向运 南京邮也大学倾 研究生学位论文第一章绍论 动矢量和后向运动矢量的预测，由此得到的个前向预测块和一个后向的预测块， 通过对这两个块的信号取平均而得到第三个“预测块”，然后选择三个预测块中最 佳者为最终的预测块，所以b 帧压缩效率最高。d 帧为直流编码帧，只包含每个块 的直流分量。 m p e g 2 标准 m p e g 组织于1 9 9 5 年推出m p e g 2 压缩标准，以实现视音频服务与应用互操 作的可能性。它是在m p e g 1 标准的基础上的进一步扩展和改进，m p e g 一2 标准是 主要针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细 规定，编码码率从每秒3 兆比特1 0 0 兆比特。m p e g 一2 在系统和传送方面作了更 加详细的规定和进一步的完善，适用于广播级的数字电视的编码和传送，被认定为 s d q l v 和h d t v 的编码标准。m p e g 一2 视频信号压缩编码完全引用了m p e g 1 基于 d c t 的、有运动补偿的帧间双向预测的基本结构，只是对其做了部分扩展。 m p e g 一2 的编码码流分为六个层次。为更好地表示编码数据，m p e g 2 用句法 规定了每个层次性结构，自上到下分别是：图像序列层、图像组( g o p ) 、图像、宏 块片、宏块、块。 m p e g 4 标准 运动图像专家组m p e g 于1 9 9 9 年2 月正式公布了m p e g 4 标准第一版本。同 年年底m p e g 一4 第二舨亦告完成，且于2 0 0 0 年年初正式成为国际标准。 m p e g 一4 与m p e g 一1 和m p e g 2 有很大的不同。m p e g 一4 不只是具体压缩算法， 它是针对数字电视、交互式绘图应用( 影音合成内容) 、交互式多媒体等整合及压 缩技术的需求而制定的国际标准。m p e g 一4 标准将众多的多媒体应用集成于一个完 整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，从而建立起一 种能被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。 m p e g 一4 标准同以前标准的最显著的差别在于它是采用基于对象的编码方式， 即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象，分别编 码后，再经过复用传输到接收端，然后再对不同的对象分别解码，从而组合成所需 要的视频和音频。这样既方便我们对不同的对象采用不同的编码和表示方法，又有 利于不同数据类型问的融合，并且这样也可以方便的实现对于各种对象的操作及编 辑。 m p e g 4 系统的一般框架是：对自然或合成的视听内容的表示；对视听内容数 4 南京邮电人学坝i 研究生学位论文第一章绪论 据流的管理，如多点、同步、缓冲管理等：对灵活性的支持和对系统不同部分的配 置。 v c e g 制定的标准有h 2 6 1 、h 2 6 3 等，这些标准已成为电视会议等系统的视 频压缩标准。 h 2 6 l 标准 h 2 6 l 是国际电联1 t u t 在1 9 9 0 年推出的针对可视电话、会议电视和窄带i s d n 等实时编解码和低时延应用提出的一种编码标准，适用于p 6 4 k p b s 的视听业务， 其中p 是一个取值范围为1 3 0 的整数。它是第一个国际视频编码标准，它所确立的 基于块的混合编码方案是其后推出的一系列视频编码标准的基础。 h 2 6 l 要求输入图像格式为c i f 格式或者q c i f 格式，将数据划分为四个层次： 图像层、块组层、宏块层和块层。它分为两种编码模式：帧内模式和帧问模式，h 2 6 1 没有规定宏块编码模式判决标准。若采用帧内编码，则对宏块进行d c t 变换和量 化，若采用帧i 刚编码，先进行运动估计，然后对估计残差进行d c t 变换和量化， 对于量化以后的系数，进行游程编码，最后进行熵编码。 h 2 6 3 标准 h 2 6 3 是国际电联i t u t 在1 9 9 5 年推出的一个标准草案，是为低码率通信而设 计的。但实际上这个标准可用在很宽的码流范围，而非只用于低码率应用，它在许 多应用中可以认为被用于取代h 2 6 1 。h 2 6 3 的混合编码框架结构与i - ! 2 6 1 基本一 样，但做了一些改善和改变，以提高性能和纠错能力。h 2 6 3 标准在低码率下能够 提供比h 2 6 1 更好的图像效果，两者的区别有：( 1 ) h 2 6 3 的运动补偿使用半像素精 度，而h 2 6 l 则用整像素精度；( 2 ) 数据流层次结构的某些部分在h 2 6 3 中是可选的， 使得编解码可以配置成更低的数据率或更好的纠错能力；( 3 ) h 2 6 3 包含四个选项以 改善性能。h 2 6 3 支持5 种分辨率，即除了支持h 2 6 1 中所支持的q c i f 和c i f 外， 还支持s q c i f 、4 c i f 和1 6 c i f ， 此后，为了进一步提高编码效率，增强编码性能，1 9 9 8 年i u t 推出h 2 6 3 + ， 2 0 0 0 年推出h 2 6 3 + + 。h 2 6 3 现己被几种可视电话采用为网络终端，如h 3 2 4 、h 3 2 0 和h 3 2 3 等，与h 2 6 1 相比，h 2 6 3 的压缩效率提高了约5 0 ，能提供更好的图像 质量、更低的码率，h 2 6 3 已经基本上取代了h 2 6 1 。 南京邮l 乜人学碗上研究生学位论文 第一章绪论 1 3 i - i 2 6 4 关键技术介绍 h 2 6 4 的编解码框架与以前提出的标准，如h 2 6 l 、h 2 6 3 及m p e g 1 2 4 并无 显著变化，也是基于混合编码的方案：以运动矢量代表图像序列各帧的运动内容， 使用前面已解码帧对其进行运动估计和补偿或使用帧内预测技术，所得的图像残差 值要经过变换、量化、熵编码等部分的处理。所以，新标准的性能提升在于各个部 分的技术方案的改进及新算法的应用。下面将介绍新标准的主要技术特点： 图卜11 1 2 6 1 标准框图 j 7 二7 l 竺厂 兰兰广 卜_嚣 臣 r _ 1厂、广 广 - 1 图1 2h 2 6 4 标准框幽 南京邮 u 人学颂十研究生学位论义帮一章绪论 ( 1 ) 帧内预测技术 在原有的视频压缩编码标准中，对于帧内编码，一般是直接对图像的原始数掘 进行d c t 变换，因为没有考虑相邻块之间的相关性，所以帧内编码以后的数据量 较大，不适合在码率较低的信道上传输。在h 2 6 4 中引入了帧内预测编码的概念， 也就是用相邻的已经编码的像素点来预测当前编码像素点值，然后对预测残差进行 变换处理。这样可以减少帧内编码的空间冗余度，从而降低数据量。 在h 2 6 4 中宏块的分区是根据图像的特点进行的，在平坦、变化不大的区域， 用1 6 1 6 像素大小的块进行处理，在变化较大的区域，用4 4 像素大小块进行处 理，所以h 2 6 4 中有两类帧内预测模式，分别为i n t r a 1 6 1 6 和i n t r a 一4 4 。 当使用i n t r a 4 4 模式时，也就是把宏块分为1 6 个4 4 的块，每个块用其相邻 的块的像素值来预测，每个像素都可用1 3 个最接近的( 除了边缘块特别处置以外) 先前已编码的像素的不同加权和( 有的权值可为0 ) 来预测。 按照所选取的预测参考的点不同，亮度i n t r a 一4 4 共有9 类不同的模式，当 使用i n t r a 一1 6 x1 6 模式时，也就是把宏块作为一个整体来预测，用和其相邻的宏 块的像素值来预测宏块的值，共有4 种不同的模式。 ( 2 ) 搜索块大小可变的运动估计技术 在帧问预测编码时，每个亮度宏块可划分成形状不等的区域，作为运动描述区域。 其划分方法有：1 6 1 6 ，1 6 8 ，8 1 6 ，8 8 等4 种。当选用8 8 模式时，可以进 一步划分成8 8 ，8 4 ，4 8 和4 4 共4 个子模式。在选择较大的块的时候，用于 传送运动矢量的比特数少，但是运动估计后的残差能量可能较大，需要较多的比特数； 而选用较小的块，用于传送运动矢量的比特数较多，运动估计后残差的能量可能较小， 需要的比特数较少。因而，选用合适的运动搜索块将对编码器的性能产生较大的影响。 通常情况下，对于平坦区域，选用较大的搜索块比较合适，而对于细节丰富的区域， 选用较小的搜索块比较适合。 ( 3 ) 1 4 像素精度的运动估计技术 运动估计是利用视频图像的时域相关性，产生相应的运动矢量，尽可能准确的描 述对象( 块或宏块) 的时域运动。因此运动矢量的精度越高，运动估计的残差越小，这 样在降低编码码率的同时可以提高重建视频质量。从h 2 6 1 到m p e g 一4 运动矢量的精 度也从整像素提高到i 4 像素。h 2 6 4 a v c 支持亮度分量的l 4 像素和色度分量的l 8 像素的运动估计，并详细的定义了相应分数像素的插值实现算法，利用6 抽头滤波器 南京邮i 乜人学硕j 。研究生学位论文 第一章绪论 产生l 2 分数像素、线性插值产生1 4 分数像素、4 抽头滤波器产生最高1 8 分数像素。 这是通过利用整像素点的亮度值进行内插得到的。由于4 ：2 ：0 采样的关系，色度的运 动精度就达n ) l 分之一像素，这也是通过线性滤波器插值得到的。 ( 4 ) 多参考帧预测 与原有标准中的单参考帧不同，h 2 6 4 a v c 支持多参考帧编码。即通过在多个参 考帧中进行运动搜索，寻找出当前编码块或宏块的最佳匹配。在一些特定的情况下， 主要是快速的周期运动、快速的场景相互切换、物体存在遮蔽现象等，多参考帧的使 用会有非常好的效果，使用了多参考图像，h 2 6 4 不仅能够提高编码效率，同时也能 实现更好的码流误码恢复，但需要增加额外的时延和存储容量。 ( 5 ) 整数变换和量化 h 2 6 4 在采用的最小搜索块为4 4 ，故h 2 6 4 的变换块大小最大为4 4 。和8 8 大小的变换块相比，4 4 变换的效果略差，但是它有效降低了变换运算的复杂 度，而且可以通过对直流分量进一步进行变，以达到增加压缩效率的目的。h 2 6 4 变换采用了1 6 位的整数算法，在没有精确度损失问题的情况下，可以避免反变换 的失配问题。在量化过程中还可以有机结合变换中的系数矩阵，使得变换过程中不 再出现小数乘法问题，并且在量化过程中使用移位运算即可完成。 在h 2 6 4 a v c 的量化部分，没有采用以往标准中的固定量化步距的策略，而是 采用了可变的量化步距。量化参数q p 增加1 ，量化步距增加1 2 ，这样量化参数 o p 增加6 ，量化步距加倍，量化参数q p 共有5 2 个可选值。显然，在量化操作上， h 2 6 4 a v c 在高量化和低量化上进行了扩展，允许更广泛的量化水平，使得精确的 量化成为可能，提高了码率控制能力。 ( 6 ) 熵编码 熵编码是视频编码器中的一个重要模块。它使得平均码长尽可能的短，达到无 损压缩的目的。h 2 6 4 协议中在编码模块定义了两种熵编码方式。一种是基于内容 的算术编码( c a b a c ，c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) ，另一种是基 于内容的变长编码( c a v l c ，c o n t e x t - b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ) 。基于 内容自适应是指充分利用不同视频流的统计特性和符号间的相关性，自适应的调整 不同符号出现的统计概率。算术编码是近十多年来发展起来的种无失真信源编 码，它与最佳的哈夫曼编码相比，理论性能稍加逊色，而实际压缩率和编码效率却 往往还优于哈夫曼编码，故很受工程上的重视。算术编码与哈夫曼编码相比，其压 南京邮q 三大学倾l ： o f 究生学位论文第一章绪论 缩比要高5 到1 0 ，但是算术编码算法的复杂性超过哈夫曼编码甚多。 ( 7 ) 环路去方块效应滤波器 基于块的视频编码系统在低码率下会出现块效应。块效应降低了编码视频重建 后的主观视觉质量，在h 2 6 1 中第一次出现了去方块效应滤波器，有效的降低了重 建图像中的块效应，改善了主观视觉质量。在后续的h 2 6 3 的选项中也增加了该种 滤波器。 h 2 6 4 在编码环路中引入去方块滤波器，使得h 2 6 4 在压缩比远高于h 2 6 3 的情况 下，仍然能够保持较好的主观视觉质量。去方块滤波器的使用，一方面可以平滑虚 假的边界，提高主观质量；另一方面，平滑后的参考帧用于运动估计时可以获得更 好的效果。由于h 2 6 4 中最小的运动搜索块大小为4 4 大小块，因而滤波系统也 应该是4 4 大小块。去方块效应滤波器应用在反变换后，图像重构前。它根据宏 块中每一个块的位置和量化参数不同，对每一条块边界设置不同的滤波强度，自适 应的调整滤波效果。 1 4 论文主要工作 论文的主要工作是基于b l a c k f i nd s p 平台的h 2 6 4 子像素编码研究和实现。结 合h 2 6 3 视频压缩标准的优化和实现，熟悉视频编解码的主要流程，并熟悉b l c a k f i n 丌发平台，并进一步在其之上进行h 2 6 4 子像素编码的研究。主要工作如下： 分析h ，2 6 3 编解码系统，对其参考模型进行优化和移植； 结合b l a c k f i nd s p 开发技术，h 2 6 3 编解码系统进行优化； 在b l a c k f i nd s p 平台上实现h 2 6 4 编码的b a s e l i n e 层次； 在b l a c k f i nd s p 平台上进行h 2 6 4 子像素编码的研究，提出并实现其实现 的快速算法。 南京邮l u 人学 i ! j ! 。研究生学位论文第二章b 1 a c k ii 1 1 、f 台指令系统和开发环境 第二章b l a c k f i n 平台指令系统和开发环境 半个世纪以来，在计算机和信息技术的带动下，数字信号处理技术得到迅速 发展。但是，在2 0 世纪8 0 年代以前，由于实现方法的限制，数字信号处理的理论 还得不到广泛的应用，直到7 0 年代末8 0 年代初世界上第一个单片可编程d s p 芯片 的诞生，才使得将理论研究结果应用到低成本的实际系统中成为可能。 d s p 芯片( 数字信号处理器) 是一种特别适合于进行数字信号处理运算的微处 理器，主要用于实时快速地实现各种数字信号处理算法。为此，d s p 除了具备普通 微处理器所强调的高速运算、控制功能外，还针对实时数字信号处理，在处理器结 构、指令系统、指令流程上做了很大改动，其主要结构特点如下： d s p 普遍采用了数据总线和程序总线分离的哈佛结构，比传统处理器的 冯诺依曼结构有更高的指令执行速度； d s p 大多采用流水线技术。采用指令流水线的执行方式，可以大大提高系 统的执行效率，使得系统可以低延迟或“无延迟”地执行较复杂的指令， 从而在不提高时钟频率的条件下减少了每条指令的执行时问，进一步增强 了处理器的数据处理能力： 针对滤波、相关、矩阵运算等操作的特点，d s p 大都配有独立的乘法器和 加法器，使得在同一时钟周期内可以完成相乘，累加两个运算； 片内有多条总线可以同时进行指令读取和多个数据的存取操作； 带有多个d m a 通道控制器，配合片内多总线结构，提高数据块传输速度； 低功耗，般为0 5 4 w ，采用低功耗技术的d s p 甚至只有o 0 5 w ，可用 电池供电，适合嵌入式系统； 良好的多机并行运行特性； 丰富的外设接口。 2 1 b l a c k f i nd s p 结构特点 b l a c k f i n 系列芯片是美国模拟器件公司( a d i ) 与i n t e l 公司联合丌发的专为通 信和互联网应用而设计的通用d s p 芯片，能处理广泛用于互联网的大量图像，声音， 0 南京邮l u 大学坝j ：研究生学位论文第二章b l a c k li i i 甲台指令系统和开发叫、境 文本和数据流，适用于电信和各种互联网设备。其主要结构特点如下： 微信号结构。b l a c k f i nd s p 体系结构是在a d i 公司和i n t e l 公司联合丌发的 “微信号结构”( m s a ) 的基础上实现的。这种统一的编程模式由于采用 了一个综合的信号处理和控制指令集，而消除了传统的多个不同处理器之 间相联系的复杂性； 动态电源管理。动态电源管理可以通过改变电压和工作频率，提供比其他 d s p 更少的功耗。它的推出使a d i 的d s p 性能提高了4 倍以上，功耗降 低了将近l 3 。同时，a d i 为了使这个体系结构独有的动态电源管理特性发 挥最大效能，还退出了一个能够控制d s p 电压和频率的芯片组，使得居于 b l a c k f i nd s p 的设计功耗减少了6 0 以上； 高度并行的计算单元。该体系结构内的计算单元使在相同周期内能执行的 算术运算的次数最大化； 高性能地址产生器。2 个数据地址产生器用于产生支持高级d s p 滤波运算 的地址的符合装入或存储单元： 极佳的代码密度。b l a c k f i nd s p 体系结构支持多种长度指令。该内核能将 1 6 位控制指令于3 2 位d s p 指令一起混合并链接进6 4 位组，使内存分组最 大。当缓冲和读取内存时，内核自动完全填充总线长度分组，因为它没有 扫 歹0 限带0 ； 视频指令。该体系结构包含了一些视频指令，支持如离散余弦变换、运动 估计算法等视频处理算法； 分层结构的内存。分层结构的内存缩短了内核对内存的访问时削，以获得 最大的数据吞吐量，较少的延迟和较短的处理空载时间。此外，内存管理 单元能提供内存保护，当内核工作在用户方式和监控方式时，内存保护支 持全部0 s 核心。 集成丰富的外围设备； 该系列中部分芯片配有专用视频接口，极大地方便了视频处理： 调试和j t a g 接口。b l a c k f i n 系列芯片的调试接口时一个i e e e1 1 4 9 1j t a g 访问端口。该体系结构还支持如软件异常事件、硬件断点、性能计数器、 执行跟踪等特殊功能。 南京邮电人学硕士研究生学位论文第二章b ，k f - i i i 、p 台指令系统和开发蚪境 2 2 b l a c k f i na d s p - b f 5 3 3 系统框图 a d s p b f 5 3 3 是单核的1 6 位定点数字处理器，工作主频为6 0 0 m h z 。具备3 2 位类r i s c 指令集和1 6 位双乘法累加器( m a c ) ，信号处理功能强大，”发使用方 便。与此同时，该系列处理器具有对称多处理( s m p ) 系统结构，在信号处理和控 制功能的集成和分割方面能够为用户提供较高的性能和较大的设计灵活性。其动态 电源管理允许在应用控制下同时调整工作频率和电压，因而具有的低功耗的特点， 使其在便携式的视频处理和通信方面具有广泛的应用前景。这款处理器还集成了大 量的外围设备和处理器接口，适用于各种音频、视频、通信领域，如汽车图像系统、 宽带无线系统、多媒体消费电子产品、数字视频录像机、多声道v o l p 、可视v o l p 、 安防监控、机顶盒、视频会议等。 a d s p b f 5 3 3 的系统框图如图2 1 所示： 一l 蒜：激k | 二 幽2 - ia d s p b f 5 3 3 的系统框图 图2 1 展示了a d s p b f 5 3 3 的系统结构。需要说明的是一些在我们的开发中涉 及到的关键资源，包括： j t a g 接口。这是我们调试和仿真所用到的最基本的接口： 南京邮u 人学颂j ：l l f 究生学位论文 第二章b l a c k ii i i 平台指令系统和开发环境 d m a 控制器。该芯片支持1 2 通道的d m a 传输，极大的提高了我们视频 处理过程中数据块搬运的速； 支持i t u r 6 5 6 视频数据格式的并行外设接口，在实际开发的过程中，我 们利用这个接口进行视频数据的实时采集 8 0 k b 的l 1 指令s r a m ，其中1 6 k b 可配置成4 路组联合c a c h e 6 4 k b 的l l 数据s r a m ，分为2 个b a n k ，每个b a n k 中有1 6 k b 可配置成 c a c h e ； 支持片外同步或异步存储器，这是我们丌发工作最主要的存储区域。 2 3 b l a c k f i nd s p 的内核结构 2 3 1 b i a c k f ind s p 内核结构概述 b l a c k f i n d s p 内核包括2 个4 0 位的算术逻辑单元( a l u ) 、2 个乘法器( m a c ) 、 4 个视频a l u 以及1 个移位器，如图2 - 2 所示。 一一- # $ s r i m “i f , - 0 n ”- + 一一”。w 图2 - 2b l a c k f i nd s p 内核结构 各个计算单元执行不同类型的操作：a l u 执行算术和逻辑操作；乘法器执行乘 南京| | j | i f 乜大学倾士研究生学位论文 菊二章b 1 k r i i i 平台指令系统年u 开发叫、境 法、乘法力口和乘法减操作；移位器执行逻辑移位i 算术移位、位的压缩和解压缩 操作；视频a l u 执行单指令处理多数据( s i m d ) 的逻辑运算，这种操作是基于8 位数据的。 计算单元通过数据寄存器组来输入输出数据。数据寄存器组包含8 个3 2 位寄 存器。每个3 2 位的寄存器可以看成是两个独立的1 6 位寄存器。例如寄存器r 0 可 以看成由两个1 6 位的寄存器r o h ( r 0 寄存器的高1 6 位) 和r 0 l ( r 0 寄存器的 低1 6 位) 组成。另外，寄存器组中还有两个4 0 位的累加器a 0 和a 1 ，他们是a l u 操作的专用寄存器，主要用于乘法和加法操作。 程序控制器控制指令执行的流向，它包括指令的对齐和解码。程序控制器支持 条件转移、条件子程序调用和零开销循环。循环缓冲器存储将要执行的命令。 2 3 2 寄存器组 b l a c k f i nd s p 的计算单元有3 个寄存器组：数据寄存器组、指针寄存器组和数 据地址产生器( d a g ) 寄存器。 计算单元从数据寄存器组中读取数据，而数据寄存器组从数据总线上接受 计算单元的操作数，并且存储运算后的结果： 指针寄存器组存储寻址操作的指针： d a g 寄存器是一组专用寄存器，用来管理用于d s p 运行中的零丌销循环 缓冲。 另外，b l a c k f i nd s p 还有两个4 0 位的累加寄存器a x 。 2 3 3 算术逻辑单元( a l u ) b l a c k f i nd s p 内核有两个a l u ，他们执行定点的算术和逻辑操作。a l u 定点指 令处理1 6 位、3 2 位、和4 0 位的定点操作数，并且输出1 6 位、3 2 位和4 0 位的计 算结果。a l u 指令包括： 定点的加减法运算： 立即数的加减法运算； 乘法器的累加和累减运算； 逻辑a n d 、o r 、n o t 、x 0 r ： 南京邮i u 大学坝i j 刊f 究生学位论文 第二章i j l a c k i i i i 甲台指令系统和开发科、境 函数功能：a b s 、m a x 、m i n 、舍入、除法运算。 需要指出的是，a l u 还支持s i m d 视频操作。4 个8 位的视频a l u 可以高速 处理视频信息。每一个视频a l u 的指令可能去l 到4 对8 位输入，并且放回相应 的输出。视频a l u 的输入来自数据寄存器组的两个3 2 位寄存器。 2 3 4 乘法器( m a c ) b l a c k f i nd s p 有两个乘法器。它们执行定点的乘法以及乘法累加操作。乘法累 加操作中，可以是累加也可以是累减。乘法指令对1 6 位的定点数据进行相乘运算， 并产生3 2 位结果，该结果可以累加或者累减到4 0 位的累加器中。 m a c 输入的数据可以是整数也可以是小数，可以是无符号数也可以是有符号 数。 b l a c k f i nd s p 支持多周期的3 2 位m a c 指令，将两个3 2 位的输入数相乘，产 生一个3 2 的整数结果，并将结果存放在其中的一个输入寄存器中。该指令是可被 中断的，并且不修改累加寄存器a 0 和a l 。 此外，b l a c k f i n