（信号与信息处理专业论文）嵌入式系统中h264去方块滤波器的实用研究.pdf

南京邮电大学硕士研究生学位论文摘要 摘要 目前，基于分块2 d d c t 量化和运动补偿的混合视频编码方法以其优良的性能在视频 压缩中获得十分广泛的应用。但是，这种以块为单位的视频处理方法，往往会在解码重建 图像中产生或多或少的沿块边缘的非自然的灰度的不连续现象，即所谓的“方块效应”， 影响图像质量的提高。 近年来的研究表明，去方块滤波是一种去除方块效应、改善图像质量的行之有效的工 具。在i t u t 和i s o i e c 共同制定的视频编解码标准h 2 6 4 a v c 中，就引入了自适应环路去 方块滤波器，并给出了具体的滤波算法。h 2 6 4 的去方块滤波对于去除解码图像的方块效应 具有显著的效果，尤其是在窄带环境下更是如此。 ， h 2 6 4 中的去方块滤波器，具有高度的自适应性，大约要耗费解码器1 3 的计算能力， 增加了计算复杂度。这样，大为增加的计算复杂度对于h 2 6 4 解码器的实时处理具有不容忽 视的负面影响。本论文的主要研究工作是在深入理解、分析和对l i , h 2 6 4 中基于帧处理的去 方块滤波器的算法性能、实现方法的基础上，提出了一种有效的基于宏块的去方块滤波算 法，并在嵌入式d s p 平台b f 5 6 1 上予以实现。 本文首先简要分析了h 2 6 4 视频编解码标准、方块效应产生的原因、去方块滤波的机理； 然后，利用实验室前期实现的h 2 6 4b a s e l i n ep r o f i l e 编解码器，在a d s p b f 5 6 1 双核d s p 上 构建了b f 5 6 1 u c l i n u x 编解码测试平台，研究了在嵌入式d s p 平台上的滤波算法的优化实现 方法，提出并实现了一种解码端宏块级去方块滤波算法；最终，经反复调试在d s p 编解码 平台上的h 2 6 4 解码器中实时实现了这种滤波算法，并测试、对比、分析了这种去方块滤波 算法的有效性和实用性。 实验测试结果表明，本文所提出的宏块级去方块滤波算法在保持滤波性能不变的前提 下，比原来采用的去方块滤波算法复杂度降低了3 5 左右，经过优化处理，可以完全满足 嵌入式d s p 的b f 5 6 1 对c i f 序列进行实时滤波的要求，能有效改善解码器输出图像的质 量。 关键词：视频编解码h 2 6 4 去方块滤波b f 5 61u c l i n u x 南京邮电大学硕士研究生学位论文 摘要 a b s t r a c t n o w a d a y s ，h y b r i dv i d e oe n c o d i n ga l g o r i t h mb a s e do nb l o c k2 d d c tq u a n t i z a t i o na n d m o t i o nc o m p e n s a t i o nw h i c hc h a r a c t e r i z e db ye x c e l l e n tp e r f o r m a n c ei sw i d e l yu s e di nt h ev i d e o c o m p r e s s i o n8 x c a h o w e v e r , t h eb l o c k - b a s e dm e t h o d sm a yc a u s e di n t e n s i t yd i s c o n t i n u i t ye f f e c t a tt h ee d g e so fb l o c k sw h e nr e c o n s t r u c ti m a g e ，c a l l e db l o c k e f f e c t ，w h i c hc a ni n f l u e n c et h e i m a g eq u a l i t y i ti si n d i c a t e di nt h ep r e s e n tr e s e a r c ht h a tt h ed e b l o c k i n gf i l t e ri sa ne f f e c t i v em e t h o dt o r e m o v eb l o c k i n g e f f e c ta n di m p r o v et h eq u a l i t yo fi m a g e i nt h ev i d e oc o d e cp r o t o c o l h 2 6 4 a v ce s t a b l i s h e db yi t u ta n di s o i e c ，t h eh i 曲a d a p t a b l el o o pd e b l o c k i n gf i l t e ri s i n t r o d u c e da n dt h ed e t a i lf i l t e ra l g o r i t h mi sa l s op r o v i d e d t h ed e b l o c k i n gf i l t e ri nt h eh 2 6 4h a s g a i na nd i s t i n c te f f e c ti nr e m o v i n gb l o c k - e f f e c to fd e c o d e di m a g e ，e s p e c i a l l yi nt h en a r r o w b a n d w i d t he n v i r o n m e n t t h ed e b l o c k i n gf i l t e ri nt h eh 2 6 4w h i c hi sc h a r a c t e r i z e db yh i g ha d a p t a b i l i t ym a yc o s t a p p r o x i m a t e l y1 3c o m p u t a t i o n a lc a p a b i l i t ya n di n c r e a s ec o m p u t a t i o n a lc o m p l e x i t y t h i sw i l l b r i n gan e g a t i v ee f f e c tt ot h er e a lt i m eo p e r a t i o no ft h eh 2 6 4d e c o d e r t h er e s e a r c ho ft h i st h e s i s f o c u so nt h ec o m p r e h e n d i n g ，a n a l y s i n ga n dc o m p a r i n gt h ec a p a b i l i t ya n di m p l e m e n t a t i o n m e t h o do fh 2 6 4d e b l o c k i n gf i l t e ra l g o r i t h m s a ne f f e c t i v em a c r o b l o c k sb a s e dd e b l o c k i n gf i l t e r a l g o r i t h mi sp r o p o s e da n di t si m p l e m e n t a t i o ni nt h eb f 5 6 1o fe m b e d d e dd s p p l a t f o r mi sg i v e n t h i st h e s i sf i r s t l yi n t r o d u c e st h eh 2 6 4v i d e oc o d i n gs t a n d a r d s ，t h ec a u s a t i o no fb l o c k - e f f e c t a n dt h em e c h a n i s mo fd e b l o c k i n gf i l t e r a n dt h e nr e p o r t st h ec o n s t r u c t i o no fab f 5 61 u c l i n u x c o d e ct e s t i n gs y s t e mi nt h ea d s p b f 5 61d u a lc o r e sd s pb a s e do nah 2 6 4b a s e l i n ep r o f i l e d e c o d e rw h i c hf i n i s h e di nt h el a b o r a t o r y t h ei m p l e m e n t a t i o no ft h eo p t i m i z a t i o no ft h ef i l t e r a l g o r i t h mo ne m b e d d e dd s pp l a t f o r mi sd e s c r i b e da n da na l g o r i t h mb a s e do nt h em a c r o b l o c k s i nt h ed e c o d e ri sp r o p o s e da sw e l l t h et e s t i n g ，c o m p a r i n ga n da n a l y s i n gr e s u l to ft h i sf i l t e r a l g o r i t h mi sa l s op r o v i d e da f t e rf i n i s h i n ga n dr e p e a t e d l yd e b u g g i n gu s i n gh 2 6 4d e c o d e ro nt h e d s pc o d e c p l a t f o r m t h ee x p e r i m e n t s r e s u l ts h o w st h a tt h e c o m p u t a t i o n a lc o m p l e x i t yo ft h ep r o p o s e d m a c r o b l o c k sb a s e df i l t e ra l g o r i t h mi sr e d u c e db y3 5 c o m p a r i n gw i t ht h eo r i g i n a lo n e o nt h e c o n d i t i o nt h a tk e e p i n gt h ef i l t e rc a p a b i l i t y a n di ts a t i s f i e st h er e q u i r e m e n to fr e a l - t i m ef i l t e r i n g c i fs e q u e n c eu s i n ga d s p b f 5 61 ，a n dg r e a t l yi m p r o v e st h eo u t p u ti m a g eq u a li t yo ft h ed e c o d e r 。 k e yw o r d s ：v i d e oc o d e c h 2 6 4 d e b l o c k i n g f i l t e r b f 5 6iu c l i n u x 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：芸启敏日期：石。牛心 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：弛导师签名：盥日期： 南京邮电大学硕士研究生学位论文 第一章视频应用中的去方块滤波 第一章绪论 随着信息技术和计算机互联网的飞速发展，多媒体信息已成为人类获取信息的最主要 载体，同时也成为电子信息领域技术研究和开发的热点。众所周知，人类获取的信息中7 0 来自于视觉，视频信息在多媒体信息中占有重要地位：同时视频数据冗余度最大，经压缩 处理后的视频质量高低是决定多媒体服务质量的关键因素。因此数字视频技术是多媒体应 用的核心技术，对视频编码l l 】的研究已成为信息技术领域的热门话题。各种高效的视频编 码技术成为了视频通信的可靠保证，然而对视频信号的压缩比过高往往会使画面产生“分 块噪声”或“马赛克效应”，严重影响图像的观看效果。因此如何在保持高压缩比的情况 下改善解码图像的主客观质量，减少方块效应成为了一个广受关注的研究方向。 本章首先介绍课题的背景，其次介绍h 2 6 4 视频编解码标准、产生方块效应的原因和 常用处理方法，最后介绍高速d s p 、嵌入式操作系统并简要说明了本文的研究工作和内容 安排。 1 1 课题背景 作为近年来进行视频压缩2 ，3 1 的重要协议，h 2 6 4 t 4 1 视频编解码协议在同等码率下，具 有相对于其他协议更高的信噪比。在低码率环境5 , 6 , 7 1 下h 2 6 4 虽然能够获得不错的信噪比 改善，但是高压缩比、粗糙量化导致的方块效应严重影响了解码图像的主观质量。h 2 6 4 协议中的去方块滤波器正是解决这一问题的有效工具，但其较大的计算复杂度给h 2 6 4 解 码器带来了沉重负担，成为影响其实用的瓶颈。本文正是在这一背景下，研究如何在d s p 嵌入式平台上提升h 2 6 4 解码器中去方块滤波器的运算速度，增强其实用性。 1 1 1 国内外研究及应用现状 h 2 6 4 中的去方块滤波器作为视频通信中改善编解码图像质量的重要工具，国内外对 其研究主要是从滤波算法理论和算法实用的角度进行的。 在滤波算法理论i lj 方面，主要是从滤波器和图像方块效应的关系上研究如何选取行之 有效的滤波器去除方块效应；在算法实用方面，则是从贴近实用的角度，结合编解码算法 整体进行实用化研究，基于特定的软硬件平台寻找高效的去方块滤波实现方法。在实用方 面，国内外对h 2 6 4 去方块滤波器的研究主要是基于特定的硬件平台进行针对性实现，包 括f p g a 、d s p 、a r m 等a 其中以f p g a 等纯硬件电路设计方面的研究较多，大多是从优 塑室坚皇奎兰堡主竺窒竺兰垡笙奎笙二童望塑垒旦! 塑圭查鉴鎏鲨 化滤波的实现架构，合理利用高速存储器资源来实现优化【8 。13 1 ，实现的滤波速度较快；而 基于d s p 或a r m 使用软件编程的自适应去方块滤波器的研究相对较少【1 4 , 1 5 , 1 6 ，基本上都 是按照h 2 6 4 参考协议代码j m 程序【1 7 】中的实现结构，在每帧图像编码后才进行去方块滤 波，由于实用中d s p 的高速存储资源非常有限，无法存储滤波用到的整帧图像和相关条件 变量，实现时会造成对低速缓冲的频繁访问，影响了滤波的实现速度。本文通过分析h 2 6 4 协议中去方块滤波器的实现特点，提出并实现了一种适合于d s p 硬件平台的宏块级去方块 滤波算法。 1 1 2 本课题的主要研究步骤 本课题是开放嵌入式视频服务器系统项目中的一部分，主要进行h 2 6 4 编解码协议中 去方块滤波器的实用性研究，致力于改进去方块滤波器的实现算法，进一步提升h 2 6 4 解 码器的处理能力。去方块滤波器作为h 2 6 4 协议中的一个重要组成部分，在低码率的图像 通信领域如视频通话、电视会议中应用广泛，其实现过程在编码端和解码端是一致的。 按照项目要求，研究和开发中使用了a n a l o gd e v i c e s 公司主流的a d s p b f 5 6 1 双核 d s p 作为运行平台，分三步实现了h 2 6 4 解码中的去方块滤波。首先将项目组前期基于 a d s p b f 5 3 3 ( 单核) 【l8 】处理器开发并优化的针对c i f 分辨率h 2 6 4b a s e l i n ep r o f i l e 编码器 和h 2 6 4b a s e l i n ep r o f i l e 解码器移植到a d s p b f 5 61 1 9 1 平台；然后通过计算机实验和d s p 运行，分析去方块滤波对于方块效应的改善效果和系统资源消耗情况，结合h 2 6 4 去方块 滤波器的实现特点和a d s pb l a c k f i n 平台的优化策略，提出并实现了一种优化的去方块滤 波算法；最后，考虑到实际应用中嵌入式操作系统的需求，构建了a d s p b f 5 6 1 上的u c l i n u x 嵌入式系统2 0 ，2 1 1 环境下的h 2 6 4 编解码平台，分析和测试了改进的去方块滤波算法的有效 性和实用性。 1 2 方块效应和去方块滤波 1 2 1h 2 6 4 视频编解码 h 2 6 4 是i t u - t 的v c e g ( v i d e oc o d i n ge x p e l sg r o u p ) 和i s o i e c 的m p e g ( m o t i o n p i c t u r ee x p e l sg r o u p ) 联合成立的“联合视频组 ( j v t ：j o i n tv i d e o r e a m ) 共同制定的建议。 它等同于i s o 的m p e g 4 的p a ：1 0 。 h 2 6 4 算法在概念上可以分为两层：视频编码层( v c l ：v i d e o c o d i n gl a y e r ) ，负责高效 的视频内容表示；网络提取层( n a l ：n e t w o r ka b s t r a c t i o nl a y e r ) ，负责以网络所要求的恰当 的方式对数据进行打包和传送。 南京邮电大学硕上研究生学位论文第一章视频应用中的去方块滤波 h 2 6 4 标准为不同级别的应用定义了四个档次( p r o f i l e ) ：即基本档次( b a s e l i n ep r o f i l e ) 、 主档次( m a i np r o f i l e ) 、扩展档次( e x t e n d e dp r o f i l e ) 和高档次( h i g hp r o f i l e ) 。前三个档 次于2 0 0 3 年5 月推出，高档次则是2 0 0 4 年7 b 新增补的。每一个档次支持一组特定的编码功 能，h 2 6 4 标准详细规定了每个档次所采用的编码工具。本课题的研究是针对h 2 6 4 的基本 档次进行的。 基本档次编码复杂度最小，在大部分网络环境和条件下可以提供较好的鲁棒性和灵活 性，主要应用于可视电话、视频会议和无线通信等；主要档次更多强调的是压缩编码效率， 可以应用于广播电视和视频存储；扩展档次则将基本档次的鲁棒性与高编码效率、网络传 输的鲁棒性等结合起来，为流媒体之类的应用提供了一些增强模式；而高档次则可以应用 于数字视频广播( d v b ：d i g i t a lv i d e ob r o a d c a s t ) 、h d d v d 等。尽管各个档次有所差别， 但实际上每个档次都非常灵活，可以支持很广泛的应用。 h 2 6 4 基本档次所采用的编码技术瞄1 主要有： 1 ) 帧间预测：帧间编码对已编码的视频帧或场进行运动补偿来建立预测模型。与 h 2 6 3 相比，h 2 6 4 的主要区别在于支持多种块尺寸( 从1 6 1 6 到4 4 ) ，具有更精细的 运动矢量精度，支持多参考帧。采用这些技术后同样可以提高运动矢量的精度，有利于改 善重建图像的质量。 2 ) 帧内预测技术：h 2 6 1 3 和m p e g 一1 2 4 系列标准中，都是只采用帧间预测的方式。 在h 2 6 4 中，引入了帧内预测技术。帧内预测不是在时间域上，而是在空间域上进行的预 测编码算法。这样可以除去相邻块之间的空间冗余度，可以进一步提高编码效率。 3 ) 整数变换和量化：h 2 6 4 的整数变换是将整幅图像分成4 4 像素块大小的块、将 d c t 变换和量化结合起来进行的。其基本的编码特性与4 4 点的二维d c t 变换基本相同。 它将二维整数变换分解为一维整数变换，先进行行变换，再进行列变换。变换中采用了 1 6 - b i t 的整数精度，在没有损失精确度的情况下，避免了反变换的失配问题。h 2 6 4 对变换 系数采用等比例量化，量化步长共有5 2 种，每个宏块的量化步长由量化参数q p 决定。 q p 每增加1 ，量化步长就增加1 2 5 。把变换与量化融合在一起，有效地减少了压缩编码 的运算量。 4 ) 熵编码：h 2 6 4 编码在经过系数变换和量化后，首先要对冗余块进行4 4 ( 或2 2 ) 扫描( h 2 6 4 的扫描方式有两种，如图1 1 所示) 。然后进行熵编码，h 2 6 4 支持基于上 下文的自适应变长编码( c a v l c ) 和基于上下文的自适应二进制算术编码( c a b a c ) 两种 模式。 南京邮电大学硕士研究生学位论文第一章视频应用中的去方块滤波 j 1 ： 。以 。么。么，。 0 2 8 1 2 乃八 l 八 j 3 6 1 0 t 4 ? 47”1 5 图1 1h 2 6 4 扫描方式a ) m g z a g 扫描b ) 场扫描 5 ) 去方块滤波技术：基于块的图像编码在块的边缘精度较低，引起的块间误差大， 产生使人敏感的块状视觉效应，也就是所谓的方块效应。对解码宏块进行滤波是为了降低 块效应失真。滤波器可以平滑块的边缘，从而提高解码图像的质量。与未经过滤波的图像 相比，滤波后的图像更接近原始图像，有利于下一帧的运动补偿和预测，减少预测的残差， 同时在接收端，能够得到更好的图像质量。 1 2 2 方块效应产生原因 视频编解码系统中的方块效应是由编解码实现方式造成的。在已有的基于块的视频编 解码系统中，大多采取混合编码结构，当码率较低时( 一般量化步长都比较大，不够精细) ， 常常会出现方块效应，产生这种方块效应的主要原因可从以下两个方面来解释【2 引。 一是对用帧间预测编码模式和帧内预测编码模式进行预测补偿后的残差进行基于方 块的变换和量化操作，以粗糙的量化步长对变换系数直流分量和交流分量进行量化会割裂 相邻方块间的连续性，使得解码后的重建图像的方块边缘出现不连续。变换系数中直流分 量对应着变换块的平均值，对它的过度量化有可能造成相邻块间的量化级数不一致。交流 分量对应着高频变化，过度量化使得一些交流分量被置零，从而在本应缓慢变化的图像区 域里产生色度和亮度变换的不连续，形成阶梯状纹理，导致块失真。 二是由基于方块的运动预测补偿产生的。在进行运动补偿时用到的参考块像素，是从 重建的参考帧中搜索并进行插值得到的最匹配位置复制而来，很难做到完全匹配当前像素 数据，从而各个编码块采用的运动矢量不同会造成解码后块边缘的不连续性，产生方块效 应。 由此可见，方块效应对于低码率情况下的重建图像会造成主观质量的严重下降，如果 不进行处理，方块效应还会随着重构帧积累下去，严重地影响到图像的质量和压缩效率。 4 南京邮电大学硕士研究生学位论文第一章视频应用中的去方块滤波 1 2 3 去方块效应的基本方法 去方块效应在算法上主要通过滤波技术来实现，在实际做法上，是将方块效应视为错 误的高频噪声，并利用滤波器来滤除被视为错误的高频部分，从而将呈现方块效应的部分 平滑化。 选用的滤波器按是否具有线性特性分为： 1 ) 有线性特性的低通滤波器，使用单线性内插或是双线性内插的方法，算法简单易 行，对系统实现的负载较低，但在去除方块效应的同时，由于线性处理特性，有可能会将 原有非方块效应部分的高频信息一起滤除，造成图像的模糊现象。 2 ) 具有非线性特性的滤波器，中值滤波器是常用的该类滤波器，其在图像细节保存 方面优于线性滤波，但在处理过程中会永久性的破坏画面中包含的原始像素信息，造成最 终的输出结果与原始未编码图像信息产生误差。 在实用中，通常会结合这些滤波器的优缺点综合使用，如h 2 6 4 视频编解码协议中采 用自适应的去方块滤波方式，在通过梯度检测认定方块效应后才会启动相应的滤波器进行 滤波，否则维持原图像信号，从而避免破坏真实的图像边缘。 按照去方块滤波在编解码结构中的实现位置可以分为两种： 1 ) 后处理滤波器，仅在解码端进行，只在解码器完成图像解码后对待显示图像进行 去方块处理，对编解码器环路没有影响，作为一个独立模块改善重建图像的质量。这类滤 波器实现方便，和编解码标准关系不大，适应范围广。但是由于它缺乏针对性，也没有编 码端的配合，因而滤波效果一般，只在一些系统处理能力受限或者对图像质量要求不高的 场合使用。 2 ) 环路去方块滤波器，在编码器环路和解码器环路中对重建后的图像进行去方块滤 波，滤波后的图像既作为编码环路中后继帧的参考图像，也作为解码环路中当前帧的重建 显示图像。这种实现方法在改善回放显示图像质量的同时，还可以为接下来的编码过程提 供更好的预测参考图像，有利于减少预测误差，提升编码效率。 h 2 6 4 编解码协议采用了环路结构的去方块滤波实现结构，在编解码采用参数一致的 去方块滤波器以保证获得相同的滤波效果，既提升了编码效率又明显提升了解码图像的主 客观质量。 1 2 4 去方块效应的运算量 环内去方块滤波器作为h 2 6 4 协议中的重要改进，可以明显增加视频编解码图像的主 南京邮电大学硕： 研究生学位论文第一章视频应用中的去方块滤波 客观评价质量，但环内滤波器的计算复杂度较高，即使经过滤波算法的充分优化，去除其 中的乘除法，滤波器也大概需要消耗解码器计算量的三分之一【2 4 1 。例如，项目组前期在频 率为6 0 0 m h z 的a d s p b f 5 3 3 上实现的h 2 6 4 解码器，对于目标码率4 0 0 k b p s 左右c i f 尺 寸的图像，经过初步优化的去方块滤波模块运算的d s p 时钟周期耗费约为2 3 0 m h z ，超过 系统运算资源的1 3 。 考虑到实际使用时，视频编解码器通常基于嵌入式系统环境工作，嵌入式系统还需要 耗费一定的运算资源。因此，从完整的系统实现的角度考虑，还需要进一步从实现算法上 提升h 2 6 4 解码器去方块滤波模块的速度，降低对系统运算资源的占用，达到针对c i f 格 式图像实用化的要求。 1 3 高速i ) s p 和嵌入式系统 数字信号处理器【2 5 】是一类专门为数字信号处理任务而优化设计了体系结构和指令系 统的通用处理器件，具有处理速度快和适用范围广等特点，在高速图像处理应用广泛。现 阶段在数字视频领域内，主要的d s p 芯片厂商有：t i 、a d i 、p h i l i p s 、f r e e s c a l 、c r a d l e 等， 各家厂商的产品各具特点。由于视频应用的复杂程度不断提高，不再仅仅限于对视频数据 进行压缩处理，对于功能性和扩展性的要求不断增多，因此将d s p 结合嵌入式操作系统、 由嵌入式操作系统管理和控制整个系统的运行的工作方式是目前视频应用系统的一个发 展方向。 嵌入式操作系统的作用类似于计算机的操作系统，只不过由于相对于计算机而言嵌入 式操作系统应用目标简单、适应范围小、系统能够为它提供的资源有限，因此通过使用相 对简单的嵌入式操作系统，架构在各种不同类型的d s p 处理器上，达到完成不同的系统功 能的目的。 嵌入式操作系统具有内核小、效率高和模块化程度高的优点，同时具有文件和目录管 理功能，能够支持多任务处理、网络应用和图形用户界面开发，具有大量的a p i ，使得不 同的应用程序的开发变得并不十分复杂，有利于各种d s p 视频应用的发展。 1 3 1b f 5 6 1 高速d s p 及其d m a 传输 a d s p b f 5 6 1 i 2 6 】是a d i 公司推出的b l a c k f i n 系列d s p 中的高端产品。a d s p b f 5 6 1 是 双核处理器，由两个a d s p b f 5 3 3 处理器核组成，为1 6 位定点数字处理器，每个核心工 作主频最高可达7 5 0 m h z ，具有对称多处理( s m p ) 系统结构。s m p 结构在信号处理和控 6 南京邮电大学硕士研究生学位论文第一章视频应用q j 的去方块滤波 制功能的集成和分割方面能够为用户提供较高的性能和较大的设计灵活性。该处理器的动 态电源管理允许在应用控制中同时调整工作频率和电压，具有低功耗的特点，在便携式的 视频处理和通信方面具有广泛的应用前景。b f 5 6 1 处理器还集成了丰富的外围设备和处理 器接口，适用于各种音频、视频、通信应用。如汽车图像系统、宽带无线系统、多媒体消 费电子产品、数字视频录像机、多声道v o l p 、可视v o ! p 、安防监控、机顶盒、视频会议等。 a d s p b f 5 6 1 芯片结构如图1 2 所示，它包含有c o r e a 和c o r e b 两个b l a c k f i n 核，每个 核处理最高频率可达7 5 0 m h z 。a d s p b f 5 6 1 拥有共计3 2 8 k b 的高速l 1 存储器，两个核 各有独占的3 2 k bl 1 指令存储器( 1 6 k bc a c h e s r a m ) ，6 4 i l 1 数据存储器( 3 2 k b c a c h e s r a m ) ，此外还有1 2 8 k bl 2 共享存储器。 1人b f 5 6 1c 。r e a 人li b f 5 6 1c 。r e b i 叵蛰醭el 匝蛰醭驯e i l 2 s r a m 1 2 8 k b 广一 c 1 广l j c 。 jc i s y s t e m b u i n t e 慨 m d v i ac o n t r o l l e r i介a 儿儿 id 唤c o n t r o l l e r d m ac o n t r o l l e r a j 【 j 【 i 片外内荐和设备 图1 - 2a d s p b f 5 6 1 芯片结构图 值得注意的是，b f 5 6 1 内核访问不同内存速率有明显差异，访问l 1 存储器最快，l 2 次之，而访问片外内存和设备的速度最慢。a d s p b f 5 6 1 可以通过d m a ( 直接存储器访问) 技术进行存储器空间内部或者存储器空间与外设之间的数据传送。d m a 控制器允许 b l a c k f i n 或者外部设备指定数据传送操作，然后返回到正常操作中。d m a 控制器传送数据 的过程独立于处理器活动。 d m a 控制器传送数据的方式有下面几种： 存储器一专存储器( m e m d m a ) ； 存储器专串行外设接口( s p i ) ； 存储器一专串行接口； 存储器一专u a i 汀口： 存储器( - - 一- ) u s b 口。 存储器间的d m a 传送称为m e m d m a ，而存储器与外设间的传输为普通d m a 。 a d s p b f 5 6 1 具有灵活的d m a 使用方式：配置传送可以是基于描述符的，也可以是 7 堕室坚皇奎兰堡塑壅圭堂垡丝茎笙二垩塑塑壁旦! 塑圭查垫鎏鲨 基于自动缓冲的。 1 ) 基于描述符的d m a 传送在发起d m a 传送序列时，需要一组存储在存储器中的参 数。这类传送允许将多个d m a 传送序列链接在一起。基于描述符的d m a 传送，一个d m a 通道可以被编程建立，并且在当前序列完成之后自动启动另外一个d m a 传送。 2 ) 基于自动缓冲的d m a 传送允许处理器直接编程d m a 控制寄存器，以发起一个 d m a 传送。传送完成时，控制寄存器被它们原始设定值自动更新。d m a 数据传送方式可 以是一维或是二维的，提升了视频数据传送的灵活性。 1 3 2u c l i n u x 嵌入式操作系统 u c l i n u x 2 7 】是l i n u x 操作系统的一种，是由l i n u x 2 0 内核发展来的。u c l i n u x 内核结构 与l i n u x 内核结构基本相同，不同的只是对内存管理和进程管理进行了改写以满足无 m m u ( m e m o r ym a n a g e m e n tu n i t ) 处理器( 如a i = u 7 t d m i 、b l a c k f i n 、c o l d f i r e 等) 的要求。 另外，由于大多数内核源代码都被重写，u c l i n u x 的内核要比原l i n u x 2 0 内核小得多，但 保留了l i n u x 操作系统的主要优点：稳定性，优异的网络能力以及优秀的文件系统支持，其 体系结构如图1 3 所示。l i n u x 下编写的程序几乎不用做很大的改动就可以移植蛰j u c l i n u x 下，具有良好的程序可移植性，方便了各种应用开发。 系统支持进程应用进程服务进程 上上 系统动态链接库 1r 执行体 核心设备驱动程序 硬件设备( c p u 、内存、外部设备) 图1 3u c l i n u x 内核体系结构 1 4 主要研究工作和论文安排 环境系统 本文主要工作如下： 1 ) 理解与研究h 2 6 4 视频编码标准。 2 ) 理解a d s p b f 5 6 1 芯片结构，将前期实现的h 2 6 4 编解码器在a d s p b f 5 6 1 平台 上进行移植。 8 堕室堕皇莶兰堡主竺窒生兰垡堡奎堡二童塑塑查星生塑圭查鉴鲨鲨 3 ) 研究h 2 6 4 解码器中的去方块滤波模块，寻找一种在a d s p b f 5 6 1 芯片上的优化 实现算法，使该模块达到c i f 格式图像的实用要求。 4 1 进行a d s p b f 5 6 1 u c l i n u x 嵌入式平台上的h 2 6 4 编解码器移植，并进行系统级优 化配置，验证解码器去方块滤波模块改进算法的有效性和实用性。 论文共分五章，各章的内容安排如下： 第一章，h 2 6 4 视频编解码标准和方块效应简介，介绍课题的研究现状和采用的方法。 第二章，主要包括b l a c k f i nd s p 的开发经验的介绍，h 2 6 4 编解码器中结构和模块说 明，a d s p b f 5 6 1 移植过程中的资源分析配置。 第三章，本课题的核心内容，通过实验说明了h 2 6 4 去方块滤波的有效性，深入分析 了原有h 2 6 4 解码器去方块滤波器不足之处，最后提出了一种宏块级去方块滤波算法并在 a d s p b f 5 6 1 中进行了实现。 第四章，本课题的重点内容，包括a d s p b f 5 6 1 u c l i n u x 双核嵌入式平台中的视频编 解码移植过程的详细说明、h 2 6 4 编解码系统的嵌入式实现架构以及相应的系统级优化配 置说明。 第五章，实验结果分析，通过数据说明了h 2 6 4 解码器中宏块级去方块滤波算法的有 效性和实用性，给出了解码器中重点模块的汇编级优化效果数据，最后是 a d s p b f 5 6 l u c l i n u x 平台下的数据统计和分析。 第六章，总结和展望，总结了本文所做工作，并探讨了本课题进一步研究的方向。 9 南京邮电大学硕七研究生学位论文 第二章基于b f 5 6 1 双核平台的h 2 6 4 编解码 第二章基于b f 5 6 1 双核平台的h 2 6 4 编解码 a d s p b f 5 6 1 是嵌入式多媒体处理器，拥有两个运算速度最高7 5 0 m h z 的d s p 内核，采 用a d i 与i n t e l 共同开发的m s a 体系结构，每个内核提供两套乘法器和a l u ，专门的视频处 理硬件单元和视频处理指令，丰富的d m a 通道，内嵌大容量高速s r a m ，支持动态电源管 理。 h 2 6 4 是i t u t 视频编码专家组和i s o i e c 运动图像专家组联合提出的最新一代的视 频编码标准。不论从编码的效率方面，还是从有效的适应各种网络和各种应用领域的灵活 性方面，h 2 6 4 都体现着视频编码技术的很多优势。这些新特性使h 2 6 4 标准在实现和现有 编码标准( h 2 6 3 、 m p e g 4s i m p l ep r o f i l e ) 相同视觉效果的同时节省大约5 0 比特率。将 h 2 6 4 的先进技术和高速媒体处理器相结合，实现高效的媒体通信平台有着很好的工程意 义。h 2 6 4 基本档次的目标是使编码复杂度最小，在大部分网络环境和条件下可以提高鲁棒 性和灵活性，主要应用于可视电话、视频会议和无线通信等场合。 本文就是在a d s p b f 5 6 1 处理器上整合项目组基于a d s p b f 5 3 3 处理器开发的准实时 h 2 6 4b a s e l i n ep r o f i l e 解码器，构建了基于硬件的h 2 6 4 编解码系统平台。对h 2 6 4 解码器去 方块滤波模块进行了改进优化，提升了去方块滤波模块的实用性，同时还加入了c i f 分辨 率h 2 6 4b a s e l i n ep r o f i l e 编码器用于构建编解码系统，减少与p c 机的关联，使研究环境更贴 近实用。 本章的主要内容，首先介绍在v i s u a ld s p + + 4 0 进行a d s p b f 5 6 1 项目开发的流程以 及l d f ( l i n k e rd e s c r i p t i o nf i l e ) 文件配置策略，接着说明a d s p b f 5 6 1 平台下移 植的h 2 6 4 编解码器系统配置和优化情况。 2 1b f 5 6 1 双核d s p 开发平台 在开发运行于a d s p b f 5 6 1 上的h 2 6 4 编解码程序，通过j t a g 口下载程序到目标板 运行等操作时都需要使用a d i 提供的集成开发环境v i s u a ld s p + + ，该集成开发环境具有完 善的开发功能，其链接描述文件( l d f ) 是进行系统资源配置的重要工具。 2 1 1b f 5 6 1 的开发环境一一s u a ld s p + + 4 0 a d s p b f 5 6 1 的开发环境是a d i 提供的集成开发环境v i s u a ld s p + + 。v i s u a ld s p + + 是 开发a d i d s p 应用和工程管理的工具集合，由下列组件组成： 集成了v i s u a ld s p + + i 内核的编译和调试环境( i d e ) 。 l o 堕室坚皇奎兰堡主塑壅皇兰垡堡茎苎三童董王里! ! ! ! 翌堕兰鱼堕旦：! 竺堡堡里 具有实时运行库的c c + + 优化编译器。 汇编器和链接器。 丰富的仿真软件和程序例程。 工程( p r o j e c t ) 是开发和编译d s p 程序时的组织结构，基于v i s u a ld s p + + 的开发都是 在工程的框架下实现的。工程文件包含程序的组织和编译信息。v i s u a ld s p + + 在建立工程 时非常灵活，既可以建立包含源文件的文件夹，也可以设定d s p 代码开发工具和设置，并 为工程和单个文件指定编译设置。工程的管理通过p r o j e c t 窗1 2 1 实现。p r o j e c t 窗e l 主要包括 工程选项、工程设置和工程编译。 1 ) 工程选项：对于每个代码开发工具( 编译器、汇编器、链接器和加载器) ，一个标签 页面选项控制工程的输入和生成输出的过程。选项对应每个工具的命令行开关。 2 ) 工程设置：每个工程默认有两种设置：调试( d e b u g ) 版本和发布( r e l e a s e ) 版本，其 中调试版本使得用户能够使用v i s u a ld s p + + 的调试功能跟踪程序的执行；而发布版本采用 优化功能编译工程。 3 ) 工程编译：编译是对工程和文件进行处理( 预处理、汇编和链接等) 。在工程编译期 间，v i s u a ld s p + + 处理从上次编译起修改过的工程文件及包含在已修改文件中的工程文件。 在v i s u a ld s p + + 中进行b f 5 6 1 项目开发的一般流程大概分为如下四步： 1 ) 创建b f 5 6 1 工程组：a d s p b f 5 6 1 是双核d s p ，其工程组织结构与b l a c k f i n 系列 的b f 5 3 3 、b f 5 3 1 等单核d s p 不同，采用工程组的组织形式，一个完整的b f 5 6 1 工程组 包含五个工程，一个主工程( e x e c u t a b l ef i l e ) ，四个库工程( l i b r a r yf i l e ) 分别是a 核工程、b 核工程、l 2 共享缓存工程、l 3 外部内存工程。 2 ) 设置工程选项和工程编译选项