（信号与信息处理专业论文）avsm编码器算法研究和解码器dsp移植和优化.pdf

a v s - m 编码 i | 算法研究和解码器d s p 移植及优化 a v s - m 编码器算法研究和解码器d s p 移植和优化 摘要 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 标准是我国自主制定的数字音视频编解码技术国 家标准。其中a v s 的第七部分移动视频( a v s m ) 标准是为了数字存储媒体、网络流媒 体、多媒体通信等应用中，针对运动图像压缩技术的需要而制定的。 本文首先分析了课题背景和发展现状，简单比较了几种宏块分割模式算法的特点和解码 器d s p 优化方法。 然后分析研究了a v s m 编解码器的结构和核心算法，将改进的人眼对比灵敏度模型应用 到编码器的帧问预测宏块模式选择算法中，得到该算法的快速算法并在p c 平台上验证，使 编码器在保证视觉质量的前提下，速度提高了5 3 。 本文又将解码器源码w m 2 4 移植到t m s 3 2 0 c 6 4 1 6d s p 平台之上，在正常运行的前提下， 应用c 语占优化、汇编优化、存储器优化和本设计提出的针对插值算法结构的优化这几种方 法，使q c i f 格式的最终解码速度是优化前的3 倍多，达到4 6 帧秒，满足了实时要求。 关键词“s mo s p 宏块分割优化 垒! ：竺塑型堂竺垄笪塑塑丝些矍里! ! 堡堕丝堡垡 t h er e s e a r c ho fa v s me n c o d e ra n do p timiz a tio no ft h e d e c o d e r a b s t r a c t a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) i st h es t a n d a r do fv i d e oa n da u d i o d e s i g n e db yo u rc o u n t r y s e v e np a r t so fa v s m o b i l ev i d e o ( a v s m ) i sd e s i g n e d f o rc o m p r e s s i n gm o v i n gi m a g e so fd i g i t a ls t o r a g e ，n e t w o r ks t r e a m ，m u l t i m e d i a c o m m u n i c a t i o n i nt h i sp a p e rt h eb a c k g r o u n da n dt h es t a t u so ft h er e s e a r c ha r ea n a l y z e d f i r s t l y s e v e r a la l g o r i t h m so ft h ec h o i c eo fm a c r ob l o c kp a r t i t i o nm o d e sa n d m e t h o d so fd s po p t i m i z a t i o na r es h o w e db r i e f l y t h e ns t r u c t u r ea n da l g o r i t h m so f t h ea v s me n c o d e ra n dd e c o d e ra r ea n a l y z e d i nt h ee n c o d e r , t h ev i s i o nm o d e li su s e di nt h ea l g o r i t h m so ft h ec h o i c eo fm a c r ob l o c kp a r t i t i o nm o d e s t h ef a s ta l g o r i t h mi sa p p l l e di ne n c o d e ro np c ，t h es p e e dh a sb e e ni m p r o v e db y 5 3 a n dt h ee f f e c tisg o o d t h e nt h ed e c o d e rs o u r c ec o d e - - w m 2 4i sr e p o t t e do nt m s 3 2 0 c 6 4 1 6d s p t h e o p t i m i z a t i o n so fcc o d e ，a s s e m b l yl a n g u a g e ，s t o r a g es p a c ea n dt h es t r u c t u r eo f i n t e r p o l a t i o na l g o r i t h ma r eu s e dt ot h ed e c o d e r ，a n dt h er e s u l t so fe v e r ym e t h o d o fo p t i m i z a t i o nh a v eb e e ng o t a st oq c i ft h ef i n a lr e s u l ti st h r e et i m e sa s f a s ta st h er e p o t t e do n e i th a sm e tt h er e a l t i m en e e d k e yw o r d ：a v s m d s p p a r t i t i o no fm a c r o b i o c k o p t i m i z a t i o n 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含未获得! 适! 地迢壹基丝嚣要挂型直盟 笪：奎拦亘窑2 或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：王嘞兹 签字日期：弘。年g 月：同 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并向国家有 关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权学校可以将学 位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手 段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： ；蟛妻 导师签字 签字日期：游6 , e lz r 签字同期：年 月r 学位论文作者毕业后去向， 工作单位： 通讯地址： 电话： 邮编： a v s m 编码器算法研究和舸码 | d s p 移植发优化 0 前言 0 1 概述 近年来随着现代视频处理和通信技术的发展，数字视频由于其产生较低的数据量渐渐取 代了模拟视频的主导地位，同时也伴随着其标准化不断发展，带来了无限商机。现阶段国际 两大组织( i s o 和i s t t ) 分别制订了m p e g 系列标准和h 2 6 x 的标准，伴随着新标准的 提出，新产品、新应用也随之发展。m p e g l 标准带来了v c d 的兴起，m p e g 2 标准带来了 d v d 和h d t v 的商机，而h 2 6 l 应用在i s t n 、h 2 6 3 应用在p s t n 成为可视电话标准一部 分，也将视频标准推向网络化应用的新时代，而m p e g 4 和h 2 6 4 使视频压缩技术发展到了 一个更高的阶段，能够在较低带宽上带来更高质量的传输，为移动视频及视频通信领域带来 了新的解决方案。 a v s 标准是我国自主制定的数字音视频编解码技术国家标准，a v s 标准包括系统、视 频、音频、数字版权管理等四个主要技术标准和一致性测试等支撑标准。它是我国拥有自主 知识产权的技术，避免了国外专利收费的问题。a v s 标准有着很广阔的应用前景，包括交互 存储媒体、宽带视频业务、多媒体邮件、分组网络的多媒体业务、实时通信业务( 视频会 议，可视电话等) 、远程视频监控等。其中a v s 标准的第七部分【l l 移动视频( a v s - m ) 是为了适应数字存储媒体、网络流媒体、多媒体通信等应用中对运动图像压缩技术的需 要而制定的。a v s m 视频的主要特点是应用目标明确，技术有针对性。a v s m 主要是针对 小画面显示的3 g 应用，它是一个面向新一代移动通信的视频编码杯准。 d s p 是数字信号处理器的简称，作为众多电子信息产品的核心引擎，借助其在高速实 时信号处理中的优势和后数字时代对高速大吞吐量数字处理的需求，在通信市场占掘主导地 位的同时，d s p 的应用也拓展到数字媒体和数字消费类产品领域，同时更以其完全软件可 编程的灵活性，在数字视频领域发挥着越来越大的作用。 在视频应用方面，d s p 平台和a s i c 是两个应用较多的解决方案，d s p 平台相对a s i c 有以下优势： l 、可以根据市场需求，第一时间增加新的功能，改善产品性能，开发周期短； 2 、很多厂家提供专门用于视频的d s p 平台，现在d s p 芯片的功能非常强大，速度很快，可 以处理多路的视频信号，功耗也越来越低，可降低产品成本； 综上所述，现代视频应用的范围越来越广，要求也越柬越高，而d s p 平台的高速发展也 为视频应用提供了一个很好的硬件平台。由于有限的网络带宽条件和对视频应用的实时性要 求，所以在d s p 平台实现视频解码器算法有着很广泛的市场发展前景和研究价值。 a v s m 编码 算泣研究和解码器d s p 移植及优化 0 2 常用视频压缩标准 0 2 1m p e g 系列 m p e g 是m o v i n gp i c t u r e se x p e r t sg r o u p ( 动念图像专家组) 的缩写。 1 9 9 1 年1 2 月，该组织提出m p e g l ，以v c d 和m p 3 为代表产品，在c d r o m 上的音视频 存储可达到1 5 2 m b i t s 。1 9 9 4 年又推出m p e g 2 ，针对数字电视、高清电视和d v d 的视频压 缩，针对h d t v 应用的编码率为4 - 9 m b i t s 。1 9 9 8 年又推出了m p e g 4 ，比m p e g 2 在保证画面 质量的情况下有着惊人的数据压缩比，多用于手机等消费电子产品，也丌始应用在监控设备 上，并在m p e g 4 中首次提出一种基于内容的视频编码形式，有别于m p e g l 中基于矩形块的 帧结构，在需要超低比特率的时候使用基于块的结构，在有比较高要求的场合使用基于内容的 结构。m p e g 系列的平均压缩率在l ：5 0 ，最高可达1 ：2 0 0 。 0 2 2h 2 6 x 系列 h 2 6 x 系列是由国际电信联盟( i t u t ) 提出的，i t u t 是国际电信联盟标准化部门。 1 9 9 3 年，i t u 提出h 2 6 1 ，为在综合业务数字g 目( i s d n ) 上开展双向声像业务( 可视电话、视 频会议) 而制定的，速率为6 4 k b s 的整数倍。h 2 6 1 只对c i f 和q c i f 两种图像格式进行处理。 1 9 9 6 年，提出h 2 6 3 ，是最早用于低码率视频编码的i t u t 标准，随后出现的第二版( h 2 6 3 + ) 及h 2 6 3 + + 增加了许多选项，使其具有更广泛的适用性，在p s t n 上至少有6 4 k b s 。h 2 6 4 是 由i s o i e c 与i t u - t 组成的联合视频组( j v t ) 制定的新一代视频压缩编码标准，已经被纳入 m p e g 4 的第十部分，它具有相当高的数掘压缩比，在同等的图像质量条件下，h 2 6 4 的数掘压 缩比能比m p e g 2 高2 3 倍，比m p e g 4 高1 5 2 倍。正因为如此，经过h 2 6 4 压缩的视频数 据，在网络传输过程中所需要的带宽更少。在相同的重建图像质量下，h 2 6 4 比h 2 6 3 + 和 m p e g 4 减小5 0 码率。但是h 2 6 4 有着较高的计算复杂度。 0 2 3 a v s a v s 标准由我国数字音视频编解码技术标准工作组提出。a v s n 编码效率理论上b k m p e g - - 2 国际标准高2 3 倍，可节省一半以上的无线频谱和有线信道资源，降低传输和存储的复杂度， 也可以兼容m p e g 4a v c h 2 6 4 国际标准基本层，有着广阔的应用前景。 0 3 发展现状 0 3 1 视频算法开发现状 n 1 p e g 2 、m p e g 4 标准，在软件、d s p 及a s i c 丌发应用方面都比较成熟。关于h 2 6 4 标准，产业化的产品相对比较少，但是对于它的算法和应用的研究却已经相当广泛。a v s m 标准提出时间比较短，在p c 机上的丌发研究比较多，而d s p 和a s i c 的相关研发较少，但其 2 a v s m 编码器算法研究和角| 码器d s p 移植及优化 作为我国拥有自主知识产权的国家标准，许多方面都有着自己的优势，而且也有着国内的产业 化联盟为其尽早实现产业化做强大的后盾。 o 3 2 帧间预测宏块模式选择算法发展现状 视频编码器的算法中，运动估计和运动补偿两种算法的研究比较广泛。其中的帧自j 预测宏 块分割模式选择，有以下几种算法：根据优化率失真模型 4 1 进行选择、根掘邻块的分割方式【5 】 进行选择、根掘预搜索分割【5 l 进行选择等。其中，优化率失真模型的方法分割的效果较好， s n r ( 信噪比) 可能会有所提高，但是计算量比较大；根据邻块的分割方式【5 l 进行选择，对于 某些运动和视频不是很复杂的情况是效果是较好，但是会受到邻块处理正确性的影响，并且对 于邻块的参考作用不大的视频序列，运算量还是偏大；使用预搜索的方法，算法的速度的提高 和s n r 的下降是比较理想的，但是还是要收到预搜索效果本身算法的制约。以上的算法都没 有将重点放在人眼的视觉特征方面，本文的帧问预测的宏块分割模式采用的创新的快速算法， 针对视觉特征，根据宏块边缘信息选择分割方式。 0 3 3 基于d s p 的视频解码器发展现状 对于解码器的d s p 实现，除了需要根据不同的d s p 平台进行移植外，通常优化方法有c 语言的优化、存储器的优化、软件流水线优化、汇编优化1 7 - 9 1 3 5 3 7 1 。本文也应用了其中的一些 常规优化方法。对解码插值部分的d s p 优化大致有两个方法，一个方法是根掘解码的每个插 值位置计算，另一个是先进行预计算所有1 2 位置的像素，再根掘解码每个像素计算，1 2 和 l 4 像素位置直接读预计算的数据计算或存储i l ”。后一种较适合一些1 4 插值位置比较多的情 况和某些读写数据性能比较差的d s p ，由于当前d s p 读写存储器性能越来越好，笔者在本设 计d s p 平台上试过这种方法( 未进行代码优化) ，速度较标准算法稍高，所以本文还是会在 标准算法的基础上考虑到d s p 读写数据和其他一些特点，重新调整算法结构，使这一部分的 计算速度有得到提高。 0 4 本文的主要研究工作 本文的研究工作主要分为两大部分：a v s m 解码器d s p 平台的移植和d s p 平台的优化、 a v s m 编码器算法研究。 本文将在分析a v s m 编解码器结构的基础上。把人眼的对比灵敏度的视觉模型应用在帧 日j 预测宏块模式选择中，研究快速算法，给出解码器在d s p 平台的移植及优化方案，然后在 原编码器标准算法的基础上对宏块模式选择方面进行算法的改进。 本文内容分为五章内容，安排如下： 第一章概述本课题的背景和意义，常用的视频压缩标准的特点和应用范围，以及各种d s p 芯片的特点。 a v s m 编码器算法研彳e 和斛码器d s p 移植及优化 第二章针对a v s m 编解码器结构和关键算法进行分析研究。分析a v s m 编解码器的核心 算法并详细给出整个解码器的架构，以及各个算法在架构中起的作用。提出一个编码器算法的 快速算法，给出算法实施的理论依据，实施方法和最后结果。 第三章概述d s p 芯片和t i 的c 6 4 1 6 开发平台的特点。实现本文用到的实验平台和实验系 统。 第四章分析研究解码器在d s p 平台上的移植和优化。论证移植和优化的流程和具体方法， 以及本文的具体实施方法，并将在最后给出验证结果。 第五章对全文进行总结并提出下一步的研究方向。 4 a v s m 编码 j 算i 土研究和解鸹器d s p 移植及优化 1a v s m 算法分析及探讨 1 1a v s - m 编解码器的结构 根据a v s m 的标准”描述，将编解码器的结构和编解码过程描述如下： 图1 1 编码器结构 编码过程分为以下几个步骤： l 、首先确定当i j 帧是i 帧还是p 帧，i 帧做帧内预测，p 帧做帧i 日j 预测( 也可以选择做帧内预 测) ，预测结束进行运动补偿。帧内预测有九种预测模式，根据帧内已经编码的像素计算选择 最佳预测；帧1 日j 预测是在参考帧中在整数和分数插值位置做搜索，找到代价函数值最小的块作 为参考块，得到运动向量。 2 、对于运动补偿后的残差，进行整数变换和量化。 3 、对量化的后的数掘分为两种计算，一种进行反变换反量化，再根据第一步的预测值重建， 重建帧作为下一帧或下几帧编码时的参考帧；一种是对量化后的数掘进行变长编码，然后对结 果进行哥伦布编码，再将向量( p 帧) 和头信息也进行哥伦布编码，形成输出比特流。 毓臣m 巫卜“膈”譬 ! 屯巫 匝i h 至h 至h 互感 图】2 解码器结构 解码过程分为以下几个步骤： 1 、熵解码对经过编码压缩的比特流进行解码提取出每帧、条带和宏块的头信息，包括图像是i 帧还是p 帧；宏块和子宏块类型；帧内预测模式；帧1 日j 预测时每个子块的运动向量：量化参数 等等。这罩采用的是不同阶数的哥伦御码。 a v s m 编码辨算法研究和解码器d s p 移植及优化 2 、对一帧中每个宏块逐次进行块解码、反量化反变换，块解码包括变长码解码得到l e v e l ( 非 零量化系数的幅值) ，1 1 1 1 1 ( 当前非0 量化系数前的连续0 的个数) 值，再由这两个值生成量化 系数，通过逆扫描将量化系数按顺序放入块中。 3 、对量化系数经过反量化和反变换得到宏块系数残差值，采用4 x 4 整数反变换反量化。 4 、根据熵解码得到的帧内或帧日j 预测模式对每个宏块进行解码，帧内预测共有9 种预测模 式，帧间需要结合熵解码中得到的运动向量以及在参考帧中进行半像素或1 4 像素的运动估 计。 5 、最后根据预测得到的参考块和反量化和反变换后得到的残差块进行一帧的重建。 6 、对重建帧根据滤波模式进行环路滤波。 1 2 解码比特流描述【1 j 1 、编码视频序列 编码视频序列由一个i d r ( 即时刷新存储单元) 图像即i 帧开始，后面跟着零个或多个非 i d r 图像，直到但不包括下一个i d r 图像或直到比特流结尾。编码图像在比特流中按比特流顺序 排列，比特流顺序应与解码顺序相同。 2 、帧 帧由三个样本构成，包括一个亮度样本( y ) 和两个色度样本( c b 和c r ) 。 文中实现的a v s m 版本支持4 ：2 ：o 格式的图像。支持两种解码图像，帧内解码图像( i 帧) 和前向帧问解码图像( p 帧) 。 p 帧最多可参考前向的两帧。运动矢量所指的参考像素可超出参考图像的边界，在这种情 况下对超出参考图像边界的整数样本应使用距离改整数参考样本所指位置最近的图像内的整数 样本进行边界扩展。对亮度样本矩阵，参考块的像素在水平和垂直方向均不应超出参考图像边 界外1 6 个像素。对色度样本矩阵，参考块的像素在水平和垂直方向均不应超出参考图像边界外 8 个像素。 3 、宏块 图像划分为宏块，宏块左上角的点不应超出图像边界。 宏块的划分见下图，这种划分用于运动补偿。图1 3 中矩形罩的数字表示宏块划分后运动 矢量和参考索引在码流中的顺序。 i 十1 6 x 1 6 危韭块2 个1 6 x h 崧度块2 十鼽1 6 靠度块d 个舭8 亮瞳块 和榭埘的也膻块和_ i 埘帕也垃堍和舸i 冉的仙地块和月i j q 限i 也j 韭块 分口日田田 1 个8 x 8 兜度块2 个8 x 4 兜艘块2 4 4 x 8 ，：殳块 个4 x 4 茕窿块 和七hj 证的也艘块和相府的乜鹰块和柏盹的色度块和州心的乜度块 8 x 8 口目田田 | 玺11 3 宏块划分模式 6 a v s m 编码= ； 算法研究和解码器d s p 移植及优化 1 3 编解码关键技术 根掘标准【。1 要求，按解码器结构来分析介绍编解码的关键算法。 1 3 1 熵编解码和块编解码 在a v s m 熵编码过程中，所有的语法元素和量化后数掘都是以指数哥伦布码的形式映射 成二进制比特流。对预测残差的块变换系数，经扫描形成( 1 e v e l 、r u n ) ，l e v e l 、i 1 1 1 3 相互关联 最终可以还原每块的残差。 l 、哥伦伟编解码 解析k 阶指数哥伦稀码时，首先从比特流的当前位置丌始寻找第一个非零比特，并将找到 的零比特个数记为1 e a d i n g z e r o b i t s ，然后根掘1 e a d i n g z e r o b i t s 计算c o d e n u m 。用伪代码描述 如下： c o d e n u r a = 2 1 “跏”8 1 一2 k + r e a d b i t s ( 1 e a d i n g z e r o b i t s + k ) k 是哥伦白码的阶数，r e a d b i t s ( n ) 是返回比特流的随后疗个比特。 2 、块编解码中的变长编解码： 这部分解码是由哥伦靠解码后的元素生成量化系数值数组( l e v e l 数组) 和量化系数游程 数组( r u n 数组) 的过程。l e v e l 数组包含非o 量化系数的幅值，r u n 数组包含当前j o 量化系数 前的连续0 的个数。 首先根据是亮度数据还是色度数掘来确定查找表，然后根据t r a n s _ c o e f f i c i e n t _ 4 值的决 定查表还是其他运算来得到l e v e l 和r u n 。由这两个值填充了量化系数数组 0 u a n t c o e f f a r r a y n u m ，再通过逆扫描将量化系数数组中的值放在一个二维的块空间中。如下 图： 幽1 4 逆扫描 块内o 1 5 的数字表示量化系数数组的h u m 。 7 a v s m 编码器算法研究和解码器d s p 移植发优化 1 3 2 整数变换和量化 与以往的编码标准中d c t 变换不同的是a v s m ，使用类似于h 2 6 4 的一种整数变换，其 基本编码特性与4 4 点的二维d c t 变换相似，将二维整数变换分解为一维整数变换，先进行 行整数变换，再进行列整数变换。在变换过程中系数均为整数，保证了编解码端的数掘可以精 确匹配。整数变换是和量化紧密结合在一起的，在整数变换过程中，所有的系数都会扩大相应 的倍数，结合量化可以减少复杂度和提高量化精度。而整数运算又比传统的8 8 d c t 的浮点 数运算更加方便，易于实现。 下面以反变换反量化来介绍这部分的原理，变换和量化是一个相反的过程。 a v s m 反量化、反变换都是整数运算，降低了硬件实现复杂度，针对的是4 4 的数掘 块，降低了块效应，以下是一个4 4 块的算法处理的流程的描述： 圈1 5 反苗化反变换流稃 反量化是由二维量化系数阵q u a n t c o e f f 转化为二维变换系数阵c o e f f 。 首先确定量化参数q p ，a v s - m 的量化参数取值为o 6 3 ，q p 的值越大，精度越低。 二维变换系数阵元素由下式得到： x 口= ( 。d e q u a n t t a b l e ( q p ) + 2 “”7 “州) ”s h i f t t a b l e ( q p ) lj = 0 ，1 ，2 ，3 q o oq o l q l oq l l q 2 0q 2 t q 3 0q 3 t q 0 2q 0 3 qr 2 q 1 3 q 2 2q 2 3 q 3 2q 3 3 ，c d 纩= x 0 0x 0 x 1 0 x i x 2 0x 2 x 3 0x 3 x 0 2x 0 3 x 1 2 x i 3 x 2 2x 2 3 x 3 2x 3 3 a v s - m 中规定了q p 与d e q u a n t t a b i e ，s h i f t t a b l e 的关系表。 量化系数的取值范围为- 2 i o ( 2 0 - 1 ) ，变换矩阵系数的取值范围为- 2 ( 2 1 1 _ 1 ) 反量化过程只是乘法、移位、加法的整数运算，没有除法操作，易于实现。 反变换是由二维变换系数阵c o e f f 转化为二维残差样值阵r e s i d u e ，是基于d c t 的整数变换， 下面介绍反变换的过程： 首先先得到4 4 反变换矩阵h w = t c o e f f h = w t 。 t 为反变换矩阵，t 为t 的转置矩阵， 8 a v s - m 编码 算法研究和解码器d s p 移植发优化 t = 2 3 2l 2 一l 23 21 2 3 23 2一l ，f = 0 i w i ow l i w 2 0 i w 3 1 w 0 2m b w 1 2w d w 2 2w 2 3 w 3 2m 3 最后由反变换矩阵得到残差样值阵 r e s i d u e i ，刀= ( h i ，刀+ 2 4 ) 5 “= o ，l ，2 ，3 以上过程之所以能实现整数运算，是因为在正向变换时对变换系数有一个缩放的过程，得到 一个整数元素的变换矩阵，再将缩放因子放到量化过程中处理，形成了一个整数的运算。 1 3 3 帧内预测 为了提高i 帧的编码效率，引入了帧内预测( i n t r a p r e d i c t i o n ) 的方法，它使用相邻的宏块 对待编码宏块像素值进行预测，利用了宏块问的相关性，对预测块与待编码块残差进行变换编 码。a v s m 对亮度块的帧内预测方式有9 种，对色度块采用4 4 的块方式预测有三种。 下图待编码块与预测所需邻块的像素的关系如图所示： x be d c g k p 幽i 6 帧内预测的编码块与领块像素 亮度块9 种帧内预测模式除了预测模式8 外都带有方向性，如下图： r7 十6 5 图1 7 亮度帧i | 4 预测模式方向图 色度块的帧内预测有三种预测模式，除模式0 外，有垂直和水平两种方向，如下图： 9 1 、 dh一。 半带 j川川k， p o。oo，qo。钆纠1 a v s - m 编码器算法研究和舸码器d s p 移植及优化 c012 3 4 15 6 ；78 j ；刊。 一尊5 q 一- 6 7 8 + ； +j 图1 8 色皮帧内预测模式方向图 不同的预测方式代表了不同的方向，代表了不同的的参考邻块像素和不同的预测计算方 式，为了说明预测的特点，以帧内亮度预测模式0 为例来说明。 这个预测模式的名称是左下，方向如图所示，则 a = ( p a + p c + p 一，+ p k + 2 ( p b + p j ) + 4 ) 3 e = b = ( p b + p d + p 一，+ p 一工+ 2 x ( p c + p k ) + 4 ) 3 c = f = f = ( p c + p d + p k + p l + 2 x ( p d + p l ) + 4 ) 3 d = g = f = m = h = k = n = ( ( ( p d + p 一0 3 p = ( ( ( 尸一d + p 一三) 2 像素a 是由a 、b 、c 、i 、j 、k 六个像素预测而成，且对b 、j 加了权值，e 和b 是由b 、 c 、d 、j 、k 、l 六个像素预测而成，且对c 、k 加了权值，c 、f 和i 是由c 、d 、k 、l 六个像 素预测而成，且对d 、l 加了权值，剩下的像素都是由d 、l 两个像素预测而成，可见有着很 强的方向性，且在方向0 上的元素的预测值是相同的。 这种帧内的预测模式最大的去除了空间的冗余，对于第一块即上和左方向都没有邻块的情 况，初始化预测块为，每一个预测像素值为1 2 8 。预测结束后，将每个预测值与对应位置待编 码块的像素值做差值，即形成i 帧的残差。解码时，根掘熵解码和变换解码得到的残差和根掘 帧内预测模式得到的预测值相加，得到i 帧的重建帧。帧内预测效果的好坏也直接关乎编码效 果和效率。 1 3 4 帧间预测 帧 日j 预测和编码主要是利用视频信号的时域相关性，通过运动估计和插值算法把视频信号 的时域冗余信息去掉，从而达到压缩视频数掘的目的。由于视频信号的时域相关性远远大于其 空域相关性，所以，通过采用帧l 日j 预测和编码，可以更大的降低编码码流。 a v s m 对p 帧的亮度块提供最小是1 1 4 精度的运动估计，而色度块是l 8 精度的运动估 计。 1 、亮度块的l 4 精度运动估计 0 j i a v s - m 编码器算法研兜和解玛器d s p 移植及优化 运动估计就是在参照帧中寻找一个与当前块最匹配的块，作为当i i 块的估计值。解码器设 计中，根据熵解码得到的运动向量及其他运动估计信息来确定最佳匹配块，如果不是整数象素 位置，则要经过滤波器插值来得到参考块。 下图中给出了整数位置、1 ，2 位置、1 1 4 位置。灰色点为整数位置，其他为分数位置。 圈i 91 4 精度的运动估计像素位置 二分之样本位置的预测值通过8 抽头滤波器f l ( 1 ，4 ，1 2 ，4 1 ，4 1 ，1 2 ，4 ，1 ) 和4 抽头滤波 器f 2 ( 一l ，5 ，5 ，一1 ) 计算得到。 二分之一样本的计算过程如下： b l = ( - c + 4 d 一1 2 e + 4 1 f + 4 1 g 一1 2 h + 4 i 一，) b = c 1 f p ( ( b l + 3 2 ) 6 、 雕= ( - a + 5 f 4 - 5 n s 1 h = c l i p ( ( h l + 4 ) 3 ) _ ，l = ( - a a + 5 b + 5 t h h ) j = c l i p ( ( j l + 4 ) 3 ) 四分之一样本的计算过程如下： 萨( f + 加1 ) l ，其中b 是相应位置二分之一位置的最终预测值，f 是整数样本值。 萨( g + 胁1 ) l ，其中6 是相应位置二分之一位置的最终预测值，g 是整数样本值。 庐( f + 佛1 ) l ，其中h 是相应位置二分之一位置的最终预测值，f 是整数样本值。 1 7 = ( n + 伊1 ) l ，其中h 是相应位置二分之一位置的最终预测值，n 是整数样本值。 声( 协户1 ) 1 ，其中西和- ，是相应位置二分之一位置的最终预测值。 肛( 肿户1 ) l ，其中7 和是相应位置二分之一位置的最终预测值。 产( 6 + ，1 ) 1 ，其中b 和是相应位置二分之一位置的最终预测值。 萨( 抖户1 ) 1 ，其中和j 是相应位置二分之一位置的最终预测值。 e = ( f + _ ，+ 1 ) 1 。则如果 f o r m a t 的 b ，c ，d 等于u v 和垂直距 块。搜索 中的宏块 a v s - m 编码器算法研究和解鹤器d s p 移植发优化 分割方式，逐个模式针对每个子块分别在两个参考帧中做整数和分数位置的运动搜索，如果是 选择8 x 8 的分割方式还要对其每个子块再作搜索，然后分别计算率失真函数的值，选取最佳的 分割方式记下分割方式，参考帧的标志，在参考帧参考帧中的位置即运动向量，运动向量中包 含了是整数的运动估计还是分数的运动估计，然后将待编码块与参考块做残差，对残差和各种 帧间预测信息进行编码。解码时候，根据读出的宏块分割方式，针对每个子块和其运动向量， 计算在参考帧的插值，完成帧间预测，再将这个宏块的残差和帧间预测值相加，完成对帧间帧 的重建。 1 3 5 环路滤波 环路滤波的作用就是用来消除解码图像中的块效应，缓和块边界差别。块效应产生的原因 是由于各个宏块分别进行量化，这样在相邻宏块的交界处，由于量化步长不同导致原本取值很 接近的像素重构后产生了较大的差异，形成明显的块边界，a v s m 环路滤波以宏块为单位，对 亮度和色度分别做环路滤波，帧内和帧间有不同的滤波模式，对于帧日j 模式，如果当前宏块量 化系数小于某q p ，则不进行环路滤波。 1 4 帧间宏块模式选择快速算法研究 m p e g 一2 ，m p e g - 4 ，h 2 6 4 ，a v s m 等近年束出现及广泛应用的视频编解码标准都是采用 以宏块为基本单位的编解码方式，标准中引入不同的宏块模式，根据运动搜索计算代价函数 值，选取值最小的那种老块模式作为最终模式，这种方法能够良好的保证解码后的图像质量， 但是计算量很大，使运动估计成为整个视频编码最费时的部分之一。下面本文会比较几种宏块 分割方式选择的算法，然后提出一种新的快速算法，针对视觉特征，根据宏块边缘信息选择分 割方式，所以提高了整个帧f 日j 预测的速度，且保证了视觉效果。 1 4 1 宏块模式及几种宏块模式选择算法比较 在帧间预测中，a v s 中都有七种宏块模式( 见图1 3 ) ，宏块大小为1 6 1 6 ，每种宏块可 按照1 6 1 6 ，1 6 8 ，8 1 6 ，8 8 分割，若选择8 8 模式，还可以细分为8 x 8 ，8 4 ，4 8 ，4 4 。传统的选择方法是对1 6 1 6 ，1 6 x8 ，8 x1 6 ，8 8 四种模式分别进行搜索寻找最佳 匹配块再计算代价函数，选择代价函数值最小的模式作为最终模式，并记下每个子块的运动矢 量。若选择的8 x 8 模式，还要对模式5 7 分别进行计算，选取代价函数值最小的模式。这种 方法对每一种模式都要搜索和计算代价函数，计算量很大。下面是几种快速算法： 1 、优化率失真模型1 4 j 1 2 0 】 通过优化率失真模型，得到更加高效的率失真模型，使用优化后的模型来产生代价函数， 通过这样的代价函数得到的分割模型有些良好的编码效果，s n r 值会有一定的提高，计算量很 a v s m 编码器算法研究和斛码器d s p 移榷及优化 大，应用在对视觉效果要求比较高的场合。【4 】中即是针对d c t 的d c 系数和a c 系数量化后 需要的b i t 数的特点提出了优化率失真模型，得到决定宏块分割模式的代价函数。这种优化算 法比原算法需要的计算量更大，需要一些额外的计算。 2 、基于邻块的分割模式的算法p j 该种算法针对降低运算复杂度提出的算法。根据相邻己编码宏块的模式类型、运动信息和 比特率信息来决定当前的宏块模式的选择方式，选择按常规方法计算还是优化方法计算。这种 算法比较依赖于邻块宏块模式选择的i f 确性，并且对于邻块参考意义不大的情况，计算量还是 相当大的。 3 、基于预搜索的算法f 6 j 该种首先通过一次宏块级的运动搜索预处理得到需要的残差信息；然后根掘得到的残差纹 理大小及分布情况对帧问块的划分尺寸做出快速选择。这种算法在速度和效果改进比较均衡。 1 4 2 基于视觉特征的选择方法 1 4 2 1 基于边缘信息的宏块模板选择思想 传统的方法对每种模式逐一计算计算量很大，通常的优化方法都没有考虑人眼的特征，本 算法针对人眼对于边缘信息比较敏感的特点，为获得良好的视觉效果，希望能够在解码过程中 尽量多的还原边缘信息，去掉一些人眼察觉不到的信息，所以在模板2 4 ，5 7 的选择中， 以宏块中边缘信息及其方向作为模板的选择的根据。首先，将边缘信息分为水平方向上的和垂 直方向上的，选择模式2 或模式5 的条件为至少一个2 号子块或5 子块含有比较多的水平方向 上的边缘信息或其中一个2 号子块或5 号子块含有较多的边缘信息，选择模式3 或模式6 的条 件为至少一个3 号子块或6 号子块含有比较多的垂直方向上的边缘信息或其中一个3 号子块或 6 号子块含有e e 较多的边缘信息，选择模式4 或模式7 的条件为宏块不能按照模式1 3 或4 6 进行分割或者这些模式不能满足代价函数值的要求。选择模式4 也既明了该宏块还有复杂的 边缘信息。 1 6 1 61 6 x 88 1 68 88 44 x 84 4 田曰田田曰田田 梗式1 模式2梗式3 桓式4梗式，梗式6 梗式7 图1 1 1 模式分块图 1 4 2 2 宏块模板选择算法 1 、算法步骤 第一步，对当前宏块进行模式1 的搜索，r d c o s t 的门限值满足门限准则的，确定当前宏块采用 模式1 分割，记下最后的s a d 值和r d c o s t 值； 4 a v s m 编码器算法研究和肼码器d s p 移植及优化 第二步( 预判部分) ，如果不满足第一步要求，先进行预判确定是否能选用模式2 或3 中的一 个做搜索计算，预判方法为确定2 区或3 区是否有一个根掘对于的预判准则1 能满足含有较多 的水平或垂直边缘点数目，满足记下此模式，不满足再根据预判准则2 判断是否可根掘边缘点 总数判断最终是何种模式，能够通过两个预判准则选定模式的使用选定的模式根掘s a d 门限 准则和r d e o s t 门限准则进行搜索计算，能够在满足门限条件准则的确定当前宏块采用此种模 式，记下最后的s a d 值和r d c o s t 值，不满足门限准则的，选择模式4 ，进入第三步。不能满 足两个预判准则的选择模式4 ，进入第三步。 第三步，选用模式4 ，含有两种情况，第一种是在第二步没有满足两个预判准则确定为模式4 的，第二种是确定的模式没有满足门限要求的。对于模式4 根据s a d 门限准则经过搜索判断 得到匹配块位置记下s a d 值。 第四步，对于采用模式4 的宏块，采用近似上面三步的方法，确定模式4 7 中的一种作为最 终选定的模式。 2 、门限值的确定及分析 l 、r d e o s t 门限准则：对每种模式确定一个r d c o s t 初始值r d e o s t _ i n t ，一个校正值a r d e o s t ， 。t 如果当前宏块的r d c o s t r d c o s ti n t + r d e o s t ，记下r d c o s t 代替r d e o s t _ i n t ，作为下一个对此 种模式宏块搜索的门限值。伊一 分析：这种判断方式是在前一个以此种模式为最终分割的r d c o s t ，在一定的范围内束确定当前 一一 宏块的门限值，是根掘当前帧的情况，自适应确定门限值的方法，k r d c o s t 决定了解码后的失 真度，a r d c o s t 越大失真度就越大。 一“ 2 、s a d 门限准则：对于非模式1 的模式，将当| i 宏块当前模式的前一个进行过搜索的模式的 最终s a d 作为s a do l d ，如果当前模式当前位置s a d b 的情况，虽然失去了一定的精度，但是针对整个算法的特点和 能够比较好的硬件移植，所以避免指数运算来提高执行速度，并且解决了参考文献模型在i 比 较大时会越界的问题。b 选择2 0 0 左右比较适宜，c 和b 由a ，b 值确定。 2 、基于s o b e l 算子和视觉阈值模型的边缘点确定 根掘水平方向和垂直方向s o b e l 算子模板，结合( 1 ) 确定边缘点，根据水平s o b e l 算子： l 刊x ( i 一1