（电路与系统专业论文）基于ARM9的AVSM软件解码器优化研究[电路与系统专业优秀论文].pdf

摘要 摘要 多媒体技术和数字通信技术的迅速发展 使视频编码和压缩技术成为研究的 热点 通信信道带宽以及终端处理器处理能力的限制 对视频编码标准提出了更 高的要求 a v s a u d i o v i d e o c o d i n g s t a n d a r d 是为了改变我国音视频压缩领域 缺乏自主产权的局面 由国家信息产业部的音视频编解码技术标准工作组制定的 第二代信源编码标准 a v s m 作为a v s 的第七部分 足专门针对无线网络的特 点提出的移动视频编码标准 通过对a v s m 编解码原理深入的学习 本文首先将a v s m 参考代码w i n 2 5 a 移植到a r m 体系上 接着对w m 2 5 a 进行了c 代码的无失真优化 从两个优化 指标 程序代码 数据存储空间和解码速度 分别阐述和研究了各种优化的方法 消除冗余 减少内存搬运 结构调整 算法优化等 各种优化方法融合应用于不 同的模块 对同一个问题的不同优化途径 将根据实际的优化结果进行比较分析 采用较合理的方法 文章最后对优化之后的解码器进行一致性测试和l c d 输出 程序的设计 完善了解码器 本文给出的最终解码器优化结果 与参考代码相比较 在程序的代码存储空 间和数据存储空间上分别有4 0 7 0 和7 9 2 5 的减少 在解码速度上有5 8 倍的 提高 解码器在主频为3 8 4 m h z 的h h a r m 2 4 4 0 平台上 对图像尺寸为q v g a 码率在3 8 4 k b p s 以上的视频测试序列解码时 速度在1 8 一2 6f p s 之间 基本符合 了嵌入式系统的实际应用需要 关键字 a v s m a r m 9 优化 摘要 a b s t r a c t v i d e oc o m p r e s s i o n t h o u g har e s e a r c hf o c u sb r o u g h tf o r n lb yt h ef a s t d e v e l o p m e n to fm u l t i m e d i at e c h n o l o g ya n dd i g i t a lc o m m u n i c a t i o nt e c h n o l o g y h a s p o s e dah i g h e rd e m a n do nv i d e oc o d i n gd u et ot h el i m i t a t i o no ft h eb a n d w i d t ho f c o m m u n i c a t i o na n dt e r m i n a lp r o c e s s o r a v s a u d i ov i d e oc o d i n gs t a n d a r d t h es e c o n dg e n e r a t i o ns i g n a l o u r c 圮c o d i n g s t a n d a r de s t a b l i s h e db ya u d i oa n dv i d e oc o d i n gs t a n d a r dw o r k g r o u p w i l lb et h e s o l u t i o nt ot h el a c ko fi n d c p e i l d e n tp r o p e r t yr i g h ti na u d i oa n dv i d e oc o m p r e s s i o n d o m a i ni nc h i n a a st h es e v e n t hp a r to f a v s a v s mi st h ev e r ym o b i l ev i d e oc o d i n g s t a n d a r da c c o r d i n gu n i q u e l yw i t l lt h ec h a r a c t e r i s t i c so f w i r e l e s sn e t o nt h ep r i n c i p l e so f a v e m r e f e r e n c ec o d ew i n 2 5 ai sf i r s tt r a n s p l a n t e dt oa r m a r c h i t e c t u r e t h e ncc o d en o n d i s t o r t e do p t i m i z a t i o no nw i n 2 5 ap r o c e e d e dw h i c h e x p l o r e s i nt w oa s p e c t so fc o d e d a t as i z ea n dd e c o d i n gs p e e d t h ef o l l o w i n gk i n d s o fm e t h o d sa s r e d u n d a n c ye l i m i n a t i o n m e m o r ym o v e m e n tr e d u c t i o n s t r u c t u r e a d j u s t m e n t a r i t h m e t i co p t i m i z a t i o ne t c w h e nd i f f e r e n to p t i m i z a t i o nm e t h o d sw e r e o p t i o n a lo n o n ep r o b l e m t h ea p p r o p r i a t eo u ew a sa d o p t e da c c o r d i n gt o t h e o p t i m i z a t i o nr e s u l t f u r t h e r m o r e t h ec o n f o r m a n c e t e s to nt h eo p t i m i z e dd e c o d e ra n d t h ed e s i g no nl c d o u t p u tp r o g r a m m i n gh a v eu l t i m a t e l yp 础e c t e dt h ed e c o d e r c o m p a r e dw i t hr e f e r e n c ec o d e t h eo p t i m i z a t i o nr e s u l tr e d u c e dc o d es i z ea n dd a t a s i z eb y4 0 7 0 a n d7 9 2 5 a n di m p r o v e dd e c o d i n gs p e e db y5 8t i m e s w h e nv i d e o t e s ts e q u e n c e s q v g a a b o v e3 8 4 k b p s w e l ed e c o d e d t h es p e e dw a s1 8 2 6 f v so n h h a r m 2 4 4 0 3 8 4 m h z p l a t f o r m w h i c hb a s i c a l l ya n s w e r e dt h ee m b e d d e ds y s t e m a p p l i c a t i o nr e q u i r e m e n t k e yw o r d s a v s m a r m 9 o p t i m i z a t i o n u 第一章绪论 第一章绪论 多媒体技术 是将文本 图形 图像 动画 视频和声音等形式的信息结合 在一起 并通过计算机进行综合处理和控制 能支持完成一系列交互式操作的信 息技术 随着计算机技术 集成电路技术和网络通信技术的发展 多媒体有着广 泛的应用前景 视频图像作为重要的多媒体信息 近年来发展迅猛 诸如数码摄 影 视频会议 高清晰电视h d t v v c d d v d 以及交互式视频游戏等等 视 频图像通信已经成为人类最重要的通信手段之一 视频的数据量很大 例如帧率为3 0 f p s 的c i f 3 5 2 x 2 8 8 的 视频 采 样4 2 0 数据流量将达到3 6 5 m b i t s 如果是h d t v 数据量将会更加巨大 显然 这样未经压缩的数据不仅在i n t e r a c t 有限带宽的网络上无法传输 而且也 大大超出了计算机的存储和处理能力 数字信号也失去了实用价值 因此 为了 存储 处理 传输这些数据 必须进行压缩 尽管原始视频的数据量非常惊人 但是视频数据具有高度相关性 一帧图像 或者图像序列之间有大量的冗余信息 包括时间冗余 空间冗余 统计冗余等形 式 这些冗余的存在 给视频压缩带来了可行性 视频压缩的目的就是在保证一 定图像质量的前提下 尽可能消除冗余来减少数据量 1 1 视频压缩标准的发展 视频压缩的标准化是在视频压缩技术大力发展的基础上产生的 是进行产业 化的前提 国际电信联盟 i t l 矗 和国际标准化组织电工委员会 i s o f l e c 从2 0 世纪8 0 年代开始一直致力于视频压缩标准的研究与制定 如图1 1 m 1 的标准包括有h 2 6 1 h 2 6 2 h 2 6 3 h 2 6 4 等的h 2 6 x 系列 主要应用于实时 视频通信方面 如视频会议等等 i s o i e c 的标准包括m p e g 1 m p e g 2 m p e g 4 的m p e g x 系列 主要应用于视频存储 广播电视等 l t u t 和i s o i e c 也共同 制定一些标准 m p e g 2 标准等同于h 2 6 2 h 2 6 4 则是i t u t 与i s o i e c 共同 组成的联合视频组 j v t 制定的 被纳入了m p e g 4 的第l o 部分 1 1 第一章绪论 n u th 西ih 2 6 3 i l 2 6 3 2 6 3 i s o l e c劓阱lm 唧刚 曰 国 圉 1 9 8 4 1 9 8 6 1 9 8 81 9 9 01 9 9 21 9 9 4 1 9 9 61 9 9 82 0 0 0 图1 1 国际视频压缩标准发展历程 下面简单地对这些视频标准进行介绍 1 1 1m p e g x 系列标准 2 l m p e g l m p e g 1 的传输速率是1 s m b p s 应用于数字存储媒体运动图像及伴音 的编码 适用于不同带宽的设备 如c d r o m v i d e o c d m p e g l 标准的 制定极大地促进了v c d 产业的发展 m p e g 2 h 2 6 2 m p e g 2 的传输速率为1 0 m b p s 针对高清晰电视 h d t v 数字视频 广播 d v b 以及数字d v d 等制定的 m p e g 2 支持隔行扫描 m p e g 1 则不行 另外 m p e g 2 开始具有类和等级的概念 并且开始支持h d t v 尺 寸的视频图像 m p e g 2 的产生 使高品质和音质的d v d 逐渐取代了v c d 口e g 4 m p e g 4 的初始目标是面向低码率的第二代编码标准 传输码率为4 8 6 4 k b i t s 主要应用于视频电话 v i d e op h o n e 视频邮件 v i d e oe m a i l 等 m p e g 4 引入了一个a v 对象 视频音频对象 的概念 是m p e g 4 为支持 基于内容编码而提出的 a v 对象是听觉 视觉 或者视听内容的表示单元 另外 m p e g 4 提供了基于视频对象的时域和空域可分级性 称为 视频对象 平面 v i d e oo b j e c tp l a n e 代表了视频对象平面的基本层或者增强层 2 第一章绪论 1 1 2h 2 6 x 系列标准嘲 h 2 6 1 这是最早的视频压缩标准 在码率为p x 6 4 k b p s p l 3 0 的i s d n 综合 业务数字网上传输可视电话和会议电视 只针对c i f 和q c i f 两种图像格式 每帧图像分成图像层 宏块组层 宏块层 块层来处理 为以后的标准发展 奠定了基础 h 2 6 3 i t u t 推出的最早用于低码率视频编码的标准 之后的改进版本 h 2 6 3 h 2 6 3 增加了许多选项 使之具有更广泛的适用性 h 2 6 3 的传输速率低于6 4 k b p s 图像格式可以是s q c i f q c i f c i f 4 c i f 1 6 c i f 运动补偿使用半象素精度 h 2 6 3 和h 2 6 3 则在压缩效率和抗误码性能方 面进行了改善 h 2 6 4 m p e g a v c h 2 6 4 是由r r u t 的v c e g 和i s o i e c 的m p e g 共同组成的联合视频组 j v t 颁布的 在i s o i e c 中被命名为a v c a d v a n c e d v i d e oc o d i n g 列 入m p e g 4 的第l o 部分 在i t u t 中命名为h 2 h 2 6 4 是目前为止最先 迸的视频压缩标准 具有以下优点 1 码率低 在相同的图像质量下 h 2 6 4 的码率比h 2 6 3 和m p e g 4 减少5 0 大大减少了数据流量 增加了编码效率 2 图像质量高 由于算法的成熟与先进 可以提供高清晰和高质量的图 像质量 以适应未来视频市场的需求 3 网络适用性强 网络友好 的结构和语法 增强了对误码和丢包的处 理 提高了解码器的纠锘能力 4 工作模式多 既可以工作于低时延模式来实现实时要求 如视频会议 又可以用于无时延限制的场合 例如视频存储等 5 技术先进 包括使用4 x 4 块变换 帧内预测 1 4 象素精度的运动估计 多参考帧与多种大小块的帧间预测技术 以及采用两种可选的熵编码 基于 内容的自适应变长编码 c a v l c 和基于内容的自适应二进制算术编码 c a b a c 第一章绪论 1 2a v s 视频标准的发展 卅 为了改变我国在音视频压缩标准中缺乏自主产权的局面 由国家信息产业部 科学技术司成立的数字音视频编解码技术标准工作组提出了我国自主的信源编 码标准 a s a u d i ov i d e oc o d i n gs t a n d a r d i 刀 a v s 标准是 信息技术先 进音视频编码 系列标准的简称 a v s 标准包括系统 视频 音频 数字版权 管理等四个主要技术标准和一致性测试等支撑标准 如表1 1 所示 视频标准由两个部分组成 针对高清晰度和高质量的广播电视 数字存储媒 体的a v s i 0 第二部分 和面向移动视频 低码率的a v s m 第七部分 其 中a v s l 0 已经成为国家标准 a v s m 则正在审批中 表1 1a v s 标准包含的部分 编号名称编号名称 1 系统 6 数字媒体版权管理 2 视频 7 移动视频 3 音频 8 在i p 网络上传输a v s 4 一致性测试 9 a v s 文件格式 5 参考软件 a v s 标准的制定为我国数字音视频产业化的发展提供了基础性标准 为我国 构建 技术一专利一标准一芯片与软件一整机与系统制造一数字媒体运营与文化 产业 的产业链条提供了难得机遇 产品链如图1 2 其产业化的主要产品包括 1 芯片 a v s 的编解码芯片 包括高清晰度和标准清晰度 预计国内的需 求量在未来的十多年时间内每年将达到4 0 0 0 多万片 2 软件 a v s 基于l i n u x 和w i n d o w s 系统的流媒体播放 点播等 3 整机 包括a v s 机顶盒 硬件播出服务器 a v s 手机 a v s 便携式数码 产品等 4 第一章绪论 信源编码理论 l 技术 专利 算法 i 标准i 编解码芯片与软件 广电 电信设备系统家电 p c 消费电子 媒体运营商用户 一电视台高清晰数字电视一电视机 广播电视直播卫星 一音像发行 o卜 移动视频通信 卜 一机顶盒 n ny 宽带网络流媒体 一电信运营 视频会议与视频监控 一计算机 激光视频播放机 一内容提供商 一手机 图1 2a v s 应用产品与领域 a v s m 作为a v s 的第七部分 其目的是为迅速发展的无线网络与手机等移 动设备提供视频编解码 系统 版权保护和文件格式等方面的规范和标准 应用 范围包括交互存储媒体 宽带视频业务 多媒体邮件 分组网络的多媒体业务 实时通信 远程视频监控等r 玎 a v s m 的特点 s 9 l a v s m 具有良好的兼容性 可以兼容h 2 基本层 有利于芯片支持国 内和国际两种标准 同时也有利于a v s m 标准国际化 2 a v s m 的编码效率是m p e g 2 的两倍 与m p e g 4 相当 但是由于在算 法上进行了简化 复杂度比m p e g 4 低 另外 a v s m 的专利授权模式简单 费用低廉 硬件实现成本比h 2 6 4 低 3 a v s m 采用了国际上普遍流行的混合编码模式 具体包括帧内预测 帧 间预测 变换和熵编码等一系列技术 a v s m 与h 2 6 4 一样采用图像宏块划分 技术 将视频分为序列 帧 条带 宏块 子宏块 象素 a v s m 采用两层编 码模式 视频编码层 v c l d e oc o d i n gl a y s 和网络抽象层 n a l n e t o r k a b s 似i o nl a y e r 分别负责视频数据的压缩和网络输出码流的封装 在低码率 的情况下 变换的块单位越小 编码性能越好 因此 a v s m 选择4 x 4 为最小 块单位 第一章绪论 1 3a v s m 在嵌入式系统中优化的意义 a s m 是针对无线网络与移动设备的应用而制定的 所以其应用的硬件平台 以嵌入式系统为主 在未来带宽大大增加的3 g 网络中 多媒体等娱乐信息的广 泛应用是关键亮点 尤其是手机电视 被认为是移动和媒体两大产业联姻的一个 产物 被誉为继电影 电视 电脑之后的 笫四屏幕州批1 2 1 嵌入式硬件平台相对通用计算机而言 其处理器的能力较弱 存储空间资源 有限 因而对功耗 程序的代码存储空间等提出了新的要求 而a v s m 标准的 参考代码首先考虑其功能的正确性 代码比较冗长 通常不能直接在工程中应用 因此 研究a v s m 在嵌入式系统中的优化不但可以研究视频压缩标准的原理 而且在工程中也有很大的实际意义 由于 终端设备主要负责解码端 本论文只 针对a v s m 的解码部分进行优化研究 a r m 处理器因为其体积小 功耗低 价格便宜 性能高 控制性强等特点 成为嵌入式系统的主选处理器之一 本文针对a r m 9 平台进行a v s m 解码器的 优化研究 1 4 国内研究的现状 视频解码的优化研究一般有以下三个方面 1 针对通用计算机 p c 的优化 这个主要是用作研究 实际用途不大 2 针对嵌入式系统 例如d s p a r m 等处理器平台 这个主要是软件优化 本文就是在a r m 9 平台上的软件优化研究 3 a s i c 设计 即将解码器做成专用解码芯片 大大加快解码的速度 这个主要 是应用于大规模的生产 目前关于a v s m 在这方面的资料未曾找到 由于a v s m 标准正在审批 研究主要停留在国内 现状如下 1 文献 1 3 1 a v s m 视频解码器的设计与实现 一文中提到的研究方法是基于通 用计算机的 其计算机的性能是 奔腾4 代c p u3 0 g h z 内存5 1 2 m b 测 试序列q p 值为3 2 i 帧间隔5 帧 解码1 0 0 帧图像 其结果如表1 2 6 第一章绪论 表1 2 文献 1 3 优化结果 测试序列图像格式 比特率解码时间解码速度 k b p s s f p s b u s q c i f 6 40 6 21 6 1 3 f o r e n l a nq c i f6 4 1 0 39 7 1 b r i d g e c i f6 43 2 83 0 5 m o b i l ec i f 8 04 o l2 4 9 在码率小于1 0 0 k b p s 的情况下 q c l f 1 7 6 x 1 4 4 视频序列可以达到9 0 f p s 到1 6 0 f p s 以上 c i f 3 5 2 x 2 8 8 序列可以基本达到实时 2 5 f p s 以上 2 文献 1 4 1 a v s m 解码在b r e w 平台上的实现 一义中的方法是针对嵌入式 平台的 其硬件为三星b r e w 平台手机w 1 0 9 a r m 9 2 6 e j s 中央处理器 主频1 5 0 m h z 序列的q p 均为3 6 结果如表1 3 表1 3 文献 1 町优化结果 测试序列图像格式总帧数 解码时间解码速度 s f p s s i l e n tq c i f 3 0 01 5 51 9 4 f o r e m a n q c i f 3 0 0 1 7 51 7 1 b u sq c i f 1 5 01 0 51 4 3 f o o t b a l l q c i f 2 5 0 1 7 51 4 3 可见针对q o f 的图像 解码速度可以达到1 4 l l 玲到2 0 脑之间 1 5 论文研究内容与章节安排 1 5 1 本论文的研究工作和目标 1 对a v s m 的编解码器结构的各个模块做原理分析 了解掌握a v s m 的具体 编解码原理 2 针对a r m 体系 进行a v s m 软件移植研究 3 具体研究解码器中的各个模块 分析优化方法 拟取得的优化结果 在 h h a r m 2 4 4 0 开发板 主频为3 8 4 m h z 的调试平台上 针对q v g a 3 2 0 x 2 4 0 码率3 8 4 k b p s 以上0 5 f p s 编码帧率 的视频序列 解码速度达到1 5 f p s 以上 程序存储空间小于6 9 k 数据存储空间小于1 0 k 4 解码器一致性测试分析和l c d 输出程序设计 7 第一章绪论 1 5 2 论文章节安排 第一章 绪论 主要介绍了国际上各个视频标准的发展 然后重点介绍我国 自主制定的a v s m 标准技术特点 最后针对优化研究的现状 提出了本论文的 研究内容和优化目标 第二章 首先介绍了视频编码的一些基本概念和一般视频编码的结构 然后 详细介绍a v s m 编解码原理 对主要的模块进行算法分析 第三章 首先简单介绍了a r m 体系的特点和h h a r m 2 4 4 0 开发平台的搭建 方法 然后对参考代码w m 2 5 a 在a r m 上进行移植工作 最后设计了a v s m 的 a p i 接口 第四章 是本文的重点 在对代码仔细阅读和进行复杂度分析的前提下 对 各个模块进行优化研究 各种优化方法的分析和比较 最后从程序代码 数据存 储空间和解码速度两个方面给出了优化结果 性能超过了既定的优化目标 第五章 对最终解码器进行一致性测试和视频输出程序的设计 完善解码器 第六章 给出了本文研究工作的总结 同时为下一步研究内容和方向进行了 展望 8 第二章a v s m 编解码器算法分析 第二章a v s m 编解码器算法分析 2 1 视频编码简介 视频由一系列图像组成 与静止图像不同 视频是活动的图像 按照顺序以 一定的速率投到屏幕上 由于人的视觉暂留效应 就会产生动态画面的感觉 2 1 1 时序采样 人的视觉暂留效应 指的是图像的更换频率 更幅率 大于2 0 h z 时 在视 觉上就会产生连续画面的感觉 所以 电影规定每秒2 4 帧 p a l 制电视为每秒 2 5 帧 但是实际上 如果仅仅是更幅率大于2 0 h z 人尽管能够有连续的感觉 但还是会产生闪烁的感觉 这就是因为闪烁感觉效应的存在 当重复的光源投到 人服的视网膜上时 如果出现频率不够高 人就会有忽暗忽明的感觉 而当重复 的频率大于一个值的时候 人眼就不会有闪烁的感觉 这个就是临界闪烁频率 这个频率为4 5 h z p a l 制电视播放为每秒2 5 帧 通过隔行扫描 使闪烁的频 率为5 0 h z 大于临界闪烁频率 电影为每秒2 4 帧 在放映的时候 遮光器是双 并口结构 这样在画面停留的时候曝光两次 于是闪烁频率为4 8 h z 了 2 1 2 色彩空间 自然界有无数种色彩 通过三基色原理 由红 绿 蓝三种单色光信号利用 不同的比例相加混色组成各种色彩 这样只要用三个信息 红绿蓝 r g b 存储 传输就可以了 根据对人类视觉系统 h v s 的研究 人眼对亮度的敏感度大于 色度 但是在r g b 系统中 三种基本色彩的重要性是一样的 所以我们需要通 过转化色彩空间降低色度的比例从而来减少数据量 y u v 色彩空间就能很好的 解决这个问题 y 是亮度分量 u 和v 分别是r g b 的色差分量 他们的转化公 式如下 i t g b 到y u v y 0 3 0 r o 5 9 g o 1 1 b 9 第二章a v s m 编解码嚣算法分析 u 0 4 9 3 b y v 0 8 7 7 r y 1 y u v 到r g b r y 1 4 0 7 5 r 1 2 8 g y 0 3 4 5 5 c 0 1 2 8 一o 7 1 6 9 v 1 2 8 b y 1 7 7 9 u 一1 2 8 色彩空间r g b 转化为y u v 后 可以通过采样来减少色度分量的数据量 这 个过程又称作子采样 几个y 亮度值共用一个u 色度值和v 色度值来近似地还 原象素 既可以不降低图像的分辨率 又可以减少数据量 1 4 4 4 格式 无子采样 这种格式中 每一个象素的y u v 值都 保留 如图2 1 j 爷够孕孕 啥啥i 啥q 够爷 爷够国 图2 1y u v 4 4 4 格式图 2 4 2 2 格式 4 个象素的y 亮度分量都保留 而u v 分量各取2 个象素 点 色度数据量减少了一半 如图2 2 啥o 啥 o 啥o 啥 o 岔 o q o 啥 呛 图2 2 y u v 4 2 2 格式图 3 4 2 0 格式 4 个象素的y 分量保留 u v 分量只取1 个象素点 色度 数据量减少了四分之三 如图2 3 1 0 第二章a v s m 编解码器算法分析 oo oo oo oo oooo oo oo 图2 3 y u v 4 2 0 格式图 2 1 3 一般视频编码系统 在第一章中已经提到 数据压缩的基本原理就是消除冗余 大多数视频 压缩算法采用对时间域冗余和空间域冗余进行消除来达到压缩的目的 在时 间域上 前后帧之间有很大的相关性 特别是同一个场景中的帧 而在空间 域上 彼此相邻的象素点相关性也很高 图2 4 视频编码器框图 一般的视频编码系统如图2 4 所示 主要分为三个功能单元 时域模型 空域模型和熵编码器1 1 5 1 未压缩的视频数据从时域模型输入 由于相邻帧之间存在较大的冗余 可用预测的方法来达到消除 所谓预测 就是通过对之前或者之后的帧作为 参考 采用运动估计和运动补偿来预测出和当前帧更接近的预测帧 减少预 测帧和当前帧的差别 时域模型输出的是残差图像 预测帧与当前帧相减 频域模型的输入是时域模型输出的残差图像 利用同一帧中象素点之间 的相关性 消除其频域冗余 在现在流行的视频编码标准中 包括m p e g 4 h 2 6 4 和a v s 都是对残差图像进行频域变换 量化 得到相应的系数 经 过量化之后的变换系数 保留了少量的残差系数 达到了对残差图像的压缩 第二章a v s m 编解码器算法分析 效果 熵编码是对变换系数和一些其他参数 比如帧间帧内预测模式 运动矢 量等 进行编码压缩 消除统计冗余 例如用较短的二进制码分配给出现频 率较高的系数 最后输出视频用于传输或存储 解码器则是编码器的反处理 首先通过熵解码器解出变换系数和运动矢 量等 其次 通过反交换重建残差图像 同时解码器根据参考帧和运动矢量 产生预测帧 最后预测帧与残差图像相加即得到了重建图像 2 2a v s m 编解码器原理分析 图2 5a s m 编码框图 a v s m 标准采用基于块的混合编码 b l o c k e d b a s e dh y b r i dv i d e oc o d i n g f r a m e w o r k 编码框图如图2 5 所示 a v s m 标准的应用是面向低码率的移动 设备上 因此与h 2 6 4 和a v s l 0 等不同 其在各个模块的实现上尽可能采取复 杂度低的算法以适应低带宽的无线网络 同时还采用了自主的 拥有知识产权的 编码技术 输入视频信号为需要编码的当前帧 与预测帧相减之后的残差图像 经过变 换 量化的系数通过熵编码输出码流 参考帧是之前编码过的帧经过反量化 反变 换 环路滤波等重建出来的 然后进行帧内或者帧间预测得到当前帧的预测帧 虚线框图中显示的便是a v s m 解码器 重建图像处输出为解码后的图像 a v s m 支持4 2 0 的y u v 图像格式 只支持l p 帧 标准中核心的模 第二章a v s m 编解码器算法分析 块有帧内预测 帧问预测 变换量化 环路滤波 熵编码等 这些模块的实现算 法决定着标准的编码效率与实现复杂度 在接下去的几节中 将重点对这些实现 算法进行分析 2 2 1 帧内预测 帧内预测应用在i 帧图像编码中 依据周围已经编码和重建之后的块形成当 前块的预测块 a v s m 的亮度帧内预测采用了两种方式 基于4 x 4 块的预测 i n t r a4 x 4 和基于1 6 x 1 6 块的预测 i n t md i r e c t i n t r a4 x 4 用较小的块进行 预测 可以很好地反应出图像的细节 适用于比较复杂的图像 提高图像质量 i n t r ad i r e c t 采用了宏块单位进行预测 适合于图像平坦区域 维持图像质量的同 时 降低了编码的复杂度 图2 6 亮度帧内预测模式 当采用i n t m4 x 4 时 每个4 x 4 块由上边 左边以及左上角共9 个周围的象 素值预测得到 如图2 6 所示 其中 d 与h 的象素值延伸4 个组成1 7 个象素 点对当前块进行预测 每个4 x 4 块 共有9 种预测模式可以选择 编码器使用最 佳模式进行编码 除去d c 模式 利用上边和左边的8 个点取平均值 其他8 种预测模式的方向矢量由图2 6 中0 到7 标志 与最新的h 2 6 4 相比较 a v s m 用来帧内预测的象素点为9 个而h 2 6 4 为1 7 个 另外 a v s m 改进了最可能模 式的获取方式 提高了最佳模式与最可能模式的匹配概率 如图2 7 所示 a v s m 在进行了改进之后与h 2 6 4 的帧内预测性能比较唧 1 3 第二章a v s m 编解码器算法分析 一 严 一 科 一也2 6 4 一t 8 0 0 1 2 0 01 6 0 02 0 0 0 2 4 0 0 b i t r a t e k b p s n e w s c i f 图像帧内预测 图2 7 a v s 与h 2 6 4 帧内预测性能比较 当采用i n t m d i r e c t 模式时 编码就相应比较简单 可以一次性对1 6 个4 x 4 块进行帧内预测编码 这样对平坦的视频区域非常有效 与h 2 6 4 的1 6 x 1 6 亮度 模式预测相比 无须做哈达码变换 表2 1 给出了采用i n t r a d i r e c t 模式带来的 p s n r 提升 9 1 表2 1i n t r a d i r e c t 模式提升的p s n r 测试序列全i 帧i p p p 模式 a p s n r d b a p s n r d b b u so 1 2 7 5 6 20 0 0 8 5 0 2 f o o t b a l l0 5 2 4 2 0 5o 0 1 5 7 7 5 f o r e m a n0 0 3 1 6 3 9 0 0 0 3 8 4 0 m o b i l e o 0 0 9 4 0 0 o 0 0 1 9 1 0 n e w s0 0 9 2 9 4 6 o 0 0 4 1 l o p a r i s 0 0 3 2 5 7 00 0 0 8 8 8 1 t e m p e t e 0 0 4 8 3 9 10 0 1 2 5 9 6 平均提升 o 1 2 1 1 3 00 0 0 5 1 2 8 色度帧内预测基于4 x 4 块 但是每个8 x 8 色度块中的所有4 x 4 块采用相同色 度预测模式 相对亮度帧内预测 色度帧内预测比较简单 预测模式只有三种 d c 预测 水平预测和垂直预测 其方向矢量如图2 8 与亮度i n t r a 4 x 4 类似 色度帧内预测也采用了象素点延伸的方式减少为9 个象素点来预测 降低了复杂 度 昌 勰钉 5 踮雅站匏乱鲫约 审 芷z 厶 第二章魁r s m 编解码器算法分析 2 2 2 帧间预测 x a b cddddd eb d f fgh g j kl hp r h h h h 2 图2 8 色度帧内预测模式 帧问预测采用基于块的运动补偿 从先前编码和重建的帧产生当前块的预测 块 a v s m 的帧问预测只有p 帧 没有b 帧 编码器中的帧间预测包含运动估 计和运动补偿 运动估计 就是在参考帧中搜索当前块的最佳匹配块 运动补偿 就是利用运动矢量 插值等技术产生预测块 在解码端 帧间预测只包含运动补 偿 a v s m 帧间预测基于块实现 每个亮度宏块 1 6 x 1 6 划分成1 6 x 1 6 1 6 x 8 8 x 1 6 和8 x 8 如果采用8 x 8 划分方式时 可以进一步划分成8 x 8 8 x 4 4 x 8 4 x 4 四种方式 选择大的分块方式 可以减少比特数 但是小的分块方式可以保留图 像丰富的细节 编码器可以灵活地选择块的划分方式对图像进行编码 运动矢量是当前块与最佳匹配块的位移 a v s m 的亮度运动矢量精度为1 4 象素 色度运动矢量精度为1 8 象素 而且运动矢量所指的参考象素可以超出参 考图像的边界 亮度不超过1 6 个象素 色度不超过8 个象素点 帧间预测中 对参考块的插值是最重要的部分 图2 1 0 中给出了参考块的整数象素点 1 2 象 素点 1 4 象素点的位置 其中 a 等大写字母是整数象素点 小写字母是非整 数象素点 第二章a v s m 编解码器算法分析 图2 9 帧间亮度插值示意图 当运动矢量指向整数象素时 不需要插值 参考值即是得到的预测值 当运动矢量指向i 2 象素点时 预测值通过水平8 抽头滤波器 1 4 1 2 4 l 4 1 1 2 4 1 和垂直4 抽头滤波器 l 5 5 1 计算得到 例如图 中i 2 点b 首先对水平方向上最近的8 个象素点滤波 得到中间值b c 4 d 1 2 e 4 l f 4 l g 一1 2 h 4 i 3 最后的预测值b b 3 2 6 图中 的l 陀象素点j 则是由垂直方向上的4 个1 尼象素点滤波得到 即j e a b t h h 最后的预测值j j 4 3 其中缸 t h h 和上面求b 的方式一 样 分别由水平滤波而得 当运动矢量指向1 4 象素点时 预测值通过最近的整数点或者1 2 象素点线 性插值计算 例如1 4 象素点a 有整数点f 和l 2 象素点b 而得 a 饵 h 1 l 对于色度分量的1 8 象素样本 使用双向线性插值方法取得 如图2 1 0 色度 样本插值使用与对应亮度块的运动矢量m v e 预测样本矩阵的元素 p r e d m a t r i x x y 根据下式计算 p r e d m a t r i x x y c l i p l 州x 哪y x a d x 8 d y x b s 4 x x d y x c d x x d y x d4 3 2 6 图2 1 0 帧间色度插值示意图 1 6 第二章a v s m 编解码器算法分析 与h 2 6 4 相比较 a v s m 采用了新的插值方法有效地避免了专利问题 表 2 2 给出了a v s m 和h 2 6 4 在插值方法上的比较1 9 表2 2a v s m 和h 2 6 4 插值比较 h 2 6 4 a v s m 比较结果 a v s mv sh 2 6 4 门数 9 0 19 1 51 5 5 关键路径 i l s 3 5 93 7 75 0 1 功耗 m w 3 6 0 03 5 6 4 1 0 内存 1 2 9 61 2 3 2 4 9 4 为了减少运动矢量的数据量 a v s m 采用了对运动矢量进行预测之后传输运 动矢量差值的方法 图2 1 1 所示 e 为当前块 a b c d 分别是e 的周边 块 其中d 的右下角 b 的左下角和e 的左上角紧贴 c 的左下角紧邻e 的右 上角 a 的右下角则与e 的左下角相连 当c 块不存在时 直接使用d 块的运 动信息 当a b c 三块中只有一块可以用时 则e 的预测运动矢量直接为存在块 的运动矢量 当多块可用时 如果e 是g x l 6 的左块 e 的预测运动矢量等于a 的运动矢 量 e 是8 x 1 6 的右块 e 的预测运动矢量等于c 的运动矢量 如果e 是1 6 x 8 的上块 e 的预测运动矢量等于b 的矢量 如果e 是1 6 x 8 的下块 e 的预测运 动矢量等于a 的矢量 其他情况时 根据最佳接近原则 选取和其他两个运动矢量最近的运动矢量 作为当前块e 的预测运动矢量 根据以上方法得到的预测运动矢量 和运动估计搜索得到的最佳匹配块运动 矢量m v 相减得到差m v d 进行熵编码 i d bc i a 当前块e 图2 1 1 运动矢量预测示意图 1 7 第二章a v s m 编解码器算法分析 2 2 3 变换与量化 变换过程是将残差图像转换到一个变换域上 使数据相关性减少 而且紧凑 a v s m 采用了基于4 x 4 块的可逆整数余弦交换 i c t 具有计算速度快 实现 简单等优点 避免了浮点运算 在嵌入式系统中尤其重要 与h 2 6 4 不同 a v s m 的直流d c 系数不用进行哈达码二次变换 减少了实现复杂度 a v s m 的交换 系数矩阵如下 222 l l一3 2 22 33 1 由于采用了i c t 各个变换的模大小不一 因此需要对变换系数进行缩放达 到归一化 另外为了减少乘法的次数 h 2 6 4 将正向缩放和量化结合在一起 反 向缩放和反量化结合在一起 a v s m 中 采用了带频密封整数变换p i t 技术 就是将正向缩放 量化 反向缩放结合在一起 而解码器有反量化 减少了解码 端的存储与运算开销 示意如图2 1 2 其中虚线框内为编码器部分 6 1 传统i c t 变换和量化 p i t 变换和量化 图2 1 2 p i t 和传统i c t 的比较 量化是为了将处于大范围的信号映射到一个较小范围中 减少数据的比特 数 a v s m 中采用标量量化 避免了乘法和浮点运算 量化的操作公式为 孕r o 俐 扫 2 1 其中是乙量化得到的系数 x 是变换系数 q 岬是量化步长 用量化参数 q p 进行索引 a v s m 中 量化参数范围为0 到6 3 而且每增加8 量化步长就 第二章a v 譬m 编解码器算法分析 增加一倍 表2 3 给出了a v s m 采用的变换量化方法与h 2 6 4 性能的比较 9 1 表2 3a v s 与h 2 6 4 变换量化性能比较 测试序列 p s n r d b q c i f 5 h zq c l f 1 5 h z c i f 15 h zc i f 3 0 i i z b u s o 0 1 9 8 3 1 o 0 2 6 9 9 7 0 1 1 7 9 1 5 o 1 2 0 4 1 1 f o r e m a n0 0 2 6 5 9 8 0 0 0 7 0 2 1 0 0 9 9 13 8 0 0 8 8 1 0 6 f o o t b a l l0 0 6 1 7 9 70 0 2 3 3 5 0 0 0 1 1 8 0 9 0 2 1 8 5 8 m o b i l e0 0 1 9 5 8 5 o 0 1 5 8 0 7 0 0 7 9 2 3 9 0 0 8 5 1 6 5 n e w 0 0 0 1 9 2 80 0 0 2 6 9 5 0 0 2 7 1 0 2 0 0 2 7 6 2 0 p a d s0 0 4 6 1 8 0o 0 1 9 0 5 5 o 0 3 4 4 8 10 0 3 2 4 9 8 t e m p e t e 0 0 8 4 2 8 7 o 0 1 4 4 7 2 0 0 0 3 9 7 0 0 0 3 7 1 6 9 平均提升o 0 0 6 8 7 3 0 0 0 0 7 3 6 0 0 5 3 3 8 0 0 0 4 9 6 9 0 变换量化之后 非零的系数集中在4 x 4 块的左上角 其中d c 0 o 系数是最 重要的 为了进行熵编码操作 需要对量化系数进行z i g z a g 扫描 如图2 1 3 2 2 4 熵编码 2 1 3z i g z a g 扫描示意图 a v s m 码流中的语法元素均采用定长码或指数哥伦布编码 均匀分布的语法 元素用定长码来编码 可变概念分布的语法元素用指数哥伦布编码 不定长的非 变换系数 运动矢量等 直接用指数哥伦布编码输入码流 变换系数先通过 2 dv l c 编码 然后再指数哥伦布编码 而在h 2 6 4 中 指数哥伦布只编码变换 系数以外的语法元素 经过z i g z a g 扫描之后的量化系数 存在着大量的连续零系数 a v s m 用二 维数组 1 e v e l 和r u n 来表示一维系数 l e v e l 数组包含了非0 量化系数的幅值 r u n 数组代表非零系数前连续零的个数 a v s m 采用基于上下文 根据已编码的 系数来确定v l c 码表的切换 的2 0 v l c 来编码4 x 4 块 对于帧内 帧间 亮 第二章a v s m 编解码器算法分析 度 色度的不同 分别用不同的v l c 码表 总共有1 8 张 下面将对a v s m 大量采用的指数哥伦布编码进行阐述 以0 阶指数哥伦布 为例 o 阶指数哥伦布码子的构造方式 mz e r o l 1 u f o 其中 i n f o 是携带信 息的域 中间的1 是标志位 前