（计算机应用技术专业论文）基于omap的avs1p7解码器的实现.pdf

摘要 随着信息技术的发展，人们对多媒体通信的需求有了显著增长。为了在通信 中高效地存储和传输视频数据，必须要使用视频压缩技术。第二代视频压缩标准 进一步提高了视频编码压缩的效率，成为当今工业界和学术界研究的热点，其中 主要的几个标准包括h 2 6 4 ，a v s 以及v c 1 。作为a v s 的移动视频部分，a v s l p 7 的复杂度比现有的标准高出数倍，这就使得在硬件资源相当有限的手持通信设备 上实现基于a v s l p 7 的应用变得非常困难。本文提出了一种基于t io m a p 平台 ( 德州仪器公司的开放式多媒体应用平台) 的a v s i - p 7 解码器的实现方案。 本文首先对a v s l p 7 视频标准的关键算法及复杂度进行了分析，对其中的 反变换、运动补偿等核心算法提出了相应的优化方案，同时在代码的实现上提出 了进一步的优化措施。然后结合o m a p 的特点讨论了在其上设计软件的思想。 o m a p 5 9 1 2 是一款由a r m 9 和c 5 5 xd s p 构成的双核芯片。为了高效利用其双 核的性能，a r m 端程序被设计成负责提供与用户交互的接口和控制d s p 进行数 据处理：而d s p 端程序则实现具体的解码功能。最后，本文给出了该设计在 o m a p 5 9 1 2 平台上的仿真结果和讨论，并且对a v s l p 7 标准的产业化发展进行 了展望。 关键字：视频解码；a v s l - p 7 标准；o m a p ；a r m ；d s p ；优化方法； a b s t r a c t w i t ht h ed e v e l o p m e n to fi n f o r m a f i o nt e c h n o l o g y , t h e r ei sag r o w i n gd e m a n df o r m o b i l em u l t i m e d i ac o m m u n i c a t i o n i no r d e rt os t o r ea n dt r a n s m i tv i d e od a m e f f i c i e n t l y , “i sn e c e s s a r yt od e v e l o pt e c h n i q u e sf o rc o m p r e s s i n gt h e s ev i d e od a t a w j t hl l i g hc o m p r e s s i n ge f f i c i e n c y , t h es e c o n dg e n e r a t i o nc o m p r e s s i n gs t a n d a r d s i n c l u d i n gh 2 6 4 ，a v sa n dv c - 1b e c o m et h er e s e a r c hf o c u sn o w a d a y s h o w e v e g c o m p l e x i t yo ft h ea v s i - p 7c o d e c ，t h em o b i l ev i d e op a r to ft h ea v s ，i ss e v e r a lt i m e s h i g h e rt h a nt h a to fe x i s t i n gs t a n d a r d s s oi ti sd i f f i c u l tt oi m p l e m e n tm u l t i m e d i a a p p l i c a t i o nb a s e do na v s l - p 7f o rh a n d l e dd e v i c e sd u et ol i m i t e dh a r d w a r er e s o u r c e a n dg r e a tc o m p l e x i t y 1 1 1 i st h e s i sd e s c r i b e st h ei m p l e m e n t a t i o no fa v s l - p 7v i d e o d e c o d i n go nt io m a p ( o p e nm u l t i m e d i aa p p l i c a t i o n sp l a t f o r m ) i nt h i st h e s i s ，t h ek e ya r i t h m e t i ca n dc o m p l e x i t yo f a v s l - p 7d e c o d e ri sa n a l y z e d f i r s t o p t i m i z a t i o nm e t h o d si ni n v e r s et r a n s f o r m ，m o t i o nc o m p e n s a t i o na n do t h e r p a r t so fd e c o d e ra r ep m p o s o d , a l s oi n c l u d i n gt h ec o d er e a l i z a t i o n t h e n ，d i s c u s s i o n a b o u td e s i g n i n gs o f t w a mo no m a pi sp r o v i d e dt o g e t h e rw i t ht h ef e a t u r e so fo m a p 0 l p 5 9 1 2c o n s i s t so fa na r m 9c o r ea n dat ic 5 5 xd s p t ou t i l i z eo m a p d u a l - c o r ea r c h i t e c t u r ee f f i c i e n t l y , t h ep r o g r a mo na r mi sd e s i g n e dt op r o v i d eau s e r i n t e r f a c ea n dc o n t r o ld s p , a n dt h ed e c o d i n gj o bi sp e r f o r m e do nd s p 盈l a s t , s i m u l a t i o nr e s u l t sa r es h o w e da n dd i s e u a s e d a l s ow eh a v eap r o s p e c to f i n d u s t r i a l i z a t i o no f a v s 】- p 7 k e y w o r d s ：v i d e od e c o d i n g ；a v s i - p 7s t a n d a r d ：o m a p ；a r m ：d s p ：o p t i m i z a t i o n m e t h o d 首都师范大学位论文原刨性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或 集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体， 均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：刁阻 日期：扣石年纠日 首都师范大学位论文授权使用声明 本人完全了解首都师范大学有关保留、使用学位论文的规定，学校有权保留 学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版。有权将学 位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查阅。有权将学 位论文的内容编入有关数据库进行检索。有权将学位论文的标题和摘要汇编出 版。保密的学位论文在解密后适用本规定。 学位论文作者签名：o 易砧 日期：6 年( 明j 日 第一章锗论 1 1 课题的背景 第一章绪论 近年来，国民经济的持续快速增长有力的促进了我国通信事业的发展，尤其 是无线通信领域。据信息产业部统计，截至2 0 0 5 年底，中国移动通信市场用户 数量超过3 2 5 亿户，平均每1 0 0 人中就有2 5 1 人拥有一部手机，居世界第一位。 随着国民生活水平的不断提高，人们对通信的需求也日益多样化，传统的语音、 文本( 短信息) 等通信方式已经无法满足人们的需要，多媒体数据通信已经成为无 线通信领域的一个必然趋势，移动可视电话，以及被称为3 g 杀手级”应用的手 机电视等都将步入人们的生活，多媒体数据业务被认为是下一代网络中的主要业 务增长点。 多媒体指的是由在内容上相互关联的文本、图形、图像、音频和视频等媒体 数据构成的一种复合信息实体。其中视频是多媒体信息中最重要的组成部分，这 是因为视觉信息具有直观、形象、准确、高效和应用广泛等特点而且容易被人类 接受。医学科学研究表明，人类接受信息的8 3 来自视觉。正因为如此，视觉信 息的处理和通信得到了较快的发展，但与文本和语音信息相比，视频的巨大数据 量对通信系统中有限的带宽和存储空间提出了严峻的挑战。例如，对于s d 标清 视频，在d 1 分辨率( 7 2 0 x 4 8 0 像素) 下，帧率为3 0 f p s ，色差格式为4 ：2 ：2 ，若不 采取任何压缩措施，它的视频数据码率将高达7 2 0 x 4 8 0 x 2 x 3 0 x 8 - - - - - 1 6 5 9 m b p s ；即 使对于目前主流手机上的q v o a ( 3 2 0 x 2 4 0 ) 大小的图像，在帧率为1 5 f p s ，色差格 式为4 ：2 ：0 的情况下，码率也达到了3 2 0 x 2 4 0 x 1 5 x 1 5 x 8 = 1 3 8 m b p s 。而实际上， g s m 网络的数据传输业务速率最高只能达到9 6 k b i t s ；g p r s 理论上的最高传 输速率为1 7 1 2 k b p s ，且前的实际传输速率一般仅为4 0 k b p s 左右；即使是第三 代移动通信( 3 g ) 网络，在高速移动时传输速率仅为1 4 4 k b p s ，慢速移动时为 3 8 4 k b p s ，静止状态也只能达到2 m b p s 左右。 从上面的数据可以看出，视频信息数据量过大，现有的无线通信网络带宽根 本无法满足应用需求，而常用的存储设备也不足以承受几十甚至上百兆的码率。 因此，视频压缩编解码技术成为多媒体技术发展的关键阃题之一，它是降低传输 和存储成本，缓解网络带宽和存储空间限制的一个重要手段，也是目前多媒体通 信领域全球各大厂商投注最多研发资源的关键核心技术。 第一章绪论 1 2 视频编码原理及标准 作为一个专门的研究领域，数字视频压缩技术发展到今天已经有3 0 余年的 历史，期间视频编码技术取得了巨大的发展。本节将简要介绍视频编码原理和几 个常见的视频编码标准。 1 2 1 视频编码原理 视频编码的目的是实现对视频序列的压缩，其核心思想是去除视频数据中的 冗余信息，从而减少视频信息中存在的相关性而保留相互独立的信息分量。视频 编码在信息论中属于信源编码。研究视频信号中冗余消除方法、实现信息传输、 存储和处理的有效性和可靠性是视频编码的主要关心问题】。 视频序列中含有三类冗余：统计冗余、心理视觉冗余和编码冗余。其中统计 冗余表现为图像信号在时域和空域的高相关性，而心理视觉冗余则起源于人眼对 某些空间频率的感觉迟钝。编码冗余表现为符号编码平均码长和信源熵之间的偏 差。为了去除视频序列中的这三类冗余，我们可以采用如下的方案： 首先，通过对色度分量进行降采样来部分去除心理视觉冗余。在实际应用中， 对彩色图像采用全分辨率编码实际上是没有必要的，因为人眼视觉系统( h u m a n v i s u a ls y s t e m , h v s ) 对色度信号变化的敏感性较差，因此利用人眼视觉系统对色 差信号的这种不敏感性，可以有效降低原始编码数据量。在色差格式4 ：2 ：2 中， 色差信号c b ，c r 分别在水平方向上做2 ：1 的降采样，和原始数据格式4 ：4 ：4 相比， 数据量降低了3 3 ；在色差格式4 ：2 ：0 中，色差信号c b ，c r 在水平和垂直方向 上都作2 ：1 的降采样，相应的数据量降低了5 0 。这两种色度采样的方法分别可 以获得较全分辨率1 6 6 7 和2 倍的压缩比。 然后，依次通过时空预测、变换以及量化过程来去除统计冗余。预测编码根 据时空相关特性可分为时域帧间预测和空域帧内预测两大类。其中帧间预测编码 主要利用图像序列相邻帧之间的时间相关性，当前编码帧中的每个像素可以根据 已经编码帧内的像素作参考，进行运动预测，得到预测值和实际值之间的运动补 偿残差值。而帧内预测编码则是充分利用图像空域相关性，来降低码率。经过时 空预测以后，源图像需要进行编码的部分只剩下残差了，因此接下来就是对残差 值进行变换。尽管图像变换本身并不导致数据压缩，但可以使图像数据在变换域 内最大限度的不相关，主要采用正交交换编码技术，通过多维坐标系适当的旋转 变换，把散布在各个原坐标轴上的原始图像数据集中到新的坐标系中少数坐标轴 墨= 兰笙丝 一一 上。将图像数据从空域变换到频域后，利用人眼视觉系统对高频信号不敏感的特 点，将高频系数尽量量化为零，产生长零串，这样非常有利于消除编码熵冗余。 常见的变换有：k l t 变换( k a r h u n e n - l o v e v t r a n s f o r m ) 、d f t 变换( d i s c r e t e f o u r i e r t r a n s f o r m ) 、d c t 变换( d i s c r e t ec o s i n et r a n s f o r m ) 、h a d a m a r d 变换( h a d a m a r d t r a n s f o r m ) 和小波变换( w a v e l e tt r a n s f o r m ) 等等。其中k l t 变换是利用数据 本身的相关矩阵对角化后构成的，变换域系数完全不相关，是性能最优的变换， 但计算过程中需要寻找协方差矩阵，不同的图像数据有不同的变换矩阵，造成了 反变换矩阵的不唯一性，不利于实际操作。因此实际上往往采用d c t 变换代替 k l t 变换，与其它变换相比，在相邻像素间的相关系数逼近于1 时，d c t 变换 的性能最接近k l t 变换。预测后的残差值经过变换后通过量化减小数据幅值， 海量数据得到高压缩率压缩。对比明暗变化慢的区域和明暗变化快的区域，h v s 系统较前者中微小的变化感觉更明显，更容易被觉察到，因此，编码图像经过空 域到频域的变换编码后，低频信息集中在坐标轴的原点附近，可以采用量化的方 法将高频信息部分量化为零，形成大块零区。实际上量化过程本身是一个相当直 观的数据压缩方法，就是根据人眼视觉系统对不同亮度区域的敏感程度不一样的 特点对数据的取值范围进行限制，保证一定输出图像质量的前提下，调节量化参 数，以达到最佳的压缩比。 最后，通过熵编码来去除编码冗余。熵编码是纯粹基于信号统计特性的编码 技术，基本思想是对出现概率较大的符号分配短码字，对出现概率较小的符号分 配长码字，达到编码后的平均码长最小。在多媒体视频压缩中常用的三种信息熵 方法为：哈夫曼编码、游程编码和算术编码。其中h 1 】妇妇a n 编码是一种变步长编 码方法，主要针对编码信源概率分布已知的情况，对于具有等概率分布的信源编 码，该方法是最优的，但是实际运用中，编码前一般都需要对信源概率分布进行 统计预测。算术编码利用任何一个数据序列均可表示成0 和1 之间的一个间隔特 性进行编码，每个间隔的位置与数据的概率分布有关，可以根据信源的统计特性， 对未知概率模型的信源自适应地配置其分布。游程编码的基本思路为用一个代表 值和串长来代替一个相同值的连续串，其中代表值和串长组合，构成编码输入码 元进行编码，并按其出现的概率，分配不同码长的码字，大概率以短码，小概率 以长码。而算术编码则是一种按照符号序列的出现概率对概率数直线进行区间分 割，并把表示已分割区间的二进制小数作为相应序列代码的编码方式。它的最大 优点是比较容易实现动态自适应，且编码效率很高，缺点是计算复杂度很高。 实际的视频编码过程一般会将这些方案结合在一起，以达到最佳的编码效 第一章绪论 率。一般的编码器原理框图如图1 1 所示。 图像残差 码 流 复 a i 莲动天重 。 口 重构编码帧 图i - i 一般的视频编码器结构框图 1 2 2 常见的视频压缩标准 作为产业链的龙头，标准的制定一直是各国政府以及行业巨头的必争之她。 而视频压缩的国际标准则主要是由i s o i e c 和i t u - t 两个组织进行制定。基于 不同的应用时期和不同的压缩编码技术，它们相继提出了m p e g l 、m p e g 2 、 m p e g 4 、m p e g 7 、m p e 0 2 l 、h 2 6 1 、h 2 6 3 和h 2 6 4 等标准。如下图所示： 图l - 2 h 2 6 x a 矾1 ) 和 棚p e g o s o 肥c ) 标准 值得一提的是：我国拥有自主产权的第二代信源编码标准a v s 已于今 年的3 月1 日被确定为国家标准，填补了我国在视频标准制定上的一个空白，其 意义是巨大的，因为视频标准已经成为了我国相关产业发展的一大制约，其中主 出 第一章绪论 要原因是视频的国际标准高额的专利费用使国内的一些设备厂商无利可图甚至 倒闭。以d v d 的压缩标准m p e g - 2 的专利费用收取为例，在2 0 0 2 年以前，家 电设备的收费标准为6 美元台，解码设备2 5 美元，台，2 0 0 2 年以后，家电设备 2 5 美元台，解码设备2 5 美元，台；m p e g - 4 则更高，每台设备0 2 5 美元，另外 编解码设备还需按时间收费，4 美分天= 1 2 美元月：1 4 4 美元佯。这对于每台 只卖3 0 多美元的d v d 播放设备来说基本上是无法接受的。随着a v s 被确定为 国标，数字电视乃至数字化音视频产业共性最强的基础标准一锤定音，“十一五” 期间重点培育数字化音视频产业已经有标可循，这对我国的相关产业的发展无疑 是一个巨大的利好消息。 此外，些企业也提出了一些较有影响力的视频压缩标准，例如微软的 v c 1 。下面我们将着重介绍m p e g - 4 ，h 2 6 4 ，a v s 以及a v s l p 7 ( 均为第二代视 频压缩标准) 。 1 2 2 1m p e g 4 m p e g 4 标准是运动图像专家组( m p e g ) 于1 9 9 8 年1 1 月制定的。一它是一 系列音频和视频编码标准以及相关技术的集合，目标是支持多种多媒体应用( 主 要侧重于对多媒体信息内容的访问) 。m p e g 4 主要针对以下两个方面的考虑：一 是极低比特率下的多媒体通信；二是多媒体通信的融合，主要有通信业、计算机 业、消费类电子业和娱乐影视业。它的适用码率范围为从1 0 k b p s 到1 2 0 0 m b p s 。 m p e g 4 具有以下特点： ( 1 ) 基于内容的交互性。支持基于内容的操作和码流编辑，自然与合成数 据的混合编码，增强的时间域随即存取； ( 2 ) 具有极高的压缩比。在可以比拟的速度下，主观视频质量好于m p e g l 、 m p e g 2 ，期望在迅速发展的移动通信网中获得应用。具有多个并发流编码能力， 实现对景物的多视角编码； ( 3 ) 具有通用存储性。提供一种抗误码的鲁棒性，可以实现基于内容的尺 度可变性。对重要的对象用较高的时间或空间分辨率表示，具有自适应使用可用 资源的能力。 作为第一个面向对象的视频编码标准，m p e g - 4 的出现具有很强的历史意 义。它的应用广泛，可应用于以下场合：实时监控；极低比特率下的移动多媒体 通信；基于存储和检索的多媒体系统：i n t e a a e t a n l r a a e t 上的视频流与可视游戏； 第一章绪论 基于面部表情模拟的虚拟会议 d v d 上的交互多媒体应用；基于计算机网络的 可视化合作实验室场景应用；演播室和电视的节目制作等。 1 2 2 2h 2 6 4 埚v c h 2 6 4 是i t u _ t 在1 9 9 9 年开始开发一种新的极低码率视频编码标准，旨在 代替先前的h 2 6 3 标准。2 0 0 1 年，i s om p e g 也加入了开发队列，组成了j v t ( j o i n t v i d e ot e a m ) 进行联合开发。它最初的名称为h 2 6 l ，经过工业界和学术界3 年多 的努力，2 0 0 3 年5 月正式批准为国际标准。h 2 6 4 是近年来最为高效的一个视频 压缩标准，它的压缩效率比m p e g - 4 和h 2 6 3 + 提高了近5 0 。 作为一种可分级的视频编码标准，h 2 6 4 中定义了四个不同的层次( p r o f i l e ) ： b a s e l i n ep r o f i l e 、m a i np r o f i l e 、e x t e n d e dp r o f i l e 和h i g hp r o f i l e 。分别包含不同的 编码工具，面向不同的应用。其中b a s e l i n ep r o f i l e 只支持i 、p 帧的编码和c a v l c 等基本的编码工具，b a s e l i n ep r o f i l e 是必视频会议和视频电话等实时视频通讯应 用而设计的，它实现了任意s l i c e 排序和冗余片断处理等错误恢复功能。m a i n p r o f i l e 将是应用面最宽泛的。它的主要特点是：支持i 、p 、b 帧，支持隔行序列 编码( 可在帧、场、帧，场自适应、宏块帧场自适应自行选择) ，支持c a b a c 和 c a v l c 等主要编码工具。e x t e n d e dp r o f i l e 主要面向专业应用，包含y u v 4 ：2 ：2 ， 1 6 比特样本深度，自适应块变换( a b t ) 等较为复杂的编码工具。而h i g h p r o f i l e 是专门针对高清而提出的标准。总之，对属于不同层次的编解码器其复杂性是不 同的，从b a s e l i n ep r o f i l e 到e x t e n d e dp r o f i l e 再到碰g hp r o f i l e 逐步增加。 h 2 6 4 视频编码的基本框架和已有的视频编码标准类似，都包含预褪、变换、 量化和熵编码这几个功能单元，但它包含许多特有的、重要的技术特征，例如 h 2 6 4 在运动估值时可采用不同大小的块，更高精度的亚象素搜索、多参考帧选 择。变换时使用4 x 4 整数变换而不是传统的8 8 d c t ( h i g h p r o f i l e 支持8 x 8 块 的整数交换) ；在熵编码时使用统一交长码u v l c ( u n i v e r s a lv a r i a b l el e n g t hc e d e s ) 或基于内容自适应的二迸制算术编码c a b a c ( c o n t e x t - b a s e da d a p t i v eb i n a r y a r i t h m e t i cc o d i n g ) 。 1 2 2 3j s a v s 标准是“信息技术先进音视频编码”( a u d i oa n dv i d e oc o d i n gs t a n d a r d w o r k g r o u po f c h i ) 系列标准的简称，包括系统、视频、音频等三个主要标准和 一致性测试等支撑标准，这是基于我国创新技术和公开技术制定的开放标准，旨 第一章绪论 在为中国日渐强大的音视频产业提供完整的信源编码技术方案。 a v s 标准是由数字音视频编解码技术标准工作组负责制定的，该工作组由 国家信息产业部科学技术司于2 0 0 2 年6 月批准成立。工作组的任务是：面向我 国的信息产业需求，联合国内企业和科研机构，制( 修) 订数字音视频的压缩、 解压缩、处理和表示等共性技术标准，为数字音视频设备与系统提供高效经济的 编解码技术，服务于高分辨率数字广播、高密度激光数字存储媒体、无线宽带多 媒体通讯、互联网宽带流媒体等重大信息产业应用。 a v s 是我国具备自主知识产权的第二代信源编码标准，它与m p e i 昏2 、 m p e g 4 、h 2 6 4 相比有观显优势：在相同条件下，a v s 的编码效率是m p e g - 2 的两倍，例如，如果利用m p e g - 2 技术传送高清晰电视需占2 0 m 带宽，用a v s 技术传送同样质量的节目只要8 m 带宽；虽然h 2 6 4 的编码效率与a v s 相当， 但a v s 在算法上采用了简化的策略，从而使得运算复杂度更低。另外，a v s 软 件硬件实现成本都要比h 2 6 4 低，专利授权模式简单，费用低廉。总之，与 m p e g - 4 、h 2 6 4 槐比a v s 具备三大特点： 1 我国牵头制定的、技术先进的第二代信源编码标准先进； 2 领导国际潮流的专利池管理方案，完备的标准工作组法律文件一自主； 3 制定过程开放、国际化开放： a v s 核心应用领域主要是数字视频产业，包括： 高清数字电视( 印) t v ) 高清激光视盘( 玎d _ v d ) 宽带网络流媒体，例如i f l 3 移动通信流媒体，例如视频彩信m m s 视频监控 在标准的产业化方面，a v s 进行的也比较顾剩。实际上，为了避免高额专 利费影响，a v s 标准工作组承诺，在授权商业模式上将奉行“一元人民币”策略。 这也就是说，把实旌a v s 标准所需的必要专利组织成a v s “专利池”，并进行一 站式”许可，欲使用a v s 标准的企业只要交纳1 元专利费。正是凭借其在专利 第一章绪论 授权上的优势，a v s 已经受到了很多国内大中企业的青睐，并且拥有自己的产 业联盟，目前已经有超过1 3 0 家企业和机构，其中就包括了长虹、t c l 、海信、 海尔等大的消费电子企业。在被确定为国家标准以后，我们相信a v s 将会有一 个美好的未来。 1 2 2 4a v s l - p 7 a v s i p 7 ( a v s 视频第七部分) 是a v s 系列标准中的第七部分移动视频编码标 准，在国家标准计划中称为信息技术先进音视频编码第7 部分：移动视频， 其目的是为手机等移动设备提供视频编解码规范和标准，应用范围包括交互存储 媒体宽带视频业务、多媒体邮件、远程视频监控、视频会议、可视电话等。a v s i p 7 开始制定于2 0 0 4 年3 月，制定的初期被称为a v s 移动视频编码标准( a u d i ov i d e o c o d i n gs t a n d a r d f o r m o b i l i t y ，简称a v s - m ) ，在2 0 0 5 年6 月a v s 工作组第1 3 次会议 上被正式命名为a v s l o p 7 ( a v s 视频第七部分) ，并完成了标准的送审稿。目前该 标准的最终文档已经报审，有望成为我国下一代移动通信视频编码国家标准。 它基本上继承了a v s 的特性。在技术细节方面，a v s i - p 7 根据无线应用环 境和移动设备的特点对a v s 标准作了一些改动。例如在帧内预测、帧间预测、 整数变换等编码过程中处理单元都为4 x 4 大小；考虑到手持设备的处理能力，编 码没有b 帧，只有i 帧和p 帧；熵编码时，a v s l - p 7 避开复杂度较高的c a b a c ( c o n t e x t - a d a p t i v eb i n a r y a r i t h m e f i cc o d i n g ) 熵编码，采用了较简单的指数哥伦 布码进行编码，同时又灵活地采用了多阶码表。具体的技术细节请参考第二章。 这些特点都是针对迅速发展的无线网络和手机等移动设备的需要，旨在为其提供 高压缩比、低复杂度的视频编解码器。 1 3o m a p 开发平台概述 进入数字信息时代，电子产品全面数字化的结果带来了形形色色数字信息产 品的繁荣，其中数字语音和数字影像发挥着越来越大的影响，数字音频和数字视 频的普及也越来越广。随着各种带宽接入和3 0 无线网络的兴起和不断完善，数 字无线手机不仅提供语音通信功能，而且正在向手持智能终端、多媒体设备类型 产品转变。现在，能够拍照并立即将照片通过因特网传输的手持终端已经很常见， 而具备语音识别特性的智能电话变得越来越流行。可以预见，不久的将来，可实 现全动态视频流、j a v a 游戏、蓝牙以及其它更多技术的产品将不断为人们所熟 识。 第一覃绪论 这些高端手持设备的丰富功能需要很多应用软件来支撑。除了p 蹦口e r s o n a l i n f o r m a t i o nm a n a g e m e n t ，即个人信息管理) 、电子邮件和无线上网等“传统”的 应用外，在新的产品中，诸如m p 3 播放器、m p 4 播放器以及各类游戏等多媒体 应用也层出不穷。 然而，对于高强度的数学运算，如音频和视频编码解码、压缩和解压缩，所 有这些都必须实时完成，相应地其消耗的功率也非常大。也就是说，在实际中性 能和功耗常常相互矛盾。在显著提高功能的同时是否还能显著减少功耗就成为 大问题。同时，还必须管理内置于无线设备中的视频显示，响应人机界面( m m d ， 并处理其他常规任务。设计人员所面临的挑战贝在于找到一个处理器或处理器组 合，能够使用尽可能少的指令周期，也就是说以最低的功率，来完成所有任务， 这就意味着必须尽可能高效地处理大量信息。 为满足数字无线手持终端的不同处理要求，最直接的处理方式选择就是采用 r i s c 处理器与d s p 处理器的组合。的o m a p ( o p e nm u l t i m e d i aa p p l i c a t i o n s p l a t f o r m ，开放式多媒体应用平台) 系列处理器便是这种方式的代表。o m a p ( o p e n m u l t i m e d i a a p p l i c a t i o n s p l a f f o r m ) 是美国德州仪器公司( 1 1 ) 推出的专门 为支持第三代( 3 g ) 无线终端应用而设计的应用处理器体系结构。o m a p 将r i s c 处理器和强大的d s p 核心集成到在同一芯片器件上，从而同时实现二者的优势。 当前o m a p 5 9 1 0 、0 m a p 5 9 1 2 系列以及1 1 新型的o m a p l 6 1 x 系列都属于这样 的双核应用处理器，其中集成了t i 功耗最低的定点d s p l m s 3 2 0 c 5 5 x ，以及1 r i 增强型a r m 微处理器。 o m a p 处理器平台堪称无线技术发展的里程碑，它提供了语音、数据和多 媒体所需的带宽和功能，可以极低的功耗为高端3 g 无线设备提供极佳的性能。 目前o m a p 平台已广泛应用于p d a 、w 曲记事本、远程通信、医疗器械等领域。 凭借其高性能和低功耗的优势，o m a p 已经逐渐成为一种事实上的工业标准。 很多从事移动通信的企业，如索尼爱立信、诺基亚、h a n d s p r i n g 、n e c 、松下等， 均已宣布其下一代无线应用将基于o m a p 平台。 1 4 课题完成的任务及贡献 a v s l - p 7 是专门针对无线应用环境而设计的标准，其主要的应用是基于无线 手持终端( 手机，p d a 以及一些专用的音视频播放设备等) 的。本文首次在智 能手机开发平台o m a p 上成功的实现了a v s i - p 7 解码器，为a v s i - p 7 在无 第一章绪论 线手持终端上的应用提供了一种新的解决方案。 本文的创新点如下： 提出了对于a v s l - p 7 的一些核心算法实现的优化方案。a v s l - p 7 的解码 过程主要由反帧内预测、反帧间预测、反变换、滤波以及熵编码等核心 算法构成，其中最耗时的是反变换以及反帧间预测中的插值运算。通过 对这两个算法的深入分析，本文分别提出了新的实现方案，使整个解码 程序的性能得到了3 4 倍的提高。 提出了一种在0 m a p 上实现a v s l - p 7 解码器的设计与实现的方案。0 m a p 是一个双核平台，在它上面进行设计要充分考虑到其双核的特性：a r m 适合做控制，因此a r m 端程序主要负责对解码流程及解码显示的控制； 而d s p 适合做复杂运算，因此d s p 端程序主要功能是根据用户的控制来 执行进行实际的解码过程。 针对a v s l - p 7 的解码特点，利用0 m a p 平台提供的软硬件资源对设计提 出了进一步的优化方案。t i 为了使0 m a p 开发板更好的支持多媒体应用， 将一些在视频应用中经常用到的函数用高效汇编写成了库供开发人员 使用，此外还在板上集成了一些视频应用的硬件加速模块如y u v 转r g b 模块等。通过合理使用这些资源，程序的性能得到了大幅度的提高，最 终该设计达到应用要求：1 5 帧秒q v g a ；- 由于新一代视频编解码器的运算复杂度非常高，a v s l - p 7 也不例外。而出于 耗功率、工艺等方面因素，目前手持设备上的处理芯片却无法达到很高的性能， 如t i 的o m a p 5 9 1 2 芯片其所含a r m 核及d s p 核的工作主频均不过2 0 0 m h z ， 所以在手持设备上实现诸如a v s l - p 7 的实时解码这种大量数据处理的程序非常 具有挑战性。 1 5 全文结构安排 本文研究的是基于o m a p 的a v s l - p 7 解码器实现，就解码各部分的复杂度 及相应优化算法、在o m a p 平台上开发软件的方法进行了分析，并详细阐述了 在上实现h 2 6 4 解码器实时解码的方案。 全文共分为四章。 第一章绪论 第一章为绪论。简要回顾视频编解码发展历史和背景，简单介绍了1 1 的 o m a p 平台，并指出了本文要完成的任务。 第二章主要介绍了a v s i - p 7 视频标准的关键算法、特点以及相对与其它视 频压缩标准的区别，通过对a v s i - p 7 算法的深入分析，提出了新的实现方案及 优化策略。 第三章首先对o m a p 平台的软硬件资源进行了详细的分析，然后提出了基 于o m a p 平台的a v s i p 7 解码器的设计及实现方案，针对o m a p 平台的特性提 出了进一步的优化策略。 第四章总结全文，并对研究工作进行了展望。 第二章a v s i = p 7 解码器的优化 第二章a v s l - p 7 解码器的优化 为了在o m a p 平台上实现a v s l - p 7 的解码，首先必须要全面了解a v s l - p 7 标准，通过对其中关键的算法和代码的优化初步提高解码速度，并为以后需要进 行的代码移植做好准备。本章先后介绍了视频压缩的原理及关键算法，a v s i - p 7 标准以及它与之前的视频压缩标准的区别，然后对a v s i p 7 各部分的性能进行 了分析，并且针对性的提出了优化方案。 2 1 视频压缩的关键算法 现有的视频压缩标准基本上都是遵循d p c m t ( 差分脉冲编码调制) 框架 l 2 1 1 3 4 5 】【6 】川进行编解码的，其基本原理就是：用时域预测去掉时域冗余，空域预 测去掉空间冗余，在d c t 域进行量化去掉高频不重要的信息，再用v l c 和游程 编码使得可以用最少的比特来表示压缩视频流。所不同的是，各种标准采用的码 表有所差别，以面向不同的应用，而且，新的标准在某些模块会采用一些新的算 法，做出改进，比如a v s 标准使用整数变换( i n t e g e r 心a n s f o r m ) 代替之前标准的 d c t ( d i s c r c t cc o s i n et r a n s f o r m ) 变换，从而消除了浮点运算，在重构图像后端加上 了环内滤波，增加了解码图像的平滑性和清晰度等等，但大体结构基本是一致的， 通常编码器的结构如图2 1 所示。 麓囊入 码控誓 i l 1 - _ i ! w 焉 - 矗碎1 幅订一 ：内蠢一 l 反i i 爹 i 。；- 同曩嗣广j 霎 晴。1 厂 咂翌h 圈一 运羹量 图2 - i m p e g 编码器框图 从图中可以看出视频压缩的主要模块为运动估值和运动补偿叫o t i o n 1 2 - 第二章a v s l - p 7 解码器的优化 c o m p c n s a t i o n ) 、变换c 1 ) 、量化( q u a 瓶嘲、反量化( i n v e r s eq u a n t i z e ) 、反变换 ( i n v e r s e d c t ) 、变长编码( e n t r o p y c o d i n g ) 。编码器可以分为前向和后向两路。前 向通路主要是将视频信息处理成压缩后的码流，得到的码流可以进行存储，对其 进行进一步的处理，也可以用于传输。后向通路的目的是从量化后的信息经反量 化，反变换，生成前一帧或前几帧的映射，作为前向通路中运动补偿的参考帧。 前向通路主要的目的是消除空间上的冗余，而后向通路则是为了消除时域上的冗 余。对于i 帧的编码，通过前向通路就可以得到码流，而对于p 帧和b 帧来说， 则需要后向通路得到的i 帧或p 帧的参考帧作为运动补偿的参照。解码器主要的 模块依次是：变长解码、反量化、反变换、运动补偿。除了变长解码模块和运动 补偿模块，反量化和反变换都在编码器的后向通路中用到，运动补偿和变长解码 则是编码器中运动补偿和变长编码的逆运算，所以解码器所做的工作实际上是编 码器工作的一个部分。下面将详细介绍视频压缩的几个关键算法。 2 1 1 运动估计和运动补偿 运动补偿是减少帧序列冗余的有效方法，它所用到的运动信息( 用每移矢量 或运动矢量来表示) 是通过运动估计算法得到的。 由于块匹配运动估值算法简单有效、易于实现，它已被绝大多数视频编码算 法所采纳。运动估值是一个搜索过程，即在指定区域中，搜索当前编码块的匹配 块。编码时只传送两个块之间的差值和两个块之间位置差，即运动矢量m v ( m o t i o nv e c t o r ) 解码器从压缩码流中解码出两块之间的差值和运动矢量，就可 重建视频。图2 - 2 为运动估值示意图。 参考帧 m v ：运动矢量 图2 - 2 块匹配运动估值示意图 团搜索窗口 圈编码块 图匹配块 m v ：运动矢量 在运动估值过程中，常用的匹配价格函数为差的绝对值之和s a d ( s u mo f a b s o l u t ed i f f e r e n c e ) s a d 的计算如下： 苎三兰型! ! - 旦竺苎堡箜i 垦垡 (dx，dy)：m-1n-isad(dxz i r ( j ，) 一g ( f + 出，+ 咖l ，= ，) 一g p + 出，+ 咖j 2 0 。o ( 2 1 ) 其中m 为块的大小；f ( i ，) 为待编码块；g ( i ，_ ，) 为参考块；( 出，妙) 为 两个块之间的位置差。若使用全搜索f s ( f u l ls e a r c h ) ，在搜索窗口中s a d 具有最 小值处的( 凼，a y ) 即为最终的运动矢量。 运动会降低画面之间的相似性，因而增加创建差异画面所需要的数据。运动 补偿则是用来增加画面的相似性。当一个物体在电视屏幕上通过时，它可能在每 幅画面上出现在不同的位置，但其本身的外形并没有多大的改变。通过在编码器 上测量运动可以降低画面差异。画面差异被以矢量的方式送往解码器。解码器使 用该矢量将上一幅画面的一部分移至新画面中更恰当的位置上。在一个视频对象 的大部分特征，如形状和方位，在各帧之间保持不变或者只有帧内视频对象的位 置改变时，运动估值的压缩效率较好。 在编码过程中，对不同帧定义了不同的图像类型。在同一个视频帧中，每个 宏块可以采用不同的编码类型。每个宏块具有的运动矢量数目取决于宏块的编码 类型，各标准中常见的有i 帧( 帧内图像) 、p 帧( 预测图像) 和b 帧( 双向预测 图像) 。i 帧编码时不需要其它参考帧。帧内编码宏块不需要运动矢量因此主要由 变换系数组成，不舍矢量：p 帧数据由在前面画面中描述的每个宏块的矢量和残 差数据所组成，在同一个p 帧内，某一宏块可以编码为p 类型( 前向预测编码) 或i 类型( 帧内编码) 宏块，如果在运动估值过程中计算出的运动矢量不能用时， 则该宏块选择i 类型编码模式；b 帧同时用前面和后面的i 帧或p 帧作参考帧进 行运动补偿预测编码。在同一个b 帧内，某一宏块可以编码为i 类型，p 类型或 b 类型编码模式。b 帧通常每个宏块需要两个运动矢量：一个前向运动矢量和一 个后向运动矢量的线性插值。 2 1 2 变换 处理利用运动估值算法去除图像的时域冗余之外，视频序列的帧内图像和预 测残差信号都有很高的空域冗余信息，需要采用特定算法去除空域冗余信息。可 用于减少空域冗余信息的技术很多，在基于块的空间冗余技术领域中，变换编码 技术和矢量最化编码技术是两种可选的方法。变换的目的是消除数据相关性，将 能量集中到少数系数上。在处理高度相关的视频数据时，d c t ( d i s c r e t ec o s i n e t r a n s f o r m ) 有着类似于k - l 变换( k a r h u n e n - l o v e vt r a n s f o