（信号与信息处理专业论文）avsm解码器软件实现及其dsp仿真.pdf

摘要 由中科院计算所牵头制定的a v s 是我国第一个具有鲁主知识产权的数字音 视频编解码标准。2 0 0 6 年2 月2 3 日，数字音视频编解码技术标准( a v s ) 工作 组收到了国家标准化委员会的批文，a v s 的视频部分获批成为囡家推荐性标准， 己于2 0 0 6 年3 胃l 舀起正式实施。 a v s 对企业最有吸引力的是其专剩费大大降低，正作组宣称只象，征性地收取 每台终端l 元人民币的专利费。a v s 的对手是m p e g 2 、m p e g 4 和h 2 6 4 三个 国际通行标准。在央视的高清频道上，a v s 输给了m p e g 2 。现在a v s 寄希望于 l p n ，掇然其产业化程度远不及m p e g 4 和h 。2 鹃，健国家标准给予a s 的支持 作用不可低估。 a v s m 标准是针对移动多媒体而制定，其编解码参考软件已经处于公示阶 段，具有一定的实耀徐僮。现在公示的最新的参考软件是w m 3 3 a 。编解秘功能 都已经宪全实现，但是还有不少可以改进的地方。本文设计开发的解码器，对于 q c i f 图像序列，解码速度为1 0 0 - - 1 8 0 f s ，对于c i f 图像序列，解码速度达到 2 5 - - 3 0 f s ，基本能够实现实时解玛，其解码速度是参考软件w m 3 ，3 a 的3 - - 5 倍。 本文表现了作者对参考解码软件进行了改进和优化工作，使其速度比参考解 码器w m 3 3 a 快了3 5 倍，并将其移植到c c s 上面，并且做了一定程度的优化， 使得解码速度平均提高了7 5 7 6 。为最终移植到d s p 上面打下了基础，也有了 产业化的可能。 关键词：a v s md s p 移植优化 a b s t r a c t a v si sf r a m e db yc h i n e s ea c d e m yo fs c i e n c e s ，w h i c ht a k e dt h el e a d , i ti st h e s e c o n ds o u r c e c o d i n gs t a n d a r da n dh a si n d e p e n d e n c eo fi n t e l l e c t u a lp r o p e r t yr i g h t s w i t ht h ed e v e l o p m e n to fc o m p u t e rt e c h n i q u e ，n e t w o r kt e c h n i q u e ，m u l t i m e d i a t e c h n i q u e b e c o m e st h em o s t i m p o r t a n tc o m p o n e n t a st h e i n f o r m a t i o ni n c o m m u n i c a t i o n f o re x a m p l e ，t h ed i g i t a lt v ，n e t w o r kv i d e oc o m m u n i c a t i o n , m o b i l e t vb e c o m ep r e v a l e n tn o w ，a n di n d i c a t et h ep r o g r e s so fo u rs o c i e t y 。a v si sa u d i oa n d v i d e os t a n d a r do fc h i n aw i t ho u rt e c h n i q u ep r o p e r t yr i g h t 。i t sp o f o r m a n c ei sh i g h e r t h a nm p e g 2s t a n d a r d , a n dc o r r e s p o n d st oh 2 6 4 i nt h ed o m a i no fv i d e oa n da u d i o ， t h ed e v e l o p m e n to ft h em u t i m e d i ai n d u s t r yi sr e s t r i c t e db yt h eh i g he x p e n s ep r o p e r t y r i g h to fm p e g 一2a n dh 。2 6 4 ，s o i ti sn e c e s s a r yt o d e v e l o po u rv i d e oa n da u d i o s t a n d a r d a v s mi st h ep a r t7o fa v s i ti sf o rt h em o v i n gm u l t i m e d i av i d e o ，n e t w o r k m e e t i n ga n dm o b i l et v 。o nt h eo n eh a n d ，i n f l u e n c e db yt h eb a n d w i t ha n d f l u c t u a t eo f t h en e t ，ah i g hp e r f o r m a n c eo fv i d e oc o m p r e s s i o ns h o u l db ec h o s e nt og u a r a n t e et h a t t h em u l t i m e d i af l o wc a nb ep a s s e dv i at h en e t w o r k o nt h eo t h e rh a n d , t h ec a p a b i l i t y o ft h ec p ui sr e s t r i c t e d ，b u tt h es p e e do fd e c o d e rs h o u l db ef a s te n o u g ht of i n i s h r e a l t i m ec o d ea n dd e c o d e 。c h o o s i n gt h eh i g hp e r f o r m a n c ev i d e od e c o d e ra n d e n c o d e ri st h ek e yf o rs u c c e s so ft h em u l t i m e d i ao p e r a t i o n t h em a i nt a s ko ft h i sp a p e ri st oa n a l y z et h es h o r t c o m i n go fr e f e r e n c es o f t w a r e ， d e s i g nt h ed e c o d e rs o r w a r eo fa v s m ，a n do p t i m i z ei t 。t h ed e c o d es p e e do fo u r s o f t w a r ei s3 - 5 t i m e sc o m p a r e dt ot h er e f e r e n c e ds o f t w a r ew m a 3 3 a a n dw ea l s o p l a n tt h es o f t w a r eo nc c s ，a n db yt h i s ，t h ed e c o d es p e e dw i l lh i g h l ym e n d e d a l t h o u g ht h ef u t u r eo fa v s mi sn o tl u c i d i t y ，b u ta sa c a d e m i cr e s e a r c h , s t u d i e s a v s mi sag o o de x e r c i s e k e yw o r d s a v s md s p p l a n to p t i m i z e 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他入已经发表 或撰写过的研究成果，也不包含为获得云淫态堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的图志对本研究所做的任何贡献均已在论文中 作了明确的说明劳表示了谢意。 学位论文作者签名：佰耙签字蹶劢7 年乡月f 日 学位论文版权使用授权书 本学位论文作者完全了解丞洼太堂有关保留、使用学位论文的规定。 特授权丞洼太堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 签字囡期：o 口刁年 何毛 6 月f 日 导师虢蒌竿 签字嗍矽7 年莎月f 扩日 第一牵绫论 1 1 引言 第一章绪论 进入了耨的世纪以来，以数字电视为龙头的数字音视频，通信和计算机产业 一起，构成了我国的第一大产业一信息产业。在巨大的商机面前，国内外众多的 电视设备厂商，节冈提供商等产业链的方方面面都已经将两光瞄准了数字电视大 餐，以期在新的萱纪里和最好的概遇殛蓠占地席先桃，然面，他们却同样匿l 瞄 着个非常棘手的问题一标准。 标准化是产业活动的前提，上个世纪八九十年代，i t u t 和i s o i e c 分别制 定了h 2 6 x 系列和m p e g x 系列标准，前者包括h 2 6 1 、h 。2 6 2 、h 2 6 3 ，后者 包括m p e g 1 、m p e g 一2 、m p e g 4 ，其书h 。2 6 2 和m p e g 一2 为周一标准，由两 个组织联合制定，分别命名。h 2 6 x 标准主要用于实时视频通信，如视频会议、 可视电话等；而m p e g x 标准主要用于广播电视、d v d 和视频流媒体。这些标 准的制定曾经极大的推动了多媒体技术的实用化和产业化，从两进入了多媒体通 信和应用的黄金时期。然而，随着音视频产业的发展，视频编码标准也逐步发展。 进入2 l 世纪以来，一些国际标准组织和跨国公司纷纷制定新一代数字音视频技 术和标准。其中最其代表性豹是，由l t u 玎的v c e g 和l s o 锺嚣c 的m p e g 组成 的联合视频组( j v t ) 于2 0 0 3 年推出的新一代视频编码标准h 2 6 4 ( i s o i e c 称为 a v c ) 。由于采用了比以前标准更为先进的技术，h 2 6 4 具有高压缩比、良好的 网络适应性秘容错性等特点，在_ i 她界迅速推广。但是，我国一直没有自己的特 定标准，这使碍我国从事多媒体开发和生产的企业一直受制于人，d v d 专利费 事件便是这方面的= 个典型案例。适逢数字音视频标准更新换代的历史性机遇， 为减轻国内音视频相关产业的专利费负担以及提升核心竞争力，基于我国专家多 年参与m p e g 国际标准制定的经验，由图家信息产业部科学技术司于2 0 0 2 年6 月批准成立的“数字音视频编解码技术标准工作组联合国内从事数字音视频编 解码技术研发的科研机构和企业，针对中国音视频产业的需求，提出了我国自主 的第二代信源编码标准信息技术先进音视频编码系列标准( 简称a v s ， 即a u d i ov i d e oc o d i n gs t a n d a r d ) 1 1 。 目前，a v s 标准中涉及视频压缩编码的有两个独立的部分：a v s 第三部分 ( a v s l p 2 ) ，主要针对毫清晰发数字电视广播秘高密度存储媒体应用，这部分已 第一耄绪论 经获批成为国家推荐性标准，并且已经于2 0 0 6 年3 胃1 日起正式实施来了。a v s 第七部分( a v s l 一p 7 ) ，简称a v s m ，主要针对低码率、低复杂度、较低图像分辨 率的移动媒体应用【2 1 。a v s m 的目的是为手机等移动设备提供视频编解码规范 和标准，应用范同包括交互存储媒体宽带视频业务、多媒体邮件、远程视频箍控、 视频会议、可视电话等。a v s 州开始制定于2 0 0 4 年3 月，制定的初期被称为 a v s 移动视频编码标准( a u d mv i d e oc o d i n gs t a n d a r df o rm o b i l f f y ，简称a v s m ) ， 在2 0 0 5 年6 月a v s 工作组第1 3 次会议上被正式命名为a v s m ( a v s 视频第七 部分) ，劳完成了标准的送审稿。露翁该标准的最终文档已经报审，有望成为我 国下一代移动通信视频编码国家标准。 1 2 当前视频编解码技术及其发展 视频编解码的研究课题主要有数据压缩比、压缩解压速度及快速实现算法 三方面的内容。以压缩解压后数据与压缩前原始数据是否完全致作为衡量标 准，可将数据压缩划分为无失真压缩f 即可逆压缩) 和有失奏压缩( 即不可逆压缩) 两类。传统的压缩编码建立在香农信息论的基础之上，以经典集合论为工具，用 概率统计模型来描述信源，其压缩思想基于数据统计，凶此只能去除数据冗余， 属于底层压缩编码的范畴。随着视频编码相关学秘及薪兴学科的迅速发展，颏一 代数据压缩技术不断诞生并日益成熟，其编码思想由基于像素和像素块转变为基 于内容( c o n t e n t b a s e d ) ，充分考虑了人眼的视觉特性及信源特性，通过去除内容 冗余来实现数据压缩，可分为基于对象( o b j e c t 南a s 甜) 帮基于语义( s e m a n t i c s b a s e d ) 薅种，前者属于中层压缩编码，后者属于高层压缩编码【3 】。 i t u t 和i s o i e c 先后分别制定了h 2 6 x 系列和m p e g x 系列标准，前者 包括h 2 6 1 、h 2 6 2 、h 2 6 3 ，后者包括m p e g 1 、m p e g 一2 、m p e g 4 ，其中h 2 6 2 和m p e g 2 为同一标准，由两个组织联合制定，分别命名。下瑟依次介绍h 。2 6 1 、 h 2 6 3 、h 2 6 4 及m p e g ，l ，m p e g ，2 ，m p e g 4 。 l 。2 。1h 。2 61 视频编码标准 h 2 6 1 又称为p 6 4 ，其中p 为6 4 k b s 的取值范围，是1 3 0 的可变参数， 它最初是针对在i s d n 上实现电信会议应用，特别是面对面的可视电话和视频会 议而设计的。h 2 6 1 在实时编码时比m p e g 所占用的c p u 运算量少得多，此算 法为了优化带宽占用量，弓f 迸了在图像质量与运动幅度之问的平衡折中机制。也 就是说，剧黧运动昀图像比栩对静止的图像质量要差。因此，这种方法是属于恒 2 第一章续诠 定码流可变质量编码面菲恒定质量霹变码流编鹨 4 】。 1 2 2h 2 6 3 视频编码标准 h 2 6 3 是国际电联i t u t 的一个标准草案，是为低码流通信而设计的。但实 际上这个标准可用在很宽的码流范嗣，而不是只用于低码流应用，它在许多应用 中可以认为被用予取我h 2 6 1 。h 。2 6 3 的编码算法与h 。2 6 1 一样，但做了一些改 善和改变，以提高性能和纠错能力。h 2 6 3 标准在低码率下能够提供比h 2 6 1 更 好的图像效果，两者的区别有1 5 】： ( 1 ) h 2 6 3 的运动奉 偿使用半像素精度，丽h 。2 6 1 翼| l 焉全像素精度和循玮滤 波； ( 2 ) 数据流层次结构的某些部分在h 2 6 3 中是可选的，使得编解码可以配置 成更低的数据率或更好的纠错能力； f 3 ) 珏。2 6 3 包含4 个可协商的选项以改善性能； ( 4 ) h 2 6 3 采用无限制的运动向量以及基于语法的算术编码； ( 5 ) 采用事先预测和与m p e g 中的p b 帧一样的帧预测方法； ( 6 ) h 。2 6 3 支持5 种分辨率，即除了支持h 2 6 1 中所支持的q c i f 和c i f 外， 还支持s q c i f ，4 c i f 和1 6 c i f ，s q c i f 相当于q c i f 一半的分辨率，而4 c i f 和 1 6 c i f 分别为c i f 的4 倍和1 6 倍。 1 9 9 8 年l w 0 推出的h 。2 6 3 + 是h 。2 6 3 建议酶第2 版，它提供了1 2 个新的可 协商模式和其他特征，进一步提高了压缩编码性能。如h 。2 6 3 只有5 种视频源格 式，h 2 6 3 + 允许使用更多的源格式，图像时钟频率也有多种选择，拓宽应用范同： 另一重要的改进是可扩展性，它允许多显示率、多速率及多分辨率，增强7 视频 信息在易误码、易丢包晃构网络环境下的传输。另外，h ，2 6 3 十对h 。2 6 3 中的不 受限运动矢量模式进行了改进，加上1 2 个新增的可选模式，不仅提高了编码性 能，而且增强了应用的灵活性。为提高压缩效率，h 2 6 3 + 采用先进的帧内编码模 式；增强的p b 一帧模式改进了h 。2 6 3 的不足，增强了帧闻预测的效果；去块效应 滤波器不仅提高了压缩效率，而且提供重建图像的主观质量。为适应网络传输， h 2 6 3 + 增加了时间分级、信嗓比和空问分级，对在噪声信道和存在大量包丢失的 网络中传送视频信号穰有意义：另外，冀结构模式、参考帧选择模式增强了视频 传输的抗误码能力。h 。2 6 3 已经基本上取代了h 2 6 1 。 h 2 6 3 + + 在1 - - 1 2 6 3 + 基础上增加了3 个选项，主要是为了增强码流在恶劣信道 上的抗误玛性能，同时搀了提高增强编码效率。这3 个选项为： 选项u 一强型参考帧选择，它能够提供增强的编码效率和信道错误再生能力 ( 特别是在包丢失的情形下) ，需要设计多缓冲区用于存贮多参考帧图像。 3 第一章终论 选项v 一数据分片，它能够提供增强型的抗误硝能力( 特别是在传输过程中 本地数据被破坯的情况下) ，通过分离视频码流中d c t 的系数头和运动矢量数据， 采用可逆编码方式保护运动矢量。 选项w 一6 3 + 的码流中增加补充信息，保证增强型的反向兼容性，附加信 息包括：指示采用的定点i d c t 、图像信息和信息类型、任意的二进制数据、文 本、重复的图像头、交替的场指示、稀疏的参考帧识别。 1 2 3h 2 6 4 视频压缩标准 h 。2 6 4 是疆u 曩和i s o i e c 联合制定的视频编码标准，目的在予提离编码 效率和对网络的适配性，来满足多种视频应用的要求。h 2 6 4 编码算法在概念上 可以分为两层：视频编码层( v c l ) 和网络适配屡( n a l ) 。其中，v c l 负责高效的 视频内容表示，其设计露标是为了提高编码效率；丽n a l 负责以网络所要求的 恰当的方式对数据进行打包和传送，其因的是解决视频q o s ( 服务质量) 与网络 q o s 的适配。 h 2 6 4 标准的掭出，是视频编磁标准的一次重要进步，采用了当前视频编码 的瓶技术，它与现有的m p e g 2 、m p e g 4 及h 2 6 3 相比，具有明显的优越性。 2 0 0 3 年3 月，标准的最终草案公布，称作h 2 6 4 a v c 或m p e g - 4v i s u a lp a r t1 0 。 与以前的视频编码标准不同，h 2 6 4 不仅含有一个规定视频编码算法翡视频编码 层( v c l ) ，还包括一个规定网络传输规范的网络抽象层( n a l ) 。h 2 6 4 的视 频编码层采取的编码框架仍然是传统的混合编码框架，h 2 6 4 编码效率的提高也 不是其中某一种新的编码技术所产生的决定性的结果，而是多种新技术所产生的 细微的效果积累焉致。这些薪技术包括：多种毅的帧内预测方法、可变尺寸块的 运动补偿技术、多参考帧的运动补偿技术、4 4 整数变换技术、基于上下文的 二进制算术编码技术以及新的环路滤波技术。与先前的标准相比较，h 2 6 4 的应 用前景更为广泛，它允许在因特网审以1 m b i t s 的速率传送电裰质量的视频信号， 它可以便8 m h z 的模拟带宽中容纳两倍于m p e g 一2 编码的数字电视频道，它使 无线视频通信成为可能，它对传统的数字媒体存储技术也将产生巨大的影响。 1 2 4m p e g 1 视频压缩标准 m p e g i ( i s o i e c l l i 7 2 ) 标准予1 9 9 3 年正式推出，它是用于高达1 5 m b i t s 的数字存储媒体的活动图像及其伴音的压缩编码标准。它采用了基于d c t 的变 换编码技术以减少空域冗余，采用了帧问预测编码以减少时阉冗余，具有随机存 取、快速正巍越向搜索、逆鼬重播、视嘶| 司步、容错性及编码懈码延迟等特点。 4 第一章绫论 1 2 5m p e g 2 视频惩缩标准 m p e g 2 ( i s o i e c l 3 8 1 8 ) 标准于1 9 9 4 年正式推出，主要用于高清晰度视频及 其音频的编码。它冤服并解决了m p e g 1 不能满足嚣益增长的多媒体技术、数字 电视技术对分辨率和传输率等方面的技术要求的缺陷，支持固定比特率传送、可 变比特率传送、随机访问、信道跨越、分级解码、比特流编辑以及一些特殊的功 能，如：快进播放、快遥播放、慢动作、暂停和画丽凝固等。 m p e g 一2 视频体系要求必须保证与m p e g 1 视频体系向下兼容，弊力求满足 在数字存储媒体、会议电视可视电话、数字电视、高清晰度电视( r i d t 、广 播、通信、网络等应用领域中对多媒体视频、音频通用编码方法日益增长的新需 要。 1 2 6m p e g 4 视频压缩标准 m p e g 4 ( i s o i e c l 4 4 9 6 ) 标准的第一版于1 9 9 9 年1 月公布，同年1 2 月公布 了第二版。标准中规定适应的3 段比特率范围分别必：低于6 4 k b i # s ；6 4 k b i f f s 一- - , 3 8 4 k b i t s ；3 8 4 k b i t s - - 一4 m b i t s 。m p e g - 4 是一个多媒体交瓦标准，它提供的音频、 视频、图形以及场景描述是以工具包的形式出现的。在实现m p e g 4 标准时，可 根据应用领域的不同，选择适当的音频、视频、图形以及场景描述王其子集。 m p e g 4 早期是针对甚低码率( 6 4 k b s 以下) 网络带宽而提出，对视频图像 采用了基于内容的编码，引入了视频对象( v 0 ) 的概念，需要进行编码的v o 可 以是任意形状区域。但m p e g 碡有些档次的算法过于复杂，以臻前的硬件水平， 很难达到实用。m p e g 4 的一个特点是更适于交互a v 服务以及远程监控，这是 第一个使由被动变为主动( 不蒋只是观看，允许加入其中，即有交互性) 的动态图 象标准。它的另一个特点是其综合性，从根源上说，m p e g 4 试图将褫觉效果意 义上的自然物体与人造物体栩溶合，所以它的设计霹标还鸯更广的适应性_ ； 秘可扩 展性。与前两者不周，m p e g 4 不仅是针对一定比特率下的视频、音频编码，更 加注重多媒体系统的交豆性和灵活性。它具有高效编码、高效存储与传播及可交 互操作的特性。在m p e g - 4 巾a v o 有薏重要的地位，因为m p e g - 4 采用a v o 来表示听觉、视觉或者视听组合内容，允许组合已有的a v o 来生成复合的a v o ， 由此生成a v 场景，并采用s n h c 的方法来组织这些a v o 。对于a v o 的数据 还能灵活地多路合成与同步，以便选择合适的鼹络来传输这些a v o 数据，并允 谗接收端的用户在a v 场景中对a v o 进行交互操作。 5 繁章绪论 1 2 7 其它压缩编码标准 r e a l v i d e o r e a lv i d e o 是r e a ln e t w o r k s 公霹开发的在窄带( 主要的互联网) 上进行多媒体 传输的压缩技术。 、 侏仆， w m v ( w i n d o w sm e d i av i d e o ) 是微软公司开发的一种数字视频莲缩格式。 w m v 文件一般同时包含视频粒音频部分。视频部分使用w i n d o w sm e d i av i d e o 编码，音频部分使用w i n d o w sm e d i aa u d i o 编码。 w m v 是微软推出的一种流媒体格式，它是在“同门”的a s f ( a d v a n c e d s t r e a mf o r m a t ) 格式升级延 睾来得。在两等视频质量- 1 r ，w m v 格式的体积薯 常 小，因此很适合在网上播放和传输。 微软的w m v 还是很有影响力的。可是由于微软本身的局限性其w m v 的应 用发展并不颥利。第一，w m 9 是微软的产品它必定要依赖着w i n d o w s ，w i n d o w s 意味着解码部分也要有p c ，起码要有p c 机的丰板。这就大大增加了机项盒的造 价，从而影响了视频广播点播的普及。第二，w m v 技术的视频传输延迟非常大， 通常要l o 几秒钟，正是豳于这种局限性，目前w m v 也仅限于在计算机上测览 w m 9 视频文件。 q u i c k l i m e q u i c k l i m e 是一种存储、传输和播放多媒体文件的文件格式和传输体系结构， 所存储鞠传输的多媒体通过多重压缩模式压缩两成，传输是通过r t p 协议实现 的。 r e a l - n e t w o r k s 的r e a lv i d e o 、微软公司的w m t 以及a p p l e 公司的q u i c k l i m e 带动了鼹络流媒体的发展，视频压缩编解码标准紧扣应焉发展的脉搏，与工业和 应用同步。未来是信息化的社会，各种多媒体数据的传输和存储是信息处理的基 本问题，因此，可以肯定视频压缩编码标准将发挥越来越大的作用。 1 3a v s 视频技术的优势和发展前景 a v s 标准主要服务于信息产业三大组成部分之的数字音视频产业，是数 字音视频产业的基础性标准，是根据我国数字音视频产业的需要开发的一套适庇 面十分广阔的技术标准，优势表现在以下几个方面： 1 a v s 是基于我国自主创新技术和国际公开技术所构建的自主标准； 2 a v s 的编码效率比我国爵前采蹋推广的m p e g 2 国际标准商2 3 倍( 高 6 第章绪论 清晰电视可达到3 倍或更多) ； 3 a v s 与珏。2 6 4 编码效率相当，技术方案更麓浩； 4 a v s 可节省一半以上的无线频谱和有线信道资源，降低传输和存储系统 的复杂程度，显著降低传输、存储设备与系统的经济投入； 5 。a v s 最直接的产业化成果是未来1 9 年我国需要的3 亿5 亿颗解码芯片， 最直接益是节省超过l o 亿美元的专利费，从而为我国数字电视等音视 频产业的跨越发展提供难得的契机。 当然，最重要的是a v s 标准在技术和性能上处予国际先进水平，如果抓住 这次机遇，在数字电视、高清晰度视盘、流媒体和多媒体通言这个即将来临的 产业大潮中，我国就可能形成较为健康的从技术一专利一标准一芯片设计与生产 一整机与系统制造一数字媒体运营的产业链条。 薹4 课题内容 本课题主要是在实验室师兄师姐的基础上，修改和完善原来课题组的 a v s m 的解码程序，对原程序的软件滤波部分进行修改和完善，并进行解码器 结构的重薪调整。实现比参考解玛器速度要快的c i f 及q c i f 图像的解码显示， 并将我们修改过的程序和原来的参考程序w m 3 3 a 移植到t i 公司的d s p ( t m s 3 2 0 d m 6 4 2 ) 上面，使其能够在c c s 上面仿真运行并且熊够正确解码。对 移植后豹程序进行优化。两者进行比较，然后徽出更多改进和优化。本课题过程 中主要做的工作有：独立编写代码，修改原来代码中问的错误和不足之处，调整 代码结构，将代码移植到c c s 上面进行仿真，将移植的代码进行优化，与标准 代码w m 3 3 a 进行对眈，更多的改进和优化自己豹代码，将代码移植到硬件平台 并对其进行修改和优化。 董5 本论文的安排 第一章：介绍编解码标准的发展历史，以及a v s 出现的背景和意义。 第二章：简要介绍a v s m 标准 第三章：介绍a v s 。m 软件的编写帮实现。 第四章：详细介绍a v s m 在d s p 仿真软件c c s 上面的实现 第五章：介绍对a v s m 在c c s 上面的优化工作。 第六章：总结和展蓬。 7 第二鬻a v s m 视频缡解秘栋准技拳 2 1 引言 第二章a v s m 视频编解码标准技术 a v s ，m 也是基于预测、变换和熵编码的混合编码系统，框架与a v s l p 2 相 同。a v s m 码流结构语法层次与a v s i p 2 类似。不同的是，a v s m 的条带是 由以扫描颟| 寄连续的若干宏块缝成，而著不要求是完整的宏块行，这样便予视频 流的打包传输。图像类型只有i ，p 两种。目前a v s m 己定义了一个档次，即基 本档次和9 个级别。下面对a v s m 编解码技术做一个简要的介绍，并且与h 2 6 4 进行一定的对眈，以便看出a v s m 的发展优势和潜力。 2 2 编码过程 如图2 1 所示，a v s m 采用了传统的基于块的混合视频编硝框絮，具体包括 帧内预测、帧问预测、变换、量化和熵编码等系列技术来实现高效率的视频 图2 1 编码流程图 编码。帧问预测使用基于块的运动补偿技术来消除图像问的冗余，帧内预测使用 空闻预测模式来消除图像内的冗余。再通过对预测残差进行变换和量化消除图像 8 第二鬻a v s m 褫簇编磐秘轹准技术 内的视觉冗余，最后，运动矢量、预测模式、量化参数和变换系数等用熵编码进 行压缩。 2 。2 1 帧内预测 a v s m 帧内预测沿袭了h 2 6 4 帧内预测的技术思路，用裙邻块的像素预测 当毒誊块，采焉代表空闻域纹理方向的多种预测模式。类似娃2 6 4 ，在a v s m 标准 中帧内预测亮度有9 种预测模式( 8 种不同方向上的预测模式及d c 预测模式) ，色度 有3 种预测模式。当前块帧内预测数据由其左边和上边的参考样本来预测亮度或 色度参考样本，亮度预测模式融福邻块预测得到，色度预测模式直接从码流中获 得。为保证条带( s l i c e ) 的编码独立性，帧内预测不允许跨越条带边界。与h 2 6 4 不同的是，一方面，a v s m 采用了增强最佳模式预测，提高了最佳模式与最可 能模式的匹配效率，在保证图像质量的同嚣于，减少了编码比特数；另一方谣，为 降低帧内预测算法的复杂度，a v s m 所有帧内预测基于4 4 块，不采用基于1 6 x1 6 块预测，并且将用于预测每个4 x 4 块像素值的邻近1 7 个参考样本降为9 个， 减少了参考样本取点个数和内存读敬次数，降低了帧内预测实现复杂度。 2 2 2 帧间预测 a v s m 采用与h 2 6 4 相同的图像宏块划分技术，自顶向下将视频图像划分为 ( 序列( 帧( 条带( 宏块( 子宏块( 块( 像素点) ) ) ) ) 。宏块划分采用可变宏块大小，1 6 x 1 6 宏块可划分为1 6 x 6 、1 6 8 、8 x1 6 、8 8 则种子宏块类型，当划分为8 8 类 型时，可进一步划分为8 8 、8 4 、4 x 8 、4 4 四种子宏块类型。除了采用与 h 2 6 4 类似的可变宏块大小划分外，a v s m 也采用了亮度最大1 4 像素、色度1 8 像素精度插僮的运动替偿技术；允许运动矢量跨越图像边界；采用多参考帧运动 估值技术，每一个m n 亮度块都要经过运动补偿预测得到运动矢量和参考图像 索引，宏块中的每个子宏块划分都会有不同的运动矢量，用于分别记录每个子宏 块相对各自参考宏块的位置，运动矢量由糯邻块预测得到，其预测的差值被编码 传输。a v s m 采用创新的帧闻插值算法。不同于h 2 6 4 - 采用6 抽头滤波器进行半 像素插值并采用双线性滤波器进行l 4 像素插值，a v s m 采用水平8 抽头滤波器 ( 1 ，4 ，。1 2 ，4 1 ，4 1 ，1 2 ，4 ，1 ) 、垂壹4 抽头滤波器( 1 ，5 ，5 ，1 ) 进行二分之 一像素捶值，并采用线性滤波器进行四分之一像素插值。在获得同样的编码效率 的同时，新的插值算法有效地避开了专利问题。在获得与h 2 6 4 相当的编码效率 情况下，a v s m 充分考虑到移动通信设备处辞能力和存储容量的限制，在帧阀 预测中采取了更为简洁有效的技术方案。其表现在，不支持双向预测、加权预测； 9 第二肇a v s m 褪频编释羁搽准技朱 采用新的参考图像缓冲区管理机制，限定至多两个参考帧，在缓冲区管理上十分 篱单、有效。相对于h 2 6 4 ，算法复杂度小，对存健空间要求低，因面，编解码 器更易于在资源有限的移动终端上实现。此外，a v s 。m 只支持4 ：2 ：0 格式的 图像压缩，且只支持帧图像，不支持场图像，使标准更趋于简洁。 2 2 3 变换量化 a v s m 采用变换和量化对预测残余进行编码。类似h 2 6 4 ，a v s m 采用了基于4 x4 块的整数变换，但具体实现方法不同。其进行的变换如下f 翻： y = c r x c 5 园e f = 2 2 22l l2 3l 2 屯 l 一l一3 之2 3一l 2 l也一3 2 一l - 23 232一l圆| 三| a b 掂2a b b 2a bb 2 a ba 2a b b 2a bb 2 ( 2 一1 ) 其中，c ，嬲；是二维变换的核心部分，e 提缩放系数矩阵。运算符。表示 每一个变换焉的系数分别与矩阵舀中楣圊位置的缩放因子相乘。变换过程中实现 了变换归一化与量化的结合，并且计算只使用加减、移位运算，不仅降低了编解 码器的实现复杂度，而且避免了精度的损失。 由于变换的过程中将所有行的模都做了归一纯的处理，因丽只需要一个二维 数组和一个一维数组即可完成不同级别的量化。另外，a v s m 对变换参差系数 的量化使用6 4 级步长的量化器( h - 2 6 4 为5 2 级) 。量化步长范闱的扩大使得编码器 能够更灵活和精确地进行控制，在比特率和图像质量之问达到折中。 2 2 4 熵编码 a v s m 熵编码时，对除量化系数外的语法元素值采用了较简单的指数哥伦 布码进行编码；对量化系数采用自适应变长编t 玛( c h v l c ) ，舍弃了h 2 6 4 标准中 复杂度高的基于上下文的二进制算术编码( c a b a c ) 。a v s ，m 采用二维变长码表， 其中包含1 8 个变长码表：7 个用于帧内亮度量化系数编码，7 个用于帧问亮度量化 系数编码，4 个用于帧内帧问色度量化系数编码。编码量化系数过程率根据前面 已编码的量化系数值的大小进行多码表切换。另外，不同于h 。2 6 4 ，a v s m 将扫 描形成的( l e v e l 、r u n ) 对串映射成哥伦布码后按逆扫描的顺序( h 2 6 4 按扫描顺 序) 写a - - 迸制比特流。相比较h 2 6 4 基于上下文的二进制算术编码方法，a v s m 采用的基于上下文的适应性变长编鹨易予硬博实现。 1 0 第二露a v s 。m 褪簇编簿璐标准技术 2 2 5 环路滤波 由于a v s m 采用的是传统的基于块编码的压缩算法，图像容易产生方块效 应。a v s m 采用了自适寂块肉环路滤波以提井压缩图像的主观震量。a v s m 滤 波类型分为帧内宏块滤波模式秘帧闻宏块滤波模式，两者分别采用不同的滤波算 法，但都是对4 4 块的边界进行滤波。环路滤波的强度通过宏块的类型、量化 参数( q p ) 、滤波阀值、像素点值等语法元素控锎。a v s m 采用4 抽头滤波器，滤 波像素点少，强度弱，但在较好地消除图像方块效应的同时较大地缩短了滤波时 间【7 1 。 2 2 6 网络适应性和抗误码机制 作为一种面向移动视频通信的编码标准，为适威各种网络环境和应用场合， a v s m 定义了类似h 2 6 4 的视频编码层( v c l ) 和网络提取层( n a l ) 。其中视频编码 层的功能是进行视频编解码，包括上述帧内预测、帧问预测、交换量化和熵编码 等功能；露络提取麓用于采用适当的格式对视频编码层编码视频数据进行封装打 包。尉时，a v s m 采用了多种增强压缩视频流抗误码能力的编码技术，以适应 误码多发的移动视频应用。这些技术包括：采用i d r 图像( 臣口时解码刷新图像) 消 除误码扩散所导致f | 专蚕像漂移，i d r 图像后的所有图像德码颓序) 的解码过程都 不会用到该i d r 图像前的图像( 解码顺序) 进行帧间预测；片( s l i c e ) 数据独立编码及 受限帧内预测编码，某一片凶诶码或者薏包而无法解码并不影响其他片的解码； 多序列参数集和图像参数集，a v s m 允许存在多个序列参数集帮图像参数集， 并允许这些参数集单独作为n a l 单元传输，这些极为重要的参数信息可以攀先嵌 入到解码器中或是采用可靠的传输机制和性能更好的信道将其可靠地送达解码 器，以保证解码端正确解码等。但a v s m 删减了h 2 6 4 中对编码效率有着较大影 响的抗误码工具，如灵活宏块排列次序( f m o ) 、任意条带顺序( a s o ) 、冗余片( r s ) 等技术。使得抗误码工具够用，但是又不至于太繁杂，有利于应用实现。 2 3 解码过程 2 3 1 引言 a v s m 解码器首先解析n a l 头信息，然后对其残差信息进行反量化，反d c t 交换，在宏块级进行顿肉预测和帧间运动补偿，然蜃进季亍琢路滤波，恢复出图像， 第二章a v s m 褫簇缓解玛豁准技本 具体流程如图2 2 所示f 懿。 我们在这里不详谈所有的解码步骤，只是了解一下大概过程，然后详细作为 实例介绍下环路滤波过程。 2 3 。2 环路滤波 图2 2 鳃码流程图 除图像边界, 及d i s a b l e _ l o o p _ f l i t e r s l i c e f l a g 毽为l 懿条带的边界之外，宏 块的所有块边界都应进行滤波。此处宏块边界定义为宏块内部各个4 x 4 块的边界， 以及当前宏块与相邻宏块的上边界和左边界。 环路滤波以宏块为单位，图豫中每个宏块的滤波过程如下： 宏块亮度边界 宏块色_ i 黧边界 注：粗实线为垂直边界，点划线为水平边界。 图2 3 宏块中需要滤波的边界示意图 对亮度和色度分别做环路滤波，见图2 3 ，首先从左到右对垂童边界滤波， 然后从上到下对水平边界滤波。当前宏块的环路滤波的输入为图像未进行滤波的 样本值，当前宏块环路滤波会修改这些样本值。当前宏块垂直边晃滤波过程中修 改的样本僮作为水平边界滤波过程的输入。帧内预测使用环路滤波前的重建图像 1 2 纂_ 二牵a v s m 视频编解羁轹准技术 样本值。 韵滤波模式的选择 根据宏块类型和宏块中亮度块的c u r r e n t q p ，按以下方法选择滤波模式： 首先，如果当前宏块是帧内编码宏块，则使用帧内宏块滤波模式。 其次，如果当前宏块不是跳过模式的帧阀编码宏块，或者当前宏块的 c u r r e n t q p 大予等于t h r e s h o l d q p ，则选择帧间宏块滤波模式。 如果上述两个条件都不满足，则不对当前宏块滤波。 妨块边界阈值的推导遵程 图2 4 表示块p 和块q 在水平或垂直边界两侧的4 个样本点( 边界用黑色粗线 表示) 。用p o 、p l 、q 0 和q 1 分别表示p o 、p i 、q o 和q l 滤波后的样本值。 圈2 44 x 4 块水平边界样本 如果该宏块需要滤波，并且下式为真，剐对边界样本滤波： a b s ( p o - - q o ) 1 索引i n d e x a 为： i n d e x a c l i p 3 ( 0 ，6 3 ，c u r r e m q p a v + a l p h a c i o f f s e t ) 根据索弓l l n d e x a 与阈值a 问的对应关系，由表2 一l 得到0 【值。 表2 1 块边界阈值0 t 与in d e x a 的关系 索引值索引a索引 0 l 索引 0 【 oo1 643 2 2 24 8 4 6 圭01 743 32 44 94 8 201 853 42 65 05 0 3 0 1 953 52 85 l5 2 4o2 063 63 05 2 5 3 502 l73 73 35 35 4 6 1 2 283 83 35 45 5 7l2 393 93 55 55 6 8l2 41 04 03 55 65 7 第二牵a v s - m 视频编绥码标准接本 9l2 5l 王4 l3 65 75 8 l l2 61 24 23 75 85 9 l l22 7 1 34 33 75 96 0 1 222 81 54 43 96 06 l 1 322 91 64 53 96 16 2 1 4 33 01 84 64 26 26 3 1 5 33 l 2 0 4 74 46 36 4 c ) 帧