（通信与信息系统专业论文）avsm视频译码器实现技术研究.pdf

重庆邮电大学硕士论文摘要 摘要 电子技术、网络通信技术的迅速发展，使得视频编码和压缩技术成为研究的 热点。通信信道带宽以及终端处理器能力的限制，对视频编码标准提出了更高的 要求。a v s 标准作为解决音视频编码压缩的信源标准，它的基础性和自主性使得 它能够成为推动我国数字音视频产业“由大变强”的重要里程碑。它具有高压缩率、 高质量和相对简单的硬件实现复杂度，适合宽带、有线、无线等一系列网络多媒 体应用和存储应用的需要。其中a v s m 是a v s 的第七部分，是面向新一代移动 通信的视频编码标准。其编码效率达到了国际先进水平，而计算复杂度则更低。 在音视频领域，由于受昂贵的m p e g 2 ，h 2 6 4 专利费的限制，因此发展我国自 己的音视频标准很有必要。 随着嵌入式系统在应用电子领域的广泛应用，a r m 因为其强大的功能在消 费电子市场上占有很大份额，如现在的智能手机等都是采用了a r m 处理器内核。 本文研究为a v s m 视频译码器在a r m 9 处理器的实现提供一种解决方案。 本文的工作就是在分析、测试a v s m 标准的基础上，设计了可用于a r m 9 平台上实现的a v s m 解码器程序。具体研究内容包括： 通过仔细阅读和研究常用的视频图像压缩标准，深入理解了a v s m 视频压 缩标准的思想。 通过分析a v s m 解码器的复杂度，找到比较耗时的模块，对反变换i d c t 、 运动补偿插值和去块效应滤波的算法进行优化，优化后的代码经过测试与源代码 相比，速度上有了明显的提高。 p c 上移植c 代码到a r m 9 平台后，从程序代码以及数据存储空间和解码 速度方面着手，对移植后的代码再进行优化。经标准序列测试，这种方法解决了 实时译码问题。 关键字ta v s m ，视频压缩，译码器，a r m 9 ，代码优化 重庆邮电大学硕士论文 a b s t r a c t a b s t r a c t v i d e o c o m p r e s s i o n ，t h o u g har e s e a r c h f o c u sb r o u g h tf o r t h b y t h ef a s t d e v e l o p m e n to fe l e c t r o n i ct e c h n o l o g i e sa n dn e t w o r kc o m m u n i c a t i o n s ，h a sp o s e da h i g h e r d e m a n do nv i d e o c o d i n g d u et ot h el i m i t a t i o no ft h eb a n d w i d t ho f c o m m u n i c a t i o na n dt e r m i n a lp r o c e s s o r a v sa sas o l u t i o no ft h es t a n d a r ds o u r c ew h i c h c a ns o l v ea u d i oa n dv i d e oc o d i n g ，t h ef o u n d a t i o na n da u t o n o m yo fa v sm a k ea v s b e c o m ea l li m p o r t a n tm i l e s t o n ew h i c hc a np r o m o t ed i g i t a la u d i oa n dv i d e oi n d u s t r y ”f r o mb i gt os t r o n g i nc h i n a i ti sc a p a b l eo fd e a l i n gw i t hw i l db a n d ，i n t e m e t ，a n d w i r e l e s sm o b i l ea p p l i c a t i o n sf o ri t sh i g hc o m p r e s sr a t i o ，g o o dq u a l i t ya n dr e l a t i v e l y l o wc o m p l e x i t y a st h es e v e n t h p a r to f a v s ，a v s - mi st h ev e r ym o b i l ev i d e oc o d i n g s t a n d a r df o ran e wg e n e r a t i o no fm o b i l ec o m m u n i c a t i o n s i t sc o d i n gp e r f o r m a n c eh a s a c h i e v e dt h ei n t e r n a t i o n a la d v a n c e dl e v e l ，w h i l et h ec o m p u t a t i o n a lc o m p l e x i t yi sm u c h l o w e r i nt h ed o m a i no fv i d e oa n da u d i o ，r e s t r i c t e db yt h eh i g h e x p e n s ep r o p e r t yr i g h t o f m p e g - 2a n dh 2 6 4 ，s oi ti sn e c e s s a r yt od e v e l o po u rv i d e oa n da u d i os t a n d a r d w i t ht h ew i d e l yu s eo fe m b e d d e ds y s t e mi nt h ea r e ao fa p p l i c a t i o ne l e c t r o n i c s ， a r m p o s s e s s e sal a r g es h a r ei nc o n s u m ee l e c t r o n i cm a r k e tb e c a u s eo fi t sp o w e r f u l f u n c t i o n ，f o re x a m p l e ，a r mi su s e da sac p ui ni n t e l l i g e n tm o b i l e sn o w s d a y s a s o l u t i o nf o ra v s ma u d i od e c o d e ri m p l e m e n ti na r m 9i sp r o p o s e di nt h i sp a p e r b a s e do nt h ea n a l y z i n ga n d t e s t i n ga v s - m s t a n d a r d ，t h ew o r ko ft h i st h e s i si st o d e s i g na v s md e c o d i n gp r o g r a mw h i c hc a r lb eu s e do na r m 9p l a t f o r m s p e c i f i c r e s e a r c ha r ei n c l u d e d ： 1 h et h o u g h to fa v s mv i d e oc o m p r e s s i o ns t a n d a r di si n d e p t hu n d e r s t a n d e d t h r o u g hc a r e f u lr e a d i n ga n ds t u d y i n go fv i d e oi m a g ec o m p r e s s i o ns t a n d a r d f i n d i n gt h et i m e c o n s u m i n gp a r tt h r o u g ht h ea n a l y s i so fc o m p l e x i t yo f d e c o d e r ，a n do p t i m i z i n gt h ea l g o r i t h mo f i d c t 、m o t i o nc o m p e n s a t e di n t e r p o l a t i o n a n d a n dd e b l o c k i n gf i l t e r c o m p a r e dw i t l lt h er a wp r o g r a m ，t h e r ei sa no b v i o u se n h a n c ei n s p e e do f t h en e wd e s i g n e dd e c o d e r a f t e rt r a n s p l a n t i n gt h ep r o g r a mf r o mp ct oa r m 9p l a t f o r m ，o p t i m i z i n gt h e d e c o d i n gp r o g r a mw h i c hm a i n l yb a s e do n t h ep r o g r a mc o d e 、d a t as t o r a g es p a c ea n dt h e d e c o d i n gs p e e d t h et e s t o ns t a n d a r dv i d e os e q u e n c e ss h o w st h a tt h es y s t e mc a n s o l v e dt h er e a l - t i m ed e c o d i n gp r o b l e mb a s i c a l l y 重庆邮电大学硕士论文 a b s t r a c t k e yw o r d s ：a v s m ，v i d e oc o m p r e s s i o n ，d e c o d e r ，a r m 9 ，c o d eo p t i m i z a t i o n i i i 重庆邮电大学硕士论文 第一章绪论 1 1 引言 第一章绪论 随着信息技术的发展和深入应用，特别是计算机技术、微电子技术和网络技 术的迅速发展，信息( 包括文字信息、图形和图像信息、声音信息、视频和动画 信息等) 数字化已成为现实，人们把多种数字信息综合起来，就构成了一种全新 的信息表现手段，即多媒体技术。多媒体技术从2 0 世纪8 0 年代开始发展，是当 今信息技术的热点之一。信息技术热点包括因特网、数据库、多媒体及其应用， 各国都投入大量的人力、物力和财力，研究和发展多媒体技术。 多媒体技术是指利用计算机把声音、图像、图形、文字等信息媒体综合一体 化，使之建立起逻辑连接，并能对它们进行获取、压缩、编辑、加工处理、存储 并展示。简单地说，多媒体技术就是把声、文、图、视和计算机集成在一起的技 术，根据多媒体技术的定义，可以看到多媒体技术具有多样性、集成性、实时性 和交互性等显著特点。在多媒体技术的支持下，增强了计算机应用的广度和深度， 使得计算机进入到商业、家庭、政务、学校、娱乐、旅游、艺术、广告等几乎所 有的社会和生活领域，像商品展示、多媒体教学、游戏、视频点播、可视电话和 聊天、视频会议、远程教学、远程医疗等，都是属于多媒体技术应用的实例。而 多媒体设备主要是围绕多媒体信息数字化来设计解决计算机处理中的输入、输出、 表示、压缩、解码、转换等问题。常见的多媒体设备有声卡、m i d i 卡、数码相 机、数码摄像机、u s b 摄像头、声霸卡、视频采集卡、压缩卡、大屏幕投影设备、 实物投影设备、触摸屏等。 而视频图像作为重要的多媒体信息，近年来发展迅猛，诸如数码摄影、视频 会议、高清晰电视h d i 、v c d 、d v d 以及交互式视频游戏等等，视频图像通信 已经成为人类最重要的通信手段之一。随着v l s i 、计算机和通信技术的迅猛发展， 数宁化技术从未像今天这样深刻地影响着人们的日常生活，它以其良好的可编辑 性能、更高的数据传输可靠性和数据保密性等优点迅速替代原有传统的模拟传输 方式成为人类社会信息载体的首选。而视频编码技术则是面向通信的视频信号处 理中的一项核心技术，其目的就是针对给定的图像序列，在保证一定重构视频质 量的前提下，使用尽可能少的比特数对其加以描述，以利于在给定的通信信道中 进行传输。由于承载了海量信息，图像和视频中通常包含了大量的数据，对通信 传输宽带、数据存储等都提出了更高的要求。以多媒体通信中常见的c i f ( 3 5 2 x 2 8 8 ) 重庆邮电大学硕士论文第一章绪论 的j v 视频，帧率为3 0 f p s ，采样4 ：2 ：0 ，数据流量将达到3 6 5 m b i t s ，如果是 h d i v ，数据量将会更加巨大。即使对于传输速率较高的l a n ，也无法进行连续 的视频信息实时传输。视频数据的这种海量性给存储器的存储容量、通信信道的 传输带宽，以及计算机的处理速度都增加了极大的压力。因此无论是存储、传输 还是处理，数字视频都必须经过有效压缩才能具有实际使用价值。 1 2 视频编码概述 虽然图像和视频信息需要占用海量的数据，但是数据并不完全等价于信息。 数据是信息的载体，同样的信息可以由不同长度的数据进行描述。数字视频具有 自身的独特特点，即视频数据具有多种相关性。如果能够去除由相关性所造成的 各种冗余，便能够实现对原始视频信号的有效压缩。从原理上讲，我们采集到的 图像在时间和空间上有相当大的相关和相似性【l 】，专业上称之为数据冗余，一帧 图像中相邻的象素的相似性，前一帧图像和后一帧图像的相似性，使得我们可以 通过帧内预测和帧间运动补偿等算法，减少码流中实际需要传输的信息量，从而 减小码率。其次，视频压缩使用的是有损压缩，即通过丢弃一部分的信息，来达 到减小码率的目的。而有损压缩是通过量化来实现的，也就是把采集到的数据信 息，通过除以一个量化因子，减小其绝对值，从而减少需要传输这个数据的比特 数，由于色彩、亮度上的细小差别，以及少量高频的信息的改变，人的肉眼是无 法分辨的，尤其是在图像运动的时候，因此这使得通过量化减小码率成为可能， 虽然量化后解码的图像和真实的图像会有一些不同，但通常不影响观赏。当然， 过于剧烈的有损压缩会使图像失真越来越严重，最终不可辨认，因此量化时要根 据实际情况进行控制，特别是在无线通信等带宽要求比较严格的情况下，要在码 率和质量之间取得一个平衡。 标准化是产业化活动的前提，近年来一系列国际视频压缩编码标准的制定， 极大地促进了视频编码技术和多媒体通信技术的发展。标准化是产业化活动的前 提，近年来一系列国际视频压缩编码标准的制定，极大地促进了视频编码技术和 多媒体通信技术的发展。视频压缩编码标准主要包括由国际电信联盟( i m e m a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ，i t u ) 所制定的h 2 6 x 系列标准，以及由国际标准化组织 ( i n t e r n a t i o n a ls t a n d a r d i z t i o no r g a n z a t i o n , i s o ) 和i e c ( i n t e r n a t i o n a le l e c t r o t e c h n i c a l c o m m i s s i o n , 国际电工委员会) 的共同委员会中的m p e g 组织( m o v i n gp i c t u r e e x p e r tg r o u p ) 所制定的m p e g - x 系列标准。这些视频编码标准都是根据人们在不 同领域中对数字音视频数据的要求所制定的，图1 1 按照制定时间顺序大致描述 2 重庆邮电大学硕士论文 第一章绪论 了现有国际视频编码标准的发展历程。下面几节简单的介绍一下几个比较重要的 视频方面的标准。 a v s 标准 a v s i 刊： h 2 6 2 咿e g 一2h 2 6 4 m p e g 标准枷e g l姗) e g 一4卿e g 一7 1 9 8 4 1 9 8 6 1 9 8 81 9 9 01 9 9 21 9 9 4 1 9 9 61 9 9 82 0 0 0 2 0 0 2 2 0 0 4 图1 1 视频编码国际标准的发展 1 2 1m p e g x 系列标准 m p e g 1 和m p e g 2 是m p e g 组织制定的第一代音视频编码标准，为v c d 、 d v d 及数字电视和高清晰度电视等产业的飞速发展打下了牢固的基础。m p e g - 4 是基于第二代视音频编码技术制定的压缩标推，以视听媒体对象为基本单元，实 现数字视音频和图形合成应用、交互式多媒体的集成，目前已经在流式媒体服务 等领域开始得到应用。m p e g - 7 是一种多媒体内容描述标准，支持对多媒体资源 的组织管理、搜索、过滤、检索，该标准制定已经基本完成。正在制定的m p e g 2 1 的重点是建立统一的多媒体框架，为从多媒体内容发布到消费所涉及的所有标准 提供基础体系，支持连接全球网络的各种设备透明地访问各种多媒体资源畔l 。 m p e g 1 标准： m p e g - 1 的传输速率是1 5 m b p s ，应用于数字存储媒体运动图像及伴音的编 码。m p e g 1 具有随机存取、快速正向逆向搜索、逆向重播、视听同步、容错性 等功能，现在市面上的v c d 使用的就是m p e g 1 的标准。 m p e g 2 标准： m p e g - 2 的正式名称为“i s o i e c1 3 8 1 8 ：运动图像和相关声音信息的一般编 码方法，1 9 9 4 年正式颁布为国际标准。m p e g 一2 是针对标准数字电视和高清晰 重庆邮电大学硕士论文 第一章绪论 度电视在各种应用下的压缩方案和系统层的详细规定，也是国际主流的s d t v 和 h d t v 的编码标准。m p e g 2 的产生，使高品质和音质的d v d 逐渐取代了v c d 。 作为m p e g 系列的新一代标准，它的优点主要体现在：由原来单一的“按帧 编码”变成了“按帧编码 和“按场编码 两种模式，提高了压缩率；亮度信号 与色度信号的比例在m p e g 1 的4 ：2 ：0 的基础上增加了4 ：2 ：2 或4 ：4 ：4 两种模式； 规定了四种图像预测和运动补偿方式；视频编码采用了分级编码技术，按类别的 不同分为5 种档次和4 个不同的等级。 m p e g - 4 标准： m p e g - 4 的正式名称为“i s o i e c1 4 4 9 6 信息技术：音视频对象通用编码算法， 其目的是为多媒体信息压缩提供统一和开放的平台，2 0 0 0 年初正式成为国际标 准，它可以进行从极低分辨率到高清晰度分辨率间的各种分辨率下的压缩编码， 传输码率在4 8 6 4 k b i 以。目前，m p e g - 4 在i n t e m e t 视频、流媒体、无线通信等 领域中得到了广泛的应用。作为开放的标准，新内容和新算法也不断加入其中。 与之前的视频标准相比，m p e g - 4 标准还提供了一些全新的功能：基于内容 的交互性，m p e g - 4 提供了基于内容的多媒体数据访问工具，如索引、超级链接、 上下载、删除等。利用这些工具，用户可以方便地从多媒体数据库中有选择地获 取所需的与对象有关的内容，并提供了内容的操作和位流编辑功能，可应用于交 互式家庭购物、淡入淡出的数字化结果等；高效地压缩性，m p e g - 4 与其他标准 相比，在相同的比特率下，它基于更高的视觉听觉质量，使得在低带宽的信道上 传送视频、音频成为可能，同时还能对同时发生的数据流进行编码，一个场景的 多视角或多声道数据流可以高效、同步地合成为最终数据流；通用的访问性， m p e g - 4 提供了易出错环境的鲁棒性，来保证其在许多无线和有线网络以及存储 介质中的应用，此外，m p e g - 4 还支持基于内容的可分级性，即把内容、质量、 复杂性分成许多小块来满足不同用户的不同需求，支持具有不同带宽、不同存储 容量的传输信道和接收端。 1 2 2h 2 6 x 系列标准 h 2 6 1 标准： h 2 6 1 是19 9 0 年底推出的，在码率为p 6 4 k b p s ( p = l - 3 0 ) 的i s d n 综合业务数 字网上传输可视电话和会议电视，只针对c i f 和q c i f 两种图像格式，每帧图像分成 图像层、宏块组层、宏块层、块层来处理，为以后的标准发展奠定了基础。它包 括运动补偿的帧间预测、d c t 变换、量化、熵编码，以及与固定速率的信道相适 配的速率控制等部分。 4 重庆邮电大学硕士论文第一章绪论 h 2 6 3 标准： i t u t 于1 9 9 6 年3 月正式通过h 2 6 3 国际标准，其正式名称为“低比特率通 信的视频编码 。h 2 6 3 应用目标是满足电视会议、可视电话等视频通信业务，它 的出现使得在码率低于6 4 k b p s 的公共电话交换网( p s t n ) 和无线网络上传送质 量较好的音视频信息成为可能，图像格式可以是s q c i f 、q c i f 、c i f 、4 c i f 、1 6 c i f ， 运动补偿使用半像素精度。i t u t 在h 2 6 3 标准后，又于1 9 9 8 年和2 0 0 0 年分别 对h 2 6 3 以新增附录的形式进行修订，形成了h 2 6 3 + 和h 2 6 3 + + 两个改进标准， 既增加了一些改进编码效率的方法，同时也提高了抗误码性能的能力。 h 2 6 4 a v c 标准： 2 0 0 3 年3 月，h 2 6 4 标准由i t u t 的v c e g 和i s o i e c 的m p e g 共同组成的联合视 频组( j o i mv i d e ot e a m ，j v t ) 颁布的，同时i s o 将其作为m p e g 4 的第1 0 部分， 称之为“i s o i e c1 4 4 9 6p a r t l 0 高级视频编码算法”( i s o i e c1 4 4 9 61 0a v c ) 。 h 2 6 4 的特征是加大了预测部分的比重，通过改善预测误差而提高编码效率， 采用了一系列先进的编码技术，使得在同样的码率条件下，h 2 6 4 压缩视频的图像 质量超过了以往的任何编码标准。h 2 6 4 标准采用的新型编码技术主要包括如下： 采用4 4 像素块的整数变换，运算速度快，反变换过程中没有匹配错误问 题； 采用可变换运动估计运动补偿技术，宏块尺寸从1 6 1 6 ，1 6 8 ，8 1 6 ， 8 8 ，8 4 ，4 8 ，4 4 像素块中可选，采用尺寸可变块的运动估计可以比单独 1 6 1 6 宏块的预测方法提高超过1 5 的编码率； 运动矢量的精度为1 4 或1 8 像素，与整数精度的空间预测相比，编码率最 高可提高2 0 ； 采用多参考帧进行帧间预测，这样比单独参考帧方法可以节省5 - - 一1 0 的 传输码率，并且有利于码流的错误恢复； 采用空域帧内预测技术，有效降低了i 帧编码的比特率； 为消除块效应，采用基于4 4 块边界的去块滤波器，有效地提高了图像的 主观质量； 采用u v l c 编码( u n i v e r s a lv a r i a b l el e n g t hc o d i n g ) 或c a b a c 编码算法 ( c o n t e x tb a s e d a d a p t i v eb i n a r y a r i t h m e t i cc o d i n g ) ，可提高约1 0 的编码率： 引入了s p s i 帧类型，可以有效提高码流切换能力，同时对增强抗误码性也 能带来一定的优势。 h 2 6 4 a v c 的应用几乎覆盖了视频应用的所有领域，包括低比特率的无线应 用，标准分辨率和高清晰宽带电视，网上的视频流，高分辨率的d v d 内容和高质 量的电影应用。 重庆邮电大学硕士论文第_ 章绪论 1 3a v s 概述 数字音视频编解码技术标准工作组【1 7 1 ( a u d i ov i d e oc o d i n gs t a n d a r dw o r k g r o u p o f c h i n a , 简称a v s i 作组) 是由国家信息产业部科学技术司于2 0 0 2 年6 月批准成立 的。工作组的任务是：面向我国的信息产业需求，联合国内企业和科研机构，制 ( 修) 订数字音视频的压缩、解压缩、处理和表示等共性技术标准，为数字音视 频设备与系统提供高效经济的编解码技术，服务于高分辨率数字广播、高密度激 光数字存储媒体、无线宽带多媒体通讯、互联网宽带流媒体等重大信息产业应用。 在长期参与m p e g 等国际标准制定的基础上，在“8 6 3 计划和相关政府部门的大 力支持下，a v s 工作组提出了自主的数字音视频编解码技术标准a v s 。a v s 是我 国具备自主知识产权的第二代信源编码标准，为信息技术先进音视频编码系 列标准的简称，现在已有的a v s l 0 标准，其编码效率比传统的m p e g 2 国际标准 提高了一倍，代表了当前的国际先进水平。 a v s 标准! 刍2 0 0 6 年3 月成为国家标准以来，现在已处于大规模产业化初期，其 应用包括i p t v 、手机电视、( 高清晰度) 数字电视、多媒体通信、视频监控等领 域。目前，加入a v s 产业联盟的企业已经达至1 j 2 8 家，而参与a v s 标准工作组制定 标准的单位达到了1 6 0 多家。 a v s 标准包括系统、视频、音频、数字版权管理等四个主要技术标准和一致 性测试等支撑标准。在2 0 0 4 年1 2 月a v s i 作组提交的信息技术先进音视频编码 第二部分：视频( 送审稿) 和信息技术先进音视频编码第一部分：系统 ( 送审稿) 顺利地通过了全国信息技术标准化技术委员会组织的a v s 标准审定会 的审定。在2 0 0 3 年1 2 月1 8 1 9 日举行第7 次会议上，工作组完成了a v s 标准的第一 部分( 系统) 和第二部分( 视频) 的草案最终稿( f c d ) ，和报批稿配套的验证软 件也已完成。首款基于a v s 的高清解码芯片- a v s l o l 高清解码芯片也已于2 0 0 5 年3 月2 日在北京通过专家鉴定，a v s l 0 1 高清解码芯片是对a v s 标准最完整的物理 阐释，该芯片支持多种中央处理器、总线接口，面向机顶盒、网络电视、数字电 视、高清晰度激光视盘机、视频通信等多个产业，具有广泛的应用前景。a v s l 0 1 高清解码芯片的实现，是a v s 产业化的重要里程碑，对我国数字电视以及数字音 视频产业的发展具有基础意义。这标志着我国数字音视频产业从标准领先跨入核 心产品领先的阶段。2 0 0 4 年1 2 月2 9 日，全国信息技术标准化技术委员会组织评审 并通过了a v s 标准视频草案。2 0 0 5 年1 月，a v s i 作组将草案报送信息产业部。3 月3 0 日，信产部初审认可，标准草案视频部分进入公示期。2 0 0 4 年度第一季度( 第 8 次全体会议) 正式开始“数字版权管理与保护 标准的制定。2 0 0 5 年初( 第1 2 次 全体会议) 完成了第三部分( 音频) 草案。2 0 0 5 年4 月3 0 日，a v s 标准视频部分通 6 重庆邮电大学硕士论文 第一章绪论 过公示，在标准道路上迈出决定性一步。2 0 0 6 年2 月2 2 日，国家标准化管理委员会 颁布通知：信息技术先进音视频编码第二部分视频于2 0 0 6 年3 月1 日起开始实 施。 a v s 与m p e g 4 、h 2 6 4 相比有明显优势：在相同条件下，a v s 的编码效率是 m p e g 2 的两倍，与m p e g 4 a v c 相当，但运算复杂度低，在算法上采用了简化的 策略。例如，如果利用m p e g 2 技术传送高清晰电视需占2 0 m 带宽，用a v s 技术传 送同样质量的节目只要8 m 带宽。另外，a v s 软硬件实现成本都要比h 2 6 4 低，专利 授权模式简单，费用低廉。这些都是a v s 更适合实际应用的原因。 a v s 的产业化步伐在标准制订过程中已经开始，目前正处在大规模产业化的启 动期。 a v s 产业化的主要产品形态包括： 1 ) 芯片：高清晰度标准清晰度a v s 解码芯片和编码芯片，国内需求量在未 来十多面的时间内年均将达g u 4 0 0 0 多万片。 2 ) 软件：a v s 节目制作与管理系统，l i n u x 和w i n d o w 平台上基于a v s 标准的流 媒体播出、点播、回放软件； 3 ) 整机：a v s 机顶盒、a v s 硬盘播出服务器、a v s 编码器、a v s 高清晰度激光 视盘机、a v s 高清晰度数字电视机顶盒和接收机、a v s 手机、a v s 便携式数码产品等。 简言之，a v s 具备三大特点：先进；自主；开放。a v s 最直接的产业化成果是 未来1 0 年我国需要的3 5 亿颗解码芯片，最直接效益是节省超过1 0 亿美元的专利 费，a v s 最大的应用价值是利用面向标清的数字电视传输系统能够直接提供高清业 务、利用当前的光盘技术制造出新一代高清晰度激光视盘机，从而为我国数字音 视频产业的跨越发展提供了难得契机。a v s 将在标准工作组的基础上，联合家电、 i t 、广电、电信、音响等领域的芯片、软件、整机、媒体运营方面的强势企业， 共同打造中国数字音视频产业的光辉未来。 在2 0 0 4 年度第一季度工作组启动t a v s m 的制定，a v s m 全称为信息技术 先进音视频编码第七部分：移动视频，它是面向新一代移动通信的视频编码标 准，在2 0 0 4 年1 2 月北京举行的第十一次a v s 工作组会议上完成了a v s - m 的草案稿， 于2 0 0 6 年4 月在北京通过审定。a v s m 是a v s 面向移动的应用标准，在技术细节方 面，为了适用于无线环境，a v s m 根据无线环境和移动设备的特点作了一些改动。 例如在帧内预测、帧间预测、整数变换等编码过程中处理单元都为4 x 4 大小，考 虑到手持设备等的处理能力，编码没有b 帧，只有i 帧和p 帧，熵编码时，a v s m 避 开复杂度较高的c a b a c ( c o n t e x t a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 熵编码，采 用了较简单的指数哥伦布码进行编码，同时又灵活地采用了多阶码表。这些特点 都是针对迅速发展的无线网络和手机等移动设备的需要，能够为其提供高压缩比、 重庆邮电大学硕士论文第一章绪论 低复杂度的视频编解码器f 1 3 1 【1 4 11 1 8 】1 1 9 1 。 1 4 论文的研究背景与意义 h 2 6 4 a v c 是当前最先进的视频编码标准，本来应该成为工业界的福音。然 而，由于h 2 6 4 a v c 中包含了大量的专利技术，拥有专利技术的机构随时可以向 h 2 6 4 a v c 标准的使用者征收专利费。专利费用在某种程度上妨碍了技术标准的 公益性。专利费与知识产权是紧密联合在一起的。知识产权问题在世界范围内日 益受到重视，知识产权是部分大型跨国企业重要的利润来源。然而，中国企业普 遍缺乏自主知识产权。因此，在中国加入w t o 以后，知识产权越来越成为企业生 死存亡的关键所在。 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 是为了改变我国音视频压缩领域缺乏自 主产权的局面，由国家信息产业部的音视频编解码技术标准工作组制定的第二代 信源编码标准。a v s m 作为a v s 的第七部分，是针对无线网络与移动设备的应用 而制定的，所以其应用的硬件平台以嵌入式系统为主。在未来带宽大大增加的3 g 网络中，多媒体等娱乐信息的广泛应用是关键亮点，尤其是手机电视，被认为是 移动和媒体两大产业联姻的一个产物，被誉为继电影、电视、电脑之后的“第四 屏幕。 嵌入式硬件平台相对通用计算机而言，其处理器的能力较弱，存储空间资源 有限，因而对功耗、程序的代码、存储空间等提出了新的要求。而a v s m 标准的 参考代码首先考虑其功能的正确性，代码比较冗长，通常不能直接在工程中应用。 因此，研究a v s m 在嵌入式系统中的实现与优化不但可以研究视频压缩标准的原 理，而且在工程中也有很大的实际意义。由于，终端设备主要负责译码，本论文 只针对a v s m 的译码部分进行优化研究。a r m 处理器因为其体积小、功耗低、价 格便宜、性能高、控制性强等特点，成为嵌入式系统的主选处理器之一，本文针 对基于a r m 9 平台进行a v s m 译码器的实现技术研究，以实现解决嵌入式设备的 实时视频译码问题。 1 5 论文的主要工作 本文的工作就是在分析、测试a v s - m 标准的基础上，设计了可用于a r m 9 平台上实现的a v s m 解码器程序。具体研究内容包括： 8 重庆邮电大学硕士论文第一章绪论 通过仔细阅读和研究常用的视频图像压缩标准，深入理解a v s m 视频压 缩标准的思想。详细研究a v s m 的编解码器结构的各个模块原理，了解掌握 a v s m 的具体编解码原理。 通过分析a v s m 解码器的复杂度，找到比较耗时的模块，对反变换 i d c t 、运动补偿插值和去块效应滤波的算法进行优化，优化后的代码经过测试与 源代码相比，速度上有了明显的提高。 从p c 上移植c 代码到a r m 9 平台，在一定程度上保持码流译码图像质 量的前提下，针对嵌入式系统的受存储资源和c p u 运行速度的限制而影响译码 器的性能的情况，从算法改进、程序结构优化、代码优化、数据结构与内存分配 优化等方面入手，提出对a v s m 视频译码器进行优化方法。解决译码器在嵌入 式设备上的实时译码问题。 9 重庆邮电大学硕士论文第二章a v s m 视频标准技术特点研究 第二章a v s m 视频标准技术特点研究 a v s 标准是我国在2 0 0 6 年2 月颁布的具备自主知识产权的信源编码标准。 在编码效率上与h 2 6 4 相当，都在m p e g 2 两倍以上。a v s 视频标准可广泛服务 于高分辨率数字广播，高密度激光数字存储媒体，无线宽带多媒体通信以及互联 网宽带流媒体等重大信息产业应用中。a v s 标准比m p e g 标准及h 2 6 4 标准的实 现复杂性低。同时，由于a v s 是我国具有自主知识产权的标准，在专利收费上也 具有绝对优势，因此，在我国必将是音视频产业开发应用的首选标准。 目前，a v s 标准中共有九部分内容，其中涉及视频的共两部分：第二部分 a v s p 2 主要针对标清和高清晰度数字电视广播和高密度存储媒体应用：第七部 分a v s m 主要针对低码率、低复杂度、较低图像分辨率的移动媒体应用。本文 研究a v s m 。 2 1a v s m 编解码原理 图2 1a v s m 编解码框图 a v s - m 标准采用基于块的混合编码( b l o c k e d b a s e dh y b r i dv i d e oc o d i n g f r a m e w o r k ) 。编码框图如图2 1 所示，其中虚线部分为编码器内嵌的解码器。a v s m 标准的应用是面向低码率的移动设备上，因此与h 2 6 4 和a v s l 0 等不同，其在各个 l o 重庆邮电大学硕士论文第二章a v s m 视频标准技术特点研究 模块的实现上尽可能采取复杂度低的算法以适应低带宽的无线网络，同时还采用 了自主的，拥有知识产权的编码技术。提高了编码效率，降低了算法实现复杂度。 编码器 a v s m 编码器主要模块为运动估计和运动补偿、变换、量化、反量化、反变 换、熵编码。编码器可以分为前向和后向两路。前向通路主要是将视频信息处理 成压缩后的码流，得到的码流可以进行存储，对其进行进一步的处理，也可以用 于传输。后向通路的目的是从量化后的信息经反量化、反变换，生成前一帧或前 几帧的映射，作为前向通路中运动补偿的参考帧。前向通路主要的目的是消除空 间上的冗余，而后向通路则是为了消除时域上的冗余。对于帧内预测的i 帧编码， 通过前向通路就可以得到码流，而对于帧间预测的p 帧来说，则需要后向通路得到 的i 帧或p 帧的参考帧作为运动补偿的参照。 解码器 对应于编码器的解码器主要的模块依次是：变长解码、反量化、反变换、运 动补偿。除了变长解码模块和运动补偿模块，反量化和反变换都在编码器的后向 通路中用到，运动补偿和变长解码则是编码器中运动补偿和变长编码的逆运算， 所以解码器所做的工作实际上是编码器工作的一个部分。 a v s m 标准为了在相同的编码框架下实现更高的视频压缩编码性能和更广泛 的适用性，在每一个功能模块中都引入了新的技术，使各功能模块的实现细节都 发生了重要的改变。例如1 4 像素精度的运动估计、帧内预测、环路滤波器等。 2 2a v s m 的关键技术 a v s m 标准采用了一系列技术来达到高效率的视频编码，包括帧内预测、帧 间预测、变换、量化和熵编码等。帧间预测使用基于块的运动矢量来消除图像间 的冗余；帧内预测使用空间预测模式来消除图像内的冗余。再通过对预测残差进 行变换和量化消除图像内的视觉冗余。最后，运动矢量、预测模式、量化参数和 变换系数用熵编码进行压缩。下面就对这些a v s m 标准的关键技术进行详细的 论述。 2 2 1 帧内预测 a v s m 的帧内预测技术采用多方向性帧内预测的思路，用图像内相邻块的像 素预测当前块，从而减小图像的空间域的冗余，达到压缩的目的。帧内预测不需 重庆邮电大学硕士论文第二章a v s m 视频标准技术特点研究 要参考其它图像，因此某些采用帧内预测编码的图像可作为编码后序列的随机访 问点。 a v s m 的帧内预测采用了代表空间域纹理方向的多种预测模式。a v s m 帧 内预测的亮度预测是以4 4 块为单位的，采用了9 种预测模式( 见图2 2 ( a ) ) ， 模式8 为直流( d c ) 模式。采用小分块的预测和多方向性的预测模式有利于刻画 细节内容比较丰富的图像。且亮度块的9 种帧内预测模式如表2 1 所示。 由于人眼对色度信号不如对亮度信号敏感，故对色度信号的采样和预测模式 均比较粗糙。色度块预测是以8 8 块为单位的，宏块中的每一个8 8 色度块中 所有4 4 色度块的预测模式都相同，并且采用了色度d c 系数预测、水平预测和 垂直预测这3 种简单的预测模式，如图2 2 ( b ) 所示。且色度块的3 种帧内预测 模式如表2 2 所示。 表2 14 x 4 亮度块帧内预测模式 i n t m l u m a p r e d m o d e名称 0 i n t r a l u m a d o w n l e f t l i n t r a l u m a v e r t i c a l l e f t 2 i n t r a l u m 吞，e r t i c a l 3i n t r al u m a je r t i c a l _ r i g h t 4 i n t r a l u m a d o w nr i g h t 5 i n t r a l u m ah o r i z o n t a ld o w n 6 i n t r a l u m a h o r i z o n t a l 7i n t r al u m ah o r i z o n t a lu p 8 i n t r a l u m a d c 表2 24 4 色度块帧内预测模式 i n t r a c h r o m a p r e d m o d e名称 o i n t r a c h r o m a d c 1 i n t r a c h r o m ah o r i z o n t a l 2 i n t r a c h r o m & ) e r t i c a l 1 2 重庆邮电大学硕士论文第二章a v s m 视频标准技术特点研究 r - - - 斗 0l234 5678 1 2 3 4 。 5 n 6 7 8 r _ ol234 5 6 78 l 2 3 4 5 6 7 8 图2 2 ( a ) 4 4 亮度块帧内预测模式图2 2 ( b ) 4 4 色度块帧内预测模式 2 2 2 帧间预测 帧间运动估计( m e ) 和补偿( m c ) 一直是运动图像压缩编码中的关键技术，以往 的视频标准如h 2 6 1 ，h 2 6 3 和m p e g 1 2 4 均采用此方法来减小图像时域相关性， 从而达到压缩的目的。a v s m 总结了这些标准及其相关工作的经验，并在此基础 上提出了更为精细的运动预测技术。采用了精细的运动预测技术，如基于不同大 小宏块的运动预测，分辨率达到1 4 像素( 对色度预测可达l 8 像素) 的运动预测， 最多可参考前向2 帧的图像预测以及运动矢量预测技术等，以下就对这些技术作 一个简单的分析。 1 ) 宏块划分 早先视频