（信号与信息处理专业论文）avs视频解码器系统级实现和应用研究.pdf

摘要 摘要 为推动视频压缩技术的发展，我国于2 0 0 2 年6 月成立了数字音视频编解码 技术标准工作组，联合国内从事数字音视频解码技术研发的科研机构和企业， 制定了具有我国自主知识产权的数字音视频编解码标准a v s 标准。该标准具有 性能高、复杂度低等优点，具有广阔的发展前景。 s y s t e m c 是一种基于c c + + 的软硬件协同设计语言，提供了支持硬件建模和 仿真的c + + 类库和相应的仿真内核。本论文利用s y s t e m c 系统级语言完成了a v s 视频解码器的系统级实现，为系统从软件级到硬件级的设计作了过渡。 本论文的主要内容是： 首先，对a v s 视频编解码标准及开放代码算法进行研究，对开放代码进行 数据结构等方面的调整。利用c + + 语言的面向对象性和对硬件级结构的探索， 分析了系统各功能模块的并行结构，并给出并行状态。 然后，在了解s y s t e m c 特性的基础上，将调整后的开放代码转化成系统级 语言s y s t e m c 。考虑到各模块间信号和数据的传递方式以及数据存储类型，须在 转换过程中不断进行验证工作。 最后，在c o n v e r g e ns c 环境下与用a r m 实现的b 流解包程序进行协同仿 真，完成t s 流解包、视频解码及显示过程，显示结果证明a v s 解码器的系统 级实现的正确性。 关键词：a v s ，s y s t e m c ，视频解码器 a b s t r a c t a b s t r a c t t op r o m o t et h ev i d e oc o m p r e s s i o n t e c h n o l o g y , a v s v i d e os t a n d a r di s d e v e l o p e db yt h ea u d i ov i d e oc o d i n gs t a n d a r dw o r k i n gg r o u po fc h i n a ，w h i c hw a s a p p r o v e d i nj u n e2 0 0 3 a v sv i d e os t a n d a r dp r o v i d e sag o o dt r a d e o f fs o l u t i o n b e t w e e nc o m p l e x i t ya n dc o d i n ge f f i c i e n c y s y s t e m ci sa l 【i n do fh a r d w a r e s o f t w a r ec o - d e s i g ns y s t e ml e v e ll a n g u a g eb a s e d o n ( i c + + ，p r o v i d i n gc + + c l a s sl i b r a r ya n dt h es i m u l a t i o n k e r n e lt os u p p o r t h a r d w a r em o d e l i n ga n ds i m u l a t i o n i nt h i sp a p e r , s y s t e m ci sa p p l i e di nt h ed e s i g no f a v sv i d e od e c o d e rt h er e s u l ti st h a tt h ed e c o d e ri sr e a l i z e di ns y s t e m cl e v e l f i r s t l y , t h ea v s s t a n d a r da n dr e c o g n i z e dcd e c o d e rp r o g r a mf o rv i d e od e c o d e r i s e x p l o r e di no u rw o r k t h ep r o g r a mi sr e w r i t t e ni n t o c l a s s e sb a s e do nc + + c h a r a c t e r i s t i c s v i e w st ot h ec o n v e r s i o ni n t oh a r d w a r el e v e l ，t h et a s ko fe v e r ys t a t u s s h o u l db ep r e c i s e l yd e f i n e d t h et a s k si nt h es a m es t a t u ss h o u l db ei m p l e m e n t e d s i m u l t a n e o u s l yi nh a r d w a r el e v e l s e c o n d l y , t h er e w r i t t e np r o g r a mi s t r a n s f o r m e di n t o s y s t e m cp r o g r a mi n s y s t e ml e v e l c o n s i d e r i n gt h ew a yo fs i g n a la n dd a t at r a n s f e r r i n g ，t h es y s t e m c p r o g r a ms h o u l d b cv a l i d a t e dc o n t i n u a l l y f i n a l l y , t h ew h o l ep r o c e s sf r o m iss t r e a mu n p a c k i n g ，a v sd e c o d i n ga n d d i s p l a yi si m p l e m e n t e di nc o n v e r g e ns ce n v i r o n m e n t t h ed i s p l a ym o d u l eo u t p u t s h o w st h a tt h ew h o l ep r o c e s si ss u c c e s s f u la n dt h u st h ea v sv i d e od e c o d e ri n s y s t e mc i sr e a l i z e d k e yw o r d s ：a v s ，s y s t e m c ，v i d e od e c o d e r 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名： 矿分 日 夕 己月 爿；m 1 年 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名：叫羞l 沙3 ，年； 、 只 7 b 第1 章绪论 1 1 课题研究背景 第1 章绪论 2 0 多年来，数字视频技术迅猛发展，成为国家信息产业中不可或缺的一部 分。据数字显示，人类通过视觉获取的信息量约占总信息量的7 0 左右1 1 】而 且视频信息具有直观性、可靠性等一系列优点，所以数字电视技术在各种多媒 体技术中具有重要的地位。 广义上说，数字电视【2 】是从发射、传输、接收的所有环节都使用数字电视 信号或对数字电视信号进行处理和调制的全新电视系统。该系统所有的信号传 播都是通过由0 、1 数字串所构成的数字流来传播的，数字信号的传播速率是每 秒1 9 3 9 兆字节，如此大的数据流的传递保证了数字电视的高清晰度，克服了 模拟电视的先天不足。同时还由于数字电视可以允许几种制式信号的同时存在， 每个数字频道下又可分为几个子频道，从而既可以用一个大数据流每秒 1 9 3 9 兆字节，也可将其分为几个分流，例如4 个，每个的速度就是每秒4 8 5 兆字节，这样虽然图像的清晰度要大打折扣，却可大大增加信息的种类，满足 不同的需求。 数字电视技术最先出现在欧洲，从上世纪八十年代开始，欧洲几个电视技 术较先进的国家，如德国、法国、英国等都开始研究数字电视技术，并诞生了 m a c l 、m a c 2 、m a c 3 ( 多模拟分量分时传输技术) 等三代数字卫星电视节目 广播。与此同时，日本的数字电视技术也达到了很高的水平。日本是世界上第 一个使用m u s e ( 多重压缩编码) 技术进行高清电视节目广播的国家，但两年 不到，新的数字电视技术不断涌现，m u s e 技术又相对落后了。从上世纪九十 年代开始，数字电视技术在世界范围内飞速发展。除欧洲外，美国、日本等技 术领先国家也开始进行相关研究并制定了现代数字视频压缩技术的一系列主要 标准m p e g x 1 3 1 1 4 1 。我国在近十年来，也认识到数字电视技术对国家经济发展 的重要性，逐步加入到研究数字电视技术的行列中，制定了数字音视频编码标 准a v s ，对中国发展自主知识产权具有特殊的意义。 第1 章绪论 1 。2 视频标准发展历程 数字视频编码标准作为信息领域的基础性标准，是2 0 多年来整个数字视频 领域国际竞争的热点。国际上视频编码标准主要有两大系列：国际标准化组织 和国际电工委员会第一联合技术组( i s o 砸c j t c l ) 制定的m p e g - x 系列标准 和国际电联标准化部门( i t u t ) 制定的h 2 6 x 5 1 1 6 7 1 系列标准国际标准化组织 和国际电工委员会第一联合技术组( i s o i e c j t c l ) 制定的m p e g x 系列标准。 另外，我国也已于2 0 0 2 年6 月批准成立了a v s 数字音视频编解码技术标准工 作组，并于2 0 0 6 年3 月开始实施信息技术先进音视频编码的视频部分【8 】。 下面将对m p e g x 系列中的m p e g 2 和m p e g - 4 标准、h 2 6 x 系列中的h 2 6 4 标准和我国的a v s 标准做较为详细的阐述。 1 2 1m p e g - 2 m p e g 2 是由活动图像专家组和丌u t 的第1 5 研究组于1 9 9 4 年共同制 定的。m p e g 2 标准是一个通用的标准，它解决了m p e g 1 不能满足多媒体技 术、数字电视技术对分辨率和传输率等方面的技术要求上的缺陷，能在很宽范 围内对不同分辨率和不同输出比特率的图像信号有效地进行编码。 m p e g 2 增加的新的技术特征有：支持隔行扫描视频的编码、对电视质量 视频的有效编码、增加可扩展性( 空间域可扩展性、s n r 可扩展性、数据分割) 脑 气子o m p e g 2 标准也是实现d v d 的标准。除了作为d v d 的指定标准外， m p e g 2 还可用于为广播、有线电视网、电缆网络以及卫星直播提供广播级的 数字视频。 1 2 2m p e g - 4 m p e g 4 是活动图像专家组于1 9 9 9 年2 月公布的标准。m p e g - 4 采用第二 代编码方法，不同于m p e g 1 等基于像素的第一代编码方法。另外，它不仅针 对一定比特率下的视频、音频编码，而且更加注重多媒体系统的交互性和灵活 性。 m p e g 4 编码的基本单元是视频对象( v o ) ，主要采用形状编码i 纹理编 2 第1 章绪论 码、运动信息编码和s p r i t e 编码方法。 m p e g 4 在基于网络的视频应用领域取得了广泛的应用。但是，目前大量 的应用还是限制在简单对象类型，标准中基于内容特点的编码受到了限制。 1 2 3h 2 6 4 h 2 6 4 标准是由i t u t 的视频编码专家组v c e g 和i s o i e c 的活动图像专 家组m p e g 共同成立的联合视频小组j v t 于2 0 0 3 年3 月公布的。h 2 6 4 的目 标是为视频编码应用提供下一代的解决方案，提供显著增强的编码效率，同时 减少h 2 6 3 中一些混乱的可选模式。 h 2 6 4 把一些己经证明行之有效的可选模式作为基本模式固定下来，如统 一的熵编码、多种帧内预测模式、基于上下文的算术编码模式等；另一方面， h 2 6 4 又加入了一些新的研究成果，如可选的1 4 ( 1 8 ) 像素的运动估计、多模 式的运动矢量估计、4x4 的整型d c t 运算等，从而使h 2 6 4 在压缩率上具有 更佳的性能。 虽然h 2 6 4 有更高的压缩比、更好的口和无线网络信道适应性，在相同的 重建图像质量下h 2 6 4 能够比h 2 6 3 节约5 0 左右的码率。但同时，h 2 6 4 计 算复杂度高，编码的计算复杂度大约相当于h 2 6 3 的三倍，解码复杂度大约相 当于h 2 6 3 的两倍i 引。 1 2 4a v s a v s 标准是数字音视频编解码技术标准工作组( a v s 工作组) 制定的数 字音视频编码标准，包括系统、视频、音频、数字版权管理等四个主要技术标 准和一致性测试等支撑标准。a v st 作组成立于2 0 0 2 年，成员包括国内外从 事数字音视频编码技术和产品研究开发的机构和企业。在经过了几年的发展完 善后，a v s 已经于2 0 0 6 年成为国家标准，也是未来视频领域的发展方向之一。 其任务是：面向我国的信息产业需求，联合国内企业和科研机构，修订数字音 视频的压缩、解压缩、处理和表示等共性技术标准，为数字音视频设备与系统 提供高效经济的编解码技术，服务于高分辨率数字电视广播、高密度激光数字 存储媒体、无线宽带多媒体通讯、互联网宽带流媒体等重大信息产业应用。 可以推测，由于技术陈旧需要更新及收费较高等原因，m p e g 2 即将退出 3 第1 章绪论 历史舞台。m p e g 4 出台的新专利许可政策被认为过于苛刻令人无法接受，导 致被众多运营商围攻，陷入无法推广产业化的泥沼而无力自拔，前途未卜。而 a v s 是基于我国创新技术和部分公开技术的自主标准，其技术方案简洁，芯片 实现复杂度低，达到了第二代标准的最高水平；而且，a v s 通过简洁的一站式 许可政策，解决了m p e g 4 专利许可问题死结，是开放式制订的国家、国际标 准，易于推广：此外，a v s 是一套完整的标准体系，为数字音视频产业提供了 更全面的解决方案。所以，a v s 可作为第二代信源标准的上佳选择。 a v s 标准目前定义了一个档次( p r o f i l e ) 即基准档次。该基准档次又分为4 个级别( 1 e v e l ) ，分别对应高清晰度与标准清晰度应用。 a v s 的主要特点是应用目标明确，技术有针对性。与h 2 6 4 的b a s e l i n ep r o f i l e 相比，a v s 标准的视频部分增加了b 帧、i n t e r l a c e 等技术，因此其压缩效率明 显提高，而与h 2 6 4 的m a i np r o f i l e 相比，又减少了过于复杂的预测模式、c a b a c 等效率不够高或实现难度大的技术，从而增强了可实现性。因此在高分辨率应 用中，其压缩效率比m p e g 2 提高了2 3 倍。而在压缩效率相当的前提下，又 相对于h 2 6 4 的m a i np r o f i l e 的实现复杂度大为降低。实验表明，a v s 在编码 端的运算复杂度大约是h 2 6 4 的3 0 ；而在解码端的运算复杂度大约是h 2 6 4 的7 0 1 1 0 1 。 1 3s y s t e m c 在系统设计中的应用 随着半导体工艺技术的发展，芯片设计逐渐转向片上系统设计( s o c ， s y s t e mo nc h i p ) 。片上系统本质上是一个微小型系统，将整个系统的功能集成 到一个芯片中，尤其适合数字化产品的开发，如手持通信设备、数字电视等。 为了加快s o c 的芯片设计，提高s o c 的设计效率和可靠性，把预先设计好、经 过验证的i c 电路以模块的形式加入s o c 芯片的设计，从而简化了芯片的设计， 缩短了设计时间。这些己验证的可重复使用的集成模块称为i p ( i n t e l l e c t u a l p r o p e r t y ) 模块i l l 】1 1 2 j 。 但是随着s o c 时代的来临，也有三大障碍困扰着芯片设计者。第一，设计 时缺少统一的语言同时对硬件器件和软件部分进行描述；第二，随着单一芯片 上逻辑数量超过百万门，设计验证工作很快变得比设计任务本身还要艰巨；第 三，芯片频率在满足信号定时方面的要求设计中往往要多次反复。所以，在片 4 第1 章绪论 上系统设计中的硬件一般用硬件设计语言v e r i l o g 或v h d l 进行描述，而软件 部分经常用编程语言c 或c + + 描述。 由于使用不同的语言进行描述，因此无法很好协调芯片和软件的描述、模 拟和调试，设计界也一直在寻找能完成描述各种不同的抽象级别及软硬件的协 同设计和验证的设计方法。s y s t e m c 正是在这一背景下出现的系统级描述语言， 致力于利用新的设计理念和设计方法解决片上系统时代面临的挑战，并且由于 其开放性以及得到业界一流公司的广泛支持，已经成为事实上的系统级描述语 言标准。 s y s t e m c 语言的主要目的是实现用单一语言完成设计规范、系统体系结构 分析、验证平台和行为模型。它相对于普通c + + 主要增加了一个能对硬件不同 抽象层次描述和仿真的c + + 类库和一个不依赖任何硬件仿真器的轻量级仿真内 核。一方面可以把它看作是与v h d l 或v e r i l o g 类似的硬件语言，另一方面可 以把它看作纯粹的c + + 程序，只是拥有类似h d l 的类库支持。这使得s y s t e m c 可以建模不同抽象级别的包括软件和硬件的复杂系统。它既可以提供纯功能模 型和系统体系结构，也可以描述软硬件的具体实现。另外对于嵌入式系统的开 发而言，需要将模型同时提供给硬件设计人员和软件专业人员，s y s t e m c 的设 计考虑到了这一问题，在系统级上提供了用于平台建模的有效机制。 系统级设计作为系统设计的第一步，其重要性不仅在于可以帮助我们确定 最佳的系统结构、最佳的算法及相关的参数以及系统的性能，而且还为我们建 立了一个参考模型，在以后的设计中我们要不断参考这个模型或修改这个模型 的某些算法或参数以解决遇到的问题【1 3 】。 本文是使用s y s t e m c 实现系统级的a v s 视频解码器设计，尝试用系统级语 言s y s t e m c 完成a v s 视频解码系统从软件向硬件级的过渡，为软硬件的协同设 计和验证奠定一定基础。 1 4 本文的主要内容安排 本课题通过对a v s 视频解码标准和系统级语言s y s t e m c 的了解，完成基于 s y s t e m c 系统级的a v s 视频解码器的设计和实现。主要内容安排为： 第一章提出课题的研究背景，介绍几种典型的视频解码标准和s y s t e m c 在 系统级实现中的应用。 5 第1 章绪论 第二章介绍视频压缩原理，对a v s 视频解码中的关键技术作深入详细的介 绍。 第三章介绍系统级语言s y s t e m c 的特点及其在系统级设计中的优势，给出 基于s y s t e m c 的验证方法和系统建模中的分层模型。 第四章详细分析a v s 视频解码器的开放代码，在开放代码的基础上作部分 模块化的代码改写，并给出基于功能的模块处理和数据存储策略。 第五章介绍对调整后的代码作s y s t e m c 改写，详细分析了各个模块间数据 传递的类型和通信方式，通过系统控制器模块完成各功能模块的协调工作，最 终在c o n v e r g e ns c 平台上完成显示的验证。 第六章总结全文，概括本文研究的主要创新工作，并且分析研究中还存在 的不足，展望下一步工作的重点。 6 第2 章视频压缩及a v s 视频标准 第2 章视频压缩及a v $ 视频标准 近十几年来，视频压缩技术飞速发展，这是由数字视频设备对视频数据的 传输速度和存储容量等要求决定的。随着我国a v s 标准的推出，对a v s 视频 标准的关键技术研究也正逐步扩大。在a v s 视频解码器的系统级实现中，对视 频压缩原理及相关关键技术的了解也是必不可少的。 2 1 视频压缩原理及意义 最早的视频信号是模拟视频信号，而且迄今为止，绝大多数视频的记录、 存储和传输依然采用模拟技术。比如，现在的电视大多数是模拟电视，它所接 收的信号是电视台播放的模拟信号，该信号依靠模拟调幅的方式在空间中传播。 模拟信号通常保存在磁带上，用录像机来记录。模拟信号也可以保存在胶片上， 像电影那样依靠依次播放胶片来产生视频。但是，随着数字化技术的发展，特 别是计算机技术的发展，越来越多的信号开始采用数字表示。模拟信号容易被 干扰，不利于在不同种类的设备间传输，而数字信号则具有更牢靠的形式。数 字视频既可以在数字电视上播放，也可以在个人计算机上播放，甚至可以借助 机顶盒在模拟电视上播放，在互连的网络中能够提供更方便的多种服务。但是， 数字化了的视频信号的数据量之大是惊人的，存储该类视频数据需要大量的数 据空间。而且，视频数据在传输过程中其数据量也是极大的，单纯依靠用扩大 存储器容量、增加通信传输速率的办法是不现实的。例如，未经过压缩的标准 清晰度的视频信号，一秒钟内的数据量可以达到2 3 7 m 比特，这对存储空间的 要求构成了巨大的挑战。 视频压缩技术的出现正好可以解决上述问题。所谓视频压缩过程，就是一 个将数字视频序列压缩成尽量少的比特的过程，它的首要任务就是压缩数据量。 压缩的过程涉及两个互相关联的完整系统，即视频编码器和视频解码器，压缩 过程如图2 1 所示。其中，视频编码器是将原始视频数据转换成压缩的数据形 式，以便于传输或存储，而解码器是将压缩过的数据转换回原始视频数据的过 程。 7 第2 章视频压缩及a v s 视频标准 图2 1 视频压缩过程 疆尔 通过视频压缩，可以把视频数据以压缩的形式进行存储、传输，既节约了 存储空问，又提高了传输效率，同时也可使计算机实时处理视频信息，以保证 播放出高质量的视频节目。由于视频数据有极强的相关性，即有大量的冗余信 息。为了去掉数据中的冗余，常常要考虑信号源的统计特性，或建立信号源的 统计模型。视频压缩可以将庞大数据中的冗余信息去掉( 去除数据之间的相关 性) ，保留相互独立的信息分量，所以视频压缩是有损压缩。所谓有损压缩，是 指把采集到的数据，通过除以一个量化因子减小其绝对值，从而减少需要传输 这个数据的比特数。由于色度、亮度上和高频信息的改变都是很微小的，人的 肉眼无法分辨这样细微的差别，因此，视频压缩是完全可以实现的。 视频压缩的目标是在尽可能保证视觉效果的前提下减少视频数据率，各种 视频压缩编解码算法可以实现视频的存储和传输。 传统的压缩编码方法是建立在香农( s h a n n o n ) 信息论基础上的，它以经典 的集合论为基础，用统计概率模型来描述信源，但它没有考虑信息接受者的主 观特性及事件本身的具体含义、重要程度和引起的后果。因此，压缩编码的发 展历程实际上是以香农信息论为出发点，一个不断完善的过程。 视频压缩编码方法根据不同的分类方式，可以分为：按信源的统计特性， 可分为预测编码、变换编码、矢量量化编码、子带小波编码、神经网络编码方 法等；按人眼的视觉特性，可以分为基于方向滤波的图像编码、基于图像轮廓 纹理的编码方法等；按图像传递的景物特性，可分为分形编码、基于内容的编 码方法等。 另外，上述述及的视频图像中存在冗余信息，即相关性。主要的冗余信息 有空间冗余信息和时间冗余信息。空间冗余信息是指在一帧图像中像素之间的 相关性。一帧图像中，相邻或相近的像素，其灰度值或色度分量的值总是很相 近，相邻像素之间存在很强的相关性。而相邻帧之间的时间间隔是由帧率决定 的。帧率越大，相邻帧之间的时间间隔就越小，一般是几十毫秒。在这样短的 时间内，大部分被拍摄的对象都是静止不动或只有很小的移动，因此视频序列 8 第2 章视频压缩及a v s 视频标准 中存在时间上的冗余信息。视频压缩主要是从时域、空域两方面去除冗余信息。 时间冗余主要来自相邻图像之间存在的关联，利用预测方法可以消除时间 冗余。对于自然图像来说，一帧图像和其下一帧图像进行比较，改变的区域很 小。如果用复制上一帧图像的对应块来预测当前图像，非预测图像和预测图像 之间的差别大多数情况下为零或接近零。帧间编码可以减小冗余度，这是因为 两帧之间有很大的相似性。如果将前后两帧相减( 移动物体作相应位移) 得到 的误差作编码所需比特要比直接进行帧内编码所需的比特少，帧间差值集中在 零附近，可以用短的码字传送。 空间冗余主要来自相邻像素之间存在的关联，可用于减少空间冗余的方法 很多，但大多是基于块的技术，其中最有代表性的是变换编码技术。离散余弦 变换d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 作为在图像和视频领域被广泛应用的变 换编码技术，能极大去除图像元素在变换域中的相关性，为高效率的图像压缩 奠定了基础1 1 4 1 。其原理是把原始图像中的像素块转换成不相关的频域系数块， 每一系数代表对应的像素块空间上的频率( 左上角的系数为块中像素的平均 值) 。因为自然图像在空间上存在很大的相关性，对绝大多数自然图像来说，高 频系数是很不重要的可以被粗量化或舍弃，这是像素块在进行d c t 变换后进行 量化的依据。量化是针对变换系数进行的，量化过程就是以某个量化步长去除 变换系数，得到量化系数。量化步长的大小称为量化精度，量化步长越小，量 化精度就越高，包含的信息越多，所需的传输带宽越高，这种量化被称为细量 化。相反，量化步长越大，量化精度就越低，包含的信息越少，所需的传输带 宽越窄，这种量化被称为粗量化。不同的变换系数对人类视觉感应的重要性是 不同的，因此编码器根据视觉感应准则，对一个二维变换系数矩阵中的变换系 数采用不同的量化精度，以保证尽可能多的包含特定的空间频率信息，又使量 化精度不超过需要。变换系数中，低频系数对视觉感应的重要性较高，因此分 配的量化精度较细：高频系数对视觉感应的重要性较低，分配的量化精度较粗。 通常情况下，变换块中的大多数高频系数量化后都会变为零。量化的目的是去 掉对视觉感应不重要的变换系数( 量化后为o 的系数) ，而只保留极少数对视觉 感应重要的变换系数( 量化后非o 的系数) 。这些系数一旦被去掉，将不能被恢 复，因此量化是一种有损压缩。 9 第2 章视频压缩及螨视频标准 2 2 编码比特流的结构及序列解码过程 2 2 1 编码比特流结构 a v s 定义的图像数据流是一个分层结构，码流结构语法层次从高到低依次 分为：视频序列、图像、条带、宏块和块，如图2 2 所示。 i 争中l 黧像 磊锘 塞块 堍 s e q u e n c 亡 li 一一一一j 一一一一一 p i c t u r e ll 一一一一p 一一一一 口s l l c e1 一一一一p 一一一一 m b 口 一，1 1r b ib 2 b 30 4h s 图2 2 a v s 视频数据的分层结构 曰 视频序列是比特流的最高层语法结构，由序列头开始，后面跟着一个或多 个编码图像，每帧图像之前应有图像头。序列结束码表明了一个视频序列的结 束。 标准支持两种序列：逐行序列和隔行序列。帧由三个样本矩阵组成，包括 一个亮度样本矩阵( y ) 和两个色度样本矩阵( c b 和c r ) 。样本矩阵元素的值 为整数。 l o 第2 章视频压缩及a v s 视频标准 场由构成帧的三个样本矩阵中相间的行构成，即帧样本矩阵的第一行、第 三行、第五行，依次类推，构成一个场，称为顶场；第二行、第四行、第六行， 依次类推，构成另一个场，称为底场。解码器的输出是一系列的帧或场，两帧 之间存在着一个帧时间间隔。对隔行序列而言，每帧图像的两场之间存在着一 个场时间间隔。对逐行序列而言，每帧图像的两场之间时间间隔为0 。 视频序列头由视频序列起始码开始，后面跟着一串编码图像数据，起始码 按字节对齐，由起始码前缀和起始码字组成。起始码前缀为2 3 个0 比特和1 个 l 比特。 一幅图像是一帧，其编码数据由图像起始码开始，到序列起始码、序列结 束码或图像起始码结束，在比特流中，隔行扫描图像的两场编码数据可依次出 现，也可交织出现。两场数据的解码和显示顺序在图像头中规定。图像的解码 处理包括解析过程和解码过程。解析过程由比特流获得语法元素，解码过程由 语法元素产生解码图像。在a v s 视频标准中，定义了三种图像类型：帧内解码 图像i 帧、前向帧间解码图像p 帧和双向帧间解码图像b 帧。i 帧中的宏块只 进行帧内预测，编解码不需要参考其它帧图像，可作为编码后序列的随机访问 点。p 帧和b 帧的宏块则需要进行帧内预测或帧间预测，需要参考先前已解码 的图像。如果视频序列中没有b 帧，解码顺序与显示顺序相同。如果视频序列 中包含b 帧，解码顺序与显示顺序不同，解码图像输出显示前应进行图像重排 序。图像重排序规则为：当前解码图像是b 帧，输出由此b 帧解码的图像；当 前图像是i 帧或p 帧，如果存在前一个i 帧或p 帧的解码图像，输出前一个解 码图像。如果不存在前一个i 帧或p 帧的解码图像，不输出任何解码图像。 条带是按光栅扫描顺序连续的若干宏块行，条带内的宏块行不应重叠，条 带之间也不应重叠。条带内宏块的解码处理不应使用本图像其它条带的数据。 在a v s 视频标准中，宏块是由8 x 8 的亮度分量( y ) 与其相关的色度分量 ( t j 、v ) 构成，它是用作运动补偿和改变量化器等级的单元。在比特流中，当 隔行扫描图像的两场编码数据依次出现时，任一宏块的像素应来自同一场。宏 块可根据不同的图像格式，被分成不同的亮度和相应的色度块。宏块格式可有 三种方式： ( 1 ) 在4 ：2 ：0 格式下，一个宏块包括4 个8 x8 亮度块( y ) 和2 个8 8 色度 块( 1 个c b ，1 个c r ) 。如图2 3 ( a ) 所示，图中数字为宏块中8 x8 块的 顺序号。 第2 章视频压缩及a v s 视频标准 口田 y ( ：b 图2 3 ( a ) 宏块划分结构( 4 ：2 ：0 格式) ( 2 ) 在4 ：2 ：2 格式下，一个宏块包括4 个8 8 亮度块( y ) 和4 个8 8 色度 块( 2 个c b ，2 个c r ) ，如图2 3 ( b ) 所示。 j日目 y c b 图2 3 ( b ) 宏块划分结构( 4 ：2 ：2 格式) ( 3 ) 在4 ：4 ：4 格式下，一个宏块包括4 个8 8 亮度块( y ) 和8 个8 8 色度 块( 4 个c b ，4 个c r ) 。如图2 3 ( c ) 所示。 ol 2 3 s9 7“ y c bo 图2 3 ( c ) 宏块划分结构( 4 ：4 ：4 格式) 2 2 2 视频序列解码过程 a v s 视频标准中定义了一个基准档次，这个档次又根据每行最大样本数、 每帧最大行数、亮度样本速率等参数分为4 个级别，它们是：用于标准清晰度 图像的4 0 ( 4 ：2 ：o ) 级别和4 2 ( 4 ：2 ：2 ) 级别，以及用于高清晰度图像的6 o ( 4 ：2 ：0 ) 第2 章视频压缩及a v s 视频标准 级别和6 2 ( 4 ：2 ：2 ) 级别。表2 1 给出了这4 个级别规定的参数条件限制。由 表2 1 可以看到，规定解码过程中所需要的运算能力以及存储器容量非常重要， 图像大小是影响这些参数的主要原因。 表2 1 级别的参数限制 参数 级另i 4 04 26 o6 2 每行最大样 7 2 07 2 0 1 , 9 2 0 1 , 9 2 0 本数 每帧最大行 5 7 65 7 6 1 ，1 5 2 1 ，1 5 2 数 每秒最大帧 3 03 06 06 0 数 亮度样本速 1 0 ，3 6 8 , 0 0 01 0 ，3 6 8 , 0 0 06 2 ，6 6 8 ，8 0 06 2 , 6 6 8 ，8 0 0 率 最大比特率 1 0 ，0 0 0 ，0 0 01 5 ，0 0 0 ，0 0 02 0 ，0 0 0 ，0 0 03 0 ，0 0 0 ，0 0 0 ( 比特每 秒) b b v 缓冲区 1 , 2 2 8 ，8 0 0 1 , 8 5 1 ，3 9 2 2 , 4 5 7 ，6 0 03 ，6 8 6 , 4 0 0 大小( 比特) 每帧最大宏1 , 6 2 0 1 , 6 2 08 ，1 6 08 ，1 6 0 块个数 每秒最大宏 4 0 ，5 0 04 0 ，5 0 02 4 4 ，8 0 02 4 4 ，8 0 0 块个数 最大垂直运 【2 5 6 ，+ 2 5 5 7 5 】【- 2 5 6 ，+ 2 5 5 7 5 】【_ 5 1 2 ，+ 5 1 1 7 5 】【- 5 1 2 ，+ 5 1 1 7 5 】 动矢量范围 ( 帧编码) 最大水平运 【- 2 0 4 8 ，+ 2 0 4 7 7 5 】【- 2 0 4 8 ，+ 2 0 4 7 7 5 】 【- 2 0 4 8 ，+ 2 0 4 7 7 5 】 【2 0 4 8 ，+ 2 0 4 7 7 5 】 动矢量范围 图像格式 4 ：2 ：04 ：2 ：0 或4 ：2 ：24 ：2 ：0 4 ：2 ：0 或4 ：2 ：2 第2 章视频压缩及a v s 视频标准 视频序列作为最大的码流结构单元，包含了大量的解码信息。可以说，在 整个a v s 视频解码系统中，解视频序列是所有其他解码过程的基础。其解码过 程为：找到序列的3 2 比特起始码后，进入解码图像组的循环，图像组可以包括 i 、p 、b 图像。图像组的解析过程是首先读入序列头信息和用户扩展信息。在 视频序列中插入该信息，将序列分割成多个图像组，增加序列的随机访问能力。 再开始一次解析图像组中i 、p 、b 图像，如果下一个3 2 比特是视频编缉码，则 读入该码。如果下一个3 2 比特是l 图像起始码，则读入i 图像的图像头信息， 否则读入p b 图像头的信息。读入一位的扩展和用户数据，再开始解码这一幅 图像的数据。解码完后，判断下一个3 2 比特是不是视频编缉码或者i 、p b 图像 的起始码。如果是，则继续解码该图像组；否则结束该图像组的解码。判断下 一个3 2 比特是否为序列结束标志，如果不是，则继续解码下一个图像组，否则 结束该序列的解码。 序列头的解码过程：读入序列起始码档次和级别的标志、图像的帧场类型 标志、图像的水平和垂直尺寸、色度编码格式、采样精度、帧率、比特率的上、 下限、参考解码器设定的比特流缓冲区的尺寸等信息。 s e q u e n c e _ h e a d e r o v i d e o _ s e q u e n c e _ s t a r tc o d e3 2 位 p r o f i l e _ i d8 位 l e v e l i d8 位 p r o g r e s s i v e _ s e q u e n c e1 位 h o r i z o n t a l _ s i z e1 4 位 v e r t i c a l s i z e1 4 位 c h r o m a f o r m a t2 位 s a m p l e _ p r e c i s i o n3 位 a s p e c t _ r a t i o4 位 f r a m e r a t e c o d e4 位 b i tr a t e _ l o w e r1 8 位 m a r k e r _ b i t1 位 b b v b u f f e r s i z e1 8 位 r e s e r v e d _ b i t s 0 0 0 n e x t 1 4 第2 章视频压缩及a v s 视频标准 2 3a v s 视频关键技术 a v s 视频编码标准采用了与h 2 6 4 类似的技术框架，包括变换、量化、熵 编码、帧内预测、帧间预测、环路滤波等编解码模块，这是当前主流的技术路 线。a v s 视频解码器框图如图2 4 所示。 输出 输出 图2 4 a v s 视频解码器结构图 由图2 4 可以看到，a v s 整体编解码方案仍然采用了运动补偿加整数变换 的混合编码结构。在解码器端，输入码流首先经过熵编码解码、反变换和反量 化得到预测残差值，帧内预测补偿或帧间预测补偿得到图像块的预测像素值， 最后两者相加得到的图像数据经过环路滤波后，显示输出或供后续帧参考使用。 下面将对a v s 视频解码器中的关键技术作相关介绍。 2 3 1 熵编码 变长编解码技术在现代多媒体技术中得到非常广泛的应用。交长编码器将 输入的符号编码成一系列码字( v 1 上s ) 。每个符号映射成一个码字，码字的长 度可变，但必须是正数个比特。出现频率较高的符号映射成长度较短的码字， 反之则映射成较长的码字。当输入的符号集十分庞大时，变长编码可以起到压 缩数据的作用。 a v s 熵编码采用k ( k = 0 ，1 ，2 ，3 ) 阶指数哥伦布码与2 d v l c 相结合的 方法，即将数组l e v e l 和r u n 通过自适应选择码表映射为一个语法元素，对这 第2 章视频压缩及a v s 视频标准 个语法元素采用指数哥伦布编码。定长码用来编码具有均匀分布的语法元素， 指数哥伦布码用来编码可变概率分可变分布的语法元素。c b p 、宏块模式、运 动矢量等用0 阶指数哥伦布码编码。量化系数使用全部4 种指数哥伦布码。指 数哥伦布码的码字结构非常规则，解码器不需要存储码表。量化系数使用的1 9 张映射表所需要的存储空间少于2 k 。a v s 采用该技术的优势在于：一方面，它 的硬件复杂度比较低，可根据闭合公式解析码字，无须查表；另一方面，它可 根据编码元素的概率分布灵活地确定以k 阶指数哥伦布码编码，如果k 选得恰 当，则编码效率可以逼近信息熵。 在a v s 熵解码过程中，须先解析出各类控制参数信息( 头信息) 和预测残 差的块变换系数( 反量化前) ，并完成反扫描。 2 3 2 整数变换量化 a v s 的变换和量化技术源自h 2 6 4 ，而h 2 6 4 是第一个采用整数变换替代 d c t 的国际标准。两者不同在于变换的尺寸，h 2 6 4 标准使用4 x 4 整数变换【1 5 j 。 采用4 4 变换的优势在于采用整数变换设计，其快速算法完全用加减法和移位 实现，而不用乘法，计算复杂度很低。而且整数变换不存在浮点d c t 的变换与 反变换的失配问题，矩阵的数值小，减少了变换量化中间过程的数值动态范围， 方便1 6 位芯片的硬件实现。4 x 4 变换的缺点是变换块的尺寸小，其去相关性 不足。虽然h 2 6 4 采用对宏块的4 x 4 变换后的直流系数再次作哈达马变换的方 法进一步去相关性，但性能仍然不如8 x8 变换。考虑到编码性能、实现复杂度、 专利问题等方面的因素，a v s 视频标准中采用变换基为【1 0 ，9 ，6 ，2 】的8 x 8 二 维整数余弦变换( i c t ，i n t e g e rc o s i n et r a n s f o r m ) 。i c t 的性能接近8 8 二维 离散余弦变换( d c t ，d i s c r e t ec o s i n et r a n s f o r m ) ，但精确定义到每一位的运算 避免了不同反变换之间的失真。i c t 也可以用加法和移位操作直接实现。实验 表明，a v s 视频标准中采用的变换比h 2 6 4 标准使用的4 x 4 整数变换有0 0 5 d b 的p s n r 增益【1 6 l 。为减少变换和量化取整中带来的误差，在a v s 中采用了带 p i t ( p r e s c a l e di n t e g e rt r a n s f o r m ) 的8 8 整数余弦变换技术【1 7 j ，如图2 5 所 示。即正向缩放、量化、反向缩放结合在一起，解码端只进行反量化、不再需 要反缩放。由于采用总共6 4 级近似8 阶非完全周期性的量化，p 1 1 r 的使用可以 使编解码端节省存储与运算开销，而性能上又不会受影响，而且a v s 的8 x8 1 6 第2 章视频压缩及a v s 视频标准 变换量化可以在1 6 位处理器上无失真地实现。 憝数联台缩放 变换 呻呻 眨繁他 - 爱整敛变换 翔演化 图2 5p i t 编码方式 a v s 视频标准中定义的反量化是将二维量化系数矩阵转换为二维变换系数 矩阵的过程。反量化过程只是乘法、移位和加法的整数运算，没有除法运算， 易于硬件实现。 2 3 3 帧内预测 帧内预测可以去除帧内块的空间冗余。以往的编码标准都是在频域内进行 帧内预测，如m p e g 2 的直流系数d c 差分预测、m p e g 4 的d c 及高频系数 a c 预测。a v s 视频标准采用空域内的多方向帧内预测技术，用相邻已解码块 在环路滤波前的重建像素值用来给当前块作参考，提高了预测精度，从而提高 了编码效率，a v s 视频标准的帧内预测基于8 8 块大小，亮度分量只有5 种预 测模式，如图