（信号与信息处理专业论文）avs视频编解码标准中预测编解码技术的研究及其硬件设计与实现.pdf

摘要 摘要 a v s 标准是由2 0 0 2 年6 月成立的“数字音视频编解码技术标准工作组”联 合国内从事数字音视频编解码技术研发的科研机构和企业制定完成的，一套适应 面十分广阔的技术标准。它是我国第一个具有自主知识产权、达到了国际先进水 平的数字音视频编码标准，拥有与h 2 6 4 相近的压缩性能，但大大降低了实现的 复杂度。因此，a v s 标准具有性能高、复杂度低等优点，具有广阔的发展前景。 目前，视频解码器的实现主要有几种常见的方法：1 ) 基于p c 的软件实现； 2 ) 基于d s p 的嵌入式系统实现；3 ) 基于可编程逻辑器件的专用芯片实现。通 用p c 机非专用于视频处理，所以实现效率不高，而d s p 虽然灵活性强，但是在 性能以及性价比上不及f p g a 。因此，f p g a 平台是目前实现视频应用系统的理 想平台。 本文针对a v s 视频解码器帧内模块的算法研究及解码器硬件实现而展开。 第一章介绍了多媒体数字视频标准的发展状况：第二章重点介绍了我国拥有自主 只是产权的a v s 视频压缩标准；第三章介绍了帧内预测部分的算法以及a v s 与 h 2 6 4 在帧内预测方面的异同；第四章介绍了f p g a 与数字电路技术的发展与现 状；第五章介绍了帧内预测器系统的硬件实现与优化；第六章介绍了系统的仿真 与综合情况；最后，在第七章对全文作出了总结。 关键词：帧内预测；解码器；a v s ：f p g a a b s t r a c t a b s t r a c t a v sv i d e os t a n d a r di sd e v e l o p e db yt h ea u d i ov i d e oc o d i n gs t a n d a r dw o r k i n g g r o u p ，w h i c hw a sa p p r o v e di nj u n e2 0 0 2 i ti st h ef i r s ta d v a n c e da u d i oa n dv i d e o c o d i n gs t a n d a r dw i t hf u l l yi n t e l l e c t u a lp r o p e r t yo fo u rc o u n t r y , a n da v s h a sah i g h c o d i n gp e r f o r m a n c ec l o s et o h 2 6 4w h i l et h ei m p l e m e n tc o m p l e x i t yi so b v i o u s l y l o w e ra n dt h ep a t e n tc h a r g ei sc h e a p e rf o rt h i sr e a s o n , a v sh a sab e a e rd e v e l o p m e n t p r o s p e c t t h ec u r r e n ti m p l e m e n t a t i o n so fv i d e oe n c o d e ra r ea sf o l l o w ：i ) v i d e oe n c o d e r s o f t w a r eo np c ；i i ) u s i n gd s p ；i i i ) u s i n gf p g a h o w e v e r , p c sc p ui sn o td e d i c a t e d i nv i d e od a t ap r o c e s s i n gs ot h a tt h ee n c o d e rs o f t w a r eb a s e do np ci sn o te f f e c t i v e ，a n d u s i n gd s pw i l lc o s tm o r em o n e yi f w en e e dt h es a m ee f f i c i e n c yo ff p g a s o c u r r e n t l y , f p g a i st h ep e r f e c tp l a t f o r mf o r t h ei m p l e m e n t a t i o no fv i d e oe n c o d e r t h et h e s i se m p h a s i so nr e s e a r c ho fi n t r a a l g o r i t h ma n dt h ei m p l e m e n t a t i o no f a v sv i d e oe n c o d e rb a s e df p g ap l a t f o r m i nc h a p t e ro n e ，w ep r e s e n tt h es t a t u so ft h e n m i o n a ls t a n d a r d sf o rm u l t i m e d i at e c h n o l o g y ；i nc h a p t e rt w o ，w ep r e s e n tt h ea v so f o u rc o u n t r y ；i nc h a p t e rt h r e e ，w ep r e s e n tt h ei n t r a a l g o r i t h m s ； i nc h a p t e rf o u r , w ep r e s e n tt h es t a t u sa n dt h ed e v e l o p m e n to ff p g aa n dd i 。g i t a l e l e c t r oc i r c u i tt e c h n o l o g y ；i nc h a p t e rf i v e ，w ep r e s e n tt h eh a r d w a r ei m p l e m e n t a t i o n a n dt h eo p t i m i z a t i o no ft h ei n t r ap r e d i c t i o nm o d u l e ；i nc h a p t e rs i x ，w ep r e s e n tt h e s i m u l a t i o na n dt h es y n t h e s i so ft h es y s t e m ；a tl a s t ， t h es e v e n t hc h a p t e ri sa b o u ts o m ec o n c l u s i o na n dt a s k si nt h ef u t u r e k e y w o r d s ：i n t r a ；e n c o d e r ；a v s ；f p g a h 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名： 年，月。7 日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名： 训年7 日 第1 章绪论 1 1 选题背景 第1 章绪论 随着科技的发展，网络和计算机的普及和专用嵌入式芯片的大量使用，近年 来，越来越多的数字化的媒体进入了我们的生活中。其中数字化的音频、视频， 以其高质量、高保真的特点，日益为人们所接受。用d v d 播放器播放电影，用 p c 电视电话与朋友和家人交谈，这些活动现在已经很普遍，数字视频正在成为 娱乐、计算机、广播和通信工业的一个普遍而且重要的组成部分。 数字化的媒体有一个特点，那就是信息量非常的大，而且，现在人们对多媒 体节目的数量、质量要求越来越高，如果直接传输原始的数字化的数据信息，现 有的网络和存储设备无法负担这么巨大的数据量。因此，一种比较可行而且有效 的解决方案是在信源端进行视频压缩，在网络上传输压缩后的码流，用户终端接 收到码流后再进行解码，恢复出原始的视频图像。 视频压缩有两个主要的好处：首先，它使得在不能支持原始非压缩视频传输 和存储的环境下能够使用数字视频，在没有视音频压缩的情况下，一张d v d 也 仅能存储几秒钟相当于电视质量分辨率和帧率的原始视频，是不实用的。其次， 视频压缩使得人们能够更有效地使用传输和存储资源，如果存在一个高效率的信 道，则传输高分辨率的压缩视频或者多个压缩视频要比传输单个低分辨率的未压 缩的视频更具吸引力。 数据的压缩是通过去除冗余买现的。冗余可以看作在完整恢复数据时不必要 的信息。一个携带信息的信号可以通过去除信号中的冗余而得到压缩。在一个无 损的压缩系统中，统计冗余被去除，在接收端可以将原始信号完整地重建。但是， 目前对音视频的无损压缩方法只能获得中等程度的压缩效率，多数实用的视频压 缩技术是基于有损压缩的。有损压缩系统是基于去除图像和视频中的主观冗余的 原则实现数据的进一步压缩，所谓主观冗余指的是如去掉该信息，不会对观看者 感受到的视觉质量造成明显影响。在有损压缩系统下，为了活得更高效率的压缩， 代价是解压缩信号和原始信号不会完全相同。视频压缩算法的目的就是在获得有 效的压缩效果的同时，使得压缩过程中引起的失真最小。 从原理上讲，之所以数据压缩可以被高效率地压缩，首先是因为我们采集到 的图像在时间和空间上有相当大的相关和相似性，专业上称之为数据冗余，包括 一帧图像中相邻的象素之间的相似性，前一帧图像和后一帧图像的相似性。这些 相似性使得我们可以通过帧内预测和帧间运动补偿等算法，减少码流中实际需要 第1 章绪论 传输的信息量，从而减小码率。其次，视频压缩使用的有损压缩，是通过丢弃一 部分的信息，来达到减小码率的目的的。具体的说，有损压缩是通过量化来实现 的，也就是把采集到的数据信息，通过除以一个量化因子，减小其绝对值，从而 减少需要传输这个数据的比特数。 数据压缩包括编码器( e n c o d e r ) 和解码器( d e c o d e r ) 两部分。在传输或存 储之前，编码器将源文件转换成压缩格式( 占用较小的比特数) ；在读取或播放 数据时，解码器将压缩数据恢复成视频图像。编码器和解码器合称为编解码器 ( c o d e c ) 。如图1 1 所示。 视频源 1 2 数字视频的发展历程 图1 1 编解码器 显示 谈到数字视频的发展历史，不能不回顾计算机的发展历程，它实际上是与计 算机所能处理的信息类型密切相关的，自上个世纪4 0 年代计算机诞生以来，计 算机大约经历了以下几个发展阶段： 数值计算阶段。这是计算机问世后的“幼年”时期。在这个时期计算机只能 处理数值数据，主要用于解决科学与工程技术中的数学问题。 数据处理阶段。5 0 年代发明了字符发生器，使计算机不但能处理数值，也 能表示和处理字母及其它各种符号，从而使计算机的应用领域从单纯的数值计算 进入了更加广泛的数据处理。 多媒体阶段。随着电子器件的进展，尤其是各种图形、图像设备和语音设备 的问世，计算机逐渐进入多媒体时代，信息载体扩展到文、图、声等多种类型， 使计算机的应用领域进一步扩大。由于视觉，即图形、图像，最能直观明了、生 动形象地传达有关对象的信息，因而在多媒体计算机中占有重要的地位。 在多媒体阶段，计算机与视频就产生了联姻。数字视频的发展主要是指在个 人计算机上的发展，可以大致分为初级、主流和高级几个历史阶段。 第一阶段是初级阶段，其主要特点就是在台式计算机上增加简单的视频功 能，利用电脑来处理活动画面，这给人展示了一番美好的前景，但是由于设备还 未能普及，都是面向制作视频制作领域的专业人员。普通p c 用户还无法奢望在 自己的电脑上实现视频功能。 2 第1 章绪论 第二个阶段为主流阶段，在这个阶段数字视频在计算机中得到广泛应用，成 为主流。初期数字视频的发展没有人们期望的那么快，原因很简单，就是对数字 视频的处理很费力，这是因为数字视频的数据量非常之大，1 分钟的满屏的真彩 色数字视频需要1 5 g b 的存储空间，而在早期一般台式机配备的硬盘容量大约 是几百兆，显然无法胜任如此大的数据量。虽然在当时处理数字视频很困难，但 它所带来的诱惑促使人们采用折衷的方法。先是用计算机捕获单帧视频画面，可 以捕获一帧视频图像并以一定的文件格式存储起来，可以利用图像处理软件进行 处理，将它放进准备出版的资料中；后来，在计算机上观看活动的视频成为可能。 虽然画面时断时续，但毕竟是动了起来，带给人们无限的惊喜。 而最有意义的突破是计算机有了捕获活动影像的能力，将视频捕获到计算机 中，随时可以从硬盘上播放视频文件。能够捕获视频得益于数据压缩方法，压缩 方法有两种：纯软件压缩和硬件辅助压缩。纯软件压缩方便易行，只用一个小窗 口显示视频，有很多这方面的软件。硬件压缩花费高，但速度快。在这一过程中， 计算机虽然能够捕获到视频，但是缺乏一个统一的标准，不同的计算机捕获的视 频文件不能交换。这就需要计算机与视频再做一次结合，建立一个标准，使得每 台计算机都能播放令人心动的视频文件。这次结合成功的关键是各种压缩解压缩 c o d e c 技术的成熟。压缩使得将视频数据存储到硬盘上成为可能。如果帧尺寸较 小帧切换速度较慢，再使用压缩和解压，存储1 分钟的视频数据只需2 0 m b 的空 间而不是1 5 g b ，所需存储空间的比例是1 ：7 5 。当然在显示窗口看到的只是 分辨率为1 6 0 x 1 2 0 邮票般大小的画面，帧速率也只有1 5 帧s ，色彩也只有2 5 6 色，但画面毕竟活动起来了。 q u i c k t i m e 和v i d e of o rw i n d o w s 通过建立视频文件标准m o v 和a v i 使数字 视频的应用前景更为广阔，使它不再是一种专用的工具，而成为每个人电脑中的 必备成分。而正是数字视频发展的这一步，为电影和电视提供了一个前所未有的 工具，为影视艺术带来了影响空前的变革。 第三阶段是高级阶段，在这一阶段，普通个人计算机进入了成熟的多媒体计 算机时代。各种计算机外设产品日益齐备，数字影像设备争奇斗艳，视音频处理 硬件与软件技术高度发达，这些都为数字视频的流行起到了推波助澜的作用。 1 3 视频编码标准介绍 在视频编码标准制定方面，目前世界上有两个主要的组织：国际电信联盟 ( i t u - t ) 的v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 和国际化标准组织( i s o l e c ) 的m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) 。i t u t 从1 9 9 0 年开始陆续提出了h 2 6 1 ， 3 第1 章绪论 h 2 6 3 ，h 2 6 3 + ，h 2 6 3 + + ，h 2 6 l 系列面向数字视频通信的编码标准，主要应用于 实时视频通信领域如可视电话、会议电视等；i s 0 c 于1 9 9 3 年和1 9 9 4 年分别 制定出版了m p e g 1i s o i e c 1 1 1 7 2 和m p e g 2i s o a e c1 3 8 1 8 。1 9 9 9 年公布了 m p e g 4i s o a e c1 4 4 9 6 ，主要应用于视频存储( d v d ) 、广播、电视、因特网或 无线网上的流媒体等。2 0 0 3 年，这两大组织联合组成了j v t ( j o i n sv i d e ot e a m ) ， 共同制定了h 2 6 4 标准。 h 2 6 1 标准是为i s d n 设计的，主要针对实时编码和解码设计，主要采用运 动补偿的帧间预测、d c t 变换、自适应量化、熵编码等压缩技术。只有i 帧和 p 帧，没有b 帧，运动估计精度只精确到像素级。支持两种图像扫描格式：q c i f 和c i f 。 h 2 6 3 标准是甚低码率的图像编码国际标准。它一方面以h 2 6 1 为基础，以 混合编码为核心，其基本原理框图和h 2 6 1 十分相似，原始数据和码流组织也相 似；另一方面，h 2 6 3 也吸收了m p e g 等其它一些国际标准中有效、合理的部分， 如：半像素精度的运动估计、p b 帧预测等，使它性能优于h 2 6 1 。 m p e g 1 标准用于数字存储体上活动图像及其伴音的编码，其原理框图和 h 2 6 1 的相似。它的特点包括：1 随机存取；2 快速正向逆向搜索；3 逆向重 播；4 视听同步；5 容错性；6 编解码延迟。为了提高压缩比，m p e g 1 帧内 帧间图像数据压缩技术必须同时使用。帧内压缩算法采用基于d c t 的变换编码 技术，用以减少空域冗余信息。帧间压缩算法采用预测法和插补法。m p e g l 在 实时压缩、每帧数据量、处理速度上有显著的提高。但m p e g l 也有较多不利地 方：存储容量还是过大、清晰度不够高和网络传输困难。 m p e g 2 被称为“2 1 世纪的电视标准 ，它在m p e g 1 的基础上作了许多重 要的扩展和改进，但基本算法和m p e g 1 相同，和m p e g 1 向下兼容。主要针 对存储媒体、数字电视、高清晰等应用领域。m p e g 2 视频相对m p e g 1 提升了 分辨率，满足了用户高清晰的要求，但由于压缩性能没有多少提高，使得存储容 量还是太大，也不适合网络传输。 h 2 6 4 集中了以往标准的优点，并吸收了以往标准制定中积累的经验，采用 简洁设计，使它比m p e g 4 更容易推广。h 2 6 4 创造性了多参考帧、多块类型、 整数变换、帧内预测等新的压缩技术，使用了更精细的分象素运动矢量( 1 4 、 1 8 ) 和新一代的环路滤波器，使得压缩性能大大提高，系统更加完善。 我国为适应发展的需要，由国家信息产业部科学技术司批准，于2 0 0 2 年6 月成立了数字音视频编解码技术标准化工作组。并于2 0 0 4 年制定了a v s ( a u d i o v i d e oc o d i n gs t a n d a r d ) 际准，a v s 是信息技术先进音视频编码系列标 准的简称，是由我国自主提出的数字音视频编解码技术标准，达到了当前国际先 4 第1 章绪论 进水平。a v s 标准的制定时间表与其他国际标准制定时间表之间的对比图如图 1 2 所示。 图1 2 国际标准和a v s 的制定时间进程表 a v s 视频与m p e g 标准都采用混合编码框架，包括变换、量化、熵编码、 帧内预测、帧间预测、环路滤波等技术模块，这是当前主流的技术路线。a v s 的主要创新在于提出了一批具体的优化技术，在较低的复杂度下实现了与国际标 准相当的技术性能，但并未使用国际标准背后的大量复杂的专利。a v s 视频当 中具有特征性的核心技术包括：8 x 8 整数变换、量化、帧内预测、1 4 精度像素 插值、特殊的帧间预测运动补偿、二维熵编码、去块效应环内滤波等。 a v s 标准作为数字音视频产业的共性基础标准，广泛应用于高演晰度和标 准清晰度数字电视广播、激光视盘机、移动多媒体通信、视频会议与视频监控v 宽带网络流媒体、数字电影等产业群。 a v s 是一套适应面十分广阔的技术标准，优势表现在以下几个方面： 1 基于我国创新技术和部分公开技术的自主标准：编码效率比第一代标准 ( m p e g 2 ) 高2 3 倍，而且技术方案简洁，芯片实现复杂度低，达到了第二代 标准的最高水平，可节省一半以上的无线频谱和有线信道资源； 2 第二代音视频编解码标准的上选：a v s 通过简洁的一站式许可政策，解 决了m p e g 4 a v c h 2 6 4 被专利许可问题维身、难以产业化的死结，与一些公司 提出的标准相比，a v s 是开放式制订的国家、国际标准，易于推广； 3 为音视频业提供系统化的信源标准体系：m p e g 4a v c h 2 6 4 是一个视 频编码标推。而a v s 是一套包含系统，视频、音频、媒体版权管理在内的完整 标准体系，为中国日渐强大的音视频产业提供了完整的信源编码技术方案，正在 通过与国际标准化组织合作，进入国际市场。a v s 标准式针对中国音视频产业 的需求，得到相关国际组织和企业的广泛参与，按照国际开放式规则制定的标准。 a v s 标准已通过信息产业部科学技术司标准化程序提请国家标准主管部门作为 国家标准于2 0 0 6 年5 月发布，并正在通过正式程序提请成为国际标准。 5 一一一一 第2 章a v s 视频压缩标准 第2 章a v s 视频压缩标准 2 1a v s 视频编解码技术综述 a v s 标准包括系统、视频、音频3 个主要部分和一致性等支撑部分组成。 a v s 视频标准采用与h 2 6 4 标准类似的技术框架，在性能上与h 2 6 4 持平，但技 术更为简洁。a v s 系统标准采用了扩展m p e g 2s y s t e m 的方案，有利于兼容己 有的m p e g 2 传输系统。本文讨论的是a v s 的第二部分即视频编解码部分。a v s 视频标准制定的目标是：适应数字电视广播、数字存储媒体、因特网流媒体、多 媒体通信等应用中对运动图像压缩技术的需要。 a v s 标准适用的范围很广，包括：数字地面电视广播( d t y b ，d i g j 【t a lt e r r e s t r i a l t e l e v i s i o nb r o a d c a s t i n g ) 、有线电视( c a t v ，c a b l et v ) ，交互存储媒体、直播卫 星视频业务( d b s ，d i r e c tb r o a d c a s ts a t e l l i t ev i d e os e r v i c e s ) ，宽带视频业务、多 媒体邮件、分组网络的多媒体业务 ( m s p n ，m u l t i m e d i as e r v i c e so np a c k e t n e t w o r k s ) 、实时通信业务( 视频会议，可视电话等) 、远程视频监控等。 a v s 标准采用了一系列技术来达到高效率的视频编码，包括帧内预测、帧 间预测、变换、量化和熵编码等。帧间预测使用基于块的运动矢量来消除图像间 的冗余；帧内预测使用空间预测模式来消除图像内的冗余。再通过对预测残差进 行变换和量化消除图像内的视觉冗余。最后，对运动矢量、预测模式、量化参数 和变换系数用熵编码进行压缩。 帧内预测不需要参考其它图像，采用帧内预测编码的图像可作为编码后序列 的随机访问点。帧间预测需要参考先前己解码的图像，解码的顺序可与编码器中 源图像捕获处理的顺序或从解码器输出用于显示的顺序不同。帧间预测中运动矢 量的精度能达到1 4 像素，运动矢量采用预测编码。视频解码过程的基本处理单 元是宏块。一个宏块包括一个1 6 x1 6 的亮度样值块和对应的色度样值块。宏块 可进一步划分到最小8 8 的样本块来进行预测。变换的单元是8 8 的样本块。 变换系数进行标量量化。 在a v s 视频标准中，所有宏块都要进行帧内预测或帧间预测。预测残差要 进行8 8 离散余弦变换( d c t ) 和量化，然后对量化系数进行扫描，得到一维 排列的量化系数，最后对量化系数进行熵编码。a v s 使用环路滤波器对重建图 像滤波，优点在于：一方面可以消除方块效应，改善重建图像的主观质量；另一 方面能够提高编码效率。滤波可以自适应调整。 6 2 2a v s 编解码器结构 2 2 1 编码器结构 a v s 标准与一些标准化的视频编码技术，如h 2 6 3 、h 2 6 3 _ a v c 、m p e g 系 列等一样，都采用混合视频编码框架。图2 1 描述了混合视频编码系统的编码器。 图2 1a v s 编码器框图 图2 1 所示的编码器中包括两条数据流通路：“前向 通路( 框图的上半部 分) 和“重构”通路( 框图的下半部分) 。在“前向”通路中，编码器以宏块为 单位来处理输入的一帧或一场数据，并以帧内或帧间方式来编码每个宏块。无论 是哪种模式，预测宏块p 都是根据已重构完成的视频图像形成的。使用帧间预测 模式时，宏块信息是从参考图像列表中选择参考图像，通过运动补偿预测形成的。 采用帧内预测模式时，宏块信息是从当前已经编码、解码、重构的当前帧宏块预 测产生的。从当前块减去预测的p 块，产生残差宏块d n ，也称为残差系数，对 差值块进行变换、量化后给出一组量化变换系数，再进行熵编码。经过熵编码的 残差系数，附加上用于宏块解码的其他信息，如宏块预测方式、量化步长、运动 补偿信息等，就构成了压缩后的码流。这些码流可以通过网络提取层( n a l ) 进 行传输或存储。 在“重构”通路中，为了重构图像实现对其他宏块的编码，需要再将量化后 的宏块系数进行解码。系数序列经过反量化和反变换后得到一个残差宏块d n 。 这与先前的残差宏块d n 不一定完全一致。预测宏块p 与d n 相加后就会生成 一个重建后的宏块。一系列的重建后宏块组成的集合构成重构后的参考图像。 7 第2 章a v s 视频压缩标准 2 2 2 解码器结构 图2 2 是a v s 视频解码器的结构框图。图中，解码器从网络层n a l 接受压 缩的位流。熵解码数据元素产生一组量化系数。使用从位流中解码的投信息，调 整这些系数，并反变换给出d n ( 等价于编码器中的d n ) 。解码器创建预测的 块p ，等价于编码器原预测的p 宏块。预测的p 宏块加上d n 产生重建宏块，将 其滤波后产生每个块的解码宏块。 2 3a v s 的关键技术 2 3 1 帧内预测 图2 2a v s 解码器结构框图 帧内预测是a v s 的一个重要的特性。它是根据已编码的帧内相邻块的像素 值来预测当前编码块像素值，然后和原始值取残差，对残差进行整数变换。a v s 的帧内预测以8 8 色度块和亮度块为单位，定义了5 中8 8 亮度块预测模式和 4 种8 8 色度块预测模式( 如表2 1 ) 。在图像平坦区域，帧内预测值和原始值 是非常接近的。这样就可以节约很多的比特数，使得在相同的码率下a v s 的帧 内编码效率有很大的提升。同时，与h 2 6 4 相比，a v s 又大大简化了帧内预测 的模式，降低了帧内预测的复杂度。 8 第2 章a v s 视频压缩标准 表2 1m s 帧内预测模式 亮度块色度块 模式 名称模式 名称 oi n t r a8 x 8v e r t i c a l0i n t r ac h r o m ad c 1 i n t r a8 x 8h o r i z o n t a l 1i n t r ac h r o m ah o r i z o n t a l 2 i n t r a8 x 8d c 2i n t r ac h r o m av e r t i c a l 3i n t r a8 x 8d o w nl e f t3i n t r ac h r o m a 4 i n t r a _ 8 x 8 _ d o w n _ r i g h t 2 3 2 帧间预测 a v s 的帧间预测包含一下几个特点： ( 1 ) 多参考帧：在m p e g 2 和它之前的编码标准中只是使用一幅图像来对 p 帧进行预测，而在a v s 中，p 帧可参考2 个前向参考帧，使得参考帧不再局 限在先前的一幅图像中，使得在p 、b 帧预测时预测误差更小，在不增加缓冲区 大小的前提下提高了编码效率。 ( 2 ) 可变块大小：与以往的编码标准相比，在运动估计和运动补偿的块大 小选择上，a v s 支持更大的自由性。预测的亮度样本块大小可以是1 6 x1 6 、1 6 8 、8 x1 6 或者8 8 。图2 3 所示为一个待预测亮度块e 和它的相邻亮度8 8 块a 、b 、c 和d 之间的空间位置。八b ，d 都是与e 的左上角样本紧邻的块，c 是与e 的右上角样本紧邻的块。 ( 3 ) 四分之一像素精度：a v s 的运动矢量精度设计成了1 4 像素精度，为 得到非整数样本，需要进行插值运算。a v s 视频标准定义了两个4 抽头f i r 滤 波器，分别用于1 2 和1 4 亮度样本的插值。与h 2 6 4 使用的6 抽头f i r 滤波器 相比，a v s 视频标准的滤波器实现复杂度较低。 ( 4 ) 越界运动矢量：在m p e g 2 和在它之前的编码标准中，运动矢量的指 向只能在先前已经解码的参考帧中，a v s 采用了图像边界外推法技术使得运动 矢量可以超出图像的边界。 9 第2 章a v s 视频压缩标准 dbc a e 图2 3 待预测亮度块和它的相邻亮度块之间的空间位置 2 3 3 整数变换与量化 a v s 视频标准与h 2 6 4 标准类似，用类似d c t 的整数变换代替了d c t 变 换。整幅图像分成8 8 象素大小的块进行映射编码。整数变换的编码特性与4 4 点的二维d c t 变换相似，将二维整数变换分解为一维整数变换，先进行行 整数变换，再进行列整数变换。整数变换和量化紧密结合在一起，在量化过程中 可以有机结合变换中的系数矩阵，使得变换过程中不再出现小数乘法问题，并且 在量化过程中巧妙地回避了除法运算。 使用整数变换的优点在于：在编码器和解码器中允许精度相同的变换和反变 换，便于使用简单的定点运算方式，这样便有效的消除了“反变换无差，从而 消除了编码器和解码器之间的失配现象。 2 3 4 去块效应滤波器 基于块的视预编码很容易造成方块效应，特别是在低码率的情况下，a v s 视频标准定义了自适应环路滤波器来消除方块效应，改善重建图像的主观质量， 同时可提高编码效率。a v s 编解码器中，去方块效应滤波器所处的位置是在残 差数据与预测数据相加进行重建之后，应用于大小为8 x8 的亮度块和色度块边 缘。对于图像中的每个宏块，要对亮度和色度分别做环路滤波，首先从左到右对 垂直边界滤波，然后从上到下对水平边界滤波。具体过程如图2 4 所示( 只分析 4 ：2 ：0 模式) 。先对宏块亮度矩阵的四条竖直边界进行滤波处理，按照图中b s v 0 0 、 b s v 0 1 、b s v l 0 、b s v l l 的顺序；接着是亮度矩阵4 条水平边界，按b s h 0 0 、b s h 0 1 、 b s h l 0 、b s h l l 的顺序依次进行滤波；色度数据矩阵也是同样的顺序，先完成其 竖直方向上然后作水平方向上的去方块滤波。滤波强度由宏块编码模式、量化参 数、运动矢量等决定。 1 0 第2 章a v s 视频压缩标准 b s v o ot ； i i i _ _ 习_ _ _ ? _ l ：二：f _ _ l _ l 图2 4 环路滤波顺序 由于a v s 视频标准只使用边界左右各3 个像素，低于h 2 6 4 使用的左右各 4 个像素，因此a v s 中的滤波器实现复杂度低于h 2 6 4 。 2 3 5 熵编码 熵编码是无损压缩编码方法，它生成的码流可以经解码无失真地恢复出源数 据。熵编码是建立在随机过程的统计特性基础上。信源的熵与其可能达到的最大 值之间的差值反映了该信源所含的冗余度。数据压缩一个根本途径是去处信源的 符号之间的相关性，尽可能的使序列成为无记忆的。 ” 编码器输出的码流中，数据的基本单位是语法元素。每个语法元素由若干比 特组成，表征某个特定的物理意义。码流就是由一个个的语法元素衔接组成，码 流中除了语法元素外并不存在专门用于控制或同步的信息。在a v s 的码流中， 语法元素被组织成有层次的结构，分别描述序列、图像、片、宏块和块。 a v s 的语法结构使用了一种类似c 语言的语法来表示，这也是现今比较通 用的一种表示方法。对于某个语法元素，使用特定的描述符来表示解析过程。描 述符是指从比特流中提取语法元素的方法，它是语法元素的解码算法，每个语法 元素都有相对应的描述符。a v s 定义了如下几种描述符：b ( 8 ) 、f ( n ) 、i ( n ) 、u ( n ) 、 u e ( v ) 、s e ( v ) 、m e ( v ) 和c e ( v ) 。当描述符括号中的参数是固定值或n 时，表示该语 法元素是定长编码，否则，对应的描述符是变长编码，即熵编码，它们的解码算 法本身能够确定当前语法元素的比特长度。 2 4a v s 标准的应用前景 a v s 是一套适应面十分广阔的技术标准。与m p e g 2 等现有压缩标准相比， 在相同的视觉质量下，码率至少可以降低5 0 。码率范围覆盖几十k b p s 的低带 第2 章a v s 视频压缩标准 宽通信到数十m b p s 的高清晰度电视广播，可以支持低延迟模式的视频会议应用， 也支持高压缩效率的视频存储应用等。目前工作结果已经表明，a v s 在下述领 域具有重要的应用前景： ( 1 ) 标准清晰度数字电视：利用a v s 标准，可以用2 - 3 m 带宽实现现有6 m 带宽的同等质量的标清电视节目，广播带宽节省一半，有效利用无线频谱资源， 有利于提供终端产品的自主技术水平； ( 2 ) 高清晰度数字电视：可以用6 m 的带宽实现现在需要2 0 m 带宽的 m p e g 2 高清电视节目，如果用1 0 m b p s 带宽，可以播出效果更好的电视节目。 这不仅意味着带宽和频谱资源节省，更意味能够利用标清电视传输系统广播实现 高清晰度电视广播； ( 3 ) 高清晰度光盘播放机t 作为d v d 的换代产品，高清晰度光盘播放机 在未来一两年内即将走向市场，如果利用a v s 技术实现6 m b p s 的高清晰度电影 压缩，就可以采用现有红光d v d 相同或类似的光学和伺服系统以及盘片，开发 出新一代高清晰度激光视盘机系统，一定程度上摆脱3 c 、6 c 、1 c 的围堵； ( 4 ) 宽带网络流媒体和多媒体通信t 流媒体是宽带网络的拳头应用，a v s 凭借高效的压缩性能，能够促进宽带网络流媒体的快速普及；可视电话是第三代 移动通信需要首先支持的功能，a v s 是移动通信这种带宽有限领域的理想选择。 第3 章帧内预测算法 3 1 帧内编码技术 第3 章帧内预测算法 视频编码是通过去除图像的空间、时间和符号统计相关性来达到压缩的目 的。时间相关性可以通过运动补偿来消除，即编码器根据过去( 或将来) 的图像 帧产生当前帧区域的预测，用当前图像将去预测图像得到相应的残差图像的编码 方法。如果预测准确，残差图像的能量将低于原图像，所需的比特数也较少。 同样的，空间相关性可以通过变换编码和预测编码来去除，即图像样本或区 域用同一帧图像中已传输的样本来预测。这种预测方式可以被称为“空间预测 ， 是包括h 2 6 4 和a v s 在内的视频标准中帧内编码的重要部分。在一个编码帧内， 空间域和变换域中的系数都存在很强的相关性，这就为空间域或变换域中进行帧 内预测处理提供了基础。 图3 1 显示将要被编码的像素点x 的情况。如果当前帧以光栅次序编码，则 无论在编码端还是解码端，像素点a 、b 和c ( 当前行和先前行的相邻像素) 都 在x 之前被编码和解码。根据这些值，编码器产生x 的预测和相应的残差( x 与预测值相减的结果) ，并对残差进行编码。解码器产生x 的预测值，与解码 后的残差相加得到x 的重建值。 图3 1 空间预测 帧内预测编码技术的概念很早就被人们提了出来，但在现代编码奠基性的 h 2 6 l 编码标准中，却没有采用帧内预测技术，而是采用了帧间运动补偿的预测编 码技术。在后来的h 。2 6 3 + 与m p e g 4 中，引入了变换域中简单的帧内预测技术， 在变换域中根据相邻块对当前块的某些系数进行预测。而h 2 6 4 和a v s 则采用 第3 章帧内预测算法 了空间域中复杂的、多模式的帧内预测技术，在空间域中直接对当前块中的每个 系数进行预测。 帧间预测技术是提高视频压缩比的关键，但帧内预测的作用也非常重要。一 方面，帧内预测可以提高i 帧的压缩效果，有利于视频码流速率的控制，这在实际的 网络传输中具有重要的意义。另一方面，当帧间预测找不到匹配块的时候，用帧内 预测可达到好的压缩效果。 3 2h 2 6 4 帧内编码技术 在介绍a v s 的帧内编码技术前，首先介绍一下目前应用最为广泛的h 2 6 4 标准关于帧内编码技术的内容。 帧内预测是h 2 6 4 的一个重要的特性。它根据已编码的帧内相邻块的像素 值来预测当前编码块像素值，然后和原始值取残差，对残差进行整数变换。对于 亮度像素，4 4 块或者1 6 1 6 块都先形成一个预测块p 。对于每个4 x 4 的亮度 块，共有9 种可选预测模式；对于1 6 1 6 的亮度块，共有4 种可选模式；对于 色度块，共有4 种可选模式。由于h 2 6 4 的色度块帧内预测与a v s 类似，因此 这里仅说明h 2 6 4 的亮度预测模式。 3 2 14 4 亮度块的预测模式 每个样本块为4 4 的矩形块，参考样本来自上方，左侧及左上角的3 个相 邻块，如图3 2 中a m 标记所示。 mabcdefgh iabcd jef g h kl j kl lmno p 图3 2 预测样点标注 图3 2 中的参考标记像素( 舡m ) 已经被编码和重建，所以在编码器和解码 器中都可以被作为预测参考。预测块p 的像素a ，b ，c ，p 可以按照表3 1 中的相应方式根据a m 样点计算得到。模式2 ( d c 模式) 依据a 。m 有哪些像 素已经被编码来进行相应的修改，其他的每个模式只有当所有预测需要的像素都 可以得到时，才会被使用。 1 4 第3 章帧内预测算法 表3 1h 2 6 4i n t r a 4 x 4 类型帧内预测模式 模式预测方式 0 ( 垂直)垂直推断，参考样点是上样点a ，b ，c ，d 1 ( 水平)水平推断，参考样点是左样点i ，j ，k ，l 2 ( d c )用样点a 、d 和i 、l 来预测在p 内的所有样点 3 ( 左下对角)在左下与右上之间在4 5 。方向，补插样点 4 ( 右下对角)在右4 5 。角下推断样点 5 ( 右垂直)在垂直向左近2 6 6 。( 宽高= 1 2 ) 推断样点 6 ( 下水平)在水平下2 6 6 。推断样点 7 ( 左垂直)在垂直向右近2 6 6 。推断( 或插补) 样点 8 ( 上水平)在水平上近2 6 6 。插补样点 图3 3 指示了每种模式下的预测方式，在图中用箭头方向标示。对于模式 3 8 ，预测的像素值是从预测像素小m 进行加权平均得到的。需要注意的是， 如果像素值e 、f 、g 、h 还没有破解，则像素值d 被复制到这些位置，并且这二， 些位置被标志为“可以得到 。 第3 章帧内预测算法 0 ( 垂直)1 ( 水平)2 ( 直流) mabcde fg ih i j k l11 1 1 3 ( 对角线左下) mabcde fg ih i j k l ， 一。 6 ( 水平向下) ma8cdefgh i l j 、 k i l 、l mabcde fgh i j k l r 4 ( 对角线右下) mabcd e fgh i j i i j i k i li鼍 i j i l 7 ( 垂直向左) mabcde fgh l f j 7 k f l y ， 图3 34 4 亮度预测模式 3 2 216 16 亮度块的预测模式 mabcdefgh l j - y n ，an k i 1 l 5 ( 垂直向右) mabcdef g ih i tt；。l j iix - kl it l、 、 8 ( 水平向上) mabcdefg lh jj j ，) r k ， l i n t r a l 6 x1 6 类型亮度块预测模式适用于变化较为缓慢的区域。预测样本采 用1 6 1 6 的宏块尺寸。有4 种模式可选，如表3 2 所示。 表3 2h 2 6 4i n t r a 4 x 4 类型帧内预测模式 模式预测方式 0 ( 垂直)从上面的像素推断 1 ( 水平)从右面的像素推断 2 ( d c )上面和左边像素平均 3 ( 平面)对上面和左边的像素使用一个线性平面函数，这 在亮度的平滑变化区域效果很好 3 3a v s 帧内编码技术 a v s 的帧内预测算法与h 2 6 4 类似，但由于a v s 的亮度预测和色度预测都 使用8 x 8 尺寸的预测块，因此，在算法上与h 2 6 4 有一定的不同。在应用相邻 1 6 第3 章帧内预测算法 块的像素值进行预测之前，首先要判断个相邻块参考样本点的“可用性。设预 测样值矩阵为p r e d x y ，当前块上方的参考点为r 【i 】，i = o 一1 6 ；当前快左方参考 点为c 【i 】，i = o 1 6 ，r 【o 】= c 【0 】。如果帧内预测需要用到i 大于1 6 的上