（通信与信息系统专业论文）h263视频编码系统的研究与实现.pdf

摘要 在信息技术飞速发展的今天，多媒体通信成为人类新兴的交流手段。其中， 数字视频携带着巨大的信息量在信息社会中发挥着越来越重要的作用。由于计算 机技术、通信技术、微电子技术、网络技术的进步，实时视频压缩和传输成为可 能，人们可以在此基础上享受技术进步带来的便利。 本文介绍了作者在视频压缩编码及其硬件实现方面的研究。作者研究了i t u t h 2 6 3 视频编码标准，并在该标准的基础上提出了基于f p g a 硬件实现的视频编码 器结构。作者对码流复合、码率控制等关键技术做了深入研究，在理论的基础上 提出了码流复合、码率控制的硬件实现方案。 本文介绍了h 2 6 3 标准的基本原理，h 2 6 3 编码器总体框架及各部分功能， h 2 6 3 码流复合的原理及硬件实现，h 2 6 3 码率控制的原理及硬件实现。 关键词：视频编码2 6 3 码流复合码率控制f p g a a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n ti nt h ea r e ao fi n f o r m a t i o nt e c h n o l o g y m u l t i m e d i a c o m m u n i c a t i o nh a sb e e nan e w w a y o fh u m a n i n t e r c o m m u n i o n s p e c i a l l y ，d i g i t a lv i d e o p l a y sam o r ea n dm o r ei m p o r t a n tr o l e i ni n f o r m a t i o ns o c i e t y t h ea d v a n c e m e n t so f c o m p u t e rt e c h n o l o g y ，c o m m u n i c a t i o nt e c h n o l o g y ，m i c r o e l e c t r o n i c st e c h n o l o g y ， n e t w o r kt e c h n o l o g y ，m a k er e a l t i m ev i d e oc o m p r e s s i o na n dt r a n s p o r t a t i o n p o s s i b l e c o n s e q u e n t l y ，p e o p l ee n j o y 也e c o n v e n i e n c em a d e b yt e c h n o l o g ya d v a n c e s t h i sd i s s e r t a t i o n p r e s e n t s t h es t u d yo fs e v e r a li s s u e si nv i d e oc o d i n ga n di t s h a r d w a r e i m p l e m e n t a t i o n an o v e lh a r d w a r e f p g a b a s e dv i d e o c o d i n gs y s t e m i s p r o p o s e db a s e do nt h e i t u - th 2 6 3r e c o m m e n d a t i o n t h eh a r d w a r eh 2 6 3c o d e r f r a m e w o r kc o n s i s t so ff o u rp a r t s ：1 ) a n a l o gv i d e oi n p u ta n da d c o n v e r t o r 2 ) f r a m e s t o r ea n dm o t i o n e s t i m a t i o n c o m p e n s a t i o n 3 ) d c t i d c t ，q u a n t i z a t i o n a n d r e c o n s t r u c t i o n 4 ) b i ts t r e a mm u l t i c o m p l e x i n ga n dr a t ec o n t r 0 1 s o m ek e yt e c h n i q u e s ， s u c ha sm u l t i c o m p l e x i n ga n dr a t ec o n t r o l ，a r es t u d i e di nd e t a i l t h eh a r d w a r ed e s i g no f m u l t i c o m p l e x i n ga n dr a t ec o n t r o ii sp r e s e n t e db a s e do nt h e o r y i nt h i sd i s s e r t a t i o n ，w ed e s c r i b et h eb a s i cp r i n c i p l eo f h 2 6 3 ，s y s t e mf r a m e w o r ko f h 2 6 3e n c o d e ra n dc o m p o n e n t f u n c t i o n ，m u l t i c o m p l e x i n gp r i n c i p l e a n dh a r d w a r e i m p l e m e n t a t i o n r a t ec o n t r o lp r i n c i p l ea n d h a r d w a r ei m p l e m e n t a t i o n s o m es i m u l a t i o n r e s u l t sa n d p r a c t i c a lr e s u l t sa r es h o w n k e y w o r d ：v i d e oc o d i n g h 2 6 3 m u l f i e o m p l e x i n g r a t ec o n t r o lf p g a 第一章绪论 第一章绪论 1 1图像压缩编码技术的发展历史与现状 未来的人类社会将是信息化社会，图像是多媒体中携带信息极其重要的媒体， 统计资料表明，人们获取信息的7 0 来自图像。数字化后的信息，尤其是数字化 后的视频和音频信息，具有数据海量性的特点，它给信息的存储和传输造成很大 的困难，成为阻碍人类有效获取和使用信息的瓶颈问题之一。因此，研究和开发 新型有效的多媒体数据压缩编码方法，以压缩的形式存储和传输这些数据将是最 好的选择。 在许多应用领域，都会遇到需要对大量图像数据进行传输与存储的问题。例 如，在传输方面：数字电视、遥感照片、军事侦察图像、可视电话、会议电视和 传真照片等：在存储方面：教育、商业、管理等领域的图文资料、医用图像、天 气云图等等，海量图象数据几乎涉及各个行业。为了在最短的时间传递尽可能多 的图片，或者为了利用有限的存储容量存储更多的图象信息，或者为了在有限的 带宽条件下传输尽可能多的活动图像，就要研究怎样才能最大限度的压缩图像数 据，并且保证压缩后的重建图像能够被用户所接受，这就是图像编码所要解决的 问题。 1 9 4 8 年提出电视信号数字化后，就开始了对图像压缩编码技术的研究工作， 至今已有5 0 多年的历史。5 0 和6 0 年代，限于客观条件，仅对帧内预测法和亚取 样内插复原法进行研究。1 9 6 6 年j b o n e a l 对比分析了d p c m 与p c m ，并提出 了用于电视的试验数据。1 9 6 9 年进行了线性预测编码的实际试验。1 9 6 9 年举行首 届图像编码会议( p i c t u r ec o d i n gs y m p o s i u m ) 。7 0 年代开始进行帧间预测编码的研 究。8 0 年代开始对运动补偿( m c ) 所用的运动估值( m e ) 算法进行研究。变换编码 是1 9 6 8 年h c a n d r e w s 等人提出的，采用的是二维离散傅里叶变换。此后相继 出现了其他的变换编码方法，其中包括二维d c t 。对模型编码的研究始于8 0 年 代初。 进入9 0 年代以后，i t u t 和i s o 制定了一系列图像编码国际标准。如： 1 9 9 0 年为会议电视和可视电话制定的h 2 6 1 标准。 1 9 9 1 年为静止图像编码制定的j p e g 标准。 1 9 9 1 年为电视数字图像存储而制定的m p e g 1 标准。 1 9 9 3 年为活动图像及其伴音压缩而制定的通用编码国际标准m p e g 2 。 1 9 9 4 美国“大联盟”公布数字h d t v 系统的说明书草案。美国“先进电视 2 h 2 6 3 视频编码系统的研究与实现 系统委员会”拟定“数字电视标准”。 19 9 6 年i t u t 为甚低码率视频编码而制定的h 2 6 3 标准。 1 9 9 8 年i t u t 拟定h 2 6 3v e r s i o n 2 草案，即h 2 6 3 + 。 1 9 9 8 年拟定m p e g 4 草案，首次在编码中引入了视频对象( v i s u a lo b j e c t ) $ d 基于内容编码的概念。 这些标准的制定极大地推动了图像编码技术的实用化和产业化。会议电视等 各类使用图像编码技术的产品纷纷推出，数字激光唱盘( v c d ) 等产品以百万台的 数量级走向市场，进入家庭，从而迎来了数字图像通信的黄金时代。 另一方面，图像编码技术产业化进程的加快也推动了图像编码技术以更快的 速度发展。目前的研究工作主要分为两个方向： 1 更好地实现现有的图像编码国际标准 研制出集成度更高、性能更好的图像编码专用芯片( a s i c ) ，使编码系统成本 更低，可靠性更高。几个国际标准的单片或两片的系统级解码a s i c 均已推出， 其中包括对运算速度要求很高的m p e g 2 解码芯片。不久还将推出要求更高的 h d t v 的单片视频解码芯片。符合m p e g 2 标准的单片或多片视频编码a s i c 也 已推出。 解决好现有的图像编码系统开发中的技术问题。例如：提高图像质量，提高 抗误码能力。在a t m 网等变速信道上的应用等。如果拿现在生产的的v c d 图像 质量和几年前m p e g l 刚制定时的v c d 图像质量相比，就可以看到虽然用的是 同一个国际标准和同样的数码率( 1 5 m b p s ) ，但图像质量大大提高了。这就是近几 年来对m p e g 1 编码器具体实现算法作深入研究的成果。国际标准的开放性结构 为这种深入的改进提供了前提，它允许人们在不影响兼容性的前提下发挥自己的 创造性，对标准中的开放部分进行改进。这些开放性部分包括运动估值和运动补 偿方法，自适应量化系数和缓存器控制策略等。在国际标准规定的约束下，对这 部分算法作更合理的细化有助于提高编解码器的性能。如：复原图像质量，提高 抗误码能力等。 2 对图像编码理论和其他图像编码方法的研究 传统的压缩编码是建立在香农信息论的基础上，它以经典的集合论为基础， 用统计概率模型来描述信源，但是，它未考虑信息接受者的主观特性及事件本身 的具体含义、重要程度和引起的后果。目前压缩编码的发展历程实际是以香农信 息论为出发点，不断完善的过程。已提出和正在进行研究的图像编码方法有以下 三类： 考虑信源的统计特性：预测编码方法，变换编码方法，向量量化编码方法， 子带- d , 波编码方法，神经网络编码方法等； 考虑人眼的视觉特性：基于方向滤波的图像编码方法，基于图像轮廓一纹理 第一章绪论 的编码方法； 考虑图像传递的景物特性：分形编码，基于内容的编码方法。 1 2图像压缩编码技术的应用 图像编码系列国际标准的提出标志着图像编码技术已经成熟，开始由学术研 究转为产业化，前景十分诱人。早在1 9 9 1 年就有人预言，图像编码技术的突破具 有十分巨大的意义。其意义之大已到可以促使现有信息产业的结构发生巨变的程 度，它使通信，广播，计算机产业的界限变得模糊。近几年来的实践也证实了这 个预言。 图像编码技术对数字电视的发展起着至关重要的作用。数字电视具有图像质 量高、频谱利用率高、可以实现多种业务的动态组合和统计复用、易于加密、具 有可扩展性、可分组性和互操作性、可以灵活组成交互式电视系统等优点。这些 优点是模拟电视所无法比拟的。但是数字电视受到数据量庞大的约束，所以近几 年来图像编码研究主要集中在视频压缩上，以改进数字电视的性能，从而促使各 等级数字电视的成功实现，扩大其应用领域。这从今年来制定的图像编码国际标 准中视频压缩编码和静止图像编码国际标准的数量比例中即可窥见一斑。以分辨 率为基础，数字电视可分为四个等级：可视电话、会议电视、数字标准清晰度电 视和高清晰度电视( h d t v ) 。 图像编码技术在其它方面同样有很多应用，如： 电视计算机( t e l e c o m p u t e r ) 。它是介于电视与计算机之间的应用。它将个人计 算机和电视融为一体，构成一个多媒体工作站。 多媒体出版物，包括电子图书，电子报刊等。 各种图像信息系统，如指纹库，遥感图像数据库等。 图像压缩技术已经为开创新的应用领域提供了良好的技术基础。如m p e g 4 专家组为m p e g - 4 制定的功能目标指出，m p e g 4 的目标不仅是改进的可视电话， 而且应该满足广播，通信，计算机领域相互渗透的要求，以交互性，高压缩比以 及多种存储与通信信道相连为特色，从而构成现有的国际标准全新的视听应用标 准。总之，图像压缩技术为开拓全新的应用领域打下了坚实的基础。 1 3 现有的视频编码标准及其介绍 自8 0 年代以来，由于数字存储媒体、电视传播及通信等应用中对运动图像编 码方法需求的日益增长，i t u ，i s o 等国际组织都成立了专门的机构，致力于制 订运动图像压缩编码的国际标准。到且前为止，已经开发和正在开发的运动图像 压缩标准有：h 2 6 1 、h 2 6 3 、m p e o - 1 、m p e g - 2 、m p e g - 4 、m p e g - 7 和m p e g - 2 1 。 4h 2 6 3 视频编码系统的研究与实现 下面对这些标准分别做一简单介绍。 c c i t t ( b n 后来的i t u ) 第1 5 研究组于1 9 8 4 年成立了“可视电话专家组”，经 过1 9 8 5 1 9 8 8 三年的研究，提出了视频编解码器的的h 2 6 1 标准草案，以覆盖 i s d n 基群信道，满足会议电视和可视电话业务日益发展的需要。1 9 9 0 年7 月通 过了该标准，定名为“p 6 4 k b p s 视听业务的视频编码器”，其中p = l 3 0 。为了 满足近年来在普通公用电话网或移动电话网上进行可视电话通信的需要，即视频 压缩率低于6 4 k b p s ，在诸如2 8 8 k b p s 等速率的信道上进行可视电话通信，i t u t 在h 2 6 1 标准基础上进行了改进，于1 9 9 5 年提出了h 2 6 3 标准“甚低码率通信的 视频编码”。 m p e g 1 制定于1 9 9 2 年，可适用于不同带宽的设备，如c d r o m 、v i d e oc d 。 他的目的是把2 2 1 m b p s 的n t s c 图像压缩到1 2 m b p s ，压缩率为2 0 0 ：1 。传输速 率为1 5 m b p s ，编码速率最高可达4 5 m b p s ，但随着速率的提高，其解码后的图 象质量有所降低。m p e g 1 主要是针对数字存储媒体，但它也被用于数字电话网 络上的视频传输，如非对称数字用户线路( a d s l ) ，视频点播和教育网路等。 m p e g 2 制定于1 9 9 4 年，设计目标是高级工业标准的图象质量以及更高的传 输率。它所提供的传输速率在3 m 1 0 m b p s 。m p e g 2 技术就是实现d v d 的标准 技术，现在d v d 播放器已经在家庭中普及起来了，除了用于d v d 外，还可以为 广播、有线电视网、电缆网络以及卫星直播提供广播级的数字视频。 m p e g 4 旨在将众多的多媒体应用集于一个完整的框架内，为不同性质的视 频、音频数据制定通用的编码方案，提出基于内容( c o n t e n t b a s e d ) 的视频对象 ( v i d e oo b j e c t ) 的编码标准。它不仅针对一定比特率下( 4 8 0 0 - - 6 4 0 0 b p s ) 的视频、 音频编码，更加注重于多媒体系统的交互性和灵活性。为了达到这个目标， m p e g 一4 引入了对象基表达( o b j e c t b a s e dr e p r e s e n t a t i o n ) 的概念，用来表达视听对象 ( a u d i o v i s u a lo b j e c t s , a v o ) ：m p e g 4 扩充了编码的数据类型，由自然数据对象 扩展到计算机生成的合成数据对象，采用合成对象自然对象混合编码 ( s y n t h e t i c n a t u r a lh y b r i dc o d i n g ，s n h c ) 算法；基于内容的压缩编码是m p e g 研 究的热点。m p e g 4 的编码系统是开放的，为各种多媒体应用提供一个灵活的框 架和一套开放的编码工具，不同的应用可选取不同的算法。 m p e g - 7 的工作于1 9 9 6 年启动，名称叫做多媒体内容描述接口( m u l t i m e d i a c o n t e n td e s c r i p t i o ni n t e r f a c e ) ，目的是制定一套描述符标准，用来描述各种类型 的多媒体信息及它们之间的关系，以便更快更有效地检索信息。这些媒体材料可 包括静态图像、图形、3 d 模型、声音、话音、电视以及在多媒体演示中它们之间 的组合关系。m p e g 一7 的应用领域包括：数字图书馆( d i 百t a ll i b r a r y ) ，例如图像目 录、音乐词典等：广播媒体的选择，例如无线电频道，t v 频道等；多媒体编辑， 例如个人电子新闻服务，多媒体创作等等。 一 至二兰竺笙 ! w _ - - _ _ _ - - _ _ _ _ - _ _ _ _ _ _ _ _ - _ _ - _ _ - _ 一一 1 4论文内容及作者所完成的工作 本文简要介绍了视频压缩编码的原理和基本的压缩方法，并在此基础上重点 研究了h 2 6 3 视频压缩编码的标准。提出了一种基于硬件的实现方案。对于h 2 6 3 中的码流复合和码率控制算法进行了深入研究，用现场可编程门阵列( f p g a ) 实现了上述方案。 本文作者参与了整个系统方案的设计，主要负责码流复合模块和码率控制模 块的硬件设计，并完成码流复合模块和码率控制模块的硬件实现和调试。 论文章节安排如下： 第一章绪论对图像压缩编码技术发展的历史和现状作了简单的回顾，对图像 压缩编码方法在实际中的应用和现行的图像压缩编码标准作了简要的介绍，并介 绍了作者的主要工作。 第二章介绍了h 2 6 3 视频编码的国际标准，详细介绍了h 2 6 3 的各个组成部 分和其相应的实现，根据其结构提出了基于硬件实现的h 2 6 3 视频编码系统方案， 并详细说明了各个组成部分的功能。 第三章详细介绍h 2 6 3 标准规定的码流结构和在此基础实现码流复合的技术 原理，每一部分都简要介绍了实现方案和硬件实现过程。 第四章详细介绍了h 2 6 3 码率控制的原理，提出了一种硬件实现的方法，并 且给出了仿真和最终硬件实现的结果。 h 2 6 3 视频编码系统的研究与实现 第二章h 2 6 3 标准及其编码系统的硬件实现结构 2 1h 2 6 3 标准简介 随着通信技术的发展，通信带宽的不断增加，多媒体业务在通信中的比重也 越来越大。同时人们还是希望在现有成熟的，廉价的，分布最广的公用交换电话 网( p s t n ) 以及无线网中，实现实时的视频通信，而它们的传输带宽对数字视频通 信提出了严峻的挑战。因此人们更关注如何在低比特率下进行视频压缩编码的问 题。1 9 9 0 年，i t u t 制定了h 2 6 1 标准，适合于窄带i s d n 速率( p x 6 4 k b p s ) 的图像 编码，它可应用于会议电视，可视电话等。但是，对于更低的传输速率场合，例 如人们用的最普遍的电话线，或者移动通信信道( 这是多媒体可视电话今后发展的 一个广阔领域) ，h2 6 1 标准的视频质量往往难以令人满意。1 9 9 6 年3 月制定的h 2 6 3 标准就是为这一目标制定的。它是在h 2 6 1 标准的基础上做了一些重要的改进， 使得编码图像质量获得很大提高。目前h 2 6 3 及相关的多媒体终端h 3 2 4 已经广 泛用于p s t n 中的可视电话和会议电视上。 与h 2 6 1 相同，h 2 6 3 仍然以运动估计补偿和d c t 变换混合编码为核心，其 原理，码流结构与h 2 6 1 相似，原始视频数据分为图像层、块组层、宏块层、块 层四层；另一方面h 2 6 3 也吸收了m p e g 等其它一些国际标准中有效合理的部分， 如：半象素精度的运动估计，p b 帧预测等。h 2 6 3 共有i 帧，p 帧，p b 帧三种帧 模式和帧内编码( i n t r a ) 、帧间编码( i n t e r ) 两种编码模式。另外为了进一步提 高编码效率，h 2 6 3 提供了四种可选的编码算法，分别为无约束运动矢量算法，基 于句法结构的算术编码，先进预测模式和p b 帧模式。 图l 为h 2 6 3 标准中视频编码器的框图。输入的数字视频信号或者经过帧间 预测，或者直接送到变换单元( t ) 。在变换单元中，对8 x8 的数据块( 象素或预测 误差) 进行二维d c t 变换，变换后的系数大多集中在变换系数矩阵的左上角( 低频 部分) ，然后再对这些系数进行量化。量化器( q ) 的量化步长的改变受控于编码控制 器( c c ) 。量化器的输出除了作为源编码器输出以外，还经反量化( q 。) 和反变换( r 。) 以后送至运动补偿( 图中的加法器) ，运动补偿后的预测值再与当前输入的视频信号 相减得到帧间预测值。从图中可以看出h 2 6 3 编码器除了送出量化后的变换系数( q ) 以外，还包括一系列的附加信息( 如p ，t ，q z ，v ) ，以供解码器使用。量化后的系数经 过变长编码，再和附加信息按照规定的视频码流结构进行复合，形成统一的复合 视频数据流。图中的两个切换开关分别表示系统工作在帧内( i n t r a ) 帧间( i n t e r ) 模式。 第二章h 2 6 3 标准及其编码系统的硬件实现结构 视频 输入 图1h 2 6 3 编码系统框图 t 7 黯复厶 。j 2 2 h 2 6 3 视频编码的内容及相关知识 2 2 1 支持的图像格式 目前世界上存在多种彩色电视制式，难以统一。为此，c c i t t 规定了一种“公 共中间格式”c i f ( 亮度分辨率为3 5 2 x 2 8 8 ，两个色差分量c 。，c 。的分辨率为 1 7 6 x 1 4 4 ) ，编解码器对基于c i f 格式的图像进行编解码。至于输入制式与c i f ，c i f 与输出制式之间的转换，标准中不加规定。h 2 6 3 共有5 种标准化的图像格式： s u b - q c i f ，q c i f ，c i f ，4 c i f ，1 6 c i f 。表i 列出了h 2 6 3 标准不同规格的图像尺 寸。从中可以看出实际上h 2 6 3 标准的应用范围远远超出了低码率图像编码的范 围，1 6 c i f 已经是高清晰度电视的水平了。从最初的规划目标和应用前景来看， h 2 6 3 主要是为低比特率声像系统中的图像压缩编码而制定的。但是随着技术的发 展，从最新颁布的h 2 6 3 标准( 1 9 9 8 年1 月) 的本身来看，并没有对该压缩编码方法 所需的传输速率进行明确的规定，这要根据具体应用环境和要求而定。换言之， h 2 6 3 也完全适用于高速率的图像编码。总之，h 2 6 3 标准的编码方法完全适用于 h 2 6 1 ，应用范围比h 2 6 1 更为广泛，而且其性能比h 2 6 1 优越得多。 表ih 2 6 3 标准的图像格式 琳 际 黻 至雪体? 黻：|；徽黼般|；变量圈编叫忙量变运 tqpf驻4r h 2 6 3 视频编码系统的研究与实现 图像格式、苏素绗、行数i 帧 c | ，c a 象素j 行c b ，c r 行数 帧 s u b - q c i f 1 2 89 66 44 8 q c i f 1 7 61 4 48 87 2 c i f3 5 22 8 81 7 61 4 4 4 c i f7 0 45 7 6 3 5 22 8 8 1 6 c i ft 4 0 81 1 5 2 7 0 45 7 6 2 2 2 运动估计和运动补偿 采用帧间预测编码可以减少时间域上的冗余度，提高压缩比。如果将上一帧 相同空间位置处的像素值作为待编码的当前帧的预测值，这种预测对图像中的静 止背景部分将是很有效的。但是对于运动部分，这种不考虑物体运动的简单帧间 预测效果并不好。如果有办法在对当前帧某像素( 或像素块) 进行预测时知道这个像 素( 或像素块) 是上一帧的某个位置移动过来的，在做预测时以那个位置上的像素值 作为预测值，则预测的准确性大为提高。我们把这个位置称为运动矢量，求运动 矢量的过程称为运动估值，利用运动估值进行预测编码的技术称为运动补偿。 运动估值技术主要分成两大类：象素递归法和块匹配法。块匹配法已成为目 前最常用的方法，在h 2 6 1 、m p e g 、h 2 6 3 等有关运动图像编码的国际标准中， 均采用了该方法。 半象素精度的运动估计是h 2 6 3 的一个重要特征。半象素搜索是先用整数象素 的精度搜索得到整点的位移矢量，根据整点搜索的结果选择宏块的编码模式 ( i n t r a 或i n t e r ) ，如果宏块为i n t e r 模式，在整点位移矢量的上下左右8 点进 行双线性插值，再做运动估计。双线性插值的具体过程如图2 所示。 名ob o 目+ 整数象索位置 。od o o 半象索位置 c +d + 图2h 2 6 3 中的双线性插值 其中a = a ，6 = r a + b + 1 ) 2 ， c = ( 彳+ c + 1 ) 2 ，d = ( 彳+ b + c + d + 2 ) 4 。 2 2 3 离散余弦变换与反变换( d c t i d c t ) 图像信号在空间域一般具有较强的相关性，先将空间域图像经过某种正交变 换，在变换过程中，使图像变换系数能量相对集中，再对其变换系数，进行区域 量化等，按其所含能量大小，分配以不同的数据量( 比特数) 去描述，这样就可以提 高压缩比。 按正交变换的形式，变换编码有傅立叶( f o u r i e r ) 变换、沃尔什一哈达玛变换 第二章h 2 6 3 标准及其编码系统的硬件实现结构 f w a l s h h a d a m a r d ) 变换，k l ( k a r h u n e n ，l o e v e ) 变换，离散余弦变换( d c t ) 等。其中 k l 变换去相关性最好，但实现最困难。而离散余弦变换既接近于k l 变换性能， 也容易实现，因此成为多媒体编码标准的基本算法。 h 2 6 3 中定义的d c t 和i d c t 变换是以块( 8 8 ) 为单位进行的，d c t 变换公式 定义如下： f ( u ，v ) = i 4 c ( u ) c ( v ) 厂( x ，y ) c o s k ( 2 x + 1 ) “1 6 】c o s k ( 2 y + 1 ) v 1 6 ) 】( 式2 1 ) 相应的i d c t 变换公式为 f ( x ，y ) = l 4 c ) c ( v ) f ( “，v ) c o s 防( 2 x + 1 ) “1 6 】c o s 防( 2 y + 1 ) v 1 6 】( 式2 2 ) 其中 “，v ，膏，y = 0 , 1 2 7 ，x ，y 为象素域的空间坐标，z f ，v 为变换域的坐标。 另外，由于d c t 的变换核是二维可分离的，所以在工程领域中经常采用两个 一维d c t 来实现二维d c t 的功能。通常的做法是：先对输入矩阵做行方向的一 维d c t 运算，然后再对中间结果矩阵作列方向的一维d c t 运算并得到最后的结 果。一维离散余弦变换的表达式为： 雕) = 届) c o s 【号笋】扣l j 2 ，3 肛- y 叼- - - 坍n 篙x ( n ) ( 式2 3 ) 一维离散余弦反变换的表达式为： 小，= 等+ 薜y ( k ) c o s 一( 2 n + 1 ) k n ，n - o ：，c 枷 二维离散余弦变换不仅具有能量集中的特性，而且所有运算均为实数运算， 因此在工程领域中比较实用。当然，d c t 算法的复杂度也是个需要解决的问题， 在实际应用中多采用快速算法f d c t 来实现。f d c t 算法又分为定点制和浮点制 的、二维可分离的和直接二维运算等多种。具体选择何种快速算法，则根据用户 的硬件条件、运算速度的要求以及对变换精度的要求等因素来综合考虑。 2 2 4 运动矢量和d c t 系数的变长编码 h 2 6 3 中对运动矢量采用二维差分预测和可变长编码( v l c ) 相结合的方法编 码。在缺省模式下，每个宏块有一个运动矢量( 在先进预测模式下每个宏块有4 个 运动矢量) ，如图3 a 所示，该矢量( m v ) 的预测值来自于左面矢量( m v t ) ，上面矢量 ( m v 2 ) ，上右矢量( m v 3 ) 三个运动矢量的中值。如果相应矢量落在图像或块组外， 按以下顺序确定相应矢量： i 0h 2 6 3 祝频编码系统韵研究与实现 ( 1 ) 若相应宏块为帧内编码或未编码，相应运动矢量设为0 a ( 2 ) 若与矢量m v l 相对应的宏块在图像外，则m v i = 0 ，如图3 b ( m q a 虚线表示 图像或块组的边缘，下同) 。 ( 3 ) 若矢量m v 2 和m v 3 的相对应的宏块在图像外或块组外，则 m v 2 = m v 3 = m v l ，如图3 c 。 ( 4 ) 若矢量m v 3 相对应的宏块在图像外，则m v 3 = o ，如图3 d 。 眦m v 3 m v lm v ( a ) m v lm v l m v lm v m v 2m v 3 ( 0 ，0 ) m v 畸 m 、2 ( 0 ，0 ) m v lm v b 图3m v 的预测 待编码矢量的预测值取以上三个矢量的中值， 设x ，y 方向上的预测值分别为 只，只，即 r = m e d i a n ( m v l 。，m v 2 。，m v 3 。)( 式2 5 ) p 、= m e d i a n ( m v l ，m v 2 ，m v 3 ，)( 式2 6 ) 贝0 m v d 。= m v 。一p ：，m v d ，= m v y p ，( 式2 7 ) 其中m v d x 和m v d 。就是要进行v l c 编码的已知矢量与预测值的差值。 对于d c t 系数的编码，先将8 x 8 块的6 4 个d c t 交流系数按照z 形的顺序展 开成一维系数序列，对此系数序列再进行扫描，每遇到一个不为0 的系数，就定 义为出现了一个“事件”，该事件由( l a s t ，r u n ，l e v e l ) _ 三部分组成，其中l a s t 代表序列中是否还有非零值( 0 表示有，1 表示无) ，r u n 代表待编码的非零系数前 的连零个数，l e v e l 代表待编码的非零系数值。如系数序列1 6 0 ，3 4 ，3 ，0 ，0 ，0 ，0 ，0 ， 0 ，0 ，0 ，0 ，0 ，4 形成如下事件：( 0 , 0 ，1 6 0 ) ，( 0 , 0 ，3 4 ) ，( 0 , 0 ，一3 ) ，( 0 ，1 0 ，4 ) ，。将最普遍发 生的( l a s t ，r u n ，l e v e l ) 组合。称为常见事件，用变长的二维h a f f m a n 行程码编 码，而剩余事件都用2 2 位的定长码编码。 第二章h 2 6 3 标准及其编码系统的硬件实现结构 i 2 2 5 图像的分层和码流结构 h 2 6 3 标准中规定了四层图像结构以及相应的四层码流结构，与 l 2 6 1 标准的 四层结构相比，其数据结构增加了不少新内容。它除了在编码过程中提供可靠的 数据结构外，还保证在采用可选模式工作时的编解码能顺利进行。 我们知道，在h 2 6 3 中可以采用多种图像格式，但q c i f 格式最为常见，q c i f 格式的每一帧都具有相同的结构，亮度信号y 的有效取样点为1 7 6 点，行和1 4 4 行 做，将这些取样点按几何位置分为9 个块组( o o b ) ，每个g o b 包括1 1 个宏块( m b ) 。 其顺序编号如图4 所示。每个m b 中又含6 个块( b ) 。即4 个亮度块和2 个色度块。 块是由8 行8 列象素组成的方阵，是最基本的编码单位。 图像帧( p ) 图4h 2 6 3 中对图像的分层描述 对应于图像的四层描述，h 2 6 3 的码流结构划分为四个层次，如图5 所示。 h 2 6 3 的视频编码就是按照上述的层次结构进行编排和传输的，它的最大编码 单位是图像层( p ) ，即“帧”。 帧头帧参数g o b 数据 山。一，一一- 一_ 一“”一 ： g o b 头g o b 参数m b 数据 - | 一一 ， m b 头m b 参数b 数据 ，”， 直流系数变换系数 图5h 2 6 3 码流的分层码流结构 2 2 6 四项可选编码技术 要想在低码率的条件下取得好的图像效果，除了h 2 6 3 基本的混合编码以外， 还有四种有效的压缩编码方法可以选用。在9 8 年发布的最新版本h 2 6 3 标准中， 可选项增加到十几项，这些先进的编码技术是h 2 6 3 显著区别于h 2 6 1 的地方。 也就是说，这些技术的采用，可以保证在极低鳆码率上取得比h 2 6 】编码器好的 h 2 6 3 视频编码系统的研究与实现 多的图像质量。 2 2 6 1 非限制的运动矢量( u m v ) 模式 在一般的情况下，运动矢量的范围都限制在已编码的参考帧内。而在非限制 运动矢量模式中，取消了上述限制，运动矢量允许指向图像以外。当某一运动矢 量所指的参考象素位于编码图像之外时，就用边缘的图像值来替代“这个不存在 的象素”。这个边缘象素就是运动矢量所指的编码图像区域内的最靠边的一个象 素。这一过程是分别对两个运动矢量的分量进行的。这种方法对改进边缘有运动 物体的图像质量很有效，特别是对较小的图像格式更是如此。例如在q c i f 格式时， 全帧9 9 个宏块中，处于四周边界的宏块有3 6 块，超过总数的3 6 。这种方式对 摄像机运动时所采集的运动图像质量的改进也有一定的效果。 同时，在非限制的运动模式下还可以提供更大范围的运动矢量。在一般方式 下，h 2 6 3 中用到的运动矢量的水平和垂直分量的值都限制在 - 1 6 ，1 5 5 】区域内，而 在这个选项中，矢量分量的最大范围扩展到 3 1 5 ，3 1 5 】。 2 2 6 2 基于句法( s y n t a x ) 的算术编码( s a c ) 模式 在h 2 6 3 和m p e g 等一些图像压缩编码方法中，对于经过变换，量化及运动 估计等所得到的一些符号、参数都要采用变长编码( v l c ) ，即将某个符号使用基于 编码句法所规定的码表来编成一个码字。如哈夫曼编码，这个码表主要存储v l c 码字的游程长度和电平值。每个待编码的符号通过查表过程和表中的每一栏去匹 配，查到的二进制码字再经缓冲存储器发送到接收端。在变长解码( v l d ) 过程中， 接收到的比特流也在同样的基于编码器句法的表格中逐条对照。找到相应的栏目， 就可以得到和输入比特流相应的符号，并且可以由它去重建视频图像。这样的 v l c v l d 过程意味着每个符号必须被编成固定的整比特数。取消每个符号的固定 的整比特数编码可引起比特率的下降，这可以由算术编码的方法实现。这就是 h 2 6 3 中基于句法的算术编码模式( s a c ：s y n t a x b a s e d a r i t h m e t i cc o d i n g ) 。在这种 模式中，所有相应的变长编码，解码过程都用算术编码、解码的方法来替代。采 用这种工作模式，在相同的重建图像质量的前提下，将会显著地降低所需的码率。 用算术编码去替代哈夫曼编码，可以提高编码效率。当然，算术编码实现的复杂 度也较哈夫曼编码高。 2 2 6 1 3 先进预测模式 它包括两方面的内容：一方面，它允许将一个宏块分成4 个块分别进行运动 估计，使运动估计更为精确。它对图像中的某些宏块使用四个运动矢量，每个8 8 块都有一个运动矢量，用它们来代替原来的一个1 6 1 6 宏块的运动矢量，到底使 用哪种运动矢量由编码器决定。虽然四个块运动矢量所用的比特数较多，但能给 第二章h 2 6 3 标准及其编码系统的硬件实现结构 1 3 出比较好的预测精度。另一方面，它用块重叠的运动估计补偿技术，减轻方块效 应。在这种模式中，对p 帧的亮度部分采用交叠运动补偿( o b m c ) 的方法，即某一 8 8 块的运动矢量不仅由本块的运动矢量，而且还由周围的运动矢量共同决定。由 于采用了o b m c 的运动补偿，从而减小了方块效应。总的说，这种模式的使用， 图像质量的改进比较明显。 2 2 6 4 p b 帧模式( p b f r a m em o d e ) 在h 2 6 3 中，增设了一种编码模式_ p b 帧模式。一个p b 帧单元由两帧组成， 如图6 所示。p b 帧的名称是从m p e g 标准那里借来的。在m p e g 中，图像分为 三类：i 帧，即帧内编码的帧；p 帧，即前向预测编码的帧；b 帧，即双向预测编 码的帧。因此，p b 帧中的p 帧，是由前一个p 帧( 左面) 预测得到的：p b 帧中的b 帧，是由前一个p 帧和本p b 帧单元中的p 帧( 右边) 双向预测而得。p b 帧中，p 帧 运动矢量的估计和一般的p 帧一样，没有什么特别之处：不同的是b 帧的运动矢 量的估计。b 帧的预测需要两个方向运动矢量，即前向运动矢量和后向运动矢量。 然后比较分别用前向运动矢量、后向运动矢量、前后向运动矢量的平均进行运动 补偿所得的3 项预测误差，取其最小者作为b 帧的预测误差进行编码。 p b 帧 一一、 图6p b 帧模式 由于在p b 帧模式中，引入b 帧可以增加重建图像的帧频，克服因亚抽样而带 来的不利影响。而且由于b 帧不作为后续图像的预测参考，利用视觉掩盖效应， 可进行较粗的量化，达到进一步降低码率的目标。 以上四种新的编码方式的选项可以同时使用，也可以分别使用。最近，修改 后的h 2 6 3 ，( 称h 2 6 3 v 2 或h 2 6 3 + ) ，又增加了十多个选项，供进一步提高图像质量 和抗差错性能而选用。 2 3 基于硬件实现的h 2 6 3 视频编码系统 2 3 1 系统的性能指标 基于h 2 6 3 标准，我们提出了一个视频图像压缩编解码系统的硬件结构。该 系统主要性能指标如下： 4h 2 6 3 视频编码系统的研究与实现 1 视频输入为标准p a l 制彩色全电视信号。 2 数字化后的图像为c i f 格式，图像分辨率为3 5 2 x 2 8 8 。 3 系统压缩比1 0 0 倍，图像峰值信噪比p s n r 3 5 d b 。 4 输出帧率为2 5 帧，秒。 5 运动补偿精度为整点象素，运动矢量范围为 - 1 6 ，+ 1 5 5 1 。 2 3 2 系统结构和功能描述 系统框图如图7 所示。我们主要采用x i l i n x 公司的现场可编程门阵列( f p g a ) 来完成h 2 6 3 系统编码器的设计。 图7 基于硬件实现的h 2 6 3 系统框图 h 2 6 3 视频编码系统各部分功能描述如下： 1 视频d 模块 视频输入为从摄像头输入的p a l 制彩色全电视信号，该模块完成视频的模拟 数字变换，输出象素数据并存储到r a m 中。同时，还产生各种同步和控制信号： 如场同步，行同步，场消隐等，以便控制d c t 模块和运动估计模块的协同工作。 我们采用p h i l i p s 公司的s a a 7 1 1 4 对输入的彩色全电视信号进行a d 变换。 s a a 7 1t 4 工作在c c i r 6 0 1 模式，系统上电时由系统控制模块对s a a 7 1 1 4 初始化， 以配置其工作状态。系统正常工作时，s a a 7 1 1 4 的输出速率为5 0 场，秒。奇偶场 数据熄被地址产生器合并为一帧c i f 格式的图像数据，并存放到r a m 中。这样， 系统处理的速率为2 5 帧，秒。 2 存储器模块 存储器模块由三个r a m 构成，r a m 0 ，r a m l ，r a m 2 。分别存储当前正在 进行a d 变换的图像帧，当前正在进行编码的图像帧，以及上一帧的重建图像， 由系统控制模块控制，分别