（通信与信息系统专业论文）基于h263的视频编码系统硬件设计与实现.pdf

摘要 f 随着计算机技术和通信技术的迅速发展，数字视频在信息社会中发挥者越来 越重要的作用。而高速数字信号处理器( d s p ) * j 超大规模集成电路技术( v l s i ) 的发 展使实时的视频压缩和传输成为可能。j 本文介绍了作者在视频压缩编码及其硬件实现方面的研究，研究了r r u t h 2 6 3 建议的视频编码标准，并在该建议的基础上提出了一种基于硬件实现的视频 编码器结构，对于离散余弦变换( d c t ) 反变换( i d c t ) 、运动估值等关键技术做了 深入研究，并在此基础上提出了d c t i d c t 和运动估值的硬件实现方案。 作者的主要研究成果包括：首先，研究了d c t f l d c t 的计算精度、运算复杂 度和硬件资源之间的关系，提出了一种基于行列分离和分布式计算a ) 的 d c t i d c t 实现方案，通过数据流优化，提升了系统的处理能力。其次，研究了各 种运动估值算法的运算复杂度和匹配效果，提出了一种分层准全搜索的运动估值 方案，在基本保证匹配效果的前提下，大大减少了运算复杂度。最后，用现场可 编程门阵歹i j ( f p g a ) 实现了以上方案。 关键字：视频编码h 2 6 3d c t ，i d c t运动估值f p g a 、。( l，l i 。 a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n t i nt h ea r e ao f c o m p u t e rt e c h n o l o g y a n d c o m m u n i c a t i o nt e c h n o l o g y , d i g i t a lv i d e op l a y sam o r ea n dm o r ei m p o r t a n tr o l ei n i n f o r m a t i o ns o c i e t y w h i l et h ed e v e l o p m e n to f h i g h s p e e dd i g i t a ls i g n a lp r o c e s s o ra n d v e r yl a r g es c a l ei n t e g r a t ec i r c u i t ( v l s i ) m a k e sr e a l - t i m ev i d e oc o m p r e s s i o na n d t r a n s p o r t a t i o np o s s i b l e t h i sd i s s e r t a t i o n p r e s e n t s t h e s t u d yo fs e v e r a l i s s u e si nv i d e oc o d i n ga n di t s h a r d w a r ei m p l e m e n t a t i o n an o v e lh a r d w a r e - b a s e dv i d e oc o d i n gs y s t e mi s p r o p o s e d b a s e do nt h e1 t u - th 2 6 3r e c o m m e n d a t i o n s o m ek e yt e c h n i q u e ss u c ha sd i s c r e t e c o s i n et r a n s f o r m ( d c t ) a n di t si n v e r s e ( i d c t ) a n dm o t i o ne s t i m a t i o na r es t u d i e di n d e t a i l t h em a i nc o n t r i b u t i o no ft h i sd i s s e r t a t i o ni n c l u d e st h r e e a s p e c t s f i r s t l y , t h e r e l a t i o nb e t w e e nt h ec o m p u t a t i o np r e c i s i o na n dc o m p l e x i t yo fd c t i d c ta n dt h e i r r e s o u r c er e q u i r e m e n t si s s t u d i e d ，as c h e m ef o rd c t f l d c ti m p l e m e n t a t i o nb a s e do i l r o w - c o l u m nd e c o m p o s i t i o na n dd i s t r i b u t e da r i t h m e t i c ( d a ) i sp r o p o s e d a n dt h e i r p e r f o r m a n c e i se n h a n c e db yo p t i m i z i n gt h ed a t af l o wp a t h s e c o n d l y , t h ep e r f o r m a n c e a n dc o m p u t a t i o nc o m p l e x i t yo fv a r i o u sk i n d so fm o t i o ne s t i m a t i o na l g o r i t h m sa r e a n a l y z e da n de v a l u a t e d a k i n do fh i e r a c h i c a lq u a s if u l ls e a r c hs c h e m ei sp r o p o s e d i t s c o m p u t a t i o nc o m p l e x i t yi sg r e a t l yr e d u c e dc o m p a r e dw i t hf i f l l s e a r c hw h i l ei t sm a t c h e f f e c ti ss t i l ls a r i s f y i n g f i n a l l nt h e s et w os c h e m e sa r ei m p l e m e n t e dw i t l lf p g a k e y w o r d s ：v i d e o c o d i n g h 2 6 3d c t i d c tm o t i o ne s t i m a t i o nf p g a 第一章绪论 第一章绪论 1 1 图像压缩编码技术的发展历史与现状 在许多工程应用领域，都会遇到需要对大量图像数据进行传输与存储的问题。 例如，在传输方面：数字电视、遥感照片、由雷达、飞机等提供的军事侦察图像、 可视电话、会议电视和传真照片等；在存储方面：教育、商业、管理等领域的图 文资料、c t 机、x 射线机等设备的医用图像、天气云图等等，几乎涉及各个行业。 为了利用有限的存储容量存储更多的图片，或者为了最短的时间传递尽可能多的 图片，或者为了在有限的带宽条件下传输尽可能多的活动图像，就要研究怎样才 能最大限度的压缩图像数据，并且保证压缩后的重建图像能够被用户所接受，这 就是图像编码所要解决的问题。 1 9 4 8 年提出电视信号数字化后，就开始了对图像压缩编码技术的研究工作， 至今已有5 0 多年的历史。5 0 和6 0 年代，限于客观条件，仅对帧内预测法和亚取 样内插复原法进行研究。1 9 6 6 年j b o q q e a l 对比分析了d p c m 与p c m 并提出了 用于电视的试验数据。1 9 6 9 年进行了线性预测编码的实际试验。1 9 6 9 年举行首届 图像编码会议( p i c t u r ec o d i n gs y m p o s i u m l 。7 0 年代开始进行帧间预测编码的研究。 8 0 年代开始对运动补偿( m c ) 所用的运动估值( m e ) 算法进行研究。变换编码是 1 9 6 8 年h c a n d r e w s 等人提出的，采用的是二维离散傅里叶变换。此后相继出现 了其他的变换编码方法，其中包括二维d c t 。对模型编码的研究始于8 0 年代初。 进入9 0 年代以后，i t u t 和i s o 制定了一系列图像编码国际标准。如： 1 1 9 9 0 年为会议电视和可视电话制定的h 2 6 1 标准。 2 1 9 9 1 年为静止图像编码制定的j p e g 标准。 3 1 9 9 1 年为电视数字图像存储而制定的m p e g 1 标准。 4 1 9 9 3 年为活动图像及其伴音压缩而制定的通用编码国际标准m p e g - 2 。 5 1 9 9 4 美国“大联盟”公布数字h d t v 系统的说明书草案。美国“先进电 视系统委员会”拟定“数字电视标准”。 6 1 9 9 6 年i t u t 为甚低码率视频编码而制定的h 2 6 3 标准。 7 1 9 9 8 年i t u t 拟定h 2 6 3v e r s i o n 2 草案，即h 2 6 3 + 。 8 1 9 9 8 年拟定m p e g 一4 草案，首次在编码中引入了视频对象( v i s u a lo b j e c t ) 和基于内容编码的概念。 这些标准的制定极大地推动了图像编码技术的实用化和产业化。会议电视等 各类使用图像编码技术的产品纷纷推出，数字激光唱盘( v c d ) 等产品以百万台的数 2 基于h 2 6 3 的视频编码系统硬件设计与实现 量级走向市场，进入家庭，从而迎来了数字图像通信的黄金时代。 另一方面，图像编码技术产业化进程的加快也推动了图像编码技术以更快的 速度发展。目前的研究工作主要分为两个方向： 1 更好地实现现有的图像编码国际标准 研制出集成度更高、性能更好的图像编码专用芯片( a s i c ) ，使编码系统成本 更低，可靠性更高。几个国际标准的单片( 或两片) 系统级解码a s i c 均已推出，其 中包括对运算速度要求很高的m p e g 2 解码芯片。不久还将推出要求更高的h d t v 的单片视频解码芯片。符合m p e g 2 标准的单片或多片视频编码a s i c 也已推出。 解决好现有的图像编码系统开发中的技术问题。例如：提高图像质量，提高 抗误码能力。在a t m 网等变速信道上的应用等。如果拿现在生产的符合m p e g 1 的v c d 图像质量和几年前m p e g 1 刚制定时的v c d 图像质量相比，就可以看到 虽然用的是同一个国际标准和同样的数码率( 1 5 m b p s ) ，但图像质量大大提高了。 这就是近几年来对m p e g - i 编码器具体实现算法作深入研究的成果。国际标准的 开放性结构为这种深入的改进提供了前提，它允许人们在不影响兼容性的前提下 发挥自己的创造性，对标准中的开放部分进行改进。这些开放性部分包括运动估 值和运动补偿方法，自适应量化系数和缓存器控制策略等。在国际标准规定的约 束下，对这部分算法作更合理的细化有助于提高编解码器的性能。如：复原图像 质量，提高抗误码能力等。 2 对图像编码理论和其他图像编码方法的研究 t 目前已提出和正在进行研究的图像编码方法有以下几种： 多分辨率编码。最早提出的是金字塔编码，后来是子带编码，最近是用 小波变换进行图像编码。 基于表面描述的编码方法( 三角形遥近法) 。 模型编码。它可分为物体模型未知的物体基编码和物体模型已知的语义 基编码。 利用人工神经网编码。 利用分形几何的图像编码( i s f 编码) 。 利用数学形态学的图像编码等。 1 2 图像压缩编码技术的应用 图像编码一系列国际标准的提出标志着图像编码技术已经成熟，开始由学术 研究转为产业化，前景十分诱人。早在1 9 9 1 年就有人预言，图像编码技术的突破 ：l 具有十分巨大的意义。其意义之大已到可以促使现有信息产业的结构发生巨变的 程度，它使通信，广播，计算机产业的界限变得模糊了。近几年来的实践也证实 第一章绪论 了这个预言。目前，国外已出现了有线电视公司和通信，计算机公司之间的相互 合作，如：美国最大的有线电视公司和软件公司合作开发交互式电视等。 图像编码技术对数字电视的发展起着至关重要的作用。数字电视具有图像质 量高、频谱利用率高、可以实现多种业务的动态组合和统计复用、易于加密、具 有可扩展性、可分组性和互操作性、可以灵活组成交互式电视系统等优点。这些 优点是模拟电视所无法比拟的。可以断言，下一代电视必定是数字电视。但是数 字电视受到数据量庞大的约束，所以近几年来图像编码研究主要集中在视频压缩 上，以改进数字电视的性能，从而促使各等级的数字电视的成功实现，扩大其应 用领域。这从今年来制定的图像编码国际标准中视频压缩编码和静止图像编码国 际标准的数量比例中即可窥见一斑。以分辨率为基础，数字电视可分为四个等级： 可视电话、会议电视、数字标准清晰度电视和高清晰度电视( h d t v ) 。 图像编码技术在其它方面同样有很多应用，如： 1 电视计算机( r e l e c o m p u t e r ) 。它是介于电视与计算机之间的应用。它将个人 计算机和电视融为一体，构成一个多媒体工作站。 2 多媒体出版物，包括电子图书，电子报干0 等。 3 各种图像信息系统，如指纹库，遥感图像数据库等。 图像压缩技术已经为开创新的应用领域提供了良好的技术基础。如m p e g 4 专家组为m p e g - 4 制定的功能目标指出，m p e g 4 的目标不仅是改进的可视电话， 而且应该满足广播，通信，计算机领域相互渗透的要求，以交互性高压缩比以 及多种存储与通信信道相连为特色，从而构成现有的国际标准不支持的，全新的 视听应用标准。总之，图像压缩技术为开拓全新的应用领域打下了坚实的基础。 1 3 现有的视频编码标准及其介绍 自8 0 年代以来，由于数字存储媒体、电视传播及通信等应用中对运动图像编 码方法的需求日益增长，i t u ，i s o 等国际组织都成立了专门的机构，致力于制订 运动图像压缩编码的国际标准。到目前为止，已经开发和正在开发的运动图像压 缩标准有：h 2 6 1 、h 2 6 3 、m p e g _ l 、m p e g 一2 、m p e g 4 、m p e g 7 和m p e g - 2 1 。 下面对这些标准分别做一简单介绍。 c c i t t ( g p 后来的i t u ) 第1 5 研究组于1 9 8 4 年成立了“可视电话专家组”，经 过1 9 8 5 1 9 8 8 三年的研究，提出了视频编解码器的的h 2 6 1 建议草案，以覆盖i s d n 基群信道，满足会议电视和可视电话业务日益发展的需要。1 9 9 0 年7 月通过了该 建议，定名为“p 6 4 k b p s 视听业务的视频编码器”，其中p = l 3 仉为了满足近 年柬在普通公用电话网或移动电晤网上进行可视电话通信的需要，即视频压缩率 低于6 4 k b p s ，在诸如2 8 8 k b p s 等速率的信道上进行可视电话通信，i t u t 在h 2 6 1 基于h 2 6 3 的视频编码系统硬件设计与实现 建议基础上进行了改进，于1 9 9 5 年提出了h 2 6 3 建议甚低码率通信的视频编码”。 m p e g 一1 制定于1 9 9 2 年，可适用于不同带宽的设备，如c d r o m 、v i d e oc d 。 他的目的是把2 2 1 m b p s 的n t s c 图像压缩到1 2 m b p s ，压缩率为2 0 0 ：1 。传输速率 为1 5 m b p s ，编码速率最高可达4 - - 5 m b p s ，但随着速率的提高，其解码后的图象 质量有所降低。m p e g 一1 主要是针对数字存储媒体，但它也被用于数字电话网络上 的视频传输，如非对称数字用户线路( a d s l ) ，视频点播和教育网路等。 m p e g 一2 制定于1 9 9 4 年，设计目标是高级工业标准的图象质量以及更高的传 输率。它所提供的传输速率在3 m 1 0 m b p s 。m p e g 2 技术就是实现d v d 的标准技 术，现在d v d 播放器已经在家庭中普及起来了，除了用于d v d 外，还可以为广 播、有线电视网、电缆网络以及卫星直播提供广播级的数字视频。 m p e g 4 旨在将众多的多媒体应用集于一个完整的框架内，为不同性质的视 频、音频数据制定通用的编码方案，提出基于内容( c o n t e n t b a s e d ) 的视频对象 ( v i d e oo b j e c t ) 的编码标准。它不仅针对一定比特率下( 4 8 0 0 - - 6 4 0 0 b p s ) 的视频、 音频编码，更加注重于多媒体系统的交互性和灵活性。为了达到这个目标，m p e g - - 4 引入了对象基表达( o b j e c t - b a s e dr e p r e s e n t a t i o n ) 的概念，用来表达视听对象 ( a u d i o v i s u a lo b j e c t s ，a v o ) ；m p e g - 4 扩充了编码的数据类型，由自然数据对象扩 展到计算机生成的合成数据对象，采用合成对象自然对象混合编码 ( s y n t h e t i c n a t u r a lh y b r i dc o d i n g ，s n h c ) 算法；基于内容的压缩编码是m p e g 研 究的热点。m p e g 一4 的编码系统是开放的，为各种多媒体应用提供一个灵活的框架 和一套开放的编码工具，不同的应用可选取不同的算法。 m p e g 7 的工作于19 9 6 年启动，名称叫做多媒体内容描述接i ( m u l t i m e d i a c o n t e n t d e s c r i p t i o ni n t e r f a c e l 目的是制定一套描述符标准，用来描述各种类型的 多媒体信息及它们之间的关系，以便更快更有效地检索信息。这些媒体材料可包 括静态图像、图形、3 d 模型、声音、话音、电视以及在多媒体演示中它们之间的 组合关系。m p e g 7 的应用领域包括：数字图书馆i g i t a ll i b r a r y ) ，例如图像目录、 音乐词典等；广播媒体的选择，例如无线电频道，t v 频道等；多媒体编辑，例如 个人电子新闻服务，多媒体创作等等。 1 4 论文内容及作者所完成的工作 本文简要介绍了视频压缩编码的原理和基本的压缩方法，并在此基础上重点 研究了h 2 6 3 视频压缩编码的标准，提出了一种基于硬件的实现方案。对于h 2 6 3 中的d c t f l d c t ，运动估值的算法进行了深入研究，提出了基于行列分解和分布式 计算( d i s t r i b u t e da r i t h m e t i c ) 的- - 维d c t i d c t 硬件实现方案和一种分层准全搜索 的运动估计算法及其硬件方案，并用现场可编程门阵列f p g a 实现了上述方案。 第一章绪论 本文作者参与了整个系统方案的论证和设计，着重负责了d c t i d c t 模块和 运动估计模块的硬件实现方案的讨论和确定，并完成了d c t 1 d c t 、量化反量化 和运动补偿部分的硬件设计和调试。 论文章节安排如下： 第一章绪论对图像压缩编码技术发展的历史和现状作了简单的回顾，对图像 压缩编码方法在实际中的应用和现行的图像压缩编码标准作了简要的介绍，并介 绍了作者的主要工作。 第二章介绍了h 2 6 3 视频编码的国际标准，详细介绍了h 2 6 3 的各个组成部 分和其相应的实现，根据其结构提出了基于硬件实现的h 2 6 3 视频编码系统方案， 并详细说明了各个组成部分的功能。 第三章详细介绍了d c t 和i d c t 的变换算法，研究了d c t i d c t 计算精度与 其硬件实现复杂度的关系，提出了一种基于行列分离和分布式计算( d a ) 的硬件实 现方案，并详细介绍了其硬件实现的细节。 第四章介绍了运动估值的方法，提出了一种分层准全搜索的算法及其硬件实 现方案，详细研究了该算法实现中数据流的设计和并行处理机制。 基于h 2 6 3 的视频编码系统硬件设计与实现 第二章h 2 6 3 建议及其编码系统的硬件实现结构 2 1h 2 6 3 建议简介 随着通信技术的发展通信的带宽不断增加，多媒体业务在通信中的比重也 越来越大。但同时人们还是希望在现有成熟的，廉价的，分布最广的公用交换电 话网( p s l n ) 以及无线网中，实现实时的视频通信，而它们的传输带宽对数字视频 通信提出了严峻的挑战。因此人们更关注如何在低比特率下进行视频压缩编码的 问题。1 9 9 0 年，i t u - t 制定了 l 2 6 1 建议，适合于窄带i s d n 速率( p x 6 4 k b p s ) 的图 像编码，它可应用于会议电视，可视电话等。但是，对于更低的传输速率场合， 例如人们用的最普遍的电话线，或者移动通信信道( 这是多媒体可视电话今后发展 的一个广阔领域1 ，h 2 6 1 标准的视频质量往往难以令人满意。1 9 9 6 年3 月制定的 h 2 6 3 标准就是为这一目标制定的。它是在h 2 6 1 建议的基础上做了一些重要的改 进，使得编码图像质量获得很大提高。目前h 2 6 3 及相关的多媒体终端h 3 2 4 已 经广泛用于p s t n 中的可视电话和会议电视上。 与h 2 6 1 相同，h 2 6 3 仍然以运动估计补偿和d c t 变换混合编码为核心，其 原理，码流结构与h 2 6 1 相似，原始视频数据分为图像层、块组层、宏块层、块 层四层；另一方面h 2 6 3 也吸收了m p e g 等其它一些国际标准中有效合理的部分， 如：半象素精度的运动估计，p b 帧预测等。h 2 6 3 共有i 帧，p 帧，p b 帧三种帧 模式和帧内编码( i n t r a ) 、帧间编码( i n t e r ) 两种编码模式。另外为了进一步提 高编码效率h 2 6 3 提供了四种可选的编码算法，分别为无约束运动矢量算法，基 于句法结构的算术编码，先进预测模式和p b 帧模式。 图2 1 为h 2 6 3 标准中视频编码器的框图。输入的数字视频信号或者经过帧间 预测，或者直接送到变换单元( t ) 。在变换单元中，对8 8 的数据块( 象素或预测 误差1 进行二维d c t 变换，变换后的系数大多集中在变换系数矩阵的左上角( 低频 部分) ，然后再对这些系数进行量化。量化器( q ) 的量化步长的改变受控于编码控制 器( c c ) 。量化器的输出除了作为源编码器输出虬外，还经反量化( q 。1 ) 和反变换( r “) 以后送至运动补偿( 图中的加法器) ，运动补偿后的预测值再与当前输入的视频信号 相减得到帧间预测值。从图中可以看出h 2 6 3 编码器除了送出量化后的交换系数( q ) 以外，还包括一系列的附加信息( 如p ，t ，q z ，v ) ，以供解码器使用。量化后的系数经 过变长编码，再和附加信息按照规定的视频码流结构进行复合，形成统一的复合 视频数据流。图中的两个切换开关分别表示系统工作在帧( i n t r a ) 帧间( i n t e r ) 模式。 第二章h 2 6 3 建议及其硬件编码系统的实现结构 簸 图2 1h 2 6 3 编码系统框图 2 2h 2 6 3 视频编码的内容及相关知识 税频 嚣器复台 一、支持的图像格式 目前世界上存在多种彩色电视制式，难以统一。为此，c c i t t 规定了一种“公 共中间格式”c i f ( 亮度分辨率为3 5 2 2 8 8 ，两个色差分量c 。，c 。的分辨率为 1 7 6 1 4 4 ) ，编解码器对基于c i f 格式的图像进行编解码。至于输入制式与c i f ，c i f 与输出制式之间的转换，建议中不加规定。h 2 6 3 共有5 种标准化的图像格式： s u b q c i f ，q c i f ，c i f ，4 c i f ，1 6 c i f ，所有的解码器应当支持s u b q c i f 和q c i f ， 所有的编码器应当支持s u b q c i f 和q c i f 两者之一。表2 1 列出了h 2 6 3 建议不 同规格的图像尺寸。从中可以看出实际上h 2 6 3 建议的应用范围远远超出了低码 率图像编码的范围，1 6 c i f 已经是高清晰度电视的水平了。从最初的规划目标和应 用前景来看，h 2 6 3 主要是为低比特率声像系统中的图像压缩编码而制定的。但是 随着技术的发展，从最新颁布的h 2 6 3 标准( 1 9 9 8 年1 月) 的本身来看，并没有对该 压缩编码方法所需的传输速率进行明确的规定，这要根据具体应用环境和要求而 定。换言之，h 2 6 3 也完全适用于高速率的图像编码。总之，h 2 6 3 建议的编码方 法完全适用于h 2 6 1 ，应用范围比h 2 6 1 更为广泛，而且其性能比h 2 6 1 优越得多。 基于h 2 6 3 的视频编码系统硬件设计与实现 表2 1h 2 6 3 建议的图像格式 图像格式y 象素，行y 行数帧 ，c 。象素，行q ，c 。行数帧 s u b - q c l f 1 2 89 66 44 8 q c l f 1 7 61 4 48 87 2 c i f3 5 22 8 81 7 61 4 4 4 c l f7 0 45 7 63 5 22 8 8 1 6 c l f1 4 0 81 1 5 27 0 45 7 6 二、位移估值和运动补偿 采用帧间预测编码可以减少时间域上的冗余度，提高压缩比。如果将上一帧 相同空间位置处的像素值作为待编码的当前帧的预测值，这种预测对图像中的静 止背景部分将是很有效的。但是对于运动部分，这种不考虑物体运动的简单的帧 间预测效果并不好。如果有办法在对当前帧某像素( 或像素块) 进行预测时知道这个 像素( 或像素块) 是上一帧的某个位置移动过来的，在做预测时以那个位置上的像素 值作为预测值，则预测的准确性大为提高。我们把这个位置称为运动矢量，求运 动矢量的过程称为运动估值，利用运动估值进行预测编码的技术称为运动补偿。 运动估值技术主要分成两大类：象素递归法和块匹配法。块匹配法已成为目 前最常用的方法，在h 2 6 1 、m p e g 、h 2 6 3 等有关运动图像编码的国际标准中， 均采用了该方法。我们在第四章将详细介绍该方法及其硬件实现。 半象素精度的运动估计是h 2 6 3 的一个重要特征。半象素搜索是先用整数象 素的精度搜索得到整点的位移矢量，根据整点搜索的结果选择宏块的编码模式 ( i n t r a 或i n t e r ) ，如果宏块为i n t e r 模式，在整点位移矢量的上下左右8 点进 行双线性插值，再做运动估计。双线性插值的具体过程如图2 2 所示。 o co c + b o b + d o + 麓数象索位鼹 0 攀象索纯嚣 d + 图2 2h 2 6 3 中的双线性插值 其中d = 4 ，b = ( 爿+ b + 1 ) 1 2 c = ( 4 + c + 1 ) 2 ，d = ( a t - b + c + d + 2 ) 4 。 三、离散余弦变换与反变换回c t ，i d c t ) 图像信号在空间域一般具有较强的相关性，先将空问域图像经过某种正交变 换，在变换过程中，使图像变换系数能量相对集中，再对其变换系数，进行区域 第二章h 2 6 3 建议及其硬件编码系统的实现结构9 量化等，按其所含能量大小，分配以不同的数据量( 比特数) 去描述，这样就可以提 高压缩比。 按正交变换的形式，变换编码有傅立叶( f o u r i e r ) 变换、沃尔什一哈达玛变换 ( w a l s h h a d a r n a r d ) 变换，k l ( k a r h u n e n l o e v e ) 变换，离散余弦变换( d c t ) 等。其中 k l 变换去相关性最好，但实现晟困难。而离散余弦变换既接近于k - l 变换性能， 也容易实现，因此成为多媒体编码标准的基本算法。 l 2 6 3 中定义的d c t 和i d c t 变换是以块( 8 8 ) 为单位进行的，d c t 变换公式 定义如下： f ( u ，v ) = 1 4 c ( u ) c ( v ) f ( x ，y ) c o s 防( 2 x + 1 ) “，1 6 】c o s k ( 2 y + 1 ) v ，1 6 ) 】( 式2 1 ) 相应的i d c t 变换公式为 f ( x ，y ) = 1 4 ) - _ ：c ( u ) c ( v ) f ( u ，v ) c o s k ( 2 x + 1 ) “1 6 】c o s k ( 2 ，+ 1 ) v 1 6 】( 式2 2 ) 其中虬v ，薯j ，= 0 , 1 ，2 7 ，x ，y 为象素域的空间坐标，“，v 为变换域的坐标， c ( “) - 1 4 ：- 2 , l u = o 7 c f v l ：j 2 ，”o 。1 1 ，v = 1 , 2 ，3 7 另外，由于d c t 的变换核是二维可分离的，所以在工程领域中经常采用两个 一维d c t 来实现二维d c t 的功能。通常的做法是：先对输入矩阵做行方向的一 维d c t 运算。然后再对中间结果矩阵作列方向的一维d c t 运算并得到最后的结 果。一维离散余弦变换的表达式为： y ( t ) = 号善工( ”) c 。s 5 1 1 1 1 i ；竽 ，七= ，z ，一- “o ) 2 素善“砷 ( 式2 3 ) 一维离散余弦反变换的表达式为： 砌) = 等+ 后鼢) c o s 【里笔笋】n = 0 , 1 , 2 , - n - 1 ( 越4 ) 二维离散余弦变换不仅具有能量集中的特性，而且所有运算均为实数运算， 因此在工程领域中比较实用。当然，d c t 算法的复杂度也是个需要解决的问题， 在实际应用中多采用快速算法f d c t 来实现。f d c t 算法又分为定点制和浮点制 1 0基于h 2 6 3 的视频编码系统硬件设计与实现 的、二维可分离的和直接二维运算等多种。具体选择何种快速算法，则根据用户 的硬件条件、运算速度的要求以及对变换精度的要求等因素来综合考虑，在第三 章我们将详细讨论d c t ，i d c t 及其硬件实现。 四、运动矢量和d c t 系数的变长编码 h 2 6 3 中对运动矢量采用二维差分预测和可变长编码( v l c ) 相结合的方法编 码。在缺省模式下，每个宏块有一个运动矢j r ( 在先进预测模式下每个宏块有4 个 运动矢量) ，如图2 3 a 所示，该矢量( m v ) 的预测值来自于左面矢量( m v t ) ，上面矢 量( m y 2 ) ，上右矢量( m v 3 ) 三个运动矢量的中值。如果相应矢量落在图像或块组外， 按以下顺序确定相应矢量： ( 1 1 若相应宏块为帧内编码或未编码，相应运动矢量设为0 。 ( 2 ) 若与矢量m v l 相对应的宏块在图像外，则m v i = o ，如图2 3 b ( 图中虚线表 示图像或块组的边缘，下同) 。 ( 3 ) 若矢量m v 2 和m v 3 的相对应的宏块在图像外或块组外，则 m v 2 = m v 3 = m v l ，如图2 3 c 。 ( 4 ) 若矢量m v 3 相对应的宏块在图像外，则m v 3 = 0 ，如图2 3 d 。 m v 2m v 3 m v lm v f a ) m v lm v l m v lm v m v 2m v 3 ( o ，0 ) m v m v 2 ( o ，0 ) m v im v 图2 3 运动矢量预测 待编码矢量的预测值取以上三个矢量的中值，设x ，y 方向上的预测值分别为 只，只，即 只= m e d i a n ( m v l ，m v 2 。，m - v 3 ，)( 式2 5 ) 0 = m e d i a n ( m v l y , m v 2 y ，m v 3 ，) ( 式2 6 ) 第二章h 2 6 3 建议及其硬件编码系统的实现结构 则 m y d x = 埘：一只 m v d ，= m v y 一只 ( 式2 7 ) 其中2 1 4 v m x 和m v d 。就是要进行v l c 编码的已知矢量与预测值的差值。 对于d c t 系数的编码，先将8 8 块的6 4 个d c t 交流系数按照z 形的顺序展 开成一维系数序列，对此系数序列再进行扫描，每遇到一个不为0 的系数，就定 义为出现了一个“事件”，该事件由( l a s t ，r u n ，l e v e l ) 三部分组成，其中l a s t 代表序列中是否还有非零值( o 表示有，1 表示无) ，r u n 代表待编码的非零系数前 的连零个数，l e v e l 代表待编码的非零系数值。如系数序列1 6 0 ，3 4 ，3 ，0 ，0 ，0 0 ，0 ， 0 ，0 ，0 ，0 ，0 ，4 形成如下事件：( o ，0 ，1 6 0 ) ，( 0 ，0 ，3 4 ) ，( 0 ，0 ，- 3 ) ，( 0 ，1 0 ，4 ) ，。将最普遍发 生的( l a s t , r u n ，l e v e l ) 组合，称为常见事件，用变长的二维h a f f m a n 行程码编码， 而剩余事件都用2 2 位的定长码编码。 五、图像的分层和码流结构 h 2 6 3 建议中规定了四层图像结构以及相应的四层码流结构，与h 2 6 1 建议的 四层结构相比，其数据结构增加了不少新内容。它除了在编码过程中提供可靠的 数据结构外，还保证在采用可选模式工作时的编解码能顺利进行。 我们知道，在h 2 6 3 中可以采用多种图像格式，但q c i f 格式最为常见，q c l f 格式的每一帧都具有相同的结构，亮度信号y 的有效取样点为1 7 6 点彳亍和1 4 4 行 帧，将这些取样点按几何位置分为9 个块组( g o b ) ，每个g o b 包括11 个宏块( m b ) 。 其顺序编号如图2 3 所示。每个m b 中又含6 个块( b ) 。即4 个亮度块和2 个色度 块。块是由8 行8 列象素组成的方阵，是最基本的编码单位。 g o b l g o b 2 g o b 9 扛丑巫三三瑁 块组( m b ) 图像帧( p ) 图2 3h 2 6 3 中对图像的分层描述 对应于图像的四层描述，h 2 6 3 的码流结构划分为四个层次，如图2 4 所示： 图像层由帧头，帧参数和块组数据组成，图像头是一个2 2 比特的图像起 始码，帧参数包括诸如类型信息、视频格式、时间参数( 帧编号) 、量化步长、填充 比特等标志信息，例如在h 2 6 3 中是否采用可选项，在类型信息码中给出标志。 块组层由填充比特、块组头( 1 7 比特块组起始码) 、g o b 参数( 如块组编号、 基于h 2 6 3 的视频编码系统硬件设计与实现 匡亟正匈i ! 兰苎兰l 竺兰至竺 l 第二章h 2 6 3 建议及其硬件编码系统的实现结构 2 基于句法( s y n t a x ) 的算术编码( s a c ) 模式 在h 2 6 3 和m p e g 等一些图像压缩编码方法中，对于经过变换，量化及运动 估计等所得到的一些符号、参数都要采用变长编码( v l c ) ，即将某个符号使用基于 编码句法所规定的码表来编成一个码字。如哈夫曼编码，这个码表主要存储v l c 码字的游程长度和电平值。每个待编码的符号通过查表过程和表中的每一栏去匹 配，查到的二进制码字再经缓冲存储器发送到接收端。在变长解码( v l d ) 过程中， 接收到的比特流也在同样的基于编码器句法的表格中逐条对照。找到相应的栏目， 就可以得到和输入比特流相应的符号，并且可咀由它去重建视频图像。这样的 v l c 厂v l d 过程意味着每个符号必须被编成固定的整比特数。取消每个符号的固定 的整比特数编码可引起比特率的下降，这可以由算术编码的方法实现。这就是 h 2 6 3 中基于句法的算术编码模式( s a c ：s y n t a x b a s e d a r i t h m e t i cc o d i n g ) 。在这种 模式中，所有相应的变长编码，解码过程都用算术编码、解码的方法来替代。采 用这种工作模式，在相同的重建图像质量的前提下，将会显著地降低所需的码率。 用算术编码去替代哈夫曼编码，可以提高编码效率。当然，算术编码实现的复杂 度也较哈夫曼编码高。 3 先进预测模式 它包括两方面的内容：一方面，它允许将一个宏块分成4 个块分别进行运动 估计，使运动估计更为精确。它对图像中的某些宏块使用四个运动矢量，每个8 8 块都有一个运动矢量，用它们来代替原来的一个1 6 1 6 宏块的运动矢量，到底使 用哪种运动矢量由编码器决定。虽然四个块运动矢量所用的比特数较多，但能给 出比较好的预测精度。另一方面，它用块重叠的运动估计补偿技术，减轻方块效 应。在这种模式中，对p 帧的亮度部分采用交叠运动补偿( o b m c ) 的方法，即某一 8 8 块的运动矢量不仅由本块的运动矢量，而且还由周围的运动矢量共同决定。由 于采用了o b m c 的运动补偿，从而减小了方块效应。总的说，这种模式的使用， 图像质量的改进比较明显。 4 p b 帧模式( p b f l a n l em o d e ) 在h 2 6 3 中，增设了一种编码模式p b 帧模式。一个p b 帧单元由两帧组 成，如图2 5 所示。p b 帧的名称是从m p e g 标准那里借来的。在m p e g 中，图像 分为三类：l 帧，即帧内编码的帧；p 帧，即前向预测编码的帧；b 帧，即双向预 测编码的帧。因此，p b 帧中的p 帧，是由前一个p 帧( 左面) 预测得到的；p b 帧中 的b 帧，是由前一个p 帧和本p b 帧单元中的p 帧( 右边) 双向预测而得。p b 帧中， p 帧运动矢量的估计和一般的p 帧一样，没有什么特别之处；不同的是b 帧的运 动矢量的估计。b 帧的预测需要两个方向运动矢量，即前向运动矢量和后向运动矢 量。然后比较分别用前向运动矢量、后向运动矢量、前后向运动矢量的平均进行 运动补偿所得的3 项预测误差，取其最小者作为b 帧的预测误差进行编码。 1 4 基于h 2 6 3 的视频编码系统硬件设计与实现 p b 帧 图2 5p b 帧模式 由于在p b 帧模式中，引入b 帧可以增加重建图像的帧频，克服因亚抽样而带 来的不利影响。而且由于b 帧不作为后续图像的预测参考，利用视觉掩盖效应， 可进行较粗的量化，达到进一步降低码率的目标。 以上四种新的编码方式的选项可以同时使用，也可以分别使用。最近，修改 后的h 2 6 3 ，( 称h 2 6 3 v 2 或h 2 6 3 + ) ，又增加了十多个选项，供进一步提高图像质量 和抗差错性能而选用。 2 3 基于硬件实现的h 2 6 3 视频编码系统 一、系统的性能指标 基于h 2 6 3 标准，我们提出了一个视频图像压缩编解码系统的硬件结构。该 系统主要性能指标如下： 1 视频输入为标准p a l 制复合全电视信号。 2 数字化后的图像为c i f 格式，图像分辨率为3 5 2 2 8 8 。 3 系统压缩比1 0 0 倍，图像峰值信噪比p s n r 3 5 d b 。 4 输出帧率为2 5 帧秒。 5 运动补偿精度为半象素，运动矢量范围为 - 1 6 ，+ 1 5 5 1 。 二、系统结构和功能描述 系统框图如图2 6 所示。图中被虚线框住的部分的运算量占整个系统运算量的 8 0 以上，因此我们采用x i l i n x 公司的现场可编程门阵歹u ( f p g a ) 来完成这一部分 的设计。系统控制，熵编码，码流控制和复合部分运算量较小，但是算法流程复 杂难以用数字逻辑实现，因此我们用t e x a s i n s t r u m e n t s 公司的t m s 3 2 0 c 5 4 1 0 d s p 处理器实现。 第二章h 2 6 3 建议及其硬件编码系统的实现结构 1 5 图2 6 基于硬件实现的h 2 6 3 系统框图 h 2 6 3 视频编码系统各部分功能描述如下： 1 视频a d 模块 视频输入为从摄像头输入的p a l 制全电视信号，该模块完成视频的模拟数字 变换，输出象素数据并存储到r a m 中。同时，还产生各种同步和控制信号：如场 同步，行同步，场消隐等，以便控制d s p 和运动估计模块的协同工作。我们采用 p h i l i p s 公司的s a a 7 1 1 4 对输入的全电视信号进行a d 变换。s a a 7 1 1 4 工作在 c c i r 6 0 1 模式，系统上电时由d s p 模块对s a a 7 1 1 4 初始化，以配置其工作状态。 系统正常工作时，s a a 7 11 4 的输出速率为5 0 场，秒。奇偶场数据将被地址产生器 合并为一帧c i f 格式的图像数据，并存放到r a m 中。这样，系统处理的速率为 2 5 帧秒。 2 存储器模块 存储器模块由三个r a m 构成，r a m 0 ，r a m l ，r a m 2 。分别存储当前正在 进行a d 变换的图像帧，当前正在进行编码的图像帧，以及上一帧的重建图像， 由d s p 控制分别对三个存储体进行读写。分为两种模式：1 正常模式，此时d s p 控制对三个存储器读写，系统对每一帧输入图像都编码输出