（通信与信息系统专业论文）红外景象合成与mpeg2编码系统硬件设计与实现.pdf

摘要 本文分两部分。 第一部分介绍了红外景象合成器硬件系统的设计过程。本文在详细分析了原 有红外场景产生器的基础上，提出了一种采用可配置定时、控制单元模块来提高 硬件系统灵活性和适应性的方法。 i 变d 换a 槐鞭同步信号 同步信号 叠加 0 1 0 0 1 0 1 1 矧黼鹘一换剖数字矗 0 1 0 0 1 0 1 i t 0 叫羹塞h _ ! 盟坚二4 电平变换 定时、控制部分 图3 7 输出接口单元结构 模拟输出接口： 模拟输出接口可以将合成后的景象数据转换成标准的p a l 制视频信号输出。 d a 变换器( c a 3 3 1 8 ) 将数字景象数据转换成模拟信号。本系统采用了一片c a 3 3 3 8 来完成d a 变换。同步信号叠加部分根据定时和控制模块提供的定时信息在指定 的时刻将行、场等同步信号叠加到模拟信号中从而产生标准的p a l 制视频信号。 行、场等同步信号的叠加采用了一片m a x 4 3 1 3 视频开关来完成，同时m a x 4 3 1 3 也 用来完成模拟信号的输出驱动。m a x 4 3 1 3 的结构如图3 8 所示。d a 变换得到的视 频信号从i n 0 输入，i n l 接地电平，同步信号从a o 输入。当同步信号有效时( a o 为高) ，i n l 输入端被送到输出口，此时输出为地电平；当同步信号无效时( a 0 为低) ，i n 0 输入端被送到输出口此时输出为d a 变换后的模拟景象信号。由于 模拟景象信号始终比零电平高，所以通过这种方法可以方便的将同步信号叠加到 模拟景象信号中去。 第一篇第三章：硬件系统设计与实现 1 7 圈3 8m a x 4 3 1 3 结构图 数字输出接口： 数字输出分为串行输出和并行输出两种方式。 对于串行输出，输出帧结构如图3 9 所示 m 3 9 数字串行输出帧结构 1 ) 帧同步字：与场帧同步信号相对应，用来传送场帧同步信息。 接收设备根据此域产生场帧定时信号。此域为8 位宽，值为5 5 h 。 2 ) 象素宽度：用来定义景象数据中每一象素所占的比特数。此域为2 、位宽。o o 时表示象素宽度为4 b i t s ；o l 时表示象素宽度为8 b i t s ； l o 时表示象素宽度为1 2 b i t s ；l l 时表示象素宽度为i g b i t s 。 3 ) 场长度：定义景象图像中每帧所含行数，此域为1 4 位宽。 4 ) 每帧场数：定义显示是否分奇偶场。此域i 位宽。为1 时表示每 帧1 场，为0 时表示每帧2 场。 5 )行长度：定义景象图像中每行所含象素数，此域为1 5 位宽。 g ) 景象数据；传输景象数据，此域的长度可以根据前几个域的值计 算得到。 由于景象数据量很大，对于串行输出，我们采用了三条同轴电缆来完成，分 别为c l k 、p i x l 、p i x 2 。c l k 是位时钟，p i x l 和p i x 2 是串行数据线，共同来传输 象素数据。若象素为8 位宽，则p i x l 用来传输象素地址为奇数的象素，p i x 2 用 来传输象素地址为偶数的象素；若象素为1 6 位宽，则p i x l 用来传输每一象素的 低8 位，p i x 2 用来传输每一象素的高8 位。对于每一字节，其传输波形如图3 1 0 所示 红外景象合成与m p e g 2 硬件编码的设计与实现 起始位终止位 h 口 工工工工厂 一致据位 图3 1 0 串行传输罕节结构 对于并行输出，可以采用多种数据输出格式。并行输出采用d b 3 7 接口，信号 线有：p i x _ c i k ( 象素时钟) 、p i x _ d a t a 1 5 0 ( 象素数据总线) 、h s y n ( 行同步) 、 v s y n ( 场同步) 、d a t a _ v a l i d ( 数据有效) 、f i e l d _ e n a b l e ( 奇偶场信号) 、 p i x 8 _ p i x l 6 1 1 0 ( 象素深度指示) 等。数据输出格式可以配置成多种方式，各信 号之间的定时关系可以根据要求在一定程度上从软件上进行调整。图3 1 1 为一种 数据输出格式。 r h t av a i i d f i xc l k p i x _ d e t a 1 5 o 】 厂_ 厂_ 几r nnr 门r r r r r nnr r 勉压匠匝丑工口一i 口缓缓 圈3 1 1 并行传输结构之一 结束语 本篇中，作者对红外景象合成器硬件系统的设计过程做了详细的讨论。红外 景象合成器是在原有红外场景产生器的基础上设计完成的。新的系统对原有系统 做了很大的改进，从而是系统性能在一定程度上得到了提高，增加了系统的灵活 性。在系统设计的过程中，我们除了采用原有的技术外，还提出了利用定时、控 制寄存器单元来完成系统各个部分的控制工作。这种方法类似于一些常用的可配 置芯片，通过改变控制寄存器中的值来调整系统工作的各个参数。本系统现已达 到了系统设计的要求，并通过验收。 当然，本系统仍需要在今后的研制中做进一步的完善：如何提高模拟输出信 号的精度以及使模拟输出帧频等参数也做到软件可调；如何使系统产生的输出景 象更符合实际的红外特性。这些对进一步提高系统性能和系统的实用性都有很重 要的意义。 第二篇第一章：绪论 第二篇m p e g 一2 编码系统设计 第一章绪论 1 1 图像压缩编码技术的发展历史与现状 在许多工程应用领域，都会遇到需要对大量图像数据进行传输与存储的问题。 例如，在传输方面：数字电视，遥感照片，由雷达、飞机等提供的军事侦察图像， 可视电话，会议电视，传真照片等；在存储方面：教育、商业、管理等领域的图 文资料，c t 机、x 射线机等设备的医用图像，天气云图等等，几乎设及各个行业。 为了利用有限的存储容量存储更多的图片，或者为了最短的时间传递尽可能多的 图片，或者为了在有限的带宽条件下传输尽可能多的活动图像，就要研究怎样才 能最大限度的压缩图像数据，并且保证压缩后的重建图像能够被用户所接受，这 就是图像编码所要解决的问题。 1 9 4 8 年提出的电视信号数字化后，就同时开始了对图像压缩编码技术的研 究，至今已有5 0 多年的历史，开始时，即5 0 和6 0 年代，限于客观条件，仅对帧 内预测法和亚取样内插复原法进行研究，对视觉特性也做了一些极为有限但可贵 的工作。1 9 6 6 年j b o ，n e a l 对比分析了d p c m 与p c $ 并提出了用于电视图象压缩 的试验数据。1 9 6 9 年进行了线性预测编码的实际试验。1 9 6 9 年举行首届图像编码 会议( p i c t u r ec o d i n gs y m p o s i u m ) 7 0 年代开始进行帧间预测编码的研究。8 0 年 代开始对运动补偿( m c ) 所用的运动估值( m e ) 算法进行研究。变换编码是1 9 6 8 年 h c a n d r e w s 等人提出的，采用的是二维离散傅里叶变换。此后相继出现了其他 的变换编码方法，其中包括二维d c r 。对模型编码的研究始于8 0 年代初。 进入9 0 年代以后，i t u t 和i s o 制定了一系列图像编码国际标准。如： 1 ) 1 9 9 0 年为会议电视和可视电话制定的h 2 6 1 建议 2 ) 1 9 9 1 年为静止图像编码制定的j p e g 建议 3 ) 1 9 9 1 年为二值图像编码制定的j b i g 标准 4 ) 1 9 9 1 年为电视数字图像存储( 数码率高达1 5 m b p s ) 而制定的m p e g - 1 5 ) 1 9 9 3 年为活动图像及其伴音压缩而制定的通用编码国际建议m p e g 一2 6 ) 1 9 9 4 美国“大联盟”公布数字h d t v 系统的说明书草稿。美国“先进电 视系统委员会”拟定“数字电视标准”( 1 9 9 6 年) 红外景象合成与m p e g 2 硬件编码的设计与实现 7 ) 1 9 9 5 年i t u t 为甚低码率视频编码而制定的h 2 6 3 建议。 这些建议的制定极大地推动了图像编码技术的实用化和产业化。会议电视等 各类使用图像编码技术的产品纷纷推出，数字激光唱盘( v c d ) 等产品以百万台的 数量级走向市场，进入家庭，从而迎来了数字图像通信的黄金时代。 另一方面，图像编码技术产业化进程的加快也推动了图像编码技术以更快的 速度发展。目前的研究工作主要分为两个方向： ( 1 ) 更好地实现现有的图像编码国际建议 研制出集成度更高，性能更好的图像编码专用芯片( a s i c ) ，使 编码系统成本更低，可靠性更高。几个国际建议的单片( 或两片) 系统级解码a s i c 均已推出，其中包括对运算速度要求很高的 m p e g - 2 解码芯片。不久还将推出要求更高的h d t v 的单片视频解 码芯片。符合m p e g - 2 标准的单片或多片视频编码a s i c 也已推出。 解决好现有的图像编码系统开发中的技术问题。例如：提高图像 质量，提高抗误码能力。在a t m 网等变速信道上的应用等。如果 拿现在生产的符合m p e g - i 的v c d 图像质量和几年前m p e g - i 刚制 3 定时的v c d 图像质量相比，就可以看到虽然用的是同一个国际建 议和同样的数码率( 1 5 p s ) ，但图像质量大大提高了。这就是 近几年来对m p e g - i 编码器具体实现算法作深入研究的成果。国 际建议的开放性结构为这种深入的改进提高了前提，它允许人们 在不影响兼容性的前提下发挥自己的刨造性，对建议中的开放部 分进行改进这些开放性部分包括运动估值和运动补偿方法，自 适应量化系数和缓存器控制策略等。在国际建议规定的约束下， 对这部分算法作更合理的细化有助于提高编解码器的性能。如： 复原图像质量，抗误码能力等。 ( 2 ) 对图像编码理论和其他图像编码方法的研究 目前已提出和正在进行研究的图像编码方法有以下几种： 多分辨率编码。最早提出的是金字塔编码，后来是子带编码，最 近是用小波变换进行图像编码。 基于表面描述的编码方法( 三角形逼近法) 模型编码。它可分为物体模型未知的物体基编码和物体模型已知 的语义基编码。 利用人工神经网编码。 1 利用分行几何的图像编码( i s f 编码) 利用数学形态学的图像编码等。 第二篇第一章：绪论 1 2 图像压缩编码的应用 图像编码一系列国际建议的提出标志着图像编码技术已经成熟，开始由学术 研究走向产业化，前景十分诱人。早在1 9 9 1 年就有人预言，图像编码技术的突破 具有十分巨大的意义。其意义之大已到可以促使现有信息产业的结构发生巨变的 程度，它使通信、广播、计算机产业的界限变得模糊了。近几年来的实践也证实 了这个预言。目前，国外已出现了有线电视公司和通信、计算机公司之间的相互 合作，如：美国最大的有线电视公司( t e l e c o m m u n i c a t i o n ) 和软件公司m i c r o s o f t 合作开发交互式( i n t e r a c t i v e ) 电视等。 图像编码技术对数字电视的发展起着至关重要的作用。数字电视具有图像质 量高、频谱利用率高，可以实现多种业务的动态组合和统计复用、易于加密、具 有可扩展性、可分组性和互操作性、可以灵活组成交互式电视系统等优点。这些 优点是模拟电视所无法比拟的。可以断言，下一代电视必定是数字电视。但是数 字电视受到数据量庞大的约束，所以近几年来图像编码研究主要集中在视频压缩 上，已改进数宁电视的性能，从而促使各等级的数字电视的成功实现，扩大其应 用领域。这从今年来制定的图像编码国际建议中视频压缩编码和静止图像编码国 际标准的数量比例中即可窥见一斑以分辨率为基础，数字电视可分为四个等级： 可视电话、会议电视、数字标准清晰度电视和高清晰度电视( 哪t v ) 。现在已经有 各种数字电视产品可供选择，包括：数字激光视盘( v c d ) 、数字低清晰度电视 ( l d t v ) 、会议电视和可视电话、高密度数字通用光盘( d v d ) 、数字标准清晰度电 视( s d t v ) 、数字高清晰度电视( 哪t v ) 、点播电视( v o d ) 。 图像编码技术在其它方面同样有很多应用，如： 1 ) 电视计算机( t e l e c o m p u t e r ) 。它是介于电视与计算机之间的应用。它 将个人计算机和电视融为一体，构成一个多媒体工作站。 2 多媒体出版物。包括电子图书，电子报刊等。 3 ) 各种图像信息系统，如指纹库，遥感图像数据库等。 图像压缩技术已经为开创新的应用领域提供了良好的技术基础。如m p 踮一4 a h g 专家组为m p e g 一4 制定的功能目标指出，m p e g 一4 的目标不仅是改进的可视电话， 而且应该满足广播、通信、计算机领域相互渗透的要求，以交互性、高压缩比以 及多种存储与通信( 包括无线通信) 信道相连为特色，从而构成现有的国际建议 不支持的、全新的视听应用标准。总之，图像压缩技术为开拓全新的应用领域打 下了坚实的基础。 2 4红外景象合成与m p e g 2 硬件编码的敬计与实现 1 3 本文主要内容和作者完成的主要工作 本文在简要介绍了活动图像压缩编码的原理和基本压缩编码方法的基础上， 重点研究了m p e g 一2 活动图像编码的国际标准，对m p e g - 2 标准的组成、系统部分 和视频部分做了详细的介绍。 本文作者在详细了解m p e g - 2 标准的基础上，采用了一片m p e g 一2 编码芯片和 相应的外围器件设计了一套实时m p e g 一2 视频图像压缩编码硬件系统。为了方便系 统调试以及对编码系统输出码流的检测，作者还设计了一块数据采集板，用于将 编码系统的输出码流存储到计算机中供分析使用。 论文章节是这样安排的： 第一章绪论对图像压缩编码技术发展的历史和现状作了简单的回顾， 对图像压缩编码方法在实际中的应用作了简要的介绍，并介绍了作者 的主要工作 第二章阐述了图像压缩编码的原理和基本方法，包括变换域编码、预 测编码、变长编码和混合编码等 第三章介绍了肝e g 一2 视频压缩编码国际标准。主要介绍了m p e g - 2 标准的十个组成舔分中的系统和视频编码部分。详细介绍了拥p e g - 2 系统层传辕流和节目流的结构以及视频编码中引进的基于场的运动 补偿和帧问预测算法、二维d c t 变换、a l t e r n a t e 扫描等不同子m p e g - 1 的视频编码方法 第四章详细介绍了肝e g 一2 视频压缩编码硬件系统的设计，包括系统 的技术指标、硬件系统结构、各个部分的功能和实现等。 结束语为本篇的工作总结在简要回顾了本篇论文工作的基础上，对 m p e 6 - 2 编码系统以后的设计和改进提出了一些个人的看法。 第二章活动图像压缩编码的原理 2 1 图像编码的理论基础 图像压缩编码可以分为无失真编码和有失真编码。本节分别介绍了这两种编 码的基本理论，并讨论了人眼的视觉特性。 2 1 1 无失真编码 无失真编码又称为信息保持编码，或叫熵编码。它要求在解码端的复原图像 和原图像完全一致，没有任何失真，或在编解码过程中不丢失任何信息。 无失真编码有着很广泛的应用。例如对医学图像和遥感图像，不希望在编码 过程中丢失信息，就常用无失真编码。同时，无失真编码也是限失真编码中必要 的一环因此无失真编码是一种相当重要的编码技术。 香农的无币扰编码定理指出：在无干扰的情况下，存在舯无失真编码方法， 使编码的平均长度工( x ) 与信源熵日( x ) 任意地接近，即无失真编码的平均码长存 在一个下限。下面先介绍几个简单的术语 绽码效率t 叩= 警等 ( 式2 1 ) 冗余度：，：l 一，7 ：t , ( 1 x ) f - t _ t ( 一x ) ( 式2 2 ) 上( 种 比特率：传输或存储一个象素平均需要的比特数。 压缩比：c = 三一( 式2 3 ) 嘞 其中以为原始图像的平均比特率( 或总数据量) ，压缩编码后降低为。由上 述定理可知，不可能比h ( x ) 小，故无失真编码可以达到最大的压缩比为 c 一。殇( 膏) ，此式也称为无失真编码条件。 信源的熵t t ( x ) 就是每个符号的平均信息量。独立信源又叫无记忆信源，其特 点是某个位置出现某符号的概率与其它位置出现的符号概率无关设信源的符号 表为“，工，x ，各符号出现的概率为 以而) ，p ( x 2 ) ，p ( x 。) ，则此独立信源 的熵为： 红外景象合成与m p e g 2 硬件编码的设计与实现 h ( x ) ：一杰j p ( _ ) l 。g ：p o ，) f _ l( 式2 4 ) 信源的熵具有以下特点： ( 1 ) 信源各符号为等概率时其熵值最大，通过等长编码可以使编码效 率达到1 。例如：有g = 2 = 2 5 6 个符号，相互独立且满足均匀分 布，即每个符号的概率为忑1 2 则- ( x ) ：一至古l o g ：吉：8 。可见此 布，即每个符号的概率为t 则 ) = 一罗去：去= 。可见此 时信源熵为每个符号8b i t ，无法作数据压缩，等长自然码就是 效率最高的编码方法。 ( 2 ) 信源各符号不等概率出现时其熵值较等概率时小。此时若采用等 长编码，则编码效率将小于1 ，但若改用不等长编码时编码效率可 以达到l 。设4 个符号的概率分别为1 2 、1 4 、1 8 、1 1 8 ，则 日( x ) = 1 7 5 ，等长码厶( x ) = 2 ，可见此时效率r 降为0 8 7 5 。若 改用不等长码。设4 扑符号码长分别为1 ，2 ，3 ，3 ，则此时平均码长 云( x ) = 1 7 5 ，效率又达到1 总之，独立信源的熵与信源符号出现的概率有关，等概率分布时熵最大，此 时用自然码效率已经达到1 符号不等概率出现时，若仍用等长码会降低编码效 率，此时改用不等长码，概率大的符号用短码，则可减少平均码长，提高编码效 率。 2 1 2 限失真编码 由香农的无干扰编码定理可知，无失真编码的平均的码长存在一个下限，由 于这个下限通常比较接近自然码长，因此无失真编码的压缩比不可能很高。如能 允许编码有少量的失真，则压缩比可大幅度提高。失真一般是由量化造成的。例 如，把原图像的2 5 6 级灰度降为1 6 级、3 2 级或6 4 级，则总的量化级数减少了， 编码所需的比特数自然也就少了。但另一方面这种方法引入了失真，带来了量化 噪声。显然，量化级数愈少，失真愈大，因此需要根据实际应用的要求，在编码 的质量和压缩比之间作出选择 在限失真编码中，如果允许失真不超过某个值d ，这时的压缩比也会有一个 上限，即传输一个符号所需的平均比特数有一个下限。率失真理论中的率失真函 数r ( d ) 实际上就是所求的比特率的下限。 筮三筻蔓三童! 适塾堕垡垄缉熊塑盟塑垄 ! ! 根据率失真理论，若函数r ( d ) 存在且信道容量不小于r ( d ) 。即可以传输 信息，而且使失真小于或等于d ，这个函数就称为率失真函数。它指出了在给定 失真下，信道编码所达到的比特率下限。 这里d 是允许的失真。d 可以用均方误差，也可以用其他标准度量。r ( d ) 便 是在允许失真d 下信源编码所需的最小平均信息量，在这里可以认为是比特率。 图2 1 是一个离散信源率失真函数的示意图。可以看到，当d = 0 ，即无失真编码 时，需要的比特数为置( o ) 。随着允许失真的逐渐增大，所需的比特数也下降，并 可证明此关系曲线是下凸的。一般d 。等于信号方差d r 2 。当d d 。，即允许的 失真超过了输入信号的方差后，此时传输数据信息已失去意义，不需要对信道有 什么要求了，r ( d ) = 0 匹啪， 图2 i 离散信源的d 与月( d ) 的关系曲线 信源编码定理： 对一个率失真函数为r ( d ) 的信源。若平均失真为d ，则必存在一种编码方 法。使数据率d d ( d ) + 艿，而平均失真- 5 d + ，其中占，e 为任意小的正数。 率失真函数与失真度量标准及信源统计特性有十分密切的关系，信源不确定 性大，方差大，则所需比特数r ( d ) 较大：信源平稳，变化小，方差小，则r ( d ) 也 小。可以证明，对于以均方误差作为失真度量的正态分布信源，率失真函数为 即) ：g ：告o d ( 式2 5 ) 1 0d 盯2 小。 式( 2 5 ) 告诉我们，在对图像数据做映射变换进行编码时，应使映射后的尽量 2 i 3 人眼的视觉特性 人眼作为图像信息的接受者，是衡量和评判图像质量的最主要器官。研究并 充分利用人眼的视觉特性，把它最为图像处理系统中的一个环节来考虑，将有助 于提高图像处理系统的性能。这里，我们将主要从事从有利于提高图像压缩效率 2 8 红外景象合成与m p e g - 2 硬件编码的设计与实现 和保证图像质量的角度出发，来分析, k i t l i 所具有的特性。 人眼是一个平均半径约2 0 聊棚的球状器官。它类似于一个线性光学系统假 设输入图像为f ( x ，y ) ，输出图像为g ( x ，y ) 人眼的点扩展函数为i l ( x ，y ) ，则： g ( x ，y ) = h ( x ，y ) + f ( x ，) ，) ( 式2 6 ) g ( u ，v ) = h ( u ，v ) f ( u ，v ) ( 式2 7 ) 其中，式( 2 6 ) 为空间域输出函数，式( 2 7 ) 为空间频率域输出函数。 景物卜眼睛，大脑 孙瓯， 图2 2 视觉模型 经过大量的实验和观测。人们发现人眼具有带通型传输函数的性质，并且人 跟的分辨力是有限的。也就是说，人眼主要对空问分辨率较低的成分敏感。在以 后的讨论中我们将会看到：许多有损压缩技术正是通过在空间频率域去除对人眼 不敏感的高频成分来实现图像压缩的。 此外，运动速度也会影响分辨力，速度大则分辨力下降，因此人眼对图像的 静止部分要求较高的空间分辨率和较低的时间分辨率，而对运动图像则恰恰相反。 另一方面，人眼对彩色的分辨能力要比灰度的分辨能力低，如果把剐能分辨出的 黑白相间的条纹换成红绿条纹，则只能看出一片黄色，无法分辨红和绿的条纹。 因此在一些国际标准的数字图像采样格式中，规定彩色份量的空问分辨率只有灰 度分量的一半从而有效的减少了原始数据量。 2 2 1 预测编码 2 2 常用的图像编码方法 由于图像序列中相邻象素( 包括帧内和帧问的相邻象素) 之间存在很强的相 关性，因此通过简单的帧内和帧间预测的方法就可以去除它们之间的冗余信息， 而仅仅处理差别部分，最终达到压缩的目矗勺预测器的原理框图如下： + 一、 一 l - r + 匝母每 x “- + 殳。 图2 3 预测器方框图 预测编码分为帧内预测和帧间预测两种： l 、常用的帧内预测编码方案有： i ，弋，弋b _ 卜1 己，1 b 卜一 l 翌塑互一一_ 一_ - 弋b 广。弋! l ，弋b ，1 ， 卜一 当前象素 图2 4 帧内预测x 。时所用邻近像素的位置 1 ) 前值预测即用五的同一扫描行中前面最邻近的亮度抽样值墨( 如图 2 4 所示) 来预测x 。：k o = x ( 式2 8 ) 2 ) 一维预测，即用扎的同一扫描行中前面已知的几个抽样值来预测j ，0 ： x o = 口l 五+ 口5 瓦+ ( 式2 9 ) 3 ) 二维预测，即不但用j ，o 的同一扫描行以前的几个抽样值( 五，j ，5 ，) ， 还要用的以前几行中的抽样值来预测k 。例如： x o = 口l j ，l + 口2 l + 口，五j + 口j j ( 式2 1 0 ) 国外学者p i r x c h 在作了大量主观评价试验后，提出了 礼2 圭x - + ；x ：+ 去五+ ；丘的预测公式，北京大学徐孟侠教授在此基础上作了 迸一步研究，提出了或= x ，+ 三五+ 蜀的预测公式，使硬件实现更方便。 2 、帧间预测方法 3 0 红外景象合成与m p e g 2 硬件编码的改计与实现 图2 5 帧阃预测相邻象素位置 帧间预测可以采用过去帧中对应位置象素值来预测当前帧中相应位置的象 素。例如：对于如图2 5 所示的象素排列，为了预测象素z ，可以采用以下几种 方法进行预测： z = m ( 式2 1 1 ) z = m + h l( 式2 1 2 ) z ；h - i _ e + s d + - r ( 式2 1 3 ) 上z 然而，当图像序列中存在运动对，如果只采用帧问预测方式，编码的数据量 将随着图像中运动的增强而急剧增大。为了克服帧间预测的这一缺点导入了运动 补偿概念。 根据人的视觉特性，人眼对图像的静止部分要求较高的空间分辨率和较低的 时间分辨率，而对图像的运动部分则恰恰相反。所以，在进行帧间预测时，可以 把图像分割为静止部分和运动部分分别处理。对于静止部分可以采用简单的帧间 预测的方法；对于运动部分则设法测定其位移量，以位移量为基础进行运动部分 预测，并将位移信息传送出去，这样可以改善运动区的帧间预测效果，这就是运 动补偿技术。常用的运动补偿技术分为以下几步： 1 ) 首先将图像分割较小的具有相同运动特性的子块： 2 ) 估计每一子块的位移量： 3 ) 根据位移量进行帧问运动补偿预测； 4 ) 将预测结果与实际结果进行比较，求出差值； 5 ) 对差值进行变换编码等处理。 运动补偿是基于对图像的分割来完成的，常用的方法是把图像分割成矩形子 块。其主要过程是： 1 ) 将图像划分成大小为m n 的子块墨， 2 ) 从前一帧图像中搜索与瓯最匹配的子块瓯7 ， 3 ) 以最7 子块和最子块在图像帧中的位置计算最子块位移的方向和大小 ( 即运动矢量) ， 4 ) 将差分信号墨一瓯7 和运动矢量作为编码数据做进一步处理。 这种运动补偿的方法基于三个假设： 1 ) 图像中的物体只做平移运动，不包括旋转和变形； 2 ) 物体在相邻帧之间的运动范围是有限的： 3 ) 匹配误差随物体远离最优匹配点而单调递增。 运动补偿中最重要的问题是：图像子块的匹配准则和搜索算法。 判断两个图像方块的相似程度。是进行匹配的前提条件。目前常用的匹配准 则是最小绝对误差( m a d ) 准则，该准则的误差表达式为： 枷d ( f ，_ ，) = p ( 训) 一s 。( x 十f ，y + f ) i ( 式2 1 4 ) x - o 删 其中，( l ，) 表示运动矢量且( f ，) t ，t 表示搜索范围； 此外还有最小均方误差( m s e ) 准则，其误差表达式为7 f l 州- 1 2 i m s e ( i , d 2 击萎萎b ( 五力一墨 + 缈+ f ) | ： ( 式2 1 5 ) 在已知匹配准则的情况下，如何搜索出匹配误差最小的子块就是搜索算法所 要解决的问题最简单的搜索算法就是全搜索算法它需娈考察落入搜索范围内 所有的方块，因而搜索的结果也是理论上最优的。然而，全搜索算法的运算复杂 度太高，必须依赖专用的芯片才能实现。为了摆脱对硬件的依赖，人们提出了各 种快速搜索算法，例如：2 d 对数法、三步法和四步法等。所有的快速算法都是基 于这样的假设；相邻帧的方块之间的相似性随其相对位移的增加而单调递减。虽 然快速算法得到的结果不一定是最优的，但仍能得到较好的相似性，所以快速搜 索算法是以牺牲搜索精度来换取运算速度的 2 2 2 变换域编码 l j 由于数字图像在空间域的特征有限，所以希望能够通过某种映射变换，从图 像中提取出一些新的特征，并利用这些特征来实现更有效的压缩编码。用于图像 处理的映射变换应满足三方面的要求： ；) 变换是可逆的。它必须保证图像经变换后，还可以反变换回来； 2 ) 变换必须有好处，也就是变换应有利于图像压缩或改善图像质量； 3 ) 变换算法不复杂，因为很多图像处理系统要求实时处理，算法要保证一 定的运算速度 红外景象合成与m p e g 2 硬件编码的改计与实现 目前，在图像编码中广泛应用的是二维正交变换。 假设f ( m ，n ) 是一个m 的矩阵，g ( m ，”，s ，) ，h ( s ，f ，m ，玎) 分别表示正反变 换核，则图像从空间域经某种正交变换转到变换域的运算可表达为： f ( s ，f ) = f ( m ，n ) g ( m ，n ；s ，f ) m - on - o 其中，聊、n 和s 、，都是接数，他们的取值范围为： 0 m s s m 一1 0 s 押，n 一1 相反的变换过程则可以表示为： m - i n - i f ( m ，玎) = f ( s ，t ) h ( s ，f ；m ，押) 如果g ( m ，疗，s ，t ) 可表示成：g ( m ，力，s ，) = u ( m ，s ) v ( n ，f ) ，则称g ( m ，行，s ，t ) 为可分 离变换核。这时式( 2 1 6 ) 就可以表示为： ，一l 广一l1 f ( s ，f ) = l ，( m ，n ) v ( n ，0l x 甜( m ，s ) ( 式2 1 8 ) m = o l n oj 这样二维正交变换就可以分解为双重一维正交变换，即先以玎为变量，对图 像f ( m ，行) 中的每一行逐行进行一维变换得到一个中间结果，( m ，n t ) ；再对中间结 果以m 为变量，逐行进行第二个一维变换，得到最终的交换结果f ( s ，) 。上述过 程也适用于反变换过程。 二维正交变换的正反变换核都是可分离的，而且满足能量守恒定律，即下述 表达式成立： 所以经过二维正交变换，信号的能量并没有改变，但是其分布却发生了很大 的变化。 通过选择不同的正、反变换核，就可以构造出不同的二维正交变换。下面简 单介绍几种常用的二维正交交换。主爰包括：离散傅立叶变换( d f t ) 、沃尔什一 哈达玛变换( 州t ) 和离散余弦变换( d c t ) 。 1 、离散傅立叶变换( d f t ) 离散傅立叶变换可按级数形式定义为： 掣，= 赤篓篓撕，叫印石c 詈剜 酬 册 八 川l ll 窖 2 o j 以 m 其中，s = 0 , i ，m - 1 ；t = 0 , 1 ，n 一1 ； 离散傅立叶反变换可定义为： ，( m 问= 了茜篓篓f q ，) e 叫，2 万( 百s m s m + 争i ( 式z z 1 ) ，( m 川) 2 赤互善耶，叶口烈百+ 嚣j 拭2 卫d 以上两式中，( 胁，行) 为空间域，f ( s ，r ) 为空间频率域。图像经过离散傅立叶变 换之后，直流分量f ( o o ) 正比于图像灰度的平均值，高频分量则表明了图像中的 边缘强度，而且信号的总能量在保持不变的情况下向低频空间集中，这些特性都 非常有利于压缩编码。但由于d f t 主要为复数域的乘加运算。因此运算量大而不 适于在工程中使用 2 、沃尔什一哈达玛变换 在图像编码中，一般都是对m = n = 2 的方阵进行变换。在这种情况下，沃 尔什一哈达玛变换的表达式为： 八j ，) ；- 7 警m - i ”- if ( m ，帕( 一1 ) 荟佃卜叭”洲 ( 式2 2 2 ) 八以，) 2 羽茜丕齑 朋( - 1 ) 矧 ( 式2 2 2 ) 其中，s = 0 , i ，一，m l lr = 0 , 1 ，n l ；岛( j ) 表示由二进制数表达整数s 时，第f 位 的二进制码值 沃尔什一哈达玛反变换式为： ，( 、m f f l ) = 熹篁窆以j ，) ( 一1 ) 酗“珥。卜州 ( 式2 2 3 ) ，砺茜萎荟以瓦，) ( - 1 产1 一。 ( 式2 2 3 ) 沃尔什一哈达玛变换中只有加减运算，不仅算法简单易于实现，而且也具有 与d f t 相类似的空间频率域特性，同样也适用于压缩编码。聊打的缺点是：压 缩效率较低。 3 、离散余弦变换( d c t ) 目前，在各种图像编码系统中应用最广泛的二维正交变换就是离散余弦变换。 二维离散余弦( d c r ) 的表达式为： f ( 州) = c ( s ) c ( f 了示2m 缶- i n 台- i ，( 州) c 。s 2 - - - ( 2 n + 1 ) f l x c o s 丽f f ( 2 m + 1 ) s 】f ( 州) = c ( s ) c ( f 了示缶台，( 州) c 。s n + 1 ) fx c o s 丽(s 1 其中，j = o - l ，m 一1 ：，= 0 , 1 ，n 一1 ；“破c ( ，) 为常系数； 如一悻蹦篡o 一。 相应的二维离散反余弦变换( i d c t ) 表达式为： ( 式2 2 4 ) 红外景象合成与m p e g - 2 硬件编码的设计与实现 f ( m , n ) = 了茜i 萎d - i 善n - i 删c ( f ) 耶，f ) c 。s 爵( 2 川) ，】咖岛( 2 m + l 瑚 另外，由于d c r 的变换核是= 维分离的，所以在工程领域中经常采用两个一 维d c t 来实现二维的o c t 的功能通常的做法是：先对输入矩阵做行的一维d c t 运算，然后再对中间结果矩阵做列的一维d c t 运算并得到最后的结果。一维离散 余弦变换的表达式为； y = 括灿【号产】2 肛1 ( 式2 2 5 ) y ( o ) = 专工( 甩) ( 式2 2 6 ) 一维离散余弦反变换的表达式为： 砌) = 等+ 摆篓y 伽【鼍产】删 l ，_ l ( 式2 2 7 ) 二维离散余弦变换是从傅立叶变换推导出的，它不仅具有d f t 的能量集中的 特性，而且所有运算均为实数运算，因此在工程领域中比较实用。d c t 已被有关 国际标准指定为标准算法，例如：i t u - t 的h 2 6 1 和h 2 6 3 、i s o 的m p e g - 1 和m p e g - 2 等。当然，d c t 算法的复杂度也是个需要解决的问题，在实际应用中多采用快速 算法的f d c t 来实现。f i ) c t 算法又分为定点制和浮点制的、二雉可分离的和直接 二维运算等多种具体选择何种快速算法，则应根据用户的硬件条件、运算速度 的要求以及对变换精度的要求等因素来综合考虑。 2 2 3 变长编码 经过二维正交变换处理后的图像，在空间频率域上表现出能量集中的特性， 即大部分信号能量都集中在靠近低频分量的少数变换系数上，而只有一小部分能 量分散在高频变换系数上因此，考虑到人眼的视觉特性，我们可以采用量化的 措施去除大部分高频系数，即将大部分高频系数变为零。这时我们就可以采用游 程长度编码的方法来压缩图像数据 游程长度编码的思想是：首先对变换系数矩阵按照一定的规则进行扫描，然 后用( 游程，系数) 的组合来代簪扫描结果中出现的连续的零和紧接着的非零系 数。例如：扫描得到( o ，o ，0 ，0 ，3 ) ，就可以用( 4 ，3 ) 的组合来代替显然，采用 游程编码有效的压缩了图像数据。? + 变换系数矩阵经过游程长度编码后，最终得到的是游程一系数组合。此时， 应为每种组合情况分配一个码字符号即对每种组盒进括编码，这样在存储和传 蔓三簦签三皇! 适垫霉肇塑堕塑鲤厦墨竺 输时就可以直接传送这些码字有两种编码方法可供选择：等长编码和不等长编 码( v l c ) 。等长编码适用于各种组合出现概率相同的情况；不等长编码适用于各 种组合出现概率不同的情况。 统计表明，对于图像编码数据，其各种组合出现的概率是不相等的。短游程、 小系数组合出现的最为频繁。所以，我们可以采用不等长编码方法，对出现概率 大的组合用较短的码字表示，对出现概率小的组合用较长的码字表示，这样得到 的平均码长是最短的。 在不等长编码中广泛使用的是h u f f m a n 编码。h u f f m a n 编码是f u f f m a n 于1 9 5 2 年提出的一种最佳编码方法，由于其码长不固定，也称变长编码法，即v l c ( v a r i a b l el e n g e t hc o d i n g ) 。 今以图2 6 举例说明这种方法。 p 4咫n o 6 l0 图2 6h u f f m a n 编码举例 先对各信源符号的出现概率由上到下按其大小排列；然后对概率最小的a 。，a ， 分别分配码1 和0 ，这两个概率值相加得0 1 l 记为只，再把口6 与口，作为一个符号， 从上到下按大到小重新排列其概率大小；a ，概率0 1 5 与该0 1 l 最接近，分配吼 为码字1 ，分配口，口，组合的码为0 ，依此类推，直至只，现在可得a 码字为1 1 ； a 2 为1 0 ；a 3 为0 1 1 ；a 。为0 0 0 1 ；口7 为0 0 0 0 。实现了概率大的符号分配短码， 反之为长码。 在实际应用中，由于很难预先准确的描述信源的统计特性，所以一般根据经 验概率来设计h u f f m a n 码表。实践证明，这种按照经验预先设计的h u f f m a n 码表 也能较好的发挥作用 2 2 4 混合编码 以上讨论了各种编码技术，但在具体应用对应将它们有机的结合起来，这样 才能达到好的压缩效果，这就是混合编码。通常，采用预测编码来消除相邻帧之 间的时间相关性，采用交换域编码来消除图像内部的空间相关性，最唐采用变长 撕曩曩事蛐蛐0符号_- “ 牛=2暑砉一一懈 鼻 长i 2 0 3 0 红外景象合成与m p e g 2 硬件编码的改计与实现 编码以利用码字的统计特性这种混合编码方案已广泛应用与各种活动图像压缩 编码标准中。如m p e g 一1 、k i p e g 一2 、h 2 6 1 和h 2 6 3 等。 典型的混合编码方案如图2 7 所示： 图2 7 混合编码方案 第三章i v i p e g 2 活动图像压缩编码方法简介 3 1m p e g 2 标准的组成 m p e g 一2 标准是在m p e g - 1 标准的基础上产生的。m p e g 一2 标准是为了满足对诸 如数字存储媒体，电视传播以及通信等应用中对运动图像及相关音频一般的编码 方法的日益增长的需求而制定的，是针对大范围码率而定义的编码标准，最高速 率可至4 0 m b s ，压缩比已高达2 0 0 ：i 。m p e g 一2 标准除了可以对音频和视频进行高 效的、低比特率的压缩以外，还具有随机访问、特技模式、多点传送、多种音频 和视频、3 d 图像等特性。 m p e g 一2 标准编号为i s o i e ci1 3 8 1 8 。由以下1 0 部分组成： 11 3 8 1 8 1 ：s y s t e m s 1 1 3 8 1 8 - 2 ：v i d e o 1 1 3 8 1 8 - 3 ：a u d i o l1 3 8 1 8 - 4 ：c o n f o r m a n c e 1 1 3 8 1 8 - 5 ：s o f t w a r e 1 1 3 8 1 8 6 ；d i g i t a ls t o r a g em e d i a - - c o m m a n d a n dc o n t r o l ( d s m c c ) 1 1 3 8 1 8 - 7 ：n o nb a c k w a r dc o m p a t i b l e ( n b c ) a u d i o - 1 1 3 8 1 8 - 8 ：l o - 8 i tv i d e o 1 1 3 8 1 8 - 9 ：t e a lt i m ei n t e r f a c e 1 1 3 8 1 8 1 0 ：d i g i t a ls t o r a g em e d i a - - c o m m a n da n dc o n t r o l ( d s m c c ) c o n f o r m a n c e 舯e g 一2 标准的核心内容是前三部分：系统、视频和音频。由于本文主要研究 视频编码方法，所以这里将主要介绍系统和视频部分。 3 2m p e g 一2 系统 m p e g - 2 的系统部分为了使编码码流能够在卫星、电缆和地面频道等信道中传 输以及兼容m p e g - i 系统层码流，定义了两种码流结构；节目流( p r o g r a m s t r e a m ) 和传送流( t r a n s p o r ts t r e a m ) 结构。它们分别适用于不同的场合。典型的m p e g 一2 系统层结构如图3 1 所示 红外景象合成与m p e g 2 硬件编码的改计与实现 哥寸f f o t j - i f l i l ；一i 聃 陌百l l jl j 声音 m 一h p 阱一2 蕞统规范+ 图3 1 肝e g 一2 系统层结构框图 原始的视频和音频信息经压缩编码后送到m p e g 一2 系统层编码部分。系统层先 对压缩数据流进行打包，形成p e s 数据包。p e s 数据包是节目流和传送流共用的 一种数据结构，它除了含有压缩后的视频和音频信息外，还含有一些系统信息。 最后，p e s 数据包由复合器复合成系统节目流和传输流输出。 下面对节目流( p s ) 和传送流( t s ) 做一简要介绍 1 ) m p e g - 2 节目流( p s ) 与m p e g l 系统流兼容。标准要求m p e g 一2 节目流解 码器能够正确对m p e g l 系统流进行解码。同m p e g - 1 系统流一样，m p e g - 2 节目流适用于无误码影响的环境( 如磁盘存储器等) 以及基于软件的解 码处理节目流( p s ) 的数据包通常比较长而且其长度不是固定的。典 型的节目流数据包长度在l k - - 2 k b y t e s 范围内，其长度通常和磁盘磁道 的长