（信号与信息处理专业论文）jpeg2000码率控制算法研究.pdf

上海交通大学硕士学位论文 摘要 i jpeg2000 jpeg2000 码率控制算法研究码率控制算法研究 摘 要 摘 要 jpeg2000静止图像压缩标准和motion-jpeg2000运动图像压缩 标准具有压缩效率高、抗误码能力强、码流渐进传输等优异的压缩特 性，将得到越来越广泛的应用。码率控制是jpeg2000和motion-jpeg 2000编码的重要过程， 其算法的优劣直接决定着整个编码效率的高低 和压缩图像质量的好坏。因此，研究并提出更为高效的jpeg 2000码 率控制算法，以减少编码计算冗余、提高编码速度和减少内存资源消 耗，对于图像和视频的jpeg2000编码软硬件实现都具有重要的现实 意义。 对于jpeg2000编码，本文首先详细叙述了jpeg2000压缩标准的 主要编码过程，以及图像编码码率控制的基本理论。这部分是进一步 讨论jpeg2000的码率控制问题的背景知识和相关理论基础。然后， 本文较为全面地介绍了jpeg 2000码率控制的两种机制，以及标准推 荐的压缩后率失真优化算法，并分析了该算法存在的编码效率低、计 算冗余大的缺点。最后，在充分分析目前学者提出的一种较有效的码 率控制算法的基础上，针对其存在着编码图像质量下降的不足，本文 提出了一种更为高效的算法： 改进的联合熵编码和率控制算法virec (variable number-of-passes integrated rate-control and entropy-coding), 上海交通大学硕士学位论文 摘要 ii 该算法根据各个码块所在子带的能量权重系数的大小， 选择不同的每 次熵编码编码通道数，在熵编码的同时进行码率控制，可在保证压缩 图像质量的同时提高一定的编码效率。 对于motion-jpeg2000，本文主要研究了恒定码率编码（cbr） 和可变码率编码（vbr）两种方式下的码率控制算法问题。本文首先 较为详细地叙述了几种典型的cbr算法和vbr漏桶算法， 并且具体实 现和验证了motion-jpeg2000的两次扫描vbr编码。为提高motion- jpeg2000的编码效率，本文提出了两种较为有效的码率控制算法： seuca （slope estimation using correlation algorithm） 和lasd （leak- bucket algorithm with scene-change detection） 。seuca算法利用帧间 相关性， 使用前一个已编码帧的率失真斜率值估计当前帧的率失真情 况，并结合使用irec ( integrated rate-control and entropy-coding )和 eirec算法 ( enhanced integrated rate-control and entropy-coding )进 行编码，可以有效地提高cbr编码的编码效率，降低编码计算冗余。 lasd算法通过场景切换检测将视频序列合理地划分为若干个场景图 像组，先为每个场景图像组分配对应的平均码率，然后再进一步为图 像组中的每帧图像分配各自的编码码率。 此时缓冲区里的样本帧编码 情况可以表征更加广泛的图像帧，因而各帧的码率分配更加合理，可 以取得图像质量更为恒定的vbr码流。 为验证上述的几种码率控制算法的性能， 论文将其与其它比较典 型的算法进行了多方面的分析和比较， 理论分析和仿真实验的结果均 表明本文所提出的算法编码效率更高，编码性能更好，比较有利于图 上海交通大学硕士学位论文 摘要 iii 像和视频编码的实际应用。另外，seuca 算法中利用帧间相关性来 提高编码效率，lasd 算法中两级码率分配和使用双缓冲区分别进行 码率控制的思路对于其它标准的视频压缩也具有一定的参考意义。 关键词：关键词：jpeg2000，motion-jpeg2000，码率控制，率失真优化 上海交通大学硕士学位论文 abstract iv research of rate control algorithms for jpeg2000 abstract jpeg2000 and motion-jpeg2000 have a very large potential application fields due to their excellent compression performance and many attractive features. rate control is a very important part in jpeg2000 encoding. the more efficient a kind of rate control algorithm is， the higher coding efficiency, and the better image quality. therefore, it is significant for jpeg2000 codings software and hardware solution using more efficient rate-control algorithms. in terms of jpeg2000 coding, jpeg2000 standards major coding step and classic rate-distortion theory are firstly described in the dissertation, and this is the background knowledge of jpeg2000 rate-control. then, two rate-control mechanisms and the rate control technical recommended by the jpeg2000 standard which is named post-coding rate distortion optimization are introduced in detail. the algorithm, however, has the disadvantage of high computation redundancy. in order to improve the coding efficiency, a more efficient rate control technical is proposed which is named with virec (variable number-of-passes integrated 上海交通大学硕士学位论文 abstract v rate-control and entropy-coding). the proposed algorithm chooses the number of coding-passes per entropy-coding according to the codeblocks energy-weight-factor, and performs entropy coding in conjunction with rate control. some simulations are carried out and the results show that the proposed algorithm can improve coding efficiency while maintains the compression image quality indeed. in terms of motion-jpeg2000, some rate control algorithms under constant bit-rate traffic and variable bit-rate traffic are introduced in detail in the dissertation. in order to improve the coding efficiency of motion-jpeg2000, two novel rate control algorithms are proposed: seuca（slope estimation using correlation algorithm） and lasd （leak-bucket algorithm with scene-change detection）. based on the correlation among the video frames, seuca algorithm can achieve efficient rate-control for constant bit rate traffic of motion jpeg2000. the proposed method enables significant savings in computation time, greatly increases the video encoding speed and consumes less resource. as for lasd algorithm, the video sequence must be divided into some scene groups-of- pictures at first, and then the bit-rate of every group is allocated. the bit-rate of every picture in some group is then allocated respectively. due to its optimum rate-allocation, lasd algorithm can achieve smoother quality for vbr codestream. both theory analyses and experiments demonstrate that the proposed 上海交通大学硕士学位论文 abstract vi algorithms could achieve higher coding efficiency compared with other typical ones. in addition, the idea that seuca makes use of the interframe correlation to improve the coding efficiency, and the idea that lasd divides the total rate allocation process into two stages and utilizes two buffers to control the allocation respectively can also benefit for other video compression standards. keywords: jpeg2000, motion-jpeg2000, rate control, rate-distortion optimization 上海交通大学硕士学位论文 缩略语 72 缩略语缩略语 jpeg： irec： eirec： pcrd： ebcot： seuca： tcrc： sbrc： dbrc： r-d： dct： dwt： roi： ict： rct： msb： lsb： rdo： mse： ggd： psnr： psra： bpp： mpeg： cbr： vbr： gop： joint photographic experts group integrated rate-control and entropy-coding enhanced irec post compression rate-distortion optimization embedded block coding with optimal truncation slope estimation using correlation algorithm） terminal correlation rate control single buffer rate controller double buffer rate controller rate-distortion discrete cosine transform discrete wavelet transform region of interest irreversible component transform reversible component transform most significant bit-plane least significant bit-plane rate-distortion optimization mean squared error generalized-gaussian density peak-signal-to-noise ratio priority scanning rate allocation bit per pixel motion picture experts group constant bit rate variable bit rate group of pictures 联合图像专家组 联合率控制和熵编码 改进的 irec 算法 压缩后率失真优化 带优化截断的嵌入式块编码 帧间斜率估计率控制算法 间隔相关性码率控制算法 单缓冲区码率控制算法 双缓冲区码率控制算法 率失真 离散余弦变换 离散小波变换 感兴趣区域 可逆分量变换 不可逆分量变换 最高有效位平面 最低有效位平面 率失真优化 均方误差 广义高斯密度分布 峰值信噪比 优先级扫描率分配算法 比特/像素 运动图像专家组 恒定比特率 可变比特率 图像组 上海交通大学上海交通大学 学位论文原创性声明学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本 文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 上海交通大学上海交通大学 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。 本人授权上海交通大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密保密，在 年解密后适用本授权书。 本学位论文属于 不保密 不保密。 （请在以上方框内打“” ） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 上海交通大学硕士学位论文 第一章 绪论 1 第一章第一章 绪论绪论 1.1 引言 1.1 引言 随着计算机和多媒体技术的飞速发展， 人们获取的信息越来越广泛， 需求的信息量越来 越大。 图像作为信息含量最丰富的载体之一是构成信息环境必不可少的要素， 它在现代通信 技术中所承担的作用已远远超过其它媒体。 但图像的数据量非常大， 为了有效地传输和存储 图像必须对图像数据进行有效的压缩。 jpeg(joint photographic experts group)是20世纪80年代末由国际电话电报咨询委员会 （ccitt）和国际标准化组织（iso）共同组成的联合图像专家小组制定的图像压缩标准。 经过 jpeg 压缩的图像，不仅能达到很不错的压缩比，而且还可保持不错的图像质量，因 此 jpeg 得到迅速的发展，并被广泛地应用于互联网、数码相机等领域。 然而，随着人们对图像压缩性能、处理灵活性、功能性等多方面有进一步的要求，jpeg 标准因其固有的许多技术局限， 越来越难以得到满意的效果。 联合图像专家组于2000年制定 出jpeg2000图像压缩标准1，以作为jpeg的后继者。jpeg2000采用小波变换和嵌入式熵编 码，可以获得当今最先进的图像压缩性能。jpeg2000编码系统能够提供低码率条件下比当 前jpeg标准更佳的率失真性能和主观图像质量，同时不牺牲其它方面性能。 jpeg2000不仅在压缩性能方面明显优于jpeg， 它还具有很多jpeg无法提供或无法有效 提供的新功能。比如，可以同时支持有损和无损压缩、大幅图像的压缩、码流的渐进传输、 感兴趣区域编码、良好的抗误码性、码流的随机访问等。jpeg2000具有的各种出色特性， 使得它的应用领域非常广泛，尤其在internet传输、无线通信、医疗图像等领域将具有诱人 的应用前景。motion-jpeg20002运动图像压缩标准是jpeg2000标准的第三部分，其对视频 序列的每一帧都采用jpeg2000标准进行压缩，然后将码流打包成mj2格式的文件。因为同 样具有jpeg 2000码流的各种优异性能，motion-jpeg2000已经越来越广泛地应用于专业影 视、网络视频和数码相机等领域。 码率控制是jpeg2000和motion-jpeg 2000编码的重要过程，其算法的优劣直接决定着 整个编码效率的高低和压缩图像质量的好坏。因此，本文将针对jpeg2000静止图像编码和 motion-jpeg2000的恒定码率及可变码率编码等几种情况的码率控制算法进行研究。 上海交通大学硕士学位论文 第一章 绪论 2 1.2 选题背景与意义 1.2 选题背景与意义 虽然jpeg2000标准具有许多优异的压缩特性，但其采用的核心算法小波变换和算术编 码都具有很高的计算复杂度。并且，其推荐采用的码率控制算法pcrd1是一种压缩后率失 真优化算法， 存在着计算冗余和内存资源消耗较大的缺陷， 难以适应实时性要求高和资源有 限等图像和视频编码应用。事实上，如果采用pcrd码率控制算法对同一幅图像进行jpeg 2000压缩， 无论比特率是多少(例如1bpp或0.125bpp) ,整个编码的复杂度和所需时间几乎相差 不大，很大一部分计算量和存储量对于最终码流来说都是冗余的。 针对该问题， 如何减少编码计算冗余， 提高编码速度， 并降低资源消耗等已经成为jpeg 2000编码应用中的重要研究课题。 因为jpeg2000码流是嵌入式码流 （embedded codestream） ， 具有良好的可伸缩性， 码率的控制和调整可以容易地通过截断和选择已编码码流来实现， 即 在一定码率限定下，为使得图像失真最小，必须先输出对图像质量贡献更大的码段（code segment），而丢弃那些对图像质量贡献小的码段。在pcrd算法中，丢弃的码段虽然不包含 在最后的输出码流， 但由于同样经过了计算复杂度很高的算术编码， 这就存在着一定的编码 冗余，浪费了编码时间。并且，被丢弃的码段在截断前需要占用一定的存储空间，消耗了存 储资源。为提高编码效率、减少编码冗余，应当尽量少编码产生将被丢弃的码段。该问题属 于jpeg2000的码率控制算法的研究范畴，即研究在某个码率下，如何选择编码码段，以使 图像失真最小、图像质量最好的问题。 对于视频序列的motion-jpeg2000编码，每一帧图像均采用jpeg2000标准进行压缩，因 而同样具有jpeg2000码流良好的可伸缩性，可以方便地通过码流的截断来实现精确的码率 控制。 同样， 可以采用jpeg2000标准所推荐的pcrd码率控制算法对每帧图像进行jpeg2000 压缩，但由于pcrd存在着较大的计算冗余，需要消耗了大量的编码时间和存储资源。对于 一些视频编码的实时或准实时应用，或者在存储空间有一定限制的场合，pcrd显然难以满 足实际应用的要求。为减少motion-jpeg2000编码的计算冗余，提高编码速度，并降低存储 资源的占用，进行motion-jpeg2000码率控制算法的研究十分必要。对于可变码率（vbr） 编码， 研究如何充分利用输出缓冲区资源、 取得图像质量更加恒定的motion-jpeg2000码流， 有利于减少压缩视频传输延迟并提高一定的平均图像质量。 总的来说，研究并提出更加高效的jpeg2000码率控制算法，以减少编码计算冗余、提 高编码速度和减少内存占用等资源消耗，对于图像和视频的jpeg2000编码及其软硬件实现 都具有重要现实意义。 上海交通大学硕士学位论文 第一章 绪论 3 1.3 论文的研究工作及创新点 1.3 论文的研究工作及创新点 论文主要对 jpeg2000 和 motion-jpeg2000 的码率控制算法进行了研究，具体内容如下： 1) 详细介绍了 jpeg2000 和 motion-jpeg2000 的编码过程、主要特性等，并分析总结了 图像和视频编码码率控制的相关技术以及目前比较典型的码率控制算法。 2) 详细分析了jpeg2000图像压缩的压缩后率失真优化算法pcrd以及编码效率较高的 联合熵编码和率控制算法 irec，然后通过分析 irec 算法所存在的缺陷提出了改进 的联合熵编码和率控制算法 virec（variable number-of-passes integrated rate-control and entropy-coding） ，根据码块所在子带的能量权重系数为每个码块来选择不同的每 次编码通道数，可以更好地保证编码图像质量，并提高一定的编码效率。 3) 研究了 motion-jpeg2000 编码的码率控制算法问题，分别分析总结了在恒定码率和 可变码率两种情况下现有的一些算法的情况。 对于恒定码率编码， 提出了一种利用帧 间相关性的算法 seuca（slope estimation using correlation algorithm） ，并通过仿真 实验证明了该算法的有效性； 对于可变码率编码， 通过分析漏桶算法样本帧的分布情 况对码流图像质量恒定效果的影响情况，提出了一种带场景切换检测的 motion-jpeg2000 的 vbr 编码码率控制算法 lasd（leak-bucket algorithm with scene-change detection） ，并进行了相应的理论分析和仿真实验。 论文的创新点主要有： 1) 通过分析得出联合熵编码和码率控制时每次编码通道数关系到减少编码时间和提高 编码图像质量之间的权衡选择， 提出了根据各个码块所在子带的能量权重系数为各个 码块选择不同的每次编码通道数， 并在熵编码的同时进行码率控制， 可在保证编码图 像质量的同时提高一定的编码效率。 2) 基于视频序列前后帧之间存在的帧间相关性，提出了一种 motion-jpeg2000 的 cbr 编码码率控制算法 seuca。该算法利用帧间相关性，使用前一编码帧的率失真斜率 值估计当前帧的率失真情况，并结合使用 irec 和 eirec 算法进行编码，可以比较 有效地提高 cbr 编码的编码效率，降低编码计算冗余。 3) 采用带场景切换检测的双缓冲区漏桶算法来实现 motion-jpeg2000 的 vbr 编码，进 一步提高码流的图像质量恒定效果。 通过场景切换检测， 可以比较有效地降低缓冲区 里各帧的相关性， 并表征更多的图像帧编码的率失真情况， 因而各帧码率分配更加合 理，得到的码流质量更加恒定。 上海交通大学硕士学位论文 第一章 绪论 4 1.4 论文安排 1.4 论文安排 本论文共分为五部分，各部分具体内容安排如下： 第一章为绪论，简略介绍了 jpeg2000 的产生背景和应用前景，并指出研究 jpeg2000 码率控制算法的意义。 第二章详细介绍了 jpeg2000 静止图像压缩标准的发展过程、主要特性和 jpeg2000 编 码的主要过程以及 motion-jpeg2000 的主要特点，并详细阐述了图像和视频码率控制技术 的基本理论和典型算法，以此构成整个课题研究的理论基础。 第三章着重研究了 jpeg2000 的码率控制算法问题。首先介绍了 jpeg2000 码率控制算 法的研究情况， 并分析了各种算法目前所存在的不足； 然后具体介绍了一种比较高效的算法 即联合码率控制和熵编码算法，并分析了该算法所存在的压缩图像质量可能有所下降的缺 点；针对该缺点，本文提出了一种改进的码率控制算法 virec，并通过仿真实验验证了改 进算法的有效性。 第四章具体研究了 motion-jpeg2000 的码率控制算法，提出了利用帧间相关性的恒定 码率控制算法 seuca，采用两次扫描编码法实现了 motion-jpeg2000 的 vbr 编码，最后 提出了带场景切换检测的漏桶算法 lasd，并对上述算法进行了理论分析和仿真实验。 第五章对论文所做的工作进行了全面的总结， 并对于 jpeg2000 码率控制算法方面的进 一步研究提出了建议和方向。 上海交通大学硕士学位论文 第二章 jpeg2000 标准及码率控制技术 6 第二章第二章 jpeg2000 标准及码率控制技术标准及码率控制技术 2.12.1 jpeg2000 的发展过程的发展过程 jpeg 标准于20世纪80年代中期开始由itu和iso展开讨论， 1992年成为国际标准。 jpeg 的核心技术是以离散余弦变换（dct）为基础，熵编码采用游程长度编码和霍夫曼编码，算 术编码是可选项。jpeg逐步发展并得到广泛的应用，是一个非常成功的标准。但jpeg最明 显的缺陷在于低比特编码时块失真显著， 这是由于将图像信号从空间域向频率域变换时所采 用的离散余弦变换，将图像划分成88的方块，各方块的编码失真在块边缘处不连续所导致 的。对于对图像质量要求较高的应用，例如高清照片、数字图书馆、卫星云图、医学图像等， jpeg的表现都难以令人满意。 于是，20 世纪90年代早期，jpeg 委员会又增加了一个新计划，目的是弥补jpeg对连 续色调静止图像的无损压缩和近无损压缩效率不高的缺陷， 从而制定了iso/iec 14495标准， 即jpeg- ls。在给jpeg-ls提交的众多技术方案中，由ricoh所提议的一种基于小波技术的 crew(可逆嵌入式小波压缩)可以在单一压缩比特流同时实现无损和有损压缩，引起了广泛 的关注。虽然crew最终没有被jpeg-ls采纳，但是委员会意识到crew 算法提供了丰富 的特征集，值得形成一个新标准，于是在1996年初开始了jpeg2000工程。1997年3月开始征 集提案，并在1997年11月悉尼召开的wg1会议上对所提交的24种算法进行了评估，并将其 中wtco(小波格子编码量化)算法选定为jpeg2000参考算法。2000年12月，终于正式发布了 jpeg2000标准的第1部分，其正式名称为：jpeg2000图像编码系统part1核心编码系统18。 jpeg2000图像压缩标准的正交变换采用小波变换(wavelet transform)，熵编码采用算术 编码， 并通过嵌入式位平面编码、 码流分层组织等技术， 获得各种优异的压缩性能。 jpeg2000 还将彩色静止图像所采用的jpeg编码方式和二值图像所采用的jbig (joint binary image group)编码方式统一起来, 成为对应彩色、灰度和二值等多种图像格式的通用编码方式。 目前为止， jpeg2000标准的制定主要分第部分至第部分和第部分至第11部分19。 至2004年，其中的前6个部分都已公布为国际标准。part 1为核心编码系统（core coding system），定义了最小功能编解码器，且明确了其在标准的其它部分中的使用，还规定了一 上海交通大学硕士学位论文 第二章 jpeg2000 标准及码率控制技术 7 种简单的文件格式jp2；part 2为扩展部分（extensions），扩展了第1部分解码部分的高级特 征，包括扩展的文件格式支持和采用更复杂的算法来实现扩展的功能；part 3为motion-jpeg 2000部分，定义了运动图像压缩标准motion-jpeg2000，它对视频序列的每一帧均采用 jpeg2000标准进行压缩，并将输出码流打包成特定的mj2格式的文件。 2.22.2 jpeg2000 的主要特性的主要特性 jpeg2000标准采用了许多先进的图像压缩技术，压缩性能比jpeg有很大的改进和提 高。例如，用离散二维小波变换(dwt) 取代了离散余弦变换(dct)，并且在应用离散小波变 换时, 分别引入对数据整型到整型的可逆变换和实型到实型的不可逆变换， 从而实现对图像 的无损压缩和有损压缩两种不同的编码处理；采用带优化截断的嵌入式块编码算法ebcot （embedded block coding with optimal truncation），可以获得高度可伸缩的码流；采用基 于上下文关系的自适应二进制算术编码器实现，可以获得很高的编码效率。 正因为集合了众多先进的图像压缩技术，jpeg2000比许多其它图像压缩标准具有更好 的压缩性能。jpeg2000的主要特征有3,4： 1) 具有高压缩性能 在有损压缩时，jpeg2000的平均压缩效率比jpeg提高了约20%30%。并且，传 统的jpeg在低比特率编码时会产生dct变换固有的块失真，而jpeg2000因为采用小波 变换，只会出现人眼感知不太敏感的散状噪声，所以压缩后的图像显得更加细腻平滑， 主观图像质量更好。 2) 可同时实现无损压缩和有损压缩 jpeg2000可以在同一编码框架内同时实现无损和有损两种压缩方式, 以满足人们 不同的实际需求。 无损压缩主要是分量变换时采用整数变换矩阵， 小波变换采用整数系 数的5/3小波滤波器，并且不进行量化（即量化步长为1）。同时，jpeg2000提供的是 嵌入式码流，允许从有损到无损的渐进解压，即先解出有损图像，码流完全解码即得到 无损图像。 3) 具有多种渐进传输方式 所谓渐进传输就是逐步地传输图像数据,接受端可以逐渐解码并显示。jpeg2000可 以实现按图像精度、分辨率、空间位置和图像分量等四种渐进传输方式。 图像精度的 渐进传输就是先传输图像的轮廓数据， 再传输图像的细节数据以逐步细化图像质量， 使 上海交通大学硕士学位论文 第二章 jpeg2000 标准及码率控制技术 8 图像由朦胧到清晰。该功能的实现主要归功于jpeg2000码流的分层打包和灵活的码流 组织方式。 4) 可实现感兴趣区域编码 roi（region of interest）编码, 即感兴趣区域编码。jpeg2000允许用户在图像上自 定义roi图像区域, 并对这些区域的图像数据进行优先、优质的编码处理。对roi区域 图像的子带系数作位平面展开时，用称为maxshift的方法进行平滑处理，使得roi区域 的位平面高于背景区域的位平面，因而可以优先进行编码。 5) 支持码流的随机访问和处理 这一特征允许用户对任意指定图像区域随机访问,并允许在压缩域对部分图像区域 进行旋转、移动等处理，而无需将整个码流解码。jpeg2000码流的灵活组织方式有利 于实现该功能。 6) 具有优越的容错性能 jpeg2000采用具有再同步标记的分组结构，分成较小的编码单位（码块）和各编 码处理单元的算术编码终结，以及各码块内的差错检测和隐蔽机制等使得jpeg2000码 流具有优越的容错能力。 7) 具有开放的框架结构 提供一个开放的框架结构，便于对不同的图像类型和不同的应用场合优化编码系 统，是很吸引人的特性。在开放的结构中, 解码器只需实现核心的工具集和对码流的解 析。 如果必要, 解码器可能需要某种未知的工具，该工具应由数据源提供。 8) 支持基于内容的描述 对图像信息的检索和分类，是图像处理的重要研究领域之一。jpeg2000文件格式 灵活，支持用户对其感兴趣的各种数据信息进行快速、有效的检索。 2.32.3 jpeg2000 的编码过程的编码过程 jpeg2000 编解码器结构如图 2-1 所示，其中（a）为编码器框图，（b）为解码器框图。 可以看出，jpeg2000 编解码器主要包括前向/反向直流电平位移、前向/反向分量变换、小 波变换/小波反变换、量化/反量化、tier-1（第一阶段）编码/解码、tier-2（第二阶段）编码 /解码，和码率控制等部分组成。除了码率控制部分，编码器和解码器各部分均一一对应， 解码是编码的逆过程。 上海交通大学硕士学位论文 第二章 jpeg2000 标准及码率控制技术 9 前 向 分量变换 前向直流 电平位移 前 向 小波变换 量 化 tier-1 编 码 tier-2 编 码 原始 图像 编码 码流 码率控制 （a) tier-1 解 码 tier-2 解 码 反量化 小波 反变换 反 向 分量变换 反向直流 电平位移 编码 码流 重建 图像 （b) 图 2-1 jpeg2000 编解码器框图(a)编码器框图和(b)解码器框图5 figure 2-1 jpeg2000 codec structure. the structure of the (a) encoder and (b) decoder 5 对编码器来说，首先对原始图像进行预处理，包括图像区域的填充块（tile）分割、直 流电平的位移和颜色分量变换； 然后对各个填充块分量 （tile component） 进行离散小波变换， 并对子带小波系数进行量化；tier-1 编码将量化小波系数划分为小的码块（code block）并 对各个码块进行位平面展开， 每个位平面进行三次编码扫描， 各次扫描得到的符号流进行基 于上下文的算术编码，输出各个编码码段比特流；tier-2 编码对得到的比特流分层和打包， 并按一定的渐进顺序组织为输出码流。 码率控制部分是通过调整量化步长和截断编码码流来 实现各种期望的码率。以下各节将具体介绍 jpeg2000 的编码过程。 2.3.1 预处理预处理 2.3.1.12.3.1.1 填充块填充块(tile)分割分割 jpeg2000的编解码处理基本单元不是整幅图像，而是把图像分成若干互不重叠的矩形 块，即填充块（tile） ，对每一个填充块进行独立的编解码操作。 填充块分割的主要作用有： 当编码系统可用的存储资源不足以处理整幅图像时， 将图 像进行填充块分割，每个填充块分别进行独立的编码操作，可以更有效地利用内存资源。 对于文字和自然图像的混合图像进行压缩， 按其内容进行填充块分割， 可以对于不同的填充 块分别采用对应最佳的编码方法以提高编码效率。填充块分割还有利于感兴趣区域编码 （roi）的实现。 虽然填充块分割具有许多优点， 但解码后的图像容易出现各填充块之间的边线， 类似于 jpeg的dct块失真。因而，jpeg2000的某些高清晰度的应用（比如数字电影）规定填充块 上海交通大学硕士学位论文 第二章 jpeg2000 标准及码率控制技术 10 数目为1，即不允许进行填充块分割。 2.3.1.22.3.1.2 直流电平位移直流电平位移 图像的编解码器通常希望输入图像像素的动态范围大约以 0 为中心， 有利于编解码的处 理。假设某一图像分量各采样值用b比特表示，如果采样值( , )i x y为有符号数，则其对应 动态范围是 11 2( , )2 bb i x y ，大约以 0 为中心，不需要进行直流电平位移；如果各采 样值( , )i x y是无符号数，则其动态范围是0( , )2bi x y，需要进行直流电平位移，将各 采样值调整为动态范围以 0 为中心的( , )i x y。通常采用的直流电平位移公式为： 1 ( , )( , )2bi x yi x y =， 11 0( , )2 , 2( , )2 bbb i x yi x y (2-9) ()r d代表在误差不超过d时，传输一个像素平均使用的比特数的最小值。如果信源不是 正态分布的，则()r d的数值应该更小7。 典型的率失真函数曲线rd如图 2-6 所示。在区间 max (0,)d内，率失真函数()r d是 连续、单调递减的凸函数。当0d=时，编码对应于无损压缩，输入码率应大于或等于信源 熵( )h x；若 max d为最大容许失真，则相应码率下限为 max ()r d。 * d 图 2-6 典型的率失真曲线12 figure 2-6 typical rate-distortion curve12 率失真理论指出了在一定的图像失真下， 可能达到的编码码率的下限， 如果确定了失真 的度量标准和信源的统计特性，便可以得到率失真函数。但因为信源特性往往难以表征，直 接计算率失真函数需要大量的运算，在许多场合都难以应用。为解决该问题，可以采用率失 真模型的方法。 视频编码器的率失真模型提供了一种在一定编码比特范围内对图像质量的度 量，对于给定的码率，测量解码序列的最小失真，获得率失真曲线，并得到率失真模型，最 d ()r d ( )h x * ()r d max d * d0 上海交通大学硕士学位论文 第二章 jpeg2000 标准及码率控制技术 21 终根据率失真模型来确定码率控制方法。根据信源的统计特性，可分为高斯信源统计模型、 拉普拉斯模型、指数模型和低比特率模型等。 2.5.2 图像编码的码率控制2.5.2 图像编码的码率控制 随着多媒体和网络技术的蓬勃发展， 通信的信息量急剧膨胀， 有限的传输带宽越来越成 为宝贵的资源。 如何充分有效地利用有限的带宽， 已成为视频和图像通信领域的主要研究课 题之一。一般来说，码率控制是指根据一定的策略来控制和调整码流的比特率，使其在满足 传输带宽和通信延时等方面的需要的前提下保证重建的图像质量最好。 对于图像压缩而言，变换编码对图像样本进行变换以获得变换系数，该系数被组合成 频带或子带。每个频带都要进行量化和编码，码率控制（率分配）就是一个把量化步长和编 码率 b r分配给不同频带的过程18。对于视频编码而言，码率控制问题更加复杂，需要对不 同的编码单元分配不同的码率。最简单的就是根据编码复杂度等因素调整各个单元的量化 级，另外，调整帧率、帧类型或空间分辨率等都可以控制输出码率。 图像压缩系统的两个重要的性能指标是编码比特率（码率）和重建图像质量。码率通常 用每像素的比特数r表示，重建图像质量可用图像的失真（或者称编码误差）d表示，图 像失真的指标通常选择重构图像( , )g x y和原始图像( , )f x y的均方误差，即： 2 ( , )( , ) def x yg x y= （2-10） 一般来说，图像的码率r越大，则重建图像质量越好，失真d越小。反之，图像码率r越 小，则重建图像质量越差，失真d越大。可以看出，码率r和失真d成反比关系。如何权 衡和选择码率和失真的关系问题，即为率失真问题。 根据这两个性能指标， 图像压缩的码率控制策略可分为两种： 一种是在一定的总体码率 限制条件（小于某个最大码率 max r）下，使得图像失真最小，即 min d max . .st rr （2-11） 另一种码率控制策略是在一定图像失真限制条件（小于某最大图像失真 max d）下，使得压 缩图像的总码率最小，即 min r max . .st dd （2-12） 图像和视频编码的率失真性能主要受如下因素影响l1: 上海交通大学硕士学位论文 第二章 jpeg2000 标准及码率控制技术 22 1) 图像/视频序列的内容； 2) 编码参数(静止图像编码包括量化步长； 视频序列编码包括量化步长、 运动矢量搜索 范围、宏块帧内/帧间编码模式和帧率等)； 3) 编码算法(dct/dwt、运动估计算法、整像素/半像素精度运动补偿等)； 为了使编码的率失真性能更加优化，对编码参数进行调整的过程称为率失真优化 (rate-distortion optimization)。对于视频的码率控制而言，则不仅需要保证获得较好质量的 重建图像，并且需要考虑系统的延时和缓冲区的上溢或下溢。 2.5.32.5.3 视频码率控制基本原理视频码率控制基本原理 在多媒体通信中， 压缩视频流需要在带宽需求不一致且变化的网络上传输， 为了充分利 用提供的网络资源，并保证用户获得最优的感觉质量，在视频编码通信系统中，需要引入某 种流量控制机制。 视频编码器的输出码率过大会导致不可想象的业务拥塞， 并会导致网络阻 塞；另一方面，视频编码器输出码率无控制的减少，会导致不必要的质量降级及对现存带宽 资源的低效利用。 通常需采用流量控制技术即码率控制来调整并控制视频源的输出码率， 以 获得在质量和带宽利用上的最佳均衡21。传输过程中的码率控制一般通过引入缓冲区与