（交通信息工程及控制专业论文）一种有效数字图像传输技术研究.pdf

南京航空航天大学硕士学位论文 i 摘 要 数字图像压缩技术是数字图像信号处理的基础环节，在航空航天、工业、生物医学和交通监控等众多方面有广泛的应用前景。 图像压缩技术研究目前主要集中于如何获得高压缩比、低失真率等；此外，针对应用领域的特点，研究适合于行业应用的视频图像压缩技术也是热点之一。本文利用离散余弦变换(dct)研究图像的压缩技术。在分析 dct 系数对图像压缩质量的影响的基础上，结合 dct 系数的能量分布特性，提出一种可用于视频图像分层传输及恢复的 dct 图像压缩、编码方法；实验验证所提出的方法是可行的、有效的；结合交通图像工程应用背景，利用提出算法，实现视频图像的分级发布及高效传输，实现根据用户需要定制压缩。提出算法能够根据后续图像处理需要，实现可控传输的目的，进一步减少图像传输量，为交通视频图像的高效压缩及传输提供基础。 通过分析交通图像在各部门的应用特点，研究并制定了图像分级传输的策略，并在此策略指导下，利用实验室网络环境下，通过模拟实验验证了所提算法的有效性。 关键词：离散余弦变换(dct)，图像压缩，视频传输，能量分布，交通视频图像 一种有效数字图像传输技术研究 ii abstract digital image compression technology is the basic part of digital image processing. it is widely used in many areas, such as aeronautics and astronautics, industry, biomedicine, traffic surveillance, and so on. these days, the studies of image compression have been concentrated on how to get high compression ratio, low distortion rate, etc. further more, according to the characteristic of different areas, how to get the appropriate compression method for industry application is also a focus. an image compression technology based on discrete cosine transform (dct) was studied in this paper. firstly, the influence of compression quality over the different dct coefficients was analyzed. secondly, considering the energy distribution characteristic of coefficients, image compression and coding method based on dct was proposed in this paper. the presented method could be used on layered video transmission and rebuild by controlling. experimental results showed that the method was available and valid. combined the application characteristics of traffic image, a classed issue and efficient transmit strategy was built. it could customize the different compression and encoding according to the users requirements. the proposed method could make transmission controllable and reduce the quantity of image transmission according to the requirements of subsequent image processing, which formed the base of efficient traffic video compression and transmission. analyzing the traffic image application characteristic in each department, a layered image transmission strategy was researched. according to this, the experiment was made under lab network environment, and the simulating experiment showed that the proposed method was valid. key words: discrete cosine transform (dct); image compression; video transmission; energy distribution; traffic video. 南京航空航天大学硕士学位论文 v 图表清单 图 2.1 dct 与 fft 线性比较. 10 图 2.2 均匀量化器和 dct 系数位置示意图. 11 图 2.3 量化 dct 系数编排方式. 12 图 2.4 量化 dct 系数的 zig-zag 扫描序号.13 图 2.5 行程编码. 14 图 2.6 jpeg 压缩数据语法流 . 17 图 3.1 lena 某局部 88fdct 和量化后的值 . 19 图 3.2 dct 块中 5 个 ac 系数的物理意义. 19 图 3.3 利用 dct 块中 ac 系数之间的关系提取的边缘类型. 20 图 3.4 图像(a)中某个 dct 块内最大能量系数的分布图. 20 图 3.5 流程图. 21 图 3.6 几组不同系数恢复图样的比较. 22 图 3.7 不同频率系数恢复图样. 23 图 3.8 比较实验. 24 图 3.9 dct 系数统计比较实验.25 图 3.10 某图像能量密度分布图. 26 图 3.11 最优化组合算法流程图. 26 图 3.12 编码流程图. 27 图 3.13 baboon 测试结果. 28 图 3.14 babara 测试结果. 29 图 3.15 blood 测试结果. 30 图 3.16 crowd 测试结果. 31 图 3.17 house 测试结果 . 32 图 3.18 lena 测试结果. 33 图 4.1 分级传输示意图. 35 图 4.2 某时刻路况截图 1. 36 图 4.3 某时刻路况截图 2. 36 图 4.4 帧差图像. 36 图 4.5 算法流程图. 37 图 4.6 第 111 帧测试结果. 38 图 4.7 第 112 帧测试结果. 39 图 4.8 第 120 帧测试结果. 39 图 4.9 第 111 帧比较. 40 图 4.10 第 120 帧比较. 40 图 4.11 背景图像. 41 图 4.12 分割效果. 42 表 2.1 图像编码方法. 5 表 2.2 压缩比与图像质量的关系. 7 表 2.3 亮度量化表值. 11 表 2.4 色度量化表值. 12 一种有效数字图像传输技术研究 vi 表 2.5 某亮度 y 子块量化后的系数. 15 表 2.6 dc 系数差分量化值分类表. 15 表 2.7 ac 系数分类表.16 表 3.1 误差分析. 21 表 3.2 恢复图像的 psnr. 23 表 3.3 不同恢复图像的 psnr 比较.24 表 3.4 几种图像的信噪比. 34 表 3.5 90%时压缩比. 34 表 4.1 恢复帧信噪比. 40 表 4.2 恢复帧信噪比. 40 表 4.3 分级传输信噪比. 42 承诺书 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人享有著作权的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体， 均已在文中以明确方式标明。 本人授权南京航空航天大学可以有权保留送交论文的复印件， 允许论文被查阅和借阅,可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存论文。 (保密的学位论文在解密后适用本承诺书) 作者签名： 日 期： 南京航空航天大学硕士学位论文 1 第一章 绪论 1.1 课题来源与背景 数字图像处理在整个交通领域有着广泛的应用， 特别是视频监控等技术在智能交通系统中占有重要的地位。 它的应用主要表现在交通监控系统、 交通指挥与诱导系统、自动驾驶与导航系统、智能收费系统和交通违章管理等。随着计算机科学以及快速傅立叶变换(fft)理论、小波分析、马尔柯夫随机场、分形理论、数学形态学、 人工智能和神经网络的发展， 数字图像压缩技术获得了飞速的发展，并已取得了成功的应用15。 图像压缩是交通监控视频处理、 传输和存储中的关键环节， 其主要优点就是降低计算机的处理压力，减少通信的带宽，保证系统的实时性和节约存储空间。目前开展的图像压缩大多基于离散余弦变换(dct)6和小波变换(wt)7技术，常用标准有 jpeg 标准8和 mpeg 标准等9。为了获得更高的压缩比和更加优良的图像/视频质量，关于这方面的研究仍在继续。 本文的研究就是在这种情况下展开的。 针对交通图像高可靠性及图像传输量大的特点， 开展基于交通图像的视频压缩技术研究， 以获得更加稳定的图像质量和进一步减少传输及存储数据量。 本文研究受到南京航空航天大学引进人才基金支持。 1.2 图像压缩技术研究现状 以 jpeg8、mpeg9为代表的图像压缩标准的图像编码技术，以信息论和数字信号处理技术为理论基础，主要采用 dct 编码技术，宗旨在去除图像数据中的线性相关性的一类编码技术。 但这类编码技术存在高压缩比时图像出现严重的方块效应等问题11。目前许多人正致力于新的图像编码技术研究(如：基于分割的压缩方案、基于模型的压缩方案及基于分形的压缩方案)，取得了一定效果。 1.2.1 压缩的技术特点综述 图像压缩一般是通过改变图像的表示方式实现的， 因此压缩和编码是分不开的。图像压缩的主要应用是图像信息的传输和存储，广泛地应用于交通、广电、通讯、 医学等领域2。 编码压缩方法有许多种， 从信息论角度可以分为两大类11： （1）冗余度压缩方法(无损压缩)就是从压缩后图像能过完全恢复出原来的图像，信息没有任何丢失，从数学上讲是一种可逆运算。 （2）信息量压缩方法(有损压缩)是无法完全恢复出原图像，允许信息有一一种有效数字图像传输技术研究 2 定的丢失失真。 从压缩编码的算法，主要分成以下四大类11： （1）像素编码：编码时对每个像素单独处理，不考虑像素之间的相关性。在像素编码中常用的几种方法有：脉冲编码调制(pulse code modulation，pcm)；熵编码(entropy encoding)；行程编码(run length encoding，rle)和位平面编码(bit plane encoding)。 （2）预测编码：去除相邻像素之间的相关性和冗余性，只对新的信息进行编码。因为像素的灰度是连续的，所以在一片区域中，相邻像素之间灰度值的差别可能很小。 如果只记录第一个像素的灰度， 其他像素的灰度都用它与前一个像素灰度之差来表示，就能起到压缩的目的。常用的预测编码有调制(delta modulation，dm)；微分预测编码(differential pulse code modulation，dpcm)。 （3）变换编码：将给定的图像变换到另一个数据域(如频域)上，使大量的信息能用较少的数据来表示，从而达到压缩的目的。变换编码有很多，如：离散傅立叶变换(discrete fourier transform，dft)；离散余弦变换(discrete cosine tranform，dct)；离散哈达玛变换(discrete hadamard transform，dht)。其中dct 编码具有快速算法，广泛应用与图像编码。变换编码不会造成误码扩散，其影响只限制在一个块内， 而且反变换后误码会均匀分散到块内各个像素上， 对视觉无甚影响。变换编码随着超大规模集成电路(vlsi)技术的飞速发展，实现起来十分容易。在本文里主要涉及到的就是 dct 编码。 （4）其他编码：如混合编码(hybird encoding)、矢量量化(vector quantize，vq)、lzw 算法等。 近年来出现了很多新的压缩编码方法12，如人工神经元网络(artificial neural network，ann)的压缩编码算法、分形(fractl)、小波(wavelet)、基于对象(object based)的压缩编码算法和基于模型(model based)的压缩编码算法。 1.2.2 基于 dct 压缩技术研究现状 尽管 wt 技术的研究比较多，但是实际应用中还主要采用以 dct 为主的编码技术，它不仅能获得高压缩率，更重要的是计算复杂度低，易于硬件实现等优点，被大多数国际图像、视频压缩标准推荐为核心压缩算法2,9,13,14。 当前 dct 的主要研究方向之一6是提高 dct 压缩计算效率以及硬件实现。例如： 根据图像数据为整数的特点， 提出一种 88 整型 dct/idct 变换算法15，基于 dsp 或其它嵌入式芯片的 88dct 算法实现等。 由于 dct 编码过程中先对整幅图像进行分块处理，然后对图像块做 dct变换和量化，忽略了空间相邻块之间的联系，所以在粗糙量化时，相邻取样落在不同的量化区间时容易产生方块效应、振铃效应、蚊子效应等，严重影响了恢复南京航空航天大学硕士学位论文 3 图像的主观质量， 其中方块效应在比特率越低时越明显。 所以如何克服编码效应提高重建图像质量也是非常重要的研究方向。减小编码效应的方法16大致可以分为两类： 一类是在编码器端采用不同的编码方案， 需要相应地更改编解码器的结构，称之为预处理；另一类是在解码器端进行，称为后处理。预处理通过滤波等技术去除噪声或一些次要的细节来减小编码所需的信息量， 或者通过码率分配来保证感兴趣的图像区域能分配更多的比特数。 后处理是针对编码后的图像， 在解码端采用各种技术来改善解码后的图像质量。 kuan hui tan 和 mohammad ghanbari 提出了 dct 的层式结构17， 是一种多分辨率分解形式的 dct 编码：把原始图像经过 2d-dct 后的图像分为 4 个块，再把具有相同频带子块按原来的空间位置组合成同频子带， 接着对低频子带进行逆 dct(idct)，得到的图像作为第二层输入图像，并重复上述过程，直到最后一层。这样使得 dct 同样具有 wt 相近的性能，解决了 wt 用于视频压缩编码会面临与相对成熟的运动估计和运动补偿算法不匹配的问题等18。 1.3 本文研究内容 本文在已有的图像压缩方法基础上，分析了 dct 系数的物理意义，并研究了一种图像编码算法。本文的主要工作： （1）利用系数能量分布，分析研究了 dct 系数对图像压缩质量的影响； （2）结合 dct 系数的能量分布特点，提出了一种基于能量的分布的 dct编码压缩方法，可以实现分层传输及恢复； （3）结合在交通图像的实际要求，设计并提出了可控分级传输的思想，优化网络资源，减少数据传输量； （4）在实验室模拟环境下，通过对实际采集的交通视频图像压缩及传输，验证了本文方法的有效性。 论文内容安排如下： 第一章为绪论，介绍了文本的研究背景和主要工作。 第二章介绍图像处理的基础知识、一些图像压缩的思想以及基于 dct 的压缩技术并分析了 fft 和 dct 编码 第三章分析了 dct 系数对图像压缩质量的影响，从能量的角度研究了一种dct 系数的能量密度分布图，优化 dct 系数，以此为基础研究了一种基于能量dct 的压缩方法，并通过实验分析了该方法。 第四章根据交通图像的特点， 提出一种基于能量分布的 dct 编码压缩方法，并通过实验验证了该方法的有效性。 第五章为总结。 一种有效数字图像传输技术研究 4 第二章 图像压缩基础 图像压缩涉及到许多研究领域与专业技术。 为了后续各章内容的展开， 本章简要介绍与本文相关的预备知识。 2.1 数字视频图像在计算机中的表示 计算机仅能处理数字信号， 因此必须将连续信号抽样和量化， 进行数字化处理。数字化后的图像称为数字图像(或离散图像)。本节介绍本文所用到的 bmp图像文件和 avi 音视频文件。 1、静态图像(bmp 文件)的表示 设连续图像 f(x,y)按等间隔采样，排成 mn 阵列，见式(2.1)所示19,20： ()()()()()()()()()()0 00 1011 011111 01111f,f,. f,n-f,f,. f,n-.f x,y =.f m - ,f m - ,. f m - ,n- (2.1) 图像阵列中每一个元素都是离散值，称为像素(pixel)。其中(x,y)是平面的二维坐标，f(x,y)代表(x,y)点的灰度值，由 8 位组成，其值范围从 0255，表示 256种不同的灰度级。 具有全彩色照片表达能力的图像为 24 位彩色图像。图像中的每一像素由rgb 三个分量组成，每个分量各占 8 位，每个像素需 24 位；fred(x,y)，fgreen(x,y)，fblue(x,y)取值范围为 0255。根据位图数据的特点，常用的灰度图每个像素占 1个字节；彩色图像则是灰度图像数据量的 3 倍。 2、视频图像 视频图像，也称为动态图像或者序列图像，是随时间变化的静态图像序列。它的一般数学表达形式可以写成 s(x,y,t)。x,y 为空间变量，t 为时间变量，s 为对应与时空点(x,y,t)的光学物理量。 avi(audio video interleaved)是 microsoft 公司开发的一种符合 riff 文件规范的数字音频与视频文件格式，现在已被 windows 95/98、os/2 等多数操作系统直接支持。avi 格式允许视频和音频交错在一起同步播放，支持 256 色和 rle压缩，但 avi 文件并未限定压缩标准，因此，avi 文件格式只是作为控制界面上的标准，不具有兼容性，用不同压缩算法生成的 avi 文件，必须使用相应的解压缩算法才能播放出来。 南京航空航天大学硕士学位论文 5 2.2 图像压缩思想 1、图像压缩原理 以大小为 256256 的 lena 标准灰度图片为例，其位图数据占用(256256/1024) 64kb，数据量很大。图像压缩基本思想就是根据图像数据的特点，利用编码等技术进行编码实现压缩。如采用常用的静态图像压缩标准 jpeg标准对 lena 压缩后，其图像大小为 11kb 左右，且从视觉上分辩不出差异。由此可以发现图像压缩的主要目的就是为了减少图像的存储空间和通信的带宽。 图像压缩技术利用图像固有的统计特性， 以及视觉生理、 心理学特性或记录设备和显示设备等的特性， 从原始图像中经过压缩编码提取有效的信息， 尽量去除冗余信息， 以便提高效率地进行图像的数字传输或存储， 在复原时仍能获得与原始图像差不多的恢复图像。图像数据的冗余包括以下几类：空间冗余(spatial redundancy) 、 时 间 冗 余 (temporal redundancy) 、 信 息 熵 冗 余 (entropy redundancy)、结构冗余、知识冗余、局部相似性冗余、图像区域的相同行冗余、纹理的统计冗余等。针对以上冗余人们提出了各种去除冗余的方法，表 2.1 列出了常用的行之有效的要所编码方法11,21。 表 2.1 图像编码方法 冗余种类空间冗余 时间冗余 信息熵冗余 视觉冗余 编码方法dpcm/adpcm 抽样与插值 dct，dft wavelet 帧间预测 运动估计 运动补偿 条件帧间补偿huffman 编码算术编码 矢量编码 视觉加权量化 视觉掩盖效应 重建图像的质量。人眼是重建图像质量主观评价的工具，通常至少选 20 人作为评判者，以保证结果的可靠性；在实际操作中我们通常采用峰值信噪比psnr 作为评判重建图像质量的一个度量。 psnr10210(/)loglmse (2.2) 其中l表示图像灰度值量化级数，如8bit量化的话，则l=255；而均方差mse定义为： 112001 ( , )( , )nmjimsef i jf i jm n= (2.3) 其中mn是图像尺寸，f(i,j)，f(i,j)分别表示原图像和重建图像在(i,j)处灰度值。 实际上，一个高效的图像/视频压缩编码法，往往是集多种方法的精华而设计出来，如jpeg标准主要采用dct、huffman编码等技术。 一种有效数字图像传输技术研究 6 2、图像压缩的基本方法 按照图像压缩后信息是否丢失， 可以将图像压缩分为无损压缩和有损压缩两大分类1。 无损压缩是指被压缩的数据进行解码后恢复的数据与原始的数据完全相同，无损编码的算法删除的仅仅是冗余的信息。 就目前的技术， 无损压缩算法一般可以把普通文件的数据压缩到原来的1/2至1/4。 常用的无损数据压缩有如下几种： (1) 行程编码：把连续重复的字符串用两个(或三个)字节来代替。 (2) 字典编码：用以前处理过的数据来表示编码过程中遇到重复部分，或者从输入的数据中创建一个短语字典，如果编码过程中再遇到该短语，则用字典中短语的“索引号”来表示。字典编码的算法有lz77，lzss，lz78和lzw。 (3) 香农-范诺编码：根据变长最佳编码定理来确定字符编码的长度。按照概率的大小排序，然后将字符分成两组，每组的概率和大体相当。再从树根到树叶构造二叉树。 (4) 哈夫曼编码：和香农-范诺编码一样，是一种变长编码方法。它根据字符出现的概率，用较短的代码代表频率高的字符，用较长的代码代表频率低的字符。也是通过构造二叉树来求得编码，但二叉树是从树叶到树根构造的。 (5) 算术编码：根据字符出现的概率分配一个区间，然后生成一个浮点数来代替输入字符的编码方法。 有损压缩是指由压缩数据解码所得的数据与原始数据相比有所不同， 虽然解码时不能精确恢复原始数据， 只能对原始数据进行近似重构， 但不影响人对原始数据表达信息的理解。有损编码方法主要有以下几种： (1) 标量量化和矢量量化编码： 标量量化是通过一个量化器减少图像的灰度等级。 矢量量化编码是将矢量是将矢量分组， 从每组中选出一个矢量作为该组的代表， 当字符流中出现这一组矢量时， 以该矢量的编码来代替作为编码。 (2) 变 换 编 码 ： 典 型 的 变 换 有 傅 立 叶 变 换 、 离 散 余 弦 变 换22 、k-l(karhunen-loeve)变换以及离散小波变换(dwt)23。 (3) 预测编码：常用的预测编码方法有pcm、dpcm和adpcm等。 (4) 模型法编码：将图像分割成几个基本的模型，保存模型的参数。解码时，根据模型和参数进行信息合成，从而重构原始图像。 综合考虑各种因素， 如去除信息相关性的能力、 算法的速度和实现复杂性以及人类视觉的相似性等，各种编码方案中基于dct和基于小波变换的图像编码南京航空航天大学硕士学位论文 7 具有比较明显的优势， 已经成为近十多年来静态图像和视频编码的研究热点。 不过在基于dct和基于小波变换的图像压缩编码器里，可能包含有预测编码、信息熵编码、子带编码等，因此，这些编码方案可以综合考虑。 dct算法偏重于图像的视觉效果，空间预测偏重于无失真编码24。 与无损压缩相比较， 有损压缩最明显的优点就是可以实现比较高压缩比。 使用有损压缩算法时，在压缩比为25：1的情况下，压缩后还原得到的图像与原始图像相比较，非图像专家难于找出它们之间的区别，因此得到了广泛的应用。 jpeg压缩是有损压缩，它利用了人的视觉系统的特性，使用量化和无损压缩编码相结合来去掉视觉的冗余信息和数据本身的冗余信息。jpeg标准的主要框架是88fdct、量化、 “z”字编码、游程编码和huffman(熵)编码25。表2.2为压缩比与图像质量的关系。 表 2.2 压缩比与图像质量的关系 压缩效率（单位：bits/pixel）图像质量 0.250.50 中好，可满足某些应用 05.0.75 好很好，满足多数应用 0.721.5 极好，满足大多数应用 1.52.0 与原始图像几乎一样 2.3 基于 dct 的压缩技术 从本质上讲， 图像是一组二维矩阵。 对这个二维矩阵的编码压缩是图像压缩的主要工作， 它可以减少存储空间或传输量。 离散余弦变换可以实现图像矩阵从时域到频域的变换，消除图像空间上的冗余度，实现压缩的目的。数字图像矩阵是一个离散的二维的矩阵， 表示某个像素与相邻像素的空间关系； 使用二维离散余弦变换(2d-dct)可以考虑整个空间上的相关性。同时，数字图像矩阵的是实数矩阵，处理后的数据也需要采用实数表达，这正好适合dct特点。首先介绍一下离散傅立叶变换。 2.3.1 快速傅立叶变换 连续函数的傅立叶变换是信号分析的有力工具，但是为了使之用于计算机技术，必须将连续变换转换成离散变换，也就是离散傅立叶变换(discrete fourier transform，dft)。 离散傅立叶变换在数字信号处理和数字图像处理中都得到了十分广泛的应用， 它在离散时域和离散频域之间建立了联系。 如果直接应用卷积和相关运算在时域中处理，计算量将随着采样点n的平方而增加，这使计算机的计算量迅速一种有效数字图像传输技术研究 8 增大，耗时增多，很难达到对数字图像实际处理。因此，一般可采用离散傅立叶变换方法， 将输入的数字信号首先进行频域处理， 再利用离散时域与离散频域之间的联系， 将在离散频域中处理的效果反馈给离散时域， 这样比在时域中直接对数字图像处理变得更加快捷便利， 计算量也会大大减少， 同时提高数字图像的处理速度，增强算法的实用性。 为了提高计算效率，普遍采用快速傅立叶算法(fast fourier transform， fft)，使计算量减少到只是相当于直接使用离散傅立叶变换所用的一小部分。并且，二维离散傅立叶变换很容易从一维的概念推广得到。在数字图像处理中，二维离散傅立叶被广泛地应用与图像增强、复原、编码和分类中1。 1、dft的定义和性质 如果为以长度n的数字序列，则其离散傅立叶变换定义如下： 102( )( )expnxuxf uf xjn= (2.4) 傅立叶反变换定义如下： 1012( )( )expnuuxf xf ujnn= (2.5) 其中0,1,2,1xn=l；0,1,2,1un=。 傅立叶变换具有很多方便运算处理的性质，主要如下： (1)傅立叶变换是一个线性变换。 (2)一个二维傅立叶变换可以用二次一维傅立叶变换来实现。 (3)傅立叶变换具有平移特性。 (4)傅立叶变换前后能量保持定理。 (5)卷积定理：时域的卷积等于频域的乘积。 2、fft的实现 现在， 离散傅立叶变换已经成为数字信号处理的重要工具， 但它的计算量较大，运算时间长，在某种程度上限制了它的使用。为了解决这一矛盾，引用了快速傅立叶变换的思想。 快速傅立叶变换并不是一种新的变换方式， 它是离散傅立叶变换的一种算法， 这种方法是建立在分析离散傅立叶变换中的多余运算的基础上， 进而消除这些重复工作的思想指导下得到的， 从而在运算中节省了大量的计算时间，达到快速运算的目的。 常用的快速傅立叶变换算法是n为2的整数幂次方的碟形算法26,27,28,29,30,31。 3、dft的特点 (1)需要计算复数，不但计算复数运算比较费时，而且一般图像处理只在实数域进行运算。 南京航空航天大学硕士学位论文 9 (2)收敛性慢，在图像编码应用中尤为突出。 (3)若将给定的序列延拓成偶对称列，它的dft也只含有余弦项。在图像处理中，常常利用fourier变换实现对原图像的噪声进行控制。 2.3.2 离散余弦变换 1、离散余弦变换的定义及性质 一维离散余弦变换(discrete cosine transform，dct) 32,33,34,35的定义如下： 101(0)( )nxff xn= (2.9) 102(21)( )( )cos2nxxuf uf xnn=+= (2.10) 一维离散余弦变换的逆变换定义如下： 1112(21)( )(0)( )cos2nuxuf xff unnn=+=+ (2.11) 如 果 傅 立 叶 变 换 中 指 数 项 通 过 欧 拉 公 式cossinjxexjx=+和cossinjxexjx=进行分解，其傅立叶变换实数部分对应于余弦项，其虚数部分对应于正弦项，因此，离散余弦变换可以从傅立叶变换的实数部分求得，即离散余弦变换可以改写成以下形式： 210222( )reexp( )exp22nxj ujuxf uf xnnn= (2.12) 其中1,2,1un=l。 从此公式可以看出， 其实dct就是dft的只有实数的特殊形式， 所以dct也具备了dft的一般性质。 2、dct的实现 最简单的方法就是根据上述dct与dft之间的关系，对图像进行fft变换之后，取它们的实数部分即可。一般对图像是采用分块88dct进行变换，b.g.lee提出了一种88的蝶形算法30，此算法跟fft的蝶形算法类似，一般dct实验都采用这种算法。另外就是根据硬件的实际结构，设计出很多不同的针对嵌入式硬件的算法。 3、dct特点 (1)dct变换是保距变换36,37,38,39,40。 分别对m个维数为n的样本进行dct变换后并不影响数据点之间的相互距离，也就是说，dct不影响数据间的拓扑结构。由dct的“能量聚集”特性，可以得知变换后的数据点之间的欧式距离中前面少数维的贡献最大， 后面大部分的坐标分量趋近为零， 对距离的贡献非常一种有效数字图像传输技术研究 10 小。也就是说，可以通过损失较小的空间信息舍弃大部分后面多余维数，来达到降低处理数据的维数。 当然舍弃维数的多少应当视不同的数据变换后的能量聚集情况以及所能忍受的精度有所不同。这也是dct数据压缩的本质含义。 (2)dct是在实数域上进行变换的1,41,42。 数字图像处理一般都是对实数进行处理， 而且处理结果也是实数， 所以在使用傅立叶变换的时候明显复数运算是多余的，dct的计算量比dft要小得很多。 (3)dct对线性逼近也是优于fft的43，如图2.1所示： 图 2.1 dct 与 fft 线性比较 4、基于dct变换的图像压缩思想 “变换” 是指对给定函数(原函数)进行一种数学运算并得到一个新的函数(像函数)。dct变换是一种应用广泛的压缩方法43。首先把每个单独色彩图像分量成88图像块，然后经过二维dct变换，其低频分量都集中在左上角，高频分量分布在右下角(dct变换实际上是空间域的低通滤波器)。 由于该低频分量包含了图像的主要信息(如亮度)，而高频与之相比，就不那么重要了，所以可以忽略高频分量，达到压缩的目的。 fdct变换使用公式(2.13)计算， 77001(21)(21)( , )( , )coscos41616uvxyxuyvf u vc cf x y=+= (2.13) 逆变换idct使用公式(2.14)计算， 77001(21)(21)( , )( , )coscos41616uvxyxuyvf u vc cf x y=+= (2.14) 上两式中，当,0u v=时，,12uvc c =； ，其他情况,1uvc c= 。 严格说dct本身并不能进行码率压缩， 因为64个样值仍然得到64个系数。南京航空航天大学硕士学位论文 11 经dct变换后， 比特数增加了， 直流分量的最大值是原来256的64/8倍， 即02047，交流分量的范围是-10241023。量化是对经过fdct变换后的频率系数进行量化，将dct系数按比例缩小，并取其最接近的整数值的处理过程称为量化。 量化的作用是在保持一定质量前提下， 丢弃图像中对视觉效果影响不大的信息。量化的目的减小非“0”系数的幅度以及增加“0”值系数的目的。量化是图像质量下降的最主要原因。由于量化表左上角的值较小，右下角的值较大，这样就起到了保持低频分量，抑制高频分量的目的。 (a) (b) 图 2.2 均匀量化器和 dct 系数位置示意图 表 2.3 亮度量化表值 n 量化步长 n 量化步长n量化步长n量化步长 00 17 01 18 0224 0347 04 99 05 99 0699 0799 08 18 09 21 1026 1166 12 99 13 99 1499 1599 16 24 17 26 1856 1999 20 99 21 99 2299 2399 24 47 25 66 2699 2799 28 99 29 99 3099 3199 32 99 33 99 3499 3599 36 99 37 99 3899 3999 40 99 41 99 4299 4399 44 99 45 99 4699 4799 48 99 49 99 5099 5199 52 99 53 99 5499 5599 56 99 57 99 5899 5999 60 99 61 99 6299 6399 对于有损压缩算法，jpeg算法使用如图2.2(a)所示的均匀量化器进行量化，量化步骤是按照系数所在的位置和每种颜色分量的色调值来确定。 因为人眼对亮度信号比对色差信号更敏感，因此使用了两种量化表；如表2.3所示的亮度量化值和表2.4所示的色差量化值。此外，由于人眼对低频分量的图像比对高频分量图像更敏感，因此图中的左上角的量化步距要比右下角的量化步距小。表2.3和一种有效数字图像传输技术研究 12 表2.4中的数值对ccir601标准电视图像已经是最佳的，同样也可以使用自定义的量化表来替换。图2.2(b)表示了一个88子块里n的取值和系数位置的关系。 表 2.4 色度量化表 n 量化步长 n 量化步长n量化步长n量化步长 00 16 01 11 0210 0316 04 24 05 40 0651 0761 08 12 09 12 1014 1119 12 26 13 58 1460 1555 16 14 17 13 1816 1924 20 40 21 57 2269 2356 24 14 25 17 2622 2729 28 51 29 87 3080 3162 32 18 33 22 3437 3556 36 68 37 109 38103 3977 40 24 41 35 4255 4364 44 81 45 104 46113 4792 48 49 49 64 5078 5187 52 103 53 121 54120 55101 56 72 57 92 5895 5998 60 112 61 100 62103 6399 量化的结果会使得大多数高频分量系数变为零， 特别在高空间频率段， 将会出现大量连续的零。 由于大多数图像的高频分量较小， 相应于图像高频成分的系数经常为零，加上人眼对高频成分的失真不太敏感，所以可用更粗的量化；对低频分量采用较细的量化，而对高频分量采用较粗的量化。 为了量化后保证低频分量先出现，高频分量后出现，以增加行程中连续“0”的个数，这63个ac元素采用了“之”字型或者“z”字型(zig-zag)的排列方法，如图2.3，2.4所示。这样就把一个88的矩阵变成一个164的矢量，低频较低的系数放在矢量的顶部。 图 2.3 量化 dct 系数编排方式 南京航空航天大学硕士学位论文 13 图 2.4 量化 dct 系数的 zig-zag 扫描序号 需要注意的是，在jpeg标准里，dc系数不需要参与“z”字编码，本文认为它是一个特殊的ac系数(频率为0)放在“z”字编码的首位。 2.3.3 直流系数的编码 88图像经过dct变换之后得到的dc直流系数有两个特点，一是系数的数值比较大， 二是相邻88图像块的dc系数值变化不大。 根据这个特点，jpeg算法使用了差分脉冲调制编码(dpcm)技术，对相邻图像块之间量化dc系数的插值(delta)进行编码， 1(0,0)(0,0)kkdeltadcdc= （2.15） 2.3.4 交流系数的编码 量化ac系数的特点是163矢量中包含有许多“0”系数，并且许多“0”是连续的，因此使用非常简单和直观的游程长度编码(rle)对它们进行编码。 jpeg使用了1个字节的高4位来表示连续“0”的个数，而使用 的低4位来表示编码下一个非“0”系数所需要的位数，跟在它后面的是量化ac系数的数值。 这63个ac系数行程编码的码字用两个字节表示，如图2.5示。 一种有效数字图像传输技术研究 14 图 2.5 行程编码 2.3.5 熵编码 使用熵编码还可以对dpcm编码后的直流dc系数和rle编码后的交流ac系数作进一步的压缩。 在jpeg有损压缩算法中能够， 使用huffman编码器来减少熵。 使用huffman编码器的理由是可以使用很简单的查表(lookup table)方法进行编码。huffman编码是根据出现的概率将每一个符号映射到一个vlc上26。压缩数据符号时，huffman编码器对出现频度比较高的符号分配比较短的代码， 而对出现频度比较低的符号分配比较长的代码。这种可变长度的huffman码表可以事先进行定义。 huffman编码，分成两步： （1） 熵编码的中间格式表示 对于ac系数，有两个符号。符号1为行程和尺寸，即上面的(runlength，size)。(0，0)和(15，0)是两个比较特殊的情况。(0，0)表示块结束标志(eob)，(15，0)表示zrl，当行程长度超过15时，用增加zrl的个数来解决，所以最多有三个zrl(316+15=63)。符号2为幅度值(amplitude)。 对于dc系数，也有两个符号。符号1为尺寸(size)；符号2为幅度值(amplitude)。 （2）熵编码 对于ac系数，符号1和符号2分别进行编码。零行程长度超过15个时，有一个符号(15，0)，块结束时只有一个符号(0，0)。 对符号1进行huffman编码(亮度，色差的huffman码表不同)。对符号2进行变长整数vli编码。举例来说：size=6时，amplitude的范围是-63-32，以及3263，对绝对值相同，符号相反的码字之间为反码关系。所以ac系数为32的码字为100000，33的码字为100001，-32的码字为011111，-33的码字为011110。符号2的码字紧接于符号1的码字之后。 对于dc系数，y和uv的huffman码表也不同。 举个例子来说明上述过程。 南京航空航天大学硕士学位论文 15 下面为88的亮度(y)图像子块经过量化后(四舍五入取整)的系数(如表2.5所示)。 表 2.5 某亮度 y 子块量化后的系数 n dct 系数 n dct 系数ndct 系数ndct 系数 00 15 01 0 02-1 030 04 0 05 0 060 070 08 -2 09 -1 100 110 12 0 13 0 140 150 16 -1 17 -1 180 190 20 0 21 0 220 230 24 0 25 0 260 270 28 0 29 0 300 310 32 0 33 0 340 350 36 0 37 0 380 390 40 0 41 0 420 430 44 0 45 0 460 470 48 0 49 0 500 510 52 0 53 0 540 550 56 0 57 0 580 590 60 0 61 0 620 630 可见量化后只有左上角的几个点(低频分量)不为零，这样采用行程编码就很有效。 第一步，熵编码的中间格式表示：先看dc系数。假设前一个88子块dc系数的量化值为12， 则本块dc系数与它的差为3， 根据表2.623， 查表得size=2，amplitude=3，所以dc中间格式为(2)(3)。 表 2.6 dc 系数差分量化值分类表 差值位数差值内容 0 1 2 3 4 5 6 7 8 9 10 11 0 -1，1 -3，-2，2，3 -7，-4，4，7 -15，-8，8，15 -31，-16，16，31 -63，-32，32，63 -127，64，64，127 -255，-128，128，256 -511，-256，256，511 -1023，-512，512，1023 -2047，-1024，1024，2047一种有效数字图像传输技术研究 16 下面对ac系数编码。经过zig-zag扫描后，遇到的第一个非零系数为-2，其中遇到零的个数为1(即runlength)，根据表2.723，查表得size=2.所以runlength=1，size=2，amplitude=-2，所以ac中间格式为(1，2)(-2)。 其余的点类似，可以求得这个88子块熵编码的中间格式为 (dc)(2)(3)，(1,2)(-2)，(0,1)(-1)，(0,1)(-1)，(2,1)(-1)，(eob)(0,0) 表 2.7 ac 系数分类表 差值位数差值内容 0 1 2 3 4 5 6 7 8 9 10 0 -1，1 -3，-2，2，3 -7，-4，4，7 -15，-8，8，15 -31，-16，16，31 -63，-32，32，63 -127，64，64，127 -255，-128，128，256 -511，-256，256，511 -1023，-512，512，1023第二步，熵编码： 对于(2)(3)：(2)查dc亮度huffman表得到11，3经过vli编码为011； 对于(1，2)(-2)：(1，2)查ac亮度huffman表得到11011，-2是2的反码，为01； 对于(0，1)(-1)：(0，1)查ac亮度huffman表得到00，(-1)是1的反码，为0； 以此类推。 最后，这一88子块亮度信息压缩后的数据流为11011，1101101，000，000，000，111000，1010。总共31比特，其压缩比是648/31=16.5，大约每个像素用半个比特。 2.3.6 组成位数据流 jpeg编码最后一个步骤是把各种标记代码和编码后的图像数据组成一帧一帧的数据，这样做的目的是为了便于传输、存储和译码器进行译码，这样的组织的数据通常称为jpeg位数据流(jpeg bitstream)。 由此可见，dc系数使用了预测编码dpcm，ac系数使用了变换编码dct，南京航空航天大学硕士学位论文 17 二者都使用了熵编码