实验报告-数据滤波和数据压缩实验

1、实验题目：使用Haar小波和傅里叶变换方法滤波及数据压缩1实验目的（1）掌握离散数据的 Haar小波变换和傅里叶变换的定义，基本原理和方法（2）使用C+实现数据的Haar小波变换和离散傅里叶变换（3）掌握数据滤波的基本原理和方法（4） 掌握使用Haar小波变换和离散傅里叶变换应用于数据压缩的基本原理和方法，并 且对两种数据压缩进行评价2实验步骤2.1算法原理2.1.1 Haar小波变换（1）平均，细节及压缩原理设x1，x2是一组两个元 素组成的信号，定义平均与细节为a =（xr x2）/2，d =（x1 -x2）/2。则可以将a，d作为原信号的一种表示，且信号可由a，d恢复，x1 二a d ,

2、 x2 =a-d。由上述可以看出，当 x1，x2非常接近时，d会很小。此时，x1，x2可以近似的用a 来表示，由此实现了信号的压缩。重构的信号为a， a，误差信号为 | x1 -a |,| x2 - a |二| d |,| d |。因此，平均值a可以看做是原信号的整体信息，而d可以看成是原信号的细节信息。用a近似的表示原信号，可以实现对原信号的压缩，而且丢失的细节对于最终信号的重构不会有重大影响。对于多元素的信号，可以看成是对于二元信号的一种推广。（2）尺度函数和小波方程在小波分析中，引入记号=Xiw，其中，Xi,0）（t）表示区间1，0上的特征函数。定义称 联）为Haar尺度函数。由上式可知

3、，j，k都可以由伸缩和平移得到。小波分析中，对于信号有不同分辨率的表示，当用较低分辨率来表示原始信号时， 会丢失细节信息，需要找到一个函数来描述这种信息， 该函数称之为小波函数。基本的小波函数 定义如下：则'（t）（2t）0 -1）。: （t）称为Haar 小波。卫）=匚曲厂"称为两尺度方程，"（t）=川）一 “（t）称为小波方程。(3) Haar小波变换计算方法设xz.M是一个长度为2n(门1)的离散信号序列，记为佝，0，%1，2，该序列可以用如下的带有尺度函数来表示：一次小波分解的结果：f (t)=an,0*h,0(t) + + %0丄虫丄2"丄(t)

4、 +dn 丄0n_1,0(t) + + dn_!,2n 丄yn,2j(t)对上式积分，由尺度函数的正交性，可得10f(t)n-(t)d 牡仆。令 k=0,得到an丄0 =(an ,o an,)/"2。一般的，有同理傅里叶变换(1) 一维连续函数的傅里叶变换定义设f(t)为连续的时间信号，则定义FgJgf为f(t)的傅里叶变换，其反j27utdu。W/ n ,k _ e 3 2 _nk/N令Wn一。，则pg可改写为F(k)f(n )Wjk令N=2M，其中M为f (t) = j F(u)e变换为(2) 一维离散傅里叶变换对连续的时间信号f(t)等间隔采样，得到离散序列 f(n)。假设采样

5、N次，则序列表示为 f (0), f (1),，f (N -1)。令n为离散变量，u为离散频率变量，则一维离散傅里叶变换及其反变换定义：傅里叶变换的数学性质中，最重要的一点是：一个在时域或空域上看起来很复杂的信号(比如声音或图像)通常在频域上只集中在很小一块区域内，而很大一部分数值都接近于零。即一个在空域中看起来占满全空间的信号，从频域中很可能只占用了极小一块区域，而大部分频率是被为零的。这就得到一个极为实用的结论：一个看起来信息量很大的信号，其实可以只用极少的数据就可加以描述。只要对它先做傅里叶变换，然后只记录那些不接近零的频域信息就可以达到数据压缩的目的。(3) 快速傅里叶变换 FFT原理

6、FFT的基本思想：将大点数的DFT分解为若干个小点数 DFT的组合，从而减少运算量。1 M 4“乔二 f(2n)Mk一正整数。带入式中，得到1 M -4F°(k) = 'f(2 n 1)M，kM山则有上述推导说明：对一个长度为N的序列进行傅里叶变换可以通过将其划分为2个N/2的序列进行傅里叶变换，对于N/2的傅里叶变换，可划分为两个N/4的变换，这一过程不断迭代，知道两点的序列为止，可计算出该序列的傅里叶变换。（4）时间抽取的基2FFT蝶形算法对于（3）中的计算方法，可以采用蝶形运算符号来表示。本实验中采用的算法是时间 抽取的基2FFT算法实现快速傅里叶变换。数据压缩的评价准

7、则（1）数据压缩比设原始信号f（n）的数据量大小为 S,经过数据压缩后，信号的数据量变为M，般情况下M<S。则数据压缩比率的定义为：由上式可知，数据压缩得越小，其数据压缩比越大。（2）数据失真度对于压缩后的数据，可以采用反变换等方式还原信号。设原信号为f（n），还原信号为f1（n），则我们定义还原信号与原始信号的差异为数据失真度。显然，数据恢复越接近原始信号，数据失真度越小。2.2算法步骤（1）Haar小波方法步骤a）读入原始数据f（n）b）对原始数据f（n）进行小波变换。对原始数据进行不同层级（分辨率）下的小波变换，得到不同的小波变换结果An , Dnc）对于上步中的小波变换结果，把细

8、节分量Dn置为0，即滤波得到压缩数据And）对于滤波结果An，通过小波逆变换，恢复数据e）计算恢复数据与原始数据的差异，进行压缩评价（2）离散傅里叶变换步骤a）读入原始数据f（n）b）对原始数据f（n）进行离散傅里叶变换。使用蝶形算法计算傅里叶变换结果F（u）c）对F（u）进行滤波，保留低频成分，舍弃高频成分，即得到原始数据的近似表示d）对滤波结果的低频数据，高频分量恢复为零值，使用傅里叶反变换，恢复数据e）计算恢复数据和原始数据的差异，进行压缩评价2.3程序流程图图1 Haar小波变换流程图对结果的滤波在图1中，原始数据存放在文本文件eggs.txt中，由程序运行时读入。是舍弃小波分解的细节

9、部分。计算结果写入dwt.txt文件中。图2 Haar小波压缩数据差异计算流程图f(n)表示原始数图2是计算使用Haar小波进行数据压缩后，与原始数据差异。图中的 据，A(n)是小波变化结果，f1(n)表示逆变换结果。图3离散傅里叶变换流程图图3是傅里叶变换流程图。原始数据是eggs.txt 。对F(u)滤波时，舍弃高频信息。计算结果写入fft.txt文件中。图4离散傅里叶变换压缩数据差异计算流程图图4是傅里叶变化压缩数据后的差异计算。傅里叶逆变换时，对于高频分量补零，与低 频分量来恢复数据f1(n)。3实验结果分析(1)傅里叶变换图5测试数据集的FFT变换及IFFT变换结果1/2的数据经过变

10、换之在上图中，得到测试数据集的傅里叶变换结果。图中带括号的是数据变换的复数结果,经过后边的小数是变换后的幅值。可以看出，在傅里叶变换的结果中，有 后变为0值。这部分为0值的数据可以采用压缩方式存储，从而压缩原始数据。并且, 傅里叶反变换后，原始数据可以得到良好的恢复。图6 eggs.txt数据傅里叶变换结果n使用eggs.txt中的数据时，由于数据量较大，此处只是部分数据截图。数据不足2的部分用零补齐。可以看出，变换后的数据幅值较大，且基本没有为0数据。此时，采用阈值进行滤波处理，取阈值卞=30，即将阈值小于30的值置为0。（2 ）小波变换图7测试数据集的小波变换 DWT由上图的实验结果可以看

11、出，数据经过小波变换后，其能量集中于数据的靠前的小波系 数。对于相同的数据集，可以采用不同级别的小波变换数据。图8 eggs.txt数据小波变换结果由上图，对于实验数据，经过小波变换后，大部分的数据都为0。正式小波变换的这一特点，使得小波变换可以用于数据的压缩。4实验结论在文章的上两节中，分别介绍了使用傅里叶变换和小波变换处理数据的方法。由实验中，可以得到以下两点： 第一，傅里叶变换时数据的整体变换方法，数据经过傅里叶变化后，其 能量主要集中在变换结果的靠前的数据部分，对于后边的能量较小的部分，对于原始数据的差异描述，在存储时可以忽略， 从而进行数据压缩。第二，小波变换的方法是既考虑数据整 体

12、性，又考虑数据的局部性。数据小波变换后，小波变换的前半部分系数表示数据的整体， 后半部分表示数据的细节特征，对于一个连续的信号，其细节部分是微小的，可以忽略，从而使得小波变换的后半部分系数为0,从而实现了数据的压缩。小波变换可以在不同的层级上进行。对于一个连续的信号，采用傅里叶变换或是小波变换，数据可以得到较好的恢复，例如实验中的测试样本数据。对于给定的eggs.txt数据集，由于其波动较大，细节差异超过了原始信号，对其进行压缩，恢复得到的数据跟原始数据的差异很大。5实验心得体会（1）傅里叶变换和小波变换的原始数据快速傅里叶变换和小波变换处理的数据都是N =2"个。对于不足N的数据，用零补齐后进行相应的变换，原始数据实际上改变。（2）数据恢复数据压缩后，为了得到数据，数据恢复是必须的。 对于傅里叶变换，采用傅里叶反变换 的方法，可以得到压缩数据的回复数据； 对于小波变换， 则采用小波重构的方式。 由于采用 的压缩方式是有损的，所以恢复得到数据并非原始数据。（3）小波变换可以得到数据的不同分辨率的表示，对于数据的滤波和压缩也可以在不同的 分辨率上进行。原始数据是最高分辨率。采用的分辨率越高，则对于数据的压缩比越小。（4）对于非 2n 个数据的原始数据集（不采用补零方式）