试验报告数据滤波和数据压缩试验

1、实验题目：使用Haar小波和傅里叶变换方法滤波及数据压缩1实验目的（1）掌握离散数据的 Haar小波变换和傅里叶变换的定义，基本原理和方法（2）使用C+实现数据的Haar小波变换和离散傅里叶变换（3）掌握数据滤波的基本原理和方法（4） 掌握使用Haar小波变换和离散傅里叶变换应用于数据压缩的基本原理和方法，并且对两种数据压缩进行评价2实验步骤2.1算法原理2.1.1 Haar小波变换（1）平均，细节及压缩原理设x1，x2是一组两个元素组成的信号，定义平均与细节为a （x1x2）/2，d （x1 x2）/2。则可以将a，d作为原信号的一种表示，且信号可由a，d恢复，x1 a d，x2 a d。由

2、上述可以看出，当 x1，x2非常接近时，d会很小。此时，x1，x2可以近似的用a 来表示，由此实现了信号的压缩。重构的信号为a， a，误差信号为 | x1 a |，1 x2 a| | d |，1 d |。因此，平均值a可以看做是原信号的整体信息，而d可以看成是原信号的细节信息。用a近似的表示原信号，可以实现对原信号的压缩，而且丢失的细节对于最终信号的重构不会有重大影响。对于多元素的信号，可以看成是对于二元信号的一种推广。（2）尺度函数和小波方程在小波分析中，引入记号 X1,o）（t），其中，乂口表示区间1，0上的特征函 数。定义j,k（t）（2jt k）,k 0,1,.,2j 1称（t）为Ha

3、ar尺度函数。由上式可知，j,k（t）都可以由°0伸缩和平移得到。小波分析中，对于信号有不同分辨率的表示， 当用较低分辨率来表示原始信号时，会丢失细节信息，需要找到一个函数来描述这种信息，该函数称之为小波函数。基本的小波函数定义如下：1,0 t 1/2(t)X0J/2)(t) X1/2,1)(t)1,1/2 t 10,其他则(t)(2t)(2t 1)。(t)称为 Haar 小波。(t)1,o(t)1,1(t)称为两尺度方程，(t)1,o(t)1,1(t)称为小波方程。(3) Haar小波变换计算方法设xz-x”是一个长度为2n(n>1)的离散信号序列，记为佝0，%1? 1，该序

4、列可以用如下的带有尺度函数来表示：f (t)an,0 n,0(t) - an,2n 1 n,2n 1 (t)一次小波分解的结果：f (t)an 1,0 n 1,0 .an 1,2n 1 1 n 1,2n 11(t)dn 1,0n 1,0 (t).dn 1,2n 1 1 n 1,2n 1 1 (t)对上式积分，由尺度函数的正交性,可得10 f (t) n 1,k (t)dtan 1,k。令 k=0，得到1,0(an,0an,1)/ .2。般的,1,k(an,2kan,2k 1)/ ' 2,k0,1,.2n同理dn 1,k(an,2kan,2k 1 ) / ' 2, k0,1,.2

5、n2.1.2傅里叶变换(1) 一维连续函数的傅里叶变换定义设f(t)为连续的时间信号，则定义卩("f(t)e j2utdt 为f(t)的傅里叶变换，其反F(u)ej2 utdu。变换为""(2)一维离散傅里叶变换对连续的时间信号f(t)等间隔采样，得到离散序列f(n)。假设米样N次，则序列表示为 f (0), f (1),，f (N 1)。令n为离散变量，u为离散频率变量，则一维离散傅里叶变换及其反变换定义:un/ N,u 0,1,., N 1N 1F(u) -Nf(n)e j2n 0N 1j2 un/Nf(n) F (u)ej ,n 0,1,.,N 1u 0最重

6、要的一点是：一个在时域或空域上看起来很复杂的信号 而很大一部分数值都接近于零。而大部 其实可傅里叶变换的数学性质中，（比如声音或图像）通常在频域上只集中在很小一块区域内，即一个在空域中看起来占满全空间的信号，从频域中很可能只占用了极小一块区域，分频率是被为零的。这就得到一个极为实用的结论：一个看起来信息量很大的信号,以只用极少的数据就可加以描述。只要对它先做傅里叶变换，域信息就可以达到数据压缩的目的。（3）快速傅里叶变换 FFT原理FFT的基本思想：将大点数的DFT分解为若干个小点数号,然后只记录那些不接近零的频DFT的组合，从而减少运算量。F(k)n ,kj 2 nk/N令Wne，则F(u)

7、可改写为n kf( n)WJN n 0。令N=2M，其中M为一正整数。带入式中，得到2M 1In kF(k)f(n)W2M2M n 01F（k）1 M 1d0f(2n)Wn，k1f (2 no1WM,kw2MFe(k)令1f(2 n)W；k0Fo(k)1n kf (2n 1)Wm0则有F(k)Fe(k) Fo(k)W2kMF(k上述推导说明：对一个长度为N的序列进行傅里叶变换可以通过将其划分为2个N/2的序列进行傅里叶变换， 对于N/2的傅里叶变换，可划分为两个N/4的变换，这一过程不断 迭代，知道两点的序列为止，可计算出该序列的傅里叶变换。（4）时间抽取的基2FFT蝶形算法对于（3）中的计算

8、方法，可以采用蝶形运算符号来表示。本实验中采用的算法是时间 抽取的基2FFT算法实现快速傅里叶变换。2.1.3数据压缩的评价准则（1）数据压缩比设原始信号f（n）的数据量大小为 S,经过数据压缩后，信号的数据量变为M，般情况下M<S。则数据压缩比率的定义为:（S M ）/S由上式可知，数据压缩得越小，其数据压缩比越大。（2）数据失真度对于压缩后的数据，可以采用反变换等方式还原信号。设原信号为f（n），还原信号为f1（n），则我们定义还原信号与原始信号的差异为数据失真度。显然，数据恢复越接近原始信号，数据失真度越小。2.2算法步骤(1) Haar小波方法步骤a) 读入原始数据f(n)b)

9、对原始数据f(n)进行小波变换。对原始数据进行不同层级(分辨率)下的小波变换，得到不同的小波变换结果An , Dnc) 对于上步中的小波变换结果，把细节分量Dn置为0，即滤波得到压缩数据And) 对于滤波结果An，通过小波逆变换，恢复数据e) 计算恢复数据与原始数据的差异，进行压缩评价(2) 离散傅里叶变换步骤a) 读入原始数据f(n)b) 对原始数据f(n)进行离散傅里叶变换。使用蝶形算法计算傅里叶变换结果F(u)c) 对F(u)进行滤波，保留低频成分，舍弃高频成分，即得到原始数据的近似表示d) 对滤波结果的低频数据，高频分量恢复为零值，使用傅里叶反变换，恢复数据e) 计算恢复数据和原始数据

10、的差异，进行压缩评价2.3程序流程图图1 Haar小波变换流程图在图1中，原始数据存放在文本文件eggs.txt中，由程序运行时读入。对结果的滤波是舍弃小波分解的细节部分。计算结果写入dwt.txt文件中。图2 Haar小波压缩数据差异计算流程图f(n)表示原始数图2是计算使用Haar小波进行数据压缩后，与原始数据差异。图中的 据，A(n)是小波变化结果，f1(n)表示逆变换结果。图3离散傅里叶变换流程图舍弃高频信息。计图3是傅里叶变换流程图。原始数据是eggs.txt 。对F(u)滤波时, 算结果写入fft.txt 文件中。图4离散傅里叶变换压缩数据差异计算流程图与低图4是傅里叶变化压缩数据

11、后的差异计算。傅里叶逆变换时，对于高频分量补零,频分量来恢复数据f1(n)。3实验结果分析(1)傅里叶变换十马丸江師険先天囹酝麻刨甩即也柑彎里UT養祺吐ARK环计爵口 i曰數据总量：32 ：池原岛薮据：1 2345£7B9W1113131+15161 2345&78910111213H1515M X Vt XX 94 MTXH其其 MKM 翼 >*翱*其*<>*恢速傅里叶娈换结果,r nwt-r -r tr i_- nr v-r nrb-tR-w '«-r (272,0>p17* rrRIfPf 鼻<0.B)6<-16.8

12、0.4374>5.12583<0,»>6C-16,3B.6274>2.61313<0,9>6<-16>23.9457>1.79995<0,9>61.41421丄6,10-6?0?>1.26269<0,0>S1.06239<&r&>01.81959fl(-16,0>1<0,0>e1.01959QC-lt,-6.&2742>1.88239<0,0>e1.202tQ1 .41-121sau<-16-23.9457>£

13、; .799-95<a,a>e<-1,-38.&274>2.61319<a,a>eC-±fc.-SO,4374>E.125S30博虽用反变泰结集：1 234*>5?7?LA11121?liIS161 2345E?791011121314151&图5测试数据集的FFT变换及IFFT变换结果在上图中，得到测试数据集的傅里叶变换结果。图中带括号的是数据变换的复数结果，后边的小数是变换后的幅值。可以看出，在傅里叶变换的结果中，有1/2的数据经过变换之后变为0值。这部分为0值的数据可以采用压缩方式存储，从而压缩原始数据。并且，经过

14、傅里叶反变换后，原始数据可以得到良好的恢复。乖F：马大江档诿玻挖掘科关谐悄捞花怛It出胡、逓和耳星叶交變三磔5驛灭出ourieADe-djS.“ F:百太江交哥戴碗E瑁关读I拥s足作丄-T曲曲知暉里叶变换巨细煤'Fast% urierDe2231 2 1量：振1養居增6tt快速傅墨叶变换結果：LrMWMWMtOMMtCM-NMN“4叭®539.163394.571120.427 llfi .711 213.371 255.42117t.616 109.74E 136.771 95.34B61.阳-ZS2322.430432.97?422,03793.Z6Z2132,73322

15、5.183214.383 11V41H 咛329 64.9785 66.488 S9.&787 119.B57 92,144?23.7119 111-751 116.1?17S.+fi2785.7298 1B3.797 67.7024 23.9GB82.8424<-152629-1 B512f> <-29G10.7.441tt-7>(3858640574,4> <22593.2,-4a43i,S>(-3151.4E , -E4727.3 > <-47249.4,9135.5?> <-22?5_13,40162.3)<

16、;44768.3,-3410.0?> &2A.-7HGG7.1J<-17507.6,-54570. ?> <-508E0_6,-2350C.7> <35362.7,4917.61?<33145.8,6841-51> <-106632r-69934.1) <-16494.3,-335H2.1> <-t8700.?,b715.2> <-56143,dft8583.2> <-11014.2,39275.3)<10322.7>27«20.3)C-1B29.8,-21392.7)

17、 <-12205 A, <-50686_6.20723.2>C4692.2Z,4SB31.9>(7484.IB,-70*.311) < 9353.43, 20H44.O> <-26355.2.19950.1 >C-15829.7,61047.?) (15982.1,7737.SI> <3353S-J,17722-1> <23370.5,-2514,45<-759.442,-13147.2) <8590.56,-E451>C-13115.91066-17?<-5573.78,1028> <

18、11119.4,3011.54> <5824,57.-14657.2?723,949 297.64? 218.723 180.?22 21-4.123 187.986 157,135 175-149 373.481 223-869 218.832 ldV.465tas.20E498.123 1.369267,642346.221159.338115.91383.B7W4173.131213.904191.62829.36&1 89.2149 129,11?246.354 的3619丄49.5551.441747.072751-4829 £玉_亦27 44.9562

19、 61.609?图6 eggs.txt数据傅里叶变换结果使用eggs.txt中的数据时，由于数据量较大，此处只是部分数据截图。数据不足2n的部分用零补齐。可以看出，变换后的数据幅值较大，且基本没有为0数据。此时，采用阈值进行滤波处理，取阈值30，即将阈值小于 30的值置为0。(2 )小波变换卜玻夸换原始数据;1 2134-9IB1112一级小波变龄孔2.12132 4.?4?75 7.77®17 16.60G62.121327.77B1? 18.60G613.43513-43S1 召.263516.26351621,?20321.9203L© P7M71W7-M,. /M7

20、1M?W.7M/107-0.7M71H7-M,/M71M7-M. 7M71M7-0.7M71W70.7C7107 0-707107 0.707107 0.70710? 0*70710? 0-707107 0.707107 0.70710?二簸小波变换结果.51321295132129-2-2-2-2-2-2-2-2-0.707107-0_?0?10?-0.7007-0.?0?107-0.707107-0.707107-0.?071即-0.70710?.707丄聊一杠.7071.7B71WV-U. 7D/1H/-W.70717(171 M7二射沁换结果：12.72712.7279 25 .-b.

21、65685-5.6b68b-B.bb68b-b.bbb8!>-2-2-2-2-2-2-2-2.707107-0.707107-0.707107-0.707丄070.70713? 0.70710T7 0.7071 07.7P71117-0,7071 P7-H.7W7I. 7H 21_L707107-0.70?107-3.7071B?-0.7071Q7三扱八液逆殳梅结具；i 06il71234713216ress an u keu tocorit mue图7测试数据集的小波变换 DWT由上图的实验结果可以看出，数据经过小波变换后，其能量集中于数据的靠前的小波系 数。对于相同的数据集，可以采用

22、不同级别的小波变换数据。级小波变换结果;k»1517.57E47B.B3fiUl.732700理41B6.ObiBQ.61BZ4.2426438.6909713.4712235.«?2i?4.783Z98.87询zq143.543L70710?SB.HBf54.44725241.082BB3.231G3G.251955.8B668.81?43,840630.48S601V7.2B31445.333937.684010.716377.41902.820041.71?333.G174389.GIG45&.B84157&-141?783943.53330,9263

23、3.33452.3259115.258988.53536>B.743514.322334.8773B.391256.U131.522214.253912.8751053.5V2K4.B54225.67447.599K.lfiGE3B2.£4213£S.251BG9.IE2B23.334»2.94113.19?14.04超122.3291190.77阳醃.219717.97.06103.23««.40C29i3t.47254.4479dSQ.12£1999-191071.2?7000_0<?418G_0?4437.817J9

24、.40324.Ct2QSQ .839219.011571.342104C-332089.093097.7725G4.6B927.724W3 .374£4.04923回电.763SSS.2?S丄503_482791-151246.634835_9丄百丄B.16tl32_382BO8.B?1059.251104.5114S.3412B2.79970.858366.2811974-752530.03_2b2V7S.5121bY.ytL67?.3B1&M0.1N28&S.034826.713133.91.畑-础1352.?lvua.bv3712.313915.255176.B

25、22941.EG4505-G83935.761229.6E974.39318EE.052439.523930.813007*33786.22?1.73L57S.262317.193626.758531.513107.&i1375.2376?.591268.55110.389479,4182315.07203A.B190Q6&0fl00R6e8000阿HPnFln诃ftR4幵nH&9Ce0P003e0s0009e80089e000009eaB0009e80009涉e«MHt»U甘uMMH90ea00e00e000e0ea00eaeaQ0e甘uaQQ0用駅aQfl巧qaB0hR00Qe00a0a0Be何e0a0688aa0节：归大A如備茫芒捉昭去苗整挖拯他-旧外漫豹區爭:H團全鱼如图8 eggs.txt数据小波变换结果0。正式小波变换的这一由上图，对于实验数据，经过小波变换后，大部分的数据都为 特点，使得小波变换可以用于数据的压缩。4实验结论在文章的上两节中，分别介绍了使用傅里叶变换和小波变换处理数据的方法。由实验中,可以得到以下两点： 第一，傅里叶变换时数据的整体变换方法，数据经过傅里叶