（控制科学与工程专业论文）小波理论在信号去噪和数据压缩中的应用研究.pdf

浙江大学博士学位论文 摘要 过程控制系统中，收集“正确而真实”的数据是至关重要的。然而，由于测 量误差、仪表精度、计算误差甚至是人为因素，过程测量数据通常不可避免地存 在噪声。如何去除测量数据中的噪声，提取感兴趣的信息就成为过程数据处理的 一项关键技术。 随着计算机技术及传感器技术的发展，人们对工业过程安全高效生产的要求 愈来愈高，这导致了过程测量数据爆炸。过程数据是一种丰富的信息资源，可应 用于各种过程控制任务，因此大量的过程数据需要存储。在保证过程数据主要特 征基本不变的前提下，对其进行压缩减少数据存储空间，是一项很有意义的研究 工作。 小波变换通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析，是 时问和频率的局部变换，能有效地从信号中提取信息，因而成为当前一种新兴的 信号处理技术。小波变换在过程数据处理的信号去噪和数据压缩等方面的应用， 愈来愈受到人们的重视。 本文对小波变换在过程数据的信号去噪和数据压缩中的应用进行了研究。本 文所作的工作如下： 1 ) 利用小波变换下有效信号和噪声在多尺度空间中不同的模极大值传播 特性，给出了一种去除纸浆浓度检测信号中的白噪声的算法，编制了相应的程序， 作为对纸浆浓度检测信号去噪方法的初步探讨和尝试。该方法在去噪的同时，能 有效地保留信号的奇异点的信息，是原始信号的一个非常好的估计。 2 ) 基于d o n o h o 阈值去噪方法，给出了一种时频分辨率更高的小波包分解 系数收缩的去噪方法。比较了选择不同阈值及不同阈值函数对纸浆浓度信号去噪 的效果。指出实际应用时要根据具体的信号处理目标来选择合适的阈值和阈值函 数。 3 ) 针对d o n o h o 阙值去噪方法对小波基的平移依赖性而在信号奇异点产生 的p s e u d o g i b b s 现象，给出了一种平移不变小波变换去噪方法。此方法对含噪信 号进行循环平移，利用软阈值或硬阈值函数对含噪信号的小波分解系数进行收缩 操作，并重构信号，再进行反向的循环平移，能有效地抑制p s e u d o g i b b s 现象。 浙江大学博士学位论文 4 ) 利用小波的多分辨率分析特点，推出了一个用于信号多分辨率分解的稀 疏矩阵，在此基础上给出了一种可对任意长度数据进行压缩的方法，并对化工过 程的历史数据进行数据压缩和还原，压缩后的解压缩数据仍保持较小的相对误 差，并得到了较大的压缩比。 5 ) 给出了针对一维数据压缩的多级树集合分割编码，并将其与整数小波变 换相结合导出了一种新的数据压缩方法。对一造纸厂的温度数据进行压缩和还 原，仿真结果表明，该方法与基于多分辨率分析的压缩方法相比，具有计算复杂 度低、数据压缩速度快、压缩比高和重构误差小的特点，有在无纸记录仪等常见 的测控仪表中实现的可能性。 6 ) 探讨了小波网络在过程控制系统中信号处理方面应用的可行性，给出了 一种基于自适应小波网络的数据压缩算法，该算法具有参数收敛速度快、数据压 缩比高的特点。 7 ) 设计了一个温湿度信号处理系统，作为试验各种信号去噪和数据压缩算 法的平台。 最后总结全文，指出有待于进一步研究的课题和今后工作的重点。 i i 浙江大学博士学位论文 a b s t r a c t i np r o c e s sc o n t r o ls y s t e m ，c o l l e c t i o no fr e l i a b l ea n da c c u r a t ed a t ai sv i t a l h o w e v e r , d u et om e a s u r e m e n t ，i n s t r u m e n t a l ，c o m p u t a t i o n a l ，a n de v e nh u m a ne r r o r s ， t h em e a s u r e dp r o c e s sd a t aa l w a y sm i xw i t hn o i s ei n e l u c t a b l y d e n o i s i n gw i t ht h e p u r p o s eo fe x t r a c t i n gd e s i r e di n f o r m m i o nf r o mm e a s u r e dd a t ah a sp r o v e nt ob ea c r u c i a lt e c h n i q u ei np r o c e s sd a t aa n a l y s i s d u et ot h er e q u i r e m e n to fs a f ea n de f f i c i e n tm a n u f a c t u r ei ni n d u s t r i a lp r o c e s s ， t h eq u a n t i t yo f m e a s u r e dp r o c e s sd a t ah a se x p l o d e dw i t ht h ed e v e l o p m e n to f c o m p u t e r a n ds e n s o rt e c h n o l o g y p r o c e s sd a t ai sak i n do fi n f o r m a t i o nr e s o u r c ea n dc a nb eu s e d i nt a s k so fp r o c e s sc o n t r 0 1 m a g n a n i m o u s p r o c e s sd a t a s h o u l d b e e ns t o r e d c o m p r e s s i o nw i t ht h ep u r p o s eo fr e d u c i n gs t o r a g em e m o r ya n dp r e s e r v i n gt h ef e a t u r e o f p r o c e s sd a t ai sa l li t e mo fs i g n i f i c a n tr e s e a r c h w a v e l e t sa r eav e r y i n t e r e s t i n gc l a s so ff u n c t i o n sb e c a u s eo ft h e i rs p e c i a l p r o p e r t i e s t h eo r t h o n o r m a lb a s e sc a nb ec o n s t r u c t e db yt r a n s l a t i o na n dd i l a t i o no fa m o t h e rw a v e l e t w a v e l e t sh a v el o c a lp r o p e r t yi nt i m ed o m a i na n d 疗e q u e n c yd o m a i n ， s ow ec a ne x t r a c ti n f o r m a t i o nf r o ms i g n a l su s i n gw a v e l e t s ，w a v e l e ta n a l y s i st h e o r y e m e r g e sa san e wp o w e r f u lm a t h e m a t i c a lt o o li ns i g n a ld e n o i s ea n dd a t ac o m p r e s s i o n o f p r o c e s sd a t aa n a l y s i s t h i sp a p e ra p p l i e sw a v e l e tt h e o r yt op r o c e s sd a t aa n a l y s i s ，m o s t l yf o c u s i n go n s i g n a ld e - n o i s ea n dd a t ac o m p r e s s i o n t h em a i nc o n t r i b u t i o n so f t h i st h e s i sa r ea sf o l l o w s ： 1 ) a sd i s c u s s i o na n de x p e r i m e n to fd e n o i s em e t h o df o rr e m o v i n gw h i t e n o i s e f r o mp u l pt h i c k n e s ss i g n a l ，am e t h o dw a sd e v e l o p e db y u t i l i z i n gt h ed i f f e r e n t c h a r a c t e r so fe v o l u t i o no ft h ew a v e l e tt r a n s f o h am a x i m u ma c r o s ss c a l eo fe f f i c i e n t s i g n a la n dn o i s e t h ei n f o r m a t i o no fs i n g u l a r i t yp o i n t sc a l lb er e s e r v e dw e l la n dt h e d e n o i s e ds i g n a li sag o o de s t i m a t i o no f t h eo r i g i n a ls i g n a l 2 ) p r o p o s e dad e - n o i s em e t h o db a s e do nw a v e l e tp a c k e tc o e f f i c i e n ts h r i n k a g e 浙江大学博士学位论文 t h er e s o l u t i o no ft h em e t h o di sf i n e rt h a nt l l a to ft h em e t h o db a s e do nw a v e l e t s h r i n k a g ei nt i m ed o m a i na n df r e q u e n c yd o m a i n t h ed e n o i s er e s u l t so fd i f f e r e n t t h r e s h o l da n dd i f f e r e n tt h r e s h o l df u n c t i o nw e r ec o m p a r e df o rp u l pt h i c k n e s ss i g n a l a p p r o p r i a t et h r e s h o l da n dt h r e s h o l df u n c t i o ns h o u l db es e l e c t e dt of i tt h es i g n a l p r o c e s sg o a lw h e nt h em e t h o di sa p p l i e d 3 ) d e v e l o p e dad e n o i s em e t h o db a s e do nt r a n s l a t i o ni n v a r i a n e ew a v e l e t t r a n s f o r m t h em e t h o dp e r f o r m e dt h ec y c l e - s p i n n i n gf o rt h es i g n a lt ob ed e n o i s e d a n dt h e n ，t h es o f t h a r dt h r e s h o l dw a su s e dt os h r i n kt h ew a v e l e tc o e f f i c i e n to ft h e s i g n a la n dr e c o n s t r u c tt h es i g n a l t h em e t h o dc a ns u p p r e s sp s e u d o - g i b b sp h e n o m e n a o nt h es i n g u l a r i t yp o i n t so fs i g n a lp r o d u c e db yd e n o i s ea l g o r i t h mb a s e do nw a v e l e t s h r i n k a g e 4 ) as p a r s em a t r i xb a s e do nm u l t i r e s o l u t i o na n a l y s i sf o rs i g n a ld e c o m p o s i t i o n w a si n t r o d u c e d ac o m p r e s s i o nm e t h o df o ra r b i t r a r i l yl o n gd a t ao nc h e m i c a lp r o c e s s w a sd e v e l o p e dt h e n t h er e l a t i v ee r r o ro fd e c o m p r e s s i o nd a t ai ss t i l la c c e p t a b l ys m a l l e n o u g ha n dt h ec o m p r e s s i o nr a t i oi sl a r g ee n o u g hw h e nt h em e t h o dw a sa p p l i e dt ot h e c o m p r e s s i o nd e c o m p r e s s i o nm a n i p u l a t i o no f h i s t o r i c a ld a t ao nc h e m i c a lp r o c e s s 5 ) a s e tp a r t i t i o n i n gi nh i e r a r c h i c a lt r e e se n c o d e rf o ro n ed i m e n s i o nd a t aw a s d e v e l o p e d an o v e lc o m p r e s s i o nm e t h o dw a sp r o p o s e db yc o m b i n i n gt h ee n c o d e r 嘶也i n t e g e rw a v e l e tt r a n s f o r m t h es i m u l a t i o nr e s u l t ss h o w e dt h a tf e a t u r e so ft h e n o v e lm e t h o dw e r el o wc o m p u t a t i o nc o m p l e x i t y , f a s t c o m p r e s s i o nr a t e ，h i g h c o m p r e s s i o nr a t i oa n ds m a l lr e c o n s t r u c t i o nd i f f e r e n c ew h e nt h em e t h o dw a sa p p l i e d t ot h ec o m p r e s s i o nd e c o m p r e s s i o np r o c e s so f t e m p e r a t u r es i g n a l sf r o map a p e rm i l l 6 ) p r o b e di n t ot h ef e a s i b i l i t yt oa p p l yw a v e l e tn e t w o r k st os i g n a lp r o c e s s i n gi n p r o c e s sc o n t r o ls y s t e m ac o m p r e s s i o na l g o r i t h mb a s e do nw a v e l e tn e t w o r k sw a s p r o p o s e da n dt h ef e a t u r e so fa l g o r i t h mw e r ef a s tp a r a m e t e ra p p r o x i m a t i o nr a t ea n d h i g hc o m p r e s s i o nr a t i o 7 ) d e s i g n e dap r o c e s ss y s t e mo f t e m p e r a t u r ea n dh u m i d i t ys i g n a l d e n o i s ea n d c o m p r e s s i o na l g o r i t h mc a nb et e s t e do nt h ep l a t f o r m f i n a l l y , w ep o i n to u taf e we x i s t i n gp r o b l e m st ob es o l v e da f t e rs u m m a r i z i n gt h e w o r k sd o n ei nt h ed i s s e r t a t i o n i v 浙江大学博士学位论文 致谢 在本论文完成之际，我首先要感谢我的导师孙优贤教授，在学生攻读博士学 位期间，始终得到了导师给予的悉心指导和热情关怀。导师严谨的治学态度、深 邃的洞察力、开阔活跃的思维、勤恳的工作作风、平易近人的长者风范一直影响 和激励着我，并将是我一生中最宝贵的精神财富，让我终生受益。在此谨表示我 最诚挚的敬意和最衷心的感谢! 衷心感谢林庆女士在学习和生活方面给予的热情周到的帮助。 在本论文形成过程中，我有幸得到了许多老师、同学和朋友的关心与帮助。 皮道映教授、王文海研究员、王智副教授、宋执环教授、卢建刚副教授、戴华平 副教授等老师在作者攻读博士期间给予了许多的关心和帮助，在此深表谢意! 真诚地感谢陈耀、柴利、章辉、杨乐、刑建国、孔亚广、胡国龙、戴晓华、 王庆东、申兴发、罗晓、高利新、程志强、杨旭华、孙宗海、马昕诸位博士以及 宰守刚、许锋、方瞍、郭济林、黄方、邓凌、董辉诸位硕士在我学习、生活方面 给予的帮助。感谢刘飞博士、闻育博士、候永刚硕士、苏文源硕士、黎远疆工程 师、参甫江涛博士、吴翔博士、盛云龙博士多年来的合作和帮助。 衷心感谢浙江大学控制科学与工程系所有帮助过我的老师和其他无法一一 列举的同学、朋友。 最后，我要特别感谢我的母亲，正是她多年来无私的母爱和一直给予作者学 习上、工作上、生活上的关心与帮助，才使得本文能够顺利完成。 蒋鹏 2 0 0 4 年5 月于求是园 v 浙江大学博士学位论文 第一章绪论 摘要：信号去噪和数据压缩是过程数据处理非常重要的两个方面的研究内容。本章 对信号去噪技术和数据压缩技术的发展及研究现状进行了介绍，对现有研究成果进 行了分析和评述。最后阐明了本文的研究目的和所做的工作。 关键词：信号去噪数据压缩小波变换 1 1 引言 长期以来，傅立叶变换是信号处理的主要手段，但它只能获得信号的整个频 谱，而难以得到信号的局部特性，不能充分刻画时变、非平稳信号的特征。在傅 立叶变换基础上发展起来的小波变换，通过引入可变的尺度因子和平移因子，在 信号分析时具有可调的时频窗口，巧妙地解决了时频局部化矛盾，弥补了傅立叶 变换的不足，为信号处理提供了一种多分辨率下的动态分析和综合手段。信号处 理是小波变换理论最成功的应用领域，其它领域的应用大都来源于此。基于小波 变换的信号分解与重构，等效于设计一个完全重构滤波器组，若滤波器组满足正 则性条件，则通过设计完全重构滤波器组，既可计算离散小波变换，又能导出连 续小波基( 张贤达，1 9 9 5 ) 。 过程控制中，收集“正确而真实”的数据是至关重要的。然而，由于测量误 差、仪表精度、计算误差甚至是人为因素，过程数据通常不可避免地存在各种不 易消除的噪声。这些噪声的存在会影响系统的分辨率和稳定性，且噪声常常会淹 没真实的信号，导致系统无法正常工作，如何去除测量数据中的噪声，提取感兴 趣的信息就成为过程数据处理的一项关键技术( b a k h t a z a d 等，1 9 9 9 ) 。常用的去 噪算法在消除噪声的同时，数据信息也会产生失真而丢失真实信息。基于小波的 去噪算法能满足各种去噪要求，且与传统的去噪方法相比，小波去噪有无可比拟 的优点( 胡昌华等，1 9 9 9 ) 。 随着计算机技术及传感器技术的发展，人们对生产过程安全高效运行的要求 愈来愈高，这导致了过程测量数据爆炸。过程数据是一种丰富的信息资源，可应 用于各种过程运行和控制任务，如预测控制、系统辨识、过程建模与优化、过程 监测、故障检测与诊断、生产计划及管理决策等，因此大量的过程数据需要存储。 第一章绪论 随着计算机网络应用于生产过程，特别是d c s 和f c s 中，过程数据需要通过网 络传送给其他操作者或工程师。因此，有必要研究d c s 和f c s 中的过程数据压 缩技术( b a k s h i 等，1 9 9 6 ：汤同奎等，2 0 0 0 ) 。 1 2 小波变换在信号去噪中的应用 一般来说，过程测量数据都是含噪数据，为了后续更高层次的处理，很有必 要对信号进行去噪。众多学者根据实际信号的特点、噪声的统计特征和频谱分布 的规律，发展了各式各样的去噪方法，其中最为直观的方法是根据噪声能量一般 集中于高频，而真实信号的频谱则分布于一个有限区间的特点，采用低通滤波方 式进行去噪，如傅立叶变换、滑动平均窗滤波器、w i e n e r 线性滤波器( p i t a s 等， 1 9 9 0 ) 。其它的去噪方法还有基于秩阶滤波( 排序量) 的方法、基于马尔可夫场 模型( g e m a n 等，1 9 9 2 ) 、基于偏微分方程的方法( y o u 等，2 0 0 0 ) 。 近年来，小波理论得到了迅速的发展，由于其良好的时频特性，因而应用非 常广泛。在信号去噪领域，小波理论同样受到了许多学者的重视( c h i n g 等，1 9 9 9 ； g u n a w a n ，1 9 9 9 ) 。 信号通常可分为平稳信号和非平稳信号。若信号的性质随时间是稳定不变的 ( 均值相等、自相关函数仅和时间间隔长度有关而和位置无关) ，则称这个信号 是平稳的。平稳信号可以出现不期望的事件，但可事先知道事件的先验概率。 研究平稳信号的理想方法是傅立叶变换，非平稳信号由于瞬变事件不能事先 预知发生，故需要不同于傅立叶分析的技术，特别适于非平稳信号的技术是小波 分析。本章只对信号去噪的两类主要方法：傅立叶变换去噪方法和小波变换去噪 方法进行比较。 1 2 1 傅立叶变换方法 傅立叶变换是众多科学领域重要的分析工具之一。离散傅立叶变换的定义 为：对给定实的或复的离散时间序列五，z ，厶一设序列满足i 五i 0 ) ，真实信号自身的l i p s c h i t z 指数通常是正的。可以通过观察在不同 z 的二进尺度2 - 之间小波变换的模极大值点的传播行为来区分模极大值点是由噪 声还是由真实信号自身产生的。 根据m a l l a t 提出的信号奇异性检测理论，若信号在某一点的l i p s c h i t z 指数 大于零，则随着尺度2 ，的增加，小波变换的模极大值也增大：若当尺度减小时， 模极大值点的数目和幅值增加，则表明相应的奇异点具有负的l i p s c h i t z 指数， 即具有负的奇异性，模极大值点主要由白噪声支配。可以保留具有一定幅值，并 能够沿尺度方向传播的小波变换模极大值点；删除那些没有沿尺度方向传播的模 极大值点。对保留的模极大值点利用交替投影法重构去噪后的信号。 彭玉华等( 1 9 9 6 ) 给出了利用小波变换模极大值在信号消噪方面的具体应用 浙江大学博士学位论文 实例。齐泽锋等( 2 0 0 2 ) 提出了一种基于模极大值小波域的局部放电信号重构算 法，该算法先根据模极大值小波域的定义求出局部放电信号的模极大值小波域， 得到局部放电信号的小波系数，然后逆变换得到局部放电信号。 1 2 2 3 小波分解与重构方法 m a u a t ( 1 9 8 9 ) 提出了多分辨率分析的概念，并给出了小波分解与重构的快 速算法，即m a l l a t 算法。信号x 0 ) 的正交小波分解为 f d = h o ( 。”掣。1 协：圭g 咐。，拶州 “8 l” 其中，掣为尺度系数， 为小波系数，h o 。、g 。为多分辨率分析的分析滤波 器系数，为分解层数。 小波重构过程是分解过程的逆运算，相应的重构公式为 x ：= h 础) x t , j “+ g 如) 妒1 ( 1 9 ) 其中，综合滤波器系数k 、g 。可由分析滤波器系数决定。 小波的多分辨率分析特性能将信号在不同尺度下进行多分辨率分解，并将交 织在一起的各种不同频率组成的混合信号分解成不同频段的子信号，因而对信号 具有按频带处理的能力。应用小波分解与重构方法去噪的具体步骤是：将含噪信 号在某一尺度下分解到不同的频带内，然后再将噪声所处的频带置零，然后进行 小波重构，从而达到去噪的目的。 韩震宇等( 1 9 9 9 ) 给出了信号多分辨率分析在信号消噪方面的具体应用实例。 林逸榕等( 2 0 0 0 ) 根据多分辨率分析原理，提出了一种基于小波变换的语音增强 方法，通过小波多分辨率分析，将受噪声污染的语音信号在不同尺度上展开，并 对特定频段上的信号细节进行分析和处理，从而将噪声有效地滤除。 1 2 2 4 小波阈值收缩方法 该方法又称为d o n o h o 闽值方法，具有广泛的影响，是最常用的信号去噪方 法，目前很多方法去噪方法都是基于阈值收缩去噪的。通常有四种闽值可供选择。 第一章绪论 1 ) 固定阈值 采用固定的阙值形式，阈值为 互= 州2 衄) ( 1 1 0 ) 该方法的原理是个具有独立同分布的标准高斯变量中的最大值小于互的概率 随着的增大而趋近于1 。 若被测信号含有独立同分布的噪声，经小波变换后，噪声的小波分解系数也 是独立同分布的。若具有独立同分布的噪声经小波分解后，它的系数序列长度 很大，则根据上述原理可知：该小波分解系数最大值小于z 的概率趋近于1 ，即 存在一个阈值正，使得该序列的所有小波系数都小于它。小波系数随着分解层次 的加深，其长度也愈来愈短，根据z 的计算公式，可知该阙值也愈来愈小。在假 定噪声具有独立同分布特性的情况下，可以通过设置简单的固定阂值来去除噪 声。 2 ) s t e i n 无偏似然估计阈值 采用基于s t e i n 无偏似然估计原理的自适应阈值。闽值选取规则为：设 j p = 【p l ，见，p 。】，且p i p 2 p ，尸的元素为小波分解系数的平方按由小 到大的顺序排列。定义风险向量r ，其元素为 ，：【- 2 i - - + n - 2 i - ( n - o p , 主竺】，h ，：，y f伟f 、 ，、 ，：l! ：! ， l = l ，z ，。， l 1 i lj 以r 元素中的最小值作为风险值，由r 口的下标变量口求出对应的阈值 瓦= 盯儿 ( 1 1 2 ) 3 ) 混合型闽值 采用前两种阈值的综合，是最优预测变量阂值。设p 为| v 个小波分解系数 的平方和，令“= ( 尸一誓髟，v = ( 1 0 9 ：) 万，则 五锰瓦) 兰 ( 1 4 ) 最小最大准则阅值 浙江大学博士学位论文 采用的也是一种固定闽值，产生一个最小均方误差极值。在统计学上，这种 极值原理用于设计估计器。因为被去噪的信号可看作与未知回归函数的估计式相 似，这种极值估计器可在一个给定的函数集中实现最大均方误差最小化。 互= ；。- 3 9 3 6 + 。1 8 2 9 1 。8 2 菇； c ，a ， d o n o h o 和j o h n s t o n e 先后提出了硬阈值、软阈值和几乎硬阈值等阈值函数， 成为小波阈值收缩的阈值处理方法。 硬阈值函数为 。“( y ，r ) = 吾i i y y i l ( 丁z c ，s ， 上式把含噪信号的小波分解系数的绝对值与阈值进行比较，小于或等于阚值的点 变为零，大于阈值的点保持不变。 软阚值函数为 。5 ( y ，7 ) = 1 - s 。i g n ( r ) ( r - t ) i i y r l i 丁t ( 1 16 ) 上式把含噪信号的小波分解系数的绝对值和阈值进行比较，小于或等于阈值的点 变为零，大于闽值的点变为该点绝对值与阈值的差值，并保持符号不变。 几乎硬阈值为 。c y ，= 5 0 劬( y ) ( | y 1 2 一丁2 ) i i y f i ：r t c ， ii ( 1 1 5 ) 式( 1 1 7 ) 式中，y 为小波分解系数，r 为阈值，d ( r ，t ) 为含噪 信号的小波分解系数经阙值收缩后的估计值。硬阈值函数和软阈值函数的差异如 图1 2 所示。 小波阕值收缩去噪方法的流程如图1 3 所示。小波变换能将信号的能量集中 到少数小波系数上，而白噪声在任何正交基上的变换仍然是白噪声( 文莉等， 2 0 0 2 ) 。相对来说，真实信号的小波系数幅值大于能量分散且幅值较小的噪声的 小渡系数幅值。选择合适的阂值，对小波系数进行阂值收缩处理，就可达到去嗓 的目的，能得到对原始信号的近似最优估计。 9 第一章绪论 f ， ? 7 | | | 图1 2 ( a ) 硬阈值函数图1 2 ( b ) 软阕值函数 图1 2 硬阈值函数和软阈值函数 。* 情。 ：j j i i j ! ： ：! j ! i j ： 专| ：圃一去噪t ； r + 图1 3 小波阈值收缩去噪流程图 c a r l ( 2 0 0 0 ) 阐述了小波阙值去噪的原理和具体的实现过程。欧阳森等( 2 0 0 2 ) 提出了一种改进的软阈值收缩去噪技术并对电能质量信号进行去噪处理。该方法 不仅较好地解决了保护信号局部特征与抑制噪声之间的矛盾，能很好地对各种电 能质量信号进行去噪处理，且达到了数据压缩的效果。x i e 等( 2 0 0 4 ) 基于小波 系数的随机过程模型，提出了一种新的空间自适应小波去噪方法，并给出了一种 随小波系数变化而变化的阐值。z h a n g 等( 2 0 0 1 ) 采用硬闽值c o 进行小波闽值 收缩去噪研究，优化常数c 可随信号的不同和噪声的强度而变化，因而构造了一 个信号m s e 函数的近似函数，以此作为阙值参数c 选取的依据。通过计算不同c 下该函数的值，来判断使该函数最小的阈值参数c 。 1 3 小波变换在数据压缩中的应用 现有的数据压缩技术大多是针对图像、语音或地震数据的压缩，根据b a k s h i 等( 1 9 9 6 ) 的观点，这些技术不能直接用于过程数据压缩，主要原因有： 1 1 过程测量数据应使用一致和统一的表示形式，以便能与各种过程任务集 成，存储数据的表示也应与其它过程任务一致，且应有利于集成过程运行。 0 浙江大学博士学位论文 2 ) 化工过程数据的压缩和解压缩要求实时进行，来自动态过程的数据是连 续采集的，压缩和解压缩应能跟上数据采集速率。 3 ) 过程数据压缩一般使用基于逼近误差和显著特征的保真度准则作为压 缩质量的准则。 长期以来，过程数据的压缩技术一直没有得到很好的重视。最初，h a l e 和 s e l l a r s ( 1 9 8 1 ) 阐述了压缩历史数据的必要性，并提出了矩阵波串法( b o xc a r ) 和后向斜率法( b a c k w a r ds l o p e ) 。l a n g e n ( 1 9 8 4 ) 指出了过程数据的潜在用途， b r i s t o l ( 1 9 9 0 ) 提出了转门趋势化方法( s w i n g i n gd o o rt r e n d i n g ，s d t ) ，m a h 等 ( 1 9 9 5 ) 对s d t 方法进行改进，提出了一种分段线性在线趋势化方法( p i e c e w i s e l i n e a ro n 1 i n et r e n d i n g ，p l o t ) ，上述几种方法的本质是分段线性插值，将真实 信号与压缩信号间的局部误差控制在给定范围内。g r a y ( 1 9 8 4 ) 对矢量量化( v e c t o r q u a n t i z a t i o n ) 方法进行了总结。m a c g r e g o r ( 1 9 9 4 ) 建议采用多变量统计方法实 现多变量信号压缩，压缩前先抽取变量间的关系，剔除冗余变量。b a k s h i 等( 1 9 9 4 ， 1 9 9 6 ) 研究了如何应用小波抽取时域特征、识别过程故障，并介绍了小波变换在 化工过程数据中的应用。赵众等( 1 9 9 8 ) 提出了小波用于化工过程数据压缩及突 变信号检测的算法。w a t s o r i 等( 1 9 9 5 ) 认为小波变换与矢量量化、多尺度边缘 检测技术等结合，将会大大改进过程数据压缩技术，并对过程数据压缩方法的性 能作了评价( w a t s o n 等，1 9 9 8 ) 。 过程数据压缩的主要方法可分为三类，即分段线性方法、矢量量化方法和信 号变换方法。分段线性方法包括矩阵波串法( b o xc a r ) 、后向斜率法( b a c k w a r d s l o p e ) 、转门趋势化方法( s d t ) 和分段线性在线趋势化方法( p l o t ) ，其中s d t 方法在过程数据压缩中应用得最多，尽管压缩比不如信号变换方法高，但它的优 点是算法简单、代码执行速度快。矢量量化方法由于要花很多时间计算码本，且 一个数据集的码本不能用于别的数据集，因此矢量量化方法对过程数据压缩是不 实用的。信号变换方法很多，如离散余弦变换、小波变换等，小波变换方法目前 还存在一些实际技术问题需要解决。 第一章绪论 1 3 1 分段线性方法 1 3 1 1 矩阵波串法 矩阵波串法( b o xc a r ) 的原理是记录数据前先根据试验确定过程数据的噪声 特点，设定记录限y 和压缩区间诈。在压缩区间内，假设第一个数据为z ( 1 ) ，若 x ( 1 ) - r 蔓f ) 工( 1 ) + y ，1 f ” ( 1 1 8 ) 则不记录该点数据：若 x ( f ) x ( 1 ) + y ，1 i 打 ( 1 1 9 ) 则记录该点数据并以该点为起点开始新一轮的压缩。若到达压缩区阀的边界， 则不判断下一个数据是否满足上述条件，记录当前数据并结束本次压缩，并且以 下一个数据为起点，开始新一轮的压缩。解压缩时，只需根据所记录的起始点以 及压缩步效，利用线性插值算法计算其问的过程数据并取代原始数据，如此滚动 计算，便可实现数据的解压缩。 该数据算法比较简单，压缩后的数据只需记录起始点、结束点及压缩步数。 特别适用于压缩系统状态相对稳定，过程趋势变化较小的情况。但该算法不具有 判断和处理过程异常点的能力，如果过程数据有较大漂移或数据中包含噪声，压 缩效果就不太理想，得不到较高的压缩比。此外，算法对记录限y 的选择十分敏 感，过大和过小的误差限都会影响压缩效果。对于变化缓慢的信号，矩阵波串法 是以牺牲信息为代价来实现数据压缩的。虽然该算法有上述缺点，但是算法实现 简单，适于滚动计算，对于计算能力和系统资源有限的d c s 和f c s 的前端设备 还是很有吸引力的。 冯晓东等( 2 0 0 1 ) 提出了一种记录限可调整的矩形波串法，该算法不但具有 判断和处理异常点的能力，且可根据原始数据的特点自适应地调整记录限，可调 整的记录限在过程趋势平稳时可提高压缩比，在过程数据有噪声或过程趋势发生 变化时可更好地逼近原始数据。李正明等( 2 0 0 1 ) 将信号滤波算法与矩形波串法 结合，提出一种改进的、可直接对含噪信号进行压缩处理的矩形波串法，大大改 善了矩形波串法的抗噪声或野点的性能。该算法在压缩时首先用一个低通滤波器 滤波，然后对滤波结果进行压缩文中给出了离线、在线的压缩算法和解压缩算 浙江大学博士学位论文 法。冯晓东等( 2 0 0 3 ) 利用合成的三组典型仿真数据通过大量的计算分析了记录 限和压缩区间对压缩比、计算时间和逼近系数的影响，并比较了不同特性的过程 数据对压缩比和逼近系数的影响。 1 3 1 2 后向斜率法 后向斜率法( b a c k w a r ds l o p e ) 的原理是用基于前两个记录值的线性外插方 法来预测一个变量的当前值，若实际值与预测值之差超过预先设定的记录限，则 记下变量的当前值。该算法也非常简单，对不含噪声的信号具有较高的压缩比。 实际测量获得的过程数据大多是含噪信号，故该算法的实际使用情况不太好，噪 声会使该算法产生错误的斜率，从而导致记录了不该记录的数据。 矩形波串法和后向斜率法的组合算法则兼有两种算法的优点。当两种算法都 表明一个数据在记录限之外时，组合算法记录该数据。对于连续趋势，先用矩形 波串法的记录规则检查，当规则不能满足时，再用后向斜率法的规则检查。若两 个规则都不能满足时，则记录该点数据。该组合算法比前述的两个算法中的任何 一个都好但计算量稍大，已广泛应用于过程数据压缩。 1 3 1 3 转门趋势化方法 转门趋势化方法( s d t ) 是一种直线趋势化压缩算法。对于给定的数据，先 规定最大的允许误差，该算法能找出尽可能最长的直线趋势。其本质是通过一条 由起点和终点确定的直线代替一系列连续数据点。该算法需要记录每段时间间隔 长度、起点数据和终点数据，前一时间间隔终点数据即为下一时间间隔的起点数 据。 如图1 4 所示，在距离起点a 垂直距离为e 的地方各有两个支点。支点和过 程数据间的连线构成两扇虚拟的“门”。算法开始时，输入数据序列里只有一个 数据点，两扇门都是关闭的。随着更多的数据被采集进入过程数据序列，这两扇 门将根据实际情况执行打开或者保持静止的操作。任何一扇门一旦打开就不能重 新关闭，除非这两扇门的内角和大于或等于1 8 0 。若在某一个点上内角和大于或 等于1 8 0 。，就结束当前的压缩区间，并且将此点的前一个点作为压缩区间的终点 第一章绪论 并开始新一轮的压缩。图1 4 中第一个时间段是从a 3 1 t j e ，结果是用a 点到e 点间 的直线代替数据点( a , b ，c ，d ，p ) ；第二个时间间隔是从e 点开始，开始时两扇门关 闭，然后逐步打开，其它操作类似。表1 1 说明了图1 4 的转门操作顺序。 ! i 图1 4 转门趋势化方法示意图 表1 1 转门操作顺序 转门 口 b c d f gh 上 关闭打开打开静止静止打开打开打开 下关闭打开 打开打开打开打开打开静| 上 在线趋势提取对压缩结果输出的实时性提出了比较高的要求。显然，若实际 过程数据波动很小，本算法由于可以自适应地跟踪过程趋势而获得理想的压缩 比，但是同时也必然造成压缩结果输出和实际过程数据输入的过大延迟，无法保 证在线趋势提取的实时性。实际应用中为了避免此类情况发生，必须预先设定强 制记录限f s r l ( f o r c e ds t o r a g er e c o r d i n gl i m i t ) 。一旦当前压缩区间的长度达 到f s r l 就强行结束当前压缩计算并重新开始一轮压缩。因此在线s d t 算法的 最大压缩比为( 冯晓东等，2 0 0 2 ) = 蒯淼鬻“型2 z 。， 一“原始数据数据量。，。 ”7 f s r l 该算法在一定的条件下，可以跟踪实际过程趋势的变化，获得满意的压缩结 果。但是本算法具有以下缺点： 1 ) 在过程数据有噪声的情况下，压缩性能不是很令人满意。噪声会造成压 缩算法对过程趋势判断错误，降低压缩比。 浙江大学博士学位论文 2 ) 本算法不具有判断和处理异常点的能力。实际上，清除由于元器件失效 或者电磁干扰造成的异常点对于大部分控制系统都是可以接受的。 3 1 压缩效果严重地依赖于记录限e 的预设值。对一个实际工业过程中大量 过程数据特性的测试不但费时费力，有时甚至是不可能的。另外，实际过程数据 的数值特性是时变的。对过程数据数值特性的先验知识的缺乏，加上实际数值特 性的时变性，必将造成e 的设定值和实际过程数据特性的失配，从而影响压缩效 果。记录限e 的选择严重影响趋势和压缩。若e 选得过大。趋势将变得很不正确； 若e 选得过小，压缩比将会很小。在信号有噪声或野点的情况下，s d t 的性能较 差。 如图1 4 ，“转门”操作结束后，用a 点到e 点间的一条直线代替数据点 ( a , b ，c ，d ，e ) ，并未充分考虑数据点( 6 ，c ，力的作用。为此，段培永等( 2 0 0 2 ) 提出 一种改进的s d t 算法，用一条斜率为两个门的平均斜率，从数据点a 开始的一 条直线代替数据点( 口 b ，c ，z g ) ，不直接记录数据点e ，而是以此直线推算出需要 记录的值。下一段直线以新记录的点为起点，采用同样的方法可得到下一个记录 值，以此类推。在此改进算法中，除第一个数据点外，其余记录的数据点都是由 计算得到的，而不是被压缩数据中的点。冯晓东等( 2 0 0 2 ) 也提