（管理科学与工程专业论文）小波网络理论及其在经济预测中的应用研究.pdf

中文摘要 本文系统地研究了小波神经网络的结构和非线性函数逼近，给出了小波神 经网络的全局逼近定理和收敛性定理以及证明过程；详细地比较了小波神经网 络与b p 网络、r b f 网络的性能。 以小波分析为理论根据，以经济预测为应用目标，构建不同形式的小波神 经网络：以连续小波变换为理论依据，采用连续小波函数作为神经网络的激 励函数构建连续参数小波网络，给出参数学习的共轭梯度算法和随机梯度算法： 以多分辨分析和正交小波分解为理论依据，采用正交小波和正交尺度函数共 同作为神经网络隐含层激励函数，构建正交小波网络；利用多分辨分析逐层逼 近的性质，给出正交小波网络递阶逼近学习算法；以多分辨分析定义中的完 全渐近性条件为理论依据，采用正交尺度函数作为神经网络的激励函数构建正 交尺度小波网络，给出正交尺度小波网络参数学习的b p 算法；根据神经网络 的模式识别性质，提出分类小波网络和相应学习算法。 对所建的几种小波网络在经济预钡i 中的应用展开研究。针对神经网络在经 济预测领域中取得的广泛应用成果，研究分别用连续参数小波网络、正交小波 网络、正交尺度小波网络和分类小波网络建立经济预测模型的方法和步骤，并 具体研究了以下经济问题建模：基于连续参数小波网络，研究了非线性时间 序列小波网络预测模型，并用于中困进出口贸易额时间序列仿真预测；基于 正交小波网络的我国人e l 预测模型；基于正交尺度小波网络的非线性经济系 统预测模型，并用于我国国内生产总值预测；基于分类小波网络，并根据证 券技术分析的“模式重现”原理，建立综合指数“买入时机”预测的分类小波 网络证券市场预测模型。 从对这些小波网络经济模型的研究和应用仿真得出以下结论：小波网络可以 有效地在数值上逼近时间序列难以定量描述的相互关系；用小波网络建立的宏观 经济预测模型，能够将宏观经济中的非线性关系很好的描述出来，使建立的模型与 实际系统更加接近；小波网络不仅具有神经网络的自适应、自学习和强容错性， 而且可以充分利用小波的时频局部化性质，学习过程只利用局部信息，大大提高了 神经网络的训练收敛速度。因此，小波网络在计量经济领域和金融系统对时间序列 特性的捕捉及其复现具有独特的功能和广阔的应用前景， 关键词：神经网络小波变换 f 交小波尺度函数经济预测建模 非线性系统 a b s t r a c t t h i sd i s s e r t a t i o nm a k e ss y s t e m a t i cs t u d i e so ft h ef o r mo fs t r u c t u r e sa n d n o n l i n e a rf u n c t i o na p p r o x i m a t i o no ft h ew a v e l e tn e u r a ln e t w o r k s i tp r e s e n t st h e u n i v e r s a la p p r o x i m a t i o nt h e o r e ma n d c o n v e r g e n c e t h e o r e ma n dt h ep r o o f o f t h e o r e m s i ta l s om a k e sd e t a i l e dc o m p a r i s o na m o n gt h ep r o p e r t i e so fw a v e l e tn e u r a ln e t w o r k s ， b pn e t w o r k sa n dr b fn e t w o r k s b a s e do nw a v e l e ta n a l y s i st h e o r y , v a r i o u sf o r m so fw a v e l e tn e u r a ln e t w o r k sa r e b u i l t b a s e d o nc o n t i n u o u sw a v e l e tt r a n s f o r m t h e o r y ，t h ep a p e rp r e s e n t s c o n t i n u o u sp a r a m e t e rw a v e l e tn e t w o r k s ，w h o s ea c t i v a t i o nf u n c t i o ni sc o n t i n u o u s w a v e l e tf u n c t i o n f u r t h e r m o r e ，t h e p a r a m e t e r s o fn e t w o r k sa r ec a l c u l a t e d b y c o n j u g a t eg r a d i e n ta l g o r i t h m o rs t o c h a s t i c g r a d i e n ta l g o r i t h m ；a c c o r d i n g t o m u l t i r e s o l u t i o na n a l y s i sa n do r t h o n o r m a lw a v e l e td e c o m p o s i t i o nt h e o r y , o r t h o n o r m a l w a v e l e tn e t w o r ki sb u i l t ，w h o s ea c t i v a t i o nf u n c t i o n sc o n s i s to fo r t h o n o r m a lw a v e l e t a n do r t h o n o r m a ls c a l i n gf u n c t i o n s h i e r a r c h i c a la p p r o x i m a t i o na l g o r i t h m sa r eg i v e n o r t h o n o r m a ls c a l i n gw a v e l e tn e t w o r ki sp r o p o s e do nt h eb a s i so f t h ed e f i n i t i o no f m u l t i r e s o l u t i o na n a l y s i s t h eb p a l g o r i t h m sf o rp a r a m e t e r so f n e t w o r ka r eg i v e n a c c o r d i n gt o t h eb a s i cp r i n c i p l eo fp a t t e r ni d e n t i f i c a t i o no fn e u r a ln e t w o r k s ，a c l a s s i f i e dw a v e l e tn e t w o r kf o rf o r e c a s t i n gs t o c km a r k e ti sd i s c u s s e d t h ed i s s e r t a t i o nm a d ea n i n v e s t i g a t i o n i n t ot h e a p p l i c a t i o n o ft h ew a v e l e t n e t w o r k st o e c o n o m i c f o r e c a s t i n g b a s e d o nt h e w i d e - r a n g i n ga p p l i c a t i o n a c h i e v e m e n t so fn e u r a ln e t w o r k si nt h ef i e l do f e c o n o m i cf o r e c a s t i n g ，w ep r o p o s e g e n e r a lm e t h o d sa n dp r o c e d u r ef o r e c o n o m i cf o r e c a s t i n gm o d e l sb a s e do nv a r i o u s f o r m so fw a v e l e tn e t w o r k s ，s u c h a sc o n t i n u o u s p a r a m e t e r w a v e l e t n e t w o r k s ， o r t h o g o n a l w a v e l e t n e t w o r k s ，o r t h o g o n a ls c a l i n g f u n c t i o nw a v e l e t n e t w o r k s ， c l a s s i f i e dw a v e l e tn e t w o r k s t h r o u g ht h er e s e a r c ho f v a r i o u sw a v e l e tn e t w o r k sa n d t h e i r a p p l i c a t i o n s t ot h ee c o n o m i c f o r e c a s t i n g ，f o l l o w i n g n o n l i n e a re c o n o m i c f o r e c a s t i n gm o d e l sh a v eb e e ne s t a b l i s h e d ：e s t a b l i s h i n gt h en o n l i n e a rt i m e s e r i e s f u r e c a s t i n gm o d e l sb a s e do n c o n t i n u o u sp a r a m e t e rw a v e l e tn e t w o r k s ，w h i c ha r eu s e d i nt h es i m u l a t e df o r e c a s t i n go ft h et i m es e r i e so f g e n e r a t e dt h ee x p o r ta n di m p o r t v a l u e si n c h i n a a p p l y i n g o r t h o n o r m a lw a v e l e tn e t w o r k st ot h e p o p u l a t i o n f o r e c a s t i n go fo u rc o u n t r y e s t a b l i s h i n gn o n l i n e a rf o r e c a s t i n g m o d e l sb a s e do n o r t h o g o r m a ls c a l i n gw a v e l e tn e t w o r k s ，a n dt h e nu s i n g i ti nt h ef o r e c a s t i n go f t h eg d p o f o u r c o u n t r y a c c o r d i n g t ot h et h e o r yo f “p a t t e r nr e a p p e a r a n c e ”o f s t o c kt e c h n i c a l a n a l y s i s ，w e e s t a b l i s hs t o c km a r k e t f o r e c a s t i n g m o d e l sf o rf o r e c a s t i n g “b u y i n g o p p o r t u n i 妒b a s e d o nc l a s s i f i e dw a v e l e tn e t w o r k s f r o mt h er e s e a r c ha n da p p l i e ds i m u l m i o no ft h e s ew a v e l e tn e t w o r k s ，f o l l o w i n g c o n c l u s i o n sc a nb ed r a w n ： t h ew a v e l e tn e t w o r k sc a l l e f f e c t i v e l ya p p r o x i m a t ei n v a l u et h em u t u a lr e l a t i o n s h i pw h i c hi sd i f f i c u l tt ob eq u a n t i t a t i v e l yd e s c r i b e db yt i m e s e r i e s t h em a c r o e c o n o m i cf o r e c a s t i n gm o d e l sb a s e do nw a v e l e tn e t w o r k sc a nw e l l d e s c r i b e dt h en o n l i n e a rr e l a t i o n s h i pi nm a c r o e c o n o m i ca n dm a k et h ee s t a b l i s h e d m o d e i sm u c hc l o s e rt ot h ea c t u a ls y s t e m s t h ew a v e l e tn e t w o r k sn o to n l yp o s s e st h e p r o p e r t i e s o fs e l f - a d a p t a t i o n ，s e l f - l e a r n i n ga n ds t r o n gf a u l t - f r e e d o m o fn e u r a l n e t w o r k s ，b u ta l s om a k ef u l l u s eo ft h et i m e f r e q u e n c yl o c a l i z a t i o np r o p e r t i e so f w a v e l e tt r a n s f o r m t h ec o n v e r g e n c er a t eo fw a v e l e tn e t w o k si sf a s t e rt h a nt h a to f n e u r a ln e t w o r k s t h e r e f o r e ，i nt h ee c o t m m e t r i c sa r e aa n df i n a n c es y s t e m ，t h e w a v e l e tn e t w o r k sb e a re s p e c i a lf u n c t i o n sa n db r o a dp r o s p e c tf o rg r a s p i n ga n d r e a p p e a r i n g t h et i m es e r i e sc h a r a c t e r k e y w o r d s ：n e u r a l n e t w o r k sw a v e l e tt r a n s f o m ao r t h o n o r m a lw a v e l e tf u n c t i o n s c a l i n gf u n c t i o n e c o n o m i cf o r e c a s t i n g m o d e l i n g n o n l i n e a rs y s t e m 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得墨盗盘堂或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在 论文中作了明确的说明并表示了谢意。 学位论文作者签名：；# 秘红签字日期：；年月 日 学位论文版权使用授权书 本学位论文作者完全了解苤盗盘堂有关保留、使用学位论文的规定。 特授权苤壅盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：；g 玲f l 签字日期：伽，；年占月 日 导师签名： 签字同期圩日厶月御年 第一章综述 1 1 引言 第一章综述 经济预测对国家各级部门实行有效的经济宏观调控，以及市场经济下各类 企业制定具体的生产投放具有至关重要的指导性作用。经济系统，特别是宏观 经济系统是一个非常复杂的系统，其中广泛存在着非线性性、时变性和不确定 作用关系。在计量经济学理论基础上建立的各种宏观经济预测模型，大部分都 是线性模型。线性模型在发挥巨大作用的同时，也逐渐显露出它的缺陷，即很 难把握宏观经济系统中的非线性现象，因而必然造成经济预测的误差加大。经 济学界为弥补缺陷，对线性经济模型做了改进如建立分段线性模型，建立 参数时变的线性模型等，结果往往不理想，在这种情况下，迫使人们寻求一种 非线性工具进行经济预测建模。 近年来，人工神经劂络的研究在国内外广泛兴起。人工神经网络作为一种 通用的非线性函数逼近工具，以其良好的非线性品质、灵活而有效的自组织学 习方法以及完全分布的存储结构等特点，在预测领域中显示了很大的优势。 w e r b o s 最早( 1 9 7 4 ) 就在他的博士论文“b e y o n dr e g r e s s i o n ：n e w t o o l sf o rp r e d i c t i o n a n da n a l y s i si nt h eb e h a v i o r a ls c i e n c e ”( h a r v a r du n i v e r s i t y ) 中，第一个构成反向 传递b a c k p r o p a g a t i o n ，并发现神经网络的反向传递学习的效果比传统统计学方 法好得多：1 9 8 7 年l a p e d e s 和f a r b e r 1 首先发表了将神经网络应用于预测的文 章，他们用非线性神经网络对由计算机产生的时间序列仿真数据进行了学习和 预测。后来，w e r b o s 2 1 、v a r f i s 和v e r s i n o 3 分别对实际的经济时间序列数据进 行了预测研究，w e i g e n d 4 1 等人利用神经网络研究了太阳黑子的年平均活动情 况，将神经网络与回归方法作了比较，其研究结果表明神经网络预测优于统计 预测。1 9 9 1 年，m a t s u b a 5 等人发表了有关应用神经网络进行股票预测的文章。 c h a k r a b o r t y 6 等人在其关于神经网络多变量时间序列预测的一篇文章中，研究 了两个相关的纯粹时间序列，用简单的神经网络模型进行了预测，结果比统计 学方法好得多。利用神经网络进行预测研究的基础是它能拟合任意的非线性函 数并且具有很强的泛化能力。 天津大学博士学位论文 自从l9 4 3 年心理学家m c c u l l o c h 和数学家p i t t s 开始用逻辑的数学工具来形 式地表达神经网络，提出神经元的数学模型( m p 模型) ，几十年来已形成了几 十种网络系统及算法，其中具有代表性的网络有：b p 、r b f 、a d a l i n e 等前馈型 网络，h o p f i e l d 反馈型网络，a r t 自组织网络及b o l t z m a n n 机。最近由模糊及分 形理论与神经网络的结合形成了模糊神经网络和分形神经网络。在经济预测领 域，应用最广泛的是b p 网络。对于经济预测领域，神经网络的吸引力在于：l 、 能够逼近任意复杂的非线性关系；2 、所有定量和定性的信息都等势分布存储于 网络的各种神经元中，有很强的鲁棒性和容错性；3 、采用并行分布处理方法， 使得快速进行大量运算成为可能。这些特点充分显示了神经网络在预测高度非 线性和严重不确定性经济系统行为方面有着巨大能力。 1 2 神经网络在预测中的应用 预测是个很难的课题，特别是对一些重要事件的预测。预测界的研究人员 对于预测这样一个非常难的研究课题作了大量的研究工作，这些研究工作主要 集中在两大方面：一方面是不断地利用新理论来探索新的预测方法及其应用， 如神经网络预测方法的研究；另一方面是利用计算机和人工智能等技术与预测 技术相结合来研究与开发智能预测支持系统，使得一般人员能够利用它方便地 进行预测。在新的预测方法与应用研究中，利用神经网络理论进行预测方法与 应用的研究工作进展较为突出 7 】。 人工神经网络是模拟人的大脑的一种非线性映射，它不仅具有很强的容错 性，而且能够从大量的历史数据中进行聚类和学习，进而得到某些行为变化的 规律，从而揭示浩瀚数据中隐含的重要信息，给决策者提供定量的知识。神经 网络技术可以解决用传统方法不能解决的问题。神经网络在经济预测中的应用 研究概括起来有以下几个方面。 1 2 1 利用神经网络的时间序列预测方法 ( 1 ) 单变量时间序列预测 设一个单变量时间序列x l ，x 2 ，对它进行预测的前提是认为其未来值与 前面的脚个值之问有着某种函数关系，可描述如下： x 。十= f ( x 。，x 。一i ，。一。+ 1 ) 笫一章综述 利用神经网络来拟合这种函数关系f ( ) ，并用它来推导未来的值。进行时 间序列预测的神经网络的结构可以分为两种，一种是单步预测网络，一种是多 步预测网络。单步预测网络输出个数为一个，一次可计算一步的预测值。多步 预测网络的输出个数不止一个而是多个( k 个) ，每一次可计算出k 步的预测值。 在预测过程中，可将得到的预测值作为下一步预测的输入来计算出进步的预 测值，进行迭代的多步预测。 ( 2 ) 多变量时间序列预测 对多变量时间序列( x l l ，x 2 1 ，- t x 凡) ，( x 1 2 ，x 2 ：，x p 2 ) ，它有p 个时问变 量，如同单变量时间序列一样，认为时间序列的未来值与其前面的_ i ，个值之间 有着某种函数关系： ( x i 。+ 女，x 2 m ，x p m ) 2f ( ( 1 。，鼻2 。，x p 。) ，( x i ，z 2 ，x p ) ， ，( x l + i ，x 如l ，x p + 1 ) ) ， 利用神经网络拟合函数f ( ) ，并用它进行预测，进行多变量时间序列预测 的神经网络结构同样分为两种，单步预测网络和多步预测网络。单步预测网络 输出的个数是一个多变量时间序列的变量个数为p ，一次计算得到所有变量一 步的预测值。多步预测鄹络的输出个数为k p 个。一次计算可孚导到所有p 个变 量的k 步预测结果。这两种网络模型同样也可以进行迭代多步预测计算。 利用传统的预测方法进行多变量时间序列的建模与预测非常复杂，而利用 神经网络进行多变量时间序列的预测方法如同单变量时间序列预测一样简单 这是传统的预测方法无法比拟的。 1 2 2 利用神经网络的回归预测方法 对于神经网络在回归预测中的应用，早在1 9 7 4 年w e r b o s 的博士论文中己 提出。后来，w h i t e 8 及m a r q u e z 9 等人也做了大量的研究。1 9 9 3 年王其文 1 0 对神经网络回归方法与线性回归方法做了较为严谨的比较，结果表明神经网络 方法在精度上优于传统的回归方法。 回归预测是指因变量j ，与多个自变量彳i ，x 2 ，x 之间存在着某种因果函 数关系 y = f ( x l ，x 2 ，x 女) 天津人学博上学位论文 利用b p 网络来拟合这种函数关系，并用它来作为因变量未来值的预测 模型。利用神经网络进行回归预测，不但能进行线性的回归也能进行非线性 的回归，还能进行多变量的回归预测，这与传统的回归预测方法相比有着显 著的优越性。 1 2 3 利用神经网络的组合预测方法 早在1 9 6 9 年，b a t e g r a n g e r 1 1 提出将由多种预测方法求得的预测结果进 行线性组合，其结果比用其中任意一种方法的所得结果的总体误差要小得多。 后来g r a b g e r & t e r a s v i r t a 1 2 ，l i s o b a 1 3 等人的研究发现用非线性组合预测将能 得到更好的预测结果。利用人工神经网络进行组合预测是近年来非线性组合预 测研究的一大突破。 非线性组合预测是将多种预测方法得到的预测结果进行非线往组合得到一 个预测精度更高的预测结果， 。，即有 ! = $ u ， 1 ， 0 非线性函数关系存在，利用一般方法来确定该函数西非常困难，而用多层b p 神 经网络来实现这种非线性函数关系的映射就容易得多，以f l ，2 ，、f 。为k 个输 入，厂。为输出建立一个多层b p 网络来完成非线性组合预测。 1 2 4 利用神经网络确定a r m a 模型的结构 a r m a 模型是时间序列分析与预测中最为常用的模型，但利用该模型的过程 中模型识别是比较困难的。b o x 和j e n k i n s 1 4 提出利用样本的自相关函数( s a c f ) 和偏相关函数( s p a c f ) 的特性来确定模型结构。该方法对确定纯a r 模型和纯 m a 模型是行之有效的，但对于辩识混合a r m a 模型则相当困难。因此，许多专家 和学者对如何确定a r m a 模型的结构进行了研究，提出了一些准则 1 5 。利用这 些准则进行a r m a 模型的结构辨识时，都要估计出所有可能模型结构的模型参数， 计算量相当大。利用神经网络可以确定a r m a 模型的结构。文献 1 6 根据 a r m a ( p ，口) 模型p ，q 的大小将其分类，然后利用神经网络的聚类功能，建立一 个多层b p 网络，其输入为时间序列样本的自相关函数和偏相关函数的值，输出 为典型的a r m a 模型识别。仿真实验表明神经网络能正确地判断出时间序列a r m a 模型的类别，即能确定a r m a 模型的结构。 第一章综述 1 2 5 利用神经网络的经济预警研究 宏观经济扩张与收缩的反复交替的波动规律是国家利用财政税收、金融政 策来进行经济调控的根据，因此，准确地判断当前的经济状态并预测未来的趋 势是非常重要的，一般都是利用计量经济模型、因果分析和边际效应分析等方 法来建立宏观经济预警系统，以预测与分析经济的运行状态。但这些方法存在 一些问题：如经济变量的运行时间不一致而用简单的加权有时出现漏报或误报； 人为设定的警戒区域使最后警戒区域类型的确定是离散的非实时的，并且一经 设定即不可自动调整，不能适应经济系统的动态性。利用神经网络的非线性映 射和模式分类能力，并根据宏观经济系统模式特点建立宏观经济预警系统可生 成宏观的经济预警信号，从而为经济领域的这一难题的解决提供了有效的新的 方法和途径。 此外，神经网络在经济金融的许多方面也得到了应用，如股市的分析和预 测 1 7 、汇率 1 8 1 9 、经济转折点的预测 2 0 、银行倒闭的判定 2 1 ，2 2 、 国际航空旅客量预测 2 3 、商品价格预测 2 4 、经济建模与预测研究中的变量 选择 2 5 、宏观经济指标 2 6 和自适应时间序列建摸与预测 2 7 等研究中，都 得到了较好的结果。神经网络也广泛地用于电力消费负荷预测，得到很大成功， 其它许多方面也还有不少采用或试用神经网络方法的。可以这样说，神经网络 预测解决了不少用传统统计学预测方法不能解决或不易解决的问题，如非线性 结构系统的预测问题，多变量预测问题等。 神经网络在预测领域中的应用是很广泛的，但也存在许多不尽人意和留待 进一步研究的问题。 1 ) 神经网络是一种黑箱方法，无法表达和分析被预测系统的输入和输出之 间的关系，因此，也难于对所得结果作任何解释，对求得的数据做统计检验； 2 ) 采用神经网络作预测时，没有一个便于选定最合适的神经网络结构的标 准准则，只能化大量时间采用凑试法，从许多次实验中找出“最合适”的一种， 这往往使建立的模型精度无法得到保证； 3 ) b p 算法的收敛速度很慢，且在网络初始参数数据选取不当时，容易陷入 局部极小点： 4 ) 神经网络需要大量的数据作为样本集来训练网络，也需要耗费更多的机 时。 天津大学博士学位论文 对于一般神经网络存在的这些缺陷，研究人员一直在寻找其解决方法。近 年来，小波分析( w a v w l e ta n a l y s i s ) 理论作为一种新的数学工具，正受到各 国学者的普遍关注，已经在信号处理领域获得非常成功的应用。它在时域和频 域具有表征信号局部性的特点，并有很强的逼近非线性函数能力，使得小波分 析方法成为强有力的非线性系统黑箱辨识的工具。小波分析理论和神经网络的 结合，给神经网络的能力带来新的活力。基于小波网络的研究与应用正为人们 所关注。 1 3 小波分析理论及其应用 小波分析理论是8 0 年代中期发展起来的- - i i 新兴的数学理论和方法，其理 论的重要性及应用的广泛性引起了科技界的高度重视。它被认为是数学领域和 分析这一学科半个世纪以来工作的结晶，虽然它的出现时间较短，但已在众多 学科和工程技术领域如信号处理、图象处理、故障诊断、逼近论、微分方程、 分形识别、计算机视觉、过程建模及非线性科学等得到成功应用，并表现出显 著的优越性，正在成为从应用数学到各工程技术领域的研究热点。 小波分析继承和发展了傅里叶分析理论，是数学调和分析现代傅里叶 分析的重大突破，打破了一个半世纪以来傅里叶分析垄断一切的局面。小波变 换的思想类似于傅里叶变换，就是用信号在一簇基函数张成的空间上的投影表 征该信号。经典的傅里叶变换把信号按三角正、余弦基展开，将任意函数表示 为具有不同频率的谐波函数的线性迭加，能较好地刻划信号的频率特性，但它 在时空域上无任何分辨，不能作局部分析，这在理论和应用上都带来了许多不 便。虽然加窗傅里叶变换通过引入一个时间局部化“窗函数”改进了傅里叶变 换的不足，但其窗口大小和形状都是固定的，没有从根本上弥补傅里叶变换的 缺陷。而小波变换优于傅里叶变换之处就在于，它在时域和频域同时具有良好 的局部化性能，有一个灵活可变的时问一频率窗，这在理论和实用中都有重要意 义。 目前，小波理论在不断扩大应用领域的同时，自身也处于迅速发展之中， 得到了许多领域学者的高度重视。美国将它列为9 0 年代应用数学的八个前沿课 题之一，美国国防部的关键技术计划认为小波变换将对未来国防关键技术中的 信号处理研究产生重要的影响。法国、德国和英国也都纷纷投入力量，迸行这 第一章综述 一领域的理论和应用研究。可以预料，在今后数年内，它必将会应用到更多的 技术领域中，成为最有应用价值的数学工具之一。 1 3 1 小波分析理论的发展和研究现状 小波分析理论的研究热潮始于八十年代中期，但对小波理论中使用的平移 和伸缩思想的研究已有相当长的历史。 1 9 1 0 年h a a r 通过双极函数进行伸缩操作，构造了一组完备正交基最早 的小波规范正交基，提出了小波变换的原始思想； 19 3 6 年l i t t l e w o o d 和p a l e y 对f o u r i e r 级数建立了二进制频率分量分组理论： 对频率按2 进行划分，其傅里叶变换的相位变化并不影响函数的形状和大小， 称为l p 理论，这也是多分辨分析思想的最初来源； 1 9 5 2 年到1 9 6 2 年的十年间，c a l d e r o n 、z y g m u n d 、s t e r n h e 和w e r s s 等人将 l p 理论推广至高维，并建立了奇异积分算子理论； 1 9 6 5 年c a l d e r o n 给出了基于积分变换的函数再生公式： 1 9 7 4 年，c o i f m a n 对一维日1 空间和高维9 空间给出了其原子分解： 1 9 7 5 年，c a l d e r o n 用他早年发现的再生公式给出了抛物型空间上h 1 的原子 分解，这个公式后来成了许多函数分解的出发点，它的离散形式已接近小波展 开，只是还无法得到组成一正交系的结论； 1 9 7 6 年，p e e t r e 在用l p 方法给出b e s o v 空间统一描述的同时，引进b e s o v 空间的一组基，其展开系数的大小刻画了空间本身的性质； 1 9 8 1 年，s t r o m b e r g 对h a a r 系进行了改进，引进了s o b o l e v 空间日。的正交 基，证明了小波函数的存在性。 1 9 8 2 年，b a t t l e 在构造量子场论中使用了类似c a l d e r o n 再生公式的展开。 值得注意的是，1 9 8 4 年法国地球物理学家m o i l e r 在分析地震波的局部性质 时，发现传统的变换难以达到要求，因此他引入小波概念于信号分析中对信号 进行分解。随后，理论物理学家g r o s s m a n 对m o r l e t 的这种信号按一个确定函数 r 1 ，、 的伸缩、平移系 l a l i 矿f 羔兰l ：口，b r ，口o 展开的可行性进行了研究，这无 【 a j 疑为小波分析的形成开了先河。 1 9 8 5 年，m e y e r 证明了一维小波函数( r ) 的存在性，不久，l e m a r i e 将这一 天津大学博士学位论文 结果推广到多元情形，并与b a t t l e 分别给出了具有指数衰减特性的小波函数； 真正使小波分析成为一种体系完整的理论是在1 9 8 6 年以后。 1 9 8 6 年m e y e r 创造性地构造了具有一定衰减性的光滑函数w ( t ) ，其二进制 伸缩与平移杪，i ( r ) = 2 j 2 y ( 2 j t k ) ：，k z 构成l 2 ( r ) 的规范正交基。j a f f a r d 、 l e m a r i e 、m e y e r 和m a l l a t 合作，提出了多分辨分析的基本思想： 1 9 8 7 年，m a l l e t 巧妙地将计算机视觉领域内的多尺度分析的思想引入到小 波分析中的小波函数构造，从而成功地统一了在此之前的许多具体小波函数的 构造方法，并研究了小波变换的离散化形式，提出了信号按小波分解与重构的 一套完整算法，即著名的m a l l a t 算法一快速小波变换算法 3 0 】。 1 9 8 8 年，比利时籍数学家d a u b e c h e s 发表了长达8 6 页的论文，证明了具 有有限支集正交小波基的存在性，并构造了具有有限支集的正交小波基 3 1 】。随 后，她又发表了另一篇长篇论文，详细论述了小波变换的时频局域化性能及其 在信号分析中的应用3 2 ，对小波理论的研究和发展起到了积极的推进作用。至 此，小波分析的系统理论体系初步得到了建立。 1 9 8 7 年，在法国马赛召开了第一届小波分析国际会议；1 9 9 0 年日本京都的 国际数学大会展示了小波理论的深入发展及其应用领域的不断扩大；我国于 1 9 9 2 年在武汉大学召开了中法首届小波分析研讨会，使小波分析的研究及其应 用在国内也逐渐掀起了热潮。 近年来，小波分析理论的研究取得了许多成果。一方面，继续研究满足各 种不同要求的小波基和相应算法，并把其推广到以外的各种空间。另一方面， 则不断地将小波变换应用到纯粹数学、应用数学及其它工程技术领域等。1 9 9 0 年崔锦泰和王建忠构造了基于样条函数的所谓单正交小波函数，并讨论了具有 最佳局部化性质的多尺度分析的生成函数及相应的小波函数【3 3 】；w i c k e r h a u s e r 等将小波变换进一步深化，得到小波包算法【3 4 】；s h e n s a 提出一种非正交多分辨 分析算法；为了更有效地实现离散和连续小波变换，r i o u l 和d u h a m e l 通过比较 现有的各种算法，进一步研究了s h e n s a 提出的非正交多分辨分析算法，给出两 种实现更为方便的快速算法【3 5 ；u n s e r 3 6 等讨论了非正交多项式样条小波变 换，指出这种变换完全可逆、实现方便，且具有紧支集。张清华等于1 9 9 2 年提 出了小波网络的概念 2 9 】，使小波分析理论的应用具体化。随着小波变换应用领 域的扩大，遇到的问题也会越来越多，必将进一步促进小波分析理论的研究与 发展。 第一章综述 小波理论发展的历史是各领域科学家与数学家共同努力的结果，已经形成 完整的理论体系，但它更深远、更广泛的应用和影响还正在到来。 1 3 2 小波分析理论应用概述 小波分析理论是一种时频联合分析方法，它可以将任一信号分解成时间和 频率的独立贡献，同时又不失原有信号所包含的信息。小波分析相当于一个数 学显微镜，具有放大、缩小和平移等功能，能够根据信号不同的频率成分和时 间采样的疏密，自适应地调节时频窗口，同时具有时域和频域局域化性能，通 过检查不同放大倍数下的变化来研究信号的动力学行为和机制。正是由于这一 突出优点，短短几年内，小波分析得到了广泛的应用。可以说，小波分析的理 论和应用发展交织在一起，相互促进。 首先，小波分析在数学领域本身的许多分支学科得到应用。由于小波的局 域化性质，利用函数的小波变换系数的衰减率，可以分析该函数在某一点附近 的正则性。基于此，小波函数可作为许多经典函数空间的无条件基，因而，通 过小波变换能够实现这些空间中的函数逼近，而奇异积分算子在小波基下的表 示几乎是对角化的。其它的应用还有微分方程求解、数值分析、曲线曲面的构 造、分形几何及控制论等 3 7 3 9 1 。 信号处理是小波分析最成功的应用领域，许多其他领域的应用都来源于此。 基于小波变换的信号分解与重构，等效与通过设计完全重构滤波器组，既可实 际计算离散小波变换，又能导出连续小波基 4 0 】。基于频域方法设计的滤波器组， 混叠、谱幅值畸变可以隔离丌，通过设计适当的分析与综合滤波器，这些畸变 可以极小化，甚至完全消除【4 l 】。滤波器组的时域设计理论和方法，具有设计最 小延时系统的能力，而且可以达到任意小的重构误差。小波分析在信号处理中 的应用还包括：自适应滤波、噪声抵消、语音合成、微弱信号检测、信号增强 等 4 2 - 4 4 。 小波分析的巨大潜力已经表现在信号压缩上。小波滤波器的设计是正则的， 具有更好的阻带，因而有更高的压缩率。小波变换与矢量量化、多尺度边缘检 测技术等结合，将会大大改进信号压缩技术 4 5 。 图象处理实质上届于多维信号处理的范畴，静止的图象是二维信号，运动 的图象是三维信号。因此，小波分析在信号处理中的许多方法都可以推广和平 移到图象处理中。但是，由于图象信号的特殊性，又产生了许多新的技巧和方 天津犬学博上学位论文 法。小波变换在图象处理中的应用，已经扩展到图象压缩、边缘检测、c t 成象、 彩色复印、图象重构、机器视觉等方面，取得了可喜的进展 4 6 1 。 特征提取和模式分类是模式识别的核心内容。采用小波变换这一有效的信 号分析工具，可提供多方位、多层次、时频局部化的动态信息，便于构成对目 标特性的全面认识。因此，小波变换可用于目标对象的特征提取，并将小波系 数作为特征信息进行目标的模式分类。基于小波变换的模式识别方法已经应用 于指纹识别、目标识别【4 7 、语音识别等领域。 虽然小波分析理论已经在很多领域得到了应用，但小波分析自身仍存在一 些不完善，如多维小波构造和计算的复杂性，使得小波理论只能处理低维数问 题；正交小波的构造也比较复杂，难以用显式表达等，这些限制了小波分析理 论的进一步应用。 神经网络理论作为一个新兴学科已被广泛接受。神经网络是处理多维问题 的有力工具，采用小波函数作为神经网络的激励函数，可以充分利用小波的时 频局部化性质，学习过程只利用局部信息，大大提高了神经网络的训练收敛速 度 4 9 。而且网络的权值与小波变换系数相对应，有明显的物理意义。因此， 小波分析理论和神经网络结合可以弥补互相的不足，更充分发挥各自的优势， 既可以得到有效的算法，也可以处理多维问题。小波神经网络( 简称小波网络) 将是神经网络中一个很有前途的发展方向。 与常规的神经网络相比，小波网络可以借助小波分析的有关理论便于确定 网络的初始结构；并且由于小波网络属于局部逼近网络，局部逼近网络具有收 敛速度快、易适应新数据、可以避免较大的外推误差等特点 5 0 】。利用小波分析 的多分辨分析思想，可以对小波网络进行分层递阶和局域化学习训练，克服了 局部极小值问题。z h a n g a n db e n v e n i s t e ( 1 9 9 2 ) 采用高斯型小波函数作为网络隐 含层节点的激励函数，提出了一神小波网络及学习算法，并推广到高维空间， 给出了非线性系统辨识的仿真结果。应该说，小波网络较常规神经网络更具有 广阔的发展潜力，它作为一种非线性逼近工具在预测领域中会有更广阔的应用 前景。 1 4 本文的安排及主要工作 本文系统地研究了小波网络的结构和非线性函数逼近，给出了小波网络的 第一章综述 全局逼近定理和收敛性定理以及证明过程；详细地比较了小波网络与b p 网络、 r b f 网络的性能。 以小波分析为理