（计算机软件与理论专业论文）小波网络的研究及其应用.pdf

独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。据我所知，除了文中特别加以标注和致谢的地方外论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得 ( 注：如没有其他需要特别声 明的，本栏可空) 或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对 本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名 格，0 奴导师签字：乡 学位论文版权使用授权书 本学位论文作者完全了解堂撞有关保留、使用学位论文的规定有权保留并向 国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权兰 整一可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印 或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：凉0 ，g 艮 导师签字： 签字日期：2 0 0 岁年争月肜日 签字日期：2 0 0 乡年归夕音 山东师范大学硕士学位论文 小波网络的研究及其应用 摘要 小波变换具有时频局部特性和变焦特性，而神经网络具有自学习、自适应、 鲁棒性、容错性、和推广能力，如何把两者的优势结合起来，一直是人们关注的 问题。小波网络就是结合了两者的优点而产生，它不但具有并行结构与并行处理、 信息的分布式存储、容错性、自组织自适应能力、非线性等特点，而且它还具有 一般神经网络所无法达到的收敛速度、收敛精度以及完美的小波理论基础，因此 可以广泛的应用于信号处理、函数拟合、数据预测、系统识别、故障诊断、自动 控制和模拟人的思维等许多方面。 已有的小波网络基本上可以分为3 类，它们分别建立在连续小波变换、小波 框架和正交小波变换理论的基础上。基于框架的小波网络，由于网络权系数与输 出成线性关系，不存在局部极小值问题，同时基函数选取灵活，因此小波框架神 经网络更为实用。但是，由于这类小波网络使用在时频平面上被正规截取的小波 框架中的小波基函数作为稳层结点的神经元函数，所以常常导致生成的网络具有 极大的冗余性。这种冗余性造成了网络资源的浪费，并且常常导致数据的过拟合， 影响网络的泛化能力。而且，随着网络输入维数的增高，隐层结点的个数急剧增 加，从而阻碍了它应用于高维问题。因此优化小波框架神经网络的结构具有重要 意义。 本文致力于研究小波框架神经网络的结构优化及其应用问题。在研究了小波 网络的构造和学习算法的基础上，提出一种小波网络的自构造算法：建立应用于 股市预测的非线性组合预测模型；提出一种对概念设计特征的量化提取方法，建 立应用于建筑外观设计创新度评价的概念设计评价模型：然后应用本文提出的小 波网络自构造算法分别对其进行求解。主要工作为： 1 提出一种小波网络的自构造算法。 针对小波框架神经网络的结构优化问题，提出一种小波网络的自构造算法。 这种构造和学习算法不但大大化简了小波网络所需的隐层节点的数目，优化了小 波网络的结构，而且比改进的b p 算法收敛速度更快。 山东师范大学硕士学位论文 2 应用基于自构造算法的小波网络对股市进行预测。 由于股市预测具有一定的实用价值，且也具有一定的可测性，应用基于自构 造算法的小波网络将4 次多项式和最小平方法的预测值进行非线性组台，并对股 市未来六天的价格进行预测。 3 提出一种对概念设计特征的量化提取方法。 针对概念设计创新度评价这一问题，本文通过对建筑外观特征提取量化，获 得量化值或量化函数并作为网络输入，应用小波网络的自构造算法训练网络，实 现建筑外观的概念设计创新度评价。试验表明，评价结果较准确，结果令人满意。 关键词：小波神经网络；自构造算法：股市预测；概念设计评价 分类号：t p l 8 3 山东师范大学硕士学位论文 t h er e s e a r c ha n dt h ea p p l i c a t i o no ft h ew a v e l e tn e u r a ln e t w o r k a b s t r a c t w a v e l e tt r a n s f o r m a t i o nh a st h ep r o p e r t yo ft i m e - f r e q u e n c yl o c a l i z a t i o na n df o c u s v a r i a t i o n ，w h i l et h en e u r a ln e t w o r kh a st h ep r o p e r t yo fs e l f - s t u d y ，s e l f - a d a p t a t i o n h i g hs t a b i l i z a t i o n ，a n de r r o ra c c e p t a b i l i t ya sw e l la sp o p u l a r i z a t i o na b i l i t y s oh o w t o c o m b i n et h ea d v a n t a g e so ft w ot e c h n i q u e si st h ee v e rc o n c e mo fp e o p l e w a v e l e t n e t w o r ki sa d v a n c e dt oa c h i e v et h ec o m b i n a t i o ng o a l ，w h i c hn o to n l yc a r r i e st h e c h a r a c t e r i s t i c so f p a r a l l e l i n ga r c h i t e c t u r e ，p a r a l l e l i n gp r o c e s s i n g ，d i s t r i b u t e d i n f o r m a t i o ns t o r a g e ，e r r o ra c c e p t a b i l i t y ，s e l f - o r g a n i z a t i o n ，s e l f - a d a p t a t i o na n d n o n l i n e a ra n ds oo n ，b u ta l s oh a st h ef a s t e rs p e e da n dm o r ep r e c i s eo fc o n v e r g e n c e ， a n dh a sm o r ep e r f e c tb a s i cw a v e l e tt h e o r yt h a na n yn o r m a ln e u r a ln e t w o r k i ti s w i d e l yu s e dt ot r e a ts i g n a l ，s i m u l a t ef u n c t i o n ，f o r e c a s td a t a ，d i s c r i m i n a t es y s t e m ， d i a g n o s t i ca t ef a u l t ，a u t oc o n t r o l ，s i m u l a t et h et h i n k i n go f h u m a ne t c t r a d i t i o n a lw a v e l e tn e t w o r ki sb a s i c a l l yd i v i d e di n t ot h r e et y p e s ，w h i c hi sb a s e d o nc o n t i n u o u sw a v e l e tt r a n s f o r m a t i o n ，w a v e l e tf r a m ea n d o r t h o g o n a l w a v e l e t t r a n s f o r m a t i o ns e p a r a t e l y a sf o rt h ew a v e l e tn e u r a ln e t w o r kb a s e do nw a v e l e tf r a m e ， t h e r ei sn op r o b l e mo fl o c a le x t r e m ev a l u eb e c a u s eo ft h el i n e a rr e l a t i o n s h i pb e t w e e n t h ew e i g h tc o e f f i c i e n t so ft h en e ta n dt h eo u t p u t ，a n dt h ec h o i c eo fb a s i sf u n c t i o n si s f l e x i b l e ，s ot h a tt h en e u r a ln e t w o r kb a s e do nw a v e l e tf r a m eh a sm o r eu s e f u lv a l u e h o w e v e r ，b e c a u s et h i sk i n do f w a v e l e tn e t w o r ku s e st h ew a v e l e tb a s i sf u n c t i o n so f t h e w a v e l e tf r a m ea st h eh i d d e n l a y e rn o d e sw h i c ha r er e g u l a r l y c u to u tf r o m t i m e - f r e q u e n c yp l a n e ，t h ew a yu s u a l l yc a u s e st h eb o r nn e t w o r kh a st h et r e m e n d o u s r e d u n d a n c y t h er e d u n d a n c yr e s u l t si nt h en e t w o r kr e s o u r c e sw a s t e ，u s u a l l yc a u s e s d a t a so v e rm a t c h a n da f f e c t st h en e t w o r k st u r na b i l i t y m o r e o v e rw i t i lt h ei n c r e m e n t o ft h ei n p u td i m e n s i o n so fn e t w o r k ，t h eh i d d e nl a y e rn o d e si n c r e a s ea b r u p t l y , t h u s o b s t r u c t i n gi t sa p p l i c a t i o ni nh i g hd i m e n s i o n a lp r o b l e m s s dt h eo p t i m i z a t i o no ft h e s t r u c t u r eo ft h en e u r a ln e t w o r kb a s e do uw a v e l e tf r a m eh a sg r e a ts i g n i f i c a n c e 3 山东师范大学硕士学位论文 m u c ha t t e n t i o nh a sb e e np a i do nt h es 缸1 l c t i l r co p t i m i z a t i o no ft h ew a v e l e tn e u r a l n e t w o r kb a s e do nw a v e l e tf i a r n ea n dt h ea p p l i c a t i o no fi t t h ep a p e rp u t sf o r w a r d st h e s e l f - c o n s t r u c t i n ga l g o r i t h mb a s e do nt h er e s e a r c ho ft h ec o n s t r u c t i o no fw a v e l e t n e t w o r ka n ds e l f - s t u d ya l g o r i t h m ；c o n s t r u c t st h en o n - l i n e a rc o m b i n a t i o nm o d e lu s e d f o rt h ep r e d i c t i o no fs t o c km a r k e t ；a d v a n c e sam e t h o do fe x t r a c t i n gt h eq u a l i f i e d c h a r a c t e r i s t i c so ft h e c o n c e p t u a ld e s i g n a n dc o n s t r u c t st h ec o n c e p t u a ld e s i g n e v a l u a t i n gm o d e lu s e df o rt h ea c c e s so ft h ec r e a t i v i t yd e g r e eo fa r c h i t e c t u r a lo u t l i n e d e s i g n ；t h e n r e a l i z e s a l lo ft h ea b o v em o d e l s u s i n g t h ew a v e l e tn e t w o r k s e l f - c o u s t r u c t i n ga l g o d t h m t h em a i nw o r ki s ： 1 p u tf o r w a r dt h es e l f - c o n s t r u c t i n ga l g o r i t h mo f t h ew a v e l e tn e t w o r k a i m i n ga tt h es m a e t u r eo p t i m i z a t i o np r o b l e mo ft h ew a v e l e tn e u r a ln e t w o r k b a s e do nw a v e l e tf r a m e ，p u tf o r w a r dt h es e l f - c o n s t r u c t i n ga l g o r i t h mo ft h ew a v e l e t n e t w o r k ，w h i c hn o to n l yg r e a t l ys i m p l i f i e st h en u m b e ro ft h eh i d d e nl a y e rn o d e sa n d o p t i m i z e st h es 口u c l ：u r eo ft h ew a v e l e tn e t w o r k b u ta l s oc o n v e r g e sf a s t e rt h a nt h e i m p r o v e db pa l g o r i t h m s 2 p r e d i c tt h es t o c km a r k e tu s i n gt h ew a v e l e tn e t w o r kb a s e do ns e l f - c o u s t r u c t i n g a l g o r i t h m b e c a u s eo ft h ep r a c t i c a lv a l u ea n dt h ep r e d i e t a b i l i t yo ft h es t o c km a r k e t ，t h e p a p e ra p p l i e st h ew a v e l e tn e t w o r kb a s e do nt h es e l f - c o n s t r u c t i n ga l g o r i t h mt ot h e n o n 1 i n e a rc o m b i n a t i o nf o r e c a s t i n gw i t ht h ee s t i m a t ev a l u eo ft h e4t i m e sp o l y n o m i a l a n dt h el e a s ts q u a r em e t h o d 刀措p r i c ei nt h ef u t u r es i xd a y si nt h es t o c km a r k e tc a l l b ef o r e c a s t e d 3 p u tf o r w a r dt h em e t h o do fe x t r a c t i n gt h eq u a l i f i e dc h a r a c t e r i s t i c so ft h e c o n c e p t u a ld e s i g n a sf o rt h ep r o b l e mo fc r e a t i v i t ye v a l u a t i o no fc o n c e p t u a ld e s i g n ，t h ep a p e r e x t r a c t st h eq u a l i f i e dc h a r a c t e r i s t i c so ft h ea r c h i t e c t u r a lo u t l i n e ，a p p l i e st h eq u a l i f i e d v a l u e so rq u a l i f i e df u n c t i o n sa st h en e t w o r ki n p u t ，t r a i n st h en e t w o r ku s i n gt h e s e l f - c o n s t r u c t i n ga l g o r i t h m ，a n dr e a l i z e st h e e v a l u a t i o nm o d e l o ft h ec r e a t i v i t yd e g r e e o ft h ec o n c e p t u a ld e s i g no ft h ea r c h i t e c t u r a lo u t l i n e 1 1 l ee x p e r i m e n te n u n c i a t e st h a t 也ee v a l u a 。t i o nr e s u hi sa c , c u r a t ea n dt h ee f f e c to f t h i se x p e r i m e n ti ss a t i s f a c t o r y 4 山东师范大学硕士学位论文 k e y w o r d s ： w a v e l e tn e u r a l n e t w o r k ；s e l f - c o n s t r u c t i n ga l g o r i t h m ；s t o c km a r k e t t b r e c a s t ；c o n c e p td e s i g ne v a l u a t i o n c l a s s i f i e a t i o n ： t pl8 3 5 山东师范大学硕士学位论文 第一章绪论 小波网络是小波分析和神经网络相结合的产物，神经网络的研究已有半个多 世纪，小波分析是近二十年来迅速发展起来的新兴学科。 1 1 小波分析 小波分析( w a v e l e s sa n a l y s i s ) 是在傅立叶( f o u r i e r ) 分析的基础上发展 起来的- - i 崭新的数学方法。在1 9 8 4 年法国地球物理学家m o r l e t 首次将小波概 念引入信号分析中进行信号分解开始，就受到应用数学界、理论物理界和工程技 术领域的普遍关注，美国、法国等已将小波分析理论研究与应用作为今后的前沿 科学之一。小波分析现已广泛应用于分形、编码、统计、图像处理、智能控制、 故障检测、湍流、数学应用、地球物理学、医学、工业、经济、目标检测、快速 计算等众多领域“。7 1 。 从本质上看，与f o u r i e r 分析一样，小波分析只是对数字信号的一种不同表 现形式。用于小波分析的基函数是一类同时具有类似于h a a r 函数系对空间变量 局部化的性质和类似于f o u r i e r 三角函数系对频率局部化的双重优点的特殊函 数。小波分析继承和发展了g a b o r 的窗口f o u r i e r 分析的局部化思想，并引入了 窗口随频率增高而缩小的理论，是长期以来信号处理专家们所追求的分析非平稳 信号的一种理想的表示方法。与f o u r i e r 分析相比，小波分析可以对信号同时在 时域和频域内进行局部分析，小波分析符合了高频信号分辨率高的要求，而且小 波变换经过恰当的离散化后能够构造标准正交基，是信号分析在理论和应用上的 一项重大的突破性进展。 目前，各个领域都有不少的专家学者正致力于研究如何应用小波分析解决自 身领域中的各种问题。他们中已有不少人成功的应用小波分析解决了实际的技术 问题。 6 山东师范大学硕士学位论文 1 2 小波网络综述 1 2 1 小波网络的提出 小波自8 0 年代提出以来，理论和应用都取得了巨大的发展，小波分析的出 现更为数值分析取得了突破性进展。目前，神经网络的理论研究日趋深入，其重 要发展方向之一，就是注重与小波、浑沌、模糊集等非线性科学理论相结合。小 波变换具有时频局部特性和变焦特性，而神经网络具有自学习、自适应、鲁棒性、 容错性、和推广能力，如何把两者的优势结合起来，一直是人们关注的问题。一 种方法是用小波分析对信号进行顸处理，即以小波空间作为模式识别的特征空 间。通过将小波基与信号的内积进行加权和来实现信号的特征提取，然后将提取 的特征向量送入神经网络处理；另一种即所谓的小波神经网络( w a v e l e tn e u r a l n e t w o r k ，w n n ) 或小波网络。 小波网络最早由法国著名的信息科学研究机构i r i s a 的q i n g h u az h a n g 博士 等人于1 9 9 2 年提出“，很快成为一种新兴的数学建模分析方法。它实际上是作 为对前馈神经网络逼近任意函数变换的替换，其基本思想是：利用小波元 ( w a v e r o n ) 来代替神经元( n e u r o n ) ，通过作为致逼近的小波分解来建立起小波 变换与神经网络的连接。它结合最近发展的小波变换良好的时频局化性质与传统 人工神经网络的自学习功能而形成，通过小波分解进行平移和伸缩变化后而得到 的级数，具有小波分解的一般逼近函数的性质与分类特征，并且由于它引入了两 个新的参变量即伸缩因子和平移因子，从而使其具有更灵活更有效的函数逼近能 力，更强的模式识别能力和容错能力。 小波神经网络分别如图1 1 - 1 ，1 1 2 所示，其中图1 1 1 为单输入小波网络， 图1 1 2 是多输入小波网络，多输出的情况可以类推。 山东师范大学硕士学位论文 x 0 图1 1 1 单输入小波网络 v n 1 2 2 小波网络的发展 图1 1 2 多输入小波网络 y 1 y 2 自小波网络提出以来，国内外学者对小波网络的理论研究日益广泛和深入。 1 9 9 3 年美国马里兰大学系统研究中心的y cp a t i 和k r i s h n a p r a s a d 研究了离散 仿射小波网络“”，主要利用离散小波变换对前馈神经网络进行分析和综合。同年， 美国麻省理工学院的brb a k s h i 和gs t e p h a n p o i l o s “”利用多分辨分析理论， 构造了具有局部学习的多分辨分级结构的小波神经网络，并对过程容错诊断的试 验数据进行了分类研究。1 9 9 5 年w i s c o n s i n 大学的z h a n gj u n “”等人根据多分辨 分析思想以正交尺度函数作为基函数，构造了小波网络，同时证明了小波网络的 一致逼近性质。z h a n gq i n g h u a 博士。”等继续展开小波网络的研究，利用回归分 析技术优化网络结构，并针对离散非线性系统进行了仿真研究。fa l o n g e “”等利 用遗传算法( g a ) 与最速下降法和最小二乘法相结合，进行小波基网络的结构优 爪il 山东师范大学硕士学位论文 化及其训练，并利用该方法为一混沌时间序列设计了预估器。 国内焦李成等“”在前人的基础上提出了多变量函数估计小波网络；沈雪勤 等“i ”1 提出了基于能量密度的小波网络模型：最近，高济平和张钹”针对小波 网络高维映射学习的维数灾问题分析提出一种区间小波网络模型，并通过理论与 模拟实例证明区间小波网络性能有明显的优势；焦李成”和李衍达“0 1 等人研究了 小波网络与模糊逻辑的结合，用隶属函数表示权重值，构造了模糊权值、模糊输 出的模糊小波网络模型：何振亚等“构造了一种自适应时延小波网络，用一个超 小波进行逼近存在不同时延的信号，并给出了基于时间竞争的学习算法；文献 2 2 提出了- f 十d , 波神经网络的推广模型，网络中的激励函数和连接权重都取为非线 性函数。 训练前馈神经网络常用的方法是b p 算法，但b p 算法普遍存在收敛速度慢的 缺点。z h a n gq i n g h u a 首次提出小波网络模型时使用了随机梯度算法；s z u 则使 用了共轭梯度算法；姚骏等。”提出基于离散小波的改进学习算法。近年来，又出 现了各种小波网络模型的算法研究，例如模糊小波网络的区间学习算法“、正交 最小二乘算法“”等。关于代价函数的选择：最小均方误差是最常用的标准，此外 还可以考虑选用其他的标准，如最小错分误差标准。“、正交最小二乘标准“。 1 2 3 小波网络的分类 1 按小波基函数和学习参数的选取，可分为： ( 1 ) 连续小波网络：来源于连续小波交换的定义，其特点是基函数的定位不 局限于有限离散值，冗余度高，展开式不唯一，无法固定小波参数与函数之间的 对应关系，具有类似b p 网络的非线性优化问题，但小波分析理论有助于网络的 初始化并指导学习过程，使网络有较快的收敛速度。 ( 2 ) 离散仿射小波网络：来源于离散仿射小波变换的反演方程，其理论基础 是小波框架，但紧框架下的小波基不一定是正交基，可能不具有紧支撑性，代表 了一定的估值冗余。该模型物理概念清楚、实现方便，因此应用较广。 ( 3 ) 离散正交小波网络：基函数为2 ( r ) 中的正交小波函数基，主要理论依 据是d a u b e c h i e s “7 1 的紧支撑正交小波及m a l l a t “”的多分辨率分析，正交小波网 络由于其基函数的正交性，对函数的逼近更有效，但正交基构造及网络学习算法 山东师范大学硬士学位论文 较复杂，网络抗干扰能力较差。 2 按小波基在网络中的作用不同，可分为： ( 1 ) 激活函数型小波网络：小波函数在网络中代替了传统的s i g m o i d 函数， 激活函数为小波函数集，即用小波元代替了原来神经元的非线性特性。 ( 2 j 权重型小波网络：小波函数集在网络中充当若干组权重值，输入信号是 信号与小波的内积。此外，还可以是上述两种类型的综合，如选取不同的小波基 在网络中分别充当激活函数和权重函数。 3 按小波的维数不同，可分为： ( 1 ) 一维小波网络：建立在r ( r ) 域中一维小波变换基础上，理论研究比较 成熟，应用也较多。已经证明，小波神经网络在逼近单变量函数时是渐近最优的 逼近器啪1 。 ( 2 ) 多维小波网络：在一维基础上利用直积定义多维母波，或利用张量积构 造多维正交多分辨率分析，并在此基础上可构造多维小波网络。关于构造多维小 波框架的理论可参考文献 3 0 。有一点要说明的是，多维小波一般都具有方向性， 但神经网络应用中对小波的方向性没有要求，因此可以用一个各向同性的函数通 过平移伸缩产生多维小波框架。 1 2 4 小波函数的选择 对于小波网络中小波函数的选择，目前还没有统一的理论或方法来确定选用 哪种类型的小波函数或尺度函数适合作为实际不同网络中神经元的激励函数，通 常是根据经验和实际的不同情况，当然也可以借鉴小波分析中的一些经验。例如： 在图像压缩的应用中，要求小波函数具有紧支撑、对称性、正交性和消失矩， d a u b e c h i e s 己证明正交小波函数不能同时具有这些性质m 1 ，较普遍的选择是9 1 7 双正交小波。”；在信号的近似和估计应用中，j 、波函数选择应与信号的特征相匹 配，应考虑小波的波形、支撑大小和消失矩的数1 9 ；在信号检测的应用中，若检 测边缘则采用某光滑函数一阶导数型的反对称小波，若检测脉冲则采用某光滑函 数二阶导数型的对称小波。自从s z u 等人在构造的小波网络”采用m o r l e t 小波 j 2 ( 该小波为有限支撑、对称、余弦调制的高斯波) c o s r f e2 ( s z u 取r = 1 7 5 ) 以 1 0 山东师范大学硕士学位论文 来，它已经被用于各种领域；文献 1 0 对函数的逼近过程中采用高斯函数的一阶 一 导数一x e “。作为小波网络中的激励函数；文献 3 j 中采用高斯函数的二阶导 i i ，- 2 ， 数( ( d i i x l l 2 ) e 。”“，1 1 x t 2 = x t x ，即径向m e x i c a n h a t 小波，用于非线性参数估计； 文献：i 3 中由于构造的是正交小网络，所以采用d a u h e c h i e s 小波作为小波网络 的激励函数用于函数的学习；比较特别的是y c p n ti 等人采用3 个s i g m o i d 函 数的线性组合作为激励函数用于函数的逼近“。另外，文献 3 6 也采用 m e x i c a n h a t 小波用于系统辨识；文献 3 7 采用样条小波用于材料探伤；文献 3 8 采用s h a n n o n 正交基用于差分方程的求解。 1 3 小波网络的特点与应用 人的脑功能虽然十分复杂、完善，但是单个神经元的结构和功能却是相对简 单而有限的。人脑大约有1 0 数量级的神经元组成，正是这些众多结构简单、 功能有限的神经元的“微观”活动，构成人脑活动的复杂的“宏观”效应能 完成各种极其复杂的信息识别和任务处理。作为对人脑模拟而出现的w n n ，它具 有如下特征”： ( 1 ) 并行结构与并行处理。w n n 的计算与存储无论在实践还是空间上都是相 互关联的：在时间上是并行的，在空间上是在同一个地方完成的。 ( 2 ) 信息的分布式存储。在 | n n 中，无论是单个神经元还是整个神经网络都 具有信息处理和存储的双重功能，而且这两种功能是合二为一的、自然的融合在 同一网络中，即信息的存储体现在神经元互连的分布网络中故称为分布式存储。 ( 3 ) 容错性。w n n 具有能够根据不完整的有噪声的信息做出完整、正确的结 论的能力。 ( 4 ) 具有自组织、自学习及推理的自适应能力。像生物神经系统学习的无监 督训练的神经网络具有抽取外界输入信号特征的自组织功能。w n n 的学习能力表 现在它可以发展知识。推理能力是指w n n 能正确分辨网络在训练期间从未“见过” 的输入模式的能力。 ( 5 ) 菲线睦。由于组成w n n 的各种神经元都是非线性的，因此w n n 是一个大 规模非线性的复杂动力学系统。 山东师范大学硕士学位论文 ( 6 ) 非局域性。w n n 的非局域性是指神经网络的功能是网络的整体行为，源 于神经元整个网络。 ( 7 ) 网络结构的确定性。在神经网络的应用研究中，针对一个具体的问题寻 找一个最合适的网络结构一直是个很重要的问题而且网络结构对其性能有很 重要的影晌。但在实际应用中，却常常要根据经验采取试凑的方法，来确定网络 的隐层层数，每个隐层单元的节点个数等结构参数。1 】| n n 则可以借鉴小波自身良 好的时频局部特性，来确定网络的初始结构。从而减少网络设计结构上的盲目性， 在实际应用中更具有优势。 小波神经网络主要用于下列几个方面： ( 1 ) 计算机科学工作者借助于w n n 对非符号信息进行处理和学习： ( 2 ) 各工程领域的工程师们将其用于模式识别、系统识别、自动控制、信号 处理、预测估计、故障诊断等许多领域； ( 3 ) 统计学家视w n n 为一种灵活的、非线性回归和分类的方法； ( 4 ) 认知科学工作者把神经网络看成是描述思维和意识的一种可取的工具： ( 5 ) 神经生理学家利用神经网络描述和探讨脑中的记忆、感觉系统等功能； ( 6 ) 物理学家运用w n n 为统计力学和许多其它领域里的现象建模； ( 7 ) 生物学家利用1 】【f n n 来解释核苷酸过程； ( 8 ) 哲学家和其他科学工作这也都由于各种不同的原因对| v n n 发生兴趣。 详细资料可参考文献“1 。只是小波神经网络的理论研究还处于初始阶段， 迄今还存在许多有待解决的问题。 1 4 本文的研究和组织 本文在研究小波网络的构造和学习方法的基础上，提出一种新的小波网络自 构造算法。基于自构造算法的小波网络不但较好地解决了小波网络的结构优化问 题，而且网络学习进度也比较快。是一种实用的网络模型。 以往小波网络的隐层节点往往有冗余，尤其是基于小波框架的小波网络，由 于这类小波网络使用在时频平面上被正规截取的小波框架中的小波基函数作为 稳层结点的神经元函数，常常导致生成的网络具有极大的冗余性。这种冗余性造 成了网络资源的浪费，并且常常导致数据的过拟合，影响网络的泛化能力。更为 山东师范大学硕士学位论文 严重的是，随着网络输入维数的增高，隐层结点的个数急剧增加，产生“维数灾”， 从而阻碍了它应用于高维问题。 本文致力于研究小波框架神经网络的结构优化、框架小波网络的应用问题， 主要工作体现在以下方面： 1 提出一种小波网络的自构造算法。 自构造算法基于小波框架的时频局部化性质和有限维h i i b e r t 空间自适应 投影一股原理。网络可以由空隐含层开始自动生成，直到建立达到性能要求的小 波网络。首先基于小波框架的时频局部化性质建立回归因子库，然后在回归因子 库上应用自投影算法，将适合的神经元插入隐层最终生成性能优良的小波网络。 这种构造和学习算法不但大大化简了小波网络所需的隐层节点的数目，优化了小 波网络的结构，而且比改进的b p 算法收敛速度更快。 2 应用基于自构造算法的小波网络对股市进行预测。 非线性组合预澳i j 是指出某种非线性函数而得到组合预测值，运用这种方法， 以股票每日的收盘价格为基础数据，应用基于自构造算法的小波网络将4 次多项 式和最小平方法的预测值进行非线性组合，并对股市未来六天的价格进行预测。 试验结果表明，小波网络的自构造算法具有很好的拟合和预测效果。 3 提出一种对概念设计特征的量化提取方法。 最后本文尝试应用基于自构造算法的小波网络进行概念设计评价。对建筑设 计外观各个方面提取特征，根据建筑外观设计标准和以往成功的建筑外观设计为 参照，人为地进行特征量化，并作为网络输入，应用小波网络的自构造算法训练 网络，实现建筑外观的概念设计评价。试验表明，评价结果较准确，效果令人满 意。 本文的组织如下： 第二窜介绍了小波网络的相关知识，包括它的理论基础，小波网络的构造及 性能分析。 第三章对小波网络的学习算法进行了研究，包括小波网络比较经典的学习算 法，并着藿介绍了如何用改进的b p 算法讲练小波网络。 第四章介绍了一种新的小波网络自构造算法。首先介绍了构造算法的理论基 础，包括小波框架的时频局部化性质，有限维h il b e r t 空间自适应投影原理及其 山东师范大学硕士学位论文 收敛性分析，然后介绍了这种小波网络的构造及学习算法，并对算法进行检验。 第五章对基于自构造算法的小波网络进行应用。建立基于小波网络的非线性 组合预测模型，对股市进行预测；建立基于小波网络的概念设计评价模型，对建 筑外观概念设计进行创新度评价。 1 4 山东师范大学硕士学位论文 第二章小波网络的理论基础和构造 小波网络是9 0 年代初，在小波分析与神经网络发展的基础上提出的一种前 馈性网络，小波分析作为对信号分解和重构的工具，有着坚实的理论基础，小波 所具有的良好的时频局部特性，又使得小波分析优于f o u r i e r 分析。 小波网络的提出，将小波分析的一些概念和方法引入到神经网络中，为神经 网络的研究带来了新的思路和方法，小波网络必将成为人工神经网络的个发展 方向。 2 1 小波理论基础 经典的f o u r i e r 分析从函数口“出发，成功地构造了上2 ( r ) 空间的一种正交展 开，将信号表示为不同频率的谐波函数的线性迭加，从而把对视频信号的分析转 化为对其频域中f o u r i e r 变换的分析。然而为了利用f o u r i e r 变换从模拟信号中 提取频谱信息，就要取无限的时间量，以获得信号在时域中的全部信息，包括将 来的信息；f o u r i e r 变换也没反映如频率随时间变化的情况，不能进行局部分析。 所以在许多实际应用中，仅采用f o u r i e r 分析是不够的。 针对f o u r i e r 变换的不足，1 9 4 6 年d g a b o r 在他的论文中，酋次在f o u r i e r 变换的基础上，引入了一个时间局部化“窗函数”g ( t - b ) ，g 取为g a u s s i a n 函 数，其中参数b 用于平移，以使窗函数覆盖整合时域。后来由g a b o r 变换发展为 一般窗函数的加窗f o u r i e r 变换，成为短时f o u r i e r 变换( s t f t ) 。虽然s t f t 提 供了时频域的局部化分析，但所形成的时间一频率窗的大小和形状都是固定的， 使它在分析具有很高或者很低频率的信号是受到限制。高频信号般持续时间很 短，而低频信号持续时间较长，因此，在进行信号分析时，人们希望对于高频信 号采用小时间窗，对于低频信号则采用大时间窗。 小波变换恰恰满足了这种时间窗的要求：高频时，时间窗自动变窄，低频时， 时间窗又自动变宽。正是由于这特性，人们称小波分析为“数学显微镜”。 本章先介绍小波分析的基础知识，也是小波网络构造的依据。首先给出引用 的记号”1 ： 山东师范大学硬士学位论文 ( 1 ) l 1