（计算机应用技术专业论文）基于神经网络的智能预测系统研究与开发.pdf

北方工业大学硕士学位论文 摘要 人工神经网络是人们对生物神经系统的模拟，是由大量的处理单元( 神经元) 互相 连接而成的网络，人工神经网络虽然并没有完全真实地反映大脑的功能，但它能够对 生物神经网络进行某种抽象、简化和模拟，在经济系统预测方面具有较大的优势。误 差反向传播网络( b p 网络) 是人工神经网络模型的一种，它被大量运用在经济学的预测 问题上，并已取得了辉煌的成果。但是传统b p 神经网络结构本身存在一些问题，目前 在预测方面的应用也有一定的局限性，本文主要基于b p o o 经网络原理，针对其缺陷提 出一些改进措施，在此基础上设计开发一个基于w e b 方式的、具有一定通用性质的智 能预测系统。 在理论研究上，本文主要针对传统b p 网络存在的一些缺陷，分别采用 l e v e n b e r g m a r q u a r d t 算法优化权值和阈值的修正公式，提高b p 网络的学习速度和避免 局部收敛；采用隐层删减算法寻找最优的隐层神经元数目：采用主成分分析算法和置 信度区间算法对b p 网络结构进行全后处理，优化学习样本数据和简化网络结构，同 时提高预测结果的准确度和神经网络的泛化能力。在此基础上，设计一种综合改进的 b p 神经网络算法，应用于神经网络预测。 在应用系统设计与实现上，采用m a t l a b 语言实现系统神经网络算法，保证神经网 络计算的效率：采用a s p n e t 高级语言开发w e b 应用系统，提高应用系统的易用性：采 用c o m 技术实现m a t l a b f n 言与a s p n e t p 吾言之间的数据通信，同时采用w e bs e r v i c e s 技 术将神经网络计算抽象为一个w e b 服务，实现了系统逻辑事务处理与神经网络运算在 i n t e m e t 上的整合，提高系统的整体性能；在数据管理方面，采用x m l 技术实现对样 本数据、预测模型、用户等信息的存储与管理，进一步提高系统运行效率和稳定性。 经过实践证明，综合以上技术实现的应用系统不仅可行，且具有较好的可扩充性。 在系统应用上，本文以“中国可持续发展能力预测分析”为例，通过实际的样本 数据对系统在样本管理、预测模型的建立与管理、神经网络预测及预测结果分析等功 能进行检验：同时采用复杂函数拟合的方式，从多个角度以对神经网络的泛化能力以 及不同预测方法的整体性能进行对比分析。检验结果表明，基于w e b 方式的神经网络 智能预测系统在实际应用方面，预测准确性和效率明显好于传统的神经网络方法和多 元线性回归预测方法，同时该系统具有较好的易用性和一定的通用性，在不同预测研 究领域具有很好的实际应用价值 关键字：神经网络、b p 算法、主成分分析、w e bs e r v i c e 、经济预测 北方工业大学硕士学位论文 r e s e a r c ha n di m p l e m e n t i n t e l l i g e n tf o r e c a s ts y s t e mb a s e do i la n n a b s t r a c t a r t i f i c i a ln e u r a ln e t w o r k ( a n n ) i sr e l a t i v e l yc r u d ee l e c t r o n i cm o d e l sb a s e do nt h e n e u r a ls t r u c t u r eo ft h eb r a i n a n dc o m p o s e do fal a r g en u m b e ro fh i g h l yi n t e r c o n n e c t e d p r o c e s s i n ge l e m e n t sf n e u r o n s ) a l t h o u g ha n i f i c i a ln e u r a ln e t w o r kc a nn o te x a c t l ys h o wt h e r e a l l yf u n c t i o no f t h eb r a i ni tc a na b s t r a c t 、p r e d i g e s ta n ds i m u l a t et h el i v i n gn e u r a ln e t w o r k t os o m ee x t e n d ，a n dh a sac o n s i d e r a b l ea d v a n t a g eo nt h ef o r e c a s to fe c o n o m i cs y s t e m b a c k p r o p a g a t e dn e t w o r k ( b pn e t w o r k ) i sak i n do fn e u r a ln e t w o r k ；i tc a nb eu s e di nt h e f o r e c a s to fe c o n o m i cs y s t e m a n dh a sa c q u i r e db r i l l i a n ta c h i e v e m e n t b u tt h ec l a s s i c a lb p a l g o r i t h mh a si t si n t r i n s i cd r a w b a c k s ；i ta l s oh a ss o m ei i m i t s i nt h ea p p l i c a t i o no ft h e f o r e c a s t t h i st h e s i si sb a s e do nt h et h e o r yo fb pn e t w o r k ；i m p r o v et h i sa l g o r i t h ma g a i n s t i t s1 i m i t s a n di m p l e m e n ta ni n t e l l i g e n tc o m r r n m a lw e b b a s e df o r e c a s ts y s t e m t h e o r e t i c a l l y , i nt h i sp a p e r , w eu s et h el e v e n b e r g m a r q u a r d ta l g o r i t h mt oo p t i m i z e t h em o d i f y i n gf o r m u l ao fw e i g h t sa n dt h r e s h o l ds oa st os p e e du pt h et r a i n i n gs t e pa n d a v o i d1 0 c a lc o n v e r e n c e ；w ea l s oo p t i m i z et h eh i d d e nl a y e ru n i t st os e a r c ht h eb e s t n u m b e ro fc e l l s ；p r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) a n dc o n f i d e n c ei n t e r v a ia l g o r i t h m a r ea d o p t e dt oo p t i m i z et h et r a i n i n gd a t aa n dt h es t r u c t u r eo ft h en e t w o r kf o rt h eh i g h a c c u r a c ya n dg e n e r a l i z a t i o nc a p a b i l i t yi m p r o v e m e n t o nt h ed e s i g na n di m p l e m e n t a t i o n w eu s em a t l a bt oi m p l e m e n tt h ea n ns oa st o g u a r a n t e et h ee 历c i e n c yo ft h en e t w o r k ；t h ew e b b a s e ds y s t e mi sd e v e l o p e db ya s p n e tt o i m p r o v et h ef a c i l i t y ；w ea l s oa d o p tt h ec o mt e c h n i q u et or e a l i z et h ed a t at r a n s m i s s i o n b e t w e e nm a t l a bb a s e da n na n dw e bs y s t e m w h e r et h em a t l a bb a s e da n ni sc o n s i d e r e d t ob eaw e bs e r v i c e ，a c h i e v i n gt h ei n t e r g r a d a t i o n s i nt h ed a t am a n a g e m e n t ，w eu s ex m lt o c o l l e c ta n ds t o r et h es a m p l ed a t aa n df o r e c a s tm o d e l i no u rp r o t o t y p e t h e s ei d e a sa r en o t o n l yf e a s i b l e ，b u ta l s oh a v eb e t t e re x p a n d a b i l i t y i np r a c t i c eo fo u rp r o t o t y p e t a k e 血ef o r e c a s ta n a l y s i sa b o u tt h ea b i l i t yo fc h i n e s e c o m i n u a b l ed e v e l o p m e n ta sa ne x a m p l e ，w eu s et h et r u ed a t as e tt ot e s tt h es y s t e mi nt h e f o l l o w i n ga s p e c t s ：s a m p l em a n a g e m e n t ，f o u n d a t i o na n dm a n a g e m e n to f t h ef o r e c a s tm o d e l ， n e u r a ln e t w o r kf o r e c a s ta n dr e s u l ta n a l y s i sa n ds oo n ；o nt h eo t h e rh a n d w ea d o p t c o m p l e xf u n c t i o nf i t t i n gt oe x a m i n et h eg e n e r a l i z a t i o nc a p a b i l i t yo ft h ef o r e c a s ts y s t e m a n dc o m p a r ew i md i f r c r e n tf o r e c a s t i n gs y s t e m si nd i f f e r e n tp o i n to fv i e w s t h er e s u l t i n d i c a t e st h a tt h ea n n i n t e l l i g e n tw e b b a s e df o r e c a s ts y s t e mi sm o r ea c c u r a t ea n de m c i e n t t h a nt h ec l a s s i c a lo n e sa n dr e g r e s s i o nf o r e c a s ta l g o r i t h m s ，f u r t h e r m o r e t h i ss y s t e mi sm o r e m a n a g e a b l e i th a sw o n d e r f u lf o r e g r o u n do nt h ef o r e c a s tp r a c t i c ea n dr e s e a r c hi nd i f i e r e n t d o m a i n s k e y w o r d s ：a r t i f i c i a ln e u r a in e t w o r k b pa r i t h m e t i c ，p c a ，w e bs e r v i c e s ，e c o n o m y f o r e c a s t 一3 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得 的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得j 左王些盔堂或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文储签办粒字日期圳砗稠7 曰 学位论文版权使用授权书 本学位论文作者完全了解j e 直王些盍堂有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅 和借阅。本人授权j 直王些盍堂可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者躲豕 = 2 时，对样本数据采 用最小二乘法进行多元线性回归方程拟合，求出b ，6 ：，b 。的估计值，代入回归方程， 即可获得样本数据的拟合回归方程模型。根据获得回归方程模型，输入新的一，x ：h 值，便可求得预测值y 。 本文主要研究多元线性回归预测与人工神经网络方法预测在综合性能上的比较。 2 4 课题研究采用的关键技术 本节主要介绍课题设计开发所选择的技术，关于这些关键技术的应用在本文的第 四章课题设计研究中详细讨论。 2 4 1x m l 技术介绍 x m l 是由w o r l dw i d ew e bc o n s o r t i u m ( w 3 c ) 的x m l 工作组于1 9 9 8 年2 月制定 的一种通用语言规范，是s g m l 的简化子集。x m l ( e x t e n s i b l em a r k u pl a n g u a g e ) 是 一种可扩展的元置标语言，它提供了个标准，利用这个标准，可以根据实际需要定 义自己的新的置标语言，并为这个新的置标语言规定它特有的一套标记。那么，到底 什么是置标语言呢? “置标”的定义是：为了处理的目的，在数据中加入附加信息， 这种附加信息成为置标。“置标语言”的定义是：运用置标法描述结构化数据的形式 语言7 。置标语言不同于一般的控制流程序设计语言，基本上可以被视为一种数据 流的文档结构描述语言。 x m l 具有很强的结构性，其文件结构嵌套可以复杂到任意程度，能表示面向对象 的等级层次，非常适合用来作为一种交换信息的格式。因此x m l 能够很好的描述结构 化数据，同时可以有效描述半结构化、甚至非结构化数据。x m l 可看作是一种半结构 化的数据模型，可以很容易地将x m l 的文档描述与关系数据库中的属性一一对应起 1 0 一 北方工业大学硕士学位论文 来，实施精确地查询与模型抽取。x m l 提供了一种数据转换模式，这种格式是可编辑， 易解析，并且可以表示为任何类型的结构或半结构化信息o “。 x m l 支持u n i c o d e 新标准，因此具有世界通用的特性。这种编码标准，支持世 界上所有以主要语言编写的混合文本。另外，x m l 本身就是开放性的技术，它是连接 不同系统、不同平台数据的桥梁。 x m i 。具有自描述性，这使得x m i 。可以赋予标记一定的语义，加强了对内容的描述。 这就意味着用户在使用x m l 来扩展其他的置标语言时，能够根据需要自行定义新的标 识及属性名，从而更好地从语义上修饰数据。在x m l 文件中，可以使用标记来描述数 据，或配合属性来辅助描述数据，因此，x m l 十分适合用于作为对象或标准的描述语 言”1 ；并且由于可以借助验证规则( d t d 或x m ls c h e m a ) 来规范一个d a l 文件的内容 与结构。 鉴于x m l 技术以上的特点和优势，本文采用x m l 文件来存储神经网络预测系统中 所有需要管理的数据，包括用户数据、样本数据、预测模型数据的管理等。 2 4 2c o m 技术概论l 5 4 1 5 5 j ： c o m ( c o m p o n e n to b j e c tm o d e l ) 微软的组件对象模型。它的实质是一些小的二进 制可执行的程序，它可以为应用程序和操作系统以及其他的组件提供服务，微软的许 多其他的技术如：a c t i v e x ，d i r e c t x ，o l e 等都是基于c o m 建立的。 c o m 的发布形式是：以w i n 3 2 动态链接库( d l l ) 或者以可执行文件( e x e ) 的形式 发布的可执行代码组成。其中以d l l 形式发布的方式实现的组件程序，在客户调用 时会把组件程序和客户程序运行在同一个进程中，所以被称为进程内的组件。以e x e 的形式发布，在客户调用时，他有自己的独立的进程空问，故称为进程外的组件。 c o m 也不是w i na p i 那样的一个函数集：它并没有支持或者提供各种函数来对系 统进行特定的操作。c 0 m 本身要实现一个称为c o b l 库( c o ml i b r a r y ) 的a p i ，它提供诸 如客户对组件的查询，以及组件的注册反注册等一系列服务，一般来说，c o m 库由 操作系统加以实现，程序员不必关心其实现的细节。 总体来看，c o m 提供了编写组件的一个标准方法。遵循c o m 标准的组件可以被组 合起来以形成应用程序。至于这些组件是谁编写的，是如何实现的并不重要。组件和 客户之间通过”接口”来发生联系。 c o h 技术的主要应用是由于目前网络应用程序的三层结构的趋势和分部式应用 程序程序w i n d o w sd n a 的发展和推广。c o m 的优势在于： 1 ) 在i n t e r n e t 时代，软件的开放性很重要，开放性也就意味着要遵从标准。而在 w i n d o w s 平台上，c o m 就是这样的标准。 北方工业人学硕士学位论文 2 ) 微软提出的a c t i v e x 技术包含了所有的基于c o m 的i n t e r n e t 相关的软件技术， 而a c t i v e x 技术毫无疑问是互联网上最具应用前景的技术，不久的将来，随着 a c ti v e x 控件的完善，我们有理由相信在i n t e r n e t 上的任何开发都将会以它为模 板和基础，而c o m 正是a c t i v e x 的基础。从服务器方面来看，a s p 把i i s 和其他 的软件产品结合起来，提供了非常强大而易用的w e b 应用实现方案，从客户方软 件产品看，其内容更为丰富，i n t e r n e ts d k 提供了很多可以直接利用的组件或特 征，如：x m l 对象模型，w e b b r o w e r 控制等，通过这些组件，为i n t e r n e t 用户提 供了更多的便利，也提供了更为丰富多彩的信息。 3 ) 现在c o m 已经渗透到了产品i n t e r n e t 各种软件中，包括一些基本的协议软件。 以后不仅软件开发商要应用c o m ，连基本的主页维护者都恐怕要用c 0 k l 来完善其 页面了。 4 ) 用c o m 来扩展a s p 网络应用程序很大的优点就在于使我们的应用程序更加具有可 维护性和在执行时更有效率! 同时他还达到了封装源代码，以保护知识产权。 5 ) i n t e r n e t 应用程序大部分属于分布式应用程序，而c o m ( 主要是指分布式c o m ) 一 个重要特点就是它的处理能力能够随着用户的数量、数据量所需性能的提高而增 加。 6 ) c o m 的无逢扩展集c o m + ，有着如内存数据库，负载平衡等强大的功能。 本文主要基于c o m 技术原理，在神经网络预测系统的开发过程中，用m a t l a b 语 言编写的核心算法以c o m 组件的方式在a s p i q e t 语言中调用，实现m a t l a b 语言与 a s p n e t 语言直接的数据通信。 2 4 3 n e t 体系结构4 9 】【5 川【51 2 4 3 1 n e t 简介 1 ) n e t 是一个施用于一系列技术上的商标。微软将n e t 视为数字化未来的一个远 景和平台。如果更具体更准确地看待这种创新，则是把n e t 视为一个商标，一 个微软已经施行于数种不同技术上的商标。这些技术有些是全新的，提供新的服 务和新的可能性，另一些则允许我们以最新的方式来创建我们今天已经知道的各 类w i n d o w s 应用程序。当然，也有一些n e t 家族成员只不过是装饰着n e t 牌子 的现有技术的新版本而已。 2 ) n e t 是软件成为一种服务的转移。n e t 在这个方面的意义是最被广泛接受和理 解的。“软件就是服务”的历年最初是在1 9 9 7 年左右由o r a c l e 的c e o l a r r y e l l i s o n 以及s u n 的c e os c o t tm c n e a l y 在网络计算机的概念大行其道的时候提出的。不 过o r a c l e 和s u n 并没有真正将这个概念变为现实，他们的视角更多的集中于资 1 2 北方工业大学硕士学位论文 源集中化方面。不过，当初听到e l l i s o n 和m c n e a l y 这番见解的公司当然包 括m i c r o s o f t ，也认识到了这种见解说出了软件产业面l 临的一个巨大改变，n e t 则是m i c r o s o f t 对这种概念，这种变化做出的自己的反应。 3 ) n e t 是一个新的编程模型也就是说是i n t e r a c t 平台。m i c r o s o f t 正在趋向于 将n e t 看作一个系统。在表面下，它包含了两种不同的编程模型：一个是w e b 服务编程模型，另一个是系统编程模型。 m i c r o s o f t 开始把n e t 系统编程模型作为n e t 整体的一个组成部分。计划最终以 此代替现有的组件对象模垂 - j _ ( c o m p o n e mo b j e c tm o d e l ，c o m ) 以及w i n d o w s 应用程序 编程接u ( a p i s ) ，这个现在还没有最终正式定名的模型使用一系列新的基础类。 2 4 3 2 n e t 的特点 i ) 高效率开发。通过n e tf r a m e w o r k 为我们提供的一个庞大而有结构清晰的类型， 使得我们的编程变得异常轻松，还有自动垃圾回收机制等等一系列新的特性，可 以让我们的程序员腾出更多的精力放在考虑如何实现客户所需要的业务逻辑上， 而不是计算机的控制卜- 为内存如何分派之类的事情头痛。 2 ) 多平台特性。尽管不可否认，到目前为i 二n e t 应用程序还只能运行于w i n d o w s 平台上，但n e t 天生就为跨平台应用做好了准备，据我们所知，微软自己还有 第三方开发商已经在为n e t 程序运行在u n i x 、o s 2 、l i n u x 等等系统上工作着( 如 开源项目m o n o ) 。我们还可以看到我们的n e t 应用程序将可以运行在p d a 甚至 手机上。不久的将来，我们将可以只关心我们的应用程序将如何满足客户的需求 而不用考虑基于何种平台来开发。 3 1 无接触部署。借助于n e t 的反射特性，n e t 应用程序都可以精确的描述自身。 这就使得无接触部署成为可能，n e t 应用程序无需在注册表中储存信息，只需 简单的x c o p y 便可i e 确的在用户的机器上运行，这使得企业的部署成本将会大 为降低。 4 1 消除d i ih e l l 。同样是基于n e t 的反射特性，每一个应用程序将可以清楚地知道 自己需要使用哪一个d 1 1 ，同一个d i i 的不同版本可以彼此和平共处，从而彻底消 除让我们头痛的d l lh e l l 。 5 ) 可信赖计算。长期以来，微软系统的安全性问题一直备受诟病。但终于，比尔盖 茨决定改变这种现状。在n e t 中，这种安全性的考虑直接放到了代码级。通过 一系列的技术，如代码访问安全( c o d ea c c e s ss e c u r i t y ) 、基于角色的安全、强名 称( s t r o n gn a m e ) 、权限和权限集等等，最人限度地保证了系统的安全性。 一1 3 一 j e 方工业大学硕士学位论文 24 3 3 n e tf r a m e w o r k 体系结构 n e t 是分层的、模块化的以及层次结构化的。n e tf r a m e w o r k 的缚层都是 个抽象层。其中，n e t 语言是顶层，也是最为抽象的一层。而公共语言运行库则位 于底层，它是最不抽象、最靠近本地环境的一层。这点很重要，因为公共语言运行 库需要与操作环境紧密台作来管理n e t 应用程序。n e tf r a m e w o r k 被分成了多个模 块，每个模块都有它们各自特定的责仆。最后m 丁高层只从底层请求服务，所以n e t 又足层次结构化的。 目22 n e i 体系结构 本文研究开发的神经网络预测系统采用n e t 体系结构，以a s p c # ，n e t 程序语言设 训开发应用系统，关于整个系统的洋细设计见本文的第四章。 2 4 4w e bs e r v i c e s 理论基础及应用【5 2 i s 3 2 4 41w e bs e r v i c e s 技术简介 近十年来，软件世界没有什么比i n t e r n e 和w w w 带来的冲山更大。以g u i 为丰的 应用程序可能就不再是下一阶段w e b 的交通工具了，人们希望能通过多种方式来获取 信息，而不仅仅是浏览器。如果提供这些w e b 服务的应用程序可以由外界通过编程来 访问，那么外界就可以更容易且更有效率的使用这套重要的服务。用微软的话说，一 切都是服务”。客户软件可以通过多种方式来调用那些应用 g 序的远稗操作，并使用 1 4 北方上业大学硕士学位论文 x m l ( e x t e n s i b l em a r k u pl a n g u a g e ) 传输信息。换句话说，这用应用程序可以用“w e b s e r v i c e s 方式”加以访问。 这种技术可应用于很多方面。它可用来让桌面客户或手持设备客户访问 i n t e r n e t 上的应用程序，利于预定系统；也可蚍刚于b 2 b 整合，通过i n t e r n e t 连接 不同企业组织的应埘程序。w e bs e r v i c e s 甚至还可能州于企业应用整合，从而将企 业组纠“原本运行于专用网络上”的应州程序连接起来。所有这些案例中，w e b s e r v ic e s 技术都为型型色色的软件小模块提供了“标准胶水”。 x m lw e bs e r 、i c e s 是完全公开的，可以通过任何平台实现。n e tm ys e r v i c e s 是 x m lw e bs e r v i c e s 的一个具体实现，通过x m lw e bs e r v i c e s 的方式柬传输数据，具 体地说，就是通过以x m l 描述的s 0 1 、p 消息来实现信恩的交流，而s o a p 消息可以通过 h t t p 或者d i m e ( d i r e c ti n t e r n e tm e s s a g ee n c a p s u l a t i o n ，直接i n t e r n e t 消息封装) 协议来传递。x 扎w e bs e r v i c e s 的工作原理如图所示。结合m i c r o s o f t n e tp a s s p o r t 用户身份认证系统，n e tm ys e r v i c e s 能够以用户为中心将应用程序和服务高效集 成，并实现个体和组织的协作与信息共享。 图2 3w e bs e r v i c e s 结构图 w e bs e r v i c e s 技术町以分解为四个独立领域，每一个领域都解决了问题的某个 特定方面。 1 ) 描述“经由网络发送的信息”：调_ l i = | 一个远程操作时，往往必须传八一些参 数，并取回某些信息。如果使用w e bs e r v ic e s ，这些信息必须以x m l 描述。 作为一种被普遍接受用以描述数据的现代通用语言，x m l 可以描述和交换不 同种类的信息。 2 ) 定义“w e bs e r v i c e s 能力”：必须存在某种机制，使w e bs e r v i c e s 供应者能 够精确定义他所提供的s e r v ic e s 的技术细节，并且能够被服务的接受者所 1 5 北方工业大学硕士学位论文 理解。这由w e bs e r v i c e s 描述语言( w s d l ) 完成。而w s d l 自身也是采用x m l 来定义的。 3 ) 访问w e bs e r v i c e s ：一旦定义好接口，客户必须使用某种盼议调用该接口内 的操作。这里并不存在什么专用协议，然而最重要的选择是s o a p ( s i m p l e o b j e c ta c c e s sp r o t o c 0 1 ) 。s o a p 提供一个办法，可以标识出“将调用哪一 个操作”：他以“采用x m l 定义完成的数据”传输操作的输入，并同样以“采 用x m l 定义完成的数据”回传任意结果。 4 ) 找出w e bs e r v i c e s ：对运用w e bs e r v i c e s 开发客户端程序的人员来说，必 须存在某种方式，让他们知道可以获得什么样的服务，让他们知道w e b s e r v i c e 提供了些什么? 其接口看起来是什么模样? 考虑到i n t e r n e t 的存 在，建立一个标准的r e g i s t r y 用以存储和访问信息是很合理的。这正是u d d i ( u n i v e r s a ld e s c r i p t i o n ，d i s c o v e r y ，a n di n t e g r a t i o n ) 技术所作的事 情。使用u d d i ，w e bs e r v i c e s 供应者便可以用标准方式对他们所提供的东 西广而告之，使客户得以获悉各家供应商提供了些什么服务，并让客户知道， 为了开发客户端软件，他们需要了解些什么。 2 44 2w e bs e r v i c e s 技术应用 以上饵一种技术都是由成群的厂商和用户彼此协作而开发出来的。比如x m l 是 w o r l dw i d ew e b 协会( 1 v 3 c ) 资助的一个大型团体开发出来的，w s d l 主要由m i c r o s o f t 和i b m 开发出来，s o a p 原先由m i c r o s o f t 、i b m 、u s e r l a n ds o f t w a r e 、d e v e l o p m e n t o r ， 其他一些团体也扮演了一定的角色。u d d i 原先由m i c r o s o f t 、i b m 和a r i b a 开发，后 来又有更多组织加入，共同努力。没有任何一个s e bs e r v l c e s 技术源自单一厂商提 供的解决方案。因此，奠基于x m l 、w s d l 、s o a p 和u d d i 之上的w e bs e r v i c e s 实质卜- 可用于所有平台、所有语言和所有对象模型。再加上w e bs e r v i c e s 的无与伦比的穿 越防火墙的能力，无论何时、无论何地、也无论你的系统是架构于w i n d o w s 、u n i x 、 m a c 或者l i n u x 甚至p p c 、p a l m 之上，只要有i n t e r n e t ，您就能享受w e bs e r v i c e s 提供给您的服务。 w e bs e r v i c e s 几乎可以用在任何场合。最显而易见的用途分为三类： 1 ) 允许经由i n t e r n e t ，以可编程方式访问应用程序：这样你就可以不必受限于 浏览器了，你可以使用选择更有效率的方式来完成，通过一个适合客户端设 备的界面，你可以表达你的意愿，并贯彻你的意愿。m i c r o s o f t n e t 意味着 简单化的整体服务；统一的信息浏览、编辑和授权；查看你的资料、工作和 在线与离线媒体；一种整体的系统方案；随时随地的个性化；绝对的自由。 一1 6 北方工业大学硕士学位论文 2 ) b 2 b 整合：w e bs e r v i c e s 的另一个重要应用是b 2 b 整合，一般来说它也依赖 于i n t e r n e t ，将运行于不同企业组织中的软件连接起来。就目前来说，各个 企业的软件在i n t e r n e t 的海洋里还像是一个一个的信息孤岛，要连接起来 还需要专门而特别的方法。其原因是多方面的，平台不同、软件不同、防火 墙等等这一些限制了彼此之间的连接，t l t m i 虽然是通用而标准的，可是 那只适合人看，想要交程序去理解网页中包含的信息，那是难上加难。而w e b s e r v i c o s 则提供了一个通用而标准的方式，使得这不再只是个美好的梦。 3 ) a 2 a 整合：许多企业组织最困难的问题就是如何将现有应用程序连接在一起。 不论规模如何，每家公司都有一些以不同语言在不同时间编写出来的软件， 混合运行于不同系统上。将这些繁杂的应用程序联合为一个有用整体，已经 是这些公司面临的巨大挑战之一，更别说为这个混合怪兽加上新程序了。而 w e bs e r v i c e s 则为这个恼人的a 2 a 整合问题提供了一个有效的解决方案，直 截了当的况，w e bs e r v i c e s 为这个五花八门的环境提供了一盒不错的万能 胶。 w e bs e r v i c e s 无疑是个好点子。他让许多厂商开放的s e r v i c e s 得以运行于跨越 i n t r a n e t 和i n t e r n e t 的所有平台上，并因此带来种新的开放世界的方式。w e b s e r v i c e s 底层蕴含的技术一x m l 、w s d l 、s o a p 、u d d i 都是相对较新的技术。尽 管这些技术的资历并不深，但它们都被多家厂商支持，并且看起来都有可能在将来的 分布式计算环境中发挥重要作用。奠基于浏览器之上的应用程序，造就了w e b 璀璨的 今天，而w e bs e r v i c e s 则可能成就出更美好的明天。并由此，将给我们带来一个全 新的理念：一切都是服务。 本文中将神经网络计算抽象为一个w e b 服务，将整个应用系统的逻辑事务处理以 及核心计算部分在物理空间上分离开来，使系统资源分布更合理，且具有更好的扩充 性及可维护性，关于系统神经网络计算的w e b 服务详细设计见本文的第四章。 3 神经网络的预测原理及预测算法设计 本文研究的基础是b p 神经网络，本章首先介绍b p 神经网络的理论基础和b p 神 经网络应用于预测的基本原理，然后分析传统b p 网络存在的一些缺陷，并针对缺陷 提出一些优化策略，根据这些优化策略，提出了一种综合优化的b p 网络结构模型。 3 1b p 神经网络理论基础 5 6 】 7 】 b p 算法全称为误差反传递算法( e r r o rb a c kp r o p a g a t i o nt r a i n i n g ) ，它的主要 思想是把学习过程分为两个阶段：第一阶段( f 向传播过程) ，给出输入信息通过输 一1 7 北方工业大学硕士学位论文 入层经隐含层逐层处理并计算每个单元的实际输出值；第二阶段( 反向过程) ，若在 输出层未能得到期望的输出值，则逐层递归地计算实际输出与期望输出之差值( 即误 差) ，以便即此调节权值，具体地说，就是可对每一个权重计算出接收单元的误差值 与发送单元的激活值的积。因为这个积和误差对权重的( 负) 微商成正比( 又称梯度 下降算法) ，把它称作权重误差微商。权重的实际改变可由权重误差微商一个模式一 个模式地计算出来，即它们可以在这组模式上进行累加。 输出 i a 县 图3 1 基于b p 算法的神经元网络结构 如图3 1 所示，这是一种三层b p 网络，一般来讲，b p 网是一种具有三层或三层 以上的多层神经网络。它的左，右各层之间各个神经元实现全连接，即左层的每一个 神经元与右层的每一一个神经元都有连接，而上下层各种神经元之间无连接。b p 网络 按有教师学习方式进行训练，当一对学习模式提供给网络后，具神经元的激活值将从 输入层经各中间层向输出层传播，在输出层的各神经元输出对应于输入模式的网络响 应。然后，按减少希望输出与实际输出误差的原则，从输出层经各中间层，最后回到 输入层逐层修正各连接权。由于这种修正过程是从输出到输入层逐层进行的，所以它 也称为“误差反传递算法”。随着这种误差逆传播训练的不断进行，网络对输入模式 响应的f 确率也不断提高。 由于b p 网有处于中间位置的隐含层，并有相应的学习规则可循，可训练这种网 络，使其具有对非线性模式的识别能力。特别是它的数学意义明确、步骤分明的学习 算法，更使其具有广泛的应用前景。 b p 网的学习过程主要由四部分组成： 1 ) 输入模式顺传播( 输入模式由输入层经中间层向输出层传播计算) ； 2 ) 输出误差逆传播( 输出的误差由输出层经中间层传向输入层) ： 3 ) 循环记忆训练( 模式顺传播与误差逆传播的计算过程反复交替循环进行) ； 4 ) 学习结果判别( 判定全局误差是否趋向极小值) 。 一1 8 一 北方工业大学硕士学位论文 下面分别介绍和分析这四个过程： 1 ) 输入模式顺传播 这一过程主要是利用输入模式求出它所对应的实际输出。 设输入模式向量为 a ，= b ，口：，口：j ( k = 1 , 2 ，m m 一学习模式对数：” 与输入模式相对应的希望输出为 2b ? ，硝，y ：j ( q 一输出单元个数) 根据m - p 神经元模型原理，计算中间层各神经元的激活值。 0 = 一臼，( j 刮，2 ，p ) 输入层单元个数)( 3 - 1 ) ( 3 2 ) ( 3 3 ) 式中：彬输入层至中问层的连接权；哆中间层单元的闽值；p 中间层单元数。 激活函数采用s 型函数，即 m ) 2 百；i 1 而( 3 - 4 ) 这里之所以选s 型函数作为b p 网络神经元的激活函数是因为它是连续可微分的，而 且更接近于生物神经元的信号输出形式。将上面的激活值代如激活函数中可得到中间 j 层j 单元的输出值为 6 ，：f ( s j ) ：0 一 1 + e x p ( _ 善 ( 川，2 ，5 ) 闽值q 在学习过程中和权值一样也不断地被修正。闽值的作用反映在s 函数的输出曲 线l ，如图3 2 所示： 图32 阈值口对激活函数的作用 由图3 2 可见，闽值的作用相当于将输出值移到了臼个单位。同理，可求得输出 一1 9 一 ! ! 查三些奎兰堡主堂焦堡兰 端的激活值和输出值：设输出层第f 个单元的实际输出值为，则 l t = ”b j y i l ， ，。 ( 一中问层至输出层连接权；一一输出层单元闽值)( 3 6 ) 设输出层第7 个单元的实际输出值为，则 。r 2 旭) ( 扛l “2 ，q ) ( 3 - 7 、 2 ) 输出误差的逆传播 在第一步的模式顺传播计算中我们得到了网络的实际输出值，当这些实际的输出 值与希望的输出值不一样时或者说其误差大于所限定的数值时，就要对网络进行校 正。 这里的校正是从后向前进行的，所以叫做误差逆传播，计算时是从输出层到中间层， 再从中间层到输入层。输出层的校正误差为： 彰2 c ? 1 厂( r ( 3 8 ) 式中仁1 ，2 ，g ，。= 1 ，2 ，一。矿一希望输出；0 实际输出；八) 对 输出层函数的导数。中间层各单元的校正误差为： 口、 弓2 l 善影j 厂。5 ；( _ ，：z ，2 ，一，p ，k ：。，2 ，一，竹) ( 3 9 ) j _ l，= i z = i7 m 、 这里应注意，每一个中间层单元的矫正误差都是由q 个输出层单元校正误差传递而产 生的。当校正误差求得后，则可利用和沿逆方向逐层调整输出层至中间层，中间层到 输入层的权值。对于输出层到中间层连接权和输出层阈值的校正量为 h