（计算机应用技术专业论文）一种基于组合技术的股票预测方法的研究.pdf

青岛理工大学工学硕士学位论文 摘要 股票市场是经济的“晴雨表”和“报警器”，其作用不仅被政府所重视，而且 更受投资大众的普遍关注。但是当前对股票的预测只能进行走势分析，而不能给 出明确的买卖操作建议，主要还是依靠股民的股市经验来进行实际操作。基于神 经网络的股票预测系统研究，是目前金融领域研究的热点之一。但是神经网络具 有收敛速度慢和容易陷入局部最小值的缺点，并且单纯用神经网络对股票进行预 测时可信度也不是很高。针对这些问题本文尝试利用神经网络和决策树的组合技 术来预测股票。 本文应用神经网络和决策树的组合技术来确定股票买卖交易量，提供股票操 作支持的这一课题进行了深入研究和探索。设计了一个基于前向神经网络和决策 树的股票预测系统。首先，文中介绍了现有的各种股市预测方法和它们的优缺点， 并介绍了国内外股市分析软件的现状。然后深入地分析了前向网络的结构、学习 能力及b p 算法。提出了将股价和成交量作为神经网络输入量来实现操作决策支 持，分别利用2 0 日股价均线和成交量均线对股价和成交量进行归一化处理，实现 标准化后的数据跟随原数据动态地变化。通过实例给出了利用神经网络建立股市 预测模型的具体步骤，并提出了股票预测的最佳方案：把股票预测系统分成买入 和卖出系统，利用另一种技术辅助神经网络找出k 线图中的转折点，提出了利用决 策树辅助神经网络进行预测的方法。最后介绍了决策树的属性选择度量方法、建 树算法、剪枝算法以及其它一些经典的算法，如删f o i 疆s t 算法，并给出了如 何利用决策树对股票进行预测。 本文采用m a t l a b 6 5 开发了一个基于神经网络的股票预测平台。利用它可以提 取实时和历史数据，并对股票迸行预测。文中分别对神经网络算法的选取，决策 模型的建立，系统结构的设计以及系统功能的实现作了深入地分析与详细地描述。 关键词神经网络：决策树；信息增益；基尼指数 童星鎏三銮耋三茎堡圭堂堡堡蚤 a b s t r a c t t h es t o c km a r k e ti st h ew e a t h e rc l a s sa n da l a r mm a e l a i n ef o rt h ee c o n o m y , i t s e f f e c ti st a k e ns e r i o u s l yn o to n l yb yg o v e r n m e n t , b u ta l s ob yi n v e s t o r b u tt o d a yw e f o r e c a s ts t o c ki so n l yb ya n a l y z i a gi t sl a 陀n d w ec a n tg i v ee x p l i c i ts u g g e s t i o no f b u y i n g 0 1 s e u i n g w eo p e r a t es t o c km a i n l yb y0 1 1 1 e x p e r i e n c x t h er e s e a r c ho fs t o c kf o r e c a s t i n g s y s t e mb a s e do nn e u r a ll l e t w o r k , r e c e n t l ya t t a c h e sc o n s i d e r a b l ea t t e n t i o ni nf i n 锄c ef i e l d b u tt h en e u r a ln e t w o r kb a st h ed e f e c to ft h es l o wc o n v e r g e n c er a t ea n df a l l i n gi n t ot h e r e g i o n a lo p t i m a ls o l u t i o ne a s i l y ，a n dt h ec r e d i b i l i t yi sn o th i g hi fw ef o r e c a s ts t o c ko n l y b yn 咖- a ln e t w o r k a i m e da tt h e s eq u e s t i o n st h ep a p e ra t t e m p t st of o r e c a s ts t o c kb yt h e c o m b i n e dt e c h n i q u eo f n e u r a ln e t w o r ka n dd e c i s i o nt r e e t h ep a p e rs t u d i e sa n de x p l o x e st h ep r o b l e m , w h i c hu s e st h ec o m b i n e dt e e l m i q u eo f n e u r a ln e t w o r ka n dd e c i s i o n 喙t od e c i d et h eb u y i n g0 1 s e l l i n gt r a d i n gv o l u m ea a d p r o v i d et h eo p e r a t i o no fs t o c k a n dd e s i g n sas t o c kf o r e c a s t i n gs y s t e mb a s e d0 1 3n c l l l a l n e t w o r ka n dd e c i s i o nt r e e f i r s t l y , t h ep a p e ri n t r o d u c e st h em e t h o d so f f o r e e a s t i n gs t o c k a n dt h e i rm e r i ta n ds h o r t c o m i n g ，t h ep r e s e n te o n d i t i o mo fs t o c ka n a l y z i n gs o f t w a r e d u r i n gh o m ea n da b r o a d t h e n , i ta n a l y z e st h es t r u c t u r eo f f e e d f o r w a r dn e u r a ln e t w o r k , s t u d ya b i l i t ya n db pa l g o r i t h m p r o v i d e su s i n gs t o c kp r i c ea n du a d i n gv o l u m e 舾t h e i n p u t so fn e u r a ln e t w o r kt o r e a l i z eo p e r a t i o nd e c i s i o ns u p p o r t , u s e s2 0d a y ss t o c k a v e r a g ep r i c ea n di z a d i n gv o l u m et om a k es t o c kp r i c ea n du a d i n gv o l u m es t a n d a r d d i f f e r e n t l y , n l a k c ss t a r d a r dd a l ac l y 删a m i ew i t ht h ef o r m e rd a t a b ye x a m p l et h ep a p e r g i v e st h es p e c i f i cp r o c e d u r eo fu s i n gn e u r a ln e t w o r kt of o r mt h em o d e lo fs t o c k f o r e c a s t i n g ，a n dt l a eb e s ta p p r o a c ht of o r e c a s ts t o c kw i t hn e u r a ln e t w o r k ：d i v i d e ss t o c k f o r a s t i n gs y s t e mi n t ob u y i n gs y s t e ma n ds e l l i n gs y s t e m , u s e sa n o t h e rt e c h n o l o g yt o h e l pn e u r a ln e t w o r kf i n do u tt u r l 】i n gp o i n to fk l i n e ，a d v i s e st ou d e c i s i o n 慨t o h c l pn e t t r a ln e t w o r kf o r e c a s ts t o c k a tl a s t , i ti n l x o d u c e st h ed e e i s i o nt r e e s a t t r i b u t e s e l e c t i o nm e a s mm e t h o d , b u i l d i n gl l e ea l g o r i t h m , p r u n i n gt r e ea l g o r i t h ma n do t h e r c l a s s i c a la l g o r i t h m , s u c ha sr a i n f o r e s ta l g o r i t h m , a n dg i v e sh o wt ou s ed e c i s i o n l l e et of o r e c a s ts t o c k ! 里堡三奎耋三誊堡圭耋堡堡三 t h ep a p e rd e v e l o p sas t o c kf o r e c a s t i n gp l a t f o r mb a s e do i ln e u r a ln e t w o r kb y m a f l a b 6 5 u s i n gi tw ec a nc x t r a g tr e a lt i m ea n dh i s t o r i c a ld a t a , a n df o r e c a s ts t o c e c o n c e r n i n gt h es e l e c t i o no fn e u r a ln e t w o r ka l g o r i t h m , t h ef o r m a t i o no fd e c i s i o nm o d e l ， t h ed e s i g no fs y s t e ms t r u c t u r ea n dt h er e a l i z a t i o no fs y s t e mf u a c t i o n , t h ep a p e ra n a l y s e s a n dd e s c r i b e si nd e t a i l k e y w o r d n e u r a ln e t w o r k ；d e c i s i o nt r e e ；i n f o r m a t i o ng a i n ；g i mi n d e x i i 青岛理工大学工学硕士学位论文 第1 章绪论 1 1 课题研究背景及意义 股票市场从诞生的那天起就牵挂着数以万计投资者的心，它的风险与利润具 有巨大的魅力，每一个投资人都想从中获利。因此投资者们时刻在关心股市、分 析股市，并试图预测股价的走势。人们采用各种方法，如道氏分析法、k 线图分析 法、柱状图分析法，甚至抛硬币、算卦等方法1 1 - 4 1 来预测市场的波动。但是真正长 期出入于股市的人，大多是输家1 5 l 。 近年来，新的指标分析法被不断地推出。严格地讲，这些方法仅仅是分析手 段，还不能直接预测股市的动态。此外，人们也试图用回归分析等统计手段建立 模型来预测股市 6 1 。然而，由于股市行情受经济、政治等因素( 如发行公司的经营 状况和财务状况、新股上市、利率水平、汇率变动、国际收支、物价因素、经济 周期、经济政策等) 的影响，其内部规律非常复杂，变化周期无序；同时，又由于 投资者个人心理状态不同，对股票交易的行为产生直接的影响，从而导致股价波 动，使股价走势变幻莫测，难以把握。因此以上方法预测的效果并不理想1 7 8 1 。 股市投资预测研究涉及证券投资分析、决策科学、系统科学、预测技术、计 算机技术、数据库、人工智能和专家系统等多学科领域，是一种交叉的边缘性研 究。国际近几十年证券市场的巨大变化，引发了上述诸方面的大量工作。但是， 股票市场的复杂性和不确定性，使其投资决繁问题成为金融工程及系统工程领域 的前沿课题之一，也是迄今为止尚未很好解决的一个国际热点难题i 明。作为一个股 票投资者他想知道的只是股票未来一段时间内的涨跌及其幅度，以及在自己投入 资金已定的情况下，如何操作才会使总收益达到最大。因此，运用这些新的理论 和技术，重新审查股票市场，改进沿袭了几十年的传统方法，并对投资决策指导 软件的开发进行更深入地研究，以指导股票投资者进行操作，使其总收益最大， 是具有较大的现实意义和广阔的市场前景。 神经网络是一种大规模并行的复杂非线性动力系统，它可以表示极其复杂的 非线性模型系统。它具有大量可供调节的参数，高度并行的处理机制，具有高速 运算的能力和高度分散的存储方式。另外神经两络具有强壮性，能够提取较多的 焉岛理工大学工学硕士学位论文 特征以更好的泛化，并能搜索出统计方法所无能为力的数据空间的某些部分。同 时，神经网络的信息利用能力较强，可充分利用各种信息，包括有明显因果关系 的相关信息和隐含于各种关系间，无法用统计或其它显式方法表示的关系，神经 网络的学习能力能尽快地对复杂环境及其变化做出较为合理的反应和有效预测。 股票预测只有当预测模型参数的选取随着股市环境的不同而改变时，才会得 出较好的预测效果，这些问题对于传统的预测方法是难以解决的【lo 。而利用神经 网络上述特性及其非线性性质对股市进行预测，则可以通过数据本身的内在联系 进行建模，在不断的学习中动态地形成知识体系。这样所建造的模型具有良好的 适应性和自学习能力，能够得到较好的预测效果】，从而可以帮助投资人客观地 分析股市形势，避开严重的投资风险，保持客观、理智的决策心态，辅助制定投 资与操作决策，使投资人得到尽可能高的投资收益，达到其投资目的。 1 2 股票预测方法研究及应用现状 1 2 1 股票基础分析方法 基础分析法【1 2 j 以经济学、财政金融学、财务管理学和投资学为理论基础，研 究影响股市走势的基本要素。该方法认为股票的实际价值即理论价值，是与投资 报酬率和资金利润率有直接、真实的联系：股票价值的升降反映了人们从各种途 径得到的预期报酬的信息的变化，当信息不全面、不充分或股票市场受供求关系、 心理及政策因素影响时，股票价格即会与理论价格背离。因此，当市价低于理论 价格时，即为购买股票的最佳时机，而当市价高于理论价格时，即为抛售的最佳 时机。 基础分析能够比较全面地把握证券价格的基本走势，应用也简单。但是它 对市场的反应迟钝，预测时间跨度相对较长，因此对市场短线操作缺乏指导意义。 并且应用基础分析，要对统计数据进行整理和归纳，需要有较高的分析能力和专 业技巧，因而对散户投资者而言，熟练地利用基础分析法指导投资操作比较困难。 1 2 2 股票技术分析方法 进行股票的预测，最直接和最基本的方法是股票的技术分析方法，该方法认 为股票的价格是由供需关系决定的，企业的盈利水平和股息多少对股票价格影响 很小，与基础分析法完全不同，它是运用股票价格的历史资料来判断整个股票市 2 青岛理工大学工学硕士学位论文 场或某一股票价格的变动趋势及幅度，通过绘制图表进行形态分析与指标分析， 确定操作策略。技术分析法可以分为三种类型1 1 3 , 1 4 ： 判断股价趋势为主的趋势分析，如道琼斯理论、趋势线法、移动平均线等； 形状分析，如k 线系统、整理与反转形态、波浪理论等； 人气指标，如成交量图、o b v 指标等。 技术分析者不必具备世界局势和经济条件等专业知识只需一张图和一支笔 就可对市场进行预测。该方法的优点在于它的客观性和理性，有助于投资者保持 冷静的心态。其缺陷在于：第一，买卖讯号的出现与最高或最低价格有一段距离， 令投资人不易做出决定：第二，有时会有“走势陷阱”出现，使人无法看清讯号； 第三，不能告诉投资人每次上升或下跌完成的时间。此外，目前的技术指标分析 方法众多，各种方法之间差别巨大，对于投资者来说学习不易，掌握更难。到目 前为止，虽然它仍是大多数投资者使用和依赖的分析预测方法，但是对它的改进 和发展已经成为不可避免的事实。 1 2 3 混沌动力学预测股票 自从六十年代，气象学家e n 1 0 r e n z 发现了非线性系统的混沌现象之后【嘲， 美国的e e p e t e r l 9 9 1 年研究了“标准普尔5 0 0 指数”，通过空间重构发现了系统混 沌现象的存在f 阍。我国学者也研究了上证综合指数，并发现了混沌现象的存在【阍。 近年来，混沌理论的研究结果不断地被应用到经济学和工程学的各个领域， 混沌理论刻划了混沌系统的运行机理和性质，与此同时经济系统中混沌现象不断 被发现，因此自然而然地发展起来了利用混沌理论对股票预测进行研究。美国 m a t s i l b a 在1 9 9 2 年国际神经网络年会上，发表了关于混沌系统奇异吸引子的相关 维数和用于市场预测神经网络的训练数据、训练次数之间经验关系的论文。在1 9 9 5 年的世界神经网络年会上，总共5 0 0 余篇文章中就有2 0 多篇研究预测的应用。在 1 9 9 7 年智能信息处理年会上，神经网络同混沌动力学理论结合己成为神经网络的 一个发展方向。 1 2 4 采用人工智能技术预测股票 计算机与人工智能技术的飞速发展，为股票市场建模与预测提供了众多的新 技术和新方法，使得基于人工智能的股票预测技术迸展迅速。人工神经网络具有 3 青岛理工大学工学硕士学位论文 广泛的适应能力、学习能力和映射能力等【1 8 j ，而模糊模型本质上就是一种非线性 模型，因此，这类模型具有极强的泛化和适应能力。基于神经网络的股票预测方 法，主要是利用神经网络进行股票价格数据的学习训练，然后使用训练后的模型 进行股市预测：采用模糊模型技术进行预测，主要是依据专家经验或统计方法建 立模糊模型进行预测【1 9 1 。 1 2 5 采用决策树技术预测股票 数据挖掘( 胁i l a m i n i n g ) 就是从大量的、不完全的、有噪声的、模糊的和随机 的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的 信息和知识的过程。决策树主要解决的问题是为一个事件或对象归类。在使用上， 既可以用此模型分析已有的数据，也可以用它来预测未来的数据。本文就是利用 决策树来对已有股票数据进行分类，然后在这个基础上找出股价涨跌的转折点， 进而对未来股票进行预测。 1 2 6 采用组合技术预测股票 在股市投资过程中，投资决策者面临抉择的预测方式可能不只一种，而且各 有千秋，并且这些预测方法都能够从一定程度上提供不同的有用信息，股票组合 预测方法所研究的内容就是如何综合利用这些信息，解决多模式预测方式问题。 在1 9 8 9 年，i n t e r n a t i o n a lj o t l i t l a lo f f o r e c a s t i n g 和f o u m a lo f f o r e c a s t i n g 分别出版了 组合预测专集，g r a n g e r 和c i e m e n 分别给出了精辟地综述与详论，c l e m e n 从信息 集合的角度讨论了组合的实质，从而为探讨获取最有用信息，抛弃无用信息提供 了指导1 2 0 。自b a t e s 和g r a n g e r 发表组合预测文章以来，组合预测有了很大发展。 组合预测的目的在于综合利用各种预测方法所提供的信息，尽可能地提高预测精 度。组合预测研究主要是考虑组合机理，权值确定主要从统计分析、贝叶斯分析 和信息集合三个角度来考虑【2 1 】。国内，唐小我一直致力于组合预测研究与推广 2 2 2 3 。针对神经网络和决策树的特点，本文尝试利用b p 神经网络和决策树组合来 预测股票。在理论的指导下作者进行了多次试验，试验结果证明此方法是可行的。 1 3 国内外股票分析软件的现状和发展趋势 国外的股票分析软件种类很多，数学理论、人工智能技术和计算机软件技术 4 胥岛理工大学工学硕士学位论文 在这些股票分析软件中发挥了很大的作用。股票分析预测软件一直以来发展迅速， 如以o m e g a u 为代表的分析软件，该软件提供了多种图形工具，并给出了自我 设计指标的工具，用户可以利用该软件给出计算方法即可得到新的技术分析指标， 同时提供报警设置，用户可以设定某个价位或者某条趋势线，当股票突破该设定 位置时，软件会发出提示信息。另外以a d v a n c e dg e t l 2 5 】为代表的智能图形分析软 件，可以依据股票交易的价格数据，采用波浪理论找到各个大浪和子浪形，并依 据波浪理论给出最为合理的浪形结果，从而预测股票的最为可能的下一个阶段转 折点。另外还有基于价值区的股票分析软件，基于模糊理论的股票投资决策软件 和基于神经网络的股票预测软件等等。 国内早期比较流行的股票分析软件，主要以来自台湾的钱龙软件为主，其次 为汇金和胜龙等股票分析软件，再加上来自一些i t l t e r n e t 网站的客户端分析软件， 中国的股票分析软件大约多到几十种。上述软件可以提供股票的常见技术指标的 分析图表，提供股票的消息咨询，提供股民的在线账户管理，帮助股民管理自己 的账户资金和股票，同时提供自选股，大盘股指分析等内容，所有软件大都模仿 钱龙软件的分析功能和界面，功能大同小异，只是运行平台和获得数据的方式有 些差异，没有实质性的技术革新和帮助股民进行股票投资的智能分析能力跚。近 几年，国内出售的各类投资分析软件名目繁多，其中包括新版的钱龙、胜龙、大 趋势、投资家、海融和股经等软件，主要特点是突出了选股、评价和优化等辅助 交易功能，有的还开放了自编公式平台。 在信息极度膨胀的今天，人们越来越不满足于股票分析软件只提供技术指标 的分析图表，而由投资者自己判断买卖数量和价格的状况。这就要求股票分析软 件更加智能化。 1 4 本文主要研究内容 在导师的指导下，作者阅读了大量有关股票预测、神经网络和决策树的书籍 和资料。对神经网络技术在股票预测市场的应用进行了细致地研究，提出了几种 研究方案，最终决定利用决策树辅助b p 神经网络对股票进行预测。典型的金融分 析领域包括投资评估和股票交易市场预测，分析方法一般采用模型预测法，如神 经网络和统计回归技术，而统计回归技术只适合于样本较少的问题分析，所以本 文采用神经网络进行股票预测。 青岛理工大学工学硕士学位论文 目前对神经网络的研究主要包括神经网络的基本理论研究、神经网络模型的 研究、神经网络学习算法的研究、神经网络的计算机模拟及硬件实现和神经网络 模型的应用研究 2 7 t 。其中，神经网络的算法研究是神经网络研究的一个热门课题， 近年来己研究出许多神经网络学习算法。这些算法可分为两类：有导师学习和无 导师学习。在这些算法中，在理论和实际应用中都成熟的有三种：模拟退火算法， b p 算法和竞争学习与相互激励学习算法。在这三种算法中，多层前馈网络的误差 反向传播( e r r o rb a c kp r o p a g a t i o n ，简称b p ) 算法具有可逼近任意非线性连续函数 的学习能力和对杂乱系统的综合能力，还可根据历史数据进行自调节，这是其它 方法所不具有的。并且b p 算法是到目前为止最具影响力的算法之一，因此它被用 来训练多层前向神经网络。本文也采取了这种算法来对股票进行预测。 神经网络用于非线性预测的基本原理是将观测值数据作为神经网络的输入向 量，将预测值作为神经网络的输出向量；然后用足够的样本模式训练这个神经网 络，使不同的输入向量得到不同的输出值。这样，神经网络所具有的连接权值， 便是网络经过适应学习所得到的正确的内部表示；训练好的神经网络便可以作为 一种定性与定量相结合的有效工具，对不同的预测对象进行预测。 用于非线性预测的神经网络模型通常为b p 神经网络模型。b p 神经网络模型 的学习算法( 也称逆传播学习算法) ，其学习过程是一个误差边反向传播边修正的 过程，通常分为两个阶段进行：第一阶段按前向传播方向进行，按照输入层至隐 含层至输出层的方向，可以得到各神经元的输入值和最后输出层的输出值：第二 阶段按反向传播方向进行，根据输出层的实际输出和期望输出之间的误差，来调 整节点间的连接权植，使误差达到最小。 基于b p 算法的证券预测技术研究就是选择股票的一些比较重要的技术指标 作为训练样本，将某些交易目的这些股票技术指标作为输入向量，按照前向传播 方向，得到输出层的实际输出值；然后按反向传播方向，根据输出层的实际输出 和期望输出之间的误差，来调整节点间的连接权值，使误差达到允许的最小值。 经过调整的最后的权值，就是b p 网络经过自适应学习所得到的正确的内部表示。 使用训练后的b p 网络模型对股价走势进行预测，从而达到增加投资收益和降低投 资风险的目的。 当然b p 网络模型也存在着一定的缺点。收敛速度慢和目标函数存在局部极小 值两个问题。针对前者已有了较多的比较成功的改进方法，也有了比较理想的解 6 苎璺堡苫銮耋三耋璧圭：堡鎏圣 决方法。针对后者，我们采用了决策树和b p 算法相结合的方法。它有效地解决了 在股票预测过程中寻找经验数据的困难，大大提高了股票预测系统的可实现性， 并比b p 网络有着更好的泛化往。 在数据挖掘的知识模式中，分类是比较重要的一种。决策树是数据挖掘中功 能相对比较全面的一种分类工具。决策树按功能划分，主要有两种类型：对测试 数据进行标记并把它们正确分类的分类树：对数值型的目标变量进行估计的回归 树。本文介绍的决策树是分类树。本文利用分类树解决了b p 模型在实际应用系统 中很多因不知道最优策略而无法得到输入输出对的困难。实验证明这种方法是有 效的，并能在股票预测系统中取得比单纯用b p 算法的预铡模型更加理想的效果。 本文的具体内容安排如下： 首先介绍传统股票预测方法的研究及应用现状； 介绍b p 神经网络的理论知识，探讨本文采用的预铡方法与算法，并对算 法自身所具有的缺陷以及运行中出现的问题加以深入分析； 通过实例探讨如何用神经网络预测股票，并提出了用决策树辅助神经网络 来对股票进行预测； 介绍如何用决策树辅助神经网络进行决策； 对股票预测方法的总结与展望。 7 青岛理工大学工学硕士学位论文 第2 章神经网络理论及b p 算法 神经网络是对人脑思维系统的一个简单的结构模拟，具有模仿基本形式的人 脑神经元的功能。实质上，神经网络是一个不依赖于模型的自适应函数估计器， 因而不需要模型就可以实现任意的函数关系。其突出的优点是能够进行并行处理， 并且具有学习能力、适应能力和很强的容错能力。神经网络在信息处理中的运用 愈来愈广泛，特别是在模式识别、图像处理、预测，预报、人工智能、优化和控制 等领域，已取得了令人瞩目的成就 2 s l 。 2 1 神经网络概述 2 1 1 神经网络的定义和特点 人脑的计算方式与传统的数字计算机相比是完全不同的，人脑是一个高度复 杂的、非线性的和并行的信息处理系统。人脑组织它的神经元进行诸如模式识别、 感知和运动神经控制等特定的计算【聊，其速度能够比当今最快的计算机快很多倍。 神经网络( n e u r a ln e t w o r k , n n ) ，也称为人工神经网络( a r t i f i c i a ln e u r a l n e t w o r k , a n n ) ，是由大量连接的简单的神经元( n f u r o n s ) 构成的规模宏大的并行 分布式处理器网络，天然具有存储经验知识并使其可用的特性，是对人类大脑的 粗略简单模拟、抽象和简化，它具有通过实施相应的算法从外界环境中学习获取 知识并解决问题的能力，其知识是分布存储在互连神经元连接权( 突触权值) 中。 1 神经网络基本上属于结构主义产物。特殊的结构决定特殊的功能。神经网 络与一般的建模和计算相比有如下几个突出特点娴6 1 。 ( 1 ) 并行处理( m a s s i v e l yp a r a l l e lp r o f e s s i n g ) 。一般的并行计算通常是指。以空 间的复杂性来代替时间的复杂性”，即是通过将任务分解，分配到各个单元上并行 处理，最后将结果综合而达到最后的目的。它在每个处理器上的工作，都有其宏 观层次的意义，对整体问题有清晰的贡献。然而神经网络的并行处理则是指：不 同节点的同时操作。节点本身依照一定的规则( j 恿常是简单的规则) 作出调整。节 点间的运算则是非逻辑的竞争与协作的自然结果。最终的结果只是在宏观整体层 次上有意义。而每个节点的操作对整体上并没有清晰的贡献。 ( 2 ) 分布式存储( d i s t r i b u t e dm e m o r y ) 。分布式的存储与我们常用的记忆逻辑 8 青岛理工大学工学硕士学位论叉 不同。神经网络的每一个神经元，都只是整体概念的一个部分，但是到底是怎样 的一部分人们并不清楚。每一个单元都包含着对整体的贡献，而每一个单元都无 法决定整体的状态。即决定整体状态的是这些单元的相互关系而非它们自身。也 就是说存储的整体内容与存储的基本单元完全不在同一层次上，整体的内容分布 于多个单元的相互关系及状态上，这只是分布的一个方面。更重要的一方面是网 络的一个权值不仅包含一个整体内容的信息，它还包含对整个样本集全部样本的 贡献，即以一个值对应全部的组合，这样的分布存储与其它存储方式有着根本的 不同。 ( 3 ) 鲁棒性( r o s b u s t ) 。神经网络的鲁棒性，是与它的并行处理方式和分布式 存储结构分不开的。在神经网络系统中，一个节点的输入由多个节点的输出组成 ( 真正的生物神经系统的输入可以有成千上万的输入，人工神经网络则少得多) ，并 且每一个输入在竞争时并不具有优先权，因而一个或几个节点的误差不会累加到 其它节点的运算上去。一个节点的误差也很难改变众多节点的竞争协作结果。另 外，由于所要表达的信息与存储信息的单元不在同一层次上，又由于它们具有分 布性，低层次上的局部变化，不会使信息完全丧失。 ( 4 ) 学习与适应性( l e a r n i n g a b i l i t y ) 。神经网络的另一个重要特点是具有很强 的学习能力。它可以通过对数据的有导师学习或无导师学习，实现任意复杂的函 数关系或映射，进而适应环境的不断变化。神经网络学习的一个突出特点，是在 网络整体结构不变的情况下，只调整权值即可完成任意关系的学习。 2 神经网络具有下列性质和能力。 ( 1 ) 非线性。一个由非线性神经元互联而成的神经网络自身是非线性的同时非 线性是一种分布于整个网络的特性。 ( 2 ) 输入输出映射。在有监督学 - 3 过程中，机器学习算法是使用带标号的训练 样本对神经网络的连接权进行修改。每个样本由一个唯一的输入信号和相应的期 望输出组成。从一个训练集中随机选取一个样本给网络，网络调整它的连接权值 直到网络的实际输出与期望输出之间的差别达到要求的精度。 ( 3 ) 适应性。神经网络拥有一个调整自身突触权值来适应外界变化的能力。在 特定运行环境下接受训练的神经网络，对变化不大的外界条件容易进行重新训练， 并且在时变环境中运行时，网络的连接权值可以设计成随时间变化。 ( 4 ) 证据响应。神经网络在模式识别问题中能够设计成既提供不限于选择哪一 9 青岛理工大学工学硕士学位论又 个特定模式的信息，也提供用来拒判过于模糊的模式的决策置信度信息。 ( 5 ) 背景的信息。神经网络的特定结构和激发状态代表知识。网络中每一个神 经元潜在地都受其它神经元全局活动的影响。 ( 6 ) 容错性。由于网络信息存储的分布特性，以硬件形式实现后的神经网络有 容错的潜质或鲁棒性，其性能在不利运行条件下逐渐下降，在网络的总体响应严 重恶化之前损坏是分散的。 ( 7 ) v i s l 实现。神经网络的大规模并行性具有快速处理某些任务的潜力，适合 用超大规模集成电路实现。 ( 8 ) 分析和设计的一致性。神经网络应用的所有领域是用同样的记号标注的通 用的信息处理器。该特征是以神经元、共享的相同理论和学习算法、模块的无缝 集成方式来表现的。 ( 9 ) 神经生物类比。神经网络的设计是由对人脑的类比而引发的，是一个解释 神经生物现象的研究工具，神经生物学被作为解决复杂问题的新思路。 此外，它还具有分布存储、并行处理和自训练学习等优点。从8 0 年代初神经 网络的研究再次复苏并在国际上形成热点以来，理论上对它的计算能力、对任意 连续函数的逼近能力和学习理论等都获得了很大的突破，在一些科学研究和实际 工程的重要领域中，已显示了很大的威力。 2 1 2 神经网络的主要应用领域 神经网络的发展受到了全世界的瞩目，在应用上己迅速扩展到许多重要领域， 以下列出了一些主要的应用领域【研。 1 模式识别与图像处理。印刷体和手写体字符识别。语音识别，汉字识别， 指纹识别，人脸识别，癌细胞检测，心电图和脑电图分类，r n a 和d n a 识别， 油气贮藏勘测，加速器事故检测，目标检测与识别，图像压缩和图像复原等。 2 控制与优化。化工过程控制，机械手运动控制，电弧炉电极控制，半导体 生产掺杂控制，石油精炼，食品工业中优化控制和v l s i ( 超大规模集成电路) 布线 设计等。 3 预测与管理。股票市场预测，有价证券管理，借贷风险分析，信用卡管理 和机票管理。 4 通信。自适应均衡，回波抵消，路由选择和a t m 网络中的呼叫接纳识别及 1 0 青岛理工大学工学硕士学位论文 控制。 2 1 3 神经元模型 神经元是神经网络操作的基本非线性信息处理单位，是神经网络的设计基础。 神经元的非线性模型如图2 1 所示。 】【2 输入信 偏置h y k 图2 - 1 神经元的非线性模型 f i g u r e 2 - 1n o n - l i n e a rm o d e lo f n e u n m 神经元模型的三种基本要素为： 1 一组连接权w ( 对应于生物神经网络的突触) ，连接强度由各连接权上的权值 表示，权值为正表示激励，反之表示抑制。 2 一个求和单元，用于求取各个输入信息的加权和( 线性组合) 。 3 一个非线性激励函数烈) ，起非线性映射作用，并限制神经元输出在一定范 围内( 一般限制在【0 ，l 】或【1 ，+ 1 】之间) 。 用数学术语描述一个神经元k = w x i ( 2 1 ) ( 2 - 2 ) 其中五，屯， 是输入信号，w k 。，w k ：，w l a r 是神经元七的突触权值，是输 入信号的线性组合器的输出，偏置为6 i ，激活函数为烈) ，儿是神经元的输出信 号。偏置钆的作用是对线性组合器的输出u 。仿射变换 u = + b k 其中叶称作神经元j 的诱导局部域或激活电位。 ( 2 3 ) 2 1 4 激活函数的类型 激活函数记为9 ，通过诱导局部域v 定义神经元的输出。三种典型的激活函 数如下： 1 符号函数 y i = 其中也是神经元的诱导局部域，即 2 分段函数 1 v 0 0 v 0 v = z ，+ 6 ，- l v 1 ( 2 5 ) ( 2 6 ) 一1 0 ，存在整数和实常数 e ，o i o = 1 , 2 ，) 以及o = l 2 ，) 使得 1 7 青岛理工大学工学硕士学位论文 夕( 一，) ：nc a ( n ，一e ，) f 2 2 0 ) i i 自足 i z 【，( 而，z 。) 一夕( x ，工。i 0 ，存在一个三层网络，其隐含层单元的输出函 数为，输入和输出单元的输出函数为线性的，此三层网络的总输入输出关系为 夕( ，矗) ，使得叫厂( ，) 一夕( w 一，_ 1 0 ，存在一个i ( f 3 ) 层网络可一 致逼近此映射厂。 多层前向神经网络的非线性映射作用和对任意函数的逼近能力使它能够得到 广泛应用，这也是它在预测中得到应用的主要原因。 k o l m o g o r o v 定理表明了网络的存在，但是对于如何确定网络中的参数却没有 给出具体的说明。因此，为了确定网络的权值参数，人们研究了一些算法，其中 最常用，最具有影响力的就是误差反向传播0 3 p ) 算法。 2 3 4 标准b p 算法 目前，人们根据各种不同的神经网络模型设计出许多学习算法。根据学习的 环境，一般可以将这些算法分为两大类，即监督学习( s u p e r v i s e dl e a r n i n g ) 和非监 督学习( t m s u p e r v i s e dl e m n i n g ) 。在监督学习中，将训练样本的数据加到网络输入 端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连 接强度的调整，经过多次训练后收敛到一个确定的权值。反向传播算法就是一种 监督学习算法，此算法除考虑最后一层外，还考虑网络中其他各层权值参数的变 化，使得算法适用于多层网络。因此是目前最广泛、最具影响力的神经网络学习 算法之一。 1 8 青岛理工大学工学硕士学位论文 x i 】【2 图2 - 4 b p 舁珐不恿图 f i g u r e 2 - 4s k e t c hm a po f b p a r i t h m e t i c 如图2 4 所示，b p 算法的主要思想是把学习过程分为两个阶段，即信息的前 向传播和误差的反向传播，在前向传播过程中，输入信息从输入层经过隐含层逐 层处理，并计算各单元的实际输出值，将其传向输出层，每一层神经元的状态只 影响下一层神经元的状态。如果在输出层不能得到期望输出，则转入反向传播， 将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使得误差信号 最小。 设有行个神经元( 节点) 的任意多层网络，对于输入层神经元，其输入与输出 相同。隐层节点和输出节点的操作特性为 那缸= 仉( 2 - 2 1 ) o m = ，| m ) ( 2 - 2 2 ) 其中，七表示当前的输入样本，为从神经元f 到神经元_ ，的连接权值，仉为 神经元，的当前输入，d 。为其输出。f 为非线性可微非递减函数，一般取为 s i g m o i d 型函数。 设网络输出误差为 乓= 要饥一吼) ：( 2 - 2 3 ) -j 其中，_ ) ，皿和0 k 分别为神经元- ，的期望输出和实际输出。 设e = 乓为整个训练集中所有样本产生的输出误差之和，a k m _ 为_ 的调 1 9 整值，并札w 声等成正比，而 由式( 2 2 1 ) ，有 定义 故式( 2 2 3 ) 可以记为 a e k 8 ek 翻e | m _ 一。一 a w “a 删ma w ” ( 2 - 2 4 ) 瓦i 锄e t t k = 旦i ) w j , p = 仇 嘲 c越i 6 韭2 一a n e t j , ( 2 - 2 6 ) 一等哦& ( 2 - 2 7 ) 椰 这就是说，要使占按梯度下降，就必须按下式进行权值调整 a t w i = f f ；j , o 女 ( 2 2 8 ) 其中，7 为学习率( 步长) 。 现在的问题是如何求得网络中各个神经元的6 值。b p 算法所采用的方法是 将输出层产生的误差反向传播到输入层来计算6 且a 为了计算6 弦，可利用偏积分 规则，即 耻一盖一象等 由式( 2 2 2 ) 硐 老叮( 嗨) a 舵t 。k ”+ 而对于式( 2 2 8 ) 中的第一项的计算分以下两种情况来