硕士论文-基于神经网络和模糊理论的股市分析、预测与决策.pdf

北京工业大学 硕士学位论文 基于神经网络和模糊理论的股市分析 预测与决策 姓名 曹庆 申请学位级别 硕士 专业 控制理论与控制工程 指导教师 高风 20040501 摘要 摘要 股票市场是 个复杂的非线性动态系统 利用传统的时间序列预测技术很 难揭示其内在的规律 在分析考察传统预测分析方法的基础上 本文提出了一 个面向股市分析 预测和决策 由神经网络和模糊理论组合的系统 并针对系 统性能的改善和提高进行了深入研究 在对前馈神经网络的训练中 使用参数 自适应方法实现了学习率 惯性因子的自我调节 以避免系统误差陷入局部最 小 加快网络的收敛速度 提出了优化B P 网络结构的实验研究方法 将该算 法同传统B P 算法的预测偏差平方和进行比较 结果证实网络的逼近精度及泛 化能力均得到了极大的提高和改善 作者采用上述优化算法 对深市和沪市的 股票价格进行了基于模糊参量的神经网络模拟 为全面反映股市价格变化进行 了有益的探索 本文将模糊理论引入股市 以模糊数学中隶属度的方式对原始变量进行了 量化定义和分析 该方法为进一步明确描述动态的股市行情开辟了新的思路 与传统股市分析方法相比 本文将预测分析和决策分析操作有机联系在一 起 从实用角度出发 为广大投资者建立了有效的预测决策分析系统 大量实验结果表明 对系统的结构参数 算法参数 模糊判决等方面的分 析和优化进一步提高了系统的泛化能力 在有限的条件下 对个股预测的正确 趋势率达到了7 1 3 2 决策操作系统降低了风险 同时也为广大投资者指明了 稳健决策操作的时机 各项结果表明 作者将模糊理论与神经网络相结合应用 于中国股市的预测分析和决策分析是一例成功的实验 关键词神经网络 模糊理论 参数自适应B P 算法 隶属度 决策 j 耋三些銮兰三兰翟圭誊兰譬吝 A b s t r a c t S t o c km a r k e ti sac o m p l e xn o n l i n e a rd y n a m i cs y s t e m I ti sv e r yd i f f i c u l tt o d e v e l o pt h ei n h e r e n tr u l e su s i n gt h et r a d i t i o n a lt i m i n gp r e d i c t i o nt e c h n o l o g y B a s e d u p o n t h er e v i e wo ft r a d i t i o n a lp r e d i c t i o nm e t h o d s t h i sp a p e r p u t sf o r w a r das y s t e m c o m p o s e do fn e u r a ln e t w o r ka n df u z z yt h e o r y a i m e da ts t o c km a r k e ta n a l y s i s p r e d i c t i o na n dd e c i s i o n m a k i n g a n d a na m e l i o r a t i v em e t h o do ni t sf u n c t i o ni s s t u d i e d I n t r a i n i n g o fB a c k P r o p a g a t i o nn e u r a l n e t w o r k p a r a m e t e ra d a p t a b l e m e t h o dw h i c hc a na u t o m a t i c a l l ya d j u s tl e a r n i n gr a t ea n di n e r t i af a c t o ri se m p l o y e d i no r d e rt oa v o i d i n gs y s t e m i cg T r o ri m m e r s e di nal o c a lm i n i m u ma n da c c e l e r a t i n g t h en e t w o r k Sc o n v e r g e n c e a tt h es a l n et i m et h ef u r t h e ro p t i m i z a t i o no ft h en e t w o r k S s t r u c t u r ei s i n t r o d u c e d c o m p a r e dw i t hc o n v e n t i o n a lB a c k P r o p a g a t i o na l g o r i t h m t h eo u t c o m ep r o v e st h a t a p p r o a c hp r e c i s i o na n dg e n e r a l i z a t i o na b i l i t y o fn e u r a l n e t w o r kh a v eb e e ng r e a ti m p r o v e d W i t ht h i sm e a s u r e w em a k et h en e u r a ln e t w o r k s i m u l a t i o ng r o u n d e do nf u z z yp a r a m e t e r sa i m e da ts t o c kp r i c eo fS h e n Z h e na n d S h a n g H a is t o c km a r k e t a n dp r o g r e s su s e f u le x p l o r a t i o nt of u l l yr e f l e c ts t o c kp r i c e c h a n g e r u l e s I nt h ep a p e r t h e w a y t h a tu s i n g f u s s yt i m es e q u e n c e t od e s c r i b eb a s i cf a c t o r s w i t hi n f l u e n c eo ns t o c kp r i c ei sa d v a n c e d S Ow e e m p l o yM e m b e r s h i pf u n c t i o no f F u z z yS e tt om e a s u r ea n da s s a yo r i g i n a lv a r i a b l e I naw o r d t h ew a yb r e a k san e w p a t ht of u r t h e rd e f i n i t i o no f d y n a m i cs t o c km a r k e t C o m p a r e d w i t hc l a s s i c a ls t o c ka n a l y s i sm e t h o d s w et a k es t o c k p r e d i c t i o np a n s a n dd e c i s i o n m a k i n g i m p l e m e n t a t i o ni n t oa c c o u n ta n dm a k e t h e mc l o s ei n t e g r a t i o n f r o mt h eu t i l i t y p o i n t s e tu p a ne f f e c t i v e a n a l y t i c a l o p e r a t i o n a ls y s t e mf o r v a s t i n v e s t o r s T h es i m u l a t i o nr e s u l t so f o p t i m i z a t i o n s t os t r u c t u r e p a r a m e t e r a l g o r i t h m p a r a m e t e ra n df u z z yj u d g e m e n ts h o wt h a tg e n e r a l i z a t i o na b i l i t yo fn e t w o r kh a v e b e e ng r e a ti m p r o v e d U n d e rl i m i t e dc o n d i t i o n s r i g h tt r e a dr a t e so f s t o c kp r e d i c t i o n I A b s t r a c I r e a c h7 1 3 2 a n dd e c i s i o n m a k i n gs y s t e md e m o n s t r a t e so p e r a t i o n a lo c c a s i o nf o r e x t e n d e di n v e s t o r sw i t hl o w e rr i s k s D i v e r s i f i e dr e s u l t si n d i c a t et h a tu s i n gn e t w o r k a n d f u z z yt h e o r yt of o r e c a s ta n dm a k e d e c i s i o ns t o c km a r k e ti so n eo ft h es u c c e s s f u l e x p e r i m e n t s K e yw o r d sn e u r a ln e t w o r k f u z z yt h e o r y p a r a m e t e ra d a p t a b l eB Pa l g o r i t t m a s u b j e c t i o nd e g r e ed e c i s i o n m a k i n g I I I 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果 尽我所知 除了文中特别加以标注和致谢的地方外 论文中不包含其他 人已经发表或撰写过的研究成果 也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意 签名 嗜厌日期 础g F 关于论文使用授权的说明 本人完全了解北京工业大学有关保留 使用学位论文的规定 即 学校有权 保留送交论文的复印件 允许论文被查阅和借阅 学校可以公布论文的全部或部 分内容 可以采用影印 缩印或其他复制手段保存论文 保密的论文在解密后应遵守此规定 签名 耋庭导师签名 秒D 恹 第1 章绪论 第1 章绪论 1 1 课题研究的背景及意义 1 1 1 研究背景 随着我国经济体制改革和金融体制改革的深入 证券投资已经成为了社会生 活的一个重要部分 股票市场是一个风险和利益共存的市场 股票市场的建模和 预测研究对我国的经济发展和金融建设具有重要意义 一直为人们所关注 以往有 许多文献对此进行了探讨 1 2 但股票市场同时也是一个极其复杂的非线性动力 学系统 高噪声 严重非线性和投资者的盲目任意性等因素以及各因素间的相关 性错综复杂 造成其价格的波动往往表现出较强的非线性特征 另外 股市的建 模和预测所处理的信息量往往是十分庞大的 对算法的要求很高 正是由于其复 杂的非线性特征 使得关于股市预测的结果往往难如人意 神经网络是仿效生物处理模式以获得智能信息处理功能的方法 神经网络着 眼于脑的微观网络结构 通过大量神经元的复杂连接 由底至顶 通过自学习 自组织和非线性动力学所形成的并行分布方式 来处理难以语言化的模式信息 人工神经网络 j 1 是一门新兴学科 它可以处理那些难以用数学模型描述的 系统 可以逼近任何非线性的特性 具有很强的自适应 自学习能力 因此倍受瞩 目 有关神经网络的理论及应用日趋成熟 并且应用的领域也在不断扩大 目前 用神经网络进行非线性预测已经成为国际上研究的热点之一 在应用上也迅速扩 展到许多重要的领域 涉及模式识别与图象处理 控制与优化 A T M 网络中呼 叫接纳的识别与控制 导航 多媒体处理系统 等等 多种神经网络模型已经应 用于预测领域 包括误差反传播的前馈神经网络模垄d B P 网 H o p f i e l d 网 自适 应共振理论 A R T 随机网络及自组织网络等 神经网络内容很多 而预测领域最感兴趣的是神经网络的非线性逼近能力 因此用于这类问题的神经网络模型主要是基函数网络 如正交函数网络 样条函 数网络 径向基网络 子波网络和B P 网络 还有自回归网络 时间延迟网络等 北京工业大学工学硕士学位论文 等 其中 应用最为广泛 并且目前研究最为深入的 当属B P 网络 随着神经网络研究的发展 经济学工作者也逐渐注意到神经网络自适应学 习 非线性映射强的特点 并开始将这一新的信息处理方法应用于经济领域 为 预测股市走势 JH W a n g 和J YL e u 于1 9 9 6 年讨论了基于A R J M A 的网络结构 S u n g s u kK i m 于1 9 9 8 年将时延神经网络应用于股市相关性分析与预测 这些文 章的发表为股票市场分析引入了新的处理工具 神经网络用于非线性预测的基本原理是将观测值数据作为神经网络的输入 向量 将预测值作为神经网络的输出向量 然后用足够的样本模式训练这个神经 网络 使不同的输入向量得到不同的输出值 这样 神经网络所具有的连接权值 便是网络经过自适应学习所得到的正确的内部表示 训练好的神经网络便可以作 为一种定性与定量相结合的有效的工具 对不同的预测对象进行预测 模糊理论 8 1 0 1 是在美国伯克莱加州大学电气工程系L A Z a d e h 教授于1 9 6 5 年创立的的模糊集合理论的基础上发展起来的 人们发现现实生活中的许多问题 并不是非此即彼的属于或不属于关系 模糊理论并不是 模糊 的理论 它是采 用严格的精确的数学手段来处理 模糊 的现象以达到消除 模糊 的一门科学 理论 如 高与矮 胖与瘦 快和慢 美和丑 等概念的描述 实际上它 是人类认识能力的深化和精确的反应 模糊数学打破了普通集合论的束缚 并己 经在模糊决策 模糊控制 模糊专家系统 模糊数据库 模糊模式识别 模糊数 字 模拟电路 模糊神经网络以及模糊计算机和模糊软件等许多领域取得了令人 瞩目的成就 当前 模糊理论的深入研究主要集中在以下几个方面 1 模糊理论基础研究 2 模糊计算机方面的研究 3 机器智能化研究 4 人机工程的研究 5 人类系统和社会系统的研究 股市分析大体上可以分为预测分析和决策分析两大类 已经有许多人进行了 预测分析的研究 比如 在股价预测上 W h i t e 1 9 8 8 尝试以人工神经网络来预 测I B M 普通股每日报酬率 但是预测结果能力不甚理想 他认为原因可能是人 工神经网络陷入局部最小值 L o c a lM i n i m i z a t i o n 而无法跳脱 造成预测能力不 第1 章绪论 强 在实证研究上 林志鸿 1 9 9 5 以结合技术面 基本面及国际股市共1 5 项变 量 作为输入层的输入变量 预测下周股价指数最大涨幅及最大跌幅 并作为决 定买进卖出之参考 从投资者关注的角度来讲 股市的决策分析更加重要 然而 有关股市决策 分析方法和决策理论的研究明显少于预测分析 有待进一步的研究和探索 1 1 2 课题意义 中国股市经过十余年的发展 应该说已经取得十分巨大的成就 但是与国外 成熟股市相比仍然是一个新兴市场 事实上 探索和研究股票价格波动的复杂性 和规律性 是许多经济工作者 尤其是证券研究者一直追求的目标 自股票诞生 以来 伴随着它的发展 产生了许多理论和方法 也采用了诸多分析手段 从古 老的道氏理论 到爱略特波浪理论 以及今天的切线理论 形态理论等 其中至 少出现了一二十种较有影响的股市分析理论 这些理论至今仍然是人们分析股市 的有力工具 应该说 这些传统的技术分析方法取得了较大的成就 也有着很强 的生命力 因此 无论在国内还是国外 这些理论仍然主宰着股票的技术分析 然而 这些理论和方法的缺陷也是十分明显的 它们无不是采用静态的方法 定 性描述的多 定量描述的少 将影响股市的众多因素割裂开来单一分析 因此 这些局限性使得这些方法在变幻莫测的股票价格波动中不能有效和准确地把握 股票价格的变化 人们常常发生 买入价 高于 卖出价 的亏损 或长期持有 而不能获利 解套的局面 股票 1 交易数据预测是一种时间序列预测方法 时间序列预测法是依据预测 对象过去的统计数据 找到其随时间变化的规律 建立时序模型 以判断未来数 值的预测方法 其基本思想是 过去的变化规律会持续到未来 即未来是过去的 延伸 一般一维时间序列预测方法有移动平均与分解方法 指数平滑方法 B o x J e n k i n s 方法 状态空间模型 门限自回归模型 双线形模型等 这些预测 方法经过长期的发展 在定量预测模型和定性预测模型等方面都有长足的进步 但是 当系统具有较强的非线性时 这些方法的适应性却是有限的 在实际的预 测环境中常常失去效用 因此用这些传统的预测方法解决这类问题十分困难 数 北京工业大学工学硕士学位论文 学上能够证明 神经网络可以逼近所有函数 这意味着神经网络能自动地逼近那 些刻画了样本数据规律的函数 而不论这些函数具有怎样的形式 并且所考虑的 系统表现的函数形式越复杂 神经网络这种特性的作用就越明显 采用B p t 反向传播神经网络来预测股票价格涉及的因素是诸多的 具有较 强的理论依据 预测的结果是正确的 神经网络的输入是增广的 包括股票价格 的若干时滞值以及影响股票市场的宏观经济参数 行业内经营状况 企业经营状 况 财务情况 资产负债情况等 神经网络的输出采用实时值来训练中间隐层权 值 当采用多组股票价格数据训练神经网络权值之后 建立股票价格的数据网络 模型 据此可以进行股票价格预测 从而为投资者增加投资收益 赚得大量股票 价差金额 减少股票投资风险 本文采取神经网络与模糊理论相结合的方式 通过模糊化样本 提高了样本 集中各样本的质量 改进能量函数 提出一种新的具有较快收敛性的B P 算法 并且通过对个股每日收盘价的预测和流通市值走势的分析 使得个股的短期走势 和中长期趋势相互结合 从全局高度上把握 运用模糊决策 给出了相应的操作 策略 从而大大提升了股民的可操作性和实用性 如果投资者都能理智投资 依 据技术指标 遵循预测算法的原理 把握恰当的投资时机 那么中国的证券市场 将会有更多的投资者加入进来 也将会减少投机行为 当前 股市预测分析理论和方法多种多样 而股市操作决策的方法则相对匮 乏 本文的研究目标不只是对大盘指数或个股股价作出短期预测 更重要的是能 够为广大投资者提供有效的投资操作决策建议 1 2 国内外有关研究现状 1 2 1 神经网络与模糊理论的发展现状 人工神经网络起源于2 0 世纪4 0 年代 早在1 9 4 3 年 心理学家M e C u l l o c h 和数学家P i t t s 合作 总结了生物神经元的一些基本生理特性 提出了形式神经 元的数学描述与结构方法 即M P 模型 从此开创了神经科学理论研究的时代 人工神经网络是 f 高度综合的边缘交叉学科 它的研究和发展涉及到神经 生物学 数理科学 信息科学和计算机科学等众多学科领域 神经网络理论的发 第1 章绪论 展大致经过了五个阶段 奠基阶段 第一次高潮阶段 坚持阶段 第二次高潮阶 段和快速发展阶段 神经网络主要研究神经网络模型 学习算法 思维模型 记忆机制等内容 神经网络 具有大规模并行处理能力 学习能力 容错能力强 还有很强的自适 应能力 同一网络因学习方法和内容不同 可以有不同的功能 缺点是表达知识 比较困难 学习速度慢 实际上 神经网络最适合于如下的问题类 1 含有大量的原始数据 但数据可能是不精确的 含有噪声的 它所包含的 知识信息可能是不完善的 2 问题有较大的模糊性 难以建立精确的模型 3 问题的影响因素复杂 但具有天然的并行性 4 问题的环境随时间变化 但又易于实时化且有一定的自适应倾向 模糊数学诞生于1 9 6 5 年 美国伯克利加州教授扎德 L A Z a d e h 发表了著 名论文 F u z z yS e t s 提出了模糊性问题 给出了其定量描述方法 从此模糊理 论开始形成并发展起来 模糊理论在4 0 年里得到了长足的发展 应用领域已经 涉及自动控制 图像和文字识别 决策评价 社会经济等好多方面 模糊控制能 以较少的规则来表达知识 系统简单而透明 不足之处在于难以进行学习 难以 建立完善的控制规则 神经网络技术与模糊技术各有自己的优点 人工神经网络以生物神经网络为 模拟基础 试图在模拟推理及自动学习等方面向前发展一步 使人工智能更接近 人脑的自组织和并行处理等功能 尽管神经网络对环境的变化具有较强的自适应 能力 但是单纯使用该技术还无法实现模糊信息的处理 因而不能充分地利用模 式的特征信息 识别的精度必然会受到影响 另外 从系统建模的角度而言 它 采用的是典型的黑箱 B l a c k B o x 型学习模式 当学习训练完成以后 所学到的知 识全部隐藏在网络的连接权和节点上 神经网络获得的输入 输出关系无法以易 于被人们接受的形式表示出来 模糊技术的特长在于逻辑推理能力 容易进行高阶的信息处理 将模糊技术 引入神经网络 可大大地拓宽神经网络处理信息的范围和能力 使其不仅能处理 精确信息 也能处理模糊信息或其它不精确性信息 利用模糊技术中的不精确推 北京工业大学工学硕士学位论文 理技术可以有效地对已经过训练 处于稳态的神经网络进行知识抽取和规则描 述 神经网络与模糊理论的结合研究开始于1 9 8 8 年 基本思想是两者被视为互 补理论 二者的结合可形成更强的学习和推理机制 使智能系统具有更强的信息 处理能力 事实表明 神经网络与模糊理论的结合顺应了历史发展的潮流 顺应了科学 发展的规律 已经成为当前受到广泛瞩目的多学科交叉科学 本文主要是对神经网络和模糊理论简单结合的应用研究 1 2 2 证券预测分析相关理论发展现状 2 0 世纪9 0 年代以来 金融系统预测 优化和控制问题的深入研究以及信息 与控制理论技术在现代金融问题中的广泛应用 给金融工程的发展带来挑战 金融预测是金融工程中的主要部分 金融衍生产品股票价格 收益和风险的 预测 对于金融投资者 筹资者具有重要指导意义 收益和风险是证券投资中的 核心问题 证券收益以收入和资本增益总额的百分率表示 证券 1 5 叫7 1 的风险是 由于对未来的不确定性而产生投入本金和预期收益损失或减少的可能性 证券风险投资市场作为市场经济的重要体现 以其高风险 高收益的特点吸 引着广大投资者投身其中 试图博取高额的回报 与此同时 它也吸引着许多学 者孜孜不倦地探索其中的规律和操作策略 股票市场在我国不断发展 逐步成为证券业乃至整个金融业的必不可少的组 成部分 受到投资者的普遍关注 因而对股票交易数据的分析和预测研究具有重大 的理论意义和诱人的应用价值 股市预测 是经济预测的一个分支 是指以准确的调查统计资料和股市信息 为依据 从股市的历史 现状和规律性出发 运用科学的方法 对股市未来发展 前景的测定 股市预测按不同的标准可以有不同的分类 按涉及的范围不同可分 为 指数预测和个股预测 按预测时间长短不同可分为 长期预测 中期预测和 短期预测 按预测方法的不同可分为 定性预测和定量预测等等 实际上 股票市场是一个复杂的非线性动态系统 股票市场作为高风险高收 益的投资领域 一直备受投资者的关注 国外的研究者也先后提出了一系列的定 第1 章绪论 价理论和投资组合模型 如马柯威茨的投资组合理论 夏普等人的C A P M 以及 罗斯的A P T 然而 投资者们发现 虽然这些理论极大地开阔和提高了投资者 的思想理念及其对风险和收益的辨证理解 但对实际操作却缺乏明确的指导 例 如A P T 模型给出了风险资产回报率与套利组合回报率之间的相互关系 但对于 如何寻找满意的套利组合却没有明确的方案 随后的研究者将计量统计方法应用 于股市建模 如多元回归 A R M A 以及G A R C I I 等时间序列预测模型 综观以 往的预测模型 大致可以将它们分为如下两类 时间序列关系模型 在这类的模型中 被预测的对象的演变过程为一时间的 函数 结构关系模型 这类模型的特点是 被预测的事物与其影响因素之间在一定 的时间内保持着某种固定的函数结构关系 时间序列关系模型与结构关系模型一般对被预测对象都有具体而且严格的 要求 这就要求在做预测之前 必需对被预测对象做深入系统的分析 只有在确 认某类预测模型的前提条件得到满足的情况下 才可以使用该模型进行预测 否 则预测结果是不可靠的 股票市场作为现实经济运行状况的直接体现 其影响因 素如G D P 增长率 汇率及国内外政治形势等时常发生较大的变动 所以要确定 和修改模型的结构确非易事 另一方面 一般计量统计的时间序列模型很难处理 高度非线性的问题 而实际上股票市场与其影响因素之间存在复杂的非线性关 系 已有大量的实际数据表明 股票市场是一个具有混沌现象的非线性动力系统 基于以上分析并考虑到传统模型的缺陷 本文采用神经网络这 处理工具对中国 的股票市场进行预测分析 以期进一步拓展神经网络方法在中国股票市场上的应 用 基于B P 算法的证券预测技术研究就是选择股票价格作为训练样本 将某些 交易日的股票价格及影响价格的因素作为输入向量 按照前向传播方向 得到输 出层的实际输出值 然后按反方向传播方向 根据输出层的实际输出和期望输出 之间的误差 修正节点间的连接权值 直到误差达到允许的最小 经过调整的最 后的权值 就是B P 网络经过自适应学习所得到的正确的内部表示 使用经训练 后的B P 网络模型进行股票价格走势的预测 从而达到增加投资收益 降低投资 风险的目的 北京工业大学工学硕士学位论文 1 3 本文的主要内容及创新之处 1 3 1 论文的主要内容 1 股票概述及股市预测中存在的问题 2 神经网络的基本概念 原理及应用领域 3 基于B P 学习算法的不足及改进的分析 4 模糊理论的概念 原理及应用 5 神经网络和模糊理论在股市分析 预测和决策中的应用 其中 5 是本文研究的重点 1 3 2 论文的结构安排 第1 章绪论 第2 章神经网络基本理论及B P 算法 第3 章证券预测分析理论 第4 章模糊理论 第5 章系统分析与设计 第6 章系统应用的仿真实验 1 3 3 论文的创新之处 目前 股票市场上有多种预测分析方法 传统上 图表是技术分析的基本工 具 图表信息具有明显的直观化的优点 但图表的分析与指标选择却要依靠主观 的判断 这正是传统技术分析法所面临的主要困境 由于证券交易的模式和相关 信息的复杂性 这样一种严重依靠经验的 理论 或方法 其可靠性在很大程度 上是受到质疑的 在这种情况下 人工神经网络方法就显示出其特有的优势 以其独特的信息 处理特点在许多领域得到了成功的应用 因此 本论文选择了神经网络模型中应 用最为广泛的B P 网络模型作为证券市场短期预测的基本因果模型 并根据实际 应用的需要做了创造性的改进 使之具有了更加优越的性能品质 在应用中收到 第1 章绪论 了良好的效果 针对当前股市预测分析研究多 而决策执行操作的分析研究相对较少的情 况 本文应用神经网络进行股价短期预测 引入模糊理论对流通市值的中氏期走 势进行综合分析和评价 而后运用模糊决策 从中长线投资的角度给出了可行性 的操作规范 从而建立起对于股市分析的预测和决策系统 为广大投资者规避风 险 获得丰厚收益开拓了一条新思路 进行了初步的探索 北京工业大学T 学硕士学位论文 第2 章神经网络基本理论及B P 算法 2 1 神经网络概述 人工神经网络 是在人类对其大脑神经网络认识理解的基础上 人工构造的 能够实现某种功能的网络 它是实际模仿人脑神经网络和结构而建立一种信息处 理系统 是大量的处理单元相互连接组成的复杂的网络 能够进行复杂的逻辑操 作和非线性关系的实现 它们的网络结构 性能 算法及应用领域各异 但均是 根据生物学事实衍生出来的 由于其处理单元是对神经元的近似仿真 因而被称 之为人工神经元 人工神经网络的研究始于1 9 4 3 年 经历6 0 多年的发展 目前已经在许多工 程研究领域得到了广泛应用 但它并不是从一开始就倍受关注 它的发展大致可 以分为以下五个阶段 1 奠基阶段1 9 4 3 年 由心理学家M c C u l l o c h 和数学家P i t t s 合作 提出第 一个神经计算模型 简称M P 模型 开创了神经网络研究这一革命性的思想 2 第一次高潮阶段2 0 世纪5 0 年代末6 0 年代初 该阶段基本上确立了从系 统的角度研究人工神经网络 3 坚持阶段随着神经网络研究的深入开展 人们遇到了来自认识 应用 实现等方面的难题 一时难以解决 神经网络的工作方式与当时占主要地位的 以数学离散符号推理为基本特征的人工智能大相径庭 但是 更主要的原因是 当时的微电子技术无法为神经网络的研究提供有效的技术保证 使得在其后十几 年内人们对神经网络的研究进入了一个低潮阶段 4 第二次高潮阶段2 0 世纪7 0 年代后期 由于神经网络研究者的突出成果 并且传统的人工智能理论和g o n N e u m a n n 型计算机在许多智能信息处理问题上 遇到了挫折 而科学技术的发展又为人工神经网络的物质实现提供了基础 促使 神经网络的研究进入了一个新的高潮阶段 5 快速发展阶段自从对神经网络的研究进入第二次高潮以来 各种神经网 络模型相继提出 其应用已经很快渗透到计算机图像处理 语音处理 优化计算 智能控制等领域 并取得了很大的发展 第2 章神经网络基本理论及B P 算法 1 9 8 8 年G r o s s b e r g 提出的1 7 条A N N 特征 颇有创见 笔者从中选取几个基 本特征作一简述 以求获得对人工神经网络有一个较为整体的印象 1 神经网络实现的是实时学习 而不是离线学习 2 神经系统应有自组织的功能而不是只实现有监督的学习 3 卒中经网络应具有自稳定性 4 卒申经网络具有能自行安排比例尺度的计算单元 5 卒申经网络能自行学习一种评价指标 不需要外界强行给出评论函数 神经网络的特征可以归纳为结构特征和功能特征 1 结构特征 并行处理 分布式存储与容错性 人工神经网络是由大量简单处理元件相互连接构成的高度并行的非线性系 统 具有大规模并行性处理特征 结构上的并行性使神经网络的信息存储必然采 用分布式方式 即信息不是存储在网络的某个局部 而是分布在网络所有的连接 权中 一个神经网络可存储多种信息 其中每个神经元的连接权中存储的是多种 信息的一部分 神经网络内在的并行性与分布性表现在其信息的存储与处理都是 空间上分布 时间上并行的 2 功能特征 自学习 自组织与自适应性 自适应性是指一个系统能改变自身的性能以适应环境变化的能力 它包含自 学习与自组织两层含义 自学习是指当外界环境发生变化时 经过一段时间的训 练或感知 神经网络能通过自动调整网络结构参数 使得对于给定输入能产生期 望的输出 自组织是指神经系统能够在外部刺激下按一定规则调整神经元之间的 突触连接 逐渐构建起神经网络 人工神经网络是借鉴于生物神经网络而发展起来的新型智能信息处理系统 由于其结构上 仿造 了人脑的生物神经系统 因而其功能上也具有了某种智能 特点 1 联想记忆 联系记忆功能是指神经网络能够通过预先存储信息或自适应学习机制 从不 完整的学习和噪声干扰中回复原始的完整信息 2 线性映射 非线性映射功能是指神经网络能够通过对系统输入输出样本对的学习自动 北京工业大学工学硕士学位论文 提取蕴含其中的映射规则 从而以任意精度拟合任意复杂的非线性函数 3 类与识别 神经网络对外界输入样本具有很强的识别与分类能力 对输入样本的分类实 际上是在样本空问找出符合分类要求的分割区域 每个区域的样本属于一类 神 经网络可以很好地解决对非线性曲面地逼近 4 优化计算 神经网络经过动态演变过程达到稳定状态时对应的能量函数最小 从而其稳 定状态就是问题的最优解 这种优化计算不需要对目标函数求导 其结果是网络 自动给出 5 知识处理 神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动从输 入数据中提取特征 发现规律 并通过自组织过程将自身构建适合于表达所发现 的规律 2 2 神经网络研究的分类及发展方向 2 2 1 神经网络的分类 目前神经网络研究可以分为许多方面 其中主要有神经网络的基本理论研 究 神经网络模型的研究 神经网络学习算法研究 神经网络的计算机模拟及硬 件实现以及神经网络的应用研究 1 神经网络基本理论研究主要包括非线性动力系统动力学理论研究 神经网络 的基本性能及能力研究等 2 神经网络模型研究是目前人工神经网络研究的主要方面 尽管到目前为止人 们以及设计了许多不同的人工神经网络模型 但归纳起来主要有以下四大类 神经网络模型 反馈 f e e d b a c k 网络模型 如H o p f i e l d 网络 双向联想记忆网络等 前馈 f e e df o n v a r d 网络模型 1 9 如单层感知器和多层感知器 随机网络模型 如B o l t z m a l l l l 机 自组织网络模型 如A R T 自适应共振理论1 第2 章神经网络基本理论及B P 算法 人们己提出的神经网络所以有千差万别 这主要是由于对其不同的功能要求 和实现要求所决定的 神经网络需要完成的特定信息处理功能要求有与之相适应 的网络 在智能模拟预测系统中 希望神经网络能予以实现的功能主要是推理功 能 联想功能 学习功能和模式识别功能等 目前主要有前馈型网络和反馈型动 态网络两大类 3 神经网络学习算法研究 与神经网络模型相对应 近年来已研究出许多的神经网络学习算法 这些算 法可以分为两类 有导师学习和无导师学习 在这些算法中 在理论上和实际应 用中都成熟的有以下三种 模拟退火算法 B P 算法 竞争学习与相互激励学习算法 模拟退火算法是近年来新出现的一种通用随机搜索算法 基本思想源于物理 学中的退火过程 反向传播学习算法 简称B P 算法 是到目前为止最有影响的算法之一 它被 用来训练多层前馈神经网络 4 神经网络理论的应用研究 神经网络最初应用于模式识别 现在已经扩展到控制 预测 组合优化等方 面 近年来 在图像 语音 文字识别 天气预报 紧急预测 管理决策 自动 控制等领域都有大量的关于神经网络的成功应用的范例 因此 在对神经网络的 应用进行研究之前必须了解神经网络的发展和神经网络的相关理论 神经网络理 论的应用研究 是近年来在神经网络研究中成果最多 最为引人注目的领域 2 2 2 神经网络的发展方向 应用研究的新特点一多学科综合 今后人工神经网络技术将会与更多相关的智能技相结合 取长补短 相辅相 成 不断提高智能水平 人工神经网络可以结合的相关理论和技术主要有 粗集 理论 优化理论 算法复杂理论 非线性理论 混沌与分形等技术 实现技术研究的当务之急一神经网络的硬件实现 全硬件实现的人工神经网络称为神经计算机 它是根据神经网络结构及其计 算特点 用电子器件 光学器件及分析或化学器件构成的计算系统 北京工业大学 学硕士学位论文 神经网络的智能化特征与能力使其应用领域日益扩大 潜力日趋明显 许多 用传统信息处理方法无法解决的问题采用神经网络后取得了良好的效果 下面简 要介绍一下目前神经网络的几个主要应用领域 1 模式识别与图像处理 2 控制与优化 3 预测与管理 4 通信 其它应用如导航 光学望远镜聚焦 远载体轨迹控制 电机故障检测以及多 媒体技术等 2 3 多层前馈神经网络模型 在众多的神经网络结构中 多层前馈神经网络 M u t i L a y e rF e e d f o r w a r d N e u r a lN e t w o r k s 简称M F N N 是目前应用最广泛也是最成熟的一种网络结构 R u m e l h a r t M c C l e l l a n d 和他们的同事洞察到神经网络信息处理的重要性 于 1 9 8 2 年成立了一个P D P 小组 研究并行分布信息处理方法 探索人类认知的微 结构 1 9 8 6 年发展了B P 网络 B a c k P r o p a g a t i o nN e t w o r k 简称B P 网络 学 习算法 实现了M i n s y 的多层网络设想 因此 多层前馈神经网络也称B P 网络 输出神经 隐含神经 输入神经 输出层 隐层 输入层 图2 1多层前馈神经网络结构 F i g u r e2 1M F N N S t r u c t u r e 如图2 1 所示 一个多层前馈神经网络由输入层 输出层和至少一个隐层组 成 各层包含一个或多个神经元 相邻两层神经元之间通过可调权值相连接 且 各神经元之间没有反馈 在理论研究和实际应用中 人们最常用的是具有线性输 出的单隐层网络 第2 章神经网络基本理论及B P 算法 对于B P 模型的输入层神经元 其输入与输出相同 即O i i 中间隐含层神 经元的操作特性为 输入 n e t M o 2 1 输出 o 2 J n e t O j 2 2 其中P 表示当前的输入样本 w 为从神经元疆0 神经元 的连接权值 op i 为 神经元f 当前的输出 神经元j 当前输入的一部分 0 为神经元J 的阈值 o 为 输出 2 3 1 激励函数 激励函数 为非线性 连续可微的非递减函数 可以严格利用梯度法进行 推算 它的权的学习解析式十分明确 对于多层神经网络 激励函数对区域的划 分是由一个非线性的超平面组成的区域完成 它是比较柔和 光滑的任意界面 因而它的分类比线性划分精确 合理 这种网络的容错性较好 常见的激励函数 如表2 1 所示 表2 1 两种常用的神经元激励函数形式 T a b l e2 1T w oc o F n i n o ua c t i v a t i o nf u n c t i o n so f n e u r a lc e l l 激励函数名称函数表达形式函数曲线 f x j 一 对数s i g m o i d 函数 m 专 么 矿 t 双曲正切s i g m o i d 函数 m 蔷 一 f 一 带 二 r 广一 2 3 2 误差能量函数 B P 网络的误差能量函数为 北京工业大学工学硕士学位论文 E E 2 3 E o e w i 1 y 妇一多咖 2 i 1 B 却2 2 4 1 m 1 i 1 陪 i 1 其中 E 为第p 个样本所对应的输出层各节点的误差平方和 2 4B P 学习算法 2 0 12 1 1 及改进 2 4 1B P 算法简介 反向传播 B P 算法又称为误差逆传播校正方法 它是1 9 7 4 1 9 8 5 年P W e r b o s 哈佛大学 提出的 B P 算法用来训练多层前馈神经网络 属于监督学习算法 B P 算法主要用于语音识别工业过程控制 股票预测 自适应控制 B P 网络具有结构清晰 易实现 计算功能强大等有点 因而是目前最常见 使用最广泛的一种神经网络 B P 算法的基本思想是 学习过程由信号的正向传播与误差的反向传播两个 过程组成 正向传播时 输入样本从输入层输入 经各隐层逐层处理后 传向输 出层 若输出层的实际输出与期望输出不符 则转入误差的反向传播阶段 误差 的反传是将输出误差以某种形式通过隐层向输入层反传 并将误差分摊给各层的 所有单元 从而获得各层单元的误差信号并将其作为修正各单元权值的依据 这 种信号正向传播与误差反向传播是循环进行的 权值的不断调整过程就是网络的 训练过程 此过程一直进行到输出误差达到要求的标准 原理如图2 2 所示 训练信号 输入层隐层输出犀 图2 2 神经网络预测结构图 F i g u r e2 2T h ec o n f i g u r a t i o nm a po f t h en e u r a ln e t w o r kp r e d i c t i o n 第2 章神经网络基本理论及B P 算法 j 目 E E E 目E 目 目目目目目目自E l l l 2 4 2B P 算法推导过程 网络学习公式推导的指导思想是 对网络权值 瓦 的修正与阈值 日 的修正 使误差函数 E 沿负梯度方向下降 B P 网络三层节点表示为 输入 节点 隐节点 Y 输出节点 O t 标准B P 学习算法采用梯度下降法调整网络的权值 则对第k 刺l l g 东 第 层 与第f 1 层之间的网络权值满足关系 w 尼 w 七一1 w 七 2 5 w 舯2 咖川 七一1 h 丽O E p 2 6 舯 嚣2 旦a n e t J j 筹 旦O n e t t p 掣 k 2 m 扩a 秽 r 为学习速率 取 O 1 之间的常数 定义对应样本p 时第 层第 个节点的d e l t a 函数为 瑚2 蠢 协s 因此由公式 2 6 2 7 2 8 权值的调整值为 皑 一面爹 0 2 1 2 9 针对公式 2 9 分别讨论d e l t a 函数的情况 A 当J 为输出层节点时 秽2 南 万a E 研O p 如 一 气删 e p j 一 n e t a 2 1 0 B 当J 为隐层节点时 弘南鸯 器毒 吖 嵩 熹j p 等 厂1 n 0 厂州 o e t o 芝 州 口 l 2 1 1 北京工业大学 学硕士学位论文 显然 d e l t a 函数就是用于网络训练时进行网络偏差反传的函数 因此 标 准B P 算法的学习算法由公式 2 5 2 9 2 1 0 和 2 1 1 组成 2 4 3B P 算法的工作过程 幽2 3B P 算法的实际工作过程 F i g u r e2 3 A c t l I a l w o r k p r o c e s so f B a c k p r o p a g a t i o n A l g o r i t h m 反向传播算法的步骤可归纳如下 1 初始化 选定某一结构合理的网络 置所有参数 权值和阈值 为均匀分布 的较小数值 2 对每个输入样本作如下计算 前向计算 n e t p j o 州 2 1 2 i 0 兀 n e t 2 1 3 其中 z 1 1 P 1 反向计算 对输出单元 占口 f 珂一D 0 1 0 2 1 4 第2 章神经网络基本理论及B P 算法 对隐含