第二章 神经网络1

郭宁guoning 人工神经网络简介 一 引言 ANN ArtificialNeuralNetworks 是模仿人脑神经网络的数学模型 是一种信息处理系统 人脑固有特征 并行分布处理工作模式神经系统的可塑性和自组织性系统性 二 发展史 1943W Mcculloch和W Pitts首次提出了人工神经网络模型 1957FrankRosenblatt发展了模型 并提出了感知器 Perceprton 模型以及两层感知器的收敛定理 1962 提出引入隐层处理元件的三层感知器这一重要的研究方向1959B Widrow和M Hoff提出了自适应线性元件 Adaline 1969Papert和Minsky出版了 Perceptrons 对感知器的功能及其局限性从数学上作了深入的研究 提出了双层感知器的许多局限性 1982JohnHopfieldt提出具有联想记忆和优化计算的反馈网络模型 HNN模型 使人们对人工神经网络有了新的认识 1986D E Rumelhart提出BP算法 1987IEEE举行首次神经网络会议 国际神经网络学会成立 三 神经网络的基本结构 人工神经元 接受 处理 输出信号 连接权重 强度 连接模式学习算法 1 单个神经元的结构 p1 p2 pr w1 w2 wr n b a 1 P W A 2 激活函数 核心 作用 控制输入对输出的激活作用 对输入 输出进行函数转换将可能无限于的输入变成指定的有限范围的输出 常用的激活函数 阀值型 硬限制性 线性型 S型 Sigmoid 将任意输入值压缩到 0 1 的范围内 对数S型 f n b 0 1 1 双曲正切S型 4 神经网络的结构 三层网络的结构示意图 每一层的作用 输入层 从外部接受信息并将此信息传入人工神经网络 以进行处理 隐含层 接受输入层的信息 静静地对所有的信息进行处理 整个处理步骤用户是看不见的 输出层 接受人工神经网络处理后的信息 将结果送到外部接受器 神经网络仅仅具有拓扑结构 还不能具有任何智能特性 必须有一套完整的学习 工作规则与之配合 四 神经网络的分类 拓扑结构 前向网络反馈网络 反馈网络结构图Chatofbackfeedneuralnetwork 2 按学习方式分类 教师示教学习方式Chatofneuralwithtutor 无教师示教学习方式Chatofneuralnetworkwithouttutor 五 神经网络的特点 高度的并行性高度的非线性全局作用良好的容错性与联想记忆功能十分强的自适应 自学习功能 六 神经网络的应用 模式信息处理和模式识别最优化计算问题信息的智能化处理复杂控制信号处理 七 BP算法 反响传播网络 Back PropagationNetwork 是非线性可微分函数进行权值训练的多层网络 主要用于 函数逼近模式识别分类数据压缩 1 BP网络的学习过程 假设BP网络中有r个输入单元 n个隐含单元 m个输出单元 则称为r n m网络 输入节点i和隐含节点 之间的连接权值为w 1 ij 作用函数f为Sigmoid函数 训练集包含M个样本模式对 xk yk 对每个训练样本Pi 于每个隐含单元的输出为Aj 则 隐含节点j和输出节点k之间的连接权重为w 2 jk 则对于输出Oj 若对应于Pi的目标值为di 定义误差函数 可得如下权值修正公式 式中 为学习速率 w为ei的函数 为动量因子 1 D w t w t w h 2 主要步骤 初始化对每个样本作如下计算前向计算输出反向计算误差修正权值3 输入新的样本 直到达到要求 3 缺点及修正 误差梯度下降 但易陷入极小点处可以增加动量项 对权重用均匀分布的随机数进行初始