人工神经网络复习资料

人工神经网络复习资料 第一次课第一次课 1 人工神经元模型 2 3 Forward Neural Networks Model 前向神经网络模型 Feedback Neural Networks Model 反馈神经网络模型 Neural Networks Control System 神经网络控制系统 Integrated Neural Networks 集成神经网络 4 5 6 When no node 节点 output is an input to a node in the same layer or preceding layer 前层 the network is a feedforward network 前向网络 当输出被引导为输入到相同的或之前的层节点时 网络是反馈网络 反馈网络 封闭的循环称为复发性网络 递归网络 1 x 2 x 3 x n x 1 y 2 y 3 y n y 7 8 9 神经网络的用途是 1 分类 2 模式识别 特征提取 图像匹配 3 降噪 4 预测 4 感知器 前向网络 5 感知器是一个具有单层计算神经元的神经网络 并由线性阈值元件组成 是最简单的前向 网络 感知器模型是美国学者罗森勃拉特 Rosenblatt 为研究大脑的存储 学习和认知过 程而提出的一类具有自学习能力的神经网络模型 Rosenblatt 提出的感知器模型是一个只 有单层计算单元的前向神经网络 称为单层感知器 它主要用于模式分类 单层的感知器 网络结构如下图所示 5 感知器算法 1 随机地给定一组连接权 2 输入一组样本和期望的输出 3 计算感知器实际输出 4 修正权值 5 选取另外一组样本 重复上述 2 4 的过程 直到权值对一切样本均稳定不变为止 学习过程结束 5 Perceptron Learning Rule 该学习算法收敛的充分必要条件是输入样本是线性可分的 同时的选取也是十分关键的 学习率选取太小 学习太慢 学习率太大 学习过程可能出现修正过头的情况 从而产生 振荡 5 感知器训练规则及计算方法的掌握 5 感知器网络应用 利用感知器神经网络架构解决一个简单的模式识别问题 使用感知器神经网络架构来表示和门 1 分类 训练网络预测心脏病新病人 2 逻辑运算 单层感知器可以表示和 或者 不 等等 但不是 XOR3 6 MATLAB functions for perceptron networks 5 应用实例 设计一单层单输出感知器神经网络 进行二值化图像卡片上数字的奇偶分类 5 第二次课第二次课 1 Key words biological neuron Artificial Neural neuron output neurons interconnection weighted bias levels activation function feedforward neural network hidden layers output layer input output mapping Association memory Pattern Recognition system identification perceptron model Learning Processes learning algorithm training examples input vector Target output desired response supervised learning Unsupervised Learning learning tasks rate of learning 生物神经元 人工神经元神经元 输出神经元 互联加权 偏见水平 激活功能 前馈神经网络 隐藏的图层 输出层 输入输出映射 关联记忆 模式识别 系统识别 感知器模型 学习过程 学习算法 训练实例 输入矢量 目标输出 期望的响应 监督学习 无监督学习 学习任务 学习的速度 2 3 3 3 3 4 算法实现步骤 第一步 初始化 第二步 输入一个样本 计算连接权值的调整量 第三步 调整连接权值 第四步 计算均方误差 5 6 线性神经网络的应用 线性神经网络在模式识别 信号滤波和预测 函数近似等方面有广泛的用 途 至今仍然广泛应用于各种实际系统中 特别是在自适应滤波方面 用途更为广 泛 1 以自适应线性网络实现噪声对消 2 胎儿心率的检测 3 电话中的回音对消 第三次课第三次课 1 BP 网络具有一层或多层隐含层 除了在多层网络上与前面已介绍过的感知器模型有不同外 其主要差别也表现在激活函数上 感知器是二值型的函数 BP 网络的激活函数必须是处处可微的 所以它就不能采用二值型的阀值函数 0 1 或符号 函数 1 1 BP 网络经常使用的是 S 型的对数或正切激活函数和线性函数 用了 BP 算法 进行训练的 多层感知器模型 3 3 3 3 2 BP 网络主要用于 1 Functions approximation BP can be applied to learn non linear functions 2 pattern recognition 模式识别 3 第四次课第四次课 1 2 径向基函数 RBF Radial Basis Function 神经网络是由 J Moody 和 C Darken 在 80 年代末提出的一种神经网络 它是具有单隐层的三层前馈网络 3 3 3 5 6 7 Learning Algorithm 如何确定 RBF 网络隐层节点的中心及基宽度参数是一个困难的问题 8 学习算法需要求解的参数 1 径向基函数的中心 2 方差 3 隐含层到输出层的权值 学习方法分类 按 RBF 中心选取方法的不同分 1 随机选取中心法 2 自组织选取中心法 3 有监督选取中心法 4 正交最小二乘法等 自组织选取中心法 第一步 自组织学习阶段 无导师学习过程 求解隐含层基函数的中心 与方差 第二步 有导师学习阶段 求解隐含层到输出层之间的权值 9 无导师学习阶段 对所有样本的输入进行聚类 求得各隐层节点的 RBF 的中心 ci 如用 k 均值聚类算法 调整中心 算法步骤为 1 给定各隐节点的初始中心 2 计算距离 欧氏距离 并求出最小距离的节点 3 调整中心 4 计算节点的距离 5 重新调整聚类中心 6 求解方差 有导师学习阶段 计算隐含层和输出层之间的权值 10 Applications of RBF network Function Approximation Classification Pattern recognition information process image process system modeling Failure diagnosis RBF 神经网络结构简单 训练简洁且学习收敛速度快 因此被广泛引用于时间序列分析 模式识别 非线性控制和图像处理等领域 11 12 13 1 从网络结构上看 BP 神经网络实行权连接 而 RBF 神经网络输入层到隐层单 元之间为直接连接 隐层到输出层实行权连接 BP 神经网络隐层单元的转移函数一般选择 非线性函数 如反正切函数 RBF 神经网络隐层单元的转移函数是关于中心对称的 RBF 如高斯函数 BP 神经网络是三层或三层以上的静态前馈神经网络 其隐层和隐层节 点数不容易确定 没有普遍适用的规律可循 一旦网络的结构确定下来 在训练阶段网络 结构将不再变化 RBF 神经网络是三层静态前馈神经网络 隐层单元数也就是网络的结构 可以根据研究的具体问题 在训练阶段自适应地调整 这样网络的适用性就更好了 2 从训练算法上看 BP 神经网络需要确定的参数是连接权值和阈值 主要的训练 算法为 BP 算法和改进的 BP 算法 但 BP 算法易限于局部极小值 学习过程收敛速度慢 隐层和隐层节点数难以确定 RBF 神经网络的训练算法支持在线和离线训练 可以动态确 定网络结构和隐层单元的数据中心和扩展常数 学习速度快 比 BP 算法表现出更好的性 能 总之 RBF 神经网络可以根据具体问题确定相应的网络拓扑结构 具有自学习 自组织 自适应功能 学习速度快 可以进行大范围的数据融合 可以并行高速地处理数据 RBF 神经网络的优良特性使得其显示出比 BP 神经网络更强的生命力 正在越来越多的领域内 替代 BP 神经网络 目前 RBF 神经网络已经成功地用于非线性函数 时间序列分析 数据分类 模式识别 信息处理 图像处理 系统建模 控制和故障诊断等 第六次课第六次课 1 2 竞争学习的概念与原理 竞争学习是自组织网络中最常用的一种学习策略 首先说明与之相关的几个基本概念 1 模式 分类 聚类与相似性 模式 一般当网络涉及识别 分类问题时 常用输入模式 而不称输入样本 分类 将待识别的输入模式划分为各自的模式类中去 聚类 无导师指导的分类称为聚类 聚类的目的是将相似的模式样本划归一类 相似性 输入模式的聚类依据 2 相似性测量 神经网络的输入模式用向量表示 比较不同模式的相似性可转化为比较两个向量的 距离 因而可用模式向量间的距离作为聚类判据 模式识别中常用到的两种聚类判据是欧 式最小距离法和余弦法 3 自组织竞争网络机理 采用无教师学习方式 无须期望输出 只是根据数据样本进行学习 并调整自身的权重以 达到学习目的 自组织神经网络的学习规则大都采用竞争型的学习规则 竞争型神经网络的基本思想是网络竞争层的各神经元通过竞争来获取对输入模式的响应机 会 最后仅有一个神经元成为胜利者 并将与获胜神经元有关的各连接权值向着更有利于 其竞争的方向调整 用途 模式分类和模式识别 4 竞争学习规则 Winner Take All 网络的输出神经元之间相互竞争以求被激活 结果在每一时刻只有一个输出神经元被 激活 这个被激活的神经元称为竞争获胜神经元 而其它神经元的状态被抑制 故称为 Winner Take All 5 竞争学习规则 Winner Take All 1 向量归一化 2 寻找获胜神经元 3 网络输出与权值调整 6 SOM 网络共有两层 输入层模拟感知外界输入信息的视网膜 输出层模拟做出响应的 大脑皮层 输出层也是竞争层 网络拓扑结构形式常见有一维线阵和二维平面阵 7 8 SOM 网的学习算法 1 初始化 2 接受输入 3 寻找获胜节点 4 定义优胜邻域 5 调整权值 6 检 查总模式数是否全部参与了学习 7 更新邻域 Nj t 及学习率 t 8 结束检查 学习率 是否衰减到零或某个预定的正小数 9 SOM 设计 输出层设计 输出层神经元数量设定和训练集样本的类别数相关 但是实际中我们往往不能清除地知道 有多少类 如果神经元节点数少于类别数 则不足以区分全部模式 训练的结果势必将相 近的模式类合并为一类 相反 如果神经元节点数多于类别数 则有可能分的过细 或者 是出现 死节点 即在训练过程中 某个节点从未获胜过且远离其他获胜节点 因此它们 的权值从未得到过更新 不过一般来说 如果对类别数没有确定知识 宁可先设定较多的节点数 以便较好的映射 样本的拓扑结构 如果分类过细再酌情减少输出节点 死节点 问题一般可通过重新初始 化权值得到解决 输出层节点排列的设计 输出层的节点排列成哪种形式取决于实际应用的需要 排列形式应尽量直观反映出实际问 题的物理意义 10 权值初始化问题 基本原则是尽量使权值的初始位置与输入样本的大概分布区域充分重合 一种简单易行的 方法是从训练集中随机抽取 m 个输入样本作为初始权值 优胜邻域的设计 优胜领域设计原则是使领域不断缩小 领域的形状可以是正方形 六边形或者菱形 优势 领域的大小用领域的半径表示 设计目前没有一般化的数学方法 通常凭借经验来选择 学习率的设计 在训练开始时 学习率可以选取较大的值 之后以较快的速度下降 这样有利于很快捕捉 到输入向量的大致结构 然后学习率在较小的值上缓降至 0 值 这样可以精细地调整权值 使之符合输入空间的样本分布结构 学习率就是一个递减的函数 而优胜邻域也是 t 的递 减函数 11 学习向量量化 LVQ 神经网络 学习向量量化 Learnig Vector Quantization LVQ 网络 1 在竞争网络结构基础上提出的 2 将竞争学习思想与有监督学习算法结合在一起 3 在网络学习过程中 通过教师信号对输入样本的分配类别进行规定 4 克服了自组织网络采用无监督学习算法带来的缺乏分类信息的弱点 12 LVQ 自适应解决模式分类问题的步骤 第一步 自组织映射 起聚类的作用 但不能直接分类或识别 第二步 学习向量量化 采用有监督方法 在训练中加入教师信号作为分类信息 对权值进行细调 并对输出神经元预先指定其类型 13 LVQ 网络结构与工作原理 类类别别1 1类类别别j j类类别别l l 输输出出层层 竞竞争争层层 输输入入层层 图2 学习向量量化网络 14 LVQ 网络结构 学习向量量化神经网络 属于前向有监督神经网络类型 由芬兰学者 Teuvo Kohonen 提出 组成 输入层神经元 竞争层神经元和输出层神经元 输入层 有 n 个神经元接受输入向量 与竞争层之间完全连接 竞争层 有 m 个神经元 分为若干组并呈一维线阵排列 输出层 每个神经元只与竞争层中的一组神经元连接 连接权值固定为 1 15 LVQ 网络工作原理 1 在 LVQ 网络的训练过程中 输入层和竞争层之间的连接权值被修改 被逐渐调整为聚类 中心 2 当一个输入样本被送到 LVQ 网时 竞争层的神经元通过胜者为王竞争学习规则产生获胜 神经元 容许其输出为 1 而其他神经元输出为 0 3 与获胜神经元所在组相连接的输出神经元 其输出也为 1 其他的输出为 0 从而给出 当前输入样本的模式类 子类 竞争层学习得到的类 目标类 输出层学习得到的类 16 LVQ 神经网络的学习算法 LVQ 算法具体步骤如下 1 网络初始化 用较小的随机数设定输人层和隐含层之间的权值初始值 2 输入向量的输入 将输人向量送入到输入层 3 计算隐含层权值向量与输入向量的距离 隐含层神经元和输入向量的距离 与自组织化映射的情况相同 4 选择与权值向量的距离最小的神经元 5 更新连接权值 6 判断是否满足预先设定的最大迭代次数 满足时算法结束 否则返回 2 进入下一轮 学习 17 Newlvq 函数 功能 该函数用于创建一个学习向量量化的 LVQ 网络 18 Elman 神经网络 它是一种典型的局部回归网络 Elman 网络可以看作是一个具有局部记忆单元和局部反馈 连接的前向神经网络 19 20 21 应用函数 newelm 可以构建两层或者多层 Elman 网络 隐含层函数通常应用 tansig 传 递函数 输出层通常是 purelin 传递函数 22 Hopfield 神经网络模型 Hopfield 网络是一种由非线性元件构成的反馈系统 其稳定状态的分析比前向神经网络 要复杂得多 1984 年 Hopfield 设计并研制了网络模型的电路 并成功地解决了旅行商 TSP 计算难题 优化问题 Hopfield 网络分为离散型和连续型两种网络模型 分别记作 DHNN Discrete Hopfield Neural Network 和 CHNN Continues Hopfield Neural Network Hopfield 网络是单层对称全反馈网络 23 研究表明 由简单非线性神经元互连而成的反馈动力学神经网络系统具有两个重要特 征 1 系统有若干个稳定状态 如果从某一个初始状态开始运动 系统总可以进入其中某一个 稳定状态 2 系统的稳定状态可以通过改变各个神经元间的连接权值而得到 Hopfield 神经网络的稳定性是其重要性质 而能量函数是判定网络稳定性的基本概念 24 Hopfield 网络的特点 灌输式学习方式 灌输式学习中网络权值不是通过训练逐渐形成的 而是通过某种设计方法得到的 权值一旦设计好就一次灌输给网络 不再变动 这种学习是死记硬背式的 而不是训练式的 Hopfield 网络属于无监督学习神经元网络 Hopfield 网络是一类反馈动力学系统 稳定性是这类系统的重要特性 25 Hopfield 网络的应用 组合优化 TSP 问题 组合优化问题 就是在给定约束条件下 求出使目标函数极小 或极大 的变量组合问题 将 Hopfield 网络应用于求解组合优化问题 就是把目标函数转化为网络的能量函数 把问 题的变量对应于网络的状态 这样当网络的能量函数收敛于极小值时 问题的最优解也随 之求出 26 newhop 生成一个 Hopfield 回归网络 第七次课第七次课 1 传统神经网络有三个主要限制 一是在面对大数据时 需要人为提取原始数据的特征作为输入 会把蹲在屋顶的 Kitty 和骑 在猫奴头上的 Kitty 识别为不同的猫咪 又会把二哈和狼归类为同一种动物 二是想要更精确的近似复杂的函数 必须增加隐藏层的层数 这就产生了梯度扩散问题 所谓 强弩之末势不能穿鲁缟 三是无法处理时间序列数据 比如音频 随着人工智能需求的提升 我们想要做复杂的图 像识别 做自然语言处理 做语义分析翻译 等等 传统神经网络显然力不从心 深度模型可以解决以上三个问题 第一 深度学习自动选择原始数据的特征 举一个图像的例子 将像素值矩阵输入深度网 络 这里指常用于图像识别的卷积神经网络 CNN 网络第一层表征物体的位置 边缘 亮度等初级视觉信息 第二层将边缘整合表征物体的轮廓 之后的层会表征更加抽象的 信息 如猫或狗这样的抽象概念 第二 深度网络的学习算法 一种方法是改变网络的组织结构 比如用卷积神经网络代替 全连接 full connectivity 网络 训练算法仍依据 Backpropagating gradients 的基本原理 另一种则是彻底改变训练算法 第三 使用带反馈和时间参数的 Recurrent neural network 处理时间序列数据 从某种意义 上讲 Recurrent neural network 可以在时间维度上展开成深度网络 可以有效处理音频信 息 语音识别和自然语言处理等 或者用来模拟动力系统 2 深度学习是机器学习的一个类型 该类型的模型直接从图像 文本或声音中学习执行分 类任务 通常使用神经网络架构实现深度学习 深度 一词是指网络中的层数 层数越多 网络 越深 传统的神经网络只包含 2 层或 3 层 而深度网络可能有几百层 3 卷积神经网络是深度神经网络和核卷积 kernel convolution 的结合 4 做传统的神经网