神经网络基本原理ppt课件

1 第四章智能决策支持系统和智能技术的决策支持 第四节 第六节 2 4 4神经网络的决策支持 4 4 1神经网络的基本原理4 4 2神经网络的互连结构4 4 3神经网络的学习4 4 4神经网络专家系统 3 4 5遗传算法的决策支持 4 5 1遗传算法原理4 5 2遗传算法的应用 4 4 6机器学习的决策支持 4 6 1机器学习的概念4 6 2机器学习的分类 5 4 4 1神经网络的基本原理 1 神经元的数学模型1943年 由麦克洛奇和皮兹提出 简称MP模型 细胞体 树突 轴突 6 i1 i2 in为神经元的输入量 Oi为神经元的输入 Wij为外面神经与该神经连接强度 即权 为阀值 f x 为该神经元的作用函数 Oi f WijIi i i 1 2 n神经元的输入计算 I WijIi i i 1 2 7 2 神经元的作用函数 1 阶跃函数 2 Sigmoid函数 3 高斯型函数 8 4 4 2神经网络的互连结构 1 不含反馈的前向网络不含反馈的前向网络的结构形态 网络中的神经元分层排列 接受输入量的神经元节点组成输入层 产生输出量的神经元节点组成输出层 中间层亦称为隐层 可以有若干层隐层 每一层的神经元只接受前一层神经元的输入 输入向量经过各层的顺序变换后 由输出层得到输出向量 9 2 从输出层到输入层有反馈的前向网络从输出层到输入层有反馈的前向网络简称为反馈神经网络 网络中的神经元也是分层排列 但是输入层神经元在学习过程中接受输出层神经元或部分输出层神经元的反馈输入 10 3 层内有相互结合的前向网络每一层的神经元除接受前一层神经元的输入之外 也可接受同一层神经元的输入 通过层内神经元之间的相互结合 可以实现同层神经元之间横向的抑制或兴奋机制 从而可以限制一层内能同时动作的神经元的个数 或者实现把一层内的神经元分为若干组 每一组作为一个整体来动作 11 4 相互结合型网络这种网络中任意两个神经元之间都可能有连接 在不含反馈的前向网络中 输入信号一旦通过某个神经元就将输出这个信号的变换值 但是 在相互结合型网络中 输入信号要在神经元之间反复往返传递 网络处于一种不断改变状态的动态之中 从某初态开始 经过若干次的状态变化 网络才会到达某种稳定状态 根据网络的结构和神经元的映射特性 网络还有可能进入周期振荡或其他平衡状态 如混沌状态 12 4 4 3神经网络的学习 1 无教师学习方法基本思想 当输入的实例模式进入神经网络后 网络按预先设定的规则自动调整权值 2 有教师学习方法基本思想 对实例k的输入 由神经网络根据当前的权值分布W k 计算网络的输出Y W k 把网络的计算输出Y W k 与实例k的期望输出Y k 进行比较 根据两者之间的差的某个函数的值来调整网络的权值分布 最终使差的函数值达到最小 13 4 4 4神经网络专家系统 1 神经网络的知识表示 基于神经网络的知识表示方法有以下优点 1 能够表示事物的复杂关系 如模糊因果关系 2 具有统一的知识表示形式 便于知识的组织 知识表示形式的通用性强 3 便于实现知识的自动获取 4 便于网络的知识推理 14 2 神经网络的知识自动获取 神经网络是通过实例学习来实现知识自动获取的 在进行知识获取时 要求领域专家提供学习实例及其相应的期望解 经过网络自适应学习算法不断修改网络的权值分布 一旦网络稳定后 就把领域专家求解该问题的知识和经验 通过提供的学习实例来表示 分布到网络的互连结构及权值分布上 从而得到推理所需要的知识库 15 3 神经网络的知识推理与解释 神经网络的知识推理有以下特点 1 同一层神经元的计算是完全可并行的 层间的传播是逐层串行的 神经网络的知识推理机制很适合实现知识的并行推理 2 基于神经网络的专家系统的推理时间开销同基于规则的专家系统的推理时间的开销比较 前者要少得多 16 3 基于神经网络的专家系统的解释器可以有一套输入模式解释规则和 套输出模式解释规则 分别将用户输入的符号逻辑概念转换成网络的数值输入模式和把网络的数值输出模式转换成输出的符号逻辑概念提供给用户 由于基于神经网络的专家系统的知识表示是隐式的 非局部的 因此 神经网络专家系统的解释器难以像基于规则的专家系统那样 通过记录推理过程使用的规则链 来向用户提供why询问和how询问的解释 17 神经网络专家系统与一般专家系统的不同 神经元知识库体现在神经元的连接强度 权值 上 它是分布式存贮的 适合并行处理 推理机是基于神经元的信息处理过程 以MP模型位基础 采用数值计算方法 神经元网络有成熟的学习算法 容错性很好 18 5 神经网络专家系统的结构 知识工程师 学习样本 确定系统框架 神经元学习 形成学习样本 知识库 用户 实际问题参数 输入模型转换 推理机制 输出模型转换 实际问题结果 19 1 确定系统框架神经元个数神经元网络层次网络单元的连接2 学习样本学习样本是实际问题中已输入与输出结果的实例 公认的原理 规则与事实 分为线性样本与非线性样本 20 3 学习算法4 推理机5 知识库主要存放各个神经元之间的连接权值 6 输入模型转换将逻辑概念转换为数值形式 7 输出模型转换将数值形式的输出转换为逻辑概念 21 4 5 1遗传算法原理 1 遗传算法的工作过程首先将问题的每个可能的解按照某种形式进行编码 编码后的解称为个体 染色体 随机选取N个个体构成初始种群 再根据预定的评价函数对每个个体计算适应值 使得性能较好的染色体具有较高的适应值 选择适应值高的个体进行复制 通过遗传算子 来产生一群新的更适应环境的个体 形成新的种群 22 编码和初始群体的形式 个体适应值满意否 选择 交叉 变异 产生新一代群体 输出种群 是 否 23 1 群体种个体的编码问题的编码就是将问题描述成位串的形式 一般将问题的参数采用二进制位编码构成子串 再将子串拼接起来构成位串 2 适应值函数的确定适应值函数 评价函数 是根据目标函数确定的 适应值总是非负的 任何情况下 希望越大越好 24 3 遗传算子 选择算子 复制 繁殖算子 选择是从种群种选择生命力强的个体产生新种群的过程 选择的常用方法 比率法 排列法 比率排列法 交叉算子 重组 配对算子 首先在新复制的群体中随机选取两个个体 然后 沿着这两个个体随机得取一个位置 二者互换从该位置起的末尾部分 25 变异算子变异就是以很小的概率 随机地改变字符串某个位置上的值 变异发生的概率很低 它提高遗传算法找到接近最优接的能力 避免某些信息的永久性丢失 保证了遗传算法的有效性 26 4 控制参数的设定遗传算法中的参数包括群体中个体的数目 交叉概率 变异概率等 这些参数的设定随具体问题的不同将有所不同 具有经验性 它会影响遗传算法的迭代收敛过程 27 2 遗传算法的基本特征 1 遗传算法的处理对象是问题参数的编码个体 位串 遗传算法要求将问题的参数编码成长度有限的位串 2 遗传算法的搜索是从问题解位串集开始搜索 而不是从单个解开始 3 遗传算法只使用目标函数来搜索 而不需要导数等其他辅助信息 28 4 遗传算法使用的3种遗传算子是一种随机操作 而不是确定规则 5 遗传算法的并行性 6 易于介入到已有模型中 并具有可扩展性 易于同别的技术结合使用 29 4 5 2遗传算法的应用 已知n个城市的地理位置 x y 求经过所有城市 并回到出发城市且每个城市仅经过一次的最短距离 30 4 6 1机器学习的概念 机器学习的简单结构 环境 学习元 知识库 执行元 31 环境向系统提供学习信息 学习元对这些信息进行整理 分析 归纳或类比 生成新的知识元或改进知识库的组织结构 执行元以学习后得到的新知识库为基础 执行一系列任务 并将执行结果报告学习元 以完成对新知识库的评价 指导进一步的学习工作 32 机器学习系统通常应该具有如下主要特征 1 目的性 系统的学习行为有高度的目的性 即系统必须知道学习什么 2 结构性 系统必须具备适当的知识存储结构来