第五章 4神经网络在材料科学与工程中的应用

第五章第五章 4 4神经网络在材料科学与工程中的应用神经网络在材料科学与工程中的应用 计算机应用多媒体课件Ch6神经网络在材料科学与工程中的应用Ch6 神经网络在材料科学与工程中的应用6 1引言6 2人工神经网络基础6 1引言6 2人工神经网络基础计算机应用多媒体课件6 1引言 人类对 人工智能的研究可以分成两种方式对应着两种不同的技术人类对人 工智能的研究可以分成两种方式对应着两种不同的技术 传统的人工 智能技术 心理的角度模拟 基于人工神经网络的技术 生理的角度模拟生理的角度模拟 1 1人工神经网络的提出 1 2人工 神经网络的特点 1 3历史回顾计算机应用多媒体课件引言 1 1人工神经网络的提出 人工神经网络 简记作ANN Artificial Neural Networks 是对人类大脑系统的一阶特性的一种描述 简单地讲 它是一个数学模型 可以用电子线路来实现 也可以用 计算机程序来模拟 是人工智能研究的一种方法 是对人类大脑系统的一阶特性的一种描述 简单地讲 它是一个数学模型 可以用电子线路来实现 也可以用 计算机程序来模拟 是人工智能研究的一种方法 计算机应用多媒体课件引言 1 1人工神经网络的提出 1 1 1智能与人工智能 智能是个体有目的 的行为 合理的思维 以及有效的 适应环境的综合能力 是个体有目的的行为 合理的思维 以及有效的 适应环境的综合 能力 智能是个体认识客观事物和运用知识解决问题的能力 是个体认识客观事物和运用知识解决问题的能力 人类个体的智能是一种综合能力 计算机应用多媒体课件引言 1 1人工神经网络的提出 智能可以包含8个方面 感知与认识客观事 物 客观世界和自我的能力客观事物 客观世界和自我的能力 感知 是智能的基础 最基本的能力 通过学习取得经验与积累知识的能力 这是人类在世 界中能够不断发展的最基本能力 理解知识 运用知识和经验分析 解决问题的能力和经验分析 解 决问题的能力 这一能力可以算作是智能的高级形式 是人类对世界进行改造 推动社会发展的基本能力 这一能力可以算作是智能的高级形式 是人类对世界进行改造 推动社会发展的基本能力 计算机应用多媒体课件引言 1 1人工神经网络的提出 联想 推理 判断 决策语言的能力 这是 智能的高级形式的又一方面 预测和认识 主动 和 被动 之分 联想 推理 判断 决策的能力是 主动 的基础 主动 和 被动 之分 联想 推理 判断 决策的能力是 主动 的基础 运用进行抽象 概括的能力 上述这5种能力 被认为是人类智能最 基本的能力 表现为三种综合能力发现 上述这5种能力 被认为是 人类智能最基本的能力 表现为三种综合能力发现 发明 创造发 明 创造 创新的能力 实时 迅速 合理地应付复杂环境应付复 杂环境的能力 预测 洞察事物发展 变化的能力 洞察事物发展 变化的能力 计算机应用多媒体课件引言 1 1人工神经网络的提出 人工智能研究如何使类似计算机这样的设 备去模拟人类的这些能力 人工智能研究如何使类似计算机这样的设备去模拟人类的这些能力 研究人工智能的目的 增加人类探索世界 推动社会前进的能力 进 一步认识自己 三大学术流派 符号主义 或叫做符号 逻辑主义 学 派 联接主义 或者叫做PDP 学派 进化主义 或者叫做行动 响应 学派计算机应用多媒体课件引言 1 1人工神经网络的提出 1 1 2物理符号系统 一个物理系统表现智 能行为的充要条件是它有一个物理符号系统一个物理系统表现智能 行为的充要条件是它有一个物理符号系统人脑的反映形式化现实信 息数据物理系统物理符号系统表现智能人脑的反映形式化现实信息 数据物理系统物理符号系统表现智能计算机应用多媒体课件引言 1 1人工神经网络的提出 1 1 3联接主义观点 核心智能的本质是联 接机制 神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非 线性自适应系统神经网络是一个由大量简单的处理单元组成的高度 复杂的大规模非线性自适应系统 ANN力求从四个方面去模拟人脑的 智能行为 物理结构 计算模拟 存储与操作 训练计算机应用多媒体 课件引言 1 1人工神经网络的提出 1 1 4两种模型的比较计算机应用多媒体课 件引言 1 1人工神经网络的提出 物理符号系统和人工神经网络系统的差别 项目物理符号系统人工神经网络处理方式逻辑运算模拟运算执行方 式串行并行动作离散连续存储局部集中全局分布项目物理符号系统 人工神经网络处理方式逻辑运算模拟运算执行方式串行并行动作离 散连续存储局部集中全局分布计算机应用多媒体课件引言 1 1人工神经网络的提出 两种人工智能技术的比较项目传统的AI技 术ANN技术基本实现方式串行处理 由程序实现控制并行处理 对样 本数据进行多目标学习 通过人工神经元之间的相互作用实现控制 基本开发方法设计规则 框架 程序 用样本数据进行调试 由人 根据已知的环境去构造一个模型 定义人工神经网络的结构原型 通过样本数据 依据基本的学习算法完成学习技术基本实现方式串 行处理 由程序实现控制并行处理 对样本数据进行多目标学习 通过人工神经元之间的相互作用实现控制基本开发方法设计规则 框架 程序 用样本数据进行调试 由人根据已知的环境去构造一 个模型 定义人工神经网络的结构原型 通过样本数据 依据基本 的学习算法完成学习 自动从样本数据中抽取内涵 自动适应应用环境 适应领域精确计 算符号处理 数值计算非精确计算模拟处理 感觉 大规模数据并 行处理模拟对象左脑 逻辑思维 右脑 形象思维 自动从样本数 据中抽取内涵 自动适应应用环境 适应领域精确计算符号处理 数值计算非精确计算模拟处理 感觉 大规模数据并行处理模拟对 象左脑 逻辑思维 右脑 形象思维 计算机应用多媒体课件引言 1 2人工神经网络的特点 特点 信息的分布表示 运算的全局并行和 局部操作 处理的非线性 人工神经网络是一个非线性的有向图 图 中含有可以通过改变权大小来存放模式的加权边 并且可以从不完 整的或的输入找到模式 是一个非线性的有向图 图中含有可以通过改变权大小来存放模式 的加权边 并且可以从不完整的或的输入找到模式 计算机应用多媒体课件引言 1 2人工神经网络的特点 关键点 1 信息的分布表示 2 运算的全 局并行与局部操作 3 处理的非线性特征 对大脑基本特征的模拟 1 形式上神经元及其联接 BN对AN 2 表现特征信息的存储与处理 计算机应用多媒体课件引言 1 2人工神经网络的特点 别名 人工神经系统 ANS 神经网络 NN 自适应系统 Adaptive Systems 自适应网 Adaptive Networks 自适应系统 Adaptive Systems 自适应网 Adaptive Networks 联接模型 Connectionism 神经计算机 Neuroputer 计算机应用多媒体课件引言 1 2人工神经网络的特点自学习自适应并行处理分布表达与计算计算 机应用多媒体课件引言 1 3历史回顾 萌芽期 20世纪40年代 最早可以追溯到人类开始研 究自己的智能 第一高潮期 1950 1968 代表作是单级感知器 Perceptron 可用电子线路模拟 代表作是单级感知器 Perceptron 可用电子线路模拟 反思期 1969 1982 二十世纪70年代和80年代早期的研究结果计算机应用多媒体 课件引言 1 3历史回顾 第二高潮期 1983 1990 1984年 J Hopfield设计研制了后来被人们称为Hopfield网 的电路 1986年 并行分布处理小组的Rumelhart等研究者重新独立地提出 多层网络的学习算法1986年 并行分布处理小组的Rumelhart等研究 者重新独立地提出多层网络的学习算法 BP算法BP算法 较好地解决了多层网络的学习问题 Paker1982和Werbos1974年 较好地解决了多层网络的学习问题 Paker1982和Werbos1974年 1985年 UCSD的Hinton Sejnowsky Rumelhart等人在Hopfield网络中引入了随机机制 提出所谓的19 85年 UCSD的Hinton Sejnowsky Rumelhart等人在Hopfield网络 中引入了随机机制 提出所谓的Boltzmann机理计算机应用多媒体课 件引言 1 3历史回顾 再认识与应用研究期 1991 问题1 应用面还不够宽2 结果不够精确3 存在可信度的问题 问题1 应用面还不够宽2 结果不够精确3 存在可信度的问题计算 机应用多媒体课件6 2人工神经网络基础 6 2 1生物神经元模型 6 2 2人工神经元模型 6 2 3人工神经网络模型 6 2 4神经网络的学习 方法计算机应用多媒体课件6 2 1生物神经元模型 人脑大约包含101 2个神经元 分成约1000种类型 每个神经元大约与10个神经元 分 成约1000种类型 每个神经元大约与1022 1044个其他神经元相连 接 形成极为错综复杂而又灵活多变的神经网络 每个神经元虽然都十分简单 但是如此大量的神经元之间 如此复 杂的连接却可以演化出丰富多彩的行为方式 同时 如此大量的神经元与外部感受器之间的多种多样的连接方式 也蕴含了变化莫测的反应方式 个其他神经元相连接 形成极为错综复杂而又灵活多变的神经网络 每个神经元虽然都十分简单 但是如此大量的神经元之间 如此复 杂的连接却可以演化出丰富多彩的行为方式 同时 如此大量的神经元与外部感受器之间的多种多样的连接方式 也蕴含了变化莫测的反应方式 计算机应用多媒体课件6 2 1生物神经元模型计算机应用多媒体课件 6 2 1生物神经元模型 从生物控制论的观点来看 神经元作为控制 和信息处理的基本单元 具有下列一些重要的功能与特性从生物控 制论的观点来看 神经元作为控制和信息处理的基本单元 具有下 列一些重要的功能与特性 时空整合功能 兴奋与抑制状态 脉冲与电 位转换 神经纤维传导速度 突触延时和不应期 学习 遗忘和疲劳计 算机应用多媒体课件6 2 2人工神经元模型 人工神经元是对生物神 经元的一种模拟与简化 它是神经网络的基本处理单元 如图所示为一种简化的人工神经元结构 它是一个多输入 单输出的非线性元件 人工神经元是对生物神经元的一种模拟与简化 它是神经网络的基本处理单元 如图所示为一种简化的人工神经元结构 它是一个多输入 单输出的非线性元件 计算机应用多媒体课件6 2 2人工神经元模型计算机应用多媒体课件 6 2 2人工神经元模型 其输入 输出关系可描述为 其中 是从其他 神经元传来的输入信号 表示从神经元j到神经元i的连接权值 为 阈值 称为激发函数或作用函数 其中 是从其他神经元传来的输入信号 表示从神经元j到神经元i 的连接权值 为阈值 称为激发函数或作用函数 nji jij ixw I1 i iIf y 2 1 n jx j ijwi f计算机应用多媒体课件6 2 2人工神经元模型 输出激 发函数又称为变换函数 它决定神经元 节点 的输出 该输出为1或0 取决于其输入之和大于或小于内部阈值 函数一般具有非线性特性 下图表示了几种常见的激发函数 1 阈值型函数 见图 a b 2 饱和型函数 见图 c 3 双曲函数 见图 d 4 S型函数 见 e 5 高斯函数 见图 f 输出激发函数又称为变换函数 它决定神经元 节点 的输出 该输出为1或0 取决于其输入之和大于或小于内部阈值 函数一般具有非线性特性 下图表示了几种常见的激发函数 1 阈值型函数 见图 a b 2 饱和型函数 见图 c 3 双曲函数 见图 d 4 S型函数 见 e 5 高斯函数 见图 f f fi 计算机应用多媒体课件6 2 2人工神经元模型计算 机应用多媒体课件6 2 3人工神经网络模型 人工神经网络是以工程 技术手段来模拟人脑神经元网络的结构与特征的系统 利用人工神经元可以构成各种不同拓扑结构的神经网络 它是生物 神经网络的一种模拟和近似 就神经网络的主要连接型式而言 目前已有数十种不同的神经网络 模型 其中前馈型网络和反馈型网络是两种典型的结构模型 人工神经网络是以工程技术手段来模拟人脑神经元网络的结构与特 征的系统 利用人工神经元可以构成各种不同拓扑结构的神经网络 它是生物 神经网络的一种模拟和近似 就神经网络的主要连接型式而言 目前已有数十种不同的神经网络 模型 其中前馈型网络和反馈型网络是两种典型的结构模型 计算机应用多媒体课件6 2 3人工神经网络模型 前馈型神经网络 前 馈型神经网络 又称前向网络 Feed forwardNN 如图所示 神经元分层排列 有输入层 隐层 亦称中间层 可有 若干层 和输出层 每一层的神经元只接受前一层神经元的输入 前馈型神经网络 又称前向网络 Feed forwardNN 如图所示 神经元分层排列 有输入层 隐层 亦称中间层 可有 若干层 和输出层 每一层的神经元只接受前一层神经元的输入 从学习的观点来看 前馈网络是一种强有力的学习系统 其结构简 单而易于编程 前馈网络是一种强有力的学习系统 其结构简单 而易于编程 计算机应用多媒体课件6 2 3人工神经网络模型 从系 统的观点看 前馈网络是一静态非线性映射 通过简单非线性处理 单元的复合映射 可获得复杂的非线性处理能力 但从计算的观点看 缺乏丰富的动力学行为 大部分前馈网络都是学习网络 它们的分类能力和模式识别能力一 般都强于反馈网络 典型的前馈网络有感知器网络 BP网络等 前馈网络是一静态非线性映射 通过简单非线性处理单元的复合映 射 可获得复杂的非线性处理能力 但从计算的观点看 缺乏丰富的动力学行为 大部分前馈网络都是学习网络 它们的分类能力和模式识别能力一 般都强于反馈网络 典型的前馈网络有感知器网络 BP网络等 计算机应用多媒体课件6 2 3人工神经网络模型计算机应用多媒体课 件6 2 3人工神经网络模型 反馈型神经网络 反馈型神经网络 Feed back NN 的结构如图所示 如果总节点 神经元 数为N 那么每个节点有N个输入和一个输出 也就是说 所有节点都是一样的 它们之间都可相互连接 反馈型神经网络 Feedback NN 的结构如图所示 如果总节点 神经元 数为N 那么每个节点有N个输入和一个输出 也就是说 所有节点都是一样的 它们之间都可相互连接 计算机应用多媒体课件6 2 3人工神经网络模型 反馈神经网络是一 种反馈动力学系统 它需要工作一段时间才能达到稳定 Hopfield神经网络是反馈网络中最简单且应用广泛的模型 它具有 联想记忆 Content一Addressible Memory CAM 的功能 如果将Lyapunov函数定义为寻优函数 Hopf ie1d神经网络还可以用来解决快速寻优问题 反馈神经网络是一种反馈动力学系统 它需要工作一段时间才能达 到稳定 Hopfield神经网络是反馈网络中最简单且应用广泛的模型 它具有 联想记忆 Content一Addressible Memory CAM 的功能 如果将Lyapunov函数定义为寻优函数 Hopf ie1d神经网络还可以用来解决快速寻优问题 计算机应用多媒体课件6 2 3人工神经网络模型计算机应用多媒体课 件6 2 4神经网络的学习方法 神经网络的学习从环境中获取知识并 改进自身性能 主要指调节网络参数使网络达到某种度量 又称为 从环境中获取知识并改进自身性能 主要指调节网络参数使网络达 到某种度量 又称为网络的训练 学习方式 监督学习 非监督学习 再励学习计算机应用多媒体课件6 2 4神经网络的学习方法学习规则 learning rule Hebb学习规则 两个神经元同时处于激发状态时 它们之间的 连接强度将得到加强 这一论述的数学描述被称为Hebb学习规则两 个神经元同时处于激发状态时 它们之间的连接强度将得到加强 这一论述的数学描述被称为Hebb学习规则 Hebb学习规则是一种无教 师的学习方法 它只根据神经元连接间的激活水平改变权值 因此 这种方法又称为相关学习或并联学习 Hebb学习规则是一种无教师的学习方法 它只根据神经元连接间的 激活水平改变权值 因此这种方法又称为相关学习或并联学习 计算机应用多媒体课件6 2 4神经网络的学习方法 Delta 学习 规则 规则实现了E中的梯度下降 因此使误差函数达到最小值 但 学习规则只适用于线性可分函数 无法用于多层网络 BP网络的学习算法称为BP算法 是在 规则基础上发展起来的 可 在多网络上有效地学习 规则实现了E中的梯度下降 因此使误差函数达到最小值 但 学习规则只适用于线性可分函数 无法用于多层网络 BP网络的学习算法称为BP算法 是在 规则基础上发展起来的 可 在多网络上有效地学习 计算机应用多媒体课件6 2 4神经网络的学习方法 概率式学习 从统 计力学 分子热力学和概率论中关于系统稳态能量的标准出发 进 行神经网络学习的方式称概率式学习