人工神经网络_2第二章 NN理论基础.ppt

人工神经网络 第二章 NN理论基础 计算机科学与技术学院 第二章NN理论基础 2 1生物神经系统的模型化2 2M P神经元模型与人工神经网络的构成2 3人工神经网络的学习机理与Hebb学习规则2 4教师示教学习与无教师示教学习2 5模式识别的基本定义与方法2 6生物NN与人工NN的比较2 7线性分类器 2 1生物神经系统的模型化 神经元特点1 神经元是一个多输入 单输出元件 2 神经元是一个具有非线性输入 输出特性的元件 3 神经元具有可逆性 传递强度可变 4 神经元的输出是各个输入综合的结果 2 1生物神经系统的模型化 1 1 2 1 2 3 1 2 3 4 2 1生物神经系统的模型化 生物神经元模型数学表达式把阈值 看成神经元的第0个输入 x0为常数 1 神经元的响应函数根据要求和特点的不同 分为以下几种 a 阶跃函数 2 1生物神经系统的模型化 b S型函数c 比例函数 2 1生物神经系统的模型化 d 符号函数e 饱和函数 2 1生物神经系统的模型化 f 双曲函数 2 2M P神经元模型与人工神经网络的构成 一 M P模型 1943年 McCulloch 生理学家 和Pitts 数学家 定义了神经元模型M P模型 f 阶跃函数输入向量 权值向量 阈值 输出 其中 响应函数也可采用符号函数 2 2M P神经元模型与人工神经网络的构成 二 神经网络的连接形成 1 单层网络 左边只起分配信号的作用输入向量 输出向量 神经元的输入向量 加权阵 2 2M P神经元模型与人工神经网络的构成 2 多层网络 中间层神经元的输出 2 2M P神经元模型与人工神经网络的构成 3 反馈型网络 4 全互连接型一层的输出通过连接权回送到同一层或前一层 2 3人工神经网络的学习机理与Hebb学习规则 NN仅有拓扑结构还不能具有任何智能特性 必须有一套完整的学习 工作规则与之配合 人工神经网络的学习规则 说到底就是网络连接权的调整规则 40年代 Hebb根据心理学中条件反射机理提出了神经细胞间连接强度变化的规则 即所谓的Hebb学习规则 内容为 如果两个神经元同时兴奋 同时为1 则它们之间的突触联系得以增强 以表示神经元i j的激活值表示i j之间的连接权 2 3人工神经网络的学习机理与Hebb学习规则 则Hebb学习规则为 学习过程 2 4教师示教学习与无教师示教学习 一 教师学习 在网络的学习过程中 对于网络输出的正确性必须有一个评价标准 网络根据实际输出与评价标准的比较 决定连接权值的调整 合成 评价标准是人为由外界提示给网络的 即相当于一个知晓正确结果的教师示教给网络 称为教师示教学习 2 4教师示教学习与无教师示教学习 二 无教师示教学习方式无外部教师 网络能够根据其特有的网络结构和学习规则 对属于同一类的模式进行自动分类 2 5模式识别的基本定义与方法 一 基本定义模式 面临的一类对象或事物 模式识别 对模式进行正确的分类 模式的特征 一个模式区别另一模式的主要差别 模式识别函数 用数学形式表达分类边界 模式识别函数可以是曲线 平面 超曲线 超平面等 对于复杂的模式需要几个特征来区分 构成n维特征向量 根据得到的数据处于分类边界线的左边或右边来判断模式类别 2 5模式识别的基本定义与方法 例 根据体重和高度来区别体操 篮球运动员二 方法K 最邻近分类方法判别上图中a1属于哪一类 可看a1最邻近哪一类f x d1 d2d1 与第一类模式最短距离 d2 与第二类模式最短距离 f x 0则a1属于第二类用一点来计算距离受到限制 往往利用平均距离来分类 2 5模式识别的基本定义与方法 三 计算模式距离的方法 汉明距离设有两个模式向量 欧化距离 矩形距离 2 7线性分类器 设A1 A2两组模式 现需要进行分类 求分类边界ai为输入模式A中的第i个元素wi取向量w的第i个元素n为向量的维数