人工智能作业

内蒙古科技大学 2013/2014 学年第一学期人工智能大作业课程号：67111317任课教师：陈淋艳班级： 学号：姓名： 计算机科学与技术 11 级 2 班 1167111227 张苗2目录一 应用领域 .41.概述 .42.具体的应用 .4二 M-P 模型及其学习方法 .61.M-P 模型的六点假定 .7(1).假设 1：多输入单输出 .7(2).假设 2：输入类型：兴奋性和抑制性 .8(3).假设 3：空间整合特性和阈值特性 .82.神经元模型示意图 .93.神经元的数学模型 .94.神经元的转移函数 .115.MP 模型的逻辑表示 .126. MP 模型应用 .12三 感知器模型及其学习方法 .131.感知器模型 .132.感知器的功能 .133.感知器的学习算法 .144.感知器学习规则的训练步骤 .145.感知器模型应用领域 .14计算机科学与技术 11 级 2 班 1167111227 张苗3摘要：人工神经网络（ Artificial Neural Networks， 简写为 ANNs）也简称为神经网络（NNs）或称作连接模型（Connectionist Model） ，是对人脑或自然神经网络（Natural Neural Network）若干基本特性的抽象和模拟。人工神经网络以对大脑的生理研究成果为基础的，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。国际著名的神经网络研究专家，第一家神经计算机公司的创立者与领导人 Hecht Nielsen 给人工神经网络下的定义就是：“人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作状态相应而进行信息处理。 ” 这一定义是恰当的。 人工神经网络的研究，可以追溯到 1957 年 Rosenblatt 提出的感知器模型(Perceptron) 。它几乎与人工智能AI（Artificial Intelligence）同时起步，但 30 余年来却并未取得人工智能那样巨大的成功，中间经历了一段长时间的萧条。直到 80 年代，获得了关于人工神经网络切实可行的算法，以及以 Von Neumann 体系为依托的传统算法在知识处理方面日益显露出其力不从心后，人们才重新对人工神经网络发生了兴趣，导致神经网络的复兴。 目前在神经网络研究方法上已形成多个流派，最富有成果的研究工作包括：多层网络 BP 算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。人工神经网络是在现代神经科学的基础上提出来的。它虽然反映了人脑功能的基本特征，但远不是自然神经网络的逼真描写，而只是它的某种简化抽象和模拟。关键字：人工神经网络 应用领域 模型 学习方法计算机科学与技术 11 级 2 班 1167111227 张苗4人工神经网络一 应用领域1.概述神经网络的应用已经涉及到各个领域，且取得了很大的进展。自动控制领域：主要有系统建模和辨识，参数整定，极点配置，内模控制，优化设计，预测控制，最优控制，滤波与预测容错控制等。处理组合优化问题：成功解决了旅行商问题，另外还有最大匹配问题，装箱问题和作业调度问题。模式识别：手写字符，汽车牌照，指纹和声音识别，还可用于目标的自动识别，目标跟踪，机器人传感器图像识别及地震信号的鉴别。图像处理：对图像进行边缘监测，图像分割，图像压缩和图像恢复。机器人控制：对机器人轨道控制，操作机器人眼手系统，用于机械手的故障诊断及排除，智能自适应移动机器人的导航，视觉系统。医疗：在乳房癌细胞分析，移植次数优化，医院费用节流，医院质量改进等方面均有应用。2.具体的应用神经网络常用于两类问题：分类和回归。在结构上，可以把一个神经网络划分为输入层、输出层和隐含层（见图 1-1） 。输入层的每个节点对应一个个的预测变量。输出层的节点对应目标变量，可有多个。在输入层和输出层之间是隐含层（对神经网络使用者来说不可见） ，隐含层的层数和每层节点的个数决定了神经网络的复杂度。图 1-1 一个神经元网络除了输入层的节点，神经网络的每个节点都与很多它前面的节点（称为此节点的输入节点）连接在一起，每个连接对应一个权重 Wxy，此节点的值就是通过它所有输入节点的值与对应连接权重乘积的和作为一个函数的输入而得到，计算机科学与技术 11 级 2 班 1167111227 张苗5我们把这个函数称为活动函数或挤压函数。如图 1-2 中节点 4 输出到节点 6 的值可通过如下计算得到：W14*节点 1 的值+W24*节点 2 的值神经网络的每个节点都可表示成预测变量（节点 1，2）的值或值的组合（节点 3-6） 。注意节点 6 的值已经不再是节点 1、 2 的线性组合，因为数据在隐含层中传递时使用了活动函数。实际上如果没有活动函数的话，神经元网络就等价于一个线性回归函数，如果此活动函数是某种特定的非线性函数，那神经网络又等价于逻辑回归。调整节点间连接的权重就是在建立（也称训练）神经网络时要做的工作。最早的也是最基本的权重调整方法是错误回馈法，现在较新的有变化坡度法、类牛顿法、Levenberg-Marquardt 法、和遗传算法等。无论采用那种训练方法，都需要有一些参数来控制训练的过程，如防止训练过度和控制训练的速度。图 1-2 带权重 Wxy 的神经元网络决定神经网络拓扑结构（或体系结构）的是隐含层及其所含节点的个数，以及节点之间的连接方式。要从头开始设计一个神经网络，必须要决定隐含层和节点的数目，活动函数的形式，以及对权重做那些限制等，当然如果采用成熟软件工具的话，他会帮你决定这些事情。在诸多类型的神经网络中，最常用的是前向传播式神经网络，也就是我们前面图示中所描绘的那种。人们下面详细讨论一下，为讨论方便假定只含有一层隐含节点。可以认为错误回馈式训练法是变化坡度法的简化，其过程如下：前向传播：数据从输入到输出的过程是一个从前向后的传播过程，后一节点的值通过它前面相连的节点传过来，然后把值按照各个连接权重的大小加权输入活动函数再得到新的值，进一步传播到下一个节点。回馈：当节点的输出值与我们预期的值不同，也就是发生错误时，神经网络就要“学习” （从错误中学习） 。我们可以把节点间连接的权重看成后一节点对前一节点的“信任”程度（他自己向下一节点的输出更容易受他前面哪个节点输入的影响） 。学习的方法是采用惩罚的方法，过程如下：如果一节点输出发生错误，那么他看他的错误是受哪个（些）输入节点的影响而造成的，是不是他最信任的节点（权重最高的节点）陷害了他（使他出错） ，如果是则要降低对他的信任值（降低权重） ，惩罚他们，同时升高那些做出正确建议节点的信任值。对那些收到惩罚的节点来说，他也需要用同样的方法来进一步惩罚它前面的节点。就这样把惩罚一步步向前传播直到输入节点为止。对训练集中的每一条记录都要重复这个步骤，用前向传播得到输出值，如果发生错误，则用回馈法进行学习。当把训练集中的每一条记录都运行过一遍之后，人们称完成一个训练周期。要完成神经网络的训练可能需要很多个训练计算机科学与技术 11 级 2 班 1167111227 张苗6周期，经常是几百个。训练完成之后得到的神经网络就是在通过训练集发现的模型，描述了训练集中响应变量受预测变量影响的变化规律。由于神经网络隐含层中的可变参数太多，如果训练时间足够长的话，神经网络很可能把训练集的所有细节信息都“记”下来，而不是建立一个忽略细节只具有规律性的模型，我们称这种情况为训练过度。显然这种“模型”对训练集会有很高的准确率，而一旦离开训练集应用到其他数据，很可能准确度急剧下降。为了防止这种训练过度的情况，人们必须知道在什么时候要停止训练。在有些软件实现中会在训练的同时用一个测试集来计算神经网络在此测试集上的正确率，一旦这个正确率不再升高甚至开始下降时，那么就认为现在神经网络已经达到做好的状态了可以停止训练。图 1-3 中的曲线可以帮人们理解为什么利用测试集能防止训练过度的出现。在图中可以看到训练集和测试集的错误率在一开始都随着训练周期的增加不断降低，而测试集的错误率在达到一个谷底后反而开始上升，人们认为这个开始上升的时刻就是应该停止训练的时刻。图 1-3 人工神经网络神经网络在训练周期增加时准确度的变化情况神经元网络和统计方法在本质上有很多差别。神经网络的参数可以比统计方法多很多。由于参数如此之多，参数通过各种各样的组合方式来影响输出结果，以至于很难对一个神经网络表示的模型做出直观的解释。实际上神经网络也正是当作“黑盒”来用的，不用去管“盒子”里面是什么，只管用就行了。在大部分情况下，这种限制条件是可以接受的。比如银行可能需要一个笔迹识别软件，但他没必要知道为什么这些线条组合在一起就是一个人的签名，而另外一个相似的则不是。在很多复杂度很高的问题如化学试验、机器人、金融市场的模拟、和语言图像的识别，等领域神经网络都取得了很好的效果。神经网络的另一个优点是很容易在并行计算机上实现，可以把他的节点分配到不同的 CPU 上并行计算 二 M-P 模型及其学习方法通常来说，一个人工神经元网络是由一个多层神经元结构组成，每一层神经元拥有输入（它的输入是前一层神经元的输出）和输出，每一层（我们用符计算机科学与技术 11 级 2 班 1167111227 张苗7号记做）Layer(i)是由 Ni(Ni 代表在第 i 层上的 N)个网络神经元组成，每个 Ni 上的网络神经元把对应在 Ni-1 上的神经元输出做为它的输入，我们把神经元和与之对应的神经元之间的连线用生物学的名称，叫做突触（英语：Synapse） ，在数学模型中每个突触有一个加权数值，我们称做权重，那么要计算第 i 层上的某个神经元所得到的势能等于每一个权重乘以第 i-1 层上对应的神经元的输出，然后全体求和得到了第 i 层上的某个神经元所得到的势能，然后势能数值通过该神经元上的激励函数（activation function，常是 en:Sigmoid function 以控制输出大小，因为其可微分且连续，方便 en:Delta rule 处理。 ）求出该神经元的输出，注意的是该输出是一个非线性的数值，也就是说通过激励函数求的数值根据极限值来判断是否要激活该神经元，换句话说我们对一个神经元网络的输出是否线性不感兴趣。目前人们提出的神经元模型有很多，其中最早提出且影响最大的，是 1943 年心理学家 McCulloch 和数学家 W.Pitts 在分析总结神经元基本特性的基础上首先提出的 M-P 模型。指出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1.M-P 模型的六点假定关于神经元的信息处理机制，该模型在简化的基础上提出了以下六点假定进行描述：每个神经元都是一个多输入单输出的信息处理单元神经元输入分兴奋性输入和一致性输入两种类型神经元具有空间整合特性和阈值特性神经元输入与输出间有固定的时滞，主要取决于突触延搁忽略时间整合作用和不应期神经元本身是非事变的，即其突触时延和突触强度均为常数(1).假设 1：多输入单输出如图 2-1:图 2-1 多输入单输出计算机科学与技术 11 级 2 班 1167111227 张苗8图 2-1 表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许多的输入信号，图中每个输入的大小用确定数值 xi 表示，它们同时输入神经元j，神经元的单输出用 oj 表示。(2).假设 2：输入类型：兴奋性和抑制性如图 2-2:图 2-2 输入类型：兴奋性和抑制性生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数 wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度.(3).假设 3：空间整合特性和阈值特性如图 2-3:图 2-3 空间整合特性和阈值特性计算机科学与技术 11 级 2 班 1167111227 张苗9作为 ANN 的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图 2-3 表示组合输人信号的“总和值” ，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时, 神经元才被激活而发放脉冲, 否则神经元不会产生输出信号。2.神经元模型示意图如图 2-