人工智能期末论文.doc

人工智能期末论文 班级：计算机科学与技术三班 姓名：王珊珊 学号：20131844330 日期：2016.1.4 人工智能期末论文 第一部分：人工智能文献综述 摘要：人工智能是当前科学技发展的一门前沿学科，同时也是一门新思想，新观念，新理 论，新技术不断出现的新兴学科以及正在发展的学科。它是在计算机科学，控制论，信息论，神经心理学，哲学，语言学等多种学科研究的基础发展起来的，因此又可把它看作是一门综合性的边缘学科。它的出现及所取得的成就引起了人们的高度重视,并取得了很高的评价。有的人把它与空间技术，原子能技术一起并誉为20世纪的三大科学技术成就。 归纳逻辑是人工智能的逻辑基础。伴随人工智能研究的逐步深入，科学哲学、人工智能和归纳逻辑研究相互影响，出现了新的研究方向。以归纳逻辑为基础，多学科相互合作，可以建立新的机器学习系统或归纳学习系统。关键词：BP神经网络，函数逼近，自组织神经网络,SOM网络，Hopfield神经网络，TSP。一,BP神经网络的应用BP神经网络在函数逼近中的应用（1）问题的提出 BP网络由很强的映射能力，主要用于模式识别分类、函数逼近、函数压缩等。下面将通过实例来说明BP网络在函数逼近方面的应用。 要求设计一个BP网络，逼近以下函数：g(x)=1+sin(k*pi/4*x)，实现对该非线性函数的逼近。其中，分别令k=1，2，4进行仿真，通过调节参数（如隐藏层节点个数等）得出信号的频率与隐层节点之间，隐层节点与函数逼近能力之间的关系。 （2）基于BP神经网络逼近函数 步骤1：假设频率参数k=1，绘制要逼近的非线性函数的曲线。函数的曲线如图2所示 k=1; p=-1:.05:8; t=1+sin(k*pi/4*p); Plot(p,t,-); title(要逼近的非线性函数); xlabel(时间); ylabel(非线性函数);步骤2：网络的建立 应用newff()函数建立BP网络结构。隐层神经元数目n可以改变，暂设为n=3，输出层有一个神经元。选择隐层和输出层神经元传递函数分别为tansig函数和purelin函数，网络训练的算法采用Levenberg Marquardt算法trainlm。 n=3; net = newff(minmax(p),n,1,tansig purelin,trainlm); 对于初始网络，可以应用sim（）函数观察网络输出。 y1=sim(net,p); figure; plot(p,t,-,p,y1,:) title(未训练网络的输出结果); xlabel(时间); ylabel(仿真输出-原函数-); 同时绘制网络输出曲线，并与原函数相比较，结果如图3所示。因为使用newff( )函数建立函数网络时，权值和阈值的初始化是随机的，所以网络输出结构很差，根本达不到函数逼近的目的，每次运行的结果也有时不同。 步骤3：网络训练 应用train（）函数对网络进行训练之前，需要预先设置网络训练参数。将训练时间设置为50，训练精度设置为0.01，其余参数使用缺省值。训练后得到的误差变化过程如图4所示。net.trainParam.epochs=50; (网络训练时间设置为50) net.trainParam.goal=0.01;(网络训练精度设置为0.01) net=train(net,p,t);（开始训练网络）TRAINLM-calcjx, Epoch 0/50, MSE 9.27774/0.01, Gradient 13.3122/1e-010 TRAINLM-calcjx, Epoch 3/50, MSE 0.00127047/0.01, Gradient 0.0337555/1e-010 TRAINLM, Performance goal met. 从以上结果可以看出，网络训练速度很快，经过一次循环跌送过程就达到了要求的精度0.01。 步骤4： 网络测试 对于训练好的网络进行仿真： y2=sim(net,p); figure; plot(p,t,-,p,y1,:,p,y2, -) title(训练后网络的输出结果); xlabel(时间); ylabel(仿真输出); 绘制网络输出曲线，并与原始非线性函数曲线以及未训练网络的输出结果曲线相比较，比较出来的结果如图5所示。其中 “ ” 代表要逼近的非线性函数曲线； “” 代表未经训练的函数曲线； “” 代表经过训练的函数曲线；从图中可以看出，得到的曲线和原始的非线性函数曲线很接近。这说明经过训练后，BP网络对非线性函数的逼近效果比较好。 （3）不同频率下的逼近效果。改变非线性函数的频率和BP函数隐层神经元的数目，对于函数逼近的效果有一定的影响。网络非线性程度越高，对于BP网络的要求越高，则相同的网络逼近效果要差一些；隐层神经元的数目对于网络逼近效果也有一定影响，一般来说隐层神经元数目越多，则BP网络逼近非线性函数的能力越强。 下面通过改变频率参数和非线性函数的隐层神经元数目来加以比较证明。 1）频率参数设为k=2，当隐层神经元数目分别取n=3、n=6时，得到了训练后的网络输出结果如图6，7所示。其中 “ ” 代表要逼近的非线性函数曲线； “” 代表未2）频率参数设为k=8，当隐层神经元数目分别取n=10、n=15时，得到了训练后的网络输出结果如图10，11所示。经训练的函数曲线； “” 代表经过训练的函数曲线其中 “ ” 代表要逼近的非线性函数曲线； “ ” 代表未经训练的函数曲线； “” 代表经过训练的函数曲线；4）讨论 通过上述仿真结果可知，当 k=1，n=3时；k=2，n=6时； k=4，n=8时；k=8，n=15时，BP神经网络分别对函数取得了较好的逼近效果。由此可见，n取不同的值对函数逼近的效果有很大的影响。改变BP网络隐层神经元的数目，可以改变BP神经网络对于函数的逼近效果。隐层神经元数目越多，则BP网络逼近非线性函数的能力越强。二，自组织神经网络的应用 自组织网结构上属于层次型网络，有多种类型。如：自组织特征映射（Self Organizing Feature Map）网络SOM）； 对偶（向）传播（Counter Propagation Network)网络CPN)； 自适应共振理论（Adaptive Resonance Theory)网络ART等。 其共同特点是都具有竞争层。最简单的网络结构具有一个输入层和一个竞争层。 输入层负责接受外界信息并将输入模式向竞争层传递，起观察作用。 竞争层负责对该模式进行“分析比较”，找出规律以正确分类。 这种功能是通过下面要介绍的竞争机制实现的。自组织特征映射（SOM）神经网络SOM网络的生物学基础生物学研究表明：人的大脑皮层中，存在许多不同功能的神经网络区域，每个功能区域完成各自的特定功能，如视觉、听觉、语言理解和运动控制等等。 当人脑通过感官接受外界的特定时空信息时，将引起大脑皮层的特定区域兴奋。每个区域有若干神经元组成，当该区域兴奋时，总是以某一个神经元（细胞）为兴奋中心，呈现出墨西哥帽（Mexican Hat）式兴奋分布。网络区域中的这种兴奋与抑制规律，将依据外界输入环境的不同，神经元（细胞）要靠竞争机制来决定胜负。大脑的这种区域性结构，虽有遗传因素，但，各区域的功能大部分是后天通过 环境的适应和学习得到的，这就是神经网络的自组织（self organization）特征.1981年芬兰学者kohonen提出一个称为自组织特征映射（Self Organization Feature Map-SOM或SOFM）网络，前面说的大脑神经细胞兴奋规律等，在该网络中都得到了反应。SOM网络的拓扑结构与权值调整域拓扑结构SOM网络共有两层，输入层模拟感知外界输入信息的视网膜。输出层模拟做出响应的大脑皮层。输出层也是竞争层，网络拓扑结构形式常见有一维线阵和二维平面阵。网络实现将任意维输入模式在输出层映射成一维离散图形。网络实现将任意维输入模式在输出层映射成二维离散图形。自组织特征映射（SOM）神经网络SOM网络的运行原理 SOM网络表现为：网络随机输入模式时，对某个特定的输入模式，输出层会有某个节点产生最大响应而获胜。按生物区域神经兴奋机制，获胜神经元对其邻近神经元存在一种侧抑制（竞争）机制。SOM网络的侧抑制方式是：以获胜神经元为中心权值调整量最强，且由近及远地逐渐递减程度不同的调整权向量直到抑制。理论上按墨西哥帽分布调整权值，但其计算上的复杂性影响了网络训练的收敛性。因此在SOM网的应用中常采用与墨西哥帽函数类似的简化函数或其他一些方式（如优胜域）。以获胜神经元为中心设定一个邻域优胜域。优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。优胜邻域开始可定义得较大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。当输入模式的类别改变时，获胜节点也会改变。获胜节点对周围的节点因侧抑制作用也产生较大的响应，于是，获胜节点及其优胜邻域内的所有节点所连接的权向量均向输入向量的方向作程度不同的调整。网络通过自组织方式，用大量训练样本调整网络的权值，最后使输出层各节点成为对特定模式类敏感的神经元，对应的内星权向量成为各输入模式类的中心向量。并且当两个模式类的特征接近时，代表这两类的节点在位置上也接近。从而，在输出层形成能够反映样本模式类分布情况的有序特征图。SOM网络的学习算法SOM网络采用的学习算法称Kohonen算法，是在胜者为王算法基础上加以改进而成。其主要区别在于调整权向量的侧抑制方式不同。胜者为王算法中，获胜神经元对周围神经元的抑制是“封杀”式的（只获胜神经调整权向量，周围其它无权调整） 。Kohonen算法采用优胜域思想，模拟生物区域神经兴奋竞争机制。SOM网络的功能SOM网络的功能特点之一是：保序映射，即能将输入空间的样本模式类有序地映射在输出层上。例 动物属性特征映射1989年Kohonen给出一个SOM网的著名应用实例，即把不同的动物按其属性映射到二维输出平面上，使属性相似的动物在SOM网输出平面上的位置也相近。训练集选了16种动物，每种动物用一个29维向量来表示。前16个分量构成符号向量（不同的动物进行16取1编码），后13个分量构成属性向量，描述动物的13种属性的有或无（用1或0表示）。 16种动物的属性向量（29维向量的后13个分量）属性动物鸽子母鸡鸭鹅猫头鹰隼鹰狐狸狗狼猫虎狮马 斑马牛小1111110000100000中0000001111000000大0000000000011111两只腿1111111000000000四只腿0000000111111111毛0000000111111111蹄0000000000000111鬃毛0000000000000110羽毛1111111000000000猎0000111101111000跑0000000011011110飞1001111000000000泳0011000000000000SOM网输出平面上有1010个神经元，16个动物模式轮番输入训练，最后输出平面呈现16种动物属性特征映射，属性相似的挨在一起，实现了特征的有序分布。1010神经元 X向量（29维）前16个分量 后13个分量（表达动物属性）（16取1，表达动物种类。）虎鸽鸭鹅母鸡马斑马牛隼狼狮猫狗狐猫头鹰鹰 动物属性特征映射 SOM网的功能特点之二是数据压缩。 将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。如上例中输入样本空间为29维，通过SOM网后压缩为二维平面的数据。 SOM网的功能特点之三是特征抽取。（规律的发现） 在高维模式空间，很多模式的分布具有复杂的结构，从数据观察很难发现其内在规律。当通过SOM网映射到低维输出空间后，其规律往往一目了然，实现某种特征抽取的映射。即高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达，因此映射的意义不仅仅是单纯的数据压缩，更是一种规律发现。如上例29维映射到二维后，相近属性的动物实现了聚类分布的特点。 SOM网有许多应用实例：如的听写打字机（声音识别），解决旅行商最优路经问题，皮革外观效果分类等。 三，Hopfield神经网络的应用离散Hopfield神经网络Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。在输入的激励下，会产生不断的状态变化。对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。反馈网络有稳定的，也有不稳定的。对于Hopfield网络来说，如何判别其稳定性也是需要确定的。一个DHNN的网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络，其t时刻的状态为一个n维向量： Y(t)=y1(t),y2(t),yn(t)T 因为yi(t)可以取值为1或0，故n维向量Y(t)有2n种状态，即网络有2n种状态。如果Hopfield网络是一个稳定网络，若在网络的输入端加入一个输入向量，则网络的状态会产生变化，即从超立方体的一个顶点转向另一个顶点，并且最终稳定于一个特定的顶角。连续Hopfield神经网络连续型Hopfield网络（CHNN）是由一些简单的电子线路连接起来实现的。每个神经元均具有连续时间变化的输出值。采用具有饱和非线性的运算放大器来模拟神经元的S型单调输入输出关系，即对于一个N节点的CHNN模型来说，其神经元状态变量的动态变化可用下述非线性微分方程组来描述能量函数定义为CHNN的能量函数不是物理意义上的能量函数，而是在表达形式上与物理意义的能量函数一致，表征网络状态的变化趋势。定理：若作用函数是单调递增且连续的,则能量函数E是单调递减 且有界的。CHNN用非线性微分方程描述，网络的稳定性通过构造其能量函数（又称李雅谱诺夫函数），并用李雅谱诺夫第二稳定性定理进行判断。说明：1）李雅谱诺夫函数并不唯一； 2）若找不到网络的李雅谱诺夫函数，不能证明网络不稳定； 3）目前没有统一的找李雅谱诺夫函数的方法； 4）用能量函数的方法研究网络的稳定性，在数学上欠严谨。如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网络就能够用于解决优化组合问题。应用Hopfield神经网络来解决优化计算问题的一般步骤为： 1）分析问题：网络输出与问题的解相对应； 2）构造网络能量函数：使其最小值对应问题最佳解； 3）设计网络结构：由能量函数和网络稳定条件设计网络参数， 得到 动力学方程； 4）硬件实现或软件模拟。应用举例（TSP：Traveling Salesman Problem）问题描述 它假定有n个城市A，B，C，它们之间的相互距离分别为 。要求寻找一条闭合路径，此路径历经每个城市且经过一次，返回起始城市，要求此路径最短。 不考虑方向性和周期性，在给定n的条件下，可能存在的闭合路径数目为1/2(n-1)!。随着n的增大，计算量急剧增大，会发生所谓的“组合爆炸”问题城市数路径数城市数路径数11111.995810723122.3950108312133.1135109460144.358910105360156.5384101162520161.04611013725160171.778410148181440183.2012101591814400196.08231016置换矩阵 A，B，C，D，E（对应各行）表示城市名称； 1，2，3，4，5（对应各列）表示路径顺序； 矩阵中“1”表示该城市在路径全程中所居顺序，其余元素均为“0”。此处路径顺序为CAEBDC。特点： 1）每行只有一个“1”，其余元素均 为“0”； 2）每列只有一个“1”，其余元素均为“0”； 3）全部元素中“1”的总和为n。12345A01000B00010C10000D00001E00100思路 利用nn个神经元组成Hopfield神经网络，网络达到稳定状态时各个神经元之状态对应置换矩阵的各个元素值，各城市间的距离作为一组约束信息决定神经元之间的连接强度 。期望网络演变的最终结果给出最优解，也即以置换矩阵表明最短距离条件下路径之顺序。能量函数式中，A，B，C，D是权值， 表示城市x到城市y之间的距离。前三项是问题的约束项，最后一项是优化目标项。改进动态方程具体算法步骤 1）置初值和权值，t=0，A=1.5，D=1.0，U0=0.02； 2）读入N个城市之间的距离 ; 3）神经网络输入 的初始化； 其中，U0=0.5U0ln（N-1)，N为城市个数， &xi 为（-1，+1）区间的随机值； 4）利用动态方程计算 ； 5）根据一阶欧拉法计算 ； 6） 采用sigmoid函数计算 ； 7）计算能量函数E； 8）检查路径合法性，判断迭代是否结束，若未结束返回到第4）步； 9）输出迭代次数、最优路径、能量函数、路径长度及能量变化。仿真中所采用的关键命令 1）sumsqr(X)：求矩阵X中各元素的平方值之和； 2）sum(X)或sum(X,1)为矩阵X中各行相加，sum(X,2)为矩阵X中各列相加； 3）repmat：用于矩阵复制； 4）dist(x,y)：计算两点间的距离。仿真结果迭代次数 k =2000最优路径 4652 38174 最优能量函数 Final_E =1.4468初始路程 Initial_Length =4.4919最短路程 Final_Length =2.8937四，总结。 本文首先总结了神经网络的研究目的和意义，介绍了神经网络的研究背景和现状，分析了目前神经网络研究中存在的问题，然后描述了BP神经网络算法的实现以及BP神经网络的工作原理，给出了BP网络的局限性。在以BP神经网络为基础的前提下，分析研究了BP神经网络在函数逼近和样本含量估计两个实例中的应用。以及分析了结论，即信号的频率越高，则隐层节点越多，隐单元个数越多，逼近能力越强。和隐层数目越多，测需要不断学习。近几年的不断发展，神经网络更是取得了非常广泛的应用，和令人瞩 目的发展，在很多方面都发挥了其独特的作用，特别是在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别等众多方面的应用实例，给人们带来了很多应用上到思考，和解决方法的研究。但是神经网络的研究最近几年还没有达到非常热门的阶段，这还需有很多热爱神经网络和研究神经网络人员的不断研究和创新，在科技高度发达的现在，我们有理由期待，也有理由相信。我想在不久的将来神经网络会应用到更多更广的方面，人们的生活会更加便捷。采用有导师学习规则的神经网络是以网络的误差或能量函数作为算法准则。而在很多情况下，人在认知过程中没有预知的正确模式，人获得大量知识常常是靠“无师自通”，即通过对客观事物的反复观察，分析与比较，自行揭示其内在规律，并对具有共同特征的事物进行正确归类。对于人的这种学习方式，基于有导师学习策略的神经网络是无能为力的。 自组织神经网络的无导师学习方式更类似于人类大脑中生物神经网络的学习，其最重要特点是通过自动寻找样本中的内在规律和本质属性，自组织自适应地改变网络参数与结构。这种学习方式大大拓宽神经网络在模式识别与分类方面的应用。第二部分：课程学习体会通过这学期的学习，我对人工智能有一定的感性认识，个人觉得人工智能是一门极富挑战性的科学，从事这项工作的人必须懂得计算机知识，心理学和哲学。人工智能是包括十分广泛的科学，它由不同的领域组成，如机器学习，计算机视觉等等，总的来说，人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的工作。人工智能在很多领域得到了发展，在我们的日常生活和学习中发挥了重要的作用。如：机器编译，机器编译是利用计算机把一种自然语言转变成另一种自然语言的过程，用以完成这一过程的软件系统叫做机器翻译系统。利用这些机器翻译系统我们可以很方便的完成一些语言翻译工作。目前，国内的机器翻译软件有很多，富有代表性意义的是“金山词霸”，它可以迅速的查询英文单词和词组句子翻译，重要的是它可以提供发音功能，为用户提供了极大的方便。 通过这堂课，我明白了人工智能发展的历史和所处的地位，它始终处于计算机发展的最前沿。我相信人工智能在不久的将来将会得到更深一步的实现，会创造出一个全新的人工智能世界。第三部分：参考文献1 LeiLuning;An improved som neural network and its application in water quality evaluation study o