人工神经网络课件1课件

人工神经网络

及其经济管理应用TheApplicationofANNtoEconomics&Management第一章导论什么是人工神经网络（ArtificialNeuralNetwork）人脑结构对ANN的启示ANN的特点人工神经网络的发展历史ANN在经济管理领域的应用什么是ArtificialNeuralNetworkNeuralnetworksarecomposedofsimpleelementsoperatinginparallel.Theseelementsareinspiredbybiologicalnervoussystems.Asinnature,thenetworkfunctionisdeterminedlargelybytheconnectionsbetweenelements.Wecantrainaneuralnetworktoperformaparticularfunctionbyadjustingthevaluesoftheconnections(weights)betweenelements.模拟人脑，人工智能（AI）的基础之一。人脑结构人脑是由大量神经细胞组成的复杂网络。神经细胞与神经传导人脑功能的基础—神经网络对人脑进行模拟的两条道路黑箱方法－功能模拟－电子计算机白箱方法－结构模拟－智能机器（ANN）电子计算机（或称为VonNeumann计算机）以逻辑代数为基本原理，模拟人的逻辑思维。人工神经网络试图模拟人脑的结构从而得到类似于人脑的功能。人脑与电脑共同点：获取、传递、存储、处理、输出信息（知识）。不同点：电脑：程序性、串行工作方式、储用分离、易损（Robust）、精确性。人脑：单元结构简单、整体结构复杂；并行处理；具有自主学习能力（环境可塑性）；联想功能；遗忘功能；复杂决策；高冗余、自我恢复；非线性特征明显。ANN的特点ANN是AI（ArtificialIntelligence）的一个分支。致力于从结构上模仿人脑的功能。分为软件模仿和硬件模仿。1、采用大规模分布式结构，通过学习具有非线性输入输出影射能力。2、通过学习存储知识，具有适应性、容错性及泛化能力（举一反三）。ANN的软件模拟—MatlabToolboxMATLAB®isahigh-performancelanguagefortechnicalcomputing.ThenameMATLABstandsformatrixlaboratory.Typicalusesinclude：MathandcomputationAlgorithmdevelopmentDataacquisitionModeling,simulation,andprototypingDataanalysis,exploration,andvisualizationScientificandengineeringgraphicsApplicationdevelopmentincludinggraphicaluserinterfacebuildingANN的发展历史奠基时期早在十九世纪初就已经有人关注人类神经活动的复制。1943年McCulloch&Pitts发表“神经活动中蕴涵的思想与逻辑活动”成为这一领域的奠基之作，其来源是神经生理学。1946年ENIAC建成，1948年Wiener完成Cybernetics，开创了电子计算机的时代，从不同的方面做出了贡献。1949年，DonaldHebb提出了著名的Hebb学习规则。Hebb学习规则“如果相互连接的两个神经元都兴奋，则二者的联系将加强”——“TheOrganizationofBehavior”Hebb是一个心理学家，他的理论一开始并没有受到工程界的重视。（Why？）但是稍后Rochester等人的研究证明，在引入控制论和信息论（Shannon）的相关约束后，Hebb规则是一贯而通用的，并构成了其他学习规则的基础。沉默期：要命的XOR问题XOR（0，0）＝0XOR（1，1）＝0XOR（0，1）＝1XOR（1，0）＝1(0,0)(0,1)(1,1)(1,0)复兴期：DARPA1980年，Grossberg提出解决竞争学习问题的自适应共振理论。1982年，Hopfield用能量函数构造了一种递归网络计算方法——BP网等常用ANN的直接基础。物质基础：传统计算机计算能力的飞速发展为他的对手ＡＮＮ提供了理想的平台。先进制造工艺使得制造专属于ANN的硬件成为可能。现实世界对复杂信号处理的强烈需求——美国国防部的DARPA——声纳探测系统。当前ANN在经济管理领域的应用复杂函数关系分析与逼近－－隐含数学模型预测决策支持系统（神经专家系统）因素（模式）分类与识别优化问题知识工程总之，我们把ANN当做一种方法。SimpleNeuronAneuronwithasinglescalarinputand（no）bias神经元模型结构AneuronwithasingleR-elementinputvector

表达为有向图的神经元模型规则1：信号仅沿着定义好的箭头方向在连接上流动。规则2：节点信号输出等于进入节点信号的代数和规则3：节点信号沿每个外向连接向外传递并独立于激活函数。输入信号向量连接权重诱导局部域加法器输出一个神经元的状态定义为它的输出信号或诱导局部域。激活函数类型

TransferFunction线性函数lineartransferfunctionpurelin(n)=n激活函数类型

TransferFunction分段线性函数Saturatinglineartransferfunctionsatlin(n)=0,ifn<=0;n,if0<=n<=1;1,if1<=nsatlins(n)=-1,ifn<=-1;n,if-1<=n<=1;1,if1<=n网络模型结构－多层前馈网源节点输入层隐藏神经元层神经元输出层一个完全连接网络。理论上隐层可以有N个。隐层的存在可以使网络具有很强的能力（如泛函逼近能力）隐层神经元的学习算法是一个难点。应用十分广泛。（如BP网）网络模型结构－递归网络无隐层、无自反馈递归网络延迟递归网络也可以是有隐层的。左图为清晰起见没有完全连接，实际上是否完全连接取决于设计者的目的。由于反馈环的存在，这种网络可以实现非线性动态行为。让数据说话

——神经网络的知识表达ANN的知识表达是内嵌的。内嵌的结果是神经元之间的连接发生变化。整体性：单独某个连接的变化也许并无意义。规则1：类似的输入通常产生类似的表示规则2：不同类输入给出差别很大的表示规则3：如果某特征很重要，则表达涉及大量的神经元规则4：先验信息和不变性可事先附加于网络。如何让外部刺激产生知识？神经元之间连接权重的调整是表达知识的最基本方法。如何按照前述四个规则调整权重成为关键问题。学习算法学习算法的种类：误差修正学习基于记忆的学习Hebb学习