人工神经网络

人工神经网络,中国科学院自动化研究所吴高巍gaowei.wu2016-11-29,联结主义学派,又称仿生学派或生理学派认为人的思维基元是神经元，而不是符号处理过程认为人脑不同于电脑核心：智能的本质是联接机制。原理：神经网络及神经网络间的连接机制和学习算法,麦卡洛可（McCulloch）,皮茨（Pitts),什么是神经网络,所谓的人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统（计算机）。个体单元相互连接形成多种类型结构的图循环、非循环有向、无向自底向上（Bottom-Up）AI起源于生物神经系统从结构模拟到功能模拟,仿生,人工神经网络,内容,生物学启示多层神经网络Hopfield网络自组织网络,生物学启示,神经元组成：细胞体，轴突，树突，突触神经元之间通过突触两两相连。信息的传递发生在突触。突触记录了神经元间联系的强弱。只有达到一定的兴奋程度，神经元才向外界传输信息。,生物神经元,神经元,神经元特性信息以预知的确定方向传递一个神经元的树突细胞体轴突突触另一个神经元树突时空整合性对不同时间通过同一突触传入的信息具有时间整合功能对同一时间通过不同突触传入的信息具有空间整合功能,神经元,工作状态兴奋状态，对输入信息整合后使细胞膜电位升高，当高于动作电位的阈值时，产生神经冲动，并由轴突输出。抑制状态，对输入信息整合后使细胞膜电位降低，当低于动作电位的阈值时，无神经冲动产生。结构的可塑性神经元之间的柔性连接：突触的信息传递特性是可变的学习记忆的基础,神经元模型,从生物学结构到数学模型,人工神经元,M-P模型,McCllochandPitts,Alogicalcalculusoftheideasimmanentinnervousactivity,1943,f:激活函数(ActivationFunction)g:组合函数(CombinationFunction),WeightedSumRadialDistance,组合函数,(e)(f),Threshold,Linear,SaturatingLinear,LogisticSigmoid,HyperbolictangentSigmoid,Gaussian,激活函数,人工神经网络,多个人工神经元按照特定的网络结构联接在一起，就构成了一个人工神经网络。神经网络的目标就是将输入转换成有意义的输出。,生物系统中的学习,自适应学习适应的目标是基于对环境信息的响应获得更好的状态在神经层面上，通过突触强度的改变实现学习消除某些突触，建立一些新的突触,生物系统中的学习,Hebb学习律神经元同时激活，突触强度增加异步激活，突触强度减弱学习律符合能量最小原则保持突触强度需要能量，所以在需要的地方保持，在不需要的地方不保持。,ANN的学习规则,能量最小ENERGYMINIMIZATION对人工神经网络，需要确定合适的能量定义；可以使用数学上的优化技术来发现如何改变神经元间的联接权重。,ENERGY=measureoftaskperformanceerror,两个主要问题结构Howtointerconnectindividualunits?学习方法HowtoautomaticallydeterminetheconnectionweightsorevenstructureofANN?,SolutionstothesetwoproblemsleadstoaconcreteANN!,人工神经网络,前馈结构(FeedforwardArchitecture)-withoutloops-static反馈/循环结构(Feedback/RecurrentArchitecture)-withloops-dynamic(non-lineardynamicalsystems),ANN结构,Generalstructuresoffeedforwardnetworks,Generalstructuresoffeedbacknetworks,通过神经网络所在环境的模拟过程，调整网络中的自由参数Learningbydata学习模型Incrementalvs.Batch两种类型Supervisedvs.Unsupervised,ANN的学习方法,若两端的神经元同时激活，增强联接权重UnsupervisedLearning,学习策略:HebbrianLearning,最小化实际输出与期望输出之间的误差(Supervised)-DeltaRule(LMSRule,Widrow-Hoff)-B-PLearning,Objective:,Solution:,学习策略:ErrorCorrection,采用随机模式，跳出局部极小-如果网络性能提高，新参数被接受.-否则，新参数依概率接受,学习策略:StochasticLearning,“胜者为王”(Winner-take-all)UnsupervisedHowtocompete?-HardcompetitionOnlyoneneuronisactivated-SoftcompetitionNeuronsneighboringthetruewinnerareactivated.,学习策略:CompetitiveLearning,重要的人工神经网络模型,多层神经网络径向基网络Hopfield网络Boltzmann机自组织网络,多层感知机(MLP),感知机实质上是一种神经元模型阈值激活函数,Rosenblatt,1957,感知机,判别规则,输入空间中样本是空间中的一个点权向量是一个超平面超平面一边对应Y=1另一边对应Y=-1,单层感知机学习,调整权值，减少训练集上的误差简单的权值更新规则:初始化对每一个训练样本:ClassifywithcurrentweightsIfcorrect,nochange!Ifwrong:adjusttheweightvector,30,学习:BinaryPerceptron,初始化对每一个训练样本:ClassifywithcurrentweightsIfcorrect(i.e.,y=y*),nochange!Ifwrong:adjusttheweightvectorbyaddingorsubtractingthefeaturevector.Subtractify*is-1.,多类判别情况,Ifwehavemultipleclasses:Aweightvectorforeachclass:Score(activation)ofaclassy:Predictionhighestscorewins,学习:MulticlassPerceptron,初始化依次处理每个样本PredictwithcurrentweightsIfcorrect,nochange!Ifwrong:lowerscoreofwronganswer,raisescoreofrightanswer,感知机特性,可分性:trueifsomeparametersgetthetrainingsetperfectlycorrectCanrepresentAND,OR,NOT,etc.,butnotXOR收敛性:ifthetrainingisseparable,perceptronwilleventuallyconverge(binarycase),Separable,Non-Separable,感知机存在的问题,噪声（不可分情况）:ifthedataisntseparable,weightsmightthrash泛化性:findsa“barely”separatingsolution,改进感知机,线性可分情况,Whichoftheselinearseparatorsisoptimal?,SupportVectorMachines,Maximizingthemargin:goodaccordingtointuition,theory,practiceOnlysupportvectorsmatter;othertrainingexamplesareignorableSupportvectormachines(SVMs)findtheseparatorwithmaxmargin,SVM,优化学习,问题描述训练数据目标：发现最好的权值，使得对每一个样本x的输出都符合类别标签样本xi的标签可等价于标签向量采用不同的激活函数平方损失：,单层感知机,单层感知机,单层感知机,单层感知机,采用线性激活函数，权值向量具有解析解批处理模式一次性更新权重缺点：收敛慢增量模式逐样本更新权值随机近似，但速度快并能保证收敛,多层感知机(MLP),层间神经元全连接,MLPs表达能力,3layers:Allcontinuousfunctions4layers:allfunctions,Howtolearntheweights?,waitingB-Palgorithmuntil1986,B-PNetwork,结构Akindofmulti-layerperceptron,inwhichtheSigmoidactivationfunctionisused.,B-P算法,学习方法-Inputdatawasputforwardfrominputlayertohiddenlayer,thentooutlayer-Errorinformationwaspropagatedbackwardfromoutlayertohidderlayer,thentoinputlayer,Rumelhart&Meclelland,Nature,1986,B-P算法,GlobalErrorMeasure,desiredoutput,generatedoutput,squarederror,Theobjectiveistominimizethesquarederror,i.e.reachtheMinimumSquaredError(MSE),B-P算法,Step1.Selectapatternfromthetrainingsetandpresentittothenetwork.Step2.Computeactivationofinput,hiddenandoutputneuronsinthatsequence.Step3.Computetheerrorovertheoutputneuronsbycomparingthegeneratedoutputswiththedesiredoutputs.Step4.Usethecalculatederrortoupdateallweightsinthenetwork,suchthataglobalerrormeasuregetsreduced.Step5.RepeatStep1throughStep4untiltheglobalerrorfallsbelowapredefinedthreshold.,梯度下降方法,OptimizationmethodforfindingouttheweightvectorleadingtotheMSE,learningrate,gradient,vectorform:,elementform:,权值更新规则,Foroutputlayer:,权值更新规则,Foroutputlayer:,权值更新规则,Forhiddenlayer,权值更新规则,Forhiddenlayer,应用:Handwrittendigitrecognition,3-nearest-neighbor=2.4%error40030010unitMLP=1.6%errorLeNet:7681923010unitMLP=0.9%errorCurrentbest(SVMs)0.4%error,MLPs：讨论,实际应用中PreprocessingisimportantNormalizeeachdimensionofdatato-1,1Adaptingthelearningratet=1/t,MLPs：讨论,优点：很强的表达能力容易执行缺点：收敛速度慢过拟合（Over-fitting）局部极小,采用Newton法,加正则化项，约束权值的平滑性采用更少（但足够数量）的隐层神经元,尝试不同的初始化增加扰动,Hopfield网络,反馈结构可用加权无向图表示DynamicSystem两种类型Discrete(1982)andContinuous(science,1984),byHopfield,Hopfield网络,Combinationfunction：WeightedSumActivationfunction：Threshold,吸引子与稳定性,Howdowe“program”thesolutionsoftheproblemintostablestates(attractors)ofthenetwork?Howdoweensurethatthefeedbacksystemdesignedisstable?Lyapunovsmodernstabilitytheoryallowsustoinvestigatethestabilityproblembymakinguseofacontinuousscalarfunctionofthestatevector,calledaLyapunov(Energy)Function.,Hopfield网络的能量函数,WithinputWithoutinput,Hopfield模型,Hopfield证明了异步Hopfield网络是稳定的，其中权值定义为Whateverbetheinitialstateofthenetwork,theenergydecreasescontinuouslywithtimeuntilthesystemsettlesdownintoanylocalminimumoftheenergysurface.,Hopfield网络:联想记忆,Hopfield网络的一个主要应用基于与数据部分相似的输入，可以回想起数据本身（attractorstate）也称作内容寻址记忆(content-addressablememory).,StoredPattern,MemoryAssociation,虞台文,FeedbackNetworksandAssociativeMemories,Hopfield网络:AssociativeMemories,StoredPattern,MemoryAssociation,虞台文,FeedbackNetworksandAssociativeMemories,Hopfield网络的一个主要应用基于与数据部分相似的输入，可以回想起数据本身（attractorstate）也称作内容寻址记忆(content-addressablememory).,Howtostorepatterns?,=?,Howtostorepatterns?,=?,:Dimensionofthestoredpattern,权值确定:外积(OuterProduct),Vectorform:Elementform:Why?SatisfytheHopfieldmodel,AnexampleofHopfieldmemory,虞台文,FeedbackNetworksandAssociativeMemories,Stable,E=4,E=0,E=4,Recallthefirstpattern(x1),Stable,E=4,E=0,E=4,Recallthesecondpattern(x2),Hopfield网络:组合优化(CombinatorialOptimization),Hopfield网络的另一个主要应用将优化目标函数转换成能量函数(energyfunction)网络的稳定状态是优化问题的解,例:SolveTravelingSalesmanProblem(TSP),Givenncitieswithdistancesdij,whatistheshortesttour?,IllustrationofTSPGraph,1,2,3,4,5,6,7,8,9,10,11,HopfieldNetworkforTSP,=?,HopfieldNetworkforTSP,=,Citymatrix,Constraint1.Eachrowcanhaveonlyoneneuron“on”.2.Eachcolumncanhaveonlyoneneuron“on”.3.Foran-cityproblem,nneuronswillbeon.,HopfieldNetworkforTSP,1,2,4,3,5,Time,City,Thesalesmanreachescity5attime3.,WeightdeterminationforTSP:DesignEnergyFunction,Constraint-1,Constraint-2,Constraint-3,能量函数转换为2DHopfield网络形式,Networkisbuilt!,Hopfield网络迭代（TSP）,Theinitialstategeneratedrandomlygoestothestablestate(solution)withminimumenergy,A4-cityexample阮晓刚，神经计算科学，2006,自组织特征映射(SOFM),WhatisSOFM?,NeuralNetworkwithUnsupervisedLearningDimensionalityreductionconcomitantwithpreservationoftopologicalinformation.Threeprincipals-Self-reinforcing-Competition-Cooperation,StructureofSOFM,竞争(Competition),Findingthebestmatchingweightvectorforthepresentinput.Criterionfordeterminingthewinningneuron:MaximumInnerProductMinimumEuclidea