《人工神经网络》课件

《人工神经网络》PPT课件本课件仅供大家学习学习学习完毕请自觉删除谢谢本课件仅供大家学习学习学习完毕请自觉删除谢谢1《人工神经网络》课件5/9/2024

联结主义学派

又称仿生学派或生理学派认为人的思维基元是神经元，而不是符号处理过程认为人脑不同于电脑核心：智能的本质是联接机制。原理：神经网络及神经网络间的连接机制和学习算法麦卡洛可（McCulloch）皮茨（Pitts)2《人工神经网络》课件5/9/2024什么是神经网络所谓的人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统（计算机）。个体单元相互连接形成多种类型结构的图循环、非循环有向、无向自底向上（Bottom-Up）AI起源于生物神经系统从结构模拟到功能模拟仿生人工神经网络3《人工神经网络》课件5/9/2024内容生物学启示多层神经网络Hopfield网络自组织网络4《人工神经网络》课件5/9/2024生物学启示5《人工神经网络》课件5/9/2024

神经元组成：细胞体，轴突，树突，突触神经元之间通过突触两两相连。信息的传递发生在突触。突触记录了神经元间联系的强弱。

只有达到一定的兴奋程度，神经元才向外界传输信息。

生物神经元6《人工神经网络》课件5/9/2024神经元神经元特性信息以预知的确定方向传递一个神经元的树突－细胞体－轴突－突触－另一个神经元树突时空整合性对不同时间通过同一突触传入的信息具有时间整合功能对同一时间通过不同突触传入的信息具有空间整合功能7《人工神经网络》课件5/9/2024神经元工作状态兴奋状态，对输入信息整合后使细胞膜电位升高，当高于动作电位的阈值时，产生神经冲动，并由轴突输出。抑制状态，对输入信息整合后使细胞膜电位降低，当低于动作电位的阈值时，无神经冲动产生。结构的可塑性神经元之间的柔性连接：突触的信息传递特性是可变的 ——学习记忆的基础8《人工神经网络》课件5/9/2024神经元模型从生物学结构到数学模型9《人工神经网络》课件5/9/2024人工神经元M-P模型θx1x2xnyω1ω2ωnInputOutputThresholdMcCllochandPitts,Alogicalcalculusoftheideasimmanentinnervousactivity,1943f:激活函数(ActivationFunction)g:组合函数(CombinationFunction)10《人工神经网络》课件5/9/2024WeightedSum

RadialDistance组合函数11《人工神经网络》课件5/9/2024

(e)(f)ThresholdLinearSaturatingLinearLogisticSigmoidHyperbolictangentSigmoidGaussian激活函数12《人工神经网络》课件5/9/2024人工神经网络多个人工神经元按照特定的网络结构联接在一起，就构成了一个人工神经网络。神经网络的目标就是将输入转换成有意义的输出。13《人工神经网络》课件5/9/2024生物系统中的学习自适应学习适应的目标是基于对环境信息的响应获得更好的状态在神经层面上，通过突触强度的改变实现学习消除某些突触，建立一些新的突触14《人工神经网络》课件5/9/2024生物系统中的学习Hebb学习律神经元同时激活，突触强度增加异步激活，突触强度减弱学习律符合能量最小原则保持突触强度需要能量，所以在需要的地方保持，在不需要的地方不保持。15《人工神经网络》课件5/9/2024ANN的学习规则能量最小ENERGYMINIMIZATION对人工神经网络，需要确定合适的能量定义；可以使用数学上的优化技术来发现如何改变神经元间的联接权重。ENERGY=measureoftaskperformanceerror16《人工神经网络》课件5/9/2024两个主要问题结构

Howtointerconnectindividualunits?学习方法

HowtoautomaticallydeterminetheconnectionweightsorevenstructureofANN?SolutionstothesetwoproblemsleadstoaconcreteANN!人工神经网络17《人工神经网络》课件5/9/2024前馈结构(FeedforwardArchitecture)-withoutloops-static

反馈/循环结构(Feedback/RecurrentArchitecture)-withloops-dynamic(non-lineardynamicalsystems)ANN结构18《人工神经网络》课件5/9/2024GeneralstructuresoffeedforwardnetworksGeneralstructuresoffeedbacknetworks19《人工神经网络》课件5/9/2024通过神经网络所在环境的模拟过程，调整网络中的自由参数 Learningbydata学习模型Incrementalvs.Batch两种类型

Supervisedvs.UnsupervisedANN的学习方法20《人工神经网络》课件5/9/2024若两端的神经元同时激活，增强联接权重UnsupervisedLearning学习策略:HebbrianLearning21《人工神经网络》课件5/9/2024

最小化实际输出与期望输出之间的误差(Supervised)

-

DeltaRule(LMSRule,Widrow-Hoff)-B-PLearningObjective:Solution:学习策略:ErrorCorrection22《人工神经网络》课件5/9/2024采用随机模式，跳出局部极小-如果网络性能提高，新参数被接受.-否则，新参数依概率接受LocalMinimumGlobalMinimum学习策略:StochasticLearning23《人工神经网络》课件5/9/2024“胜者为王”(Winner-take-all)UnsupervisedHowtocompete?-HardcompetitionOnlyoneneuronisactivated-SoftcompetitionNeuronsneighboringthetruewinnerareactivated.

学习策略:CompetitiveLearning24《人工神经网络》课件5/9/2024重要的人工神经网络模型多层神经网络径向基网络Hopfield网络Boltzmann机自组织网络……25《人工神经网络》课件5/9/2024多层感知机(MLP)26《人工神经网络》课件5/9/2024感知机实质上是一种神经元模型阈值激活函数Rosenblatt,1957感知机27《人工神经网络》课件5/9/2024判别规则输入空间中样本是空间中的一个点权向量是一个超平面超平面一边对应Y=1另一边对应Y=-128《人工神经网络》课件5/9/2024单层感知机学习调整权值，减少训练集上的误差简单的权值更新规则: 初始化 对每一个训练样本:ClassifywithcurrentweightsIfcorrect,nochange!Ifwrong:adjusttheweightvector29《人工神经网络》课件5/9/202430学习:BinaryPerceptron初始化对每一个训练样本:ClassifywithcurrentweightsIfcorrect(i.e.,y=y*),nochange!Ifwrong:adjusttheweightvectorbyaddingorsubtractingthefeaturevector.Subtractify*is-1.30《人工神经网络》课件5/9/2024多类判别情况Ifwehavemultipleclasses:Aweightvectorforeachclass:Score(activation)ofaclassy:Predictionhighestscorewins31《人工神经网络》课件5/9/2024学习:MulticlassPerceptron初始化依次处理每个样本PredictwithcurrentweightsIfcorrect,nochange!Ifwrong:lowerscoreofwronganswer,raisescoreofrightanswer32《人工神经网络》课件5/9/2024感知机特性可分性: trueifsomeparametersgetthetrainingsetperfectlycorrect

CanrepresentAND,OR,NOT,etc.,butnotXOR收敛性:ifthetrainingisseparable,perceptronwilleventuallyconverge(binarycase)SeparableNon-Separable33《人工神经网络》课件5/9/2024感知机存在的问题噪声（不可分情况）:ifthedataisn'tseparable,weightsmightthrash泛化性: findsa“barely”separatingsolution34《人工神经网络》课件5/9/2024改进感知机35《人工神经网络》课件5/9/2024线性可分情况Whichoftheselinearseparatorsisoptimal?36《人工神经网络》课件5/9/2024SupportVectorMachinesMaximizingthemargin:goodaccordingtointuition,theory,practiceOnlysupportvectorsmatter;othertrainingexamplesareignorableSupportvectormachines(SVMs)findtheseparatorwithmaxmarginSVM37《人工神经网络》课件5/9/2024优化学习问题描述训练数据目标：发现最好的权值，使得对每一个样本x的输出都符合类别标签样本xi的标签可等价于标签向量采用不同的激活函数平方损失：38《人工神经网络》课件5/9/2024单层感知机39《人工神经网络》课件5/9/2024单层感知机40《人工神经网络》课件5/9/2024单层感知机41《人工神经网络》课件5/9/2024单层感知机采用线性激活函数，权值向量具有解析解批处理模式一次性更新权重缺点：收敛慢增量模式逐样本更新权值随机近似，但速度快并能保证收敛42《人工神经网络》课件5/9/2024多层感知机(MLP)层间神经元全连接43《人工神经网络》课件5/9/2024MLPs表达能力3layers:Allcontinuousfunctions4layers:allfunctionsHowtolearntheweights???waitingB-Palgorithmuntil198644《人工神经网络》课件5/9/2024B-PNetwork结构

Akindofmulti-layerperceptron,inwhichtheSigmoidactivationfunctionisused.45《人工神经网络》课件5/9/2024B-P算法学习方法

-Inputdatawasputforwardfrominputlayertohiddenlayer,thentooutlayer

-Errorinformationwaspropagatedbackwardfromoutlayertohidderlayer,thentoinputlayerRumelhart&Meclelland,Nature,198646《人工神经网络》课件5/9/2024B-P算法GlobalErrorMeasuredesiredoutputgeneratedoutputsquarederrorTheobjectiveistominimizethesquarederror,i.e.reachtheMinimumSquaredError(MSE)47《人工神经网络》课件5/9/2024B-P算法Step1.Selectapatternfromthetrainingsetandpresentittothenetwork.Step2.Computeactivationofinput,hiddenandoutputneuronsinthatsequence.Step3.Computetheerrorovertheoutputneuronsbycomparingthegeneratedoutputswiththedesiredoutputs.Step4.Usethecalculatederrortoupdateallweightsinthenetwork,suchthataglobalerrormeasuregetsreduced.Step5.RepeatStep1throughStep4untiltheglobalerrorfallsbelowapredefinedthreshold.48《人工神经网络》课件5/9/2024梯度下降方法OptimizationmethodforfindingouttheweightvectorleadingtotheMSE

learningrategradientvectorform:element

form:49《人工神经网络》课件5/9/2024权值更新规则Foroutputlayer:50《人工神经网络》课件5/9/2024权值更新规则Foroutputlayer:51《人工神经网络》课件5/9/2024权值更新规则Forhiddenlayer52《人工神经网络》课件5/9/2024权值更新规则Forhiddenlayer53《人工神经网络》课件5/9/2024应用:Handwrittendigitrecognition3-nearest-neighbor=2.4%error400

30010unitMLP=1.6%errorLeNet:768

192

30

10unitMLP=0.9%errorCurrentbest(SVMs)≈0.4%error54《人工神经网络》课件5/9/2024MLPs：讨论实际应用中Preprocessingisimportant Normalizeeachdimensionofdatato[-1,1]

Adaptingthelearningrate ηt=1/t55《人工神经网络》课件5/9/2024MLPs：讨论优点：很强的表达能力容易执行缺点：收敛速度慢过拟合（Over-fitting）局部极小采用Newton法加正则化项，约束权值的平滑性采用更少（但足够数量）的隐层神经元尝试不同的初始化增加扰动56《人工神经网络》课件5/9/2024

Hopfield网络57《人工神经网络》课件5/9/2024反馈

结构可用加权无向图表示DynamicSystem两种类型

Discrete(1982)andContinuous(science,1984),byHopfieldHopfield网络Combinationfunction：WeightedSumActivationfunction：Threshold58《人工神经网络》课件5/9/2024吸引子与稳定性Howdowe“program”thesolutionsoftheproblemintostablestates(attractors)ofthenetwork?Howdoweensurethatthefeedbacksystemdesignedisstable?

Lyapunov’smodernstabilitytheoryallowsustoinvestigatethestabilityproblembymakinguseofacontinuousscalarfunctionofthestatevector,calledaLyapunov(Energy)Function.59《人工神经网络》课件5/9/2024Hopfield网络的能量函数WithinputWithoutinput60《人工神经网络》课件5/9/2024Hopfield模型Hopfield证明了异步Hopfield网络是稳定的，其中权值定义为

Whateverbetheinitialstateofthenetwork,theenergydecreasescontinuouslywithtimeuntilthesystemsettlesdownintoanylocalminimumoftheenergysurface.61《人工神经网络》课件5/9/2024Hopfield网络:联想记忆Hopfield网络的一个主要应用基于与数据部分相似的输入，可以回想起数据本身（attractorstate）也称作内容寻址记忆(content-addressablememory).StoredPatternMemoryAssociation虞台文,FeedbackNetworks

andAssociativeMemories62《人工神经网络》课件5/9/2024Hopfield网络:AssociativeMemoriesStoredPatternMemoryAssociation虞台文,FeedbackNetworks

andAssociativeMemoriesHopfield网络的一个主要应用基于与数据部分相似的输入，可以回想起数据本身（attractorstate）也称作内容寻址记忆(content-addressablememory).63《人工神经网络》课件5/9/2024Howtostorepatterns?=?64《人工神经网络》课件5/9/2024Howtostorepatterns?=?:Dimensionofthestoredpattern65《人工神经网络》课件5/9/2024权值确定:外积(OuterProduct)Vectorform:

Elementform:Why?

SatisfytheHopfieldmodel66《人工神经网络》课件5/9/2024AnexampleofHopfieldmemory虞台文,FeedbackNetworks

andAssociativeMemories67《人工神经网络》课件5/9/20241234

2

268《人工神经网络》课件5/9/20241234

2

211

1

11

1

1

11

1

11StableE=4E=0E=

4Recallthefirstpattern(x1)69《人工神经网络》课件5/9/20241234

2

211

1

11

1

1

11

1

11StableE=4E=0E=

4Recallthesecondpattern(x2)70《人工神经网络》课件5/9/2024Hopfield网络:组合优化(CombinatorialOptimization)Hopfield网络的另一个主要应用将优化目标函数转换成能量函数(energyfunction) 网络的稳定状态是优化问题的解71《人工神经网络》课件5/9/2024例:SolveTravelingSalesmanProblem(TSP)Givenncitieswithdistancesdij,whatistheshortesttour?72《人工神经网络》课件5/9/2024IllustrationofTSPGraph123456789101173《人工神经网络》课件5/9/2024HopfieldNetworkforTSP=?74《人工神经网络》课件5/9/2024HopfieldNetworkforTSP=CitymatrixConstraint1.Eachrowcanhaveonlyoneneuron“on”.2.Eachcolumncanhaveonlyoneneuron“on”.3.Foran-cityproblem,nneuronswillbeon.75《人工神经网络》课件5/9/2024HopfieldNetworkforTSP124351234512345TimeCityThesalesmanreachescity5attime3.76《人工神经网络》课件5/9/2024WeightdeterminationforTSP:DesignEnergyFunctionConstraint-1Constraint-2Constraint-377《人工神经网络》课件5/9/2024能量函数转换为2DHopfield网络形式Networkisbuilt!78《人工神经网络》课件5/9/2024Hopfield网络迭代（TSP）Theinitialstategeneratedrandomlygoestothestablestate(solution)withminimumenergyA4-cityexample

阮晓刚，

神经计算科学，200679《人工神经网络》课件5/9/2024自组织特征映射(SOFM)80《人工神经网络》课件5/9/2024WhatisSOFM?NeuralNetworkwithUnsupervisedLearningDimensionalityreductionconcomitantwithpreservationoftopologicalinformation.Threeprincipals-Self-reinforcing

-Competition

-Cooperation81《人工神经网络》课件5/9/2024StructureofSOFM82《人工神经网络》课件5/9/2024竞争(Competition)Findingthebestmatchingweightvectorforthepresentinput.Criterionfordeterminingthewinningneuron:

MaximumInnerProduct

MinimumEuclideanDistance83《人工神经网络》课件5/9/2024合作(Coop