FAFU机器学习10-2 ANN课件

FoundationsofMachineLearning

ArtificialNeuralNetworks2023/11/4ArtificialNeuralNetworksLesson10-1ArtificialNeuralNetworksArtificialNeuralNetworks:IntroductionSingleLayerNeuralNetworksMultipleLayerNeuralNetworksSelf-OrganizingMap(SOM)OtherNeuralNetworkssklearn.neural_network2023/11/4ArtificialNeuralNetworksLesson10-2ArtificialNeuralNetworks:IntroductionThebrainandtheneurons（脑与神经元）NeuronsarethebuildingblocksofthebrainTheirinterconnectivityformstheprogrammingthatallowsustosolvealloureverydaytasksTheyareabletoperformparallelandfaulttolerantcomputationTheoreticalmodelsofhowtheneuronsinthebrainworkandhowtheylearnhavebeendevelopedfromthebeginningofArtificialIntelligenceMostofthesemodelsarereallysimple(butyetpowerful)andhaveaslimresemblancetorealbrainneurons2023/11/4ArtificialNeuralNetworksLesson10-3ArtificialNeuralNetworks:IntroductionAneuronmodel（神经元模型）1943年，[McCullochandPitts,1943]抽象出“M-P神经元模型”,在这个模型中，神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接(connection)进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”(activationfunction)处理以产生神经元的输出。2023/11/4ArtificialNeuralNetworksLesson10-4ArtificialNeuralNetworks:Introduction理想中的激活函数是阶跃函数，它将输入值映射为输出值“0”或者“1”，显然“1”对应于神经元兴奋，“0”对应于神经元抑制。然而，阶跃函数具有不连续、不光滑等不太好的性质，因此实际常用Sigmoid作为激活函数，它把可能在较大范围内变化的输入值挤压到(0,

1)输出值范围内，因此有时也称为"挤压函数"(squashingfunction).2023/11/4ArtificialNeuralNetworksLesson10-5ArtificialNeuralNetworks:IntroductionOrganizationofneurons/Networks，神经元组织/网络Usuallyneuronsareinterconnectedformingnetworks,therearebasicallytwoarchitecturesFeedforwardnetworks(前馈网络),neuronsareconnectedonlyinonedirectionRecurrentnetworks（递归网络，或者循环网络）,outputscanbeconnectedtotheinputsFeedforwardnetworksareorganizedinlayers,oneconnectedtotheotherSinglelayerneuralnetworks(perceptronnetworks，感知器网络):inputlayer（输入层）,outputlayer（输出层）Multiplelayerneuralnetworks:inputlayer,hiddenlayers（隐层）,outputlayer2023/11/4ArtificialNeuralNetworksLesson10-6ArtificialNeuralNetworks:IntroductionNeuronsaslogicgates（神经元作为逻辑门）InitialresearchinANNdefinedneuronsasfunctionscapableofemulatelogicgates(Thresholdlogicalunits,TLU,阈值逻辑单元)Inputsxi

∈{0,1},weightswi

∈{+1,−1},thresholdw0

∈R,activationfunction⇒thresholdfunction：g(x)=1ifx≥w0,0otherwiseSetsofneuronscancomputeBooleanfunctionscomposingTLUsthatcomputeOR,ANDandNOTfunctions2023/11/4ArtificialNeuralNetworksLesson10-7ArtificialNeuralNetworks:IntroductionNeuronsaslogicgates（神经元作为逻辑门）

2023/11/4ArtificialNeuralNetworksLesson10-8ArtificialNeuralNetworksArtificialNeuralNetworks:IntroductionSingleLayerNeuralNetworksMultipleLayerNeuralNetworksSelf-OrganizingMap(SOM)OtherNeuralNetworkssklearn.neural_network2023/11/4ArtificialNeuralNetworksLesson10-9SingleLayerNeuralNetworksTheperceptron（感知机）感知机(Perceptron)由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。2023/11/4ArtificialNeuralNetworksLesson10-10SingleLayerNeuralNetworksTheperceptron（感知机）感知机(Perceptron)由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。2023/11/4ArtificialNeuralNetworksLesson10-11SingleLayerNeuralNetworksTheperceptron（感知机）Theperceptronlearningrule(感知器学习规则)感知机学习规则非常简单，对训练样例（x，y)，若当前感知机的输出为y’，则感知机权重将这样调整:wi=wi+∆wi∆wi=η(y−y’)xi其中η属于(0,1)为学习率(learningrate)2023/11/4ArtificialNeuralNetworksLesson10-12SingleLayerNeuralNetworksLimitationsoflinearperceptrons(线性感知器的不足)WithlinearperceptronswecanonlyclassifycorrectlylinearlyseparableproblemsThehypothesisspaceisnotpowerfulenoughforrealproblemsExample,theXORfunction:2023/11/4ArtificialNeuralNetworksLesson10-13ArtificialNeuralNetworksArtificialNeuralNetworks:IntroductionSingleLayerNeuralNetworksMultipleLayerNeuralNetworks（多层神经网络）Self-OrganizingMap(SOM)OtherNeuralNetworkssklearn.neural_network2023/11/4ArtificialNeuralNetworksLesson10-14MultipleLayerNeuralNetworksMultilayerPerceptron要解决非线性可分问题，需考虑使用多层功能神经元，比如对异或问题:2023/11/4ArtificialNeuralNetworksLesson10-15MultipleLayerNeuralNetworksMultilayerPerceptron一般地，多层神经网络中每层神经元与下层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接，这样的神经网络结构通常称为“多层前馈神经网络”(multi-layerfeedforwardneuralnetworks)。其中输入层神经元接收外界输入，隐层与输出层神经元对信号进行加工，最终结果由输出层神经元输出。换言之，输入层神经元仅是接受输入，不进行函数处理，隐层与输出层包含功能神经元。2023/11/4ArtificialNeuralNetworksLesson10-16MultipleLayerNeuralNetworksLearningMultilayerNetworks（多层网络的学习）InthecaseofsinglelayernetworkstheparameterstolearnaretheweightsofonlyonelayerInthemultilayercasewehaveasetofparametersforeachlayerandeachlayerisfullyconnectedtothenextlayerForsinglelayernetworkswhenwehavemultipleoutputswecanlearneachoutputseparatelyInthecaseofmultilayernetworksthedifferentoutputsareinterconnected2023/11/4ArtificialNeuralNetworksLesson10-17MultipleLayerNeuralNetworksBackPropagation(反向传播)–IntuitivelyTheerrorofthesinglelayerperceptronlinksdirectlythetransformationoftheinputintheoutputInthecaseofmultiplelayerseachlayerhasitsownerrorTheerroroftheoutputlayerisdirectlytheerrorcomputedfromthetruevaluesTheerrorforthehiddenlayersismoredifficulttodefineTheideaistousetheerrorofthenextlayertoinfluencetheweightsofthepreviouslayerWearepropagatingbackwardstheoutputerror,hencethenameofBackPropagation(BP)2023/11/4ArtificialNeuralNetworksLesson10-18MultipleLayerNeuralNetworksBackPropagation(反向传播)–IntuitivelyTheideaistousetheerrorofthenextlayertoinfluencetheweightsofthepreviouslayer2023/11/4ArtificialNeuralNetworksLesson10-19MultipleLayerNeuralNetworksBackpropagation–Algorithm(BP算法）ThebackpropagationalgorithmworksintwostepsPropagatetheexamplesthroughthenetworktoobtaintheoutput(forwardpropagation)Propagatetheoutputerrorlayerbylayerupdatingtheweightsoftheneurons(backpropagation)2023/11/4ArtificialNeuralNetworksLesson10-20MultipleLayerNeuralNetworksBackpropagation–Algorithm(BP算法）ThebackpropagationalgorithmworksintwostepsPropagatetheexamplesthroughthenetworktoobtaintheoutput(forwardpropagation)Propagatetheoutputerrorlayerbylayerupdatingtheweightsoftheneurons(backpropagation)BP算法基于梯度下降(gradientdescent)策略，以目标的负梯度方向对参数进行调整。Sigmoid函数2023/11/4ArtificialNeuralNetworksLesson10-21MultipleLayerNeuralNetworks多层前馈神经网络学习的目标是均方误差，对(xk,yk)2023/11/4ArtificialNeuralNetworksLesson10-22MultipleLayerNeuralNetworksBP算法基本流程2023/11/4ArtificialNeuralNetworksLesson10-23输入:训练集D={(xk,yk)},k=l…m;学习率η.过程:1:在(0,

1)范固内随机初始化网络中所有连接权和阈值2:repeat3:forall(xk

,yk)inDdo4:

根据当前参数计算当前样本的输出5:

计算输出层神经元的梯度项;6:

计算隐层神经元的梯度项;7:

更新连接权whj

和vih，更新输出层阈值θj和隐层阈值γh8:endfor9:until达到停止条件输出:连接权与阈值确定的多层前馈神经网络ArtificialNeuralNetworksArtificialNeuralNetworks:IntroductionSingleLayerNeuralNetworksMultipleLayerNeuralNetworksSelf-OrganizingMap(SOM)，自组织映射OtherNeuralNetworkssklearn.neural_network2023/11/4ArtificialNeuralNetworksLesson10-24Self-OrganizingMapTheSelf-OrganizingMapisoneofthemostpopularneuralnetworkmodels.Itbelongstothecategoryofcompetitivelearningnetworks（竞争学习型网络）.TheSelf-OrganizingMapisbasedonunsupervisedlearning（无监督学习）,whichmeansthatnohumaninterventionisneededduringthelearningandthatlittleneedstobeknownaboutthecharacteristicsoftheinputdata.Wecould,forexample,usetheSOMforclusteringdatawithoutknowingtheclassmembershipsoftheinputdata.TheSOMcanbeusedtodetectfeaturesinherenttotheproblemandthushasalsobeencalledSOFM,theSelf-OrganizingFeatureMap.2023/11/4ArtificialNeuralNetworksLesson10-25SOM典型结构SOM网络是一种竞争学习型的无监督神经网络，将高维空间中相似的样本点映射到网络输出层中的邻近神经元。典型SOM网络共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。2023/11/4ArtificialNeuralNetworksLesson10-26SOM网络学习算法训练过程简述：在接收到训练样本后，每个输出层神经元会计算该样本与自身携带的权向量之间的距离，距离最近的神经元成为竞争获胜者，称为最佳匹配单元。然后最佳匹配单元及其邻近的神经元的权向量将被调整，以使得这些权向量与当前输入样本的距离缩小。这个过程不断迭代，直至收敛。输入层：假设一个输入样本为x=[x1,x2,x3,…,xn]，是一个n维向量，则输入层神经元个数为n个。输出层（竞争层）：通常输出层的神经元以矩阵等拓扑结构排列在二维空间中，每个神经元都有一个权值向量。假设输出层有m个神经元，则有m个权值向量，Wi=[wi1,wi2,....,win],1<=i<=m。2023/11/4ArtificialNeuralNetworksLesson10-27SOM网络学习算法流程1.初始化:权值使用较小的随机值进行初始化，并对输入向量和权值做归一化处理X‘=X/||X||，

ω’i=ωi/||ωi||，1<=i<=m，||X||和||ωi||分别为输入的样本向量和权值向量的欧几里得范数。2.将样本输入网络:样本与权值向量做点积，点积值最大的输出神经元赢得竞争，（或者计算样本与权值向量的欧几里得距离，距离最小的神经元赢得竞争）记为获胜神经元。3.更新权值:对获胜的神经元拓扑邻域内的神经元进行更新,并对学习后的权值重新归一化。4.更新学习速率η及拓扑邻域N，N随时间增大距离变小。5.判断是否收敛。如果学习率η<=ηmin或达到预设的迭代次数，结束算法，否则，返回第2步。2023/11/4ArtificialNeuralNetworksLesson10-28SOM网络学习算法流程1.初始化权值，并对输入向量和权值做归一化处理2.将样本输入网络，寻找获胜神经元。3.更新权值：对获胜的神经元拓扑邻域内的神经元进行更新,并对学习后的权值重新归一化。

ω(t+1)=ω(t)+η(t，n)*(x-ω(t))

η(t，n):η为学习率，是关于训练时间t和与获胜神经元的拓扑距离n的函数。

η(t，n)=η(t)e-n4.更新学习速率η及拓扑邻域N，N随时间增大距离变小。5.判断是否收敛。如果学习率η<=ηmin或达到预设的迭代次数，结束算法，否则，返回第2步。2023/11/4ArtificialNeuralNetworksLesson10-29SOM网络学习算法流程1.初始化权值，并对输入向量和权值做归一化处理2.将样本输入网络，寻找获胜神经元。3.更新权值：对获胜的神经元拓扑邻域内的神经元进行更新,并对学习后的权值重新归一化。

ω(t+1)=ω(t)+η(t，n)*(x-ω(t))

η(t，n):η为学习率，是关于训练时间t和与获胜神经元的拓扑距离n的函数。

η(t，n)=η(t)e-n4.更新学习速率η及拓扑邻域N，N随时间增大距离变小。5.判断是否收敛。如果学习率η<=ηmin或达到预设的迭代次数，结束算法，否则，返回第2步。2023/11/4ArtificialNeuralNetworksLesson10-30ArtificialNeuralNetworksArtificialNeuralNetworks:IntroductionSingleLayerNeuralNetworksMultipleLayerNeuralNetworksSelf-OrganizingMap(SOM)，自组织映射OtherNeuralNetworkssklearn.neural_network2023/11/4ArtificialNeuralNetworksLesson10-31OtherNeuralNetworksRBF网络RBF(RadialBasisFunction，径向基函数)网络是一种单隐层前馈神经网络，它使用径向基函数作为隐层神经元激活函数，而输出层则是对隐层神经元输出的线性组合.假定输入为d维向量x，输出为实值，

则RBF网络可表示为：常用的高斯径向基函数形如：2023/11/4ArtificialNeuralNetworksLesson10-32OtherNeuralNetworksRBF网络受限玻尔兹曼机，RestrictedBoltzmannmachines(RBM)RBM是由Hinton和Sejnowski于1986年提出的一种生成式随机神经网络(generativestochasticneuralnetwork)，该网络由一些可见单元(visibleunit，对应可见变量，亦即数据样本)和一些隐藏单元(hiddenunit，对应隐藏变量)构成，可见变量和隐藏变量都是二元变量，亦即其状态取{0,1}。整个网络是一个二部图，只有可见单元和隐藏单元之间才会存在边，可见单元之间以及隐藏单元之间都不会有边连接2023/11/4ArtificialNeuralNetworksLesson10-33OtherNeuralNetworksRBF网络受限玻尔兹曼机RBMareunsupervisednonlinearfeaturelearnersbasedonaprobabilisticmodel.ThefeaturesextractedbyanRBMorahierarchyofRBMsoftengivegoodresultswhenfedintoalinearclassifiersuchasalinearSVMoraperceptronRBM中的神经元都是布尔型的,即只能取0、1两种状态.状态1表示激活,状态0表示抑制.令向量s

属于{0,l}n

表币n个神经元的状态，ωij

表示神经元i与j

之间的连接权，θi也表示神经元i

的阈值，则状态向量s

所对应的Boltzmann机能量定义为：2023/11/4ArtificialNeuralNetworksLesson10-34ArtificialNeuralNetworksArtificialNeuralNetworks:IntroductionSingleLayerNeuralNetworksMultip