《机器学习从入门到精通》课件-第10章神经网络

第10章

神经网络10.1神经网络的相关知识10.2神经网络10.3BP神经网络10.1神经网络的相关知识10.1.1神经网络的历史1890年WilliamJames的《心理学原理》，指明出了神经细胞所有输入的叠加导致了这个神经细胞的激活。1943年WarrenMcCulloch和WalterPitts尝试着通过数学的方式描述和构建了神经元。1949年，DonaldHebb在《行为组织学》一书中描述了一种神经元突触学习法则。1951年MarvinMinsky在普林斯顿大学读博士期间创建了第一个随机连接神经模拟计算器SNARC。10.1神经网络的相关知识10.1.1神经网络的历史1957年，FrankRosenblatt在康奈尔航天实验室的IBM704计算机上设计了一种具有单神经元的“感知器”，可以解决简单的线性分类问题。1969年，已经获得了图灵奖的MarvinMinsky和SeymourPapert合著了《感知器》一书，书中指出单层神经网络只能运用于线性问题的求解，不能解决哪怕最简单的异或（XOR）等线性不可分问题。1982年，加州理工的JohnHopfield发明了Hopfield神经网络，这是一个单层循环神经网络。10.1神经网络的相关知识10.1.1神经网络的历史1985年，卡耐基梅隆大学的GeoffreyHinton，DavidAckley和TerrySejnowski借助统计物理学的概念和方法提出了一种随机神经网络模型——玻尔兹曼机。1986年，加州大学圣地亚哥分校的DavidRumelhart，卡耐基梅隆大学的GeoffreyHinton和东北大学的RonaldJ.Williams合作发表了神经网络研究中里程碑一般的BP算法。从1986年之后的神经，网络就蓬勃发展起来。10.1神经网络的相关知识10.1.2神经元模型神经网络（neuralnetworks）是一个跨学科领域的研究，它结合了生物学当中的生物神经学和计算学科中的神经网络学，但这里所提出的神经网络主要是指可用于计算的神经网络。10.1神经网络的相关知识10.1.3激活函数1、Sigmoid函数它把肯能在较大范围内变化的输入值挤压到（0，1）输出值范围内，有时也称为“挤压函数”（squashingfunction）。当x时非常大的正数时，sigmoid（x）会去趋近于1，而x是非常大的负数时，则sigmoid（x）会趋近于0。它可以用作分类，比如：激活函数的输出如果为0.9的话，便可以解释为90%的概率为正样本。10.1神经网络的相关知识10.1.3激活函数1、Sigmoid函数它把肯能在较大范围内变化的输入值挤压到（0，1）输出值范围内，有时也称为“挤压函数”（squashingfunction）。当x时非常大的正数时，sigmoid（x）会去趋近于1，而x是非常大的负数时，则sigmoid（x）会趋近于0。它可以用作分类，比如：激活函数的输出如果为0.9的话，便可以解释为90%的概率为正样本。10.1神经网络的相关知识10.1.3激活函数2、tanh函数它是sigmoid函数的一个变体，它的取值范围为[-1,1]。它的改变解决了sigmoid函数的零中心的情况，但是饱和问题依旧存在。10.1神经网络的相关知识10.1.3激活函数3、ReLu函数它是和0比大小，凡是x比0大，则输出x，如果比0小，则输出0。ReLu方法的出现大大简化了计算，对网络计算加速具有巨大的作用。10.2神经网络10.2.1神经网络的基本概念1958年，计算科学家Rosenblatt提出了由两层神经元组成的神经网络。他给它起了一个名字--“感知器”（Perceptron）（有的文献翻译成“感知机”，下文统一用“感知器”来指代）。感知器是当时首个可以学习的人工神经网络。Rosenblatt现场演示了其学习识别简单图像的过程，在当时的社会引起了轰动。10.2神经网络

10.2神经网络

10.2神经网络10.2.3隐藏层在多级前馈网当中，隐藏层的定义是：除输入层和输出层以外的其他各层叫做隐藏层。隐藏层不直接接受外界的信号,也不直接向外界发送信号

。输入向量，输出向量的维数是由问题所直接决定的。然而，网络隐藏层的层数和各个隐藏层神经元的个数则是与问题相关的。目前的研究结果还难以给出它们与问题类型及其规模之间的函数关系。但实验表明，增加隐藏层的层数和隐藏层神经元的个数不一定能够提高网络的精度和表达能力。10.2神经网络10.2.4多层感知机网络的原理层感知网络除了包含一个输入层，一个输出层以外，还增加了一个中间层。10.3BP神经网络BP(backpropagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络之一。10.3BP神经网络10.3.1BP神经网络的基本原理基本BP算法包括信号的前向传播和误差的反向传播两个过程。即计算误差输出时按从输入到输出的方向进行，而调整权值和阈值则从输出到输入的方向进行。正向传播时，输入信号通过隐含层作用于输出节点，经过非线性变换，产生输出信号，若实际输出与期望输出不相符，则转入误差的反向传播过程。误差反传是将输出误差通过隐含层向输入层逐层反传，并将误差分摊给各层所有单元，以从各层获得的误差信号作为调整各单元权值的依据。通过调整输入节点与隐层节点的联接强度和隐层节点与输出节点的联接强度以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与