《人工智能基础及应用（Python 微课版）》课件 第6.1 神经网络

神经网络深度学习是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。已有多种深度学习框架，如深度神经网络、卷积神经网络、深度置信网络和递归神经网络，被应用在计算机视觉、语音识别、自然语言处理与生物信息学等领域并获得了极好的效果，推动人工智能进入工业化大生产阶段，具有很强的通用性，同时具备标准化、自动化和模块化基本特征。神经网络每当开始一项新的研究时，通常会从已经存在的现成可借鉴方案入手。例如，假设是在1902年莱特兄弟成功进行飞行实验的前一年，你突发奇想要设计一个人造飞行器，那么，首先应该注意到，在自然界中飞行的“机器”实际上是存在的（鸟），由此得到启发，你的飞机设计方案中可能要有两个大翼。同样，如果想设计人工智能系统，那就要学习并分析这个星球上最自然的智能系统之一，即人脑神经系统。动物的中枢神经系统动物中枢神经系统由神经元组成，和所有细胞一样，它们具有含DNA的细胞核及含其他物质的细胞膜，细胞可以通过DNA复制过程简单地遗传信息。这些神经细胞能够将从脚趾接收到的感觉印象再由脊柱底部传至全身。例如，长颈鹿颈部的神经元能够伸展至其身体的每个角落。神经细胞主要由三部分组成：细胞体、树突和轴突。一个神经元在突触的连接处与其他10～100000个神经元建立连接。神经系统的结构人脑是一种适应性系统，必须对变幻莫测的事物做出反应，而学习是通过修改神经元之间连接的强度来进行的。动物神经系统由数以千万计的互连细胞组成，而人脑由100亿~1000亿个神经元组成。研究人员就是从这种自然典范中汲取灵感，设计人工神经网络。人工神经网络（ANN）是指以人脑和神经系统为模型的机器学习算法。如今，人工神经网络从股票市场预测到汽车的自主控制，在模式识别、经济预测和许多其他应用领域都有突出的应用表现。神经系统学习机制与人脑神经系统类似，人工神经网络通过改变权重以呈现出相同的适应性。在了解（并模拟）动物神经系统的行为的基础上，美国的麦卡洛克和皮茨开发了人工神经元的第一个模型。对应于生物神经网络的生物学模型，人工神经元采用了4个要素：（1）细胞体，对应于神经元的细胞体。（2）输出通道，对应于神经元的轴突。（3）输入通道，对应于神经元的树突。（4）权重，对应于神经元的突触。人工神经网络的研究作为一种非线性统计性数据建模工具，典型的神经网络具有以下3个部分：（1）结构：指定网络中的变量及其拓扑关系。例如，神经网络中的变量可以是神经元连接的权重和神经元的激励值。（2）激励函数：根据规则来定义神经元根据其他神经元活动改变自己的激励值。（3）学习规则：指定人工神经网络中的权重如何随着时间推进而调整。典型的人工神经网络人脑平均包含1000亿个神经元，每个神经元又平均与7000个其他神经元相连，可以想象能够匹配人脑的计算机会有多庞大。计算机性能每18个月能强化一倍，在接下来的30年里，计算机的计算能力有望与人脑相匹敌。但拥有速度更快的计算机也无法立即创建起人工智能，因为我们还需要了解如何编程。将这些神经元排列在至少三层结构中，一些情况下将多达30层，每一层都含有众多神经元，一个完整的神经网络可能含有10万个或更多的个体神经元，向第一层注入信号并解释最后一层发出的信号，以此来进行操作。类脑计算机人工神经网络

人工神经网络是一种模仿生物神经系统的计算模型，由多个人工神经元（节点）组成的网络，通过学习和调整神经元之间的连接权重，实现对输入数据的模式识别和输出预测的功能。西安邮电大学9前馈神经网络：激活函数西安邮电大学10神经网络中的激励函数也称为激活函数，是神经网络中每个神经元节点的输入和输出之间的函数关系,其主要作用是引入非线性因素，使得神经网络能够逼近任意复杂的非线性函数。如果没有激励函数，神经网络的每一层输出都将是上一层输入的线性函数，无论网络有多少层，最终输出仍将是输入的线性组合，无法学习复杂的模式和关系,从而更好地拟合数据。总结西安邮电大学11激活函数函数导数Sigmoid型函数Tanh函数ReLU函数LeakyReLU函数前馈神经网络：激活函数西安邮电大学12(1)Sigmoid型函数特点：它能够把输入的连续实值变换为0和1之间的输出。特别的，如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1。缺点：会出现梯度消失，不是以0值为中心，运算比较耗时，因为需要用到幂运算。前馈神经网络：激活函数西安邮电大学13(2)Tanh函数Tanh函数解决了输出不是0中心的问题，但是梯度消失跟幂运算还是存在。Tanh函数和Sigmoid函数的共同缺点是在x的值接近无穷大或无穷小时，这两个函数的导数也就是梯度变得非常小，此时梯度下降的速度也会变得非常慢。前馈神经网络：激活函数西安邮电大学14(3)ReLU函数优点：解决了梯度消失问题（在正区间）；计算速度非常快，只需要判断输入是否大于0；收敛速度远快于Sigmoid和Tanh。缺点：ReLU的输出不是零均值化；神经元坏死现象，指的是某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。前馈神经网络：激活函数西安邮电大学15(3)LeakyReLU函数LeakyReLU的提出就是为了解决神经元“死亡”问题，LeakyReLU与ReLU很相似，仅在输入小于0的部分有差别，ReLU输入小于0的部分值都为0，而LeakyReLU输入小于0的部分，值为负，且有微小的梯度。前馈神经网络：网络结构西安邮电大学16前馈网络前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元。记忆网络记忆网络中神经元不但可以接收其它神经元的信号，也可以接收自己的反馈信号。图网络图网络中每个