《人工智能基础及应用（Python 微课版）》课件 第6章深度学习

深度学习以往很多算法是线性的，而现实世界大多数事情的特征是复杂非线性的。深度学习的关键就是通过多层非线性映射将这些因素成功分开。深度学习就是关于从数据中产生模型的算法，即深度学习算法。

深度学习的意义以认猫为例，深度学习关于猫的分层特征：最底层从原始像素开始，刻画局部的边缘和纹；中层把各种边缘进行组合，描述不同类型的猫的器官；最高层描述的是整个猫的全局特征。

深度学习的意义深度学习发展历史第一阶段：模型提出第二阶段：冰河期第三阶段：反向传播算法引起的复兴第四阶段：流行度降低第五阶段：深度学习的崛起西安邮电大学4第一阶段：模型提出M-P神经元模型是一个包含输入，输出与计算功能的模型。其中，输入可以类比为神经元的树突，输出可以类比为神经元的轴突，计算则可以类比为细胞体。M-P神经元模型：3个输入（X1,X2,X3)，1个输出y，以及2个计算功能。计算公式如下：y=sgn(x1*w1+x2*w2+x3*w3)西安邮电大学5第一阶段：模型提出1958年，FrankRosenblatt提出感知器模型——由两层神经元组成的神经网络。“感知机”是第一个能够学习权重并进行简单分类的人工神经网络，能完成简单的线性分类任务。

西安邮电大学6第二阶段：冰河期1969年，MarvinMinsky和SeymourPapert在《感知器》一书中指出了感知器的局限性，例如无法处理异或问题，导致ANN研究经费骤减，进入第一次“AI寒冬”。西安邮电大学7第三阶段：反向传播算法

20世纪80年代，反向传播算法被重新发明并引入多层感知器，使得神经网络能够训练多层结构，研究开始复兴。1980年：多层感知机（MLP）利用反向传播算法训练的多层前馈网络（即MLP）成功解决了非线性分类问题，标志着ANN走出低谷。1982年：霍普菲尔德网络（HopfieldNetwork）是约翰·霍普菲尔德（JohnHopfield）提出了一种具有联想记忆能力的递归神经网络。西安邮电大学8第四阶段：人工神经网络的流行度降低1996年，长短期记忆网络（LSTM）由约尔格·施米德胡贝（JürgenSchmidhuber）团队提出，通过门控机制有效缓解了RNN的梯度消失问题，成为序列建模（如机器翻译、语音识别）的关键技术。西安邮电大学9第五阶段，深度学习的崛起。2006年，GeoffreyHinton等人提出深度信念网络，发现通过逐层预训练和反向传播算法精调的方式可以有效训练深度神经网络，深度学习萌芽。2012年，AlexNet与ImageNet突破辛顿团队的学生亚历克斯·克里泽夫斯基（AlexKrizhevsky）设计的AlexNet在ImageNet挑战赛中将错误率从26%骤降至15%，引发深度学习在计算机视觉领域的革命。2014年，生成对抗网络（GAN）由伊恩·古德费洛（IanGoodfellow）提出，通过“博弈”思想让网络具备生成逼真图像的能力，开启了生成式AI的浪潮。西安邮电大学10卷积神经网络是一种用来分析视觉图像的深度学习模型，它包含卷积计算且具有深度结构的前馈神经网络，类似于人工神经网络的多层感知器。计算机科学家杨立昆第一个通过卷积神经网络在大型手写数字数据库MNIST（其中包含60,000个示例的训练集以及10,000个示例的测试集）上解决手写数字问题的人。深度学习算法与常规神经网络不同，卷积神经网络的各层中的神经元是3维排列的：卷积本身是一个二维模板，整个网络的深度指的是网络的层数。卷积神经网络结构深度学习应用广泛，例如在搜索技术、数据挖掘、机器学习、视觉识别、自然语言处理、机器翻译、语音识别和合成、推荐和个性化技术，以及其他领域都取得很多成果，解决了很多复杂难题，使人工智能相关技术取得了很大进步。深度学习的应用计算机视觉中的深度学习：图像分类AlexNet的网络结构计算机视觉中的深度学习：图像分类ImageNet上的图像分类性能（Top-1Acc.）/sota/image-classification-on-imagenet计算机视觉中的深度学习：目标检测半自动越位识别技术SAOT示意计算机视觉中的深度学习：目标检测PP-YOLO的网络结构计算机视觉中的深度学习：自动驾驶基于深度学习的自动驾驶汽车技术自然语言处理中的深度学习：神经机器翻译Seq2Seq模型架构编程语言模型：代码自动补全提示或补全接下来的代码接收开发者用自然语言描述的功能，给出代码实现AI艺术的背后：图像生成“Anastronautridingahorse”《爱德蒙·贝拉米肖像》神经网络深度学习是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。已有多种深度学习框架，如深度神经网络、卷积神经网络、深度置信网络和递归神经网络，被应用在计算机视觉、语音识别、自然语言处理与生物信息学等领域并获得了极好的效果，推动人工智能进入工业化大生产阶段，具有很强的通用性，同时具备标准化、自动化和模块化基本特征。神经网络每当开始一项新的研究时，通常会从已经存在的现成可借鉴方案入手。例如，假设是在1902年莱特兄弟成功进行飞行实验的前一年，你突发奇想要设计一个人造飞行器，那么，首先应该注意到，在自然界中飞行的“机器”实际上是存在的（鸟），由此得到启发，你的飞机设计方案中可能要有两个大翼。同样，如果想设计人工智能系统，那就要学习并分析这个星球上最自然的智能系统之一，即人脑神经系统。动物的中枢神经系统动物中枢神经系统由神经元组成，和所有细胞一样，它们具有含DNA的细胞核及含其他物质的细胞膜，细胞可以通过DNA复制过程简单地遗传信息。这些神经细胞能够将从脚趾接收到的感觉印象再由脊柱底部传至全身。例如，长颈鹿颈部的神经元能够伸展至其身体的每个角落。神经细胞主要由三部分组成：细胞体、树突和轴突。一个神经元在突触的连接处与其他10～100000个神经元建立连接。神经系统的结构人脑是一种适应性系统，必须对变幻莫测的事物做出反应，而学习是通过修改神经元之间连接的强度来进行的。动物神经系统由数以千万计的互连细胞组成，而人脑由100亿~1000亿个神经元组成。研究人员就是从这种自然典范中汲取灵感，设计人工神经网络。人工神经网络（ANN）是指以人脑和神经系统为模型的机器学习算法。如今，人工神经网络从股票市场预测到汽车的自主控制，在模式识别、经济预测和许多其他应用领域都有突出的应用表现。神经系统学习机制与人脑神经系统类似，人工神经网络通过改变权重以呈现出相同的适应性。在了解（并模拟）动物神经系统的行为的基础上，美国的麦卡洛克和皮茨开发了人工神经元的第一个模型。对应于生物神经网络的生物学模型，人工神经元采用了4个要素：（1）细胞体，对应于神经元的细胞体。（2）输出通道，对应于神经元的轴突。（3）输入通道，对应于神经元的树突。（4）权重，对应于神经元的突触。人工神经网络的研究作为一种非线性统计性数据建模工具，典型的神经网络具有以下3个部分：（1）结构：指定网络中的变量及其拓扑关系。例如，神经网络中的变量可以是神经元连接的权重和神经元的激励值。（2）激励函数：根据规则来定义神经元根据其他神经元活动改变自己的激励值。（3）学习规则：指定人工神经网络中的权重如何随着时间推进而调整。典型的人工神经网络人脑平均包含1000亿个神经元，每个神经元又平均与7000个其他神经元相连，可以想象能够匹配人脑的计算机会有多庞大。计算机性能每18个月能强化一倍，在接下来的30年里，计算机的计算能力有望与人脑相匹敌。但拥有速度更快的计算机也无法立即创建起人工智能，因为我们还需要了解如何编程。将这些神经元排列在至少三层结构中，一些情况下将多达30层，每一层都含有众多神经元，一个完整的神经网络可能含有10万个或更多的个体神经元，向第一层注入信号并解释最后一层发出的信号，以此来进行操作。类脑计算机人工神经网络

人工神经网络是一种模仿生物神经系统的计算模型，由多个人工神经元（节点）组成的网络，通过学习和调整神经元之间的连接权重，实现对输入数据的模式识别和输出预测的功能。西安邮电大学30前馈神经网络：激活函数西安邮电大学31神经网络中的激励函数也称为激活函数，是神经网络中每个神经元节点的输入和输出之间的函数关系,其主要作用是引入非线性因素，使得神经网络能够逼近任意复杂的非线性函数。如果没有激励函数，神经网络的每一层输出都将是上一层输入的线性函数，无论网络有多少层，最终输出仍将是输入的线性组合，无法学习复杂的模式和关系,从而更好地拟合数据。总结西安邮电大学32激活函数函数导数Sigmoid型函数Tanh函数ReLU函数LeakyReLU函数前馈神经网络：激活函数西安邮电大学33(1)Sigmoid型函数特点：它能够把输入的连续实值变换为0和1之间的输出。特别的，如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1。缺点：会出现梯度消失，不是以0值为中心，运算比较耗时，因为需要用到幂运算。前馈神经网络：激活函数西安邮电大学34(2)Tanh函数Tanh函数解决了输出不是0中心的问题，但是梯度消失跟幂运算还是存在。Tanh函数和Sigmoid函数的共同缺点是在x的值接近无穷大或无穷小时，这两个函数的导数也就是梯度变得非常小，此时梯度下降的速度也会变得非常慢。前馈神经网络：激活函数西安邮电大学35(3)ReLU函数优点：解决了梯度消失问题（在正区间）；计算速度非常快，只需要判断输入是否大于0；收敛速度远快于Sigmoid和Tanh。缺点：ReLU的输出不是零均值化；神经元坏死现象，指的是某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。前馈神经网络：激活函数西安邮电大学36(3)LeakyReLU函数LeakyReLU的提出就是为了解决神经元“死亡”问题，LeakyReLU与ReLU很相似，仅在输入小于0的部分有差别，ReLU输入小于0的部分值都为0，而LeakyReLU输入小于0的部分，值为负，且有微小的梯度。前馈神经网络：网络结构西安邮电大学37前馈网络前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元。记忆网络记忆网络中神经元不但可以接收其它神经元的信号，也可以接收自己的反馈信号。图网络图网络中每个节点都由一个或一组神经元构成。节点之间的连接可以是有向的，也可以是无向的。前馈神经网络：多层感知器西安邮电大学38多层感知器（MLP）包括至少一个隐藏层（除了一个输入层和一个输出层以外）。单层感知器只能学习线性函数，而多层感知器也可以学习非线性函数。深度学习自然语言处理中的深度学习：大型语言模型自然语言处理中的深度学习：大型语言模型与日俱增的模型规模：新的摩尔定律？大型语言模型（LLM）的参数规模走势与日俱增的数据量模型发布时间语料库规模GPT-12018年6月5GGPT-22019年2月40GGPT-32020年5月45GChatGPT2022年11月570G小结深度学习：深度学习模型+学习方法+数据+算力普遍且基础的神经网络结构卷积神经网络（CNN）循环神经网络（RNN）Transformer卷积神经网络（ConvolutionalNeuralNetwork,CNN）最初用于手写数字识别的LeNet-5的网络结构卷积的数学表达连续形式的卷积运算离散形式的卷积运算一维卷积一维卷积运算可理解为利用滤波器从信号序列中提取特征的过程不同滤波器提取到的特征不同：提取信号序列中的低频信息提取信号序列中的高频信息二维卷积

二维卷积

二维卷积

二维卷积

互相关运算与卷积互相关运算旋转180度卷积运算给定形状为的输入张量，形状为的卷积核，卷积运算输出的特征映射的形状为：特征映射的尺寸边界填充Padding步长步长Stride=2输入卷积核输出通过汇聚函数对特征映射实施下采样，将其划分矩形区域，并计算每个区域内的总体统计特征作为该区域的表示汇聚层典型卷积神经网络卷积神经网络的整体结构典型卷积神经网络AlexNet的网络结构典型卷积神经网络GoogLeNetRestNet小结卷积神经网络卷积层：卷积运算、填充、步长汇聚层：最大汇聚、均值汇聚整体结构及典型模型InceptionV1结构残差块循环神经网络（RecurrentNeuralNetwork,

RNN）RNN是比前馈神经网络更加符合生物神经网络的结构。使用带自反馈的神经元，实现对任意长度的时序数据的处理。机器翻译语音识别RNN的基本结构a)按时间步展开的RNN基本结构对于序列，在每个时间步

，按下式更新隐状态式（1）式（2）b)

RNN双向RNN包含单隐层的双向循环神经网络深层RNN包含3层隐藏层的深层RNN长短期记忆网络（LongShort-TermMemory,

LSTM）LSTM的循环单元结构输入门遗忘门输出门LSTM的工作过程遗忘门

控制上一个时间步的内部状态

需要遗忘多少信息输入门

控制当前时间步的候选状态有多少信息需要保存LSTM的工作过程遗忘部分上一步内部状态，并结合保留的当前步信息，得到新的内部状态结合输出门

，控制内部状态

要传递给外部隐状态的信息量门控循环单元（GatedRecurrentUnit，GRU）GRU的循环单元结构RNN的几种常见模式小结循环神经网络基础RNN、双向RNN、深层RNNLSTM、GRURNN的常见使用模式自注意力机制（Self-Attention）从信息中选择并聚焦到当前任务目标更关键的信息上在计算过程中不依赖于外部信息，更擅长捕捉数据自身内部的相关性自注意力机制计算过程示意图自注意力机制（Self-Attention）

n

n

QKV

X线性映射（式1）（式2）（式3）

自注意力机制（Self-Attention）