《人工智能基础及应用（Python 微课版）》课件 第6 深度学习概述

深度学习以往很多算法是线性的，而现实世界大多数事情的特征是复杂非线性的。深度学习的关键就是通过多层非线性映射将这些因素成功分开。深度学习就是关于从数据中产生模型的算法，即深度学习算法。

深度学习的意义以认猫为例，深度学习关于猫的分层特征：最底层从原始像素开始，刻画局部的边缘和纹；中层把各种边缘进行组合，描述不同类型的猫的器官；最高层描述的是整个猫的全局特征。

深度学习的意义深度学习发展历史第一阶段：模型提出第二阶段：冰河期第三阶段：反向传播算法引起的复兴第四阶段：流行度降低第五阶段：深度学习的崛起西安邮电大学4第一阶段：模型提出M-P神经元模型是一个包含输入，输出与计算功能的模型。其中，输入可以类比为神经元的树突，输出可以类比为神经元的轴突，计算则可以类比为细胞体。M-P神经元模型：3个输入（X1,X2,X3)，1个输出y，以及2个计算功能。计算公式如下：y=sgn(x1*w1+x2*w2+x3*w3)西安邮电大学5第一阶段：模型提出1958年，FrankRosenblatt提出感知器模型——由两层神经元组成的神经网络。“感知机”是第一个能够学习权重并进行简单分类的人工神经网络，能完成简单的线性分类任务。

西安邮电大学6第二阶段：冰河期1969年，MarvinMinsky和SeymourPapert在《感知器》一书中指出了感知器的局限性，例如无法处理异或问题，导致ANN研究经费骤减，进入第一次“AI寒冬”。西安邮电大学7第三阶段：反向传播算法

20世纪80年代，反向传播算法被重新发明并引入多层感知器，使得神经网络能够训练多层结构，研究开始复兴。1980年：多层感知机（MLP）利用反向传播算法训练的多层前馈网络（即MLP）成功解决了非线性分类问题，标志着ANN走出低谷。1982年：霍普菲尔德网络（HopfieldNetwork）是约翰·霍普菲尔德（JohnHopfield）提出了一种具有联想记忆能力的递归神经网络。西安邮电大学8第四阶段：人工神经网络的流行度降低1996年，长短期记忆网络（LSTM）由约尔格·施米德胡贝（JürgenSchmidhuber）团队提出，通过门控机制有效缓解了RNN的梯度消失问题，成为序列建模（如机器翻译、语音识别）的关键技术。西安邮电大学9第五阶段，深度学习的崛起。2006年，GeoffreyHinton等人提出深度信念网络，发现通过逐层预训练和反向传播算法精调的方式可以有效训练深度神经网络，深度学习萌芽。2012年，AlexNet与ImageNet突破辛顿团队的学生亚历克斯·克里泽夫斯基（AlexKrizhevsky）设计的AlexNet在ImageNet挑战赛中将错误率从26%骤降至15%，引发深度学习在计算机视觉领域的革命。2014年，生成对抗网络（GAN）由伊恩·古德费洛（IanGoodfellow）提出，通过“博弈”思想让网络具备生成逼真图像的能力，开启了生成式AI的浪潮。西安邮电大学10卷积神经网络是一种用来分析视觉图像的深度学习模型，它包含卷积计算且具有深度结构的前馈神经网络，类似于人工神经网络的多层感知器。计算机科学家杨立昆第一个通过卷积神经网络在大型手写数字数据库MNIST（其中包含60,000个示例的训练集以及10,000个示例的测试集）上解决手写数字问题的人。深度学习算法与常规神经网络不同，卷积神经网络的各层中的神经元是3维排列的：卷积本身是一个二维模板，整个网络的深度指的是网络的层数。卷积神经网络结构深度学习应用广泛，例如在搜索技术、数据挖掘、机器学习、视觉识别、自然语言处理、机器翻译、语音识别和合成、推荐和个性化技术，以及其他领域都取得很多成果，解决了很多复杂难题，使人工智能相关技术取得了很大进步。深度学习的应用计算机视觉中的深度学习：图像分类AlexNet的网络结构计算机视觉中的深度学习：图像分类ImageNet上的图像分类性能（Top-1Acc.）/sota/image-classification-on-imagenet计算机视觉中的深度学习：目标检测半自动越位识别技术SAOT示意计算机视觉中的深度学习：目标检测PP-YOLO的网络结构计算机视觉中的深度学习：自动驾驶基于深度学习的自动驾驶汽车技术自然语言处理中的深度学习：神经机器翻译Seq2Seq模型架构编程语言模型