计算机与人工智能导论 课件 第10章 深度学习基础

第10章

深度学习基础AI第10章知识导图文件管理深度学习定义核心定义本质特征从感知机到深度学习演进神经网络基本结构深度学习训练与优化神经元模型的提出感知机的局限与低谷神经元模型激活函数权重与偏置卷积层池化层训练目标损失函数第1章计算机工具与计算机演进史第2章计算机系统组成第3章计算机中的数据表示第4章操作系统与网络基础第5章软件构建基础：语言、编译与工程第6章算法与数据结构第7章数据管理与大数据技术第8章人工智能概述第9章机器学习基础第10章深度学习基础第11章机器人学、智能体与具身智能第12章自然语言处理与大语言模型第13章AI伦理、法律、治理与未来第14章AI赋能行业典型应用第15章前沿技术与实践能力培养深度学习基础深度学习的崛起LSTMGRU梯度下降与反向传播过拟合与欠拟合卷积神经网络与视觉应用循环神经网络与语言处理人工智能、机器学习、神经网络、深度学习的关系关键应用与技术价值内容导航第10章

深度学习基础10.1深度学习的定义10.2从感知机到深度学习演进10.3神经网络基本结构10.4卷积神经网络与视觉应用10.5循环神经网络与语言处理10.6深度学习训练与优化10.7人工智能、机器学习、神经网络、深度学习的关系AI10.1深度学习的定义深度学习的核心定义它是机器学习的重要分支，通过构建包含多个处理层的深度神经网络，对输入数据进行逐层抽象与特征提取，从而学习到数据的多层次复杂表示，突破了传统浅层模型的表达能力局限。“深度”的本质特征其核心在于多层隐藏网络结构，能够无需人工干预，直接从原始图像、语音或文本中自动挖掘底层特征与高阶模式，实现从数据输入到结果输出的端到端智能建模，大幅降低了对人工特征工程的依赖。关键应用与技术价值作为人工智能领域的核心驱动力，深度学习在计算机视觉、自然语言处理、语音识别等关键领域实现了性能的质的飞跃，是当前智能语音助手、自动驾驶、图像识别及大语言模型等技术落地的核心支撑。深度学习通过自动特征提取与深层建模能力，解决了传统人工智能难以处理的复杂感知与认知问题，成为推动AI从理论研究走向大规模工业化应用的关键技术基石。内容导航第10章

深度学习基础10.1深度学习的定义10.2从感知机到深度学习演进10.3神经网络基本结构10.4卷积神经网络与视觉应用10.5循环神经网络与语言处理10.6深度学习训练与优化10.7人工智能、机器学习、神经网络、深度学习的关系AI10.2从感知机到深度学习演进深度学习的发展并非一蹴而就，而是历经数十年的理论积淀与技术突破。从1943年首个人工神经元模型的提出，到反向传播算法解决训练难题，再到CNN与Transformer架构的颠覆性创新，最终迎来了大模型时代的全面爆发，每一步都见证了从理论构想到通用智能的跨越。10.2.1神经元模型的提出1943·M-P数学模型麦卡洛克和皮茨提出了人类首个神经元数学抽象模型——M-P模型。它定义了神经元的输入整合、阈值激发与输出逻辑，首次用数学语言刻画了大脑的基本计算单元，为人工神经网络的诞生奠定了最核心的理论基石。10.2.2感知机：第一个神经网络模型1957·感知机(Perceptron)罗森布拉特提出感知机，这是第一个真正意义上可训练的神经网络。它通过“试错法”自动调整神经元间的连接权重，成功解决了简单的线性分类问题，曾让学术界燃起“再造大脑”的狂热希望。yx1x2xn...输出w1w2wn10.2.3感知机的局限与研究低谷线性不可分的鸿沟你无法用一条直线将两类样本完美分割。这正是单层感知机无法逾越的数学障碍，成为了当时人工智能发展的致命伤。1969·寒冬降临：明斯基的诘难明斯基在《感知机》中严格证明：单层感知机无法解决非线性分类问题。这一结论引发了业界对神经网络的信心崩塌，导致科研经费骤减，人工智能研究陷入了长达近20年的“寒冬期”，直到多层网络与反向传播算法的出现才迎来转机。10.2.4多层感知机与反向传播算法的突破1986·反向传播算法鲁梅尔哈特、辛顿等人提出反向传播算法，将输出层的误差反向传递回隐藏层，逐层调整权重。多层神经网络的训练自此成为可能，神经网络研究迎来复苏。2006·深度学习的诞生辛顿等人提出深度信念网络，“深度学习”概念正式兴起。互联网带来的海量数据、GPU的并行算力以及ReLU等算法创新，共同为深度学习的爆发积蓄了力量。2012·AlexNet的突破辛顿团队用卷积神经网络AlexNet在ImageNet竞赛中一举夺冠，错误率远低于传统方法。这一事件标志着深度学习的全面崛起，此后它在计算机视觉、自然语言处理、语音识别等领域不断刷新纪录。10.2.5深度学习的崛起2017至今·Transformer与多模态时代Transformer架构推动了大语言模型的革命，多模态模型能同时理解图像、文字和语音。深度学习正向着更高效、更可解释、更通用的方向持续演进。10.2.6深度学习的现状与未来趋势深度学习的演进并非止步于历史突破，而是正站在规模红利与范式革命的分水岭。当前，多模态与Agent已成现实，但算力瓶颈与可解释性挑战倒逼产业回归理性。未来，架构革新、虚实融合的世界模型、以及模型自主持续进化将开辟新航道，推动人工智能从数据拟合走向真正具备推理与适应能力的通用智能体。内容导航第10章

深度学习基础10.1深度学习的定义10.2从感知机到深度学习演进10.3神经网络基本结构10.4卷积神经网络与视觉应用10.5循环神经网络与语言处理10.6深度学习训练与优化10.7人工智能、机器学习、神经网络、深度学习的关系AI10.3神经网络基本结构核心单元：人工神经元(ArtificialNeuron)

模拟生物神经元的信息处理机制，对输入信号进行加权求和并叠加偏置，随后通过非线性激活函数生成输出。这一机制赋予了神经网络捕捉复杂非线性特征的能力，是构建深层网络的基础计算单元。层级架构：标准三层协作体系

网络由输入层（接收原始数据）、隐藏层（特征提取与抽象）和输出层（生成预测结果）组成。其中隐藏层是核心，通过多层堆叠和非线性变换，实现对数据从简单到复杂的层级化特征表达，是深度学习实现智能化预测的关键。包含输入、隐藏、输出层的网络结构人工神经元内部结构y输入函数激活函数∑

f

x1x2xn

...输出w1w2wn10.3.1神经元y输入函数激活函数∑

f

x1x2xn

...输出w1w2wn核心单元：人工神经元(ArtificialNeuron)

模拟生物神经元的信息处理机制，对输入信号进行加权求和并叠加偏置，随后通过非线性激活函数生成输出。这一机制赋予了神经网络捕捉复杂非线性特征的能力，是构建深层网络的基础计算单元。人工神经元内部结构10.3.2输入层、隐藏层和输出层核心单元：人工神经元(ArtificialNeuron)

模拟生物神经元的信息处理机制，对输入信号进行加权求和并叠加偏置，随后通过非线性激活函数生成输出。这一机制赋予了神经网络捕捉复杂非线性特征的能力，是构建深层网络的基础计算单元。包含输入、隐藏、输出层的网络结构10.3.3激活函数赋予网络拟合复杂模式的能力，突破线性模型限制非线性的关键：三类激活函数：Sigmoid：映射至(0,1)区间，适合二分类输出，但易引发梯度消失问题。Tanh：映射至(-1,1)区间，均值为0，收敛速度与表现优于Sigmoid。ReLU：当前主流选择，计算极简(max(0,x))，有效缓解梯度消失，大幅加速训练10.3.4权重与偏置权重决定输入信号的重要程度——值越大影响越强，正值为促进，负值为抑制。偏置是神经元的“敏感度”调节器。训练的本质就是不断调整权重和偏置，让预测越来越准确。y输入函数激活函数∑

f

x1x2xn

...输出w1w2wn10.3.5手写数字识别输入图片(28×28)手写数字识别网络输入层：像素级感知

接收28×28像素的灰度图像，将其展平为784维的一维向量，每个神经元对应一个像素点的亮度值，作为网络的原始输入特征。隐藏层：特征深度提取

通过全连接层逐层抽象，从边缘、线条等底层视觉特征，逐步捕捉笔画结构、数字轮廓等高层语义特征，实现对输入信息的非线性变换。输出层：概率分布预测

包含10个输出神经元（对应数字0-9），利用Softmax激活函数将输出值归一化为0到1之间的概率分布，概率最大的神经元对应的数字即为预测结果。内容导航第10章

深度学习基础10.1深度学习的定义10.2从感知机到深度学习演进10.3神经网络基本结构10.4卷积神经网络与视觉应用10.5循环神经网络与语言处理10.6深度学习训练与优化10.7人工智能、机器学习、神经网络、深度学习的关系AI10.4卷积神经网络与视觉应用卷积神经网络(CNN)

专为处理网格状拓扑数据（如图像、语音）设计的深层神经网络，通过局部感知与权值共享大幅降低复杂度，是计算机视觉的核心模型。核心思想：局部连接：神经元仅关注输入的局部感受野；权值共享：同一卷积核在全图滑动复用权重，赋予模型平移不变性。01卷积层(Convolution)通过卷积核滑动，提取图像的边缘、纹理等底层特征，是特征提取的核心。02池化层(Pooling)对特征图进行下采样，降低维度并防止过拟合，保留关键的特征信息。03全连接层(FC)位于网络末端，将提取的局部特征整合为全局特征，最终输出分类或回归结果。10.4.1

卷积神经网络的定义卷积神经网络(ConvolutionalNeuralNetwork，CNN)是一种专为处理网格结构数据(如图像)设计的深度学习模型，通过卷积层提取局部特征、池化层压缩信息，并最终通过全连接层进行分类或回归等任务，广泛应用于图像识别、目标检测等领域。图10.8就是一种典型的CNN结构。10.4.2从全连接到卷积局部连接。在全连接网络中，每个神经元都与上一层的所有神经元相连。而在卷积网络中，每个神经元只与输人图像的一个局部区域相连，这个局部区域被称为感受野。权值共享。在图像中，同一个特征可能出现在不同的位置。人类在观察一张图片时，并不会同时关注所有像素。当我们看到一只猫，会先注意到它的耳朵、眼睛、胡须这些局部特征，然后将这些特征组合起来，形成对猫的整体认知。卷积神经网络的设计正是受到了这一过程的启发，引入了两个关键思想。10.4.3卷积层01卷积层(ConvolutionalLayer)作为CNN的“视觉感知核心”，卷积层通过可学习的卷积核在图像上滑动，计算局部像素的加权和，从而提取边缘、纹理、形状等关键特征，生成更抽象的特征图。关键特性：利用“权值共享”大幅减少参数量，降低过拟合风险；通过“局部感受野”聚焦图像局部细节，是深度学习识别图像的基础。10.4.4池化层02池化层(PoolingLayer)充当特征的“降维压缩器”，对卷积层输出的特征图进行下采样。在缩小特征图尺寸、降低计算量的同时，保持特征的空间不变性，增强模型对图像缩放、平移的鲁棒性。主流方式：最大池化（取局部最大值，强化纹理特征）与平均池化（取局部平均值，保留背景信息）。这不仅简化了后续计算，还能有效防止模型过拟合。10.4.5

特征的层层抽象卷积神经网络的强大之处，在于它能够通过多个卷积层和池化层的堆叠，自动学习从低级特征到高级特征的层层抽象，整个过程无需人工干预。水平边缘特征、垂直边缘特征、斜向边缘特征、纹理特征等输入图像10.4.6视觉应用的广阔天地01应用领域多元化

卷积神经网络的应用已远超图像分类。医疗领域辅助分析CT、X光片，自动检测早期病变；自动驾驶中实时识别行人、车辆和交通标志；安防领域支撑人脸识别，广泛用于手机解锁与门禁系统。工业质检、农业病虫害识别、遥感影像分析等场景也在加速落地。02技术能力的延伸

随着技术成熟，CNN正渗透到越来越多的行业。从产品表面瑕疵检测到农作物品种识别，从土地利用监测到环境变化分析，视觉智能的应用边界持续拓展。03国产技术生态建设

我国在人脸识别、医疗影像辅助诊断等领域积累了丰硕成果。百度飞桨、华为昇思MindSpore等国产深度学习框架为开发者提供了完整的工具链支持，推动国内AI技术创新与产业落地。内容导航第10章

深度学习基础10.1深度学习的定义10.2从感知机到深度学习演进10.3神经网络基本结构10.4卷积神经网络与视觉应用10.5循环神经网络与语言处理10.6深度学习训练与优化10.7人工智能、机器学习、神经网络、深度学习的关系AI10.5循环神经网络与语言处理循环神经网络(RNN)

RNN是一类专为序列数据如文本、语音、时间序列而设计的神经网络，通过循环连接捕捉数据在时间维度上的依赖关系。核心思想：记忆机制：引入隐藏状态(HiddenState)作为网络的“记忆”，当前时刻的输出不仅取决于当前输入，还融合了历史时刻的信息，实现信息的时序传递；参数共享：同一网络层在不同时间步共享参数，大幅减少模型参数量，使其能够灵活处理任意长度的序列输入。10.5.1循环神经网络的定义循环神经网络(RecurrentNeuralNetwork，RNN)是一类专门用于处理序列数据的人工神经网络模型，其核心特点在于具备“记忆”能力:通过隐藏状态在时间维度上传递信息，使模型能够捕捉上下文中的时序依赖关系。RNN广泛用于自然语言处理、时间序列分析等需要上下文关联的任务。与传统的神经网络不同，RNN采用循环连接结构，即当前时刻的输出不仅依赖于当前输人，还依赖于前一时刻的隐藏状态，从而能够对动态序列中的前后关联进行建模。今天天气真好，我们一起去公园____10.5.2记忆与传递循环神经网络的核心可以用一句话概括:让网络拥有记忆。它通过一个称为“隐藏状态”的向量来存储历史信息。每处理一个新的输入，网络会结合当前的输入和上一个时刻的隐藏状态，更新出新的隐藏状态，同时产生当前时刻的输出。同一个网络在不同时刻使用的是相同的参数。这意味着循环神经网络可以处理任意长度的序列，无论句子有5个词还是50个词，网络结构本身不需要改变。这种设计让它天然适合处理文本、语音等长度不固定的数据。今天天气真好，我们一起去公园____10.5.3

处理长距离依赖的改进版本（1）RNN的核心局限：长距离依赖难题梯度传播的致命缺陷：标准RNN在反向传播更新参数时，梯度需沿时间步连乘传递。当序列较长时，梯度会因连乘快速趋近于0（梯度消失）或无穷大（梯度爆炸），导致模型无法学习到序列中相隔较远的信息关联。建模能力的瓶颈：由于短期记忆的“冲刷”效应，RNN难以记住早期输入的关键信息，仅能有效捕捉短序列内的局部依赖，无法应对长文本、语音信号、时间序列预测等需要长程记忆的复杂任务场景。（2）主流改进模型：LSTM与GRULSTM（长短期记忆网络）：通过输入门、遗忘门、输出门的门控机制，精准控制信息的“写入、删除、输出”，从根本上解决梯度消失问题，可稳定学习长达数百个时间步的长距离依赖。GRU（门控循环单元）：对LSTM的门控结构简化，合并遗忘门与输入门为“更新门”，减少了参数数量与计算量，训练速度更快，在轻量化场景中表现优异。10.5.4以情感分析为例“这部电影非常精彩，演员演技出色，值得一看。”（1）词嵌入：将文字转化为向量文本无法被计算机直接理解，需先转换为数值形式。词嵌入将每个词映射为一个固定长度的向量，语义相近的词在向量空间中距离较近，如“精彩”与“出色”位置接近。转换后的词向量序列依次输入RNN。正面情感？负面情感？（2）RNN的语义积累过程网络从左到右逐词读取，并持续更新隐藏状态。“电影”记录主题，“精彩”加入正面评价，“出色”强化正面信号，“值得一看”确认情感倾向。整个句子处理完毕后，最终隐藏状态承载了完整语义与情感信息。（3）输出与应用将最终隐藏状态输入分类层，输出“正面”或“负面”的判断结果。该技术广泛应用于电商评论分析、社交媒体舆情监测和电影观众喜好统计等场景。10.5.5语言处理的广阔天地01核心应用场景

机器翻译采用编码器-解码器结构，将源语言编码为上下文向量再逐词生成目标语言；文本生成可实现自动续写与输入法下一词预测；语音识别将语音信号序列转换为文字；命名实体识别从文本中识别人名、地名、机构名等专有名词。02技术能力的延伸

RNN及其变体擅长处理序列数据，核心在于对上下文信息的建模能力。机器翻译需完整理解源语再生成目标语言，文本生成依赖前文语境预测后续内容，语音识别利用时序依赖关系，命名实体识别需结合上下文判断词义。这些任务的共性，是捕捉序列中的长距离依赖。。03国产技术生态建设

国产深度学习框架对RNN、LSTM及Transformer提供原生支持，中文预训练模型持续突破，智能客服、机器翻译等产品广泛应用，展现了国内NLP领域的技术积累与创新能力。内容导航第10章

深度学习基础10.1深度学习的定义10.2从感知机到深度学习演进10.3神经网络基本结构10.4卷积神经网络与视觉应用10.5循环神经网络与语言处理10.6深度学习训练与优化10.7人工智能、机器学习、神经网络、深度学习的关系AI10.6深度学习训练与优化01模型训练的核心目标寻找一组最优的参数（权重W与偏置b），使得模型在特定任务场景下的预测输出与真实结果之间的误差达到最小，这是深度学习模型从数据中“学习”规律的根本方向。02损失函数：误差的量化标尺用于衡量模型预测值与真实标签差异的数学函数，是反向传播算法中指导参数更新的核心依据。常见类型包括：均方误差(MSE)：适用于回归任务，计算预测值与真实值差值的平方均值，对偏离较大的异常值反应敏感。交叉熵损失(Cross-Entropy)：适用于分类任务，量化模型输出概率分布与真实标签分布的差异，是图像分类、自然语言处理等任务的首选。y输入函数激活函数∑

f

x1x2xn

...输出w1w2wn10.6.1训练目标10.6.2损失函数10.6.3梯度下降10.6.4反向传播（1）梯度下降(GradientDescent)核心逻辑：类比“下山寻谷”，沿着损失函数梯度的反方向不断迭代更新模型参数，逐步逼近函数最小值点，是优化模型的基础策略。关键控制：学习率（LearningRate）决定每次参数更新的步长，是平衡收敛速度与稳定性的关键超参数。（2）反向传播(Backpropagation)算法原理：基于微积分链式法则，从神经网络的输出层向输入层反向推导，逐