机器学习及其应用课件 第6章-神经网络与深度学习

6.1神经网络概述6.4神经网络应用6.3深度学习基本知识6.2神经网络常用模型第六章神经网络与深度学习6.1神经网络概述6.1.1神经元与感知机6.1.2前馈网络模型6.1.3模型训练基本流程核心概念探索神经网络的最小单元——神经元，并了解其最早的模型实现——感知机本章概要这是第⼀部分的开篇页，介绍本章将围绕神经元和感知机展开。01神经元与感知机核心理念人工神经网络的设计灵感来源于生物大脑的基本处理单元——神经元。1基本结构(Structure)主要由树突（接收输入）、细胞体（整合处理）和突触（输出信号）三部分组成。2信息传递(Transmission)信号在细胞体内整合，当强度超过阈值时被激活，向下游传递。这是“激活函数”的原型。3连接强度(ConnectionStrength)突触连接有强有弱，决定了信号的影响力。这构成了人工网络中“权重(Weights)”的生物学基础。1.1从生物到人工：模型的启发核心概念：

人工神经元是模拟生物神经元的简化数学模型（M-P模型），通过加权求和与非线性激活产生输出。1接收输入(Input)神经元接收来自多个输入源的信号，记为：

23

1.2人工神经元：数学抽象每一个神经元都是一个函数计算：

加权求和加常数函数1.3加权求和：线性表达什么是“线性”？复习时间越长，考试分数越高，这种关系在图上是一条直线。神经网络中，神经元首先进行的就是这种线性的“加权求和”。为什么必须要有它？构建基础：如同搭建大厦的砖块。初步提取：寻找数据中最直接的特征。可以看作神经网络的“直脑筋”思考方式，是理解世界的基础起点。线性关系示意图：输入与输出呈简单的正比关系Sigmoid函数ReLU(修正线性单元)tanh(双曲正切)Softmax/阈值函数为什么需要激活函数？引入非线性如果没有非线性激活函数，多层神经网络本质上等同于⼀个单层线性模型，无法解决复杂问题。控制输出范围将无限的输入空间映射到有限的输出范围（如[0,1]或[-1,1]），便于信号传递和概率解释。图⽰：激活函数将⾮线性引⼊神经⽹络结构常见的激活函数类型“激活函数为神经网络引入非线性，使其能够学习和拟合复杂的非线性关系。”核⼼理念1.4

核心组件：激活函数单极性阈值函数双极性阈值函数

特点:输出-1，1，对称，零均值，更适合表示正负信号缺点:和单极性一样：不可导、梯度为0，不能用于反向传播；鲁棒性差1.4.1阈值函数

Sigmoid函数经典激活函数tanh函数(双曲正切)零中心化

特点:输出范围(-1,

1)，零中心，收敛速度通常快于Sigmoid。缺点:在输⼊值过大或过小时，同样存在梯度消失问题。函数图像对⽐1.4.2Sigmoid与tanh函数

1.4.3ReLU与Softmax函数1.4.4

激活函数应用场景“非黑即白”的硬开关：阈值函数像老式电灯开关，力量够就全亮，不够就全灭，没有中间状态。场景：简单的二元决策场景。“温柔细腻”的压缩器：Sigmoid&Tanh像光滑滑梯，将任意输入挤压到固定区间，输出平滑连续。场景：输出概率值、数据居中。“直来直去”的快行道：ReLU&LeakyReLU像耿直门卫，正数放行，负数清零或打折，计算极快。场景：现代DNN中间层首选。“多选一”的裁决者：Softmax像比赛记分牌，将分数转换为各类别的获胜概率。场景：输出层，解决多分类问题。

1.5感知机模型01目标函数

最小化所有错分样本到决策超平⾯的总距离。核心思想感知机算法的核⼼是“错误驱动”。通过不断迭代，根据错分样本的梯度调整权重，直到所有样本被正确分类（线性可分情况下）。

⼏何解释1.6感知机学习规则问题描述

模型与参数定义模型公式参数向量输⼊向量

5samples,2features样本序号

类别121-12

12+1333+1441-1552-1

数据分布可视化1.6.1

感知机模型案例Step1初始化初始化参数向量初始权重和偏置均设为零向量。

Step2.1样本检验处理首个样本

Step2.2参数更新计算

1.6.1计算流程：首次迭代与参更新

分类判断3ErrorDetected

3.更新参数(UpdateRule)

w214步骤4：收敛结果循环检查机制将更新后的模型再次作⽤于数据集，若仍存在错分点，则重复参数更新步骤，直⾄所有样本正确分类。步骤3：参数修正迭代

T

1.6.1计算流程：持续迭代与最终结果

第二部分：前馈神经网络通过堆叠神经元构建多层网络，突破线性限制，解决复杂问题。02前馈神经网络模型核心概念将没有环路或回路的人工神经网络称为前馈网络模型。感知机是一种最简单的前馈网络模型。

本章概要这是第二部分的开篇页，介绍本章将围绕多层感知机（MLP）展开。2.1

前馈神经网络1感知机的局限单层感知机只能解决线性可分问题，无法处理像“异或(XOR)”这样的非线性逻辑，这限制了其处理复杂任务的能力。2解决方案：增加隐藏层通过在输入层和输出层之间引入⼀个或多个“隐藏层”，网络能够从数据中学习到更抽象、更复杂的特征表示。3多层感知机(MLP)MLP是⼀种典型的前馈神经网络。信息流从输入层单向流经隐藏层到达输出层，层与层之间全连接，无反馈环路。4理论能⼒通⽤近似定理表明：只要隐藏层拥有足够多的神经元，单隐藏层的MLP理论上可以以任意精度拟合任何连续函数。图⽰：多层感知机(MLP)基本结构输入层(Input)→隐藏层(Hidden)→输出层(Output)2.2为何需要更深的网络？核心概念前向传播是信息从输入层逐层计算并传递到输出层的过程。1输⼊层→隐藏层

矩阵形式2隐藏层→输出层标量形式(输出层)矩阵形式MLP架构示意图

2.3信息如何流动：前向传播

理解MLP如何通过分层非线性映射解决分类问题，并掌握BP算法如何利用链式法则逐层计算梯度以训练网络。课程概览本节将系统介绍多层感知机（MLP）的基本概念，区分二分类和多分类模型的结构差异，并深入讲解其参数学习的核心算法——反向传播（BP）神经网络的原理与公式推导。MLP多层感知机结构⽰意神经⽹络基础：MLP与BP算法解析2.4二分类和多分类MLP核心理念核心观点01⼆分类MLP二分类模型结构特性：通常包含隐含层，关键在于输出层仅含单个神经元。核心机制：使用Sigmoid激活函数，将值映射⾄(0,1)，表示正例概率。多分类模型(BP)02多分类MLP2.4.1两种核心MLP模型：二分类与多分类MLP模型的输出层结构决定了其应用场景：单个输出神经元用于二分类，多个输出神经元用于多分类。

核心机制：使用Softmax函数，输出概率分布（总和为1）。本页详细拆解了二分类MLP模型的前向传播过程。数据通过加权求和与非线性激活（Sigmoid）逐层计算，最终输出概率值。?

2.4.2二分类MLP模型：公式详解

核心理念BP神经网络通过在输出层使用Softmax函数，将模型的原始线性输出转变为⼀个清晰的概率分布。这⼀机制是解决多分类问题的关键，确保了输出结果具有明确的统计意义（互斥且和为1）。输出层机制解析

2.Softmax数学原理3.关键特性

••

2.4.3BP神经网络模型：Softmax

核心思想基于链式求导法则，逐层反向求解梯度。示例解析：简单嵌套函数求导1

2反向计算(逐层)3链式组合(结果)将各层梯度相乘，得到最终结果。BP算法正是利⽤此原理从输出层向输入层反推。

2.4.4BP算法原理：链式法则与梯度计算

12.权重更新法则基于梯度下降，权重更新量与损失函数对该权重的负梯度成正比。

核心思想

BP算法通过定义损失函数和梯度下降规则，利⽤链式法则将全局误差反向传播。梯度的计算被分解为“误差项”、“激活导数”和“前层输出”三者的乘积，为层层递推奠定基础。

2.4.5BP算法推导：从目标函数到梯度更新

核心理念掌握训练神经网络的标准范式，从数据准备到模型优化与验证。本章概要这是第三部分的开篇页，将详细拆解神经网络训练的五个关键步骤，并重点讲解反向传播算法。03模型训练全流程核心理念：神经网络的训练遵循⼀个标准流程：从数据准备到模型验证。3.1训练流程概览5数据准备与预处理收集、标注、划分数据集（训练/测试），并进⾏数值化、归⼀化等预处理。

模型初始化构建网络结构（层数、神经元数量），并初始化权重和偏置参数。

确定优化目标选择合适的损失函数（如MSE、交叉熵）来衡量模型预测与真实值之间的差距。

模型优化求解使⽤优化算法（如梯度下降）和反向传播，根据损失函数调整模型参数。

验证模型性能在测试集上评估模型性能，并根据结果进行调优。核心概念损失函数是衡量模型预测有多“差”的标尺，是模型优化的依据。回归问题均分误差(MSE,MeanSquaredError)用途：常用于预测连续值（如房价、温度）。单样本公式：⽬标函数(数据集)：分类问题交叉熵损失(Cross-EntropyLoss)用途：常用于预测类别（如图片分类）。⼆分类公式：多分类公式：3.2定义“好”与“坏”：损失函数

核心思想：双向传递12反向传播(Backward)利⽤链式法则，将误差从输出层逐层向后传播：链式法则公式(局部梯度分解⽰例)为何需要反向传播？复杂性挑战：神经网络是⼀个深度嵌套的复合函数，直接对所有参数求导计算极其复杂且低效。解决方案：BP算法利⽤导数的链式法则，将复杂的全局梯度计算分解为⼀系列简单的局部梯度乘积。

3.3误差如何指导更新：反向传播算法

2.链式法则将梯度分解为三个偏导项4.最终公式

3.3.1BP推导细节(1)

核心思想：隐藏层梯度计算隐藏层权重的梯度无法直接通过标签计算，需利用反向传播的输出层误差间接求解。链式法则应用：定义误差项：|

梯度:步骤1:误差回传计算后⼀层传回的加权误差总和。步骤2:激活导数隐藏层激活函数的局部梯度。

3.3.2BP推导细节(2)

核心思想计算出梯度后，使用梯度下降法更新网络中的所有权重和偏置。参数的新值等于旧值减去学习率乘以该参数的梯度。

3.4如何更新参数：梯度下降1详细步骤1

从单个神经元到复杂网络，再到完整的训练流程，我们构建了神经网络的基础知识体系。神经元与感知机神经网络源于对生物神经元的模拟，最简单的感知机模型揭示了其线性分类的本质和基于误差的学习规则。前馈神经网络通过引入隐藏层和非线性激活函数，MLP能够学习复杂的数据模式。信息通过前向传播产生预测。模型训练流程神经网络的学习核心在于通过反向传播算法高效计算梯度，并利用梯度下降等优化方法，以最小化损失函数为目标，迭代调整网络参数。04课程回顾与总结6.2神经网络常用模型6.2.1自编码器6.2.2玻尔兹曼机6.2.3模型训练基本流程在机器学习任务中，数据编码至关重要，例如特征提取和降维。自编码器的核心思想是：12

3

自编码器：基本概念自编码器是⼀种通过编码和解码过程，学习对数据进行有效表示的无监督神经网络模型。介绍自编码器的基本定义，强调其作为一种数据编解码模型，通过重构输入来学习数据的有效表示。

优化目标:

(最小化结构误差)编码器Encoder解码器Decoder

01自编码器详解3

自编码器模型结构图1.1自编码器的网络结构自编码器的网络结构直观地体现了其编码功能：自编码器前向传播网络结构

2

1.2数学原理：前向传播

1.3模型训练与优化目标

隐含层维度决定编码类型降维(UndercompleteAE)

VS.升维(OvercompleteAE)1.4功能：降维与升维

学习稀疏表示

稀疏自编码器架构图示被激活的少数神经元受处罚抑制的神经元1.5.1自编码器种类：稀疏自编码器

迫使模型忽略噪声，学习本质结构核心思想

原始⼲净数据

破坏后输⼊

编码器

鲁棒特征表⽰解码器重构数据

1.5.2自编码器种类：降噪自编码器如上图所示，处理MNIST图像时，输入层和输出层均为784个神经元，对应28x28的像素。降噪自编码器模型架构示例

1.5.3降噪自编码器：训练与实例核心原理与展示降噪自编码器能够有效去除图像中的噪声，恢复出清晰的原始图像。通过对比MNIST数据集加噪前后及降噪后的图像，直观展示降噪自编码器的实际应用效果。上图：MNIST数据集中加入高斯白噪声的数字图像。下图：经过训练的降噪自编码器处理后的降噪效果图。1.5.4降噪自编码器：效果展示

以MNIST手写数字数据集为例，首先对原始图像加入高斯白噪声，得到被破坏的图像（如上图所示）。然后，将这些加噪图像作为输入，原始清晰图像作为目标来训练降噪自编码器。训练完成后，当输入新的加噪图像时，模型能够输出恢复后的清晰图像（如右下图所示），展示了其强大的数据去噪和特征学习能力。学习到的低维编码可以作为原始数据的一种紧凑表示，用于后续任务或可视化分析。编码器部分可以作为预训练模型，为监督学习任务（如分类）提供有效的特征。降噪自编码器可以直接应用于去除噪声，恢复图像、音频等信号的原始清晰状态。由于模型学习的是正常数据的分布，对于异常数据，其重构误差会显著增大，可用于检测异常点。变分自编码器（VAE）等高级变体是强大的生成模型，能够生成新样本，且与训练数据极其相似。数据降维与可视化特征提取数据去噪异常检测生成模型基础自编码器在数据降维、特征提取和生成模型等领域有着广泛的应用。1.6自编码器的应用12核心观点：自编码器作为⼀种基础的无监督模型，优点是结构简单、无需标签，但其学习到的特征可能解释性不强。通过辩证地分析其优势与局限，可以全面理解该模型在实际应用中的潜力和挑战。优点(Advantages)无监督学习：不需要人工标注数据，可以利用海量无标签数据进行训练。结构灵活：可以构建多层（堆叠自编码器）以学习更复杂的特征。应用广泛：在数据压缩、去噪、特征学习等方面效果显著。结构简单、无需标签缺点(Disadvantages)特征解释性：学习到的隐含层特征通常是抽象的，缺乏明确的物理或语义解释。重构目标局限性：过于关注像素级别的重构，可能无法捕捉到更高层次的语义信息。训练难度：深度自编码器可能会面临梯度消失等训练难题。特征解释性差、训练可能困难VS.1.7自编码器：优缺点分析基于能量的模型玻尔兹曼机是一类基于能量函数的随机神经网络模型，通过最小化系统能量来达到稳定状态。核心思想是通过最小化能量来模拟数据的分布。模型原理解析图例：系统能量最小化示意图02玻尔兹曼机剖析

与传统神经网络从误差最小化角度设计目标函数不同，玻尔兹曼机从系统稳定性的角度出发。物理系统中，系统越稳定，其能量越低。玻尔兹曼机借鉴了这一思想，为网络模型设计了⼀个能量函数，通过优化该能量函数（使其最小化）来求解模型参数。它是⼀种反馈神经网络，能够学习训练数据的概率分布，并可用于数据编码和模式完成。玻尔兹曼机网络结构图核心思想：玻尔兹曼机由可视层和隐含层构成，所有神经元之间两两全连接且连接权重无方向性。

2.1玻尔兹曼机的网络结构15核心思想

激活概率该神经元输出为1的概率服从Sigmoid函数，引入温度参数T：

2.2神经元状态与温度

神经元在更新状态时，倾向于选择使整个网络能量降低的输出值。这种机制使得网络在运行时，其能量函数值总体呈下降趋势，最终收敛到⼀个能量较低的稳定状态，这对应了对输入数据的一种有效编码或模式记忆。

2.3能量函数与系统稳定性

⼀、确定连接权重：最大似然估计1.对数似然函数：

2.两个运行阶段：

⼆、权重更新：梯度上升法

玻尔兹曼机权重更新

2.4玻尔兹曼机权重更新⼀、稳态与能量最小化

⼆、模拟退火算法模拟退火算法的思想是：从较高的初始温度开始，允许网络广泛探索，然后逐步缓慢降低温度（退火），使网络最终稳定在全局能量最低点。该算法在通过最大似然估计确定最优权重后执行。1

2

3

否则以概率接受高能量状态以跳出局部最优，接受概率为：

4判断稳态未达到热平衡，返回步骤(2)。5

求解稳态模型：模拟退2.5求解稳态模型：模拟退火算法核心思想：由于玻尔兹曼机训练复杂，实际中常用其简化版——受限玻尔兹曼机（RBM）。标准的玻尔兹曼机网络连接约束遇到瓶颈引入约束受限玻尔兹曼机(RBM)的计算优势神经元之间全连接，无层级限制。模型参数庞大，导致计算量巨大。训练非常耗时，难以达到模型期望的热平衡。•••层内无连接：可视层内部、隐含层内部的神经元之间没有连接。•层间全连接：网络络的连接仅存在于可视层和隐含层之间。•大大简化了模型结构，使得在给定可视层状态时，所有隐含层单元的激活具有条件独立性。由于独立性，可以进行高度并行且高效的Gibbs采样。••2.6简化模型：受限玻尔兹曼机(RBM)

RBM是深度置信网络（DBN）等深度学习模型的基础构建块单层RBM可以学习到输入数据中的低层特征。因其高效的无监督学习能力，在深度学习发展早期扮演了重要角色。特征检测器可以通过堆叠多个RBM来构建深度置信网络(DBN)。训练过程是贪婪的、逐层的：先训练第⼀层RBM，然后将其隐含层输出作为第⼆层RBM的输入进行训练，以此类推。这种方法为深度网络的权重提供了⼀个很好的初始值，有效缓解了深度学习的训练难题。逐层预训练DBN在分类·回归·降维等任务中都取得了成功。应用2.7RBM的角色与应用优点强大的表示能力：能够学习和表示复杂的数据概率分布。生成模型：可以从学习到的分布中采样，生成新的数据。理论基础：为理解基于能量的深度学习模型提供了理论框架。理论完备，具备强大的生成与表示能力缺点训练极其困难：

标准玻尔兹曼机的训练需要长时间的采样过程才能达到平衡，计算成本极高。RBM的近似：实际应用的RBM和CD-K算法是对原始模型的近似，虽然高效但牺牲了理论上的精确性。模型选择：隐含层单元数等超参数难以确定。计算成本高昂，依赖近似算法与经验调参VS.2.8玻尔兹曼机：优缺点分析

特征自编码器玻尔兹曼机网络类型前馈网络反馈网络模型性质确定性模型随机/概率模型核心思想最小化重构误差最小化系统能量/最大化数据似然连接有向连接无向连接主要功能数据降维、特征学习、去噪概率分布建模、生成数据训练算法反向传播(Backpropagation)最大似然、对比散度(CD-K)实用性变体（如VAE）非常流行主要是其简化版RBM被⼴泛应用核心特征对比：自编码器是确定性的前馈网络，用于数据重构和降维；玻尔兹曼机是随机的反馈网络，用于概率分布建模。内容概述：本页通过表格形式，从网络类型、模型性质、核心思想、连接方式、主要功能和训练算法等多个维度，对自编码器和玻尔兹曼机进行系统性对比。03总结自编码器和玻尔兹曼机分别代表了神经网络中两种不同的设计哲学，为无监督学习提供了强大的工具，自编码器在数据表示学习和玻尔兹曼机在概率分布建模中具有极高的核心价值和影响力。1.自编码器：通过“编码-解码”的直观框架，高效地学习数据的紧凑和鲁棒表示，在特征工程和作为更复杂模型（如生成对抗网络）的一部分中发挥着关键作用。2.玻尔兹曼机：引入了基于物理学能量函数的深刻思想，使其能够对复杂的数据分布进行建模，其简化形式RBM推动了早期深度学习的发展，为深度模型的预训练提供了有效途径。理解这两种模型的原理和差异，对于掌握神经网络的多样性及其在解决不同类型问题上的应用至关重要。3.1核心要点回顾6.3深度学习基本知识6.3.1浅层学习与深度学习6.3.2深度堆栈网络6.3.3深度置信网络核心观点深度学习通过增加网络层数，而非单一层内节点数，来更有效地提升模型拟合复杂函数的能力。演进与优势本页阐述从浅层学习到深度学习的演进。首先定义神经网络旨在模拟映射函数，然后通过右图解释为何增加隐含层比增加节点数更能提升模型表达能力，因为它引入了嵌套的非线性映射。最后提及2006年Hinton的突破和GPU发展共同推动了深度学习的研究浪潮。多层嵌套逼近复杂函数示意图01浅层学习与深度学习引言/Overview：本页概述深度学习训练过程中的两个主要障碍。一是模型退化，其直接原因是梯度消失现象，导致网络深层部分无法有效学习。二是由于目标函数的高度复杂性，优化过程容易陷入局部最小值或鞍点，无法达到全局最优。1

模型退化与梯度消失现象在深层网络中，靠近输入层（前几层）的参数梯度变得极其微小，接近于0。后果导致前几层的网络参数在训练中几乎不被更新，使得网络的前几层无法有效学习特征，样本分布在早期就被打乱，最终影响整个模型的性能。2 易陷入局部最优原因深度网络的目标函数（损失函数）极其复杂，形成了非凸的曲面，存在大量的局部最小值点和鞍点。后果优化算法（如梯度下降）可能在这些非最优点处停止更新（因为梯度为0），导致模型收敛到⼀个次优解，而非全局最优解。1.1深度学习的核心挑战核心观点在反向传播中，由于Sigmoid等激活函数的导数小于1，梯度的链式法则导致梯度值逐层连乘衰减，在深层网络中引发梯度消失。模型输出目标函数与梯度推导结论图解说明：

Sigmoid函数及其导数（梯度）的取值情况，显示其导数恒小于1。

51.2重点推导：梯度消失的链式法则

概述：本页将阐述深度生成模型的核心思想，即对数据联合概率分布的建模，并介绍其两大核心功能：生成新样本（如数据增强）与学习数据的高级特征表示，同时列举其在图像、文本等领域的关键应用。核心观点：深度生成模型通过学习训练数据的真实概率分布，以生成全新的、与真实数据相似的样本，并学习数据的高层特征表示。

核心功能与应用1生成虚拟样本与数据增强功能：利用学习到的数据分布，创造出新的、逼真的数据样本。应用：在计算机视觉中生成高清图像，在自然语言处理中生成流畅文本，或通过生成虚拟样本扩充稀疏数据集（样本增强），以提升下游模型的训练效果。2学习高层特征表表示功能：模型（如深度自编码器、DBM）在学习过程中，能够逐层提取和编码原始数据的高级抽象特征。1.3深度生成模型：建模与应用应用：这些特征表示可用于多种任务，如数据降维、异常检测、信息检索以及作为其他复杂模型的优质初始权重。1核心观点常见模型与生成模型对比深度判别模型专注于分类任务，通过直接对后验概率P(y|X)建模来区分不同类别。

深度卷积网络(CNN)：一类前馈网络，通过卷积和下采样层处理矩阵数据，在计算机视觉任务中能力强大。深度循环神经网络(RNN)：专门用于处理时序关系强的任务。生成模型关注数据是如何生成的（学习联合分布），而判别模型只关注类别之间的差异（学习条件分布）。1.4深度判别模型：建模与应用2深度堆栈网络（DSN）通过逐个训练自编码器并堆叠其编码器部分，实现对深度网络的有效初始化，再通过全局微调优化模型。为解决深度网络训练困难的问题，一种有效策略是“逐层预训练”，即赋予模型⼀组较好的初始参数。深度堆栈网络（DSN）正是基于此思想构建的。核心思想使用多个自编码器（Autoencoder）进行堆叠，自编码器是⼀种通过无督学习来学习数据有效特征表示的模型。构建过程图解说明：展示了编码器逐层堆叠的过程。每个EC是前⼀个训练好的自编码器的编码部分。

02深度堆栈网络(DSN)核心思想深度堆栈网络(DSN)通过堆叠多个预训练好的自编码器来解决传统深层网络训练困难的问题。核心在于通过逐层无监督预训练自编码器，并将它们的编码器部分进行堆叠，以获得良好的网络初始权重，即“逐层贪心训练”。训练第⼀个自编码器使用原始数据集（如MNIST的784维向量）训练⼀个自编码器（例如输⼊784，隐含层256，输出784）。目标是最小化重构误差。获取高层特征将第⼀个自编码器的隐含层输出作为新的训练集，为下⼀层特征提取做准备。训练后续自编码器使用上一步生成的特征集，训练第⼆个自编码器（例如输⼊256，隐含层XXX，输出256）。重复堆叠重复步骤2和3，直到构建所需层数的自编码器。每次训练都是在⼀个更高层的特征空间上进⾏。12342.1构建DSN：逐层预训练

1目标函数

2

72.2重点推导：DSN目标函数与优化核心思想通过在预训练的DSN上进行全局监督微调，可以显著提升模型性能，有效避免梯度消失等问题。全局微调流程(Fine-tuning)1添加输出层在堆叠好的编码器网络末端，添加⼀个适用于具体任务的输出层（如用于分类的Softmax层）。此时，从输入层到最后⼀个隐含层的权重已通过预训练获得，只需随机初始化输出层权重。2监督学习训练使用带标签的原始训练集（如MNIST及其标签），以交叉熵等损失函数为目标，通过反向传播算法调整网络中的所有参数。MNIST实例结果对比*图⽰：展⽰了⼀个包含5个隐含层的完整深度堆栈⽹络结构。2.3构建DSN：全局微调与结果4深度置信网络（DBN）是另一类重要的深度生成模型，它通过堆叠多个受限玻尔兹曼机（RBM）来构建。玻尔兹曼机（BM）：是一种基于能量的随机神经网络，神经元间全连接，导致训练非常耗时。受限玻尔兹曼机（RBM）：是对BM的简化。它包含一个可视层和一个隐含层，但层内神经元之间无连接，只有层间神经元全连接。这一“受限结构”结构大大简化了模型的训练过程。DBN的构建与DSN类似，DBN也采用逐层预训练的方式：训练第一个RBM：使用原始数据训练一个RBM，学习数据的特征表示。堆叠训练：将第一个RBM的隐含层激活状态作为第二个RBM的可视层输入，继续训练第二个RBM。重复堆叠：以此类推，堆叠多个RBM，形成一个深层结构。DBN的特点：混合连接，预训练完成后，DBN的顶两层是无向连接（RBM特性），而其他层之间是自上而下的有向可视层(Visible/Input)03

深度置信网络(DBN)从BM到RBM本页介绍深度置信网络（DBN）的构建方法，其基础是逐层预训练受限玻尔兹曼机（RBM）。详细描述了从训练第⼀个RBM到堆叠形成DBN的完整预训练过程。核心思想：DBN通过逐层贪心算法训练并堆叠多个RBM，从而学习数据从低到高多个层次的特征表示。训练第一个RBM使用原始数据集（如1000张MNIST图像的784维向量）训练第一个RBM，通过最大化对数似然函数来拟合数据分布。获取高层特征将第一个RBM对训练样本产生的隐含层状态，作为新的训练集。训练并堆叠后续RBM使用上⼀步的隐含层状态集训练第⼆个RBM，以此类推，逐层堆叠。形成DBN结构将训练好的RBM堆叠起来。顶层是标准的RBM（⽆向连接），而下层则看作是自顶向下的有向信度网络。本例构造了⼀个含两个RBM的DBN模型。DBN模型结构(2个RBM堆叠)模型图⽰12343.1构建DBN：基于RBM的逐层预训练核心思想：RBM通过最大化数据的对数似然函数进行训练，并使用梯度上升法更新参数，其中梯度计算采用高效的对比散度算法近似。本页重点推导DBN中RBM的训练过程。首先，阐明训练目的是使用最大似然估计来拟合数据分布。其次，给出了对数似然函数和使用梯度上升法进行参数更新的公式。然后，指出了直接计算梯度的困难，并引入了实际中广泛使用的对比散度（CD-k）算法作为高效的近似解决方案。最后，说明了如何将训练好的RBM进行堆叠。最大似然估计参数优化(梯度上升)

梯度计算的挑战与对比散度(CD-k)网络堆叠机制：完成⼀个RBM的训练后，记录所有训练样本对应的隐含层状

3.2重点推导：DBN模型训练详解

训练好的DBN不仅能进行特征提取，其主要功能是生成与训练样本同分布的新数据。通过对DBN进行微调并利用其对称权重结构，可以从一个类别标签出发，反向计算生成对应的图像数据。1添加输出层：为堆叠好的网络添加一个输出层（如10个节点对应0-9数字），并使用训练样本进行微调。2

生成过程1输入标签：从调整后的网络输出层输入一个特定数字的独热编码向量（例如，代表数字

‘5’

的向量）。2反向计算：利用对称权重，将信号从输出层反向传播至输入层（可视层）。3生成图像：输入层最终得到的784维向量，即为模型生成的对应数字的图像。3.3DBN生成手写数字：微调与生成过程模型调整与微调深度学习模型的基本类型

深度生成模型

深度判别模型

04总结1从浅层到深度深度网络通过多层非线性变换获得更强的函数逼近能力。2核心挑战与对策梯度消失和局部最优是主要障碍，通过ReLU等激活函数和逐层预训练等方法可以有效缓解。3深度堆栈网络

(DSN)通过堆叠预训练的自编码器来构建，核心是最小化重构误差。4深度置信网络

(DBN)通过堆叠预训练的受限玻尔兹曼机（RBM）似然来构建，核心是最大化数据似然。核心结论DSN和DBN作为早期深度学习的代表，其“逐层无监督预训练+全局有监督微调”的范式，为训练深度网络提供了关键思路，成功解决了深层模型难以训练的问题，为后续深度学习技术（如CNN、RNN）的蓬勃发展奠定了重要基础。04总结046.4神经网络应用6.4.1Pytorch环境搭建6.4.2光学字符识别6.4.3自动以图搜图核心理念介绍神经网络在

光学字符识别

和

以图搜图领域

的实际应用，并提供从环境搭建到项目实践的完整教学路径。课程概览本幻灯片是关于神经网络应用的教学课程的封面，介绍了三大核心主题：PyTorch环境搭建、光学字符识别（OCR）应用和以图搜图（CBIR）应用。课程详情本课程旨在介绍神经网络领域的两大核心应用：光学字符识别（OCR）与以图搜图（CBIR）。课程将从基础的PyTorch深度学习框架环境搭建开始，逐步深入到两大应⽤的原理、模型构建、数据处理及代码实现，为学习者提供⼀套完整、可实践的神经网络应用知识体系。01神经网络应用：从入门到实践PyTorch是由Facebook的AI研究团队发布的、基于Python的深度学习框架，因其配置简单、使用灵活而广受欢迎。安装步骤

选择配置：根据操作系统、编程语言、包管理器和CUDA版本选择相应选项。

执行指令：官网会自动生成对应的安装指令，复制到命令行窗口并执行即可。bash—典型CPU版本安装pip3installtorchtorchvisiontorchaudio*提示：复制上述命令到命令行工具中执行即可完成环境搭建1.1PyTorch框架介绍与安装123访问官网：进入PyTorch官方网站。安装完成后，需要验证PyTorch环境是否搭建成功。验证方法：2依次输入以下导入命令：importtorchimporttorchvision3如果系统没有报告任何错误，并成功跳转到下一行，即表示PyTorch及其图像处理库torchvision已成功安装，环境搭建完成。可以进⼀步通过

print(torch.__version__)

来查看当前安装的版本号。1.2验证PyTorch环境1

打开Python解释器或命令行工具。光学字符识别（OCR）是将印刷体文字的图像转化为可编辑文本信息的技术。由于神经网络在分类任务上的优势，它非常适用用OCR。核心思想：OCR的成功依赖于通过特定流程生成的大量、多样化的带标签图像数据集。通过右侧方法，可以生成大量带标签的、包含模糊、倾斜、颜色变化等多样性的训练数据，以提升模型的泛化能⼒。数据集准备流程1生成背景创建一张280x32像素的背景图片。生成文本随机选择字体、大小、颜⾊，并随机选取10个字符组成字符串。2合成图像将生成的文本字符串贴到背景图片上，形成完整的文字图像特征。3保存信息保存图片文件，并准确记录图片名称与对应的文本信息（标签）。402OCR技术与数据集准备由于直接识别长字符串图像较为困难，在输入神经网络前，需要先对图像进行预处理，将完整的字符串图像分割为单个字符图像，并统⼀处理为固定规格的灰度张量。OCR字符级扫描、分割与张量特征提1.字符分割针对数据集中字符横向排列的规则，可以采用