人工基础智能教程 1

第4章人工神经网络：从简单决策到复杂识别主要内容什么是人工神经网络神经网络的基本构成网络的工作流程：前向传播网络的学习机制：反向传播与梯度下降深度训练的挑战与对策主流神经网络架构简介本章小结人工神经网络是一种受生物大脑结构与功能启发的数学模型。它由大量被称为“神经元”的计算单元相互连接而成，这些单元通常被组织在不同的“层”中。每个连接都赋予一个可调整的“权重”，用以量化信号传递的强度。网络的“知识”存储于这些权重之中，而“学习”的过程，本质上即是根据外部数据自动优化这些权重的过程。什么是人工神经网络生物神经元网络与人工神经网络对比示意图主要内容什么是人工神经网络神经网络的基本构成网络的工作流程：前向传播网络的学习机制：反向传播与梯度下降深度训练的挑战与对策主流神经网络架构简介本章小结神经元、权重与偏置

无论架构多么复杂，所有神经网络皆由一组最基本的组件构成分层结构

单个神经元的计算能力有限，但当成千上万个神经元以层次化的结构组织时，便能协同实现复杂的模式处理。输入层：网络的入口，负责接收原始数据。隐藏层：位于输入层与输出层之间，是进行特征提取与核心计算的场所。输出层：网络的终端，负责输出最终决策。激活函数

激活函数是网络的关键组件，其核心作用是引入“非线性变换”。Sigmoid：输出范围（0，1）tanh：输出范围（-1，1）ReLU：常见激活函数曲线对比主要内容什么是人工神经网络神经网络的基本构成网络的工作流程：前向传播网络的学习机制：反向传播与梯度下降深度训练的挑战与对策主流神经网络架构简介本章小结网络的工作流程：前向传播

识别一张手写数字“7”的图片一张28×28像素的灰度图像被“展平”为包含784个数值的一维向量。第一隐藏层。在此层，网络捕捉到了低级视觉特征第二隐藏层。将低级特征（边缘、角点）组合成更复杂的几何结构输出层每个神经元根据上一层传来的高级特征组合计算“置信度分数”。代表“7”的神经元在接收到符合特征的信号后，会输出较高分数。主要内容什么是人工神经网络神经网络的基本构成网络的工作流程：前向传播网络的学习机制：反向传播与梯度下降深度训练的挑战与对策主流神经网络架构简介本章小结学习的目标：损失函数

为了量化预测值与真实值之间的差异，需要引入损失函数（lossfunction）。它评估模型的每一次预测，偏差越大，损失值越高。优化的目标即是通过调整参数（权重和偏置），使总损失值降至最低。对于多分类任务，最常用的是交叉熵损失（cross-entropyloss）：当模型对正确类别的预测概率接近1时，损失趋近于0；反之则损失急剧增大，这为模型优化提供了明确的指引。优化的核心：梯度下降法

明确目标后，需要一种系统性的方法来最小化损失。梯度下降（gradientdescent）是最核心的优化算法。其思想是：计算损失函数关于每个参数的梯度（即函数值变化最快的方向），然后沿着梯度的反方向微调参数。权重更新公式如下：其中，η为学习率（learningrate），它控制参数更新的步长。学习率过大可能导致模型振荡不收敛，过小则导致训练极其缓慢。梯度的计算：反向传播算法

对于包含数百万参数的深度网络，如何高效计算损失函数相对于每个参数的梯度？计算损失函数对输出层神经元的梯度。将梯度“反向”传至最后一层隐藏层，计算该层神经元对误差的贡献，并求出相关权重的梯度。依次逐层向前传递，直至输入层。主要内容什么是人工神经网络神经网络的基本构成网络的工作流程：前向传播网络的学习机制：反向传播与梯度下降深度训练的挑战与对策主流神经网络架构简介本章小结梯度不稳定问题

在反向传播中，梯度信号需逐层回传。若每层梯度持续小于1，信号会指数级衰减，导致浅层参数无法更新（梯度消失）；若持续大于1，信号则指数级放大，导致计算溢出（梯度爆炸）。激活函数改进：使用ReLU及其变体替代Sigmoid/tanh。权重初始化：采用He初始化或Xavier初始化，保持各层方差稳定。批量归一化：对每层输入进行标准化（均值为0，方差为1），稳定数据分布。残差连接：如ResNet架构，通过“快捷通道”允许梯度跨层直接传播，从根本上缓解了梯度消失问题。梯度消失与爆炸示意改进措施：过拟合问题过拟合（overfitting）指模型在训练集表现优异，但在测试集表现不佳。随机失活：在训练中以一定概率（如50%）随机“禁用”部分神经元。这迫使网络不依赖特定神经元，学习更鲁棒的特征。数据增强（旋转、缩放图像）。早停：在模型开始过拟合之前停止训练，从而提高模型在新数据上的泛化能力。改进措施：主要内容什么是人工神经网络神经网络的基本构成网络的工作流程：前向传播网络的学习机制：反向传播与梯度下降深度训练的挑战与对策主流神经网络架构简介本章小结主流神经网络架构简介卷积神经网络（CNN）。其核心在于局部感受野和参数共享。通过“卷积核”扫描图像提取特征，并利用“池化层”降维。LeNet-5是其经典代表，在手写数字识别上取得了巨大成功。CNN是现代计算机视觉的基石。主流神经网络架构简介Transformer摒弃了循环与卷积，完全基于“自注意力机制（self-attention）”。该机制允许模型直接计算序列中任意两个元素的关联，不仅解决了长期依赖问题，更实现了大规模并行计算。Transformer是BERT、GPT等现代大语言模型的基础架构。主要内容什么是人工神经网络神经网络的基本构成网络的工作流程：前向传播网络的学习机制：反向传播与梯度下降深度训练的挑战与对策主流神经网络架构简介本章小结本章小结

本章以“手写数字识别”为切入点，系统阐述了人工神经网络。定义了神经网络的概念，解析了其由神经元、层级结构和激活函数构成的基础框架。通过追踪“前向传播”，理解了数据如何被逐层抽象为预测结果。深入剖析了学习机制：以最小化损失函数（如交叉熵）为目标，利用梯度下降法优化参数，并依靠反向传播算法高效计算梯度。此外，探讨了深度