人工智能导论 课件 第2章 人工智能数学基础

第2章人工智能数学基础2.1引言2.1引言本章以数学基础作为切入点，从数学视角阐述人工智能学习问题如何被形式化描述、优化目标如何被构建以及模型参数如何被求解，为后续章节的学习奠定基础。首先从数学形式化角度出发，介绍人工智能的统一语言，并归纳人工智能学习问题的三要素通过本章学习，读者将掌握用数学语言描述AI问题、建立模型、求解参数并提升模型泛化能力的基本方法。随后以回归和分类为例，介绍其建模方式以及典型损失函数进一步介绍模型参数求解方法，重点讲解梯度下降等算法在复杂模型参数优化中的作用最后讨论模型泛化误差、过拟合与欠拟合现象，并引入正则化与约束优化思想，从数学理论层面说明如何在拟合能力与泛化能力之间取得平衡。32.2从计算到智能2.2从计算到智能传统计算范式现代智能范式核心思想研究人员人分析问题，编写规则，计算机按步骤执行系统从数据中学习规律，并对未知情形进行推断知识来源人类预先编码的知识与经验数据中隐含的统计规律与特征表示系统能力能力固定，不会随运行过程自动改变可通过训练不断调整模型参数，提升任务表现适用场景问题边界清晰、规则明确、环境可控输入复杂多样、规则难以穷举、环境存在不确定性主要局限难以应对规则缺失、输入变化和复杂现实场景依赖数据质量、模型结构与泛化能力代表形式规则系统、符号推理、确定性程序机器学习、深度学习52.2.1人工智能的统一语言

2.2.2人工智能学习的三要素

2.2.3人工智能学习的基本框架

2.2.1人工智能的统一语言张量将现实对象转化为可计算、可建模、可优化数学对象的统一表示语言。结构化样本与批数据空间数据离散序列张量是标量、向量、矩阵从低阶到高阶的自然推广。对于任意对象总存在一种映射，将其表示为张量当张量的轴的个数（张量的阶）退化为0，1，2时分别对应着标量、向量、矩阵72.2.2人工智能学习的三要素现代AI的学习问题可以归纳为三个核心要素：数据、模型、目标。数据描述了对象所服从的分布特性模型规定了从数据中提取规律并形成预测的方式目标为模型性能的评估与参数优化提供了明确的数学准则数据提供基础，模型承担学习，目标指引优化，三要素共同构成现代人工智能学习的核心框架。8数据来自现实世界的历史数据通常被表示为张量形式，并进一步组织为数据集。数据集中的有限样本构成了对真实分布的经验近似，模型则在该分布上学习输入与输出之间的规律。真实数据数据集特征空间中的样本分布样本标签猫鹿狗①样本容量充分②样本分布全面、均衡①样本量少②样本类别分布不均9模型模型是连接输入数据与输出结果的可学习映射。通过训练，模型在参数中编码由数据集提供的经验规律，并利用特定结构对输入信息进行表示、变换与预测。经验以参数的形式固化在模型f中我喜欢人工智输入（图像、文本…）我喜欢人工智能猫鹿狗预测：狗对应任务的预测输出1011目标目标函数将模型预测与真实结果之间的偏差转化为可计算的数值信号。由于真实数据分布无法直接观测，实际训练通常以训练集上的经验风险近似真实分布下的期望风险，并通过最小化经验风险来更新模型参数。…(样本,预测)(样本,预测)(样本,预测)经验损失，训练集上的平均损失可计算真实分布下的期望风险未知、不可计算

样本量足够大时

122.2.3人工智能学习的基本框架数据构建与划分循环训练推理测试现代人工智能学习的基本框架本质上是一个基于数据驱动的闭环优化过程，该过程旨在通过迭代计算，将数据中蕴含的经验转化为模型参数的数值解。13小结张量是人工智能的统一语言。任意模态的对象均可表示为统一的张量形式，纳入同一套数学运算体系。现代AI学习问题可归纳为三个核心要素:数据、模型和目标。现代AI学习的基本框架可以总结为数据驱动的闭环优化过程:数据构建与划分→循环训练→推理测试，最终得到经验最优参数。习题1：现代人工智能的学习问题通常由哪三个核心要素构成？请分别说明这三个要素在人工智能构建过程中的作用。习题2：简要说明现代人工智能的基本框架，并概括其主要包含的三个阶段及各自作用。2.3回归与分类建模2.3.1回归问题的定义2.3.2回归问题的求解2.3.3分类问题的定义2.3.4分类问题的求解2.3.1回归问题的定义回归是机器学习中的一类基础监督学习任务，旨在从输入特征与连续型输出之间学习映射关系，并用于预测新样本的数值结果。房价回归预测例子线性回归模型假设输出可以表示为输入特征的线性组合。然而，当真实关系呈现显著非线性时，线性回归会引入系统性偏差。162.3.2回归问题的求解①输入特征向量：②求解参数向量：③回归模型输出：④最小二乘法求解：最小化预测值与真实值之间的均方误差172.3.3分类问题的定义分类旨在学习输入特征到离散类别的映射关系分类问题是指在给定输入样本的条件下，从有限类别集合(1,2,…,K)中预测其所属类别的学习问题。手写数字分类例子(K=10)依据输出类别的数量，通常可将输出空间表示为给定数据集，分类问题可以建模为：在给定输入的条件下，建模对应输出类别的条件概率分布垃圾邮件分类(K=2)18不同类型分类任务二分类任务分类模型激活函数条件概率分布多分类任务类别分布与决策边界192.3.4分类问题的求解分类问题中，模型需要对样本所属类别作出预测，其优化目标不再是计算连续数值之间的偏差，而是刻画模型对类别判断的正确程度。通过极大似然估计，求解最优模型参数，使训练样本对应类别标签的条件联合概率最大。二分类问题的似然函数为，

多分类问题的似然函数为由于直接最大化连乘形式的似然函数在数值计算上较为困难，通常对其取对数，将参数优化目标转化为最大化对数似然函数。数学形式上完全等价于交叉熵！2021小结回归任务预测连续数值，核心目标函数为均方误差，线性回归可通过正规方程获得解析解。分类任务预测离散类别，本质是对条件概率分布的建模。分类的目标函数可以极大似然估计来求解习题：回归问题与分类问题在输出形式、建模方式与常用损失函数上有何本质差异？请结合均方误差与交叉熵两种典型损失函数，说明它们为何分别适用于回归与分类任务。2.4优化理论与方法2.4.1解析解与梯度下降法2.4.2非凸优化挑战2.4.3现代优化算法2.4.1解析解与梯度下降法解析解的局限性：传统统计学习中的解析解在面对大规模、高维度的深度学习模型时，面临算力与数学条件的双重壁垒。以线性回归任务为例，其解析解为局限1：计算与空间复杂度激增局限2：矩阵必须可逆模型的输入特征维度为d，矩阵求逆的时间复杂度为

，空间复杂度为模型的解析解存在的前提是必须可逆，然而深度学习中矩阵常常不可逆。24梯度下降法梯度下降法避开了复杂的矩阵求逆，为各类复杂的学习问题提供了一种统一的、可扩展的求解框架核心逻辑：利用当前点的负梯度方向作为搜索方向，以一定的步长迭代更新参数，直至驱动目标函数值稳步减小，直至模型收敛至局部极小值或全局最小值点。2526梯度下降法梯度下降法认为，在当前迭代点处，目标函数梯度的负方向指示了函数值下降最快的方向，因此通过沿该方向进行迭代更新，可以有效推动目标函数向最优解逼近。在处计算梯度将负梯度作为搜索方向按一定的步长沿该方向进行更新在处计算梯度……参数更新过程

梯度下降法

停止准则步长选择25在实际训练中，几乎不会基于全体样本计算目标函数的梯度，通常将数据分批处理，每次在更新参数时，会取出一个批次的数据来计算出目标函数的梯度和更新参数。批量梯度下降遍历所有批量的过程为一个轮次每个轮次开始前随机打乱数据，划分不同批每个批次内部计算梯度、更新参数26批量梯度下降有时称批量大小等于全体样本的梯度下降为方法全批量梯度下降，每次迭代使用部分样本的为小批量梯度下降。全批量梯度下降小批量梯度下降两种方法的准确率对比全批量梯度下降，梯度更新最准确，计算时间很长、难以处理海量数据小批量梯度下降，通过选择批量大小实现计算效率与梯度稳定性的平衡批量大小是实际训练过程中很重要的超参数27优化动力学解释：批量划分引入的梯度噪声增强了采样随机性，为逃离局部极小值陷阱提供了动力批量梯度下降30312.4.2非凸优化挑战深度学习模型的目标函数通常是非线性、非凸的，函数曲面包含大量梯度接近的平坦区域，当参数更新落入这些区域时可能出现异常停滞，即梯度已经接近零，但当前位置并不是最优点。

临界点的类型：临界点有局部极小值、局部极大值、鞍点三种类型，临界点的几何性质差异显著，对优化影响各不相同，其中，对优化过程影响最大的主要是局部极小值和鞍点32局部极小值与鞍点鞍点某些方向呈上升趋势，另一些方向仍可继续下降既非局部极小值，也非局部极大值

不存在继续降低目标函数的方向，参数容易被困在次优解附近梯度也为零，但仍存在下降方向，若能摆脱其影响，优化过程仍可继续推进

33仅靠一阶梯度无法区分局部极小值与鞍点，需借助二阶局部几何信息二阶泰勒近似海森矩阵即目标函数关于参数的二阶偏导数矩阵因混合偏导可交换，故H为对称矩阵可理解为梯度向量的再次求导局部极小值与鞍点的判别方法临界点附近的变化由其二次型决定，可通过海森矩阵的特征值符号判别临界点类型。通过海森矩阵判别

退化情形中二阶判别不足，需进一步采用高阶导数或其他方法分析。局部极小值与鞍点的判别方法34

逃离鞍点若临界点是鞍点，其海森矩阵必存在负特征值，其对应方向即优化的"下降通道"。负特征值方向=可继续下降的方向

下降方向上升方向352.4.3现代优化算法在现代人工智能的大规模模型训练中，目标函数往往具有高维、非凸和曲率不均衡等复杂特性。由于直接构造或利用Hessian矩阵计算代价过高，优化算法通常需要在仅依赖一阶梯度信息的条件下提升训练效率。常用的一阶优化算法主要包括三大类：随机梯度下降：通过随机采样训练样本来近似整体梯度动量法：累积历史梯度方向，减弱震荡进而加快收敛自适应学习率优化算法：根据梯度大小动态调整不同参数的更新步长这些方法在不显式使用二阶导数的情况下，部分弥补了一阶方法对曲率信息刻画不足的问题，在大规模优化任务中表现出良好的数值稳定性与收敛效率36随机梯度下降随机梯度下降是批量梯度下降在极端情形下的特例，每次迭代仅使用一个训练样本或小批量样本估计梯度并更新参数，从而将单步计算开销压到最低。更新后的参数更新前的参数小批量样本的梯度随机梯度下降的特点：计算开销小：每次更新只使用部分样本；随机波动明显：梯度估计含噪声，可能导致震荡或收敛不稳定。37动量法动量法通过对梯度进行指数加权平均在参数更新过程中引入历史梯度信息，对梯度下降的更新方向进行平滑处理，从而缓解随机梯度带来的震荡问题，并加快收敛速度。动量法的特点：能够利用历史梯度方向平滑更新路径，减少震荡并加快收敛。由于具有“惯性”，在接近最优点时可能出现过冲，导致参数在最优点附近来回摆动历史梯度的累计方向当前梯度当前更新方向38自适应学习率优化算法自适应学习率优化算法根据不同参数的梯度变化幅度自适应地调整每个参数的学习率，从而避免对所有参数使用统一更新幅度所带来的尺度不匹配问题，以提高优化过程的稳定性与收敛效率。AdaGradRMSpropAdam历史梯度平方累积近期梯度平方的指数加权平均一阶矩+二阶矩估计，结合动量与自适应39自适应学习率优化算法AdaGrad：步长持续衰减，后期步长过小，收敛变慢RMSprop：近期梯度自适应，步长稳定、持续推进Adam：结合动量和自适应的优势，收敛更快、更平稳40神经网络结构设计除改进优化算法外，还可以通过模型结构设计调整目标函数的几何形态，使一阶梯度方法更容易收敛。批量归一化与层归一化：通过标准化网络中间层的输出，缩小不同参数方向上的尺度差异。残差连接：引入跨层的直接连接，将梯度信号直接传回到浅层4142小结解析解在大规模、非线性模型中不可行。梯度下降法通过局部一阶梯度信息迭代更新参数，是AI模型训练的通用求解框架。小批量梯度下降通过随机采样降低单次计算成本，并引入适度随机性，有助于提升大规模模型训练效率。非凸目标函数中，梯度为零的临界点可能是局部极小值或鞍点，需通过Hessian矩阵的特征值判别。AdaGrad、RMSprop和Adam等自适应学习率方法进一步根据梯度历史动态调整步长，提高了复杂优化过程的稳定性与收敛效率。归一化层和残差连接等结构性设计从模型层面改善了优化几何。43小结习题1：在简单的线性回归中，可以通过正规方程直接求得模型参数的解析解。请说明为何在深度神经网络的训练中无法继续沿用这种解析解法，而必须采用梯度下降等数值迭代方法？并进一步说明相比于全批量梯度下降和单样本随机梯度下降，为何小批量梯度下降在实际训练中通常被优先采用。习题2：在深度模型的优化过程中，目标函数通常呈现复杂的非凸几何结构，梯度下降法可能在某些临界点附近停滞。请回答以下问题:（1）什么是临界点？局部极小值与鞍点在几何结构上有何差异？（2）仅依靠一阶梯度信息能否区分局部极小值与鞍点？若不能，应借助何种数学工具进行判别？2.5泛化与约束优化2.5.1泛化与拟合2.5.2L1正则化2.5.3L2正则化2.5.1泛化与拟合模型复杂度决定了拟合与泛化之间的平衡：过低会欠拟合，过高则可能记住训练噪声。机器学习的终极目标不是让训练误差无限下降，而是让模型在未见过的真实数据上表现良好，即让真实风险保持可控。46472.5.1泛化与拟合数据增强：通过旋转、裁剪、扰动、噪声等方式使模型观察到更多等价变化，近似扩大经验分布，提高样本覆盖度早停法：在验证误差开始上升时停止训练丢弃法：在训