人工智能导论 课件 第3章 机器学习基础

第三章机器学习基础经典统计学习3回顾：AI学习三要素模型（Model）用什么函数描述规律，例如线性模型、树模型、神经网络。数据（Data）从样本中学习规律，可以是有标签数据，也可以是无标签数据。目标（Objective）通过损失函数衡量好坏，训练时追求经验风险小，测试时追求泛化能力强。4机器学习深度学习强调表示学习和端到端建模统计学习从有限样本中学习规律，关注模型、损失和泛化强化学习强调与环境交互，通过奖励学习策略本节聚焦经典统计学习——理论清晰、可解释性强，是后续深度学习的重要基础。5逻辑回归从线性回归到逻辑回归线性组合Sigmoid映射概率输出线性回归逻辑回归输出类型连续值概率值任务类型回归分类损失函数均方误差交叉熵6逻辑回归

基本思想：用概率描述二分类结果。名称里有“回归”,本质上却是分类模型。概率范围：(0,1)7Sigmoid函数

Sigmoid函数是逻辑回归把“分数”变成“概率”的关键一步。8逻辑回归决策边界：最优分界面最大间隔9支持向量机逻辑回归关注概率输出，SVM强调找到分类间隔最大的分界面目标：找到能够正确分类样本的分界线关键思想：要尽量“分得开”最大间隔可分10支持向量机超平面：用于划分类别的决策边界间隔：超平面到最近样本的距离支持向量：恰好落在间隔边界附近，决定分类面的关键样本真正决定SVM边界位置的，是离边界最近的那些样本。超平面最大间隔间隔边界间隔边界支持向量11支持向量机原始数据移除部分非支持向量后支持向量决定SVM边界位置12支持向量机当训练数据线性可分时，可以直接寻找最大间隔超平面

目标函数：约束条件：决策函数：13支持向量机

14线性不可分并不是所有分类问题都能线性可分，此时线性SVM无法直接找到合适的分界面三明治分布同心圆分布15核方法原空间中的线性不可分问题，可通过非线性映射转化为高维空间中的线性可分问题。SVM在高维空间中寻找最优分离超平面。原空间：线性不可分高维空间：线性可分非线性映射16非线性SVM

线性SVM非线性SVM

17非线性SVM

线性SVM非线性SVM把内积

替换为核函数18核方法核函数：核函数表达式直观理解多项式核构造多项式特征，适合有交互关系的数据高斯核衡量样本相似度，最常用Sigmoid核类似神经网络激活函数，使用较少19决策树另一种非线性分类方法是使用分段线性的决策边界。决策树是一种解释性强，结构离散的分类模型。通过一系列条件判断逐步缩小样本范围。把复杂分类过程拆解成可读的规则划分。是否开源权重？判别特征：开源权重上下文窗口是否＜100万？判别特征：上下文窗口Gemini3GPT5Qwen3GPT5Gemini3Qwen3是否否是20决策树是否开源权重？判别特征：开源权重上下文窗口是否＜100万？判别特征：上下文窗口Gemini3GPT5Qwen3根节点GPT5Gemini3Qwen3叶节点分支内部节点是否否是21决策树是否开源权重？判别特征：开源权重上下文窗口是否＜100万？判别特征：上下文窗口Gemini3GPT5Qwen3根节点GPT5Gemini3Qwen3叶节点分支内部节点是否否是根节点：包含初始全部样本内部节点：对某个特征进行判断分支：表示判断条件的不同取值叶节点：给出最终分类结果低熵高熵22决策树熵：衡量数据的混乱程度

决策树希望每次划分后，子集的熵尽可能下降23决策树划分标准1.熵：2.按特征A划分后的条件熵：3.信息增益：

信息增益表示：按特征A划分后，数据集混乱度下降了多少按特征A划分24决策树划分标准1.熵：2.按特征A划分后的条件熵：3.信息增益：

信息增益表示：按特征A划分后，数据集混乱度下降了多少熵：衡量样本集合的混乱度条件熵：划分后各子集混乱度的加权平均信息增益越大，说明该特征越适合用于当前划分决策树在每一步通常优先选择信息增益最大的特征25决策树非线性边界：分段线性逼近决策树在原始空间内反复切分特征空间每个节点相当于一次轴对齐划分阶梯状边界可以逼近复杂非线性边界26标签缺失

监督学习

无监督学习有标签样本学习映射无标签样本发现结构27K-Means聚类

28K-Means聚类

将样本分配给最近质心用簇内均值更新质心重复，直至质心稳定1234目标函数：29K-Means迭代

1

将样本分配给最近质心

用簇内均值更新质心

重复，直至质心稳定23430K-Means聚类

31主成分分析（PCA）PCA是一种常用的降维方法。现实数据往往处于高维空间中，存在相关性、冗余和噪声。PCA通过线性变换，把原始高维特征投影到低维空间中。32投影示例33主成分分析（PCA）PCA通过线性变换，把原始高维特征投影到方差最大的方向上。最大程度保留数据信息，同时实现重构误差的全局最小化。34主成分分析（PCA）如何找到方差最大、最能代表数据变化的方向？35PCA主成分：重新找到一组正交坐标轴PCA用新的坐标轴表示原始高维数据。36PCA第一主成分（PC1）：方差最大方向，保留数据最多的信息。第二主成分（PC2）：与PC1相交，解释PC1之外的最大剩余方差。PC3、PC4…：依次正交，继续解释剩余方差37PCA

38PCA算法流程39主成分选择查看每个主成分的方差贡献率常用累计解释方差选择既要尽量保留信息，也要避免维度过多40模型评估——分类任务预测为正类预测为负类真实为正类TP真阳性FN真阳性真实为负类FP真阳性TN真阳性混淆矩阵TP/TN/FP/FN

表示对应项的样本数量常用评估指标

精确率关注：判为正类的样本有多准召回率关注：真正的正类被召回多少41模型评估——回归任务均方误差（MSE）平均绝对误差（MAE）KL散度（Kullback-LeiblerDivergence）沃瑟斯坦距离（WassersteinDistance）常用评估指标42模型评估问题：这些指标需要在哪些数据上计算？如果训练和评估使用同一份数据，结果往往会过于乐观。43模型评估数据划分训练集：学习模型参数验证集：比较不同模型与超参数测试集：最终评估模型泛化能力测试集只能在最后使用一次，避免数据泄露44模型评估

45小结本节围绕经典统计学习展开，介绍了监督学习与无监督学习中的代表性方法监督学习：逻辑回归、支持向量机、决策树无监督学习：K-Means聚类、PCA降维模型评估的方法强化学习基础47回顾：从“做题”到“试错决策”2监督学习强化学习老师告诉答案本节课学习：如何把“试错”写成可计算的数学问题。环境只给奖励猫猫狗狗48强化学习基本要素学习目标：智能体通过学习“在某个状态下该采取什么动作”，最大化总奖励当前局面怎样下一步做什么怎么选择动作奖励刚才做得好不好状态将如何变化如何实现这一学习目标？状态转移概率动作状态策略49状态空间与动作空间状态空间每个可通行坐标就是一个状态动作空间在当前格子可选择的移动方向

50策略：状态下动作的概率分布

完全随机的策略A更好的策略B在每个格子里平均乱走可能要很多步才到目标更偏向靠近目标的动作平均步数显著降低51幕、回报与折扣因子

幕（Episode）

………

回报(Return)折扣因子52价值函数：给状态和动作打分

53最优策略与最优价值函数

一个策略被称为最优策略，意味着在任何局面下，这个策略带来的期望回报都是最高的，绝对不会输给其他任何一种策略。

需要注意的是，得到最高期望回报的策略可能不止一条。但最优状态价值函数和最优动作价值函数是唯一的。54贝尔曼最优方程

贝尔曼最优方程“眼前的甜头”“未来的盼头”即时奖励未来回报

55动态规划在环境的状态转移概率已知的情况下，贝尔曼最优方程可以利用动态规划算法进行求解:算法初始化时，可以将所有状态下的价值函数均设为0。遍历各个状态，按下式更新价值函数直到所有状态的价值函数变化小于预设阈值，表明价值函数已收敛至最优解。选择使每个状态价值最大化的动作，即可导出最优策略

动态规划求解迷宫任务的最优策略56探索与利用利用Exploitation探索Exploration稳选择已知高回报动作优点：当前收益稳定风险：陷入局部最优新尝试未知动作优点：发现更优路径风险：短期收益波动

57

状态\动作↑↓←→(1,1)0.6-0.4-0.50.5(1,2)0.5-0.50.61.0(2,1)1.31.00.41.3(3,2)1.0-0.41.21.2本质：不用知道环境转移概率，直接从交互样本中估计动作价值函数。

58稀疏奖励问题围棋：数百步落子中，大部分时刻奖励为0；只有终局给胜负反馈。问题：到底是哪一步带来了胜利？常用缓解方法分层学习课程学习奖励塑造模仿学习

自动驾驶、机器人等任务常采用“模仿学习初始化+强化学习微调”。59深度强化学习进展GRPOGroupRelativePolicyOptimization群组相对优势优化应用场景：游戏大语言模型训练🎮💬📄⚛📋典型特点：适合基于采样结果进行比较DDPGDeepDeterministicPolicyGradient深度确定性策略梯度动作空间：离散连续动作↑→↓×🦾⚙📋典型特点：适合连续控制任务🎯PPO：稳定通用、常用于离散策略优化💬GRPO：延伸到大模型训练🦾DDPG：延伸到连续动作控制PPOProximalPolicyOptimization近端策略优化行动器Actor：输出