《人工智能通识与进阶》 第四章 机器学习

第四章

机器学习1让计算机自己学会“举一反三”问题与导读：为什么非要机器学习？2本章目录4.1引言4.2主要学习范式4.3机器学习的三个要素4.4线性模型1本章目录4.1引言4.2主要学习范式4.3机器学习的三个要素4.4线性模型1什么是机器学习4.1引言

一门让计算机无需显式编程，通过数据自动学习经验并改进性能的学科。

定义核心机器学习的本质是通过数据学习函数映射，从而替代人工规则设计。数学表达机器学习在人工智能中的地位4.1引言

机器学习是AI的“智能引擎”本章目录4.1引言4.2主要学习范式4.3机器学习的三个要素4.4线性模型14.2主要学习范式

机器学习主要分为监督学习、无监督学习、半监督学习和强化学习四种范式。它们根据是否有标注数据、学习目标和交互方式的不同而区分。监督学习4.2主要学习范式

主要任务：优点：学习目标明确，模型性能易于评估。缺点：需要大量标注数据，标注成本高。监督学习—拥有“参考答案”的学习💡无监督学习4.2主要学习范式

无监督学习—发现“数据内在”的结构💡核心思想·：无监督学习（UnsupervisedLearning）过程中没有任何标签的数据。它的任务是让模型自主地发现数据内部隐藏的结构、模式或规律。优点：无需标注数据，能够从原始数据中发掘出人类难以直观发现的潜在知识；缺点：缺乏数据标签，其结果往往需要人类再加以解释与验证，评估难度也相对更高。半监督学习4.2主要学习范式

💡

定义：介于监督学习与无监督学习之间，结合了两者的优势。它在训练过程中，既使用少量带有标签的数据，又利用大量未标注的数据。半监督学习—“名师”与“自学”的结合最大意义：在数据标注成本与模型性能之间取得平衡。强化学习4.2主要学习范式

强化学习—在“试错”中成长的智能体💡

定义：让智能体通过与环境交互学习，执行动作改变状态并获得奖励，目标是学习最优策略以最大化累积奖励。本章目录4.1引言4.2主要学习范式4.3机器学习的三个要素4.4线性模型14.3机器学习的三个要素

机器学习作为一种让计算机从数据中自动学习并做出决策的技术，其核心要素包括模型假设、学习准则和优化算法。这三者是机器学习系统设计与实现的基础，它们共同决定了模型的训练过程和最终性能。4.3机器学习的三个要素

机器学习作为一种让计算机从数据中自动学习并做出决策的技术，其核心要素包括模型假设、学习准则和优化算法。这三者是机器学习系统设计与实现的基础，它们共同决定了模型的训练过程和最终性能。4.3机器学习的三个要素

机器学习通常经历数据准备、模型学习、评估与应用三个阶段：

训练过程4.3机器学习的三个要素

模型假设模型假设：参数化函数表示4.3机器学习的三个要素

学习准则学习准则：目标函数的设计定义：学习准则（LearningCriterion）是决定模型学习目标的标准，它定义了训练过程中的目标函数。用损失函数衡量误差，并指导模型优化4.3机器学习的三个要素

学习准则-常见损失均方误差（MeanSquaredError，MSE）核心思想：该函数通过计算预测值与真实值之间的平方差，来衡量模型的预测性能。误差越小，预测越准确。其数学表达式为：应用场景：

4.3机器学习的三个要素

学习准则-常见损失交叉熵损失（Cross-EntropyLoss）核心思想：用于衡量模型预测的概率分布与真实类别分布之间的差异。交叉熵损失可定义为：

4.3机器学习的三个要素

学习准则-常见损失Hinge损失核心思想：该损失函数通过引入“间隔（margin）”的概念来优化分类结果，使模型不仅能够正确分类样本，还能够在不同类别之间保持尽可能大的间隔。对于二分类问题，Hinge损失的表达式为：

4.3机器学习的三个要素

学习准则-三类风险风险最小化准则(RiskMinimizationCriterion)核心定义：风险最小化准则是统计学习理论的核心原则，它指导机器学习模型通过最小化在数据上的预期损失（即风险）来进行学习和优化。4.3机器学习的三个要素

学习准则-三类风险期望风险核心定义：在风险最小化准则下，模型性能通过期望风险衡量。它是损失函数在所有可能输入样本的真实数据分布上的期望值，反映模型在整体数据分布上的平均损失。

4.3机器学习的三个要素

学习准则-三类风险经验风险经验风险最小化(ERM)：

由于真实数据分布未知，实践中采用经验风险来近似期望风险。ERM准则通过最小化训练数据上的平均损失来学习模型参数。其目标函数为：

局限性：ERM在训练集上表现良好，但无法保证泛化性能。当模型过于复杂时，会过度拟合训练数据中的噪声，导致在新数据上表现变差，即过拟合。4.3机器学习的三个要素

学习准则-三类风险结构化风险(SRM:StructuralRiskMinimization)结构风险最小化(SRM)：

为缓解过拟合，引入结构风险最小化思想，在经验风险基础上增加模型复杂度的惩罚项，平衡“拟合数据”与“控制复杂度”。目标函数：

4.3机器学习的三个要素

优化算法优化算法：参数求解与迭代更新方法

目标：在参数化机器学习模型中，通过迭代更新参数，使经验风险最小化，获得良好的泛化性能核心思想：通过梯度信息不断调整参数，使损失函数逐步下降，从而找到最优参数。常见梯度下降方法4.3机器学习的三个要素

优化算法-梯度下降法梯度下降法(GradientDescent,GD)

在当前参数位置计算目标函数的梯度，并沿梯度的反方向更新参数。原理简单，实现方便；对凸优化问题在合适条件下可收敛到全局最优解每次更新需要计算全量样本的梯度，计算成本高，效率低；对学习率敏感样本规模较小或全量梯度计算成本可接受的任务4.3机器学习的三个要素

优化算法-随机梯度下降法随机梯度下降法(StochasticGD,SGD)每次更新参数时，仅随机选取一个训练样本来计算梯度

单次迭代计算成本低，效率高，适合大规模数据集和在线学习；随机性有助于摆脱局部最优或鞍点。梯度估计方差大，更新波动剧烈，收敛轨迹不平滑；难以精确收敛到最优解，通常在最优解附近波动；对学习率同样敏感。大规模数据集，在线学习场景，深度学习训练4.3机器学习的三个要素

优化算法-小批量梯度下降法小批量梯度下降法(MBGD)

每次更新参数时，使用一个由多个样本组成的小批量来计算梯度，是GD和SGD的折中方案。

平衡了计算效率与收敛稳定性；可利用向量化计算和GPU并行加速，是现代机器学习的主流方法。存在梯度噪声，收敛不稳定；依赖batchsize与学习率等超参数调节大规模数据集、深度神经网络训练。4.3机器学习的三个要素

优化算法三种方法的差异主要体现在梯度估计所使用的样本规模。梯度下降方法对比本章目录4.1引言4.2主要学习范式4.3机器学习的三个要素4.4线性模型14.4线性模型

线性回归线性回归：建立连续值的预测模型定义：

线性回归是一类经典的统计建模方法，用于描述因变量与一个或多个自变量之间的线性关系，并据此进行预测与解释。

线性映射关系变量近似线性关系用高阶项刻画非线性关系存在明显非线性趋势4.4线性模型

线性回归-简单线性回归

简单线性回归(SimpleLinearRegression)

模型数学表达式

4.4线性模型

线性回归-简单线性回归

简单线性回归(SimpleLinearRegression)

4.4线性模型

线性回归-多项式线性回归

多项式线性回归(PolynomialLinearRegression)

4.4线性模型

线性回归-多项式线性回归

损失函数与求解方法损失函数：在线性回归中，通常采用均方误差作为损失函数。均方误差(MSE)用于量化预测值与真实值之间的差异，定义为实际数据点与预测结果之间平方差的平均值

4.4线性模型

线性回归-多项式线性回归

损失函数与求解方法

4.4线性模型

线性回归-多项式线性回归实际应用案例：咖啡摄入量与专注度案例背景：

探究咖啡摄入量（mg）与专注度评分（1-10）之间的关系，使用25天的记录作为训练数据。4.4线性模型

线性回归-多项式线性回归

案例分析与模型选择：咖啡摄入量与专注度4.4线性模型

线性分类线性分类—划定离散类别的决策边界定义：线性分类（LinearClassification）是一种基于线性模型实现数据分类的方法，通过学习一个线性决策边界将不同类别的样本分开。核心思想：将输入特征进行加权求和，并与阈值比较以确定类别归属。典型案例：视频兴趣预测场景：在用户刷到一个视频时，平台需要快速判断该视频是否符合用户兴趣。特征：系统会提取视频的标题、标签、观看时长和历史数据等特征。类别：得出一个用户对该视频感兴趣（1）或者用户对该视频不感兴趣（0）的结论。本质：这就是一个典型的二分类问题。4.4线性模型

线性分类​逻辑回归模型(LogisticRegression)

4.4线性模型

线性分类损失函数：对数损失（交叉熵损失）为什么不用均方误差(MSE)？在逻辑回归中，由于Sigmoid函数的非线性特性，模型输出为概率值，此时采用均方误差会导致损失面可能为非凸，难以收敛到全局最优。对数损失函数：

平均交叉熵损失将单个样本的损失扩展至整个训练集，得到平均交叉熵损失表达式为：

4.4线性模型

线性分类实际应用案例：视频兴趣预测

4.4线性模型

线性分类实际应用案例：视频兴趣预测4.4线性模型

支持向量机支持向量机—寻找最优“决策边界”定义：支持向量机（SupportVectorMachine，SVM）是一种经典的监督学习方法，广泛用于二分类任务，并可自然扩展到多分类与回归。基本思想：

在特征空间中寻找一个用于区分两类样本的决策边界（超平面），并使该边界具有尽可能强的泛化能力。最大间隔准则：在所有能够正确分开训练样本的超平面中，选择使两类样本到超平面的最小距离最大的那一个。直观地说，这相当于在两类样本之间找到一条“最居中、最安全”的分界线，从而降低对噪声与扰动的敏感性，提高对新样本的判别稳定性。4.4线性模型

支持向量机支持向量机—支持向量间隔(Margin)：

间隔被定义为分别穿过两类中最近样本点的两个平行超平面（即“间隔边界”）之间的几何距离。支持向量(SupportVector)：距离分类边界最近的样本点被称为支持向量。仅有这些少数关键点决定最优超平面的位置与间隔大小，远离边界的样本对模型几乎无影响。4.4线性模型

支持向量机支持向量机—优化问题表达

4.4线性模型

支持向量机支持向量机—实际案例案例背景：区分“苹果”和“橙子”，特征为直径（cm）和甜度（分），标签为1（苹果）和-1（橙子）。目标：找到一条“最优直线”，把苹果和橙子完美分开。4.4线性模型

支持向量机支持向量机—实际案例SVM的“最优”标准：能正确分开两类：直线两边分别只有苹果或橙子。边界宽度最大：直线到两类中最近的点的距离（间隔）要尽可能大。结果：

SVM构建最优分离直线，使边界到两侧最近样本的间隔最大化，其位置仅由少数支持向量决定。4.5非线性模型

4.6无监督学习

聚类算法定义：聚类（Clustering）是无监督学习中最基本也最常用的一类方法，其核心任务是在缺少类别标签的情况下，从数据自身的分布结构出发，将样本自动划分为若干个互不重叠的集合（称为簇）。核心思想：聚类希望达到的效果是：簇内相似度高、簇间差异度大。从直观上看，聚类可以理解为对数据进行“自动分组”，体现了“物以类聚”的思想。直观例子：积木分类即使没有任何先验标注，算法也可以依据颜色、形状或尺寸等特征，将相似的积木归为同一类，从而完成结构化整理。聚类算法—相似数据自动归位一类4.6无监督学习

聚类算法K-Means算法K-Means算法原理4.6无监督学习

聚类算法K-Means算法K-Means算法流程4.6无监督学习

聚类算法K-Means算法K-Means算法

实际应用案例案例背景：使用尺寸误差和强度偏差两个特征，对150个产品零件样本进行质量检测，判断其是否合格。4.6无监督学习

聚类算法K-Means算法K-Means迭代过程：初始化：

随机选取两个样本点作为初始质心。分配：计算每个样本到两个质心的距离，划分到最近的簇。更新：重新计算每个簇的质心（取簇内样本均值）。收敛：重复“分配—更新”，直至簇划分稳定。K-Means算法

实际应用案例4.6无监督学习

主成分分析主成分分析——从高维世界提炼关键信息在机器学习任务中，一个样本通常需要用多个特征来描述，例如身高、体重、年龄、成绩、像素值等。每一个特征对应一个维度，当特征数量很多时，数据就处在高维空间中。4.6无监督学习

主成分分析

主成分分析（PCA）基本思想4.6无监督学习

主成分分析主成分分析降维几何示意图PCA应用示例——学生成绩降维

学生成绩及其PCA一维投影结果4.7本章小结与延伸阅读

核心概念机器学习是人工智能领域的重要技术，核心思想是通过数据驱动的方式让计算机自主学习规律，并对新数据作出合理预测。与传统编程不同，机器学习通过大量样本数据训练模型，总结规律并优化性能，而非依赖人为编写规则。四大学习范式监督学习：适用于有标注数据的任务。无监督学习：探索数据的内在结构。半监督学习：结合了监督和无监督学