机器学习及其应用课件 第3章-机器学习

3.1线性模型3.5监督学习应用3.4支持向量机3.2决策树模型第三章监督学习3.3贝叶斯模型知识目标理解监督学习的核心定义、思想与任务边界掌握线性模型、决策树、贝叶斯、SVM四大经典算法原理与推导明确分类与回归任务的联系与区别，理解适用场景了解监督学习算法在真实行业场景中的落地方法能力目标针对具体业务问题，选择合适的监督学习算法完成建模解读与优化算法结果，解决过拟合、多重共线等典型问题本章学习目标什么是监督学习？核心定义：基于带标签样本的映射学习以带标签的训练样本为对象，学习特征与标签间的映射关系，构建可泛化的预测模型。即通过已知答案的数据，让机器学会如何从输入推导输出。形象类比：考生备考过程带标签样本→带答案的练习题模型训练→对照答案演算习题，总结解题方法模型泛化→用总结的方法解决新的未知题目核心前提：先验标注信息训练样本必须具备标签，模型始终以标签为参照，通过不断优化预测结果与真实标签的误差来学习。监督学习的两大核心任务回归任务(Regression)核心目标：预测连续数值，寻找变量间的映射关系输出结果：连续的数值结果（如价格、温度、销量）典型场景：销量预测、房价评估、经济指标分析分类任务(Classification)核心目标：预测离散类别，区分不同事物的特征输出结果：离散的类别标签（二分类/多分类）典型场景：图像识别、垃圾邮件检测、风险评估3.1线性模型3.1.1模型结构3.1.2线性回归3.1.3线性分类3.1.1模型结构核心定义输出由样本特征与模型参数的线性组合计算获得，仅包含加法与乘法运算，是结构最简单的机器学习模型。数学表达式关键特性

3.1.1模型结构

3.1.2线性回归任务定义：基于线性模型完成回归学习，求解最优权重向量w与偏置项b，使模型输出的连续预测值尽可能拟合样本真实标签。核心步骤01特征提取

02构建模型

03定义损失以平方误差为核心，构建最小二乘目标函数，衡量预测与真实值的差距。04优化求解通过数学方法最小化损失函数，求解得到最优参数w，完成模型训练。3.1.2线性回归样本误差单个样本

多个样本

目标函数定义

3.1.2线性回归最优参数求解

3.1.2线性回归多重共线现象优化方案：岭回归优化方案：Lasso回归核心定义样本特征间存在强线性相关性，导致矩阵AᵀA不可逆或参数极不稳定。主要危害模型泛化能力极差参数失去可解释性

例题【例题3.1】某企业某商品月广告费用与月销售量数据如表3-1所示，试通过线性回归模型分析预测这两组数据之间的关系。1234567891010.9512.1413.2213.8715.0616.3017.0117.9319.0120.0111.1810.4312.3614.1515.7316.4018.8616.1318.2118.371112131415161718192021.0422.1023.1724.0725.0025.9527.1028.0129.0630.0522.6119.8322.6722.7025.1625.5528.2128.1228.3229.18表3-1月广告费与月销售量数据例题【解】

首先将表中的样本数据可视化，如图3-1所示，通过考察这些点的位置分布，不难发现它们基本上成直线排列。

3.1.3线性分类二值分类

3.1.3线性分类从回归到分类：激活函数的引入核心转化思路通过引入激活函数，对线性回归的连续输出进行离散化处理，从而构建线性分类器。二分类挑战：从阶跃到Sigmoid

线性回归的局限性输出为连续值，无法直接满足分类任务对离散类别标签的需求。3.1.3线性分类逻辑回归模型构建

3.1.3线性分类

3.1.3线性分类

例题

表3-2某产品质量指标1-0.01814.0530211.2179.597041-0.4463.29712-1.3954.662122-0.7339.0980421.0426.10513-0.7526.539023-3.642-1.618143-0.61910.3204-1.3227.1530240.3163.5231441.1520.548150.42311.0550251.4169.6190450.8282.676160.4077.067126-0.3863.989146-1.23810.549070.66712.7410271.9853.230147-0.683-2.16618-2.4606.867128-1.693-0.5571480.2295.922190.5699.549029-0.57611.778049-0.9611.555010-0.02710.428030-0.346-1.6791500.49310.9930例题110.8506.920131-2.1242.6721510.1858.7210121.34713.1750320.5578.295152-0.35610.3260131.1763.1671331.22511.587053-0.3988.058014-1.7819.098034-1.348-2.4061540.82513.7303015-0.5675.7491351.1974.9521551.5075.0281160.93161.5891360.2759.5440560.0996.837117-0.0246.1511370.4719.332057-0.34410.717018-0.0362.690138-1.8899.5430581.7867.718119-0.1970.444139-1.52812.15059-0.91911.560201.0145.754140-1.18511.309060-0.3644.7471例题

3.2决策树模型3.2.1模型结构3.2.2判别标准3.2.3模型构造3.2.1模型结构核心定义决策树是基于树结构的预测模型，通过对样本属性的层级化判别，模拟人类if-then的级联决策逻辑，实现分类或回归预测。树结构组成要素根结点：包含整个训练样本集，是决策树的起点内部结点：对应属性判别，每个结点对应一个if-then规则叶结点：对应最终的决策结果（分类标签/回归数值）测试序列：从根到叶的路径，构成一条完整的决策规则模型构建核心逻辑递归划分样本集，每次选择最优属性作为内部结点，使得划分后的子数据集纯度尽可能高（样本尽可能同类别），直到满足递归终止条件。例题【例题3.3】现有12枚外观相同的硬币，其中有1枚是假的且比真币重。如何使用一个无砝码天平把假币找出来，要求不超过三次称重。【解】如下图所示，把硬币等分成三份，用天平分别对其中任意两份进行称重，确定假币在哪一份。之后再对假币所在的那一份进行等分，并通过称重确定假币在哪一份，直至找到假币。3.2.2判别标准决策树判别标准：

第一，如果节点对应数据子集中的样本基本属于同一个类别，则无需对节点的数据子集做进一步划分，否则就要对该节点的数据子集做进一步划分，生成新的判别标准；

第二，如果新判别标准能够基本上把结点上不同类别的数据分离开，使得每个子结点都是类别比较单一的数据，那么该判别标准就是一个好规则，否则需重新选取判别标准。3.2.2判别标准经验熵

条件熵

信息增益

例题【例题3.4】表3-5所示的数据集表示豌豆种子在不同环境下能否发芽情况。豌豆种子自身有形状、大小和种皮颜色等特征，外部影响环境有土壤、水分和日照等特征。试通过表3-3所示数据集构建决策树并根据最后一行测试数据预测该豌豆能否发芽。表3-3豌豆数据集编号形状颜色大小土壤水份日照发芽1圆形灰色饱满酸性多12小时以上否2圆形白色缢缩碱性少12小时以上是3皱形白色饱满碱性多12小时以上否4皱形灰色饱满酸性多12小时以下是5圆形白色缢缩碱性少12小时以下是6皱形灰色缢缩酸性少12小时以上是7圆形白色饱满酸性少12小时以下是8皱形灰色缢缩碱性多12小时以下否9圆形灰色缢缩碱性少12小时以上否测试1圆形白色饱满碱性多12小时以下？例题

例题

用所得决策树对测试1样本进行预测。首先，“水份”为“多”，故进入左子树；接着，“日照”在“12小时以下”进入左子；最后，“大小”为“饱满”。判断测试1样本预测结果：能够发芽。图3-3初始决策树图3-4完整决策树3.2.2判别标准信息增益率基尼指数

例题

3.2.3模型构造过拟合原因分析决策树过度生长，学习了训练集中的噪声与局部特征，导致训练集精度极高，但在测试集上的泛化能力极差。剪枝核心思想通过裁剪部分子树或叶结点来简化模型结构，从而提升泛化能力。主要分为“预剪枝”与“后剪枝”两大类策略。策略一：预剪枝(Pre-pruning)在生成过程中设置终止条件，阻止过度生长。常用策略包括：限制树的最大深度、限制叶结点的最小样本数、设定结点划分的最小增益阈值。策略二：后剪枝(Post-pruning)先生成完整的树，再自底向上考察结点。经典方法如CCP代价复杂度剪枝，通过在损失函数中加入复杂度惩罚项来选择最优子树，通常效果优于预剪枝。3.2.3模型构造经典决策树算法——基于信息增益的ID3算法核心原理划分标准：以信息增益为依据，选择增益最大的特征。构建策略：基于贪心策略，自顶向下递归构建。算法流程初始化：当前结点包含全部训练样本。选择特征：计算所有特征的信息增益，选最大者作为划分特征。划分样本：按特征取值建立子结点，分配样本。递归执行：对子结点重复步骤2-3。终止条件：无特征可选/样本同类别/样本数小于阈值。局限性只能处理离散特征，无法直接处理连续特征。存在偏好：偏向取值数目较多的特征。缺乏优化：无剪枝策略，容易发生过拟合。功能单一：仅支持分类任务，不支持回归。

编号体温流鼻涕肌肉疼头疼感冒1较高是是否是2非常高否否否否3非常高是否是是4正常是是是是5正常否否是否6较高是否否是7较高是否是是8非常高是是否是9较高否是是是10正常是否否否11正常是否是是12正常否是是是13较高否否否否14非常高否是否是15非常高否是否是16较高否否是是表3-4感冒诊断数据表例题

例题

例题递归调用上述步骤进一步对子集进行划分，直至满足算法终止条件，得到如下图所示完整决策树。例题3.2.3模型构造经典决策树算法——基于信息增益率的C4.5算法ID3不能处理连续值和缺失值

提出C4.5算法C4.5算法：信息增益率最大的属性做为当前节点的划分属性，并且引入剪枝策略避免过拟合。悲观错误剪枝（PEP）算法的基本思想：1、考察每个内部结点对应子树所覆盖训练样本的误判率与剪去该子树后所得叶结点对应训练样本的误判率；2、比较二者间的大小关系确定是否进行剪枝操作；3、当剪枝后所获得叶子节点的误判率小于所对应的子树误判率时，进行剪枝。注：由于PEP算法直接通过训练样本集对子树和叶结点进行评估，导致子树的误判率一定小于叶结点的误判率，得到在任何情况下都无需剪枝的错误结论。为避免出现这种错误结论，在计算误判率时添加了一个经验性惩罚因子。3.2.3模型构造悲观错误剪枝（PEP）算法过程

3.2.3模型构造悲观错误剪枝（PEP）算法过程

3.2.3模型构造经典决策树算法——基于基尼指数的CART算法CART（ClassificationandRegressionTree）即分类与回归树，核心特点是构建二叉树（无论特征是离散型还是连续型，均做二划分），可构建分类树（基于基尼指数）和回归树（基于最小二乘），并引入剪枝策略防止过拟合。CART分类树：基于基尼指数的二元划分

CART分类树：基于基尼指数的二元划分

例题编号12345678910123456789105.565.75.916.46.87.058.98.799.05

例题

1.52.53.54.55.56.57.58.59.55.565.635.725.896.076.246.626.887.117.57.737.998.258.548.918.929.039.051.30870.7540.27710.43681.06441.30870.7540.27710.4368例题

1.52.53.54.55.55.565.635.725.896.076.376.546.756.937.051.30870.7540.27710.43681.0644

3.2.3模型构造代价复杂度剪枝（CCP）算法过程

3.2.3模型构造代价复杂度剪枝（CCP）算法过程

3.2.3模型构造

代价复杂度剪枝（CCP）算法步骤【例题3.7】表3-5为拖欠贷款人员训练样本数据集，使用CART算法基于该表数据构造决策树模型，并使用表3-6中测试样本集确定剪枝后的最优子树。例题表3-5拖欠贷款人员训练样本数据集编号房产状况婚姻情况年收入（千元）拖欠贷款1是单身125否2否已婚100否3否单身70否4是已婚120否5否离异95是6否已婚60否7是离异220否8否单身85是9否已婚75否10否单身90是表3-6拖欠贷款人员测试样本数据集编号房产状况婚姻情况年收入（千元）拖欠贷款者1否已婚225否2否已婚50是3否单身89是4是已婚320否5是离异150是6否离异70否

例题

例题例题表3-7年收入特征的划分方式与基尼指数取值表年收入607075859095100120125220中间值6572．58087．792．597．5110122．5172．5

是030303122130303030否162534343434435261Gini0.40.3750.3430.4170.40.30.3430.3750.4年收入特征具体做法如下：首先依据“年收入”特征取值对样本进行升序排序，从小到大依次用“年收入”特征相邻取值的均值作为划分阈值，将训练样本集划分为两个子集。结果如下表所示：

例题

图3-5使用CART生成算法构建的完整决策树例题

图3-6剪枝后的决策树例题

3.3贝叶斯模型3.3.1贝叶斯方法3.3.2贝叶斯分类3.3.1贝叶斯方法频率学派vs贝叶斯学派频率学派(Frequentist)认知：概率是客观频率，参数是固定未知常数方法：通过极大似然估计(MLE)求解固定参数贝叶斯学派(Bayesian)认知：概率是主观信任度，参数是随机变量方法：基于贝叶斯公式，利用先验+数据更新认知核心公式与逻辑

核心逻辑：后验概率=先验概率×样本信息3.3.1贝叶斯方法

【例题3.8】某抽奖游戏使用三个外观一致碗和三张抽奖劵，其中两张1元劵和一张1000元劵。游戏主持人分别用每个碗盖住一张劵且不让抽奖者知道每个碗盖的是几元劵，在抽奖者选定一个碗之后翻开剩下两个碗中的一个，使得翻开的碗盖的是1元劵。抽奖者如何选择才能以较高的概率获得1000元劵。例题

3.3.1贝叶斯方法贝叶斯决策论

3.3.1贝叶斯方法贝叶斯决策论

例题

3.3.2贝叶斯分类贝叶斯分类贝叶斯分类模型：贝叶斯分类器、朴素贝叶斯分类器、半朴素贝叶斯分类器区别：不同的分类模型对模型中多个随机变量之间条件独立性假设有所不同。构造贝叶斯分类器步骤

例题表3-8硬币分类问题训练数据集编号12345678910112222222244411111115555编号12131415161718192021

4444666666

5511010101010105

例题表3-9混淆矩阵取值表1（角）5（角）10（角）1（角）00.50.95（角）0.200.610（角）0.10.20

例题

3.3.2贝叶斯分类朴素贝叶斯分类器

例题【例题3.11】假设有10个苹果，表3-10为它们的体积、颜色、形状和质量数据，试根据该数据集构造用于判别苹果质量的朴素贝叶斯分类器。表3-10苹果数据集编号12345678910体积小大大大大小大小小大颜色青红红青青红青红青红形状非圆非圆圆圆非圆圆非圆非圆圆圆质量一般优质优质一般一般优质一般一般一般优质

例题

例题综上所述，可构建如表3-11所示的朴素贝叶斯分类器。表3-11朴素贝叶斯分类器分类结果表体积大大大大小小小小颜色红红青青红红青青形状圆非圆圆非圆圆非圆圆非圆质量优质优质一般一般优质一般一般一般3.3.2贝叶斯分类半朴素贝叶斯分类器提出背景朴素贝叶斯的条件独立性假设过于严格，无法适应真实场景中特征的依赖关系。半朴素贝叶斯通过适当放松独立性假设，平衡了模型精度与计算复杂度。核心策略：独依赖估计

经典实现：SPODE方法核心逻辑：指定一个超父特征，其他特征均依赖于它。实现步骤：遍历所有特征作为超父，选择误差最小的构建模型。优势：少量计算增量换取显著的精度提升。例题【例题3.12】试用表3-12所示苹果数据集构造判别苹果品质的半朴素贝叶斯分类器。表3-12苹果数据集编号12345678910体积小大大大大小大小小大颜色青红红青青红青红青红形状非圆非圆圆圆非圆圆非圆非圆圆圆质量一般优质优质一般一般优质一般一般一般优质

例题

表3-13半朴素贝叶斯分类器分类表体积大大大大小小小小颜色红红青青红红青青形状圆非圆圆非圆圆形非圆圆形非圆品相优质优质一般一般优质一般一般一般3.4支持向量机3.4.1线性可分性3.4.2核函数技术3.4.3结构风险分析3.4.1线性可分性

3.4.1线性可分性对于一个线性可分性的样本数据集，其分离超平面通常不止一个。SVM模型：分离超平面使得两类样本数据与该分离超平面形成的间隔均为最大。SVM只输出样本类别而不输出样本属于某一类别的概率。3.4.1线性可分性核心定义：最大间隔超平面面向二分类任务，目标是在特征空间中找到一个能使两类样本间隔最大化的分离超平面，以此构建分类器。线性可分性

为什么要最大化间隔？最大间隔超平面对局部扰动容忍性最强，泛化能力最优。模型仅由距离最近的“支持向量”决定。3.4.1线性可分性函数间隔几何间隔支持向量

距离最优超平面最近的样本点，它们是构建分类边界的决定性因素，其他点不影响超平面位置。

3.4.1线性可分性对偶问题求解

3.4.1线性可分性对偶问题求解

3.4.1线性可分性软间隔SVM提出背景核心优化思想硬间隔SVM要求样本完全线性可分，对噪声零容忍。在真实场景中，数据往往存在噪声，难以实现完美分类，因此需要引入软间隔来处理近似线性可分的情况。

3.4.2核函数技术

3.4.2核函数技术

例题

例题

3.4.2核函数技术

3.4.2核函数技术核函数的充分条件（Mercer）定理：任意半正定函数都可以作为核函数。

3.4.2核函数技术Mercer定理是一个充分而非必要条件，故也可以将某些不满足该定理条件的函数作为核函数。下表为一些常用的核函数：

3.4.2核函数技术提出背景：解决非线性可分难题对于完全线性不可分的数据集，无法在原始特征空间中找到分离超平面。核函数通过非线性映射将数据转换至高维空间，使其线性可分。核心原理：核技巧(KernelTrick)

常用核函数类型线性核：适用于线性可分场景，即原始SVM。多项式核：适用于中等复杂度的非线性场景。高斯核：最常用的通用核函数，适用于复杂非线性场景。带核函数的SVM模型

总结3.4.3结构风险分析核心定义经验风险是模型在给定的有限训练样本上的平均损失，它是对真实风险的一个估计。训练样本数足够多时，经验风险大体能够代表泛化误差，使用经验风险来代替泛化误差作为模型泛化性能的度量指标。数学表达

关键说明与意义

经验风险3.4.3结构风险分析结构风险训练样本数目较少时，经验风险和泛化误差之间通常会有较大差别，所以我们采用结构风险。结构风险：经验风险+置信风险。

含义

置信风险置信风险与模型复杂程度成正比：模型越复杂，则其泛化能力通常越弱，此时置信风险就越大；置信风险与训练样本数成反比：训练样本较多时，模型泛化能力较强，置信风险则较小。3.4.3结构风险分析

VC维VC维：对于给定的决策函数候选集ℱ，通过ℱ能打散最大测试样本集的基数h称为ℱ的VC维。VC维h反映了ℱ的表示能力，h越大则ℱ对应的模型就越复杂，模型泛化能力也就越弱。三个测试样本的所有可能分类结果3.4.3结构风险分析

3.4.3结构风险分析

3.4.3结构风险分析结构风险最小化结构风险最小化具体思想：

3.4.3结构风险分析结构风险最小化

3.4.3结构风险分析结构风险最小化结论：1、从上述目标函数表达式可以看出，SVM模型优化训练采用的是基于结构风险最小的优化策略。2、由于硬间隔SVM模型训练的经验风险为0，故通过对支持向量分类间隔最大化的方式最小化置信风险，由此获得泛化能力较强的SVM模型。3、对于训练样本集线性不可分的情形，由于模型训练的经验风险不为0，故此时综合考虑经验风险和置信风险取值，使得经验风险和置信风险的整体取值达到最小，从而获得具有较强泛化能力的SVM模型。3.5监督学习应用3.5.1信用风险评估3.5.2垃圾邮件检测3.5.3车牌定位与识别3.5.1信用风险评估问题背景信用卡市场快速发展伴随欺诈风险上升，造成巨大经济损失。核心挑战：如何从海量交易中精准识别异常，保护用户资产安全。任务转化将检测问题转化为二分类问题：类别0：正常交易类别1：欺诈交易目标：基于交易特征构建高精准模型。数据集介绍来源：欧洲信用卡数据集规模：284,807笔交易记录不平衡：欺诈仅占0.17%特征：28个PCA降维特征+时间金额关键挑战：数据极度不平衡（欺诈样本极少）是本项目面临的最大技术难点，需要采用特定的重采样或算法策略来解决。3.5.1信用风险评估模型一：k近邻算法k近邻无需训练特定模型，核心思想是同类别样本在特征空间距离相近，将测试样本分类为其k个近邻中数量最多的类别步骤一：数据预处理剔除无关特征：交易时间（Time）、交易金额（Amount）与欺诈结果关联不大，直接删除；平衡正负样本：欺诈样本（1）共492个，从正常样本（0）中随机抽取492个，构造正负样本各492的新数据集D，避免模型偏向多数类。具体过程如代码3-1所示。3.5.1信用风险评估模型一：k近邻算法步骤二：数据集划分采用留出法，将数据集D按7:3划分为训练集（688个样本）和测试集（296个样本），对应代码3-2；由于单次划分存在随机性，对每个k值重复十次划分与测试，取正确率均值作为最终结果。步骤三：k近邻算法的实现核心是欧氏距离计算与近邻类别统计，对应代码3-3（kNN分类函数）和代码3-4（性能测试）：计算测试样本与训练集所有样本的欧氏距离；按距离升序排序，选择前k个近邻；统计k个近邻的类别，取数量最多的类别作为测试样本的预测标签；统计正确预测数，计算分类正确率。3.5.1信用风险评估模型一：k近邻算法步骤四：k值调优与结果分析测试k取3、5、7、9、11、13、15时的正确率，结果如下：k值3579111315准确率0.9160.9360.9320.9370.9270.9290.919关键结论：k=9时正确率最高（93.7%），为最优k值。关键参数k值的影响k过小：近邻样本少，易受噪声干扰，分类精度下降；k过大：算法倾向于训练集多数类，丢失局部特征，分类效果变差。3.5.1信用风险评估模型二：CART决策树CART决策树是二叉树，以基尼指数为标准选择最优分裂属性与分裂值，核心是通过剪枝防止过拟合，评估流程与k近邻一致，实现细节不同。另外，使用该模型时，数据预处理过程与k近邻完全一致。步骤一：CART决策树的构建对应代码3-5，核心逻辑是递归选择最优分裂节点：计算每个特征及对应取值的基尼指数，基尼指数越小，数据集纯度越高；选择基尼指数最小的特征-取值对作为分裂节点，将数据集划分为左右子树；递归执行上述步骤，直到子树满足停止条件。3.5.1信用风险评估模型二：CART决策树步骤二：CCP剪枝原始CART决策树分支过多，易出现过拟合，教材采用代价复杂度剪枝（CCP），对应代码3-6：计算每个子树的合并误差与未合并误差；若合并误差小于未合并误差，将该子树剪枝为叶节点；递归剪枝，得到一系列剪枝后的子树。步骤三：10折交叉验证选最优树对应代码3-7，采用10折交叉验证构造10棵初始树，分别剪枝后用测试集测试性能，选择正确率最高的子树作为最终模型；结果：最优剪枝树的分类正确率为93.87%，略高于k近邻。3.5.1信用风险评估算法对比与总结K近邻算法实现简单，无需训练模型，但计算效率较低，对k值选择敏感。最终准确率：93.7%CART决策树可解释性强，通过剪枝能有效控制过拟合，正确率略高，是信用风险评估的更优选择。最终准确率：93.87%3.5.2垃圾邮件检测传统方法的缺陷电子邮件是重要的交流工具，但垃圾邮件严重影响使用体验。传统垃圾邮件检测方法的局限性明显：关键词法：仅依据特定词语过滤，易被规避（如谐音、拆分关键词）；校验码法：通过文本校验码匹配已知垃圾邮件，无法识别新垃圾邮件。任务转化我们采用机器学习文本分类方法解决该问题，核心是将垃圾邮件检测转化为正常邮件/垃圾邮件的二分类问题，选择朴素贝叶斯分类器作为核心算法。算法选择依据垃圾邮件检测的数据集是高维文本数据，且文本特征（单词）之间的依赖关系极少，而朴素贝叶斯分类器的核心假设是样本各属性相互独立，完美匹配文本数据的特征；同时朴素贝叶斯计算效率高，适合高维数据，是文本分类的经典算法。数据集介绍：采用Spambase垃圾邮件数据集，选取50封邮件作为实验样本，正常邮件与垃圾邮件各25封，每封邮件均带有类别标签。类别0(Ham)正常邮件类别1(Spam)垃圾邮件3.5.2垃圾邮件检测朴素贝叶斯的核心公式假设分类错误损失均为1，且邮件包含d个关键单词，结合条件独立性假设，风险最小化公式为：

步骤一：文本特征提取（词袋模型）文本数据无法直接输入模型，需转化为数值型特征向量，教材采用词袋模型，对应代码3-8，包含三个核心函数：textParse()：分词处理，将文本按非字母分割，转为小写，过滤长度≤2的单词（去除介词、助词等无意义虚词）；createVocabList()：构建词汇表，将所有邮件的关键单词去重，形成唯一词汇表；bagOfWords2Vec()：将单封邮件转化为特征向量，向量维度为词汇表长度，元素为单词在邮件中出现的次数。3.5.2垃圾邮件检测步骤二：构建朴素贝叶斯分类器对应代码3-9，核心是计算先验概率和条件概率，为避免出现“某单词在某类别中未出现导致条件概率为0”的问题，采用加1平滑：初始化条件概率的分子为1，分母为2；计算垃圾邮件的先验概率p(Spam)=垃圾邮件数/总邮件数；计算每个单词在垃圾邮件/正常邮件中的条件概率，取对数避免乘积下溢；输出正常邮件/垃圾邮件的条件概率向量与垃圾邮件先验概率。3.5.2垃圾邮件检测步骤三：模型测试（5折交叉验证）对应代码3-10，采用5折交叉验证测试性能：将50封邮件划分为5组，每次取4组（40封）为训练集，1组（10封）为测试集；重复5次训练-测试过程，统计每次的分类正确率；结果：2次正确率90%，3次正确率100%，平均正确率96%，分类效果理想。结果分析与拓展朴素贝叶斯在小样本文本分类中表现优异，平均正确率达96%，可有效实现垃圾邮件检测；实验数据集仅50封邮件，限制了模型性能，实际应用中增大训练集规模，结合词频-逆文档频率（TF-IDF）等更优的文本特征，可进一步提升检测效果；朴素贝叶斯是文本分类的基准算法，在情感分析、新闻分类等场景中均有广泛应用。3.5.3车牌定位与识别问题背景我国汽车保有量快速增长，智能交通系统成为交通管理的核心手段，车牌识别是智能交通的关键技术，广泛应用于城市安防、车辆自动管理等领域。车牌识别的核心是解决两个问题：车牌定位：在图像/视频中框选出车牌的具体位置；车牌号识别：识别出车牌区域中的字符信息（数字+字母）。任务转化车牌区域的显著特征：边缘信息丰富、规则矩形形状，因此车牌定