机器学习及其应用课件 第4章-无监督学习

4.1聚类分析4.3半监督学习4.2主分量分析第四章无监督学习4.4无监督学习应用核心特点：训练数据中包含明确的标签（Label），每个输入样本都对应一个已知的输出结果，算法的训练目标是核心特点：学习输入与标签之间的映射关系。典型任务：分类（如图像识别中区分猫和狗、垃圾邮件判断中区分正常邮件与垃圾邮件）典型任务：回归（如根据房屋面积、地段等特征预测房价）

当数据没有标签时，该如何从这些无标签数据中挖掘隐藏的规律、提取有用的信息呢？回顾监督学习无监督学习无标注，发现结构无标注监督学习有标注，预测标签核心逻辑：无需人工标注标签，让算法自动从大量无标签数据中，通过分析样本之间的相似性、关联性，发现数据自身的结构、规律和内在关联，实现对具体问题的求解。核心应用：数据挖掘、图像识别、自然语言处理等多个领域。例如，“啤酒+尿不湿”的故事，短视频软件推荐内容以及购物软件的商品推送等。运动鞋无监督学习4.1聚类分析ClusteringAnalysis4.1.1划分聚类法4.1.2密度聚类法机器学习的聚类任务就是根据样本数据之间的某种相似关系实现对样本数据集合的某种归类，使得具有同类型中的样本之间具有较大相似性或相似度，实现物以类聚的效果。

聚类分析方法主要有划分聚类、密度聚类、层次聚类、网格聚类和模型聚类等基本类型，本节主要介绍划分聚类和密度聚类这两种最常用的聚类方法，讨论对样本数据进行聚类分析的基本思想和关键技术。聚类分析划分聚类密度聚类k-均值聚类算法模糊c-均值聚类算法DBSCAN聚类算法OPTICS聚类算法聚类分析核心假设在特征空间中，样本点之间的距离越近，代表其相似度越高。

聚类的基石：相似度度量该算法基于同类样本在特征空间中应该相距不远的基本思想，将集中在特征空间某一区域内的样本划分为同一个簇，其中区域位置的界定主要通过样本特征值的均值确定。基本思想：类内紧凑，类间分离聚类簇数k=3算法的最终目的是找到最优的k个质心，使得数据集在该划分下的类内距离达到最小或者尽可能地小。核心目标：最小化类内距离类内距离公式

4.1.1划分聚类—k-均值聚类算法

step2

step1

step4

step3

计算数据各样本与各簇中心间的距离w，并根据w值将其划分到簇中心点与其最近的簇中；

k-均值聚类算法步骤核心优势原理简单且易实现算法逻辑直观，代码实现门槛低，易于理解。计算效率高时间复杂度为O(nkt)，在大规模数据下仍保持高效。可扩展性好能够有效处理大规模数据集，适用场景广泛。主要局限需预先指定K值必须预先知道簇的数量，而最优K值往往难以确定。对初始质心敏感随机初始化可能导致收敛到局部最优，结果不稳定。对异常值敏感极端值会严重干扰质心计算，导致聚类结果偏差。K-Means算法：优缺点分析队伍赛事1502817252850505040505050404050赛事250915404050404040505050403250赛事39435219959599179问题背景：下表是15支足球队在3项赛事中的积分情况。请利用K-Means算法将球队分为低、中、高三个实力层次。K-Means应用实例：球队水平聚类Step1:队伍赛事110.300.240.31110.71110.70.71赛事2100.150.760.7610.760.760.761110.760.591赛事30.50.190.130.250.0600.50.50.250.50.250.50.510.5由于不同赛事积分范围差异较大，直接计算距离会导致量纲大的特征占主导地位，而忽略了小量纲特征。为什么要归一化最小-最大标准化策略：方法Step2:队伍1.2594

00.34070.76470.77101.23541.07871.07870.86091.25941.22211.25940.91311.13071.25940.38420.91310.99950.52350.59460.63060.30000.30000.25000.38420.45840.384200.50640.384201.25941.36360.83530.86090.5000.24000.24000.458400.250000.38420.66510

计算每个数据点到聚类中心的欧氏距离，结果如下表所示：Step3:队伍1.2594

00.34070.76470.77101.23541.07871.07870.86091.25941.22211.25940.91311.13071.25940.38420.91310.99950.52350.59460.63060.30000.30000.25000.38420.45840.384200.50640.384201.25941.36360.83530.86090.50000.24000.24000.458400.250000.38420.66510根据表中所示的距离数据，分别将每个数据点分配到聚类中心与其距离最近的簇中（最小值属于哪一簇），得到第一次聚类结果为：

Step4:队伍1.30140.17040.17040.69670.70831.26641.14341.14340.88311.30141.25951.30140.94201.17221.30140.54410.80920.84430.33080.41970.67680.48040.48040.23680.54410.56090.54410.19390.61600.54410.11131.19181.30400.79650.80140.41070.20300.2030

0.38320.11130.16740.11130.36220.71420.1113计算各数据点与更新后的聚类中心的距离，得到下表所示计算结果：根据表的数据可得到第二次聚类结果如下：聚类结果并未发生变化，故聚类中心收敛，停止迭代。

FCM非此即彼：每个样本只能绝对属于一个簇边界清晰：不存在模棱两可的中间状态极端情况：当FCM的权重参数p趋近于无穷大时，FCM退化为K-MeansK-Means硬划分软划分引入隶属，表示样本属于某个簇的“程度”取值范围为[0,1]，数值越大代表隶属程度越高约束条件：样本对所有簇的隶属度之和必须等于14.1.1划分聚类—模糊c-均值聚类算法（FCM）FCM的基本思想与K−Means较为类似，要求被划分到同簇的样本之间具有最大的相似性，即簇内加权距离最小，主要通过对目标函数的优化计算获得每个样本点对各个簇的隶属度，由此实现对样本数据进行自动聚类的效果。所有簇内加权距离之和公式为：取值越小，则表示簇内相似性越高为控制隶属度对聚类最终效果的影响及简化计算，将上述加权距离之和公式改写为如下形式：参数p为控制模糊程度的权重指数，通常取值为2；若p值越大，则隶属度对最终的聚类效果影响就越大，此时边界划分的模糊程度就越强；p值减小，聚类结果越接近K-Means的“硬划分”。

可用拉格朗日乘数法求解上述条件优化问题。令拉格朗日函数为

既有

(1)

(3)核心优势处理模糊边界引入隶属度概念，能够有效处理类别边界模糊的数据，提供更丰富的概率信息。结果更鲁棒相比K-Means，对初始值的敏感性较低，聚类结果通常更稳定。主要局限计算复杂度更高隶属度矩阵的计算增加了内存消耗和运算时间。对参数敏感参数p的选择直接影响模糊程度，难以确定最优值。仍需指定簇数同K-Means一样，无法自动确定簇的数量。FCM算法：优缺点分析34914182131068117

表中数据点二维空间分布情况如下图所示FCM应用实例取p=2，令则可将隶属度计算公式表示为：

隶属度矩阵为：

隶属度矩阵为：

隶属度矩阵为：重复上述过程，经过8次迭代得到如下聚类中心为和隶属度矩阵：

4.1.2密度聚类法传统划分聚类的局限性依赖距离与质心

K-Means/FCM等算法通常只适用于圆形聚簇的聚类。难以处理非凸形状

对于环形、月牙形等复杂分布的数据，聚类效果极差。密度聚类法的核心思想基于密度划分簇

簇是样本空间中密度相连的点的最大集合。适用于任意形状

不依赖距离公式，能发现非圆形、环形等任意形状的簇。识别噪声点能够有效区分核心对象与异常值。

噪声点领域半径𝜀用于判定某个样本是否属于某个邻域的距离阈值。核心对象（核心点）

MinPts

样本数据集合中存在一些异常样本点或者少量游离于聚簇之外的样本点，这些点不在任何一个核心对象周围。边界点核心点噪声点DNSCAN聚类算法密度直达？密度相连？

如果在样本数据集中存在一个核心对象c，使得a和b均可由c密度可达，则称a和b关于𝜀和MinPts密度相连。例如，在下图中，若取𝜀=1cm，MinPts=5，则点o、p和q都是核心对象，点p和q都从o密度可达，点p和q密度相连。因此，可将DBSCAN算法聚类过程概括为由密度可达关系导出一个或多个具有最大基数的密度相连的样本集合，并由这些样本集合形成作为聚类结果的聚簇。这些聚簇可以有一个或者多个核心对象。对于只有一个核心对象聚簇，则该簇里其他非核心对象样本都在这个核心对象的𝜀邻域中。对于具有多个核心对象的聚簇，则该簇中任意一个核心对象的𝜀领域中一定至少有一个其他核心对象，否则这两个核心对象之间就无法实现密度可达。这些核心对象的𝜀领域里所有样本的集合组合一个DBSCAN聚类簇。密度直达？密度相连？核心优势无需指定簇数k算法自动发现簇的数量，无需人工预设。发现任意形状的簇突破划分聚类方法的局限，完美适应非球形分布。有效识别噪声点天然具备异常检测能力，精准标记离群点。主要局限对参数极其敏感ε和MinPts的微小变化可能导致结果截然不同。密度不均匀数据处理差难以同时识别密度差异很大的簇。计算复杂度较高O(nlogn)的时间复杂度在超大规模数据下效率低。DBSCAN算法：优缺点分析序号123456789101112属性A251234561252属性B112222223334

表中数据点二维空间分布情况如下图所示1AB23456987111012DBSCAN应用实例

ab

cde

DBSCAN的局限性

通过对样本点的聚类分析计算输出一个关于聚簇的排序，从中得到DBSCAN密度聚类算法基于参数𝜀和MinPts在任意取值下的聚类结果。为能同时构造不同密度类型的聚簇，需优先选择关于最小化𝜀值的密度可达样本数据对象进行处理，使具有较高密度的聚簇优先完成构造。参数：核心距离、可达距离OPTICS的核心思想OPTICS聚类算法核心点p成为核心点的最小ε值，即第MinPts个最近邻点的实际距离。若p不是核心点，则核心距离不存在。点p到核心点o的可达距离为max（点o的核心距离，点p到点o的实际距离），表示p相对于o的“密度可达”距离。核心距离可达距离

OPTICS算法以样本对象的最小可达距离为标准对数据集中所有样本进行排序生成一个关于样本对象的有序列表。OPTICS算法的具体计算过程如下：(1)创建两个队列，有序队列和结果队列。有序队列用来存储核心对象及其直接可达对象，并按可达距离升序进行排列；结果队列用来存储样本点的输出次序；如果样本集中所有样本点都处理完毕，则算法结束。否则，任意选择一个未处理样本点，即不在结果队列中且为核心对象的样本点，找到其所有直接密度可达样本点，若该样本点不在结果队列中，则将其放入有序队列并按可达距离排序；

(3)如果有序队列为空，则跳至步骤(2)，重新选取处理数据；否则，从有序队列中取出第一个样本点，即可达距离最小的样本点进行拓展，将取出的样本点保存至结果队列中。判断该拓展点是否是核心对象，若该点是核心对象，则找到该拓展点所有的直接密度可达点；若不是，则跳至步骤(3)，取可达距离倒数第二小的样本点。再判断该直接密度可达样本点是否已经存在结果队列，是则不处理，否则下一步。

(6)迭代上述步骤(2)至(5)，直至有序队列为空，此时输出结果队列中样本点序列。将所有的直接密度可达点放入有序队列，且将有序队列中的点按照可达距离重新排序，如果该点已经在有序队列中且新的可达距离较小，则更新该点的可达距离；如果有序队列中不存在该直接密度可达样本点，则插入该点并对有序队列进行重新排序。

在上述DBSCAN和OPTICS算法中，样本数据对象的分布密度都是通过统计被半径参数ε所界定邻域中的样本对象个数进行计算。这种密度估计方法有时对半径值的变化非常敏感。例如在右图中，半径的微小增加使得样本对象的分布密度发生显著变化。核心优势参数鲁棒性强虽然仍需设置参数，但结果对参数变化不敏感，鲁棒性优于DBSCAN。处理密度不均匀数据能够有效识别嵌套簇或密度差异大的簇，解决了DBSCAN的密度限制。提供丰富结构信息生成的聚类排序图包含完整的密度结构信息，比单一划分结果更具价值。主要局限结果解释复杂度高输出为排序图而非直接的簇划分，需要用户进行额外分析，不够直观。计算与内存开销大维护优先队列导致计算复杂度和内存消耗高于DBSCAN。高维数据处理受限与DBSCAN类似，受“维度灾难”影响，高维空间中距离度量失效。OPTICS算法：优缺点分析对比维度K-MeansFCM（模糊c-均值）DBSCANOPTICS核心思想基于质心划分基于质心与隶属度基于密度连通性基于密度排序簇形状圆形圆形任意形状任意形状关键参数k（簇数）c（簇数）、p（隶属度）ε（半径）、MinPts（点数）ε（半径）、MinPts（点数）噪声处理无（对异常值敏感）无（对异常值敏感）有（可识别噪声）有（可识别噪声）主要优缺点优：简单高效缺：指定k，对初始值缺：敏感优：处理模糊边界缺：指定c，计算复杂优：发现任意形状簇缺：对密度不均数据差优：参数鲁棒，发现不优：同密度簇缺：结果解释复杂，开优：销大聚类算法横向对比4.2主成量分析PrincipalComponentAnalysis(PCA)4.2.1基本PCA方法4.2.2核PCA方法在损失尽可能少信息的前提下，将高维数据映射到低维空间，实现数据压缩与信息浓缩。通过寻找一组正交的主成分（原始特征的线性组合），使得数据在这些新坐标轴上的方差最大，实现高维向量在该坐标系中得到有效的降维。核心目的核心思想典型算法基本PCA方法、核PCA方法三维数据投影到二维主成分平面4.2.1什么是主分量分析(PCA)？方差衡量数据的离散程度。方差越大，说明数据在该方向上的分布越分散，包含的信息量越多。PCA旨在寻找投影后方差最大的方向。为什么是方差主成分的选择逻辑二维数据的主成分方向示意（箭头表示最大方差方向）PC1（第一主成分）：数据方差最大的方向PC2（第二主成分）：与PC1正交且方差次大PC3（第三主成分）：与前两者正交且方差最大PCA的核心：最大化方差数据表示原理任何m维向量都可以用一组基向量来线性表示，基向量构成了数据所在的空间。线性变换映射通过变换矩阵W实现从原空间到新空间的映射X’=WX变换目标寻找一组新的基向量，使得数据在新坐标系下的表示更紧凑，从而提取关键特征。不同坐标系下坐标变换示意图数据表示和基变换为什么要标准化？消除量纲影响不同特征单位不同，数值范围差异大，会直接影响分析结果的公平性。数据中心化将数据中心移至原点，简化后续计算，使各特征具有相同的尺度基准。标准化公式（Z-score）

核心目标：将所有特征转换到同一尺度，确保数据分析的客观性与准确性数据标准化计算公式

核心定义协方差矩阵C是衡量不同特征之间相关性和各自方差的重要工具，是PCA分析的核心数据基础。矩阵元素含义主对角元素：对应各个特征自身的方差，反映了特征的波动程度。非对角元素：对应两个不同特征之间的协方差，反映了特征间的线性相关性。协方差矩阵数学建模：目标函数与约束条件

核心目标：寻找最优基向量

求解结论：特征值分解

主成分的求解：最大化方差第二主成分

在与第一主成分正交的约束下，寻找方差最大的方向，确保信息不重叠。第二主成分第二主成分

通过特征值分解，第二主成分对应协方差矩阵的第二大特征值及其特征向量。求解逻辑第二主成分

以此类推，第k个主成分对应协方差矩阵的第k大特征值及其特征向量，且所有主成分相互正交。后续主成分核心思想：通过特征值分解，在正交约束下依次提取方差最大的维度主成分的求解：正交性约束基本PCA方法的基本步骤(3)求出协方差矩阵C全部特征根并将这些特征根按照从大到小次序排列，选择前k个特征值所对应特征向量按行排列构成变换矩阵W。(1)对数据集D中样本数据按如下公式进行标准化，并组成新的数据矩阵Z。根据数据矩阵Z计算协方差矩阵

使用变换矩阵W对原数据进行降维X’=WX，或对标准化数据进行降维Z’=WZ。

主成分数量的选择：方差贡献率50%90%60%80%70%95%主成分数量累计方差贡献率累计方差贡献率随主成分数量增加的变化趋势方差贡献率单个主成分的方差占总方差的比例，反映了该成分对原始数据信息的解释能力。选择标准通常选择累计方差贡献率达到95%或97%以上的最小k值，以保留大部分信息。累计方差贡献率Ω

序号12345678148139160149159142153150413449364531434372717767806677777876867986768879基本PCA方法的实例首先求出各项身体指标的均值分别为150，40.25，73.25，80.375和各项身体指标的标准差分别为7.37，6.07，5.06，4.1，则可经过标准化后的数据如下表所示：序号12345678-0.2714-1.49301.3572-0.13571.2215-1.08580.407200.1237-1.03051.4427-0.70070.7832-1.52510.45340.4534-0.2468-0.44430.7405-1.23421.3330-1.43170.54310.7405-0.4788-1.06611.3708-0.33511.3708-1.06610.6397-0.3351然后计算协方差矩阵C，得到：计算协方差矩阵的特征值、特征向量和累计方差贡献率，计算结果如下表所示编号特征值特征向量累计方差贡献率13.5850

0.5073，0.5103，0.4763，0.505386.62%20.29890.4704，−0.1748，−0.7572，0.418197.10%30.0973−0.1303，−0.7483，−0.3823，0.526299.53%40.0188−0.7102，−0.3860，−0.2314，0.5413100%

代入原数据后得到降维之后的数据如下表所示序号12345678-0.4846-2.03362.4701-1.18362.3469-2.54981.01990.4148-0.2043-0.63140.39860.85320.00140.3943-0.0315-0.7801对于第一个主成分对应的特征向量，其各个分量值均在0.5附近，反映的学生身材的魁梧程度。对于身材高大的学生，其4个部位的尺寸都比较大；对于身材矮小的学生，其4个部位的尺寸都比较小。故可称第一主成分为大小因子。对于第二个主成分对应的特征向量，其第一个分量（身高系数）和第四个分量（坐高系数）为正值,而第二个（体重系数）和第三个分量（胸围系数）为负值，反映的学生的胖瘦情况，故可称第二主成分为胖瘦因子。基本PCA的局限性核PCA的基本思想通过核映射技术对原始高维数据做进一步的升维变换，使得在升维后的数据分布在更高维的空间中更加适合使用线性映射方式进行降维。

本质上是通过某种非线性映射方式实现对复杂数据分布的降维。基本PCA方法使用线性映射方式将原始高维数据降至低维，但有时直接通过线性映射很难得到良好的低维数据表示，此时使用基本主分量分析法则很难获得满意效果。

(3)求核矩阵K所对应的特征值并将其按从大到小的次序排列，选择前k个特征值所对应特征向量按行排列构成主分量分析的变换矩阵W;计算核函数所对应的核矩阵K；

4.2.2核PCA方法的基本步骤对比维度基本PCA核PCA数据类型适用于线性可分数据适用于非线性可分数据处理方式原始空间直接线性变换核技巧映射至高维空间数学本质协方差矩阵特征分解核矩阵特征分解主要优点计算高效、解释性强、应用广泛处理非线性数据、无需显式高维计算主要缺点局限线性结构、对异常值敏感计算复杂、核函数难选、解释性差基本PCA与核PCA：对比分析

年份2008104.7117.0921.31116371.7876817702009100.216.3320.27114321.397212150201099.516.4320.97115011.46442934201198.5717.0619.64119411.477483194201294.8317.7517.82124221.348063556201384.1818.2217.1127561.798773837201498.322.2916.21133711.7610344371201593.6122.1415.45138472.017844388201695.7223.3214.96140971.7412144528201798.8423.515.1126291.8213175719基本主分量分析法在python开发平台中调用Scikit-learn模块中的PCA类进行计算，算得七项指标的均值和标准差如下表所示。平均值96.8219.4117.88126291.65891.33644.7标准差5.423.002.49991.200.23223.761186.25然后，根据七项指标的均值和标准差分别对各个数据进行标准化，并根据标准化后数据构造协方差矩阵，求得协方差矩阵的特征值及其方差贡献率如下表所示。编号特征值方差百分比累积方差百分比14.92340.70330.703321.02730.14680.850130.62710.08960.939740.26230.03750.977250.13720.01960.996860.01810.00260.999470.00450.00061.0000

-0.18840.8768-0.12780.28150.17260.0676-0.25670.43200.2569-0.04260.16930.09980.02260.8405-0.44150.0855-0.1430-0.1626-0.0543-0.82640.25490.4078-0.1510-0.1828-0.6843-0.2787-0.4005-0.26670.32530.0285-0.8274-0.42680.08020.0073-0.14160.37340.36610.3406-0.4308-0.6265-0.1323-0.36610.41390.01830.3569-0.17200.6933-0.1219-0.2381

年份2008200920102011201220132014201520162017-2.2841-2.6375-2.5259-1.6260-0.83140.73031.64852.06942.74212.71461.12640.2085-0.0361-0.0241-0.6239-2.20790.5597-0.69050.36811.3199核主分量分析法使用如下多项式核函数：其中s=0.00001，c=0.01，d=3。使用python语言实现核主分量分析法。首先计算核矩阵对应特征值，以及方差百分比和累计方差百分比，得到结果展示在下表。编号特征值方差百分比累积方差百分比13.91730.91460.914620.34500.08060.995230.01780.00410.999340.00280.00071.000050.00000.00001.000060.00000.00001.000070.00000.00001.0000

年份2008200920102011201220132014201520162017−1.5838−1.5892−1.2668−0.8334−0.2861

0.14191.01761.50161.90710.9912由上述计算结果可以看出，基本PCA方法取2个主成分的累积贡献率为85.01%；而核PCA方法第一主成分的贡献率就达到了91.46%，降维效果较基本PCA方法更加明显且包含了更多的原始数据信息。4.3半监督学习Semi-supervisedLearning4.3.1半监督学习假设4.3.2半监督支持向量机4.3.3半监督聚类监督学习使用带有标签的数据集训练，学习输入到输出的映射。例如：分类、回归任务。无监督学习用无标签数据集训练，发现数据内部结构和模式。例如：聚类、PCA降维。半监督学习的契机结合两者优点，利用少量标签数据和大量无标签数据构建更强大的模型。回顾：无监督学习与监督学习data2data1labelmodel利用少量有标签样本和大量无标签样本进行模型训练的学习方式。定义如同安排宴会，通过少数好友的偏好（标签）和观察多数宾客行为（无标签），来推测喜好并合理安排。这个过程，就是利用少量已知信息，去挖掘大量未知信息背后的规律，做出更合理的决策。形象比喻什么是半监督学习？无标签数据包含数据分布的大量信息，能帮助模型理解整体结构，从而提升性能。核心思想4.3.1基本假设：平滑性假设定义：在数据空间中距离相近的样本，其类别标签也应该相似。具体来说，如果两个样本点靠得很近，那么它们很可能属于同一类别。数据分布稠密区域的样本点，其标签变化是平滑的，不会突然从一个类别跳到另一个类别。右图建立在平滑性假设前提之下，由有标签的深色样本点可将随机样本分为两类，并基于该样本点，去推断无标签的浅色样本点。4.3.1基本假设：聚类假设定义：位于同一个聚类簇中的样本，其类别标签应该具有高度的相似性。“物以类聚”。分类决策边界应尽可能位于数据分布的稀疏区域，避免切割密集的聚类簇，从而保证分类的合理性。上图基于聚类假设，由有标签的深色样本点可将随机样本分为三类，并基于该样本点，去推断无标签的浅色样本点。4.3.1基本假设：流形假设定义：高维数据实际上分布在一个低维的流形上。在低维流形上距离相近的样本，其类别标签也应该相似。意义：通过降维映射，将复杂的高维数据转化为可理解的低维结构，揭示数据本质。具体来说，高维数据就像展开的地球，看似复杂但存在于低维“表面”。将数据投影到这个低维流形上，能更清晰地看到数据的结构和样本间的真实关系。显然，很难在左图中通过距离关系直接判断出各个样本间的关系。但是在右图，降维后每个数据点仅有两个坐标，可通过颜色的相近程度，很好发现原始数据中距离较近的点在降维后仍然接近，使得可以更好地理解样本集中的分布关系，并降低了数据集的复杂程度。三维流形不同于归纳推理仅从训练集学习规律，转导推理将无标签样本视为预测对象，在训练中为其分配“伪标签”，利用整体数据分布进行推断。转导推理技术半监督支持向量机引入转导推理机制，找到一个使得两类不同类型样本之间间隔最大的超平面，既能正确划分少量有标签样本，又能合理划分大量无标签样本，从而提升模型泛化能力。核心思想：寻找最优分类超平面少量有标签样本与大量无标签样本的分类边界4.3.2半监督支持向量机对于给定的示例样本数据集：

因此，目标函数为：

4.3.2半监督支持向量机由于𝐶为正则化参数，下面将通过𝐶的大小讨论松弛变量对于模型的具体影响。下图为不同𝐶值条件下针对同批样本的决策边界图，实线表示决策边界，虚线表示分类的边缘，圆圈标出错误分类的点。𝐶值低，模型更容忍误分类的数据点。因此，决策边界较宽松，允许一些数据点位于错误一侧。表明模型较为柔和，不太会过拟合，但分类精度较低；𝐶值为中等水平时，决策边界更紧凑，相对于𝐶=0.01情况，支持向量更靠近决策线，这种情况下的模型是尝试在正确分类和避免高方差之间找到平衡点；𝐶值较高，表示模型对误分类的容忍度非常低。

转导支持向量机大致过程为：利用有标签样本训练支持向量机，采用该支持向量机对未标记数据预测伪标签，并通过调整正则化参数去扩大无标签样本在训练中的比重，由此获得更准确的用于预测无标签样本的支持向量机，并经过不断迭代获取样本标签。转导支持向量机的具体过程(3)

S3VM训练优化：伪标签修正策略问题提出：迭代效率瓶颈伪标签的准确性直接决定模型性能。错误的伪标签会导致模型反复迭代，消耗大量时间，降低训练效率。修正依据：松弛变量阈值

修正条件：二分类交换策略

策略优势：高效收敛主动修正错误伪标签，避免模型在错误方向反复训练，显著节省训练时间，提高收敛速度与最终精度。指定某些样本点对必须位于同一个簇中。这意味着这些点在某种程度上是相似的，应当被归类到一起。必须连接约束指定某些样本点对不得位于同一个簇中。这表明这些点在关键特征上存在明显差异，应当被分开处理。不得连接约束核心思想：在无监督聚类（如K-Means）过程中，加入用户提供的先验知识作为约束条件，指导聚类方向，核心思想：避免明显错误。核心算法：约束k-均值算法4.3.3半监督聚类约束k-均值算法在聚类算法处理约束最简单的方式就是在分配步骤中检查每个点是否有约束。若有约束，则根据约束类型进行处理：①若为必须连接约束，则确保这些点在每次迭代中都被分配到同一簇中；②若为不得连接约束，就确保这些点在每次迭代中被分配到不同簇中。因此，约束k-均值算法其实就是增加了额外约束的k-均值聚类算法。算法具体过程如下：(3)更新中心点：对每个簇重新计算簇内所有点的均值，并将该均值设为新中心点。分配数据点到簇：先计算每个数据点到每个中心点的距离，再根据距离，将每个数据点分配到最近的中心点形成的簇中。这一步骤需要检查分配是否违反了必须连接约束或不得连接约束。

迭代直至收敛：重复步骤（2）和步骤（3），直到满足收敛条件（例如中心点变化非常小）

初始化：从数据集中随机选择K个初始中心点，以此作为初始聚类中心点。

约束k-均值算法应用实例序号ABCDEF属性A113567属性B242889已知下表表示的某数据集D，要求使用约束k-均值算法将这些数据点分成两个簇（K=2），并且满足以下约束条件：1.数据点(A)和(B)必须在同一簇。2.数据点(E)和(F)必须在同一簇。3.数据点(D)和(F)必须在不同簇。请采用欧氏距离，用约束k-均值算法计算出数据点的最终簇分配和簇中心。通过随机采样选择编号为A、E的两个数据点作为初始聚类中心，即两个簇的聚类中心分别为：

此时，计算每个数据点到聚类中心的欧氏距离，欧氏距离计算公式为：计算结果如表格所示：序号ABCDEF0.002.002.007.217.819.227.816.406.711.008.001.41

每个数据点到聚类中心的欧氏距离：序号ABCDEF0.002.002.007.217.819.227.816.406.711.008.001.41

根据上述第一次聚类结果，对聚类中心做调整,得到新聚类中心为：

计算各数据点与更新后的聚类中心的距离，得到如下表所示计算结果。序号ABCDEF2.501.502.064.725.326.738.517.117.382.500.710.71根据上表结果和约束条件可得到第二次聚类结果如下：各数据点到更新后的聚类中心的欧氏距离：

聚类结果并未发生变化，故聚类中心收敛，停止迭代。

序号ABCDEF2.501.502.064.725.326.738.517.117.382.500.710.71

约束种子k-均值算法若当前数据点满足ML约束条件，则直接分配；若不满足则根据最近邻原则，将每个数据点分配给最近种子中心所代表的簇类，并进行综合判断；若当前数据点违反ML约束，则将该种子中心排除，并按上述措施重新分配。在所有数据点被分配簇类后，重新计算每个簇类的中心并进行迭代更新，直至满足停止条件。▌主要优势基于真实信息选择种子，比随机初始化更具针对性。初始化更精确避免因初始中心随机导致的结果波动，重现性好。聚类效果更稳定在数据量大或分布复杂时，改进效果尤为显著。处理复杂数据高效半监督学习是在少量有标签数据和大量无标签数据上进行学习的范式，旨在利用未标注数据提升模型性能。核心概念半监督支持向量机：通过转导推理预测伪标签，迭代优化边界。约束K-Means：引入“必须连接”和“不得连接”约束引导聚类。典型算法其有效性依赖于三大基本假设：1.平滑性假设：相似样本具有相似输出2.聚类假设：同类样本倾向于形成簇3.流形假设：数据分布在低维流形上理论基础有效降低数据标注成本，充分挖掘海量无标签数据中的潜在价值，在现实世界中具有广泛的应用前景。应用价值总结4.4无监督学习应用UnsupervisedLearningApplications4.4.1热点话题发现4.4.2自动人脸识别4.4.1热点话题发现

(从海量社交媒体数据中自动挖掘趋势与焦点）应用背景社交媒体数据量爆炸式增长，人工分析效率低下，急需自动化工具来挖掘公众关注的热点。技术挑战数据量大：每秒都有大量新信息产生，处理压力巨大。文本非结构化：微博等内容随意，包含表情、网络用语、难以解析。话题动态变化：热点话题瞬息万变，系统需要具备实时响应能力。核心算法：单趟聚类01初始化02计算相似度03分配与新建04遍历结束将第一篇文档作为第一个话题的种子，开启聚类流