基于NIR光谱的半监督在线序列ELM回归算法：原理、改进与应用

基于NIR光谱的半监督在线序列ELM回归算法：原理、改进与应用一、引言1.1研究背景与意义近红外光谱（NIR）分析技术作为分析化学领域迅猛发展的高新分析技术，在多个领域展现出广泛的应用潜力。近红外光（NearInfrared，NIR）是介于可见光（ⅥS）和中红外光（MIR）之间的电磁波，通常指波长在780～2526nm范围内的电磁波。它主要对含氢基团X－H（X=C、N、O）振动的倍频和合频吸收，这使得NIR光谱包含了大多数类型有机化合物的组成和分子结构信息。在粮油行业，NIR分析技术从收购到仓储环节，能科学评估小麦、高粱、大米等粮食作物的品质，实现公平贸易、按质论价；在化工行业，近红外在线分析技术可以解决工艺过程不清晰的隐性问题，满足化工企业的需求，将工况管理、管道和反应釜内部隐形运行等场景可视化，及时获取反应过程的关键参量，帮助企业实现高效、安全生产。在食品行业，该技术可以实现产品关键工艺环节中食品质量的实时动态监测，从而降低生产过程中质量参数的波动，稳定食品质量；在发酵行业，近红外在线分析技术能够实现对整个发酵流程的检测控制，为掌握生产条件运行状态、确定合理工艺参数，提高转化率起到指导性作用。随着NIR光谱分析技术在各领域的深入应用，对其数据处理的精度和效率提出了更高要求。传统的数据处理算法在面对复杂的NIR光谱数据时，逐渐暴露出一些局限性。例如，在处理高维度、非线性的光谱数据时，传统算法的计算复杂度较高，导致处理效率低下，且难以准确提取数据中的关键信息，从而影响了光谱分析的精度。极限学习机（ELM）作为一种新型的机器学习算法，为NIR光谱数据处理带来了新的思路。ELM是一种单隐层前馈神经网络，其通过随机初始化输入层到隐藏层之间的权重和隐藏层的偏置，避免了传统神经网络需要进行迭代优化的缺点，具有训练速度快、泛化性能好等优点。然而，在实际应用中，ELM也存在一些不足之处，如对训练数据的依赖性较强，当训练数据不足或质量不高时，其性能会受到较大影响。半监督学习则旨在利用少量带标签数据和大量未标记数据来提升模型的性能。将半监督学习与ELM相结合，形成半监督ELM回归算法，能够有效利用未标记数据的信息，在带标签数据量较少的情况下，提高模型的泛化能力，从而更好地处理NIR光谱数据。半监督在线序列ELM回归算法还能实现在线学习，能够随着新数据的到来不断更新模型，适应动态变化的光谱数据，进一步提升光谱分析的实时性和准确性。研究基于NIR光谱的半监督在线序列ELM回归算法具有重要的现实意义。从理论层面来看，该研究有助于丰富和完善机器学习在光谱分析领域的应用理论，为进一步探索和开发相关领域的应用提供重要的技术基础，推动光谱分析技术的发展。在实际应用中，该算法能够提高NIR光谱分析的精度和效率，为各行业的生产过程控制、质量检测等提供更可靠的技术支持，有助于企业降低成本、提高生产效率和产品质量，具有显著的经济效益和社会效益。1.2国内外研究现状近红外光谱分析技术的发展历程曲折且充满突破。20世纪初，人们首次采用摄谱的方式获得了有机物的近红外光谱仪，并对相关光谱仪特点进行了阐释，这预示着NIR有潜力作为一种分析技术手段得到应用。到了50年代中期，随着简易型NIR仪器的出现，近红外光谱仪在测定农副产品的品质方面得到广泛应用。然而，由于样品背景、基体、仪器的稳定性等问题，测量结果常常产生较大偏差。加之当时中红外光谱技术快速发展且在物质结构鉴定中发挥关键作用，NIR除在农副产品领域外，技术发展近乎停滞。直到20世纪80年代，化学计量学和计算机技术的发展，为近红外光谱仪技术带来了春天，使其成为一门独立的分析技术，特别是在快速、无损检测技术的研究及应用方面，近红外定量分析技术取得了显著进展。我国的近红外技术发展起步较晚，90年代后期国内众多科研单位开始积极研发适合国内需求的成套分析技术，为该技术的推广做了大量工作，开创了我国NIR研究和应用的新局面。2006年在北京举行的“全国首届近红外光谱学术会议”以及2009年我国成立近红外光谱技术专业委员会，成为我国近红外光谱仪技术发展历程中的重要里程碑，此后，我国NIR技术的研究与发展呈现出蓬勃之势。在仪器发展方面，20世纪70年代，随着NIR在农产品检测中应用的增加，相关企业推出了专用的漫反射分析技术化仪器。目前，世界各国有30多家厂家生产不同用途的近红外光谱仪。我国近红外光谱仪的研究发展相对滞后，与应用研究相比，仪器的研制与先进水平存在较大差距，成熟仪器较少。虽然已有几种技术化的便携式近红外光谱仪，但仪器种类较为单一。不过，我国已将近红外分析仪器作为关键仪器研究专项，随着近红外技术的发展，也陆续推出了技术化近红外分析仪器，如中国农大开发的近红外谷物品质分析仪器等。极限学习机（ELM）自提出以来，凭借其独特的优势受到了广泛关注。ELM是一种单隐层前馈神经网络，由黄广斌等人于2004年首次提出。其核心优势在于随机初始化输入层到隐藏层之间的权重和隐藏层的偏置，通过求解线性方程组来确定输出层权重，避免了传统神经网络复杂的迭代优化过程，从而具有训练速度快、泛化性能好等特点。在理论研究方面，学者们不断深入探究ELM的原理和特性。例如，研究ELM的逼近能力，证明其在一定条件下能够以任意精度逼近任何连续函数，为其在函数拟合、模式识别等领域的应用提供了理论基础；分析ELM的稳定性，探讨不同参数设置和数据分布对模型稳定性的影响，以提高模型的可靠性。在应用研究中，ELM被广泛应用于各个领域。在图像识别领域，用于图像分类、目标检测等任务，如识别不同类型的图像、检测图像中的特定物体等；在生物医学领域，可用于疾病诊断、生物标志物识别等，通过分析生物医学数据来辅助疾病的诊断和治疗；在信号处理领域，能够对语音信号、雷达信号等进行处理和分析，实现信号的特征提取、分类和预测。为了进一步提升ELM的性能，研究者们提出了多种改进策略。针对ELM对训练数据依赖性较强的问题，通过引入正则化项，如岭回归正则化、L1和L2正则化等，来提高模型的泛化能力，减少过拟合现象；为了优化ELM的参数选择，采用智能优化算法，如粒子群优化（PSO）、遗传算法（GA）、模拟退火算法（SA）等，自动寻找最优的隐层节点数、输入权重和偏置等参数，以提升模型的性能。半监督学习作为机器学习领域的重要研究方向，近年来取得了丰富的研究成果。半监督学习旨在利用少量带标签数据和大量未标记数据来提升模型的性能，其主要基于模型假设展开，如平滑假设，即假设在特征空间中距离相近的样本具有相似的标签；聚类假设，认为同一类别的样本倾向于聚集在一起；流行假设，假定数据分布在一个低维的流形上，在流形上距离相近的样本具有相似的标签。半监督学习方法主要分为基于图的方法、基于特征学习的方法、基于联合分布学习的方法等。基于图的方法通过构建数据的图结构，将带标签和未标记数据作为图的节点，依据数据的相似性构建边，然后在图上进行信息传播，将标签信息从带标签数据传递到未标记数据，常见的图构造方法有K近邻图（KNNGraph）和径向基函数图（RBFGraph）。基于特征学习的方法则致力于学习数据的低维表示，通过降维、特征联合学习等方式，提取数据的关键特征，提升模型的性能，如主成分分析（PCA）、线性判别分析（LDA）等降维方法在半监督学习中得到了广泛应用。基于联合分布学习的方法通过学习数据的联合分布，利用未标记数据来估计数据的分布情况，从而改善模型的性能。在实际应用中，半监督学习在图像分类、文本分类、生物信息学等领域展现出了良好的效果。在图像分类任务中，利用少量标注图像和大量未标注图像进行训练，能够提高图像分类的准确率；在文本分类中，半监督学习可以有效地利用大量未标注文本数据，提升文本分类的性能；在生物信息学领域，可用于基因表达数据分析、蛋白质结构预测等，通过利用未标记的生物数据，挖掘其中的潜在信息，为生物医学研究提供支持。当前，对于基于NIR光谱的半监督在线序列ELM回归算法的研究尚处于发展阶段。部分研究将半监督学习与ELM相结合应用于NIR光谱分析，但在利用未标记数据的有效性、模型的稳定性以及在线学习的实时性等方面仍存在提升空间。在未标记数据利用方面，现有的算法在评估未标记数据的置信度和选择有价值的未标记数据进行模型更新时，还缺乏足够的准确性和效率，导致未标记数据的信息未能充分发挥作用。模型稳定性方面，由于NIR光谱数据的复杂性和多变性，半监督ELM模型在面对不同的数据集和实验条件时，其性能表现存在较大波动，稳定性有待提高。在线学习实时性上，一些算法在处理大规模NIR光谱数据的在线更新时，计算复杂度较高，难以满足实际应用中对实时性的要求。针对这些问题，未来的研究需要进一步探索更有效的半监督学习策略和ELM改进方法，以提升算法在NIR光谱分析中的性能和应用价值。1.3研究内容与方法本研究围绕基于NIR光谱的半监督在线序列ELM回归算法展开，旨在提升NIR光谱数据处理的精度和效率，主要涵盖以下几个方面的内容：算法原理深入剖析：全面探究极限学习机（ELM）的基本原理，包括其单隐层前馈神经网络的结构特点，以及随机初始化输入层到隐藏层权重和隐藏层偏置的独特机制，深入分析其通过求解线性方程组确定输出层权重的过程，从而明晰ELM训练速度快、泛化性能好的内在原因。同时，系统研究半监督学习的相关理论，包括其基于的模型假设，如平滑假设、聚类假设和流行假设等，以及基于图的方法、基于特征学习的方法、基于联合分布学习的方法等主要半监督学习方法的原理和特点，为后续算法的改进和应用奠定坚实的理论基础。算法改进策略探索：针对ELM在处理NIR光谱数据时对训练数据依赖性较强的问题，引入半监督学习策略。通过基于FCM聚类的方法评估标记置信度，利用未标记数据的信息来优化ELM模型。具体而言，利用FCM聚类算法将未标记数据划分为不同的簇，根据簇内数据的相似性和与已标记数据的关联，评估每个未标记数据的标记置信度，从而选择置信度高的未标记数据参与模型训练，以增强模型的泛化能力。此外，采用ELM协同训练标记样本的方式，进一步提升模型对未标记数据的利用效率，通过多个ELM模型之间的协同合作，相互学习和补充，提高对未标记数据标签的预测准确性，从而改进半监督ELM回归模型。在此基础上，将在线序列学习的思想融入半监督ELM回归模型，实现半监督在线序列ELM回归模型的构建。该模型能够随着新数据的不断到来，实时更新模型参数，适应动态变化的NIR光谱数据，满足实际应用中对实时性的要求。在在线序列学习过程中，通过合理设置学习率、更新策略等参数，确保模型在不断学习新数据的同时，保持良好的稳定性和准确性。算法性能实验验证：收集和整理不同类型的NIR光谱数据集，如药片NIR光谱数据集、玉米NIR光谱数据集、土壤NIR光谱数据集等，这些数据集应具有代表性，涵盖不同领域和应用场景下的NIR光谱数据特点。利用这些数据集对改进后的半监督在线序列ELM回归算法进行全面的实验验证，设置多种实验对比条件，将该算法与传统的ELM算法、其他半监督学习算法以及未改进的半监督ELM算法进行对比，从多个评估指标出发，如均方误差（MSE）、决定系数（R²）、平均绝对误差（MAE）等，深入分析和评估算法的性能表现，以验证算法改进的有效性和优越性。在研究过程中，将综合运用多种研究方法，以确保研究的科学性和可靠性：文献研究法：广泛查阅国内外关于近红外光谱分析技术、极限学习机、半监督学习等相关领域的文献资料，全面了解该领域的研究现状、发展趋势以及存在的问题，梳理相关理论和方法的发展脉络，为研究提供坚实的理论支撑和丰富的研究思路，避免研究的盲目性，确保研究工作在已有成果的基础上进行创新和突破。理论分析法：对极限学习机和半监督学习的基本原理、模型假设、算法流程等进行深入的理论分析，从数学原理和算法逻辑的角度，剖析算法的优势和不足，为算法的改进提供理论依据。通过理论推导和分析，明确算法改进的方向和重点，提出合理的改进策略，确保算法改进的合理性和有效性。实验研究法：设计并实施一系列实验，利用收集的NIR光谱数据集对算法进行训练和测试。在实验过程中，严格控制实验条件，确保实验的可重复性和结果的准确性。通过对实验结果的统计分析和对比研究，评估算法的性能，验证算法改进的效果，从而为算法的优化和应用提供实践依据。1.4研究创新点本研究在基于NIR光谱的数据处理算法领域实现了多维度的创新，通过融合新策略、拓展新方法以及采用独特的实验验证方式，为该领域的发展提供了新思路和新方法。融合半监督学习与ELM：创新性地将半监督学习策略与极限学习机（ELM）相结合，提出了一种全新的半监督ELM回归模型。在该模型中，通过基于FCM聚类的方法评估标记置信度，能够充分挖掘未标记数据的潜在价值。利用FCM聚类算法将未标记数据划分为不同的簇，依据簇内数据的相似性以及与已标记数据的关联，精准评估每个未标记数据的标记置信度，从而筛选出置信度高的未标记数据参与模型训练，有效增强了模型的泛化能力。此外，采用ELM协同训练标记样本的方式，通过多个ELM模型之间的协同合作、相互学习和补充，显著提升了模型对未标记数据标签的预测准确性，进一步优化了半监督ELM回归模型，这在利用未标记数据提升模型性能方面具有重要的创新意义。构建半监督在线序列ELM回归模型：首次将在线序列学习的思想融入半监督ELM回归模型，成功构建了半监督在线序列ELM回归模型。该模型能够随着新数据的持续涌入，实时更新模型参数，以适应动态变化的NIR光谱数据，极大地满足了实际应用中对实时性的严格要求。在在线序列学习过程中，通过精心设置学习率、更新策略等关键参数，确保模型在不断学习新数据的同时，始终保持良好的稳定性和准确性。这种将在线学习与半监督ELM相结合的方式，为处理动态变化的光谱数据提供了新的有效途径，在NIR光谱分析的实时性处理方面取得了创新性突破。多数据集多指标实验验证：在算法性能验证阶段，采用了全面且独特的实验设计。收集和整理了药片NIR光谱数据集、玉米NIR光谱数据集、土壤NIR光谱数据集等多种不同类型的NIR光谱数据集，这些数据集具有广泛的代表性，涵盖了不同领域和应用场景下的NIR光谱数据特点。利用这些数据集对改进后的半监督在线序列ELM回归算法进行了全方位的实验验证，设置了多种实验对比条件，将该算法与传统的ELM算法、其他半监督学习算法以及未改进的半监督ELM算法进行了详细对比。从均方误差（MSE）、决定系数（R²）、平均绝对误差（MAE）等多个评估指标出发，深入分析和评估算法的性能表现，这种多数据集、多指标的实验验证方式，能够更全面、准确地验证算法改进的有效性和优越性，为算法的实际应用提供了坚实的实践依据，在算法性能验证的方法上具有创新性和科学性。二、相关理论基础2.1NIR光谱分析技术近红外光谱（NIR）分析技术是一种基于近红外光与物质相互作用的分析方法。近红外光（NearInfrared，NIR）是介于可见光（ⅥS）和中红外光（MIR）之间的电磁波，通常指波长在780～2526nm范围内的电磁波。其工作原理基于比尔-朗伯定律，该定律表明溶液中某种化合物的浓度决定了该溶液吸收多少光（无论是可见光还是红外光），浓度越高，特定波长的辐射吸收越多。NIR光谱主要对含氢基团X－H（X=C、N、O）振动的倍频和合频吸收，这使得NIR光谱包含了大多数类型有机化合物的组成和分子结构信息。当近红外光照射到样品时，样品中的含氢基团会发生倍频和合频振动跃迁，从而产生独特的光谱特征，这些光谱信息与样品的化学组成和物理性质密切相关。以水分子为例，一个水分子由两个部分带正电的氢原子和一个部分带负电的氧原子连接而成，当暴露于特定频率的红外辐射时，水分子会被激发，并产生不对称拉伸（其中一个氢键收缩，而另一个氢键伸展）、对称拉伸（在此期间两个氢键都收缩或拉伸）、剪刀弯曲（此时两个氢原子相互来回摆动，就像被一把剪刀刺穿一样）等高能振动模式。通过确定分子在暴露于红外辐射时进入的振动模式，以及激发分子进入更高振动状态所需的辐射频率，便可获取物质的相关信息。凭借着快速高效、无损检测、多组分同时分析等优势，NIR光谱分析技术在众多领域得到了广泛应用。在石化领域，原油及其副产品是按特定数量和比例排列的碳氢化合物和有机化合物的集合，这使得近红外光谱检测成为石油精炼不同阶段石化分析的理想应用。比如在生产过程中实时测定精炼汽油的辛烷值，汽油辛烷值定义为精炼汽油混合物中2,2,4-三甲基戊烷（异辛烷）与庚烷的比例，这两种物质都是基于碳氢键（C—H）的烷烃，对900nm至1700nm波长范围内的近红外辐射具有极强的接收能力，与传统的发动机内测试相比，使用近红外光谱法测定精炼汽油的辛烷值更快、更便宜、侵入性更小。在食品行业，近红外光谱能够识别和测量必需的食物成分和营养素，从糖到脂肪、蛋白质、碳水化合物等等。例如在谷物品质检测中，利用近红外光谱技术可以快速测定谷物中的水分、蛋白质和脂肪含量，确保产品质量。在啤酒酿造过程中，最终产品的质量取决于酒精、可发酵糖、不可发酵糖、双乙酰和α酸（这些物质是啤酒苦味的根源）的正确比例，所有这些成分都是有机化合物，可以在发酵和酿造过程中的任何时间点使用NIR测试进行准确测量。在药品生产中，该技术可用于药物成分分析、药品质量控制等，通过对药品的近红外光谱进行分析，能够快速检测药品的纯度、含量等关键指标，确保药品质量符合标准。2.2极限学习机（ELM）2.2.1ELM基本原理极限学习机（ELM）是一种新型的单隐层前馈神经网络学习算法，由黄广斌等人于2004年首次提出。与传统的神经网络学习算法不同，ELM在训练过程中具有独特的机制，能够显著提高学习效率。ELM的网络结构主要由输入层、隐含层和输出层组成。在传统的单隐层前馈神经网络（SLFNs）中，假设存在N个任意的样本\left(x_{i},t_{i}\right)，其中x_{i}=\left[x_{i1},x_{i2},\ldots,x_{in}\right]^{T}\inR^{n}表示输入向量，t_{i}=\left[t_{i1},t_{i2},\ldots,t_{im}\right]^{T}\inR^{m}表示输出向量。对于一个具有L个隐层节点的单隐层神经网络，其数学模型可表示为：\sum_{i=1}^{L}\beta_{i}g\left(w_{i}\cdotx_{j}+b_{i}\right)=o_{j},j=1,2,\ldots,N其中，g(x)为激活函数，w_{i}=\left[w_{i1},w_{i2},\ldots,w_{in}\right]^{T}是输入权重，\beta_{i}=\left[\beta_{i1},\beta_{i2},\ldots,\beta_{im}\right]^{T}为输出权重，b_{i}是第i个隐层单元的偏置，w_{i}\cdotx_{j}表示w_{i}和x_{j}的内积。单隐层神经网络学习的目标是使得输出的误差最小，即存在w_{i}，b_{i}和\beta_{i}，使得：\sum_{i=1}^{L}\beta_{i}g\left(w_{i}\cdotx_{j}+b_{i}\right)=t_{j},j=1,2,\ldots,N可以将其用矩阵表示为：H\beta=T其中，H是隐层节点的输出矩阵，其元素h_{ij}=g\left(w_{i}\cdotx_{j}+b_{i}\right)；\beta为输出权重矩阵；T为期望输出矩阵。在ELM算法中，最为关键的特点是输入权重w_{i}和隐层的偏置b_{i}可以随机确定。一旦这两个参数确定下来，隐层的输出矩阵H就被唯一确定。此时，训练单隐层神经网络就转化为求解一个线性系统，输出权重\beta可以通过以下公式确定：\beta=H^{\dagger}T其中，H^{\dagger}是矩阵H的Moore-Penrose广义逆。通过这种方式求得的解的范数是最小的并且唯一。例如，在一个简单的图像分类任务中，将图像的像素值作为输入层的输入，经过随机初始化权重和偏置的隐含层处理后，通过计算得到的输出权重，将隐含层的输出映射到对应的类别标签。这种随机初始化权重和偏置的方式，避免了传统神经网络基于梯度下降法需要多次迭代调整所有参数的复杂过程，大大提高了训练速度。2.2.2ELM的优势与不足ELM作为一种新兴的机器学习算法，在多个领域展现出独特的优势，同时也存在一些有待改进的不足之处。优势：训练速度快：ELM通过随机初始化输入层到隐藏层之间的权重和隐藏层的偏置，将训练过程转化为求解线性方程组，避免了传统神经网络基于梯度下降法需要多次迭代调整参数的复杂过程。在处理大规模数据集时，传统的基于梯度下降的神经网络训练可能需要数小时甚至数天的时间，而ELM能够在短时间内完成训练，极大地提高了训练效率。泛化性能好：众多研究和实际应用表明，ELM在不同类型的数据集上都能表现出较好的泛化能力。在图像识别任务中，ELM能够准确识别不同类别的图像，即使面对训练集中未出现过的图像样本，也能保持较高的识别准确率；在回归分析中，对于新的输入数据，ELM能够给出较为准确的预测结果，具有较强的泛化能力。对激活函数要求宽松：ELM不仅可以使用许多常见的非线性激活函数，如S型函数、正弦函数和复合函数等，还能够使用不可微函数，甚至不连续的函数作为激活函数。这种对激活函数的宽泛适用性，使得ELM在不同的应用场景中都能找到合适的激活函数，从而更好地发挥其性能。不足：在复杂数据集上性能受限：尽管ELM在一般数据集上表现出色，但当面对复杂的数据集，如具有高度非线性、数据分布复杂或存在大量噪声的数据集时，其性能会受到一定限制。在处理高维度、非线性关系复杂的光谱数据时，ELM可能无法准确捕捉数据中的复杂特征，导致预测精度下降。依赖参数选择：ELM的性能在一定程度上依赖于参数的选择，如隐层节点数、输入权重和偏置等。不合适的参数设置可能会导致模型出现过拟合或欠拟合现象。若隐层节点数设置过多，模型可能会过度学习训练数据中的噪声和细节，导致过拟合，对新数据的泛化能力下降；反之，若隐层节点数设置过少，模型可能无法充分学习数据的特征，出现欠拟合，无法准确预测或分类。对训练数据质量要求较高：ELM的训练效果与训练数据的质量密切相关。如果训练数据存在错误标注、数据缺失或数据分布不均衡等问题，会对ELM模型的性能产生较大影响。在数据分布不均衡的情况下，模型可能会倾向于学习数量较多的类别数据，而对数量较少的类别数据学习不足，导致在预测或分类时对少数类别的准确率较低。2.3半监督学习2.3.1半监督学习概述半监督学习作为机器学习领域的重要分支，旨在充分利用少量带标签数据和大量未标记数据进行模型训练，从而提升模型的性能和泛化能力。在许多实际应用场景中，获取大量带标签的数据往往需要耗费大量的人力、物力和时间成本，而未标记数据则相对容易获取。以图像识别领域为例，对图像进行准确标注需要专业人员花费大量时间和精力，而互联网上存在着海量的未标注图像。半监督学习正是为了解决这一矛盾而发展起来的，它能够借助未标记数据中蕴含的丰富信息，弥补带标签数据的不足，使模型学习到更全面、准确的知识。半监督学习的方法众多，不同方法基于不同的假设和原理，各有其特点和适用场景。基于图的半监督学习方法是其中一种重要的类型，该方法将数据集中的样本看作图的节点，根据样本之间的相似性构建边，从而形成一个图结构。在这个图中，带标签样本的标签信息会通过边在图上进行传播，利用图的连通性，将标签信息从带标签样本扩散到未标记样本。例如，在一个包含水果图像的数据集里，已标注的苹果图像和未标注的一些图像通过图像特征的相似性在图中相连，已标注苹果图像的标签信息就可以通过这些边传递给与之相似的未标注图像，从而为未标注图像赋予一定的标签置信度。常用的图构建方法有K近邻图（KNNGraph）和径向基函数图（RBFGraph）。KNN图通过寻找每个样本的K个最近邻来构建边，能较好地反映样本的局部结构；RBF图则利用径向基函数来衡量样本之间的相似性，对数据的全局结构有更好的描述能力。基于聚类的半监督学习方法则基于聚类假设，即同一类别的样本倾向于聚集在一起。该方法首先对数据进行聚类操作，将数据划分为不同的簇，假设每个簇内的样本具有相同的标签。在一个包含不同类别文档的文本数据集中，通过聚类算法将文档分为若干簇，对于一个簇中少量的带标签文档，将其标签赋予整个簇中的其他未标记文档，从而利用未标记文档扩充了标签信息，再使用这些带有标签的数据进行模型训练，提升模型对文本分类的能力。自学习（Self-Training）也是一种常见的半监督学习方法，其基本思想是先使用带标签数据训练一个初始模型，然后用这个初始模型对未标记数据进行预测，将预测结果中置信度较高的样本作为新的带标签数据，加入到原有的带标签数据集中，重新训练模型，如此反复迭代。在手写数字识别任务中，先使用少量已标注的手写数字图像训练一个分类模型，然后用该模型对大量未标注的手写数字图像进行预测，将模型预测置信度高的图像及其预测标签加入训练集，再次训练模型，不断迭代这个过程，模型的性能会随着未标记数据的利用而逐步