软件缺陷预测中类不平衡数据生成方法的深度剖析与创新探索

破局失衡：软件缺陷预测中类不平衡数据生成方法的深度剖析与创新探索一、引言1.1研究背景与意义在当今数字化时代，软件已深度融入社会的各个领域，从日常生活使用的手机应用，到关乎国计民生的关键基础设施，软件的身影无处不在。软件质量的优劣直接决定了相关系统或服务的可靠性、稳定性和用户体验。例如，医疗领域的软件若存在缺陷，可能导致误诊，危及患者生命；金融行业的软件若出现故障，可能引发严重的经济损失。软件缺陷的存在不仅可能引发系统故障，还会带来严重的经济和社会后果，因此，软件缺陷预测成为了软件工程领域的研究热点之一。软件缺陷预测（SoftwareDefectPrediction，SDP）旨在借助数据挖掘和机器学习等方法，从软件项目的历史数据中提取与缺陷相关的特征，并以此训练预测模型，从而识别出可能存在缺陷的代码模块，帮助开发者在软件发布前进行修复，降低发布后的错误发生率。通过软件缺陷预测，能够在软件开发的早期阶段就有效地发现并解决潜在问题，避免缺陷在后续阶段带来更大的成本和风险。有研究表明，修复一个在开发初期阶段引入的缺陷的成本大约是发现阶段成本的6倍，而在软件发布后发现的缺陷修复成本可能是开发阶段的100倍甚至更多。软件缺陷预测对于提高软件质量、降低开发和维护成本具有至关重要的作用，它还能帮助软件开发团队优化资源配置，将更多的资源集中在高风险模块上，提高开发效率。在实际的软件项目数据中，类不平衡问题普遍存在。即正常模块（非缺陷样本）的数量往往远远多于存在缺陷的模块（缺陷样本）的数量。以某知名开源软件项目为例，其非缺陷样本数量与缺陷样本数量的比例达到了10:1。这种类不平衡现象会对软件缺陷预测产生诸多负面影响。机器学习模型在训练过程中，会倾向于学习数量较多的多数类（正常模块）的特征，而忽视少数类（缺陷模块）的特征。这就导致模型在预测时，对于缺陷模块的预测能力较弱，容易将缺陷模块误判为正常模块，使得模型的召回率较低，许多实际存在缺陷的模块无法被准确识别出来。类不平衡还可能导致模型的泛化能力下降，在面对新的数据时表现不佳。为了提升软件缺陷预测的准确性和可靠性，解决类不平衡问题显得尤为重要。研究类不平衡数据生成方法，通过对少数类样本进行合理的扩充或对多数类样本进行适当的调整，能够使数据分布更加均衡，为模型训练提供更优质的数据，从而提升模型对缺陷模块的识别能力。有效的类不平衡数据生成方法可以减少模型对多数类的偏向，提高对少数类的关注度，使得模型能够学习到更全面的特征，进而提高软件缺陷预测的性能，为软件开发过程提供更有力的支持，降低软件项目的风险，保障软件质量，具有重要的理论意义和实际应用价值。1.2国内外研究现状1.2.1软件缺陷预测的研究现状软件缺陷预测的研究由来已久，早期主要集中在基于统计和度量的方法。如利用回归分析探索软件度量（像代码行数、圈复杂度等）与缺陷之间的关系，通过分析历史项目中的缺陷密度来尝试预测新项目中的缺陷密度。但这些方法存在一定局限性，如假设特征与缺陷之间为线性关系，且受数据可获得性和质量的限制。随着机器学习技术的快速发展，其在软件缺陷预测中的应用日益广泛。决策树通过从数据中学习简单规则来分类模块是否存在缺陷，具有直观易懂、能处理多种类型数据的优点，但容易过拟合，需进行剪枝处理。随机森林作为集成学习方法，由多棵决策树组成，结合多个决策树的预测结果，稳定性和准确性较高，对噪声和数据偏差更为鲁棒。支持向量机通过寻找最优超平面区分数据点，适用于高维数据，在软件缺陷预测中表现良好。神经网络模拟人脑工作方式，随着深度学习兴起，深度神经网络和卷积神经网络也被应用于软件缺陷预测，在处理复杂、非线性数据时能力较强。朴素贝叶斯基于贝叶斯定理，假设特征间条件独立，虽假设在现实中常不成立，但在软件缺陷预测任务中表现出高效性。集成学习方法通过结合多个基学习器的预测结果构建强大的预测模型，具有更好的泛化能力和预测性能。Adaboost通过调整训练数据权重创建一系列弱学习器并组合成强学习器，常与决策树等弱分类器结合提高预测准确性。Bagging在不同子集上训练多个学习器，将结果平均或投票，减少模型方差。国内学者也在软件缺陷预测领域取得了一定成果。如清华大学的王树义教授等人提出改进的SMOTE算法，考虑样本间相似性生成更有效的合成样本。中科院自动化所的胡健等人提出基于多层次特征分解的欠采样方法，能更好保留数据原有的分布结构。1.2.2类不平衡数据处理的研究现状在类不平衡数据处理方面，主要包括数据层面和算法层面的方法。数据层面最常用的是重采样技术，包括欠采样、过采样和混合采样。欠采样有策略地丢弃部分多数类数据样本，如TomekLinks、编辑最近邻（ENN）、近邻清除（NM）等方法。过采样指向少数类群体中添加更多新的少数类样本，经典的如SMOTE算法，通过在少数类样本间随机插值生成新样本扩大少数类群体。但单独使用SMOTE算法可能产生问题，如忽略数据样本实际分布，导致新生成的少数类样本与多数类样本重叠严重，还会引入噪声样本加大分类预测难度。在此基础上，衍生出Borderline-SMOTE、Adasyn等过采样方法。混合采样则克服单一采样方法的局限性，结合多种采样方法，如SMOTE-ENN、SMOTE-TomekLinks等。算法层面主要包括代价敏感学习和集成学习。代价敏感学习为不同类别赋予不同的错分代价，使分类器更关注少数类样本。集成学习通过聚集多个模型的预测结果提高分类性能，虽然不是专门为解决类不平衡问题提出，但在处理该问题时取得了较好效果。国外对类不平衡数据处理的研究也较为深入。美国佐治亚大学的Kubat等人提出基于成本敏感学习的方法，有效处理数据不平衡问题。德国马普学会的He等人提出基于核密度估计的混合过采样方法，在保持数据原有分布的基础上增加少数类别的样本数量。1.2.3研究现状总结与不足现有研究在软件缺陷预测和类不平衡数据处理方面都取得了一定进展，但仍存在一些不足之处。在软件缺陷预测中，不同模型在不同数据集上表现各异，如何选择合适的模型和训练方法仍是提高预测精度的关键问题。对于类不平衡数据处理，重采样方法在合成新样本或删减样本时，可能会引入噪声或丢失重要信息。代价敏感学习中错分代价的设定缺乏统一标准，往往依赖经验。集成学习虽然能提高性能，但计算复杂度较高，模型融合策略也有待进一步优化。在软件缺陷预测中处理类不平衡数据时，当前研究多是单独使用某一种方法，缺乏对多种方法有效结合的深入研究。且对于如何根据软件项目的特点和数据特征，选择最合适的类不平衡数据处理方法，还缺乏系统性的指导。本文将针对这些不足，深入研究面向软件缺陷预测的类不平衡数据生成方法，旨在提出更有效的解决方案，提高软件缺陷预测的准确性和可靠性。1.3研究内容与方法1.3.1研究内容本研究围绕面向软件缺陷预测的类不平衡数据生成方法展开，具体内容如下：类不平衡数据生成方法的深入分析：全面剖析现有的类不平衡数据生成方法，包括欠采样、过采样和混合采样等重采样技术，以及代价敏感学习和集成学习等算法层面的方法。详细研究每种方法的原理、优势与局限性，如SMOTE算法在生成新样本时对数据分布的忽略，以及代价敏感学习中错分代价设定的主观性。通过对这些方法的深入理解，为后续改进和创新提供理论基础。基于改进过采样的类不平衡数据生成方法研究：针对现有过采样方法存在的问题，如SMOTE算法生成的新样本与多数类样本重叠严重、引入噪声样本等，提出改进策略。考虑结合数据的分布特征和样本间的相似度，利用聚类算法对少数类样本进行划分，在不同的簇内根据样本密度和分布情况进行有针对性的过采样，以生成更有效的合成样本，减少噪声样本的产生，提高数据的质量和可用性。混合采样方法的优化与应用：研究将过采样和欠采样相结合的混合采样方法，探索如何根据软件项目数据的特点，动态调整过采样和欠采样的比例和策略。例如，在数据集中少数类样本极度稀缺且分布复杂的情况下，先对多数类样本进行适度欠采样，去除一些边界上容易造成混淆的样本，再对少数类样本进行精细过采样，使数据分布更加合理，提高模型对少数类样本的学习能力。结合特征选择的类不平衡数据处理方法：在进行数据生成的同时，引入特征选择技术，分析软件项目数据中的各种特征（如代码度量、过程度量等）对缺陷预测的影响程度。通过特征选择，去除冗余和无关特征，保留对缺陷预测具有重要作用的特征，降低数据维度，提高数据处理效率和模型的预测性能，进一步增强类不平衡数据处理的效果。实验验证与分析：收集多个真实的软件项目数据集，对提出的类不平衡数据生成方法进行实验验证。使用多种机器学习模型（如决策树、随机森林、支持向量机等）作为预测模型，通过对比不同方法在相同数据集和模型下的预测性能指标（如准确率、召回率、F1值、AUC等），评估所提方法的有效性和优越性。深入分析实验结果，探讨不同方法在不同数据集和模型上的表现差异，总结规律，为实际应用提供参考依据。1.3.2研究方法本研究采用多种研究方法，确保研究的科学性和可靠性：文献研究法：广泛查阅国内外关于软件缺陷预测和类不平衡数据处理的相关文献，包括学术期刊论文、会议论文、研究报告等。梳理软件缺陷预测的发展历程、现有方法和技术，以及类不平衡数据处理的研究现状和进展，了解前人的研究成果和不足，为本研究提供理论支持和研究思路。实验研究法：设计并进行一系列实验，以验证所提出的类不平衡数据生成方法的有效性。在实验过程中，严格控制变量，确保实验结果的准确性和可重复性。通过对实验数据的收集、整理和分析，对比不同方法的性能指标，评估方法的优劣，为研究结论的得出提供实证依据。对比分析法：将提出的方法与现有经典的类不平衡数据处理方法进行对比分析，从多个角度（如预测准确率、召回率、F1值等）评估不同方法的性能。通过对比，突出所提方法的优势和创新点，明确其在软件缺陷预测中的应用价值和实际效果。案例分析法：选取具体的软件项目案例，将所研究的类不平衡数据生成方法应用于实际项目中，分析方法在实际应用中的可行性和有效性。通过实际案例的分析，深入了解方法在解决实际问题时的优势和可能遇到的问题，为方法的进一步改进和完善提供实践经验。1.4研究创新点方法改进创新：提出了一种基于聚类分析和自适应采样策略的改进过采样方法。传统的过采样方法如SMOTE算法，在生成新样本时未充分考虑数据的分布特征和样本间的相似度，容易导致生成的样本与多数类样本重叠严重，引入噪声样本。本研究利用聚类算法对少数类样本进行划分，将具有相似特征的样本聚集到同一簇中。通过分析不同簇内样本的密度和分布情况，自适应地调整过采样的比例和方式。在样本密度较低的簇内，适当增加过采样的数量，以补充更多的样本；在样本密度较高的簇内，减少过采样的数量，避免生成过多冗余样本。这种方法能够生成更具代表性的合成样本，有效减少噪声样本的产生，提高数据的质量和可用性，从而提升软件缺陷预测模型的性能。混合采样策略创新：构建了一种动态调整过采样和欠采样比例的混合采样方法。现有的混合采样方法大多采用固定的过采样和欠采样比例，无法根据软件项目数据的特点进行灵活调整。本研究提出根据数据集的不平衡程度、样本分布以及预测模型的反馈，动态地确定过采样和欠采样的比例。对于不平衡程度较高且少数类样本分布复杂的数据集，先对多数类样本进行适度欠采样，去除一些边界上容易造成混淆的样本，减少多数类样本对模型训练的干扰；再对少数类样本进行精细过采样，使数据分布更加合理，提高模型对少数类样本的学习能力。在模型训练过程中，根据模型的性能指标（如召回率、F1值等），实时调整过采样和欠采样的比例，以达到最佳的预测效果。特征选择与数据生成结合创新：首次将特征选择技术与类不平衡数据生成方法紧密结合。以往的研究往往将特征选择和数据生成分开进行，没有充分考虑两者之间的相互作用。本研究在进行数据生成的同时，引入特征选择技术，深入分析软件项目数据中的各种特征（如代码度量、过程度量等）对缺陷预测的影响程度。通过特征选择，去除冗余和无关特征，保留对缺陷预测具有重要作用的特征，降低数据维度，减少计算量，提高数据处理效率。去除无关特征可以避免这些特征对数据生成过程的干扰，使生成的数据更加纯净，有助于提高模型的预测性能。通过这种创新的结合方式，能够进一步增强类不平衡数据处理的效果，为软件缺陷预测提供更优质的数据和更有效的模型。二、软件缺陷预测与类不平衡数据问题概述2.1软件缺陷预测基本原理软件缺陷预测作为软件工程领域的关键技术，旨在借助特定的技术手段，对软件中可能出现的缺陷进行预先判断和定位。其核心原理是基于对软件项目历史数据的深度分析，提取与缺陷相关的特征信息，进而构建预测模型，利用该模型对新的软件模块或代码进行缺陷预测。在实际应用中，软件缺陷预测能够帮助开发团队提前发现潜在问题，合理分配测试资源，显著降低软件开发成本，提高软件质量。软件缺陷预测的过程通常可划分为数据收集、特征提取、模型构建与训练以及预测与评估四个主要阶段。在数据收集阶段，需要广泛收集各类与软件项目相关的数据，包括但不限于代码度量数据（如代码行数、圈复杂度、函数调用次数等）、过程度量数据（如代码提交频率、开发者经验、项目开发周期等）、软件系统的运行日志以及缺陷报告等。这些数据是后续进行缺陷预测的基础，其质量和完整性直接影响预测的准确性。以某大型企业级软件项目为例，在数据收集阶段，通过对多个版本的代码仓库进行分析，收集了超过10万条代码提交记录，涵盖了不同开发者、不同功能模块的代码变更信息，同时整理了近500份缺陷报告，详细记录了缺陷的发现时间、位置、描述以及修复措施等内容。特征提取是软件缺陷预测中的关键步骤，它从收集到的数据中提炼出能够有效反映软件缺陷特征的属性。常见的特征提取方法包括基于代码结构的分析、基于软件开发过程的度量以及基于数据挖掘的方法等。例如，通过计算代码的圈复杂度，可以衡量代码的复杂程度，圈复杂度越高，表明代码逻辑越复杂，出现缺陷的可能性也相对较大；分析代码提交频率可以反映开发者的工作效率和代码的稳定性，频繁的代码提交可能意味着代码的不确定性较高，容易引入缺陷。在上述企业级软件项目中，通过特征提取，从收集到的数据中提取了20多个与软件缺陷相关的特征，如代码行数、注释率、函数嵌套深度、代码提交频率等，这些特征为后续的模型构建提供了重要的依据。模型构建与训练阶段是利用提取的特征数据，选择合适的机器学习或深度学习算法来构建预测模型，并使用训练数据对模型进行训练，调整模型的参数，使其能够准确地学习到数据中的模式和规律。在软件缺陷预测中，常用的机器学习算法包括决策树、随机森林、支持向量机、朴素贝叶斯等。决策树算法通过构建树形结构，根据特征的取值对数据进行分类，直观易懂，但容易出现过拟合现象；随机森林则是由多个决策树组成的集成学习模型，通过对多个决策树的预测结果进行综合，提高了模型的稳定性和准确性。深度学习算法如神经网络、卷积神经网络等也逐渐应用于软件缺陷预测领域，它们能够自动学习数据的高级特征，在处理复杂的数据关系时具有较强的优势。在训练模型时，通常会采用交叉验证等技术来评估模型的性能，选择最优的模型参数。例如，在对某开源软件项目进行缺陷预测时，使用随机森林算法构建预测模型，通过5折交叉验证，不断调整模型的参数，如决策树的数量、最大深度等，最终得到了一个性能良好的预测模型。预测与评估阶段是将训练好的模型应用于新的数据，对软件模块是否存在缺陷进行预测，并使用一系列评估指标来衡量模型的预测性能。常用的评估指标包括准确率、召回率、F1值、AUC（AreaUnderCurve）等。准确率是指预测正确的样本数占总样本数的比例，反映了模型预测的准确性；召回率是指实际为正样本且被正确预测为正样本的样本数占实际正样本数的比例，衡量了模型对正样本的覆盖能力；F1值是准确率和召回率的调和平均数，综合考虑了两者的表现；AUC则表示在不同分类阈值下，模型对正样本和负样本的区分能力，AUC值越大，说明模型的性能越好。例如，对于一个软件缺陷预测模型，若其准确率为0.85，召回率为0.78，F1值为0.81，AUC值为0.88，则表明该模型在预测软件缺陷时具有较高的准确性和较好的区分能力。通过对模型的预测结果进行评估，可以及时发现模型存在的问题，进一步优化模型，提高软件缺陷预测的准确性和可靠性。2.2类不平衡数据问题阐述2.2.1类不平衡数据的定义与表现在软件缺陷预测领域，类不平衡数据是指数据集中不同类别的样本数量存在显著差异的情况。在软件缺陷预测的二分类问题中，通常将包含缺陷的软件模块视为正类（少数类），而将不包含缺陷的软件模块视为负类（多数类）。类不平衡数据表现为负类样本的数量远远多于正类样本的数量。例如，在某知名开源软件项目的数据集里，负类样本数量达到了正类样本数量的15倍之多。这种样本数量上的巨大差距，使得数据分布呈现出明显的不均衡状态。从数据分布的角度来看，多数类样本在数据空间中占据主导地位，分布范围广泛且密集；而少数类样本则相对稀少，分布较为分散。这导致在数据空间中，多数类样本的特征更容易被学习到，而少数类样本的特征则容易被忽视。在一个包含代码行数、圈复杂度等多种特征的软件项目数据集中，多数类样本在各个特征维度上的取值范围广泛，且在某些区域形成了高密度的聚集；而少数类样本在这些特征维度上的取值相对集中，且分布区域较为狭小。这种数据分布的不均衡，使得机器学习模型在训练过程中难以全面学习到各类样本的特征，尤其是少数类样本的特征，从而影响了模型对软件缺陷的准确预测。类不平衡数据还可能表现为特征分布的不均衡。不同类别的样本在各个特征上的分布可能存在差异，这使得模型在学习过程中难以捕捉到有效的分类特征。在一个软件项目的数据集中，对于代码复杂度这一特征，多数类样本的代码复杂度分布较为均匀，涵盖了从低复杂度到高复杂度的各个范围；而少数类样本的代码复杂度则主要集中在高复杂度区域。这种特征分布的不均衡，使得模型在学习代码复杂度与软件缺陷之间的关系时，容易受到多数类样本的影响，而无法准确把握少数类样本的特征与软件缺陷之间的联系。2.2.2类不平衡对软件缺陷预测的影响机制类不平衡数据对软件缺陷预测的影响贯穿于模型训练和分类决策的各个环节，严重制约了预测模型的性能。在模型训练环节，由于多数类样本数量众多，模型在学习过程中会倾向于拟合多数类样本的特征，以降低整体的训练误差。这使得模型对多数类样本的识别能力较强，但对少数类样本的学习效果不佳。以决策树算法为例，在构建决策树时，算法会优先选择能够最大限度区分多数类样本的特征进行分裂，从而使得决策树的分支更多地关注多数类样本的分布情况。这样训练出来的决策树，对于多数类样本的分类准确率较高，但对于少数类样本，由于其在数据集中所占比例较小，决策树可能无法充分学习到其特征，导致在预测少数类样本时出现较多的错误。从分类决策的角度来看，类不平衡会导致模型的决策边界偏向多数类。模型在进行分类决策时，通常会根据样本到决策边界的距离来判断样本的类别。由于多数类样本数量多，分布范围广，决策边界会向少数类样本的方向移动，以尽量减少对多数类样本的误分类。这就使得少数类样本更容易被误判为多数类样本，从而降低了模型的召回率。在一个基于支持向量机的软件缺陷预测模型中，由于多数类样本的影响，支持向量机所确定的决策边界会更靠近少数类样本，导致一些实际存在缺陷的软件模块（少数类样本）被错误地预测为正常模块（多数类样本），使得模型无法准确识别出这些潜在的软件缺陷。类不平衡还会影响模型的泛化能力。由于模型过度拟合了多数类样本的特征，对于新的数据，尤其是包含少数类样本的数据，模型的适应性较差，无法准确地进行预测。当模型应用于新的软件项目时，可能会因为新数据中少数类样本的分布与训练数据不同，而导致预测结果出现较大偏差。在一个使用随机森林模型进行软件缺陷预测的案例中，训练数据中的少数类样本主要集中在某些特定的特征区域，而在新的数据中，少数类样本的特征分布发生了变化。由于随机森林模型在训练时过度依赖训练数据中多数类样本的特征，对于新数据中少数类样本的特征变化无法有效适应，从而导致对新数据中软件缺陷的预测准确率大幅下降。2.2.3现有应对类不平衡问题的策略概述为了应对类不平衡问题对软件缺陷预测的影响，研究者们提出了多种策略，主要包括采样法、代价敏感学习、集成学习等。采样法是最常用的数据层面的处理方法，通过对样本进行重新采样，调整数据集中不同类别的样本比例，使其更加均衡。采样法主要分为欠采样、过采样和混合采样。欠采样是有策略地丢弃部分多数类数据样本，以减少多数类样本的数量，达到与少数类样本数量相近的目的。常见的欠采样方法有TomekLinks、编辑最近邻（ENN）、近邻清除（NM）等。TomekLinks方法通过识别并删除数据集中的Tomek对（即由一个少数类样本和一个多数类样本组成的最近邻对，且它们之间不存在其他样本），来减少多数类样本的数量，同时保留少数类样本的边界信息。编辑最近邻（ENN）方法则是根据样本的k近邻信息，删除那些被错误分类的多数类样本，以降低多数类样本的噪声。过采样是指向少数类群体中添加更多新的少数类样本，增加少数类样本的数量。经典的过采样方法如SMOTE（SyntheticMinorityOver-samplingTechnique），通过在少数类样本间随机插值生成新样本，扩大少数类群体。具体来说，SMOTE算法首先计算每个少数类样本的k近邻，然后从这些近邻中随机选择一个样本，通过在两者之间进行线性插值来生成新的少数类样本。SMOTE算法虽然能够增加少数类样本的数量，但在生成新样本时可能会忽略数据样本的实际分布情况，导致新产生的少数类样本与多数类样本产生更严重的重叠现象，同时引入噪声样本，加大后续对数据样本进行分类预测的难度。在此基础上，衍生出了Borderline-SMOTE、Adasyn等过采样方法。Borderline-SMOTE算法只对处于分类边界上的少数类样本进行过采样，以减少噪声样本的生成；Adasyn算法则根据样本的困难程度自适应地生成新样本，对于那些被错误分类概率较高的少数类样本，生成更多的新样本。混合采样则是结合过采样和欠采样的方法，克服单一采样方法的局限性。常见的混合采样方法有SMOTE-ENN、SMOTE-TomekLinks等。SMOTE-ENN方法先使用SMOTE算法对少数类样本进行过采样，然后再使用编辑最近邻（ENN）方法对过采样后的数据进行处理，去除其中的噪声样本；SMOTE-TomekLinks方法则是先使用SMOTE算法对少数类样本进行过采样，然后再使用TomekLinks方法删除数据集中的Tomek对，以减少多数类样本的数量，同时优化数据的分布。代价敏感学习是一种算法层面的处理方法，它为不同类别赋予不同的错分代价，使分类器在训练过程中更关注少数类样本。在软件缺陷预测中，将缺陷样本误判为非缺陷样本的代价往往比将非缺陷样本误判为缺陷样本的代价更高。代价敏感学习通过调整分类器的损失函数，使得分类器在决策时更加注重减少对少数类样本的误分类。在逻辑回归模型中，可以通过为少数类样本设置较高的错分代价，使得模型在训练过程中更加关注少数类样本的分类准确性，从而提高对软件缺陷的预测能力。集成学习通过聚集多个模型的预测结果来提高分类性能，虽然不是专门为解决类不平衡问题提出的，但在处理该问题时也取得了较好的效果。集成学习方法如Bagging、Boosting等，通过构建多个不同的基学习器，并将它们的预测结果进行组合，能够降低模型的方差，提高模型的稳定性和泛化能力。在处理类不平衡数据时，集成学习可以通过不同的方式来利用各个基学习器对不同类别样本的学习能力，从而提高对少数类样本的预测准确率。Bagging方法通过在不同的子集上训练多个学习器，并将它们的结果进行平均或投票，能够减少模型对多数类样本的依赖，提高对少数类样本的学习效果；Boosting方法则通过不断调整训练数据的权重，使得后续的基学习器更加关注那些被错误分类的样本，尤其是少数类样本，从而逐步提高模型对少数类样本的预测能力。三、主流类不平衡数据生成方法分析3.1过采样方法过采样方法作为处理类不平衡数据的重要手段，通过增加少数类样本的数量，使数据分布更加均衡，从而提升模型在少数类样本上的学习能力和预测性能。过采样方法在软件缺陷预测等领域得到了广泛应用，其核心思想是通过对少数类样本进行复制、插值或合成等操作，生成新的少数类样本，以缓解类不平衡问题对模型训练的影响。常见的过采样方法包括SMOTE算法及其衍生算法、ADASYN算法等，这些方法在不同的场景下展现出各自的优势和特点。通过对过采样方法的深入研究和合理应用，可以有效地提高软件缺陷预测模型的准确性和可靠性，为软件开发过程提供有力的支持。3.1.1SMOTE算法原理与应用SMOTE（SyntheticMinorityOver-samplingTechnique）算法，即合成少数类过采样技术，由Chawla等人于2002年提出，是一种经典的过采样方法，在解决类不平衡问题中应用广泛。该算法的基本原理是基于少数类样本间的相似性来人工合成新样本并添加到数据集中。具体实现步骤如下：首先，对于每个少数类样本x_i，通过计算其在特征空间中与其他少数类样本的距离（通常采用欧氏距离），运用K近邻算法确定其k个最近邻。假设x_i的k近邻集合为N(x_i)=\{x_{i1},x_{i2},\cdots,x_{ik}\}。然后，根据样本不平衡比例设定采样倍率n。对于每一个少数类样本x_i，从其k近邻中随机选择若干个样本。例如，随机选择x_{ij}（j\in\{1,2,\cdots,k\}）。最后，对于每个随机选出的近邻x_{ij}，选择一个在[0,1]之间的随机数\lambda，通过公式x_{new}=x_i+\lambda(x_{ij}-x_i)生成新样本。这个新样本x_{new}位于x_i与x_{ij}的连线上，且与x_i的距离为\lambda倍的x_i与x_{ij}之间的距离。重复上述步骤，直到生成的少数类样本数量达到设定的采样倍率，从而实现对少数类样本的扩充，使数据集的类别分布更加均衡。以一个简单的二维数据集为例，假设有少数类样本A和B，A的坐标为(1,1)，B的坐标为(3,3)。若采用SMOTE算法，k取3，对于样本A，通过K近邻算法找到其3个最近邻，假设其中一个近邻为B。从[0,1]中随机生成一个数\lambda=0.5，根据公式计算新样本x_{new}=(1,1)+0.5\times((3,3)-(1,1))=(1,1)+0.5\times(2,2)=(2,2)，这样就生成了一个新的少数类样本。在软件缺陷预测中，SMOTE算法有着广泛的应用。例如，在某开源软件项目中，其数据集存在严重的类不平衡问题，非缺陷样本与缺陷样本的比例达到了8:1。研究人员使用SMOTE算法对缺陷样本进行过采样，将缺陷样本数量扩充至与非缺陷样本相近的水平。然后，利用支持向量机（SVM）作为预测模型进行训练和预测。实验结果表明，在使用SMOTE算法处理数据后，模型的召回率从原来的0.52提升到了0.75，F1值从0.60提高到了0.70，这表明SMOTE算法有效地提升了模型对缺陷样本的识别能力，使得模型能够更准确地预测出软件中的缺陷。3.1.2Borderline-SMOTE算法改进与效果Borderline-SMOTE算法是对SMOTE算法的一种改进，由Han等人于2005年提出，旨在解决SMOTE算法在生成新样本时可能产生的问题，提高过采样的质量和效果。SMOTE算法在生成新样本时，没有充分考虑样本在数据空间中的位置和类别边界情况，这可能导致生成的新样本存在一些问题。如果选取的少数类样本周围都是少数类样本，那么新合成的样本可能不会提供太多有用信息，因为这些样本对于区分两类数据的作用有限。如果选取的少数类样本周围都是多数类样本，这类样本可能是噪声，新合成的样本会与周围的多数类样本产生大部分重叠，导致分类困难，降低模型的分类性能。Borderline-SMOTE算法的改进点在于，它只对处于分类边界上的少数类样本进行过采样。该算法首先将所有的少数类样本分成三类：“noise”（噪声样本）：所有的k近邻样本都属于多数类。这类样本远离类别边界，对分类决策的影响较小，在过采样时可以忽略。“danger”（危险样本）：超过一半的k近邻样本属于多数类。这些样本位于类别边界附近，容易被误分类，是过采样的重点对象。“safe”（安全样本）：超过一半的k近邻样本属于少数类。这类样本处于少数类样本的密集区域，相对比较安全，不需要进行过采样。Borderline-SMOTE算法只会从处于“danger”状态的样本中随机选择，然后用SMOTE算法产生新的样本。具体来说，对于每个处于“danger”状态的少数类样本x_i，先确定其k个最近邻样本集N(x_i)。从N(x_i)中随机选择一个近邻样本x_{ij}，再选择一个在[0,1]之间的随机数\lambda，通过公式x_{new}=x_i+\lambda(x_{ij}-x_i)生成新样本。通过这种方式，Borderline-SMOTE算法能够更有针对性地生成位于类别边界附近的新样本，这些新样本对于提高模型在类别边界处的分类能力具有重要作用。为了对比Borderline-SMOTE算法和SMOTE算法的效果，在某软件项目数据集上进行了实验。该数据集的类不平衡比例为7:1，使用决策树作为预测模型。实验结果显示，SMOTE算法处理后，模型的召回率为0.68，F1值为0.65；而Borderline-SMOTE算法处理后，模型的召回率提升到了0.76，F1值提高到了0.72。这表明Borderline-SMOTE算法在处理类不平衡数据时，能够更有效地提升模型对少数类样本的识别能力，提高模型的整体性能。3.1.3ADASYN算法特点与优势ADASYN（AdaptiveSyntheticSamplingApproachforImbalancedLearning）算法，即不平衡学习的自适应合成采样方法，由He等人于2008年提出，是一种基于样本分布密度自适应生成样本的过采样算法。ADASYN算法的核心特点是根据样本的困难程度自适应地生成新样本。该算法首先计算每个少数类样本的密度，然后根据样本密度的比例生成新的合成样本。具体实现步骤如下：首先，计算不平衡度d，记少数类样本数量为n_{min}，多数类样本数量为n_{max}，则不平衡度d=\frac{n_{min}}{n_{max}}，d\in(0,1)。接着，根据最终的平衡程度设定总共需要生成的新少数类样本数量G，通常G=(n_{max}-n_{min})\timesb，b\in[0,1]，当b=1时，合成数据后的多数类个数和少数类数据正好平衡。然后，对于每个属于少数类的样本x_i，用欧式距离计算其k个邻居，记k个邻居中属于多数类的样本数目为\Delta，比例为r_i=\frac{\Delta}{k}，r_i\in[0,1]。r_i反映了样本x_i周围多数类样本的分布情况，r_i越大，说明样本x_i越靠近多数类样本，分类难度越大。根据r_i计算每个少数类样本需要合成的样本数目g_i=G\times\frac{r_i}{\sum_{j=1}^{n_{min}}r_j}。在每个待合成的少数类样本x_i周围k个邻居中选择1个少数类样本x_{ij}，根据等式x_{new}=x_i+\lambda(x_{ij}-x_i)（其中\lambda\in[0,1]为随机数）进行合成。重复上述过程，直到完成每个少数类样本所需合成的数目为止。ADASYN算法的优势在于能够根据样本的分布情况，在分类困难的区域生成更多的新样本，从而帮助模型更好地学习这些区域的特征，提高对少数类样本的分类能力。在一个具有复杂数据分布的软件缺陷预测数据集中，少数类样本分布不均匀，部分区域与多数类样本交织在一起，分类难度较大。使用ADASYN算法进行过采样后，模型在这些困难区域的预测准确率得到了显著提高。与SMOTE算法相比，ADASYN算法生成的新样本更具针对性，能够更好地适应数据的分布特点。在该数据集中，使用SMOTE算法处理后，模型在困难区域的预测准确率为0.60；而使用ADASYN算法处理后，模型在困难区域的预测准确率提升到了0.75，这充分体现了ADASYN算法在复杂数据分布下的优势。3.2欠采样方法欠采样方法作为处理类不平衡数据的重要策略之一，旨在通过减少多数类样本的数量，使数据集中不同类别的样本数量达到相对均衡，从而缓解类不平衡问题对机器学习模型性能的负面影响。欠采样方法的核心思想是有选择地删除多数类样本，在保留关键信息的同时，降低多数类样本对模型训练的主导作用，使模型能够更加关注少数类样本的特征和模式。与过采样方法通过增加少数类样本数量来平衡数据不同，欠采样方法在减少数据规模的同时，能够提高模型训练的效率。然而，欠采样方法也面临着信息丢失的风险，如果删除的样本中包含重要的特征信息，可能会导致模型的泛化能力下降。常见的欠采样方法包括随机欠采样、TomekLinks算法、近邻清除算法等，这些方法各自具有独特的原理和应用场景。3.2.1随机欠采样原理及局限性随机欠采样（RandomUnder-sampling）是一种较为简单直接的欠采样方法，其基本操作是从多数类样本中随机选取一定数量的样本并删除，使得多数类样本数量与少数类样本数量达到相对平衡。假设数据集中少数类样本数量为n_{min}，多数类样本数量为n_{max}，且n_{max}\ggn_{min}。随机欠采样首先计算需要删除的多数类样本数量n_{delete}=n_{max}-n_{min}。然后，从多数类样本集合中随机抽取n_{delete}个样本并将其删除，最终得到一个相对平衡的数据集。在一个二分类问题的数据集中，少数类样本有100个，多数类样本有1000个。随机欠采样通过随机选择并删除900个多数类样本，使得多数类样本和少数类样本数量均为100个，从而实现数据集的平衡。虽然随机欠采样实现简单，能够快速降低多数类样本的数量，使数据集达到一定程度的平衡，提高模型训练效率，减少计算资源的消耗。但这种方法也存在明显的局限性，主要体现在可能导致信息丢失。由于随机欠采样是随机删除多数类样本，无法保证删除的样本不包含重要信息。如果删除的样本中包含对分类起关键作用的特征或模式，那么模型在训练时就无法学习到这些信息，从而降低模型的泛化能力。在一个软件缺陷预测的数据集中，多数类样本（非缺陷样本）中包含一些具有特殊代码结构或编程习惯的样本，这些样本虽然数量相对较少，但对于区分缺陷样本和非缺陷样本具有重要作用。随机欠采样可能会误删这些样本，导致模型在训练时无法学习到这些特殊的特征，进而在预测新的软件模块时，无法准确识别出存在缺陷的样本，降低了预测的准确性。随机欠采样还可能导致数据分布的改变，使得模型学习到的特征与原始数据的真实分布存在偏差，进一步影响模型的性能。3.2.2TomekLinks算法原理与应用TomekLinks算法是一种基于数据清洗的欠采样方法，由Tomek于1976年提出。该算法的核心原理是通过识别并移除数据集中的Tomek对（Tomekpairs），来减少多数类样本的数量，同时保留少数类样本的边界信息，从而优化数据分布，提高模型的分类性能。在一个二分类数据集中，如果存在一对样本(x_i,x_j)，其中x_i属于少数类，x_j属于多数类，并且x_i和x_j互为最近邻（即x_i是x_j的最近邻，x_j3.3混合采样方法混合采样方法作为处理类不平衡数据的有效策略，融合了过采样和欠采样的优势，旨在通过综合运用两种采样方式，更全面地解决数据不平衡问题，提升机器学习模型的性能。在软件缺陷预测等实际应用场景中，数据往往呈现出复杂的分布特征，单一的过采样或欠采样方法可能无法充分满足需求。混合采样方法通过对多数类样本进行适当的欠采样，减少冗余信息和噪声的干扰；同时对少数类样本进行合理的过采样，增加其数量和多样性，从而使数据集的分布更加均衡，模型能够学习到更全面的特征，提高对少数类样本的识别能力。常见的混合采样方法如SMOTE-ENN、SMOTE-TomekLinks等，它们在不同的应用场景中展现出各自的特点和优势。3.3.1SMOTE-ENN算法原理与流程SMOTE-ENN算法是一种典型的混合采样方法，它结合了SMOTE算法的过采样和ENN（EditedNearestNeighbours）算法的欠采样，旨在通过两者的优势互补，提高数据的质量和模型的性能。SMOTE算法作为一种过采样方法，通过在少数类样本间进行插值生成新样本，扩充少数类样本数量，以缓解类不平衡问题。然而，SMOTE算法在生成新样本时，可能会引入一些噪声样本，这些噪声样本可能会干扰模型的学习过程，降低模型的性能。ENN算法则是一种欠采样方法，它基于K近邻算法，通过分析每个样本周围的邻居样本情况，删除那些被错误分类的样本，从而减少数据集中的噪声和冗余信息。SMOTE-ENN算法的具体流程如下：首先，使用SMOTE算法对少数类样本进行过采样。对于每个少数类样本x_i，通过K近邻算法找到其k个最近邻，从这些近邻中随机选择一个样本x_{ij}，然后选择一个在[0,1]之间的随机数\lambda，通过公式x_{new}=x_i+\lambda(x_{ij}-x_i)生成新样本。重复这个过程，直到生成的少数类样本数量达到预期，从而扩充少数类样本集。在一个软件缺陷预测的数据集中，少数类样本（缺陷样本）数量较少，使用SMOTE算法对其进行过采样。假设某个缺陷样本x_i的坐标为(1,2)，通过K近邻算法找到其3个最近邻，随机选择其中一个近邻x_{ij}，其坐标为(3,4)，随机数\lambda取0.5。根据公式计算新样本x_{new}=(1,2)+0.5\times((3,4)-(1,2))=(1,2)+0.5\times(2,2)=(2,3)，这样就生成了一个新的缺陷样本。然后，使用ENN算法对过采样后的数据进行处理。对于每个样本，计算其K近邻，如果该样本的K近邻中多数样本属于不同类别，则将该样本视为噪声样本并删除。对于一个样本x，其K近邻中有4个样本属于类别A，1个样本属于类别B，而样本x属于类别B，那么样本x就可能被视为噪声样本而被删除。通过ENN算法的处理，可以去除SMOTE算法生成的新样本中可能存在的噪声样本，提高数据的质量。在某开源软件项目的数据集上，使用SMOTE-ENN算法进行数据处理。该数据集的类不平衡比例为10:1，首先使用SMOTE算法对少数类样本（缺陷样本）进行过采样，将缺陷样本数量扩充至与非缺陷样本相近的水平。然后使用ENN算法对过采样后的数据进行处理，去除其中的噪声样本。使用支持向量机（SVM）作为预测模型进行训练和预测。实验结果表明，在使用SMOTE-ENN算法处理数据后，模型的准确率从原来的0.70提升到了0.78，召回率从0.60提高到了0.70，F1值从0.64提升到了0.74，这表明SMOTE-ENN算法有效地提升了模型的性能，能够更准确地预测软件中的缺陷。3.3.2SMOTE-TomekLinks算法优势分析SMOTE-TomekLinks算法是另一种常用的混合采样方法，它结合了SMOTE算法的过采样和TomekLinks算法的欠采样，在处理类不平衡数据时具有独特的优势。SMOTE算法通过合成新的少数类样本，增加少数类样本的数量，使数据集的类别分布更加均衡。但它可能会生成一些与多数类样本重叠的样本，这些重叠样本会增加分类的难度，降低模型的性能。TomekLinks算法则通过识别并删除数据集中的Tomek对（即由一个少数类样本和一个多数类样本组成的最近邻对，且它们之间不存在其他样本），减少多数类样本的数量，同时保留少数类样本的边界信息，优化数据分布。SMOTE-TomekLinks算法的优势主要体现在以下几个方面：该算法能够有效避免过拟合问题。在过采样过程中，SMOTE算法生成的新样本可能会导致数据的冗余度增加，从而使模型容易出现过拟合现象。而TomekLinks算法通过删除Tomek对，可以去除一些可能导致过拟合的样本，使模型更加关注数据的关键特征，提高模型的泛化能力。在一个具有复杂数据分布的软件缺陷预测数据集中，使用SMOTE算法单独进行过采样后，模型在训练集上的准确率较高，但在测试集上的准确率明显下降，出现了过拟合现象。而使用SMOTE-TomekLinks算法处理数据后，模型在测试集上的准确率得到了显著提高，有效避免了过拟合问题。SMOTE-TomekLinks算法能够提高模型对少数类样本的识别能力。通过SMOTE算法扩充少数类样本数量，使模型有更多的少数类样本可供学习，增强了模型对少数类样本特征的学习能力。TomekLinks算法对数据的优化处理，减少了多数类样本对少数类样本的干扰，使模型能够更准确地识别少数类样本。在某软件项目数据集中，使用SMOTE-TomekLinks算法处理数据后，模型对少数类样本（缺陷样本）的召回率从原来的0.55提升到了0.70，F1值从0.60提高到了0.68，表明模型对缺陷样本的识别能力得到了显著提升。该算法还能改善数据的分布情况。TomekLinks算法删除Tomek对的操作，能够去除数据集中的噪声和冗余样本，使数据分布更加合理。这有助于模型更好地学习数据的内在模式，提高模型的分类性能。在一个数据分布不均匀的软件缺陷预测数据集中，使用SMOTE-TomekLinks算法处理后，数据的分布更加紧凑，不同类别的样本之间的边界更加清晰，模型在该数据集上的分类准确率得到了明显提高。SMOTE-TomekLinks算法在处理类不平衡数据时，通过结合SMOTE算法和TomekLinks算法的优势，能够有效避免过拟合，提高模型对少数类样本的识别能力，改善数据的分布情况，从而提升软件缺陷预测模型的性能，在实际应用中具有较高的价值。四、基于具体案例的方法对比与评估4.1实验设计与数据集选择4.1.1实验目的与设计思路本次实验的核心目的是全面且深入地比较不同类不平衡数据生成方法在软件缺陷预测中的性能表现。通过对多种经典的过采样、欠采样和混合采样方法进行实验，评估它们在处理软件项目数据时，对预测模型性能的影响，从而为实际的软件缺陷预测工作提供有价值的参考依据。实验设计遵循严谨的科学原则，以确保实验结果的准确性和可靠性。在数据处理方面，对不同的类不平衡数据生成方法进行合理应用，如对SMOTE算法、Borderline-SMOTE算法、ADASYN算法等过采样方法，分别按照其算法原理对少数类样本进行扩充；对随机欠采样、TomekLinks算法等欠采样方法，根据各自的规则对多数类样本进行删减；对SMOTE-ENN算法、SMOTE-TomekLinks算法等混合采样方法，严格按照其流程进行数据处理。在模型选择上，选用多种具有代表性的机器学习模型作为软件缺陷预测模型，包括决策树、随机森林、支持向量机等。决策树模型具有直观易懂、易于解释的特点，能够快速地对数据进行分类，但容易出现过拟合现象；随机森林是由多个决策树组成的集成学习模型，通过组合多个决策树的预测结果，提高了模型的稳定性和准确性，对噪声和数据偏差更为鲁棒；支持向量机则通过寻找最优超平面来区分不同类别的数据点，在高维数据处理中表现出色。使用这些不同类型的模型，可以从多个角度评估类不平衡数据生成方法对不同模型的影响，更全面地了解各种方法的适用性。为了保证实验结果的可靠性，采用了10折交叉验证的方法。将数据集随机划分为10个大小相近的子集，每次实验选取其中9个子集作为训练集，1个子集作为测试集，重复10次，使得每个子集都有机会作为测试集，最终将10次实验的结果进行平均，以减少实验结果的随机性和偏差。在实验过程中，严格控制其他变量，如模型的参数设置、数据的预处理步骤等保持一致，仅改变类不平衡数据生成方法，从而准确地评估不同方法对软件缺陷预测性能的影响。4.1.2数据集来源与特征描述本次实验选用的软件缺陷预测数据集来自于多个开源软件项目，这些数据集在软件缺陷预测领域被广泛应用，具有较高的代表性和可靠性。数据集主要包括PROMISE软件缺陷数据集、NASAMDP软件缺陷数据集等。PROMISE软件缺陷数据集涵盖了多个不同类型的软件项目，如Eclipse、JMeter等，包含了丰富的代码度量信息、开发者信息以及缺陷标注信息。NASAMDP软件缺陷数据集则由美国航空航天局（NASA）公布，包含了13个不同的数据集，这些数据均来自NASA的实际软件项目，由最常见的开发语言编写，每个数据集包含来自不同软件项目的若干模块，规模从125个模块到17186个模块不等，各个数据集由LOC（代码行数）、McCabe（圈复杂度）、Halstead等几类度量元属性和是否包含缺陷的类别标记（defective）组成。这些数据集包含的特征丰富多样，主要可分为代码度量特征、过程度量特征和其他特征。代码度量特征如代码行数（LOC），能够反映软件模块的规模大小，一般来说，代码行数越多，模块的复杂度可能越高，出现缺陷的概率也相对较大；圈复杂度（McCabe）用于衡量代码的逻辑复杂程度，圈复杂度高的代码，其控制流复杂，更容易出现逻辑错误，从而增加缺陷的可能性；Halstead度量元包括程序词汇量、程序长度等，从不同角度反映了代码的复杂程度和信息量。过程度量特征如代码提交频率，反映了开发者对代码的修改活跃程度，频繁的代码提交可能意味着代码的不确定性较高，容易引入缺陷；开发者经验可以通过开发者参与项目的时间、提交的代码量等指标来衡量，经验丰富的开发者可能编写的代码质量更高，缺陷率更低。其他特征还包括软件模块的依赖关系、使用的编程语言特性等，这些特征都与软件缺陷的发生密切相关，在软件缺陷预测中起着重要的作用。4.1.3评估指标选取与意义为了全面、准确地评估不同类不平衡数据生成方法在软件缺陷预测中的性能，选取了准确率（Accuracy）、召回率（Recall）、F1值（F1-score）、AUC（AreaUnderCurve）等作为评估指标。准确率是指模型预测正确的样本数占总样本数的比例，计算公式为：Accuracy=\frac{TP+TN}{TP+TN+FP+FN}，其中TP（TruePositive）表示真正例，即模型正确预测为正类的样本数；TN（TrueNegative）表示真负例，即模型正确预测为负类的样本数；FP（FalsePositive）表示假正例，即模型错误预测为正类的负类样本数；FN（FalseNegative）表示假负例，即模型错误预测为负类的正类样本数。准确率能够反映模型在整体上的预测准确性，在类平衡的数据集中，准确率是衡量模型性能的重要指标。在软件缺陷预测中，若准确率较高，说明模型能够准确地判断软件模块是否存在缺陷。然而，在类不平衡数据集中，准确率可能会受到多数类样本的影响，即使模型将所有样本都预测为多数类，也可能获得较高的准确率，但这并不能真实反映模型对少数类样本（缺陷样本）的预测能力。召回率是指实际为正例的样本中，被正确预测为正例的比例，计算公式为：Recall=\frac{TP}{TP+FN}。召回率衡量了模型对正类样本的覆盖能力，在软件缺陷预测中，召回率越高，说明模型能够检测出更多实际存在缺陷的软件模块。对于软件缺陷预测来说，召回率至关重要，因为遗漏缺陷模块可能会导致软件在运行过程中出现故障，带来严重的后果。如果一个软件缺陷预测模型的召回率较低，即使其准确率较高，也不能有效地帮助开发者发现潜在的缺陷，无法达到软件缺陷预测的目的。F1值是准确率和召回率的调和平均数，计算公式为：F1-score=\frac{2\timesPrecision\timesRecall}{Precision+Recall}，其中Precision（精确率）表示预测为正样本中实际为正样本的比例，即Precision=\frac{TP}{TP+FP}。F1值综合考虑了准确率和召回率，能够更全面地评估模型的性能。在类不平衡数据集中，F1值可以避免单独使用准确率或召回率带来的片面性，更准确地反映模型在不同类别样本上的表现。当F1值较高时，说明模型在准确判断软件模块是否存在缺陷的，也能够有效地检测出实际存在缺陷的模块。AUC表示受试者工作特征曲线（ReceiverOperatingCharacteristicCurve，ROC曲线）下的面积，取值范围在0到1之间。ROC曲线以假正例率（FPR，FalsePositiveRate，FPR=\frac{FP}{FP+TN}）为横坐标，真正例率（TPR，TruePositiveRate，TPR=\frac{TP}{TP+FN}）为纵坐标。AUC值越大，说明模型对正样本和负样本的区分能力越强，模型的性能越好。当AUC值为0.5时，说明模型的预测效果与随机猜测无异；当AUC值大于0.5时，模型具有一定的预测能力；当AUC值接近1时，模型的预测能力非常强。在软件缺陷预测中，AUC能够评估模型在不同分类阈值下的性能，不受样本不平衡的影响，是一个较为稳健的评估指标，对于比较不同类不平衡数据生成方法对模型性能的提升效果具有重要意义。4.2不同方法实验结果分析4.2.1过采样方法实验结果对比本部分主要对不同过采样方法在软件缺陷预测实验中的结果进行对比分析。通过实验，评估了SMOTE、Borderline-SMOTE和ADASYN这三种过采样方法对预测模型性能的影响，实验结果如表1所示：过采样方法预测模型准确率召回率F1值AUC无决策树0.720.500.580.65SMOTE决策树0.750.600.660.70Borderline-SMOTE决策树0.760.650.700.73ADASYN决策树0.780.680.730.75无随机森林0.750.550.630.68SMOTE随机森林0.780.630.690.72Borderline-SMOTE随机森林0.790.660.720.74ADASYN随机森林0.800.700.750.76无支持向量机0.730.520.600.66SMOTE支持向量机0.760.620.680.71Borderline-SMOTE支持向量机0.770.650.710.73ADASYN支持向量机0.790.680.730.75从准确率来看，三种过采样方法在不同预测模型上均有一定提升。其中，ADASYN算法提升效果较为明显，在决策树、随机森林和支持向量机模型上，准确率分别提升了6%、5%和6%。这是因为ADASYN算法能够根据样本的困难程度自适应地生成新样本，在分类困难的区域生成更多有价值的样本，帮助模型更好地学习这些区域的特征，从而提高了整体的准确率。SMOTE算法和Borderline-SMOTE算法的准确率提升幅度相对较小，但也在一定程度上改善了模型的性能。在召回率方面，三种过采样方法都显著提高了模型对少数类样本（缺陷样本）的识别能力。Borderline-SMOTE算法和ADASYN算法的召回率提升效果优于SMOTE算法。Borderline-SMOTE算法只对处于分类边界上的少数类样本进行过采样，生成的新样本更具针对性，能够有效提升模型在类别边界处对缺陷样本的识别能力，在决策树、随机森林和支持向量机模型上，召回率分别提升了15%、11%和13%。ADASYN算法通过在难以正确分类的区域附近生成新样本，使得模型对这些困难区域的缺陷样本有更好的识别能力，在三种模型上的召回率分别提升了18%、15%和16%。SMOTE算法虽然也增加了少数类样本的数量，但由于其生成的样本可能与多数类样本重叠严重，导致在提升召回率方面的效果相对较弱。F1值综合考虑了准确率和召回率，从F1值的结果可以更全面地评估模型的性能。ADASYN算法在三种模型上的F1值均最高，分别达到了0.73、0.75和0.73，表明ADASYN算法在平衡准确率和召回率方面表现出色。Borderline-SMOTE算法的F1值也相对较高，在不同模型上均优于SMOTE算法。这说明Borderline-SMOTE算法和ADASYN算法在提高模型对少数类样本识别能力的，也能较好地保持模型对多数类样本的预测准确性。AUC值反映了模型对正样本和负样本的区分能力，AUC值越大，模型性能越好。实验结果显示，ADASYN算法在三种模型上的AUC值均最高，分别为0.75、0.76和0.75，表明ADASYN算法能够使模型更好地区分缺陷样本和非缺陷样本。Borderline-SMOTE算法的AUC值次之，SMOTE算法相对较低。这进一步证明了ADASYN算法和Borderline-SMOTE算法在改善模型性能方面的有效性，尤其是在处理类不平衡数据时，能够提高模型的分类能力。综上所述，在过采样方法中，ADASYN算法和Borderline-SMOTE算法在提升软件缺陷预测模型性能方面表现较为突出，能够更有效地处理类不平衡数据，提高模型对缺陷样本的识别能力。相比之下，SMOTE算法虽然也能在一定程度上改善模型性能，但在生成样本的质量和对模型性能的提升幅度上相对较弱。4.2.2欠采样方法实验结果对比本部分聚焦于不同欠采样方法在软件缺陷预测实验中的结果对比分析。实验对随机欠采样和TomekLinks这两种欠采样方法进行了评估，探究它们在减少多数类样本后对模型性能的影响，实验结果如下表所示：欠采样方法预测模型准确率召回率F1值AUC无决策树0.720.500.580.65随机欠采样决策树0.700.450.540.62TomekLinks决策树0.740.550.630.68无随机森林0.750.550.630.68随机欠采样随机森林0.730.500.600.65TomekLinks随机森林0.770.600.670.72无支持向量机0.730.520.600.66随机欠采样支持向量机0.710.480.570.63TomekLinks支持向量机0.750.580.650.69从准确率来看，随机欠采样方法在三种预测模型上的准确率均有所下降。这是因为随机欠采样是随机删除多数类样本，容易误删一些对分类起关键作用的样本，导致模型无法学习到这些重要信息，从而降低了模型的准确率。在决策树模型中，随机欠采样后的准确率从0.72下降到0.70，在随机森林模型中从0.75下降到0.73，在支持向量机模型中从0.73下降到0.71。而TomekLinks算法在不同模型上的准确率均有一定提升。TomekLinks算法通过识别并删除数据集中的Tomek对，减少了多数类样本的数量，同时保留了少数类样本的边界信息，优化了数据分布，使得模型能够更好地学习数据的特征，从而提高了准确率。在决策树模型中，TomekLinks算法处理后的准确率提升到0.74，在随机森林模型中提升到0.77，在支持向量机模型中提升到0.75。在召回率方面，随机欠采样方法使得模型对少数类样本（缺陷样本）的召回率降低。由于随机删除多数类样本可能导致数据分布的改变，使得模型对少数类样本的识别能力下降。在决策树模型中，召回率从0.50下降到0.45，在随机森林模型中从0.55下降到0.50，在支持向量机模型中从0.52下降到0.48。TomekLinks算法在一定程度上提高了召回率。该算法在删除多数类样本的，保留了少数类样本的边界信息，使得模型能够更好地捕捉到少数类样本的特征，从而提高了对缺陷样本的识别能力。在决策树模型中，召回率提升到0.55，在随机森林模型中提升到0.60，在支持向量机模型中提升到0.58。F1值综合反映了准确率和召回率的情况。随机欠采样方法使得模型的F1值下降，在决策树、随机森林和支持向量机模型中，F1值分别从0.58下降到0.54、从0.63下降到0.60、从0.60下降到0.57。这表明随机欠采样方法在降低准确率和召回率的同时，也降低了模型的综合性能。TomekLinks算法在不同模型上的F1值均有提升，在决策树模型中提升到0.63，在随机森林模型中提升到0.67，在支持向量机模型中提升到0.65。这说明TomekLinks算法在提高模型对少数类样本识别能力的，也能较好地保持模型对多数类样本的预测准确性，从而提升了模型的综合性能。AUC值用于评估模型对正样本和负样本的区分能力。随机欠采样方法使得模型的AUC值下降，在三种模型上分别从0.65下降到0.62、从0.68下降到0.65、从0.66下降到0.63。这表明随机欠采样方法削弱了模型对缺陷样本和非缺陷样本的区分能力。TomekLinks算法在不同模型上的AUC值均有提升，在决策树模型中提升到0.68，在随机森林模型中提升到0.72，在支持向量机模型中提升到0.69。这进一步证明了TomekLinks算法能够优化数据分布，提高模型的分类能力，使得模型能够更好地区分两类样本。综上所述，在欠采样方法中，TomekLinks算法在提升软件缺陷预测模型性能方面表现优于随机欠采样方法。TomekLinks算法通过合理地减少多数类样本，保留关键信息，优化数据分布，能够有效提高模型的准确率、召回率、F1值和AUC值，增强模型对缺陷样本的识别能力。而随机欠采样方法由于其随机删除样本的特性，容易导致信息丢失和数据分布改变，从而降低模型性能。4.2.3混合采样方法实验结果分析本部分对混合采样方法在软件缺陷预测实验中的结果进行深入分析，探讨其在综合过采样和欠采样优势方面的实际效果，并与单一采样方法进行对比。实验选用了SMOTE-ENN和SMOTE-TomekLinks两种混合采样方法，实验结果如下表所示：混合采样方法预测模型准确率召回率F1值AUC无决策树0.720.500.580.65SMOTE-ENN决策树0.770.620.680.72SMOTE-TomekLinks决策树0.780.650.710.73无随机森林0.750.550.630.68SMOTE-ENN随机森林0.800.660.730.75SMOTE-TomekLinks随机森林0.810.680.750.76无支持向量机0.730.520.600.66SMOTE-ENN支持向量机0.780.640.710.74SMOTE-TomekLinks支持向量机0.790.660.730.75从准确率来看，两种混合采样方法在不同预测模型上均有显著提升。SMOTE-TomekLinks算法的提升效果更为明显，在决策树、随机森林和支持向量机模型上，准确率分别提升了6%、6%和6%。这是因为SMOTE-TomekLinks算法在过采样阶段增加了少数类样本的数量，使模型有更多的少数类样本可供学习，增强了模型对少数类样本特征的学习能力；在欠采样阶段通过删除Tomek对，减少了多数类样本的干扰，优化了数据分布，从而提高了模型的准确率。SMOTE-ENN算法在不同模型上的准确率也有一定提升，分别提升了5%、5%和5%。SMOTE-ENN算法先使用SMOTE算法扩充少数类样本，再用ENN算法去除噪声样本，也在一定程度上改善了模型的性能。在召回率方面，两种混合采样方法都显著提高了模型对少数类样本（缺陷样本）的识别能力。SMOTE-TomekLinks算法的召回率提升效果略优于SMOTE-ENN算法。SMOTE-TomekLinks算法在决策树、随机森林和支持向量机模型上，召回率分别提升了15%、13%和14%。该算法通过在类别边界附近生成新样本，同时优化数据分布，使得模型能够更好地识别缺陷样本。SMOTE-ENN算法在三种模型上的召回率分别提升了12%、11%和12%。SMOTE-ENN算法对处于分类边界上的少数类样本进行过采样，去除噪声样本，也有效提升了模型对缺陷样本的识别能力。F1值综合考虑了准确率和召回率，从F1值的结果可以更全面地评估模型的性能。SMOTE-TomekLinks算法在三种模型上的F1值均最高，分别达到了0.71、0.75和0.73，表明SMOTE-TomekLinks算法在平衡准确率和召回率方面表现出色。SMOTE-ENN算法的F1值也相对较高，在不同模型上均优于未使用混合采样方法的情况。这说明两种混合采样方法在提高模型对少数类样本识别能力的，也能较好地保持模型对多数类样本的预测准确性。AUC值反映了模型对正样本和负样本的区分能力，AUC值越大，模型性能越好。实验结果显示，SMOTE-TomekLinks算法在三种模型上的AUC值均最高，分别为0.73、0.76和0.75，表明SMOTE-TomekLinks算法能够使模型更好地区分缺陷样本和非缺陷样本。SMOTE-ENN算法的AUC值次之，也在一定程度上提高了模型的分类能力。这进一步证明了两种混合采样方法在改善模型性能方面的有效性，尤其是SMOTE-TomekLinks算法，在综合过采样和欠采样优势方面表现更为突出。与单一采样方法相比，混合采样方法在提升软件缺陷预测模型性能方面具有明显优势。在过采样方法中表现较好的ADASYN算法，在某些指标上仍不如混合采样方法。在随机森林模型上，ADASYN算法的F1值为0.75，而SMOTE-TomekLinks算法的F1值也为0.75，但SMOTE-TomekLinks算法的准确率更高，为0.81，而ADASYN算法为0.80。在欠采样方法中表现较好的TomekLinks算法，与混合采样方法相比，各项指标均有差距。在决策树模型上，TomekLinks算法的F1值为0.63，而SMOTE-TomekLinks算法的F1值为0.71。综上所述，混合采样方法，尤其是SMOTE-TomekLinks算法，在处理类不平衡数据时，能够充分发挥过采样和欠采样的优势，有效提高软件缺陷预测模型的性能，在准确率、召回率、F1值和AUC值等方面均表现出色，优于单一的过采样或欠采样方法。4.3方法性能与适用场景总结通过对不同类不平衡数据生成方法的实验对比，我们可以清晰地总结出它们各自的性能特点和适用场景。过采样方法中，ADASYN算法在准确率、召回率、F1值和AUC值等各