第5章 集成学习与迁移学习

机器学习原理与应用毋建军、姜波、郭舒2025年1月第5章集成学习与迁移学习本章学习目标（知识要点）了解集成学习和迁移学习的基本概念及主要流程；掌握集成学习和迁移学习的组成框架及关键技术；熟悉集成学习和迁移学习处理技术的一些常用技巧；熟练掌握Bagging、Boosting和Stacking等集成学习算法的基本原理；熟练掌握基于实例、特征、模型和关系等迁移学习算法的基本原理；熟练使用集成学习算法对信用卡欺诈行为检测的应用。目录

集成学习

迁移学习

综合案例：欺诈检测应用5.15.25.3◎集成学习简介

◎集成学习方法◎集成学习应用集成学习5.1提出：

由Nilsson在1965年以监督学习的方式被提出用于分类任务主要思想：将多个基本模型训练为集成成员，并将它们的预测组合成一个输出，该输出的平均性能应优于目标数据集上具有不相关错误的任何其他集成成员[1]。决策组合方法：平均法、投票法和概率法大量的经验和理论研究表明，集成模型往往比单一模型具有更高的精度。集合的成员可以预测实数、类标签、后验概率、排名、聚类或任何其他数量。大多数集成学习方法是通用的，适用于模型类型和学习任务的广泛类。集成学习（EnsembleLearning）5.1.1集成学习简介

5.1.1集成学习简介弱学习器(基础模型):作为构建模块，通过组合多个模型来设计更复杂的模型。大多数情况下，基础模型本身的性能不是很好：要么是有很高的偏差（例如，低自由度模型）要么是方差太大而不具有鲁棒性（例如，高自由度模型）图5-1集成学习的基本结构集成方法的思想通过将这些弱学习者组合在一起，尝试减少这些弱学习器的偏差或方差，从而创建一个获得更好性能的强学习器或者集成模型。5.1.1集成学习简介同质集成学习使用相同类型的基础学习算法，如ID3、C4.5、CART等决策树算法，这样就有了同质的弱学习器，它们以不同的方式进行训练，得到的集成模型。异质集成学习使用不同类型的基础学习算法，如随机森林、CNN神经网络等算法，将一些异构的弱学习者组合成一个异构集成模型。注意：对弱学习器的选择应该与聚合这些模型的方式相一致：如果选择低偏差但高方差的基础模型，则应采用倾向于减少方差的聚合方法如果选择低方差但高偏差的基础模型，则应采用倾向于减少偏差的聚合方法图5-1集成学习的基本结构5.1.2集成学习方法集成学习从集成学习算法、输出组合方式以及集成多样性等角度可大致划分为三大类：装袋（Bagging）提升（Boosting）堆叠（Stacking）图5-2Bagging算法的基本结构5.1.2集成学习方法——BaggingBaggingBagging算法（Bootstrapaggregating，引导聚合算法），又称装袋算法，是机器学习领域的一种集成学习算法[2]。常见的Bagging算法：随机森林、Baggingmeta-estimator等。组合方式同质的弱学习器，相互独立地并行学习，按照某种确定性的平均过程进行组合。可与其他分类、回归算法结合，提高其准确率、稳定性通过降低结果的方差，避免过拟合。计算过程

5.1.2

集成学习方法——BoostingBoosting概念Boosting是一种主要用于减少偏差的集成学习算法，它通过在训练新模型实例时更注重先前模型错误分类的实例来增量构建集成模型[3]。基本原理通过串行迭代的方式，将同质的弱分类器组合成一个强分类器。弱分类器的权重与其准确性相关，准确性越高，权重越大。每次添加弱分类器，数据权重会重新调整 ·错误分类的样本权重增加·正确分类的样本权重降低。后续的弱分类器会更多地关注之前弱分类器错误分类的样本，逐步提高整体分类性能。常见的Boosting算法AdaBoost[4]、LPBoost、GBM、XGBM[5]、LightGBM、CatBoost[6,7]等。图5-3Boosting算法的基本结构在某些情况下，Boosting已被证明比Bagging可以得到更好的准确率，但同时也存在过拟合问题。5.1.2集成学习方法——StackingStacking的定义：一种用于最小化泛化误差率的方法。通过训练元模型来组合多个弱学习器的预测结果。通常使用异质弱学习器，它们之间相互独立且并行学习。泛化器的作用机制：通过推导泛化器相对于学习集的偏差来发挥作用。在第二层中，元模型对第一层弱学习器的预测结果进行泛化，并尝试对剩余数据进行预测。两种应用场景：当与多个泛化器一起使用时，Stacking可以看作是交叉验证的复杂版本，采用更复杂的策略组合各个泛化器。当与单个泛化器一起使用时，Stacking用于估计泛化器的错误，该泛化器已在特定学习集上训练并用于特定问题。常见的Stacking算法：VotingEnsembles、WeightedAverage、BlendingEnsemble、SuperLearnerEnsemble等。图5-4Stacking算法的基本结构5.1.2集成学习方法集成学习方法优点：能够有效提高模型精度模型更加健壮和稳定确保在大多数场景中测试用例的良好性能支持两个或以上不同的模型来拟合数据中的线性和非线性复杂关系集成学习方法缺点：降低了模型的解释能力，最终很难得出任何关键的业务见解非常耗时，可能不是实时应用任务的最佳方案集成模型的挑选需要很多经验知识5.1.3集成学习应用近年来，由于计算能力的不断增强，使得能够在合理的时间范围内训练大型集成学习，因此其应用的数量日益增加。集成分类器的应用领域：遥感探测网络安全目标识别欺诈检测财务决策医学检测5.1.3集成学习应用遥感探测土地覆盖制图利用遥感和地理空间数据识别地表物质（如道路、建筑物、河流等）。多分类器集成方法（如人工神经网络、Boosting决策树、随机森林）有效识别土地覆盖物。变化检测用于监测土地覆盖随时间的变化，应用于城市增长、植被动态和灾害监测等领域。2、网络安全分布式拒绝服务攻击是互联网服务提供商面临的重大威胁。集成分类器通过组合单个分类器输出，减少攻击检测的总错误。恶意软件检测和入侵检测系统利用集成学习技术提高检测精度。5.1.3集成学习应用3.目标识别人脸识别利用数字图像识别或验证个人，基于Gabor-Fisher分类器和独立分量分析的层次集成是早期应用。语音情感识别通过集成学习获得良好性能。4.欺诈检测欺诈检测涉及银行欺诈（如洗钱、信用卡欺诈、电信欺诈）的识别;集成学习提高正常行为建模的鲁棒性，有效检测欺诈行为。5.财务决策企业失败预测和金融危机检测是财务决策中的关键问题。集成分类器用于分析股票市场数据，检测股价操纵的可疑行为。6.医学检测集成分类器成功应用于神经科学、蛋白质组学和医学诊断。对阿尔茨海默病等神经认知障碍检测效果显著。目录

集成学习

迁移学习

综合案例：欺诈检测应用5.15.25.3◎迁移学习简介

◎迁移学习方法◎迁移学习应用迁移学习5.25.2.1迁移学习简介机器学习的背景机器学习因其提供的预测性解决方案（如开发智能、可靠的模型）而发展迅速。然而，训练模型面临挑战，尤其是管理标记数据和准备模型需要大量时间。迁移学习的定义与目标定义：迁移学习（TransferLearning）是机器学习的一个研究领域，专注于将一个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。目标：通过迁移知识，完成或改进目标领域或任务的学习效果，从而减少对大量标注数据的依赖。图5-5迁移学习的过程5.2.1迁移学习简介迁移学习的应用示例示例1：用于辨识汽车的知识（或模型）可以提升识别卡车的能力。示例2：骑自行车时学习的平衡逻辑可以转换为学习驾驶其他两轮车辆。迁移学习的优势解决了监督学习中需要大量标注数据的问题。提供了一种更智能、更有效的机器学习方法，通过迁移知识减少训练和标记所需的时间。图5-5迁移学习的过程5.2.1迁移学习简介图5-5迁移学习的过程5.2.2

迁移学习分类迁移学习可以根据不同标准进行分类，帮助学习者全面了解其不同定位。按目标领域有无标签分类监督迁移学习：目标领域有标签。半监督迁移学习：目标领域部分有标签。无监督迁移学习：目标领域无标签。图5-6迁移学习分类按特征属性分类同构迁移学习：特征语义和维度相同。例如：不同汽车之间的迁移。异构迁移学习：特征完全不同。例如：图片到文本的迁移。5.2.2迁移学习分类按知识表示形式分类，迁移学习可以分为四大类:基于实例的迁移学习（instance-basedtransferlearning）1方法：从源域数据中选择与目标域相似的部分数据。通过权重调整策略为选中的实例分配权重。将选中的实例作为目标域训练集的补充进行训练。基本假设：源域中的部分实例可以分配权重供目标域使用。优点：模式简单，实现容易。缺点：权重选择和相似度度量依赖经验。源域与目标域数据分布可能不同。5.2.2迁移学习分类基于特征的迁移学习（feature-representationtransferlearning）2方法：将源域和目标域的实例通过特征变换映射到新的数据空间。在新空间中使源域和目标域数据具有相同分布，然后进行训练。基本假设：两个原始域在新数据空间中可能更为相似。优点：适用于大多数场景，效果较好。缺点：难于求解，容易过拟合。5.2.2迁移学习分类基于参数的迁移学习（parameter-transfertransferlearning）3方法：假设源域和目标域共享模型参数或先验分布。将源域中训练好的模型直接应用到目标域进行预测。优点：可以充分利用模型之间的相似性。缺点：模型参数不易收敛。基于关系的迁移学习（Relational-knowledgeTransferLearning）4方法：假设源域和目标域具有相似的模式或关系。将源域中学习到的逻辑网络关系应用到目标域。例子：生物病毒传播模式与计算机病毒传播模式的相似性。5.2.2迁移学习分类数据独立同分布假设：基于实例、特征、参数的迁移学习方式要求数据独立同分布。学习算法分类：基于实例、特征、关系的迁移学习属于数据层面的学习算法。基于参数的迁移学习属于模型层面的学习算法。共同要求：四类迁移学习方式都要求源域和目标域相关。图5-6迁移学习分类5.2.3迁移学习方法——TrAdaBoost迁移梯度增强（TransferAdaBoost,TrAdaBoost）TrAdaBoost的定义：TrAdaBoost是一种基于实例的迁移学习算法。核心目标：使用部分与测试数据具有相同分布的标记训练数据来建立分类模型。实现方式数据选择：从源域中选择与目标域（测试数据）分布相似的标记数据。模型训练：利用这些标记数据结合目标域中的少量标记数据进行训练。优势提高精度：相比单纯使用少量新标签数据训练，TrAdaBoost能够得到更精确的分类模型。利用相似性：通过选择与目标域分布相似的源域数据，增强模型的泛化能力。方法特点基于实例的迁移：通过调整源域中实例的权重，使其更好地适应目标域。适应性：适用于源域和目标域数据分布不同但存在相似性的场景。5.2.3迁移学习方法——TrAdaBoost5.2.3迁移学习方法——TrAdaBoostTrAdaBoost算法过程TrAdaBoost算法的特点优点适用场景：当源数据和目标数据具有较多相似性时，TrAdaBoost算法可以取得很好的效果。核心优势：能够有效利用源域数据来提升目标域的学习性能。不足噪声问题：如果辅助数据（源数据）中存在较多噪声样本，会影响算法性能。迭代次数问题：如果迭代次数控制不当，可能会加大训练分类器的难度，导致性能下降。

5.2.3迁移学习方法——TrAdaBoost5.2.3迁移学习方法——TCATCA的定义：TCA是一种典型的基于特征的迁移学习方法。核心目标解决源域和目标域数据分布不同时的自适应问题。实现方式数据映射：将源域和目标域的数据一起映射到一个高维的再生核希尔伯特空间。距离最小化：在此空间中，最小化源域和目标域数据之间的距离。保留内部属性：在最小化距离的同时，最大程度地保留两个域各自的内部属性。方法特点通过特征变换实现域适应，减少源域和目标域之间的分布差异。适用于特征空间不同但语义相关的迁移学习场景。算法优点：实现简单，方法本身没有太多的限制。算法缺点：伪逆的求解以及特征值分解需要很多计算时间。迁移成分分析(TransferComponentAnalysis,TCA)5.2.3迁移学习方法——TCATCA算法形式化定义5.2.3迁移学习方法——TransEMDT决策树嵌入迁移（TransferlearningEMbeddedDecisionTree,TransEMDT）TransEMDT的定义TransEMDT是一种基于模型的迁移学习方法。实现方式步骤1：构建鲁棒性模型针对已有标记的数据，利用决策树构建鲁棒性的行为识别模型。步骤2：优化无标定数据针对无标定数据，使用K-Means聚类方法寻找最优化的标定参数。方法特点模型驱动：通过决策树模型实现知识迁移，适用于跨人活动识别问题。聚类优化：利用K-Means聚类方法处理无标定数据，提高模型的适应性和泛化能力。优势鲁棒性：通过决策树构建的模型能够适应不同个体的活动模式。灵活性：结合聚类方法优化无标定数据，提升模型在未标记数据上的表现。5.2.3迁移学习方法——TransEMDTTransEMDT算法形式化定义5.2.3迁移学习方法——TransEMDTTransEMDT算法过程5.2.3迁移学习方法——TransEMDTTransEMDT算法过程（续）5.2.3迁移学习方法——TAMAR自映射和修订迁移（TransferviaAutomaticMappingAndRevision,TAMAR）TAMAR的定义：TAMAR是一种基于关系的迁移学习方法。核心工具：马尔科夫逻辑网络（MarkovLogicNetworks,MLN）：结合一阶逻辑的表达能力和概率的灵活性。用于表示源域和目标域的关系结构。实现方式步骤1：自动映射

将源域的马尔科夫逻辑网络中的谓词自动映射到目标域。步骤2：修订映射结构修改映射后的结构，以进一步提高精度。方法特点关系迁移：通过自动映射和修订，将源域的关系结构迁移到目标域。结合逻辑与概率：利用马尔科夫逻辑网络的强大形式主义，同时结合逻辑表达和概率推理。优势自动映射：能够自动处理源域和目标域之间的关系映射。灵活性：通过修订映射结构，进一步优化迁移效果，提高模型精度。TAMAR算法形式化定义5.2.3迁移学习方法——TAMAR5.2.3迁移学习方法——TAMARTAMAR关系网5.2.4迁移学习应用迁移学习应用真实世界模拟游戏图像分类零镜头平移情绪分类5.2.4

迁移学习应用1.真实世界模拟背景：现实环境中的训练（如机器人或自动驾驶汽车）既耗时又昂贵。方法：通过数字仿真训练机器人或自动驾驶汽车，并将知识迁移到现实世界。技术：使用渐进网络实现模拟到现实的转移，具备有序学习和抵抗灾难性遗忘的能力。应用：例如，自动驾驶汽车通过视频游戏（如GTA5）进行模拟训练，但需注意模拟特征在真实世界中的适用性。5.2.4迁移学习应用2.游戏现状：人工智能（如AlphaGo）在特定游戏（围棋）中表现出色，但难以适应其他游戏。挑战：人工神经网络难以像人类一样掌握多种游戏。解决方案：通过迁移学习，将一个游戏中的战术迁移到另一个游戏中。案例：MadRTS游戏结合基于案例推理（CBR）和强化学习（RL）的多层体系结构，实现跨任务学习。5.2.4迁移学习应用3.图像分类背景：神经网络在图像识别中表现出色，但训练需要大量标记数据和时间。方法：使用迁移学习，通过ImageNet预训练模型减少训练时间。技术：例如，VGG-16卷积神经网络先在ImageNet上预训练，然后替换最后一层并逐层训练，必要时微调高层权重。应用：在医学成像领域，如超声中肾脏检测，迁移学习可显著提高效率。5.2.4迁移学习应用4.零镜头平移定义：零镜头翻译是监督学习的扩展，目标是从训练数据中不存在的值中学习预测新值。案例：谷歌神经翻译模型（GNMT）实现跨语言翻译，无需中间语言（如英语）。Image2Emoji将视觉和文本结合，以零镜头方式预测表情图标。优势：避免了中间语言带来的翻译扭曲，提高了翻译效率和准确性。5.2.4迁移学习应用5.情绪分类背景：分析新文本语料库的情绪（如情感分析）难度较大。方法：通过迁移学习，将一个领域的模型（如Twitter）微调到另一个领域（如影评）。技术：在Twitter上训练的RNN模型，其单词嵌入和循环权重被迁移到影评领域进行情绪分类。优势：减少训练时间和成本，提高模型的泛化能力。5.2.4迁移学习应用迁移学习的总体影响优势：重用算法和应用逻辑，加速机器学习进程。降低资本投资和模型训练时间。在金融、医学、农业等多个领域成功应用。展望：迁移学习对未来其他领域的机器学习曲线有重要影响，值得进一步关注。目录

集成学习

迁移学习

综合案例：欺诈检测应用5.15.25.3◎案例分析◎代码示例综合案例：欺诈检测应用5.35.3综合案例：欺诈检测应用信用卡欺诈检测的背景生活和消费观念的转变，信用卡使用率持续增长。信用卡被盗用问题日益严重，欺诈行为检测成为重要问题。信用卡欺诈对银行的影响：造成巨大经济损失。影响银行信誉，带来潜在风险。现有方法的局限性传统机器学习算法（如贝叶斯、决策树、支持向量机）：应用于信用卡欺诈检测，但误报率高。新型神经网络算法：性能优越，但需要大量数据进行训练。数据特性问题：信用欺诈数据分布极度不均衡。数据信息失真。周期性统计偏差大。导致检测模型抗干扰能力弱，易过拟合。5.3综合案例：欺诈检测应用解决方案：基于Stacking的集成学习方法核心思想：采用Stacking集成学习算法，通过融合多种分类算法提升检测精度。开发环境：在PyCharm集成开发环境下实现。工具：调用Python机器学习库Scikit-learn。融合算法：使用K-Neighbors、RandomForest、XGBoost、LogisticRegression等多种常用分类算法。框架设计：构建两层融合的学习框架。优势：提升信用卡欺诈行为的检测精度。有效解决不平衡数据容易过拟合的问题。5.3综合案例：欺诈检测应用信用卡数据集导入数据来源：信用卡欺诈数据集由Worldline与机器学习小组合作研究期间收集，属于大数据挖掘和欺诈检测数据集。数据集特点：数据集包含284807个信用卡事务。欺诈事务占比极低，仅为0.172%，数据分布高度不平衡。数据集包含30个特征和1个目标列（目标列中1表示欺诈，0表示真实）。其中28个特征经过PCA（主成分分析）变换，原始特征名称被更改为V1、V2、V3……V28。未使用PCA变换的特征包括金额和时间。数据集划分：数据集的67%用于训练，其余部分作为测试集。fname="../input/creditcard.csv"

df=pd.read_csv(fname)

features=np.array(df.columns[:-1])

label=np.array(df.columns[-1])

data=df.values

X=data[:,:-1]

y=data[:,-1]

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.33,random_state=42)

5.3综合案例：欺诈检测应用交叉验证和超参数调整方法：使用随机搜索和网格搜索方法调整基础模型的超参数。验证方式：采用5折交叉验证。目标：从参数网格中找到基于F1评分的最佳超参数集。结果：通过上述方法，为每个基础模型确定最优的超参数配置。#使用5折网格搜索方法进行KNN分类器超参数调整

clf_knn=KNeighborsClassifier()

grid_knn=GridSearchCV(clf_knn,params_knn,scoring='f1',cv=kf)

#使用5折随机网格搜索方法进行RandomForest分类器超参数调整

clf_rf=RandomForestClassifier()

rand_rf=RandomizedSearchCV(clf_rf,params_rf,scoring='f1',cv=kf)

#使用5折随机网格搜索方法进行XGB分类器超参数调整

clf_xgb=XGBClassifier()

rand_xgb=RandomizedSearchCV(clf_xgb,params_xgb,scoring='f1',cv=kf)

#使用5折随机网格搜索方法进行LogisticRegression分类器超参数调整

clf_lr=LogisticRegression()

rand_lr=RandomizedSearchCV(clf_lr,params_lr,scoring='f1',cv=kf)5.3综合案例：欺诈检测应用#基于F1得分评价指标，通过调节超参数得到最好的KNN分类器

print("K-NearestNeighbor(KNN)Scores:")

b_knn=KNeighborsClassifier(algorithm='auto',leaf_size=30,metric='minkowski',

metric_params=None,n_jobs=1,n_neighbors=1,p=2,

weights='uniform')

#基于F1得分评价指标，通过调节超参数得到最好的RF分类器

print("RandomForest(RF)Scores:")

b_rf=RandomForestClassifier(bootstrap=True,class_weight=None,criterion='gini',

max_depth=8,max_features='auto',max_leaf_nodes=None,

min_impurity_decrease=0.0,min_samples_leaf=2,min_samples_split=5,

min_weight_fraction_leaf=0.0,n_estimators=50,n_jobs=1,

oob_score=False,random_state=42,verbose=0,

warm_start=False)

#基于F1得分评价指标，通过调节超参数得到最好的XGB分类器

print("eXtremeGradientBoosting(XGB)Scores:")

b_xgb=XGBClassifier(base_score=0.5,booster='gbtree',colsample_bylevel=1,

colsample_bytree=1,gamma=0,learning_rate=0.1,max_delta_step=0,

max_depth=3,min_child_weight=1,n_estimators=210,

n_jobs=1,nthread=None,objective='binary:logistic',random_state=42,

reg_alpha=0,reg_lambda=1,scale_pos_weight=1,seed=None,

subsample=1,use_label_encoder=False,

eval_metric=['logloss','auc','error'])#基于F1得分评价指标，通过调节超参数得到最好的LR分类器

print("LogisticRegression(LR)Scores:")

b_lr=LogisticRegression(C=0.11,class_weight=None,dual=False,fit_intercept=True,

intercept_scaling=1,max_iter=100,multi_class='ovr',n_jobs=1,

penalty='l1',random_state=78,solver='liblinear',tol=0.0001,

verbose=0,warm_start=False)#将基类的预测附加到原始特征集

X_train=np.hstack((X_train,pred_train_knn))

X_test=np.hstack((X_test,pred_test_knn))

X_train=np.hstack((X_train,pred_train_rf))

X_test=np.hstack((X_test,pred_test_rf))

X_train=np.hstack((X_train,pred_train_xgb))

X_test=np.hstack((X_test,pred_test_xgb))

X_train=np.hstack((X_train,pred_train_lr))

X_test=np.hstack((X_test,pred_test_lr))

#运行具有堆叠功能的集成XGB模型

print("StackedEnsembleXGB(SEXGB)Scores:")

ens_xgb=XGBClassifier(base_score=0.5,booster='gbtree',colsample_bylevel=1,

colsample_bytree=1,gamma=0,learning_rate=0.1,max_delta_step=0,

max_depth=3,min_child_weight=1,n_estimators=210,

n_jobs=1,nthread=None,objective='binary:logistic',random_state=42,

reg_alpha=0,reg_lambda=1,scale_pos_weight=1,seed=None,subsample=1,

use_label_encoder=False,eval_metric=['logloss','auc','error'])集成模型训练第一层（基学习器）组成：包含4个监督分类器：K-Neighbors（K近邻）RandomForest（随机森林）XGBoost（极端梯度提升）LogisticRegression（逻辑回归）功能：分类器作用于原始特征，生成各自的预测结果。第二层（元学习器）组成：由XGBoost分类器构成。输入：包括第一层分类器的预测结果（叠加预测）和原始特征。功能：利用第一层的预测结果和原始特征进行训练，进一步优化模型性能。5.3综合案例：欺诈检测应用运行结果如图5-7所示。从图中可知，XGB模型F1值可达0.8808，优于KNN、RF和LR这三个模型。同时，堆叠SEXGB集成模型性能最好，F1值可达0.8817。图5-7基于集成学习的信用卡欺诈检测结果本章小结集成学习基础定义：通过组合多个模型的预测来提高总体精度。目标：减少模型误差、保持模型泛化能力。集成学习算法BaggingBoostingStacking迁移学习按算法类型：有监督迁移学习、半监督迁移学习、无监督迁移学习按知识表示形式：基于实例的迁移学习、基于特征的迁移学习、基于参数的迁移学习、基于关系的迁移学习习题概念题什么是集成学习？应用场景包括哪些？列举不少于5种集成学习方法。Bagging、Boosting和Stacking区别是什么？什么是迁移学习？应用场景包括哪些？列举不少于5种迁移学习方法。简要叙述迁移学习的知识表示形式。操作题编写一个能从图片中分类不同种类花的迁移学习模型。从Kaggle网站/alxmamaev/flowers-recognition下载花分类数据集。该数据集一共有5个类别，分别是：邹菊（Daisy）、蒲公英（Dandelion）、玫瑰（Roses）、向日葵（Sunflowers）、郁金香（Tulips），一共有3670张图片。数据集按9:1进行划分，其中训练集train中有3306张、验证集val中有364张图片，要求模型识别精度在90%以上。参考文献1周志华．机器学习[M]．北京：清华大学出版社，2016.2BreimanL.Baggingpredictors[J].Machinelearning,1996,24(2):123-140.3FreundY,SchapireR,AbeN.Ashortintroductiontoboosting[J].Journal-JapaneseSocietyForArtificialIntelligence,1999,14(771-780):1612.4FreundY,SchapireRE.Adecision-theoreticgeneralizationofon-linelearningandanapplicationtoboosting[J].JournalofComputerandSystemSciences,1997,55(1):119-139.5ChenT,GuestrinC.Xgboost:Ascalabletreeboostingsystem[C].Proceedi