机器学习基础与应用 课件 第五章 基于随机森林算法的共享单车租赁数量预测

第五章基于随机森林算法的共享单车租赁数量预测目

录集成学习的概念随机森林算法介绍0102集成学习的概念01集成学习的概念集成学习（ensemblelearning）是一种机器学习框架，是将多个弱学习器（或者称为基学习器）集成为强学习器的方法。弱学习器是指单独训练时性能比较弱的学习器，例如逻辑回归、SVM、线性回归等。集成学习是通过将多个弱学习器集成起来，使得整个模型的性能得到提升。01总的来说集成学习是将多个单一的模型组合起来，从而达到提高模型整体性能的一种方法集成学习的概念集成学习方法：Bagging、Boosting和Stacking方法。Boosting和Bagging方法通常使用同一种基学习器（baselearner）进行集成，因此被称为同质集成方法；Stacking方法通常基于多个不同的基学习器进行集成，因此被称为异质集成方法。01Bagging同质集成方法Boosting异质集成方法Stacking随机森林算法介绍02随机森林算法介绍随机森林（randomforest，RF）算法是由Breiman在2001年提出的，它是以决策树为基本单位的一种集成学习算法，通过Bagging方法实现。02决策树概念Bagging方法随机森林算法实现流程随机森林算法介绍决策树概念02决策树由RossQuinlan于1986年提出，是一种基于树形结构的分类器。决策树的基本原理和思想是通过对样本特征的逐层划分，从而将样本划分成不同的类别。在决策树算法中，每个节点（根节点和子节点）代表一个属性，每个分支代表该属性的一个取值，每个叶子节点代表一个类别。随机森林算法介绍决策树概念02决策树的构建过程是一个递归过程，从根节点开始，通过不断地选择最优的划分属性，将样本递归地划分成若干子集，直到所有子集都属于同一类别或达到预设的停止条件为止。外貌特征：黑白相间，有黑眼圈食物特点：吃竹子大熊猫+=随机森林算法介绍Bagging方法02Bagging方法也被称为装袋法，是一种典型的并行集成算法，是由Breiman在1996年提出的一种集成学习方法，Bagging方法是最早的、也是当前最简单的集成方法之一。Bagging训练流程组合策略：回归任务：采用简单平均法分类任务：采用简单投票法（遵循少数服从多数的原则，将基学习器的投票结果作为强学习器的最终分类结果）随机森林算法介绍随机森林算法实现流程02随机森林算法是结合决策树和Bagging方法的一种集成方法，其主要思想是通过随机选择样本和特征的方式，构建多个决策树，然后将它们组合起来形成一个强分类器或回归器。不仅可以应用于分类任务中，也可以应用于回归任务中。具体来说，在构建每个决策树的过程中，随机森林算法会从训练集中随机选择一定数量的样本，同时也会从所有特征中随机选择一部分特征，然后使用这些样本和特征来构建决策树。这样可以避免过拟合，提高模型的泛化能力。随机森林算法介绍随机森林算法实现流程02随机森林模型结构图随机森林算法介绍随机森林算法实现流程0201能够有效处理数据噪声、异常值、缺失值和数据不平衡等问题，以及处理高维度和大规模数据集的能力，具有较好的泛化能力