第05章 集成算法

第五章集成算法学习目标通过本章学习,学员应该能够:(1)了解什么是集成学习;(2)了解AdaBoost算法的基本思想;(3)了解随机森林算法的基本思想;(4)掌握随机森林算法的实现过程并能应用到商务决策中。

2刘军机器学习与商务决策清华大学出版社引导案例：“会思考”的信用卡智能反欺诈模型中国光大银行依托大数据挖掘平台，研发出“会思考”的信用卡智能反欺诈模型，强化业务风险防控。该模型主要面向信用卡客户审批环节，首先通过数据调研分析构建个人客户的复杂网络，总计包括700多万节点和2.3亿条关系；同时，结合传统风险管控和复杂网络分析技术，加工基础维度信息和社交维度信息特征指标，形成可精准预测的反欺诈客户画像，从而增强业务风险预警能力。区别于传统风控模型以年为单位的更新优化周期，智能反欺诈模型每天都能进行“思考”，通过更新网络关系和优化模型确定最新的欺诈预测思维模式，使该行在技术上具备了从被动防御到主动侦测的阶段性进化能力。光大银行建设的大数据挖掘平台，集成多种机器学习、深度学习和复杂网络算法，通过分布式计算引擎支持全量数据的分析挖掘，同时具备数据管理、模型管理、资源管理等功能，能够快速有效地处理大规模数据集，支持实现企业级大数据挖掘流程的规范化管理，为业务智能化转型提供重要系统支撑。资料来源:金融机构数字化转型领先案例，/dy/article/DDU8EVI70519O1P3.html

3刘军机器学习与商务决策清华大学出版社集成学习AdaBoost算法随机森林算法集成算法应用案例4集成学习1.1集成学习概述集成学习是将多个分类器集成起来而形成的新的分类算法。多个模型集成成为的模型叫做集成评估器，组成集成评估器的每个模型都叫做基评估器。最常见的集成思想有两种Boosting（提升法）和Bagging（袋装法）。刘军机器学习与商务决策清华大学出版社61.2AdaBoost算法自适应增强算法（AdaptiveBoosting，简写AdaBoost）由罗伯特·夏皮雷和约夫·弗雷德在1995年提出。其核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。其自适应性表现在:前一个弱分类器分错的样本会得到加强,加强后的全体样本再次被用来训练下一个弱分类器。同时,在每一轮中加入一个新的弱分类器,直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。刘军机器学习与商务决策清华大学出版社71.3AdaBoost算法的代码实现sklearn的ensemble模块提供了AdaBoostClassifier类,实现了AdaBoost算法,该类的构造函数如下：

8刘军机器学习与商务决策清华大学出版社随机森林2.1随机森林算法基本思想随机森林（RandomForest，RF）是用随机的方式建立一个森林，森林由若干没有关联的决策树组成。在得到森林之后，当有一个新的输入样本进入时，就让森林中的每一棵决策树分别判别该样本的类别，最后投票表决该样本的最终类别。刘军机器学习与商务决策清华大学出版社102.2随机森林算法实现过程具体实现过程如下。原始训练集为D,应用Bootstrap法有放回地随机抽取n个新的自助样本集,并由此构建n棵分类树,每次未被抽到的样本组成了n个袋外数据。设有M个变量,则在每一棵树的每个节点处随机抽取m个变量,然后在m中选择一个最具有分类能力的变量,变量分类的阈值通过检查每一个分类点确定。每棵树最大限度地生长,不做任何修剪。将生成的多棵分类树组成随机森林,对于新数据的分类预测,利用随机森林里每棵树的分类结果进行投票,最终根据票数多数决策确定分类结果。

11刘军机器学习与商务决策清华大学出版社2.4随机森林算法的代码实现在sklearn的ensemble模块中提供了分类RandomForestClassifier和回归类RandomForestRegression，实现了随机森林算法，这两类的构造函数分别为：12刘军机器学习与商务决策清华大学出版社集成算法应用案例3.1信用卡营销——基于AdaBoost算法的商务决策20世纪80年代，随着改革开放和市场经济的发展，信用卡作为电子化和现代化的消费金融支付工具开始进入中国，并在近几十年的时间里，得到了跨越式的长足发展。据统计，截至2022年末，我国信用卡累计发卡量由2010年的2.3亿张增加至7.98亿张。然而，央行《2023年第三季度支付体系运行总体情况》显示，截至2023年第三季度末，信用卡和借贷合一卡在用发卡数量7.79亿张，环比下降1%。信用卡产品同质化严重，银行迫切需要采用有效的方式扩大客户规模，实现精准营销。本案例运用AdaBoost算法构建一个信用卡营销模型。刘军机器学习与商务决策清华大学出版社143.2共享单车需求预测——基于随机森林的商务决策共享单车，作为一种新型的分时租赁模式，不仅在城市交通领域展现出了巨大的活力，更是绿色环保共享经济理念的生动实践。它鼓励人们减少私家车使用，选择更加环保、健康的出行方式，为构建美丽中国、实现人与自然和谐共生贡献了重要力量。它在校园、地铁站点、公交站点、