人工智能与商业数据挖掘-思维、方法与案例 课件 第六章 分类分析

第六章分类分析目录CATALOGUE01课前导读02分类分析的商业应用场景03KNN算法04决策树分类算法05支持向量机算法06分类准确率的测量方法07分类分析的Python实现方式01课前导读在抖音等平台，粉丝经济盛行，但粉丝质量参差不齐。2024年9月，头部主播小杨哥（三只羊）带货“香港美诚月饼”陷入虚假宣传风波，月饼并非香港生产，引发全网争议，一天掉粉超30万。网友评论“掉的都是真粉，留下的可能是僵尸粉”。与之对比，2024年，非遗传承博主@南翔发布漆器创新视频，一条视频超过297万的点赞，互动超过6.5万，收藏转发超过37万。课前导读：“他/她”的粉丝都是真的吗？“他/她”的粉丝都是真的吗？这些事件反映粉丝质量对主播变现的影响。你是否好奇：在众多主播中，企业该如何选择投放广告？粉丝是真粉还是假粉？背后的灰色产业链是什么？请同学们思考：数据如何帮助识别真假粉丝？这与商业决策有何联系？主播输出内容吸引粉丝，形成以主播为核心的传播网络；粉丝互动产生流量，企业投放广告或买“坑位”变现。课前导读：“他/她”的粉丝都是真的吗？粉丝网络：主播、粉丝与变现链条粉丝是主播营销价值基础，数量决定广告收费标准（如粉丝超1000万相当于电视台）。企业借助主播渠道向粉丝售卖产品，收回成本。但虚假粉丝无法转化，影响品牌声誉。粉丝经济流程图主播粉丝互动企业广告变现粉丝数量挂钩收费，催生“买粉”灰色产业链；许多“塌房”主播粉丝多为无效僵尸粉，无法互动转化，企业广告效果差。课前导读：“他/她”的粉丝都是真的吗？粉丝质量危机：买粉与僵尸粉现象如小杨哥事件，掉粉暴露真假粉丝问题；企业苦于无效流量。识别真假需考察互动率、活跃度等，避免营销翻车。粉丝问题启发其他商业分类场景，如真/假、成功/失败；关键技术是分类分析。课前导读：“他/她”的粉丝都是真的吗？从真假粉丝到分类分析扩展逻辑：选择合适数据（如互动频率、活跃时段、消费记录）和算法解决分类问题。本章重点学习分类分析，支持识别真假粉丝，提升企业决策和平台健康。分类分析流程图数据输入算法真/假输出主要内容：介绍分类分析原理、过程、类型及商业应用，详述KNN、决策树、SVM算法原理、步骤及优劣，解释混淆矩阵、评价指标及提升法，助读者掌握分类分析商业应用与算法选择。本章重点：分类分析适用的商业应用场景；分类分析算法的原理；常见的分类分析算法；分类模型性能评估的方法；通过理解这些重点，可以更好地掌握分类分析的核心要素和应用技巧。本章难点：分类分析适用的商业应用场景；分类分析算法的原理；分类模型性能评估的方法；需要深入理解和掌握这些难点，才能更好地运用分类分析解决实际问题，并发挥其优势。学习目标：理解分类分析定义、原理、评价指标及过程，以及与聚类的区别；熟悉分类分析适用的商业场景；掌握KNN、决策树、支持向量机等常见的分类算法；能够基于Python实现分类分析。本章要点02分类分析的商业应用场景分类分析的基础知识分类分析定义分类分析（ClassificationAnalysis）是一种有监督学习，旨在根据已知的数据特征，将数据集划分为不同的类别或标签，是最常用的商业数据挖掘技术之一。这种划分基于数据集内的特征变量（也称为自变量或预测变量）与目标变量（也称为因变量或类别标签）之间的关系。分类的目标是通过学习已知数据集中的特征和标签之间的关系，构建一个分类模型，该模型能够对新的、未见过的数据进行准确的类别预测。常见的分类算法包含KNN算法、决策树算法及支持向量机等。01分类分析的标准流程分类分析的基础知识分类分析的关键步骤0202随后，对数据进行预处理与清洗，以提高数据质量。选择或构造与分类任务直接相关的特征后，将数据集划分为训练集和测试集，分别用于模型的训练和评估。04然后，使用测试集对模型进行评估，通过准确率、精确度、召回率等指标来衡量模型的效果。03接着，选择适当的分类算法，如KNN、决策树或支持向量机等，利用训练集对模型进行训练。01首先，需要在明确业务需求的基础上进行数据收集，以确保数据的相关性和充足性。05当模型在训练集上的表现达到预期后，便可将分类模型部署到实际业务中，对新数据进行分类预测和决策支持。分类分析的基础知识分类分析与聚类分析的异同分类分析与聚类分析是数据挖掘中的两种主要技术，目的都是将数据划分为不同的组或类别。具体来说，分类分析是一种有监督学习，依赖于已知的标签数据（即已经事先知道了“类”）。在分类过程中，算法会利用已知的数据特征和对应的类别标签来训练一个分类模型。这个模型能够学习特征和标签之间的映射关系，并用于预测新数据的类别。由于分类分析依赖于标签数据，通常能够提供更准确的分类结果。相比之下，聚类分析是一种无监督学习，不需要事先知道数据的类别标签。聚类算法会根据数据之间的相似性（如，距离或相似度）将数据划分为不同的簇或组（即“类”）。这些簇在数据空间中通常是紧密相关的，而不同簇之间的数据则相对较远。聚类分析的目标是发现数据中的潜在结构和模式，而不是预测新数据的类别。在实际应用中，两种技术可以相互补充，共同为数据挖掘提供有力的支持。03分类分析在商业领域的应用客户细分客户细分是市场营销的关键，通过整合多渠道数据如人口统计、行为及偏好，预处理数据后，运用分类模型细分客户，实现精准营销，提高客户黏性和营销效果。01.虚假粉丝识别虚假粉丝影响品牌声誉和广告决策，分类分析通过建模识别虚假粉丝，帮助企业净化社交平台生态，基于用户行为、互动频率等数据，训练模型分类用户。02.产品分类与定位产品分类与定位对制定市场策略重要，通过分类分析优化产品组合，明确市场位置，制定差异化营销策略，如某家电品牌针对冰箱产品分类后强化智能家居功能。03.信用评估信用评估是金融服务的重要应用，通过分类分析预测借款人违约风险，支持信贷政策制定，采集多维度数据，构建模型优化审批流程，提升风险管理效率。04.分类分析在商业领域的应用欺诈检测分类分析在金融和电商领域用于识别虚假交易，通过收集多维度数据，清洗筛选特征，训练模型分类交易，实时监控高风险交易并警报，有效降低欺诈风险。05.文本分析分类分析在文本处理中应用于内容审核和情感分析，通过结构化分析提升内容管理和用户情感洞察效率，如自动化审核UGC以识别违规内容并提升审核速度。06.分类分析在商业领域的应用案例：Gmail垃圾邮件识别在电子邮件服务领域，Google的Gmail平台利用分类分析技术进行垃圾邮件检测，以提升用户体验和安全性。通过收集邮件特征数据，如发件人IP、主题关键词、内容模式、链接数量、附件类型和发送频率等，企业进行数据预处理和特征工程（如TF-IDF向量化）。基于历史标注数据集（正常vs垃圾），采用支持向量机或神经网络算法训练分类模型，将新邮件自动分为“正常”或“垃圾”类别。该模型准确率高达99%，有效过滤诈骗和广告邮件，减少用户骚扰并优化资源分配。根据Google报告，此应用每年阻挡数十亿垃圾邮件，帮助用户节省时间并降低网络风险，显著提高了平台黏性和品牌信任。03KNN算法高灵活性与适应性由于KNN算法在处理新数据时才进行学习，因此具有较高的灵活性和适应性，能够很好地适应新环境，进行分类或回归任务。KNN算法概述KNN算法是一种广泛使用的有监督学习算法，通过找到训练数据集中与测试样本最近的K个样本，利用这K个邻居的信息来预测测试样本的类别或数值。距离度量与分类算法的核心在于距离度量，常用欧氏距离、曼哈顿距离等，通过计算样本间距离确定相似性，从而进行预测；距离越近，则类别或数值越相似。非参数与惰性算法KNN算法是一种非参数算法，不对基础数据做假设；在训练阶段并不学习，存储数据点，测试阶段才进行学习并确定分类规则，具有惰性。算法简介计算步骤收集并整理训练数据集和测试数据集,确保数据集具有一致的特征维度;预处理数据,例如标准化或归一化,以减少特征尺度差异的影响。1.数据准备对于测试数据集中的每个样本,计算其与训练数据集中所有样本的距离,距离计算公式根据问题需求选择,例如欧氏距离适用于连续变量,汉明距离适用于离散变量。2.计算距离根据计算得到的距离,选择距离测试样本最近的K个训练样本作为邻居,若存在距离相等的样本,可根据具体实现方案选择策略(如,随机或引入加权机制)。3.选择邻居对于分类问题,根据邻居的类别信息,采用多数投票法(即选择邻居中出现次数最多的类别)作为测试样本的预测类别;对于回归问题,则可以采用平均法(即计算邻居目标值的平均值)作为测试样本的预测值。4.预测类别KNN算法的优缺点优点01（1）精度高。在合适的参数和数据集下，KNN算法能够取得较高的分类和回归精度。（2）对异常值不敏感。由于基于邻居的投票或平均来进行预测，即便存在某个异常值，它对整个结果的影响也会比较小。（3）无数据输入假定。KNN算法不需要对数据进行任何假设，如，数据的独立性、正态性等。缺点02（1）计算复杂度高。（2）空间复杂度高。（3）对K值敏感。K值的选择对算法的性能有很大影响。较小的K值可能产生过拟合，而较大的K值可能导致分类边界模糊，产生欠拟合；需通过交叉验证等方式来选择合适的K值。（4）对距离度量敏感。不同的距离度量方式可能会导致不同的分类结果；在选择距离度量方式时，需要谨慎考虑数据的特性和问题的背景，以确保分类结果的准确性和可靠性。KNN算法案例：基于KNN的精准商业分析模型在商业决策领域，中国日报财经报道的“基于KNN算法的精准商业分析模型”应用于企业市场预测和客户细分。通过采集销售数据、客户行为和市场指标，进行预处理和特征选择（如消费频率、偏好向量），模型训练时计算欧氏距离，选择最近K个邻居预测客户类别（如高价值客户）。例如，一家零售企业使用此模型分析消费者购买模式，将客户分为忠诚型和潜在流失型，优化营销策略，提升销售额20%。该应用计算高效、对异常值不敏感，但需优化K值以避免过拟合，显著提高了决策精准性和资源分配效率。04决策树分类算法算法简介01决策树分类算法简介决策树分类算法是一种通过构建一系列if-then规则将数据划分为不同类别或值的机器学习模型。其核心原理在于利用信息论中的概念，如信息增益和基尼指数等，来选择最优的划分属性，从而构建出最优的决策树模型。该算法既适用于分类任务，也适用于回归任务，常见的决策树算法包括ID3、C4.5及CART等。02决策树结构解析决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别或值。根节点是决策树的起点，表示整个数据集的初始状态；叶节点则是决策树的终点，表示最终的决策结果或类别。内部节点指的是位于根节点和叶节点之间的节点，表示在决策过程中需要考虑的属性。节点之间的连接称为边（Edge），表示特征或属性的可能取值。从根节点到叶节点的连接称为路径（Path），表示一系列决策过程。03常见决策树算法类型常见的决策树算法有ID3、C4.5及CART算法等。ID3算法基于信息增益进行特征选择，而C4.5改进了ID3，使用信息增益比来选择特征，避免了偏向选择具有更多取值的特征的问题。CART（ClassificationandRegressionTrees）则使用基尼指数作为分裂准则，不仅适用于分类任务，也能用于回归任务，提供了更大的灵活性和应用范围。决策树分类算法过程具体流程0102030405开始时，我们选择一个特征进行测试，根节点对应的是数据集的初始状态。根节点每个分支上的子节点代表一个特征的具体取值，每个子节点进一步分裂数据集，直至所有的测试完成。子节点从根节点到叶节点的路径表示了整个决策过程。路径每个节点上会根据某个特征来分裂数据集，根节点的测试结果分为多个分支，每个分支对应特征的一个取值。特征测试每条路径最终会达到一个叶节点，叶节点表示数据集的最终分类结果或值。这些叶节点上的类别，是通过前面递归分裂得出的最终决策。叶节点计算过程决策树生成从根节点开始，对每个节点计算所有可能的特征的信息增益（或信息增益比、基尼指数），选择最优特征分割数据集，并递归地对子数据集应用相同过程，直至满足停止条件。决策树剪枝为了防止过拟合，需要对生成的决策树进行剪枝，去除一些不必要的分支；常用的剪枝方式有两种，一是预剪枝，二是后剪枝，均在决策树生成过程中起到关键作用。特征选择信息增益、信息增益比和基尼指数是决策树算法中用于特征选择的关键方法，它们分别通过衡量特征划分数据集前后的信息复杂度变化、考虑特征取值数量以及优化节点分裂点。03020101易于理解和解释决策树的结构直观，可以通过树形图展示决策过程，因此容易理解和解释；每一条分支代表对数据的某种判断，最终的叶节点代表预测的结果。决策树算法的优点02无需特征缩放与很多其他机器学习算法（如支持向量机、K近邻等）不同，决策树不要求对特征进行标准化或归一化；数据可以直接用于训练。03适用于非线性数据决策树不要求数据符合线性关系，能够处理复杂的非线性数据关系；通过递归地划分特征空间，从而学习到复杂的决策边界。决策树算法的优点04处理缺失值的能力在某些实现中，决策树能够处理缺失值（如通过跳过缺失值或使用默认的分裂规则），从而使得数据集不必完全干净。05可以处理多分类问题06特征选择功能决策树不仅适用于二分类问题，还能够处理多类别的分类问题，非常灵活；同时，决策树能够自动进行特征选择。在构建树的过程中，算法会选择对分类效果影响最大的特征，从而实现了特征选择；决策数算法也有几个缺点。决策树算法的缺点01容易过拟合决策树在训练数据集上容易形成过于复杂的树，从而导致过拟合，特别是在数据噪声较多的情况下；树的深度越大，模型的复杂度就越高。02不稳定性决策树对于训练数据的微小变化非常敏感，可能会导致完全不同的树结构；因为树的构建过程是基于局部数据划分的，因此即使是小的扰动也影响较大。03偏向于选择特征值较多的特征决策树容易偏向于选择那些取值较多的特征，因为这样能带来更多的划分；如某些离散型特征值非常多时，树可能会过度依赖于这些特征。对于非常复杂的关系，决策树可能难以捕捉到足够的模式，尤其是在数据特征之间有复杂的相互作用时，决策树可能无法建模出足够准确的决策边界。05难以处理过于复杂的数据模式如果数据集非常大且特征很多，决策树的训练时间可能会较长；尤其在生成深度较大的树时，需要大量的计算资源；对噪声敏感。06计算开销较大决策树算法的缺点决策树案例：银行贷款风险评估在金融领域，某大型银行利用决策树算法进行贷款风险评估。通过收集借款人数据，如年龄、收入、信用历史、负债比率和就业状况等，进行特征选择和信息增益计算，构建决策树模型。该模型从根节点（如收入水平）开始递归划分，例如高收入分支再根据信用分数分裂，预测借款人违约风险（高/中/低）。结果帮助银行自动审批贷款，减少坏账率。根据极客时间报告，此应用显著提升了决策效率，降低了风险损失20%以上，同时模型的可解释性强，便于监管审计和策略优化。该算法在处理非线性数据时表现出色，避免了过拟合通过剪枝技术。决策树应用实例——银行借贷模型05支持向量机算法支持向量作用支持向量是超平面附近、距边界最近的点，其数量决定分类器性能，通常数量越多，分类结果越精准

。算法核心定义支持向量机（SVM）是二分类有监督算法，以间隔最大化为策略，构建最优超平面分离数据，保障分类与泛化能力。目标函数与决策函数线性SVM用软间隔目标函数，融合间隔与正则化项；决策函数借拉格朗日乘子、核函数，核函数映射数据至高维以助分离。核函数类型核函数是SVM关键，含线性、多项式、RBF、Sigmoid核等。依问题选核函数，可显著提升分类效果，如RBF核适配非线性分布。算法简介计算过程数据预处理对原始数据进行预处理，包括数据清洗、特征选择、特征缩放等。选择核函数根据问题的特点选择合适的核函数。训练模型使用训练数据集训练支持向量机模型，得到最优超平面和支持向量。模型评估使用测试数据集评估模型的性能，包括准确率、召回率、F1分数等指标。模型调优根据评估结果对模型进行调优，包括调整正则化参数C、选择更合适的核函数等。支持向量机算法优缺点及改进措施支持向量机算法的优缺点及改进措施优点良好的泛化能力，能够适应测试集的数据分布可以处理高维空间的数据，且在一定程度上能够解决“维度灾难”问题；此外，对于噪声数据具有较强的抗干扰能力缺点由于需要求解一个二次规划问题，支持向量机对于大规模数据集的训练时间较长支持向量机对参数和核函数的选择敏感，不同的参数和核函数可能导致模型性能差异较大改进措施使用核技巧来处理非线性问题，提高模型的分类性能通过参数调优来选择最合适的正则化参数C和核函数使用集成学习方法（如bagging、boosting等）来提高模型的稳定性和准确性支持向量机算法案例：信用卡欺诈检测在金融领域，银行利用支持向量机（SVM）算法进行信用卡欺诈检测。通过收集交易数据，如金额、时间、地点、商户类型和用户行为特征，进行数据预处理和特征缩放，选择RBF核函数构建模型。SVM寻找最优超平面，将交易分为正常和欺诈两类，支持向量作为关键边界点，确保间隔最大化，提高泛化能力。模型评估使用混淆矩阵、精确率、召回率和F1-score等指标，结合Bagging集成方法优化性能。根据稀土掘金报告，此应用显著降低了欺诈损失率达15%，提升了检测准确率，同时对噪声数据鲁棒性强，适用于高维交易数据集，帮助银行实时监控并减少经济风险。基于CNN-SVM的信用卡诈骗检测方法06分类准确率的测量方法混淆矩阵定义混淆矩阵是一个表格，用于详细展示模型预测结果与实际结果之间的对应关系，是评估分类模型性能的重要工具。矩阵组成部分混淆矩阵由四个部分组成，包括真正例、假正例、真负例和假负例，分别对应实际为正类、负类以及被错误预测的情况。混淆矩阵混淆矩阵混淆矩阵通常由四个部分组成：真正例（TruePositive,TP），即实际为正类，且被预测为正类的样本数；假正例（FalsePositive,FP），即实际为负类，但被错误预测为正类的样本数；真负例（TrueNegative,TN），即实际为负类，且被预测为负类的样本数；假负例（FalseNegative,FN），即实际为正类，但被错误预测为负类的样本数（见上表）。准确率准确率是指模型正确分类的样本数占总样本数的比例，高准确率意味着模型能够更好地将样本正确分类，具有更高的可靠性。精确率精确率是指预测为正的样本中真正为正的比例，反映了模型对正类样本的识别能力，是评估模型性能的重要指标之一。召回率召回率指的是实际为正的样本中，被正确预测为正的比例，反映了模型对正类样本的覆盖能力，是评估模型性能的重要指标。F1-scoreF1-score综合考虑了精确率和召回率的优缺点，是精确率和召回率的调和平均数，特别适用于对精确率和召回率都有较高要求的场景。ROC曲线ROC曲线是根据不同分类阈值下得到的真正率和假正率绘制的曲线，可以直观地比较不同模型的性能，并计算出AUC值来量化模型的优劣。评价指标0102030405分类准确率的提升方法Bagging通过自助采样构建多个基分类器，减少方差、增强稳定性和防止过拟合，从而提高分类性能和可靠性。BaggingBoosting通过迭代式集成学习，逐步构建模型并纠正错误，使基分类器专注于改进前一个模型在训练数据上的表现。模型优化通过调整模型参数和使用交叉验证等技术，来确保模型的稳定性和准确性，是提升分类性能的关键步骤。Boosting特征工程通过选择、提取和构造特征来优化模型的输入数据，从而提升分类准确率，是机器学习中至关重要的步骤。特征工程01020403模型优化分类准确率的测量方法案例：电商用户流失预测在电子商务领域，某电商平台利用分类模型预测用户流失风险。通过收集用户行为数据（如登录频率、购买记录、浏览时长），构建模型后，使用混淆矩阵评估性能：计算TP（真流失用户正确预测）、FP（假流失警报）、TN和FN，进而得出准确率（整体正确比例）、精确率（预测流失中真流失比例）、召回率（真流失覆盖率）和F1-score（平衡精确与召回）。为提升准确率，采用Bagging集成决策树减少方差、Boosting迭代优化弱分类器、特征工程（如构造复合指标）和K折交叉验证调参。根据帆软报告，此应用显著降低了用户流失率15%，优化营销策略，提升了平台留存和营收。分类模型预测用户流失风险07分类分析的Python实现方式010203KNN算法决策树支持向量机在scikit-learn库中，可以使用sklearn.neighbors.KNeighborsClassifier类实现KNN算法。示例代码：fromsklearn.neighborsimportKNeighborsClassifierfromsklearn.model_selectionimporttrain_test_splitfromsklearn.datasetsimportload_irisfromsklearn.metricsimportclassification_report#加载数据集data=load_iris()X,y=data.data,data.target#划分训练集和测试集X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3,random_state=42)#创建KNN模型，这里设置K值为3knn=KNeighborsClassifier(n_neighbors=3)#训练模型knn.fit(X_train,y_train)#预测测试集y_pred=knn.predict(X_test)在scikit-learn库中，可以使