人工智能与商业数据挖掘-思维、方法与案例 课件 第四章 业务引领的商业数据挖掘过程

第四章业务引领的商业数据挖掘过程目录CATALOGUE课前导读商业数据挖掘过程中的数据思维设置靶子，明确所要解决的业务问题分解问题，构建问题对应的业务指标体系准备数据，收集和理解问题所需的数据分析数据，找到业务问题的数据答案回到业务，确定分析结果的商业解释呈现结果，基于数据分析过程形成商业报告01PART课前导读课前导读现象：作业的“多用一稿”与知识融合在人民大学商学院读博士期间，讲授《博弈论与信息经济学》的刘老师鼓励用一份作业交给不同课程，但需融合其他学科知识，以多元视角解决问题。这反映了学习中常见问题：技术工具（如数据分析）往往孤立，无法直接应用于业务。这种现象常见于商业数据挖掘：技术中性，但若不融合业务知识，分析结果脱离实际，无法产生影响力。你是否有过类似经历？为什么业务知识与数据分析技术需要融合？课前导读融合业务知识，提升数据分析的实用性数据分析技术是工具，具有行业中性；融合业务知识，能让分析更接地气，解决实际问题。如在商业数据挖掘中，先理解行业背景，再用技术导向问题分析，避免抽象学习，确保成果有影响力。课前导读在研究中的应用：现象驱动的交叉探索周老师研究智慧养老/医疗，将新兴现象概念化、变量化、测量化，构建新理论，解释实践并指导政策。如分析老年人互联网使用差异，用变量测量概念，解释结果转化为政策建议，促进业务与技术的深度融合。课前导读在教学中的实践：业务导向的学习在本科课堂增加企业案例，引导学生观察现象、提出问题、设计分析方案，形成报告，实现业务与技术的结合。通过实际场景激发兴趣，提升学习效果；分享经验：加强融合，更好掌握商业数据挖掘的核心，推动问题导向分析。本章要点主要阐述商业数据挖掘过程的每个环节，数据思维在每个环节的应用；商业数据挖掘报告的撰写；重点剖析了商业数据挖掘每个步骤的核心要点以及用到的核心数据思维。核心内容能够根据商业数据挖掘流程完成数据分析工作；理解数据思维在商业数据挖掘流程中的应用；围绕业务问题设计完整的商业数据挖掘项目；利用数据思维和业务知识将业务问题抽象为业务指标体系；完成数据分析与建模工作；能够撰写一份商业数据挖掘报告。学习目标商业数据挖掘的过程；数据思维在商业数据挖掘过程中的应用；商业数据挖掘报告撰写。本章重点商业数据挖掘的过程；数据思维在商业数据挖掘过程中的应用。本章难点02PART商业数据挖掘过程中的数据思维系统思维可以帮助我们从整体角度把握业务流程，明确企业业务系统包含的各个要素、分析要素之间的因果关系、考虑要素之间的反馈机制，识别业务流程中的瓶颈环节和关键问题。

商业数据挖掘过程中的数据思维商业数据挖掘过程并无定式，但流传最广、影响最大的当属CRISP-DM（Cross-IndustryStandardProcessforDataMining，跨行业标准数据挖掘流程）。该过程是由一个行业性特别小组提出的，小组成员包括欧洲委员会及数据仓库供货商NCR、德国汽车航天公司Daimler-Chrysler、统计分析软件供货商SPSS、等几家在数据挖掘应用上有经验的公司。目前使用的CRISP-DM模型为该小组于2000年提出的跨行业标准数据挖掘流程。基于CRISP-DM及作者团队的教学与项目实践经验，我们将商业数据挖掘过程划分为以下6个步骤，梳理了每个阶段可能用到的核心数据思维（见下图）。2009年，IBM收购了SPSS，在商务智能等领域进行了系统规划，形成了著名的IBMSPSS系列软件；借助IBM强大的战略咨询能力和影响力，助推CRISP-DM成为了全世界最经典、最流行的数据挖掘实践范式。商业数据挖掘过程商业数据挖掘过程并无定式，但流传最广、影响最大的当属CRISP-DM（Cross-IndustryStandardProcessforDataMining，跨行业标准数据挖掘流程）。基于CRISP-DM及作者团队的教学与项目实践经验，我们将商业数据挖掘过程划分为以上6个步骤，梳理了每个阶段可能用到的核心数据思维。03PART步骤1：设置靶子，明确所要解决的业务问题收入问题关注客户与产品，分析新用户增长、老用户复购率及其原因，涉及营销渠道、产品质量、售后服务及竞争对手，需业务知识引导识别问题，制定策略。成本问题风险问题分析业务存在的问题聚焦直接成本与流程效率，ABC成本分析识别高成本环节，优化排序；流程图分析找瓶颈、冗余与耗时环节，针对性优化，提升效率。识别风险需关注客户流失、产品价值匹配、外观及质量，流程合规性，及潜在不当应用或漏洞，全面评估风险点，确保业务稳健发展。确定数据分析的目标遵循SMART原则，确保目标具体、可衡量、可实现、相关且有时限，为数据分析提供明确方向。目标设定原则从总体到部门，再到数据分析目标，层层分解，确保目标一致且与业务战略紧密相连。数据分析及其目标需迭代，随着分析深入，问题认识可能变化，目标需灵活调整，确保始终符合业务需求。目标层级结构基于假设（如用户流失因产品功能不足）设定分析目标（如分析用户对产品功能的满意度），指导数据收集与分析方法。假设驱动目标01020403目标动态调整系统思维可以帮助我们从整体角度把握业务流程，明确企业业务系统包含的各个要素、分析要素之间的因果关系、考虑要素之间的反馈机制，识别业务流程中的瓶颈环节和关键问题。案例：星巴克门店运营问题分析与优化星巴克一家门店销售额下滑，分析师梳理业务流程，分解为采购、冲泡、销售环节，审查KPI发现客单价降15%。访谈员工确认痛点：高峰期排队长、产品创新不足。收入分析显示老用户复购率降10%，因竞品新品吸引力强。成本方面，ABC分析揭示冲泡环节人工成本占40%，效率低。流程图优化后引入自动化设备，降低冗余。风险分析识别高流失客户（两周未消费），并检查产品设计是否冒犯文化。最终，优化菜单、排队系统并加强合规培训，销售额增20%，成本降12%，风险减。该案例展示业务问题分析如何从背景到优化，支持决策。04PART步骤2：分解问题，构建问题对应的业务指标体系问题拆解与定位简单设定笼统目标不足够，需拆解成具体问题，使问题更清晰，有助于发现潜在影响因素，进而制定出更有针对性的解决方案。深入分析找关键点通过对这些问题的深入探讨，逐步缩小范围，明确问题关键点，以制定有效解决方案，促进销售额的增长。电商销售问题分析电子商务企业面临销售额增长缓慢时，可进一步细分为新用户获取、营销效果、老用户复购率及原因等多个具体问题。业务问题复杂性在商业环境中，业务问题常常是复杂且多维度的，如销售额增长乏力可能涉及市场营销、产品特性、客户满意度等多个方面。分解问题的重要性商业模式画布商业模式画布由亚历山大·奥斯特瓦德博士和伊夫·皮尼厄教授共同发明，通过结构化的方式呈现商业模式的各个核心组成部分，从而帮助企业更好地理解其如何创造价值、传递价值和获取价值。商业模式画布将商业模式划分为9个构造块。构建业务指标体系构建业务指标体系海盗指标(PirateMetrics)由戴夫·麦克卢尔(DaveMcClure)提出,也被称为AARRR框架,是一种用于分析和优化用户生命周期的模型。该框架包含五个关键指标,即获取用户、提高活跃度、提高留存率、获取营收收入和自传播。运营目的具体功能相关指标(或数据)获取用户通过可能的手段（包含免费或收费）博取潜在用户的眼球与注意力流量、提及量、搜索结果、用户获取成本、点开率提高活跃度将获取的“过客”式访客转化为产品的真正参与者注册人数、注册量、新手教程完成量、至少用过一次产品的人数、订阅量提高留存率说服用户再次光临，反复使用，表现出粘性行为用户参与度、距上次登录的时间、日/月活跃使用量、流失率获取营收商业活动的产出（不同的商业模式看重不同的产出，如，购买量、广告点击量、内容生产量等等）客户终生价值、转化率(免费到付费)、平均购物车大小、广告点入营收自传播已有用户对潜在用户的病毒式传播及口碑传播邀请发送量、病毒式传播系数、病毒传播周期业务指标体系的构建需逻辑思维指导，建立问题到指标的逻辑链条，确保指标定义准确、关系清晰。逻辑思维重要性逻辑思维构建指标网络，每个指标反映问题不同侧面，指导数据分析方向，发现根源，为数据分析提供指导。指标网络构建从问题到指标的逻辑链条在一家在线教育平台，用户留存率持续下降，影响收入增长。分析师运用逻辑思维构建指标体系：首先定义核心问题“为什么用户中途放弃课程”，建立逻辑链条。从新用户获取入手，考察“注册转化率”（渠道来源占比）和“首次登录时长”（用户质量指标），发现付费课程渠道用户质量高，但免费试听用户流失快。接着分析老用户复购，结合“课程完成率”与“满意度评分”（NPS），探究原因：如内容难度过高导致完成率仅40%，售后互动差影响复购率降15%。进一步关联“学习时段分布”与“弃课节点”，揭示高峰期技术故障是关键痛点。基于此，平台优化课程分级、加强客服响应，并监控复合指标“终身价值”（LTV），留存率提升25%，收入增18%。该案例展示了逻辑思维如何从问题到指标链条，支持精准决策。案例：在线教育平台的用户留存指标体系构建从问题到指标的逻辑链条05PART步骤3：准备数据，收集和理解问题所需的数据数据收集01公开数据集公开数据集也是不容忽视的重要资源;政府机构、学术机构等公开发布的数据集,如人口数据、经济数据等,为我们提供了宏观层面的背景信息,有助于我们更全面地理解企业所处的市场环境和发展趋势。03企业内部数据库企业内部数据库,如CRM系统、销售数据、财务数据等,是企业数据的核心宝藏;这些数据不仅详细记录了企业的日常运营活动,还能揭示出企业在市场竞争中的优势和短板,为企业的战略决策提供了有力的内部支撑。02互联网数据抓取通过编写爬虫程序,还可以从互联网上抓取所需数据,如新闻、产品评论等,形成更全面的数据来源渠道;关于爬虫程序、网络数据获取与管理,可以参考本书的线上配套资料,此处不再展开。04外部数据提供商外部数据提供商则为我们打开了了解外部市场环境的大门;通过购买来自第三方的数据,如市场调研数据、行业报告和社交媒体数据等,我们能够更加深入地洞察市场动态、竞争对手的策略以及消费者的需求变化,为企业的市场定位和产品优化提供宝贵的参考。缺失值处理缺失值指的是数据集中未能完整记录的部分；对于缺失值的处理，可以采取多种策略，如删除含缺失值的记录、估算填充或复杂算法预测补充，以恢复数据完整性。重复数据处理重复数据指的是在数据集中重复出现的记录或字段，会导致数据冗余，影响分析结果的准确性；对此，需要识别并删除这些重复数据，确保数据集的简洁性和有效性。异常值处理异常值指的是那些明显偏离正常数据分布范围的值；对于异常值，可以采取多种策略，如删除显著影响分析的结果、填补替换或高级算法检测修正，确保数据准确性。数据转换数据转换也是数据清洗中的一个重要步骤，涉及将原始数据转换为适合分析的格式；如，将文本型数据转换为数值型或类别型数据，以便更好地挖掘数据的价值。数据清洗标签的形式多样标签的形式多样，可以是类别标签，用于标识数据的分类属性；也可以是数值标签，用于量化数据的特征；还可以是时间标签，用于记录数据的时间属性。标签定义需谨慎标签体系的作用数据标签体系定义标签时需要格外谨慎，确保标签的含义明确、取值范围合理，明确标签之间的关系；标签的含义必须清晰无误，避免歧义和误解，以确保数据准确性。数据标签体系可验证数据准确性，提高数据质量；简化数据分析，支持数据分析过程；构建机器学习模型，提高模型性能；评估模型准确性，优化模型。在一家电商平台，用户转化率低，团队需准备数据优化推荐系统。首先，通过数据收集从内部CRM数据库获取浏览记录和购买历史；外部购买市场调研报告分析竞争对手；利用公开数据集（如Kaggle用户行为数据）补充宏观趋势；编写爬虫抓取产品评论，形成综合数据集。数据清洗阶段，处理缺失值（如用中位数填充未记录的年龄）；删除异常值（如极端浏览时长）；去除重复订单记录；转换文本评论为数值情感分数，确保数据质量。构建数据标签体系，定义类别标签（如“高活跃用户”/“低活跃用户”）、数值标签（如“浏览时长”）、时间标签（如“最后登录日期”），明确标签关系（如活跃度与转化率的关联）。标签用于验证数据准确性，并作为输入训练机器学习模型。最终，模型准确率达85%，推荐点击率提升20%，转化率增15%。该案例展示了数据准备如何从收集到标签，支持精准决策。案例：电商平台的用户行为数据准备与个性化推荐步骤3：准备数据，收集和理解问题所需的数据06PART步骤4：分析数据，找到业务问题的数据答案选择数据分析技术的“原则”选择数据分析技术需注重适用性，根据问题特性选择最合适的算法，如回归分析、时间序列分析等，并通过发散思维尝试多算法比较，采用收敛思维确定最终选择，确保分析有效性和针对性。适用性01数据建模与分析追求模型能够准确、高效地工作，选择技术时需评估其在历史数据上的表现，确保能够提供高精度预测或分类结果，为业务决策提供可靠支持。准确性02建模过程中，效率是重要考量，尤其面对大规模数据时，需确保模型训练与预测速度满足业务需求，选择技术时，需评估其在大规模数据集上的表现，确保在合理时间内提供结果。效率03选择技术时，可解释性是一个重要考量；好的模型不仅便于理解其决策过程，增加人们对结果的信任度，还能在出现问题时快速定位并采取相应的措施。可解释性易用性是不可忽视的因素；不同的数据分析工具或模块在易用性上存在差异，选择适合自己技能水平和需求的工具，可以显著提高工作效率，减少学习成本。易用性选择数据分析技术的“原则”0405数据准备数据准备是机器学习的重要步骤，将数据集划分为训练集、验证集和测试集，分别用于模型训练、参数调整和性能评估，以确保模型的泛化能力得到验证。模型评估模型评估是检验性能的关键，在训练完成后，使用验证集或测试集评估模型，量化评估模型的优劣，为后续的优化工作提供依据，确保模型能够在实际业务场景中应用。模型训练模型训练是机器学习核心，通过训练集数据迭代优化模型参数，使模型在训练集上的性能指标不断改进，直至达到满意结果，为预测或分类等任务奠定基础。模型优化模型优化是提升性能的途径；通过多轮次训练、评估与调整，优化模型参数、尝试不同算法或架构、增加数据增强策略等，提升模型泛化能力，为业务场景提供准确服务。使用机器学习找到答案在一家零售连锁店，库存积压导致成本上升，团队需分析销售数据找到优化方案。首先，根据适用性和准确性原则，选择时间序列分析和随机森林算法（易用性高、可解释性强），适用于预测需求问题。数据准备阶段，将历史销售数据划分为训练集（80%）、验证集（10%）和测试集（10%）。模型训练使用训练集迭代调整参数，减少损失函数值。评估阶段，在验证集上比较性能，发现随机森林准确率达92%，效率高于神经网络（训练时间短）。优化过程调整超参数，如树深度，并增加特征工程（加入季节因素），提升泛化能力。最终模型预测准确率升至95%，库存积压降20%，成本节约15%。该案例展示了机器学习步骤如何结合原则，从数据分析中找到业务答案，支持高效决策。案例：零售连锁店的库存需求预测模型优化步骤4：分析数据，找到业务问题的数据答案07PART步骤5：回到业务，确定分析结果的商业解释将分析结果转化为业务洞察关联分析结果与业务目标精准解读数据背后的信息，将数据分析结果与企业的战略目标、当前面临的业务问题紧密结合，通过对比数据分析发现与最初设立的业务目标，揭示两者间的内在联系，确保数据分析成果能够直接服务于企业的实际需求。深入挖掘数据背后的原因对数据分析结果进行深入挖掘，探究数据波动背后的驱动因素，将数据变化或异常转化为业务知识或语言，为业务决策提供更为深刻、全面的洞察。识别潜在的商机和风险保持高度的市场敏感度与风险意识，通过对数据分析结果的解读，识别出潜在的商机和风险，为决策者提供前瞻性的战略参考，助力企业在激烈的市场竞争中抢占先机，规避风险。将业务洞察转化为商业行动优化业务流程精准识别现有业务流程中的瓶颈与低效环节，基于业务发现重塑或优化流程，从而帮助企业降低运营成本、提升运营效率，为企业创造更为可观的利润空间。持续改进产品需要积极倾听客户的声音，紧跟市场趋势，依据数据分析结果对产品或服务进行持续改进，提升客户满意度与忠诚度，为企业的长期发展奠定坚实基础。制定新策略基于业务发现揭示的市场趋势、客户需求及竞争态势，可以制定并实施全新的业务策略，提升企业的市场竞争力与可持续发展能力。030201建立数据监控系统实时或定期收集各类业务数据，如用户行为、市场趋势、产品性能等，定期运用先进的数据分析技术和算法对收集的数据进行深度挖掘与解析，跟踪业务指标的变化规律与潜在趋势。调整业务策略构建快速响应与调整的能力，根据监控的结果，一旦发现业务指标出现异常波动或偏离预期目标，应立即启动应急响应机制，对相关业务策略进行审视与调整，以确保能够精准应对市场变化。建立反馈机制积极收集用户反馈，了解用户对产品或服务的真实需求与期望；同时也要密切关注市场动态，捕捉市场发展的新趋势与新机遇；通过整合反馈信息优化业务模型，实现产品与服务的持续创新。将业务洞察转化为商业行动宜家家居通过数据分析顾客路径和停留时间，发现高峰期某些区域拥堵，转化率仅65%。将结果转化为业务洞察：关联业务目标（提升销售额），挖掘原因（布局不合理导致顾客疲劳），识别商机（热门产品区可扩展）和风险（流失年轻顾客）。这些洞察揭示了设计导向的布局需调整以匹配现代生活趋势。转化为商业行动：制定新策略，如重塑门店路径，引入互动展示区；优化流程，缩短结账时间，降低成本10%；改进产品，添加可持续标签，提升满意度。建立持续监控机制：实时追踪APP数据，每季度调整策略，收集反馈迭代设计。利用创造性思维，推出AR试装服务；批判性思维质疑异常（如周末低转化），发现是停车不便，最终销售额增18%，顾客留存率升15%。该案例展示了从数据到行动的闭环，支持可持续增长。案例：宜家家居的顾客行为分析与门店优化步