人工智能与商业数据挖掘-思维、方法与案例 课件 第三章 数据思维与商业应用

第三章数据思维与商业应用目录CATALOGUE01课前导读02思维范式03商业需求与决策04驱动商业决策的技术体系01课前导读跨越知识与应用之间的鸿沟从小学到大学，许多人学习数学（如微积分、线性代数）或算法（如数据挖掘、编程语言）时，常常感到“难学”“无用”，甚至避开相关专业。数据分析课程中，学生学了多种工具（如Excel、Python）却不会实际分析；人文社科引入AI课程，学习痛苦，效果有限。这些现象反映了学习者对知识的困惑：学了多年，却不知其起源、应用和诀窍。你是否有过类似经历？为什么会出现这种“知识与应用之间的鸿沟”？跨越知识与应用之间的鸿沟如微积分源于天体运动研究，但教学只讲公式和证明，忽略现实需求导向，使学习脱离实际，造成“无用”误解。建议阅读数学历史书籍，重新认识数学思维。原因一：教学停留在抽象知识层面跨越知识与应用之间的鸿沟第一次抽象：从现实问题到数学符号（如概率论源于赌博问题）；第二次抽象：符号间的逻辑推理。教育陷于第二次抽象，忘记了知识如何指导现实。数学发展的两次抽象过程这种抽象导致困惑，如学生不知微积分如何描述变化。需强调“需求导向”，从现实问题设计工具，跨越鸿沟。跨越知识与应用之间的鸿沟“造”指开发工具（如算法底层，是计算机专业重点）；“用”指应用工具解决行业问题（如人文社科重点）。教学未区分，导致抽象学习无效。原因二：未区分“造”和“用”的逻辑VS造工具用工具人文社科应从“用”入手，激发兴趣探索原理。以用促学，建立问题导向数据思维，从业务场景切入，跨越知识到应用的鸿沟。本章要点主要阐述思维范式、商业需求与商业决策、驱动商业决策的技术体系，探讨数据思维在商业决策中的重要性，提出要从行业应用、业务场景的角度切入去培养学生的数据思维。核心内容熟悉常见的数据思维，理解它们的含义与实际指向；理解并能够解释数据驱动的商业决策思维；熟悉商业数据分析技术体系的内容；理解并能够解释业务需求决定数据分析技术的选择。学习目标数据思维是核心，它深刻影响商业决策，通过数据驱动的方式优化决策流程；而商业数据分析体系则为数据思维提供了实践平台，是连接数据思维与商业决策的桥梁。本章重点数据驱动的商业决策是本章的难点，它要求读者深入理解数据思维在决策过程中的应用，掌握数据驱动决策的方法和技巧，并能将其应用于实际商业环境中。本章难点02思维范式数据思维思维是大脑对信息进行加工、处理、理解和运用的过程，帮助我们认识世界、解决问题、做出决策，具有主动探索、目的明确、创造新意和社会影响等特点。思维的特点数据思维是利用数据解决问题的思维方式，强调从数据中提取信息、发现模式，指导实践，是数据挖掘领域的应用与融合，核心是将抽象概念转化为量化数据。数据思维的定义数据思维逻辑思维逻辑思维是人类的核心认知能力，指按照逻辑顺序进行推理和判断，在数学证明中依赖逻辑思维，通过严谨推理步骤，考量每个细节，确保命题正确性。系统思维系统思维强调从整体视角看问题，要求我们深入挖掘各要素间的联系和相互作用，具备跨学科知识和综合能力，能揭示系统深层次结构和动态变化，应对复杂问题。数据思维抽象思维形象思维抽象思维概括复杂事物本质，数据处理与挖掘中尤为重要，能洞察对象背后的特征与真实规律，提炼出精准描绘数据本质的特征变量，转化业务问题为技术问题。形象思维通过想象和联想，将抽象概念和复杂数据转化为直观视觉表达，在数据可视化中尤为重要，设计创意图表和图像，迅速传达数据核心信息，激发联想和洞察。发散思维收敛思维发散思维鼓励跳出常规，从不同角度审视问题，提出新颖想法，激发创造力，发现新机会，提供丰富视角，适用于创新和突破情境，如新产品开发和市场营销策略制定。收敛思维强调在多样化想法中选出最佳方案，在决策中选出全面评估后满足当前需求、具备长远发展潜力的方案，需敏锐判断、严谨分析，保持客观公正。数据思维批判性思维创造性思维批判性思维强调对信息进行质疑、评估和分析，帮助我们形成独立、理性判断，评估分析报告时，会审视论据、逻辑和观点，判断结论合理性，培养独立思考精神。创造性思维指的是能够产生新颖、独特且富有价值的想法和解决方案；在数据分析领域，创造性思维推动我们基于数据洞察设计出前所未有的新产品或新业务。Airbnb初创时付不起房租，两位创始人把客厅气垫床拍照上传，配上“早餐+向导”创意文案，竟吸引三位租客。受此启发，他们构建“共享民宿”模式，颠覆传统酒店业，十年内估值破千亿美元，展现跨界重组资源的创造性思维。模型思维模型思维的定义模型思维是抽象思维的一种，通过建立模型模拟现实世界，简化复杂问题，有助于我们更好地理解和预测系统行为，是数据思维高度相关的概念。数据思维与模型思维数据思维与模型思维互补，共同解决实际问题；数据思维从数据出发，注重分析和应用；模型思维从抽象概念出发，注重模型的构建和验证。数据分析的核心数据驱动模型构建，利用数据优化模型；模型验证数据分析，确保结果准确；数据可视化模型结果，促进理解，是现代数据分析的核心。模型思维数据思维与模型思维的对比特点数据思维模型思维出发点数据抽象概念目的从数据中提取信息，支持决策模拟现实，理解系统方法数据分析、统计学数学建模、计算机模拟关系数据是模型的输入，模型可以解释数据模型可以生成数据，数据可以验证模型03商业需求与决策数据清洗数据清洗是保证数据质量的关键环节，即对收集到的数据进行检查、纠正、补充，以消除其中的错误、异常值和缺失值。现状分析现状分析是企业决策的基础。通过对历史数据的深入挖掘和分析，企业可以准确的把握当前的市场环境、竞争态势以及自身业务的优劣势。数据收集数据收集是理解企业业务现状的基础。企业需要收集与业务相关的各种数据，如，行业数据、市场数据、客户数据、销售数据、财务数据等。1.认识现实，理解现状是什么数据可视化数据可视化可以将复杂的数据转化为直观的图表、图形等，帮助决策者快速理解数据背后的含义。1.认识现实,理解现状是什么关注KPI通过对这些指标的深入分析,企业可以了解自身的经营状况,发现存在的问题,找到改进的机会。深入分析如,一家电子商务企业可以通过分析销售数据,了解不同产品的销售情况,找出畅销品和滞销品,从而调整产品策略。特定环节分析通过分析客户数据,企业可以了解客户的购买行为、偏好,从而有针对性地开展营销活动;通过分析供应链数据,企业可以优化供应链流程,降低成本。瑞幸咖啡通过清洗3000万条订单数据，把“爆款”生椰拿铁销量做成热力图，发现南方午后销量飙升，立即在南方门店追加30%原料并推“冰饮券”，单周销量翻2倍，库存周转缩短40%，成为数据驱动调整产品策略的标杆。预测未来通过对历史数据的分析，企业可以发现潜在的增长机会；如，一家在线教育公司可以通过分析用户行为数据。模式识别通过关联规则挖掘，电子商务平台卖家可能会发现，购买婴儿尿布的顾客通常也会购买婴儿湿巾和婴儿奶粉，可以进行搭配销售。趋势分析手机厂商分析近几年的销售数据，会发现智能手机的屏幕尺寸越来越大，功能越来越丰富；基于这种趋势分析，企业可以预测未来的市场需求。季节性分析企业可以识别出季节性的波动规律，从而更好地制定生产和销售计划；如，一家冰淇淋店可以通过分析历史销售数据。2.识别模式，按照规律做决策2.识别模式，按照规律做决策案例：沃尔玛的“飓风与Pop-Tarts”趋势与关联分析在美国沃尔玛超市，数据分析师运用模式识别技术，对历史销售数据进行趋势和关联规则挖掘。分析发现，在飓风来临前，顾客不仅购买应急用品如手电筒和电池，还大量购买Pop-Tarts（一种即食早餐饼干）。这一关联源于Pop-Tarts易储存、不需烹饪且保质期长，适合灾区应急。通过季节性分析，沃尔玛识别出飓风季（夏季至秋季）的销售波动规律，预测高峰期需求。同时，趋势分析显示，随着气候变化，极端天气事件增多，此类应急食品需求持续上升。超市据此优化库存：在飓风预警前，增加Pop-Tarts库存，并将它与电池等应急品捆绑陈列，推出促销组合。这不仅提升了销售额15%，还改善了供应链响应速度，避免了缺货风险。该案例突显模式识别如何从历史数据中挖掘隐含趋势，支持企业提前布局和精准决策。因果关系它不仅告诉我们不同变量之间存在的联系，更重要的是揭示这些变量之间的因果关系，即一个变量的变化如何导致了另一个变量的变化。3.理清关系，根据因果做决策因果分析帮助我们回答“为什么”的问题；如，我们想知道为什么某个产品的销量会下降；找出销量下降的根本原因，并采取相应的措施。因果推断是与因果分析相近的一个概念，但它的实现需要更复杂的方法。如，随机对照实验是因果推断的黄金标准。在社会科学以及企业运营中得到了较多应用；2021年10月11日，瑞典皇家科学院将诺贝尔经济学奖授予大卫·卡德等三位经济学家。应用与贡献对于卡德的主要贡献，定位是引领了“自然实验在经济学中的兴起”；对于安格里斯特和因本斯的主要贡献，定位则是建立了“因果推断的方法论”。重要性3.理清关系，根据因果做决策大卫·卡德（DavidCard）约书亚·安格里斯特（JoshuaD.Angrist）吉多·因本斯（GuidoW.Imbens）在一家大型电商平台，数据分析师使用因果分析技术，对历史用户数据进行挖掘，以理清客户流失率上升的原因。初步相关分析显示，流失与页面加载速度慢、客服响应迟缓和促销活动减少有关。但通过因果推断方法，如倾向评分匹配（PropensityScoreMatching），排除混杂因素（如用户年龄或地域差异），发现根本因果是客服响应迟缓直接导致信任下降，进而引发流失，影响程度高达45%；而页面速度仅为间接因素。为验证，该平台开展随机对照实验：随机将用户分为实验组（优化客服AI响应）和对照组（标准服务），结果实验组流失率下降20%。基于此，平台投资升级客服系统，并调整资源分配，避免无效优化页面。这不仅挽回了15%的潜在客户，还提升了整体用户满意度。该案例展示了因果分析如何从“为什么流失”到精准决策，帮助企业避免资源浪费。案例：电商平台的客户流失因果分析3.理清关系，根据因果做决策4.预测未来，通过预判来决策预测01基于历史数据和当前趋势，对未来发展进行的一种科学猜测，可以帮助企业提前做好准备，应对未来的挑战和机遇。时间序列分析02通过分析历史数据的时间序列，可以发现其中的规律和趋势，利用这些规律预测未来的值。机器学习03机器学习则提供了更强大的预测工具。通过构建机器学习模型，可以从大量数据中学习复杂的模式，利用这些模式进行预测。其他预测方法04如，回归分析、ARIMA模型、神经网络等；选择合适的模型也是预测成功的关键通过特征工程，可以更好的识别关键因素，提高模型的预测能力。4.预测未来，通过预判来决策案例：航空公司航班需求预测与动态定价在美国一家大型航空公司，数据科学家利用时间序列分析和机器学习模型，对历史航班数据进行预测。分析过去五年乘客流量、季节性高峰（如假期出行）和外部因素（如油价波动等），构建ARIMA模型结合神经网络，预测未来三个月的航班需求趋势。结果显示，夏季欧洲航线需求将增长25%，而冬季国内短途可能下降10%。基于此，公司提前调整航班调度：增加热门航线班次，优化机型配置，并实施动态定价策略——需求高峰时上调票价15%，低谷时推出折扣吸引乘客。同时，通过特征工程纳入天气和经济指标，提高模型准确率达85%。这一预测不仅减少了空座率20%，提升了收入15%，还避免了资源浪费，帮助公司在竞争中预判市场变化，制定灵活决策。该案例展示了预测技术如何从历史数据中预判未来，支持企业优化运营和风险管理。04驱动商业决策的技术体系商业数据分析技术体系描述性分析技术分布形态集中趋势离散程度测度描述性统计量的定义描述性统计量描述性统计量是用来描述一组数据基本特征的统计指标,直观明了的呈现数据的集中趋势、离散程度以及分布形态。关于集中趋势,常见的指标有众数、中位数、平均数、加权平均数等。关于离散程度测度,常见的指标有方差和标准差、变异系数。关于分布形态,常见的指标有偏度、峰度。数据可视化的定义数据可视化指的是将复杂的数据转换成图表、图形、地图等可视化的形式，让人们能够更直观、快速地理解数据背后的信息。描述性分析技术常见的可视化处理方法散点图可以显示两个变量之间的线性关系或非线性关系，气泡图可以在散点图的基础上增加一个变量，用气泡的大小表示第三个变量。双变量可视化常用的工具箱线图不仅可以显示数据分布，还可以识别异常值，小提琴图则结合了箱线图和核密度估计的优点，更直观地展示数据的分布。单变量可视化常用的工具多变量可视化常用的工具平行坐标图、树图。预测性分析技术文本挖掘文本挖掘结合了NLP、机器学习和深度学习等多种技术手段，处理和分析文本数据；随着互联网的发展，文本信息量呈爆炸式增长。数据挖掘数据挖掘是从大量数据中提取出隐含的、未知且有价值的信息的过程；涵盖了分类、聚类、关联规则、回归和人工神经网络等多种算法。在全球流媒体巨头Netflix，数据科学家运用预测性分析技术，对海量用户数据进行数据挖掘和文本挖掘，以预判观影趋势。使用聚类算法，将用户行为（如观看历史、暂停时长）分组，识别相似群体；关联规则挖掘揭示“观看科幻剧的用户常搭配惊悚片”；回归模型预测订阅续订率，考虑季节因素。同时，通过文本挖掘的NLP和深度学习（如LSTM模型），分析用户评论和社交反馈，提取情感倾向（如“剧情悬念强”），结合Transformer架构进行情感分类，预测新剧集受欢迎度。结果显示，个性化推荐准确率提升30%，用户留存率增加15%。基于此，Netflix提前投资热门题材内容，如AI主题剧集，避免库存浪费。该案例展示了预测性分析如何从历史数据和文本中挖掘模式，支持内容策略决策，优化用户体验和商业增长。案例：Netflix的用户观影偏好预测与内容推荐3.理清关系，根据因果做决策规范性分析技术规范性分析技术是数据分析的高级阶段，不仅揭示了过去的数据模式和当前的状态，更重要的是提供了指导未来的行动方案规范性分析技术仿真是指利用计算机或其他技术手段模拟现实世界或虚构世界的方法；包括连续系统仿真、离散事件仿真、混合仿真等，适用于不同的仿真场景和需求。决策模型是指将决策问题转化为一种数学或逻辑关系表达的模型；包括决策变量、决策准则、约束条件和目标函数等要素，为决策者提供最佳决策方