人工智能与商业数据挖掘-思维、方法与案例 课件 第一章 人工智能、机器学习与数据挖掘概论

第一章人工智能、机器学习与数据挖掘概论CATALOGUE目录02人工智能概论01课前导读03机器学习概论04数据挖掘概论05三者之间的关系辨析01PART课前导读课前导读：令人眼花缭乱的技术热词你是否留意过以下现象？电商平台总能推荐你喜欢的商品？在线客服原来是“机器人”？抖音视频总能戳中你的兴趣？智能助手帮你订餐、控制家电？送餐机器人、自动驾驶汽车、GPT大语言模型、视频生成软件……这些“神奇”现象背后，隐藏着什么秘密？这些现象都与人工智能（AI）有关！人工智能就像一个隐形魔法师，悄无声息地改变我们的生活。你是否好奇：这些智能应用如何实现？背后有哪些技术？作为商科的学生，能否在AI时代有所作为？让我们一起探索！课前导读：令人眼花缭乱的技术热词人工智能——智能的“魔法师”人工智能（AI）是模拟、延伸和扩展人类智能的技术，目标是让机器像人一样思考和学习。人工智能就像一位全能的“销售员”，通过技术模仿人类的行为，随时为我们提供个性化服务。它早已从科幻走进现实，渗透到电商、社交媒体、出行等方方面面。AI是如何“模仿”智能的？答案：在于它的核心技术——机器学习和数据挖掘。课前导读：令人眼花缭乱的技术热词机器学习——AI的“学习秘籍”机器学习是AI的一个分支，通过算法让计算机从数据中学习，识别模式并预测行为。以智能推荐系统为例，机器学习通过分析用户历史行为（如浏览、购买记录），构建模型预测你可能喜欢的商品。它就像教AI“销售员”如何读懂你的喜好。关键在于：数据越多，模型越精准，推荐越贴心！课前导读：令人眼花缭乱的技术热词数据挖掘——挖掘“智能宝藏”数据挖掘是从海量数据中提取有用模式或规律的过程，为AI提供“智能原料”。在智能推荐系统中，数据挖掘分析你的历史行为（如点击、收藏），挖掘出你的兴趣偏好。这些“宝藏”被输入机器学习模型，生成个性化推荐。数据挖掘就像为AI“销售员”提供洞察消费者需求的“秘籍”。本章要点主要内容本章主要介绍了人工智能、机器学习与数据挖掘的基本概念及技术要点，重点介绍人工智能的定义、特点、发展历史、类型划分及前沿发展、伦理问题，辨析了人工智能、机器学习及数据挖掘三者之间的关系，帮助读者全面理解人工智能、机器学习与数据挖掘等技术概念之间的联系与区别。学习目标掌握人工智能、机器学习和数据挖掘的基本概念和定义；熟悉人工智能的发展历史；理解人工智能三大学派（符号主义、连接主义、行为主义）的核心思想及其代表性的技术路线；理解并能够解释有监督学习、无监督学习、半监督学习和强化学习的主要特征和适用场景；对于给定的智能系统架构案例，能够解释案例所使用到的人工智能、机器学习和数据挖掘技术，以及这些技术是如何解决问题的。本章重点人工智能的基本概念；人工智能伦理；监督学习、无监督学习、半监督学习和强化学习的含义与区别；数据挖掘算法；人工智能、机器学习和数据挖掘的联系与区别。本章难点监督学习、无监督学习、半监督学习和强化学习的含义与区别；人工智能、机器学习和数据挖掘的联系与区别。本章要点02PART人工智能概论AI是交叉学科理念范围广泛，涵盖计算机科学、数学、统计学等，并非具体技术，而是交叉学科理念，旨在让计算机系统具备类人智能。AI定义众说纷纭人工智能定义各异，本书认为AI是让机器模拟人类思考与学习的科学，通过开发计算机程序模拟、延伸和扩展人的智能，实现复杂任务。AI让机器变聪明通俗地讲，人工智能即让机器“聪明”，指机器通过学习训练，在特定任务上展现“类似人类”的智能，并不具备人类情感和意识。AI研究范围广泛包括机器学习、自然语言处理、计算机视觉等，这些学科相互支撑，形成人工智能的学科主干或特定领域，共同推动AI的发展。人工智能的定义人工智能的特点人工智能是归纳性的从数据中学习并发现规律，形成自己的规则，具有归纳性，不同于传统计算机程序仅根据既定规则处理数据。人工智能算法很简单人工智能处理速度快常用算法并不复杂，如分类、聚类等，可通过界面操作或几行到几百行的代码实现，无需深厚编程基础。电子信号传播速度远超大脑，AI可处理海量数据，实现快速学习和行动，在商业和科研的复杂活动中不可或缺。人工智能的特点人工智能的语言和视觉能力进步最快在感知层面能力发展迅速，无人驾驶、deepseek等大语言模型及视频生成模型在现实业务场景中广泛应用。人工智能克服了复杂性障碍人工智能解决问题方式不同能处理线性及非线性问题，如物流领域优化运输路线，克服传统方法局限，提供创新解决方案。与人类不同，它依赖于启发式方法解决问题，旨在找到最优解，而非模仿人类执行特定工作方式。人工智能较难被质询人工智能的商业价值来自数据和训练分散行动集中学习人机交互正在改变决策过程较不透明，科学家和政策制定者正致力于开发可解释性AI算法和出台相关法律，以确保系统可追溯和责任明确。训练集的重要性超过了算法的先进性，高质量的数据和训练对于智能系统的构建是至关重要的。整合集中化和分散化架构，如自动驾驶汽车，终端车辆将数据传输至中央数据中心，促进学习并迭代算法，实现高效决策。优化了人机交互的范围已超出静态程序训练，大语言模型的兴起使人类和AI的互动更加有效，促进了优质输出结果的产生。人工智能的特点早期探索与萌芽（20世纪中叶）达特茅斯会议标志着AI诞生，1956年夏天，在美国达特茅斯学院，科学家们约翰·麦卡锡（JohnMcCarthy）、马文·明斯基（MarvinMinsky）、克劳德·香农（ClaudeShannon）和纳撒尼尔·罗切斯特（NathanielRochester）发起了“探索人工智能的可能性”研讨，奠定了AI发展的基础。人工智能的发展历史人工智能的发展历史繁荣与瓶颈（20世纪60年代-70年代）20世纪60年代AI蓬勃发展，艾伦·纽厄尔和赫伯特·西蒙开发了“逻辑理论家”程序、通用求解器（GeneralProblemSolver）等，但面临计算机性能、神经网络及公众期望等挑战。70年代陷入低谷，资金短缺和项目中断导致“AI的冬天”。专家系统与第二次低谷（20世纪70年代-80年代）70年代末至80年代，专家系统兴起，专家系统将人类专家的知识编码成计算机程序，希望它们能够在特定领域提供专家级的建议。但知识获取制约、表示和组织困难，推理能力有限且缺乏常识知识，导致“专家系统泡沫”破裂。神经网络的复兴与深度学习的崛起（20世纪80年代-现在）1986年，大卫·鲁梅尔哈特（DavidRumelhart）、杰弗里·辛顿和罗纳德·威廉姆斯（RonaldWilliams）提出了反向传播算法，解决了多层神经网络的训练问题。21世纪初，深度学习发展，神经网络在图像识别、语音等领域取得突破，如：AlphaGo战胜围棋冠军标志着AI重大突破；2024年诺贝尔奖表彰AI在蛋白质结构预测和设计方面的贡献。人工智能的发展历史人工智能的广泛应用（21世纪）深度学习推动AI在计算机视觉、自然语言处理等领域广泛应用，改变生活方式。在计算机视觉领域，涌现了大量算法并推动了相关应用的发展。如，ImageNet大规模视觉识别挑战赛极大地推动了计算机视觉的发展。在自然语言处理领域，涌现了大量算法和商业应用。如2022年底一飞冲天的ChatGPT，在全球范围内引发了“百模大战”，涌现了大量可以生成高质量文本的大语言模型。特斯拉、华为等公司利用深度学习技术开发的无人驾驶技术应用于汽车工业等。弱人工智能（NarroworWeakGeneralIntelligence,NarrowAI或WeakAI），也称为狭义人工智能或应用型人工智能，是指专注于某一特定任务的人工智能。如图像识别、语音助手，需数据驱动，无自我意识。强人工智能又称为通用人工智能（ArtificialGeneralIntelligence，AGI），是指具备与人类同等智能，或超越人类的人工智能，能表现正常人类所具有的所有智能行为，被认为是人工智能研究的终极目标。，通用智能，能学习、推理、表达情感，目前无公认落地应用。

两类人工智能的比较1.弱强人工智能人工智能的类型特征弱人工智能强人工智能目标执行特定任务具备人类水平的通用智能能力擅长某一领域能理解、学习、适应各种任务自我意识没有具有自我意识例子语音助手、图像识别系统科幻作品中的机器人机械智能，指的是机器（系统或算法）在物理世界中的运动和控制能力，主要体现在机器人技术、自动驾驶、智能制造等领域。认知智能，指的是机器（系统或算法）在理解和处理信息方面的能力，主要体现在自然语言处理、知识图谱、机器学习等领域。情感智能，指的是机器（系统或算法）在理解和处理情感方面的能力，主要体现在情感识别、情感计算和情感交互等领域。情感智能强调机器对情感的感知、理解和回应能力，使机器能够像人类一样进行情感交流和互动。典型应用包括智能客服、各类聊天机器人等。2.机械、认知与情感智能人工智能的类型人工智能的前沿发展大语言模型通过海量数据训练，能生成和理解自然语言，广泛应用于文本生成、对话系统等领域；国内外众多模型各有特色，如ChatGPT、deepseek、Sora、文心大模型等。0102大语言模型智能体AIAgent能自主感知环境并采取行动，通过持续学习和适应，实现智能决策和高效执行；多Agent系统、强化学习、人机协作是其关键技术，推动智能系统发展。AIAgent人工智能的前沿发展0403具身智能强调智能体与环境互动，促进机器人和交互系统进步；触觉感知、运动控制和情感计算等进展使其能更好理解世界，自然互动，并在多领域应用中展现潜力。具身智能新兴技术或趋势包括联邦学习、量子计算与AI结合、可解释性AI；联邦学习保护隐私提升模型泛化力；量子计算加速AI算法；可解释性AI提高决策透明度，增强用户信任。其他趋势人工智能的伦理问题数据隐私与安全01数据收集需明确告知用户并获授权，限制数据接触，加强传输安全；存储时建立访问权限管理，删除无用数据，降低泄露风险，保护用户隐私。算法偏见与公平性02算法训练需消除数据偏见，确保公平性；定期审查测试算法，建立指标体系衡量差异，通过第三方审计增强信任，促进决策过程公平透明。人工智能的伦理问题就业影响与社会变迁03AI加速岗位替代，但创造新就业机会；需加强职业培训，支持受影响人群转型；出台政策维护劳动者权益，促进劳动力市场健康发展。责任归属与法律监管04AI决策失误责任界定复杂，需完善法规；深圳出台智能网联汽车条例，明确责任。平衡创新与监管，建立多方治理体系，促进AI健康发展。你的工作会被AI取代吗？03PART机器学习概论开发机器智能的策略符号主义模拟人类心智，强调逻辑推理与知识表示，从专家系统演至知识图谱，代表人物包括赫伯特·西蒙等，典型应用为专家系统与早期自然语言处理系统。符号主义学派连接主义模拟人脑结构功能，以神经网络为基础，通过学习和适应实现智能，在计算机视觉、语音及自然语言处理等领域，随深度学习技术取得显著进展。连接主义学派行为主义通过观察和模仿生物体行为发展机器智能，强调与环境交互学习，逐渐形成智能机器人技术，在机器人、强化学习及自适应控制领域广泛应用。行为主义学派三大学派推动人工智能发展，各有优缺点；现代人工智能系统常融合多学派思想，如深度学习结合符号知识推理，强化学习利用神经网络决策。三个学派的融合赫伯特·西蒙开发机器智能的策略表1-3人工智能三大学派比较学派核心思想主要方法优点缺点符号主义符号操作知识表示、逻辑推理可解释性强难以处理不确定性连接主义神经网络神经网络、深度学习擅长处理大数据可解释性差行为主义环境交互强化学习、机器学习适应性强需要大量数据机器学习使算法无需明确编程即可从数据中学习模式，提升性能，类比人类学习；它依赖数据，通过算法学习数据中的规律，并利用这些规律对新数据进行预测。机器学习的定义机器学习包括有监督、无监督、半监督和强化学习，分别通过标签数据、无标签数据、两者结合及环境交互来训练模型，广泛应用于分类、回归、聚类、异常检测等。机器学习的类型机器学习某知名电商平台借助机器学习技术打造个性化推荐系统，有效提升了运营效率。系统收集用户浏览、购买、搜索等行为数据，经预处理后，通过协同过滤算法计算用户与商品相似度，结合基于内容的算法分析商品属性特征，实现精准推荐。经过模型训练与A/B测试优化，用户登录后可看到定制化推荐。数据显示，平台用户浏览量增长30%，购买转化率提升20%，充分体现了机器学习在精准对接商品与用户需求上的价值。案例机器学习机器学习表1-4

四种主要机器学习方法的差异学习方式数据类型目标典型算法应用场景有监督学习有标签数据预测、分类线性回归、逻辑回归、支持向量机、决策树、随机森林、神经网络图像分类、文本分类、垃圾邮件过滤、情感分析、房价预测无监督学习无标签数据发现数据中的潜在结构、模式K-Means聚类、层次聚类、DBSCAN、PCA、自编码器客户细分、异常检测、数据降维、图像压缩半监督学习有标签数据和无标签数据结合两者的优点，提高模型性能自训练、协同训练、半监督支持向量机图像分类、文本分类、少量标注数据下的分类问题强化学习与环境交互最大化长期累积奖励Q-learning、深度Q网络、策略梯度、Actor-Critic游戏、机器人控制、自动驾驶、推荐系统知识图谱知识图谱的定义知识图谱（KnowledgeGraph）是一种结构化的知识库，它以图的形式展现实体（Entities）、概念（Concepts）及其之间的关系（Relationships）。这种图形化的知识表示方式使得信息更加直观、易于理解和利用。知识图谱是一种以图结构表示知识的语义网络，其核心由实体（Entity）、关系（Relationships）和属性（Attribute）构成。01知识图谱在美团推荐场景中的应用早期探索阶段（20世纪70年代-2012年）知识图谱的思想可以追溯到20世纪70年代的语义网络（SemanticNetwork）。语义网络是一种基于图结构的知识表示方法，通过节点和边表示概念及其关系，为知识图谱的理论发展奠定了基础。知识图谱Google推动阶段（2012年-2015年）2012年，Google公司正式推出知识图谱项目，将其应用于搜索引擎，显著提升了搜索结果的语义性和准确性。谷歌的知识图谱构建了一个包含数十亿实体和数千亿关系的庞大知识体系。快速发展阶段（2015年-2020年）这一时期，开源框架和工具不断涌现，如Neo4j、ApacheJena等，降低了知识图谱的构建门槛。同时，学术界在知识抽取、知识融合和知识推理等方面取得了显著进展，为知识图谱的广泛应用奠定了技术基础。多元化与深化阶段（2020年至今）知识图谱在医疗、金融、教育等领域应用深化，跨领域融合与动态更新成为研究热点，推动知识图谱向更智能、高效方向发展。知识图谱的发展02知识图谱构建流程知识图谱的构建03知识融合知识更新与维护知识存储知识抽取01020304关键技术：自然语言处理技术、图数据库技术、机器学习与深度学习技术。知识图谱知识图谱的应用构建工具与框架学术界和工业界开发多种知识图谱构建工具和框架，如ApacheJena、Neo4j等开源框架，以及IBMWatsonKnowledgeStudio、AWSNeptune等商业工具，支持知识图谱的构建和应用。04PART数据挖掘概论数据挖掘定义数据挖掘是从大量、复杂、不完全的原始数据中，提取隐含的、先前未知的、具有潜在价值的信息和知识的过程。数据挖掘不是数据的简单汇总，而是通过分析和理解数据，发现隐藏在数据背后的规律和模式。在商业场景下，数据挖掘的价值非常广泛。数据挖掘的定义分类技术分类是有监督学习方法，通过已知类别的训练数据集学习分类模型，预测新数据点类别，如K近邻、决策树等，用于信贷审批、医疗诊断等。关联规则关联规则是无监督学习方法，发现数据集中频繁出现的项集组合及关联规则，如Apriori、FP-Growth，用于零售业商品推荐、库存管理等。预测模型预测模型是有监督学习方法，利用历史数据建立模型预测未来事件或趋势，如时间序列分析、回归分析等，用于天气预报、股票分析等。聚类技术聚类是无监督学习方法，将数据集划分为多个组，使同组数据相似，不同组数据差异大，如K均值、层次聚类等，用于市场细分、图像分割等。数据挖掘技术数据挖掘技术数据挖掘已经成为各行业不可或缺的技术，以下是几个典型的应用场景：电商推荐系统：像淘宝、京东这样的电商平台，通过数据挖掘分析用户浏览记录，推荐他们可能感兴趣的商品，提高购买率；金融风控：银行使用数据挖掘检测信用卡欺诈，提高风控能力；医疗健康：医院可以通过数据挖掘分析病历数据，预测疾病趋势，提高诊断准确率；社交媒体分析：微博、抖音等平台通过数据挖掘优化推荐算法，让用户刷到更符合兴趣的内容。05PART三者之间的关系辨析人工智能与机器学习的关系人工智能是目标，机器学习是实现这个目标的工具，数据挖掘是这个工具的应用场景。人工智能和机器学习是两个密切相关的概念，但又有所区别。人工智能是一个更广阔的概念，它旨在创造能够像人类一样思考和学习的智能机器、系统或算法。人工智能的终极目标是让机器具备人类的智慧，能够进行推理、学习、解决问题、感知环境等。机器学习则是人工智能的一个子集，专注