深度学习与大模型 课件 第1章 机器学习与人工智能基础

第1章机器学习与人工智能基础1.1机器学习与人工智能的基本概念1.2机器学习的分类1.3机器学习的常见算法1.4机器学习的基本流程1.5项目实践——实现线性回归模型引例思考从“外卖平台推荐”理解机器学习与人工智能小明每天中午打开外卖APP时，总会发现首页推荐的餐厅几乎都是他爱吃的川菜和家常菜，而且还会根据当天天气调整——下雨天推荐汤面类外卖，炎热天推荐冰品和轻食。你有没有想过，APP是如何“精准猜透”小明喜好的？这背后正是机器学习与人工智能的应用。从人工智能的角度来看，外卖APP的推荐功能属于“专用人工智能”范畴，它专注于“用户偏好预测”这一特定任务，而非像人类一样具备通用思考能力。而实现这一功能的核心技术，就是机器学习。机器学习与人工智能的基本概念1.1机器学习与人工智能的基本概念学习的定义：学习是人类通过观察、实践、思考,不断积累知识、提升技能、改善行为的过程。​学习的分类直接学习、​间接学习核心要素：信息输入→信息加工→知识存储→知识应用​1.1.1机器学习概述机器学习与人工智能的基本概念机器学习的定义：机器学习（MachineLearning，ML）是研究计算机模拟人类的学习活动，获取知识和技能的理论和方法，改善系统性能的学科。机器学习是一种让计算机“自学”的方式。机器学习的结构模型是指在机器学习过程中,计算机系统通过特定的算法、数据和模型进行学习、预测或决策的框架。根据计算机系统的层次和功能的不同，我们可以将机器学习的结构模型划分为：计算机系统内部：数据处理、存储和学习计算机系统外部：与外部世界进行交互机器学习与人工智能的基本概念机器学习从环境中获取数据（外部部分），经过感知、存储、学习处理（内部部分），再进行模式学习和决策输出的全过程。通过这种方式，机器学习系统能够不断学习环境的变化，从而在未来更好地应对类似情境。机器学习与人工智能的基本概念经典定义：计算机科学家TomM.Mitchell给出了机器学习的经典定义：“对于特定任务T和性能指标P,若计算机程序在任务T上的表现(通过P衡量)能随经验E的积累而提升,则认为该程序具备了从经验E中学习的能力。”在这个定义中，包含了三个关键元素：任务（T）：模型需要完成的任务,经验（E）：用于训练模型的数据,性能（P）：衡量模型效果的指标。机器学习与人工智能的基本概念

机器学习与人工智能的基本概念423101数据驱动02自动学习与优化03无须显式编程04自适应性机器学习的特点：机器学习与人工智能的基本概念医疗健康机器学习在疾病预测、医学影像分析和个性化治疗等领域得到广泛应用,借助患者数据分析可辅助预测疾病风险,并提高诊断的准确性。自动驾驶与交通管理基于机器学习的自动驾驶汽车,利用传感器数据进行环境认知与安全决策,并应用于智能交通管理,以提升通行效率并缓解交通拥堵。金融与风险管理机器学习技术在电商领域应用广泛,通过分析用户行为数据,可达成精准的个性化推荐,进而提升用户满意度并促进销售增长。电子商务与推荐系统在金融领域中,机器学习技术可以应用于信用评级、风险预估及反欺诈监测,主要进行剖析交易模式,辨识异常行为,进而强化金融系统的防护能力。机器学习的应用：机器学习与人工智能的基本概念1.1.2人工智能的演进机器学习与人工智能的基本概念1.1.3机器学习与人工智能的关系人工智能的定义：它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的重要分支，旨在开发具备类似人类思维能力的系统，涵盖感知、推理、学习、决策和执行等能力。其核心目标是赋予机器智能行为，让机器能够模拟人类处理复杂任务，解决实际问题。例如，智能客服系统能够理解用户的问题，并给出准确回答；智能机器人可以在复杂环境中自主完成任务。时至今日，人工智能的内涵已经大大扩展，是一门交叉学科。机器学习与人工智能的基本概念机器学习在人工智能中的角色：传统人工智能方法的局限性：早期的人工智能主要依赖规则和专家系统，这些系统基于人工编写的规则来推理和决策。然而，这种方法在面对复杂问题和大量数据时存在局限性。例如，在自然语言处理中，语言的灵活性和复杂性使得基于规则的方法难以准确处理各种语言表达。机器学习带来的变革：机器学习的出现使人工智能系统更加灵活和智能，它允许系统在没有人工干预的情况下，从数据中学习到新的知识和模式。例如，在图像识别领域，机器学习模型可以通过学习大量图像数据，自动识别出不同的物体和场景，而无需人工编写繁琐的识别规则。机器学习与人工智能的基本概念1.1.3机器学习与人工智能的关系机器学习与人工智能的基本概念1.1.3机器学习与人工智能的关系人工智能：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法及应用系统的一门新的技术科学。机器学习：专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。是人工智能的核心研究领域之一。深度学习：源于人工神经网络的研究，多层感知器就是一种深度学习结构。深度学习是机器学习研究中的一个新的领域，它模仿人脑的机制来解释数据，例如图像，声音和文本。机器学习与人工智能的基本概念机器学习与人工智能实现路径的对比：VS传统人工智能机器学习驱动的人工智能数据驱动通过不断迭代和优化，增强自适应能力应用于图像识别、语音识别、自然语言处理、自动驾驶等领域123规则驱动适用于结构化、规则明确的任务缺乏自适应能力，难以处理海量数据123机器学习与人工智能的基本概念人工智能技术的应用方向与应用场景：现在AI的应用技术方向主要分为：图像处理： 用计算机对图像进行分析，以达到所需结果的技术，又称计算机视觉，是研究如何让计算机“看”的科学。语音处理： 研究语音发声过程、语音信号的统计特性、语音识别、机器合成以及语音感知等各种处理技术的统称。自然语言处理： 利用计算机技术来理解并运用自然语言的学科。机器学习与人工智能的基本概念人工智能技术的应用方向与应用场景：图像处理语音处理自然语言处理身份验证语音导航舆情分析主题挖掘热点事件趋势分析情绪分析信息分布语音识别、语音合成、语音唤醒、声纹识别、音频事件检测等……。图像分类、目标检测、图像分割、目标跟踪、文字识别和人脸识别等……。机器翻译、文本挖掘和情感分析等……。机器学习与人工智能的基本概念人工智能技术的应用方向与应用场景：机器学习的分类1.2机器学习的分类图1-4机器学习分类机器学习的分类1.2.1监督学习定义：监督学习是一种通过已标注的训练数据集进行学习的方法，其目标是通过输入数据（特征）和已知的输出标签（目标值）之间的关系来训练模型。学习过程：机器学习的分类监督学习的特点：输入输出对：监督学习的数据集由输入特征和对应的目标输出(标签)构成。监督信号:监督学习中的“监督信号”,即目标标签,通过这种标签来引导模型的学习过程。优化过程:模型训练的核心是通过最小化预测值和实际标签之间的误差来优化模型。机器学习的分类监督学习的任务类型：回归任务分类任务回归任务目标是预测连续数值输出。常见算法包括线性回归、支持向量回归（SVR）、决策树回归等。例如：在预测房屋价格时，通过分析房屋面积、房龄、周边配套设施等输入特征，利用线性回归模型预测出一个具体的房屋价格数值。分类任务目标是将输入数据分配到预定义类别中。常见算法有支持向量机、决策树、随机森林、K-近邻、神经网络等。例如：水果分类，输入水果的颜色、形状、大小、口感等特征，利用支持向量机模型判断该水果是苹果、香蕉还是橙子等。机器学习的分类监督学习中的损失函数：在监督学习中，损失函数是用来衡量模型预测与真实标签之间差距的函数，优化目标是通过最小化损失函数来提高模型的准确性。常见的损失函数包括：均方误差（meansquarederror,MSE）交叉熵（cross-entropy）

机器学习的分类应用领域：应用前景语音识别1243金融预测图像分类医学诊断机器学习的分类0304050201用于分类和回归问题。通过一系列的规则（基于输入特征的条件）来划分数据，决策树易于理解和可视化。一种集成学习方法，通过构建多棵决策树并结合其结果来提高模型的准确性和鲁棒性。模仿生物神经元的工作原理，能够建模复杂的非线性关系。广泛应用于图像识别、语音识别等领域。用于分类和回归问题。通过寻找一个最优超平面来最大化类别间的间隔，适用于复杂且高维的分类问题。用于回归问题，假设输入与输出之间存在一个线性关系。适用于预测任务，如价格预测。决策树随机森林神经网络支持向量机线性回归典型算法典型算法：机器学习的分类1.2.2无监督学习定义：无监督学习不依赖于标注数据集，而是试图在没有明确标签的情况下，发现数据的结构和内在规律。它的目标是探索数据的分布、结构或隐藏的模式。学习过程：数据收集：无监督学习依赖的数据集通常不包含目标标签，只包含输入特征。模式发现：在数据没有标签的情况下，算法通过聚类、降维、关联分析等方法来寻找数据中的潜在模式或结构。结果解释：无监督学习的结果通常需要人为的解释和分析。由于没有标签，模型的输出通常是数据的分组或降维后的表示。机器学习的分类应用领域：应用前景数据聚类1243推荐系统图像压缩新闻分类机器学习的分类典型算法：423101k均值聚类一种基于距离度量的聚类方法，通过不断迭代优化簇内数据点的平均值，直到簇划分收敛。常用于文本挖掘和市场分析。02主成分分析用于降维的线性方法，旨在保留数据中最大的方差，并通过线性组合得到新的主成分。03层次聚类通过计算数据点之间的相似性，逐步将数据点合并成树状结构，常用于生物学中物种的分类。04自组织映射一种基于神经网络的聚类算法，主要用于数据的可视化和降维。机器学习的分类半监督学习定义：半监督学习的本质是利用“少量有标签样本（LabeledData,记为L）”和“大量无标签样本（UnlabeledData,记为U）”共同训练模型，目标是让模型性能超越仅用“少量有标签样本”训练的监督学习模型。机器学习的分类1.2.3强化学习定义：强化学习是一种基于试错和反馈的机器学习方法，智能体在与环境的交互中不断调整自身行为策略，以最大化长期回报。机器学习的分类学习过程：环境建模：定义智能体所在的环境，包括状态空间、动作空间和奖励函数。状态表示智能体当前所处的情形，动作是智能体可以选择的行为，奖励是环境对智能体行为的反馈。探索与利用：智能体在环境中采取行动，通过探索未知的动作和策略，学习哪些行为能够带来更多的奖励。策略学习：智能体通过奖励信号不断优化其策略，使得长期回报最大化。强化学习强调通过试错找到最优策略。机器学习的分类020301机器人通过强化学习来学习如何进行自主导航、物品抓取等任务。例如,自动驾驶汽车通过与道路环境的互动不断优化驾驶策略。强化学习应用于需要动态决策的领域,如股票交易、智能电网优化等。强化学习广泛应用于各类博弈环境中,如AlphaGo、Dota2等游戏中,智能体通过与环境的互动不断提高其决策能力。机器人控制:自动化决策游戏和博弈论应用领域应用领域：机器学习的分类典型算法：423101Q学习通过学习一个状态-动作值函数（Q函数）来选择最佳行动。智能体通过不断更新Q值，来找到最佳的决策策略。02深度Q网络将Q学习与深度神经网络结合，利用神经网络来逼近Q值函数，能够处理更复杂的高维状态空间。03策略梯度方法直接优化策略函数，而不是像Q学习那样优化状态-动作值函数。适用于具有连续动作空间的问题。04蒙特卡洛树搜索用于决策过程中，通过模拟不同的行动路径来评估和选择最优的行动。广泛应用于棋类游戏。常见算法简介1.3常见算法简介1.3.1线性回归与逻辑回归

常见算法简介

常见算法简介三、线性回归与逻辑回归的区别

线性回归逻辑回归任务类型回归问题（预测连续变量）分类问题（预测类别标签）输出预测值（连续的实数值）概率值（0到1之间的概率）适用场景适用于目标变量是连续型数据的情况适用于目标变量是离散的类别标签的情况（通常为二分类）模型假设目标变量与特征之间存在线性关系目标变量是类别的概率，通过Sigmoid函数转换线性回归输出损失函数最小二乘法对数似然函数优点简单易懂，计算效率高，能够解释各特征对结果的贡献适合分类问题，输出为概率，易于理解和解释缺点只适用于线性关系，无法处理复杂的非线性关系主要适用于二分类问题，处理多分类时需要扩展或改变模型常见算法简介1.3.2k近邻、决策树与随机森林

常见算法简介决策树原理：决策树通过递归地选择最优特征来划分数据集，形成一棵树状结构，每个节点代表一个特征的决策，叶子节点代表最终的预测结果。构建过程为，首先选择划分特征，在每个节点，算法会选择一个特征来分割数据，常用的选择准则有：信息增益（informationgain），常用于ID3算法，选择信息增益最大的特征进行划分；基尼指数（giniindex），常用于CART算法，选择基尼指数最小的特征进行划分；卡方检验（chi-squaredtest），用于判断特征的显著性；均方误差（mean-squareerror,MSE），用于回归树，选择能最小化均方误差的特征。然后根据选择的特征划分数据，递归地进行划分，直到满足停止条件，如树深度达到设定值、节点样本数小于阈值等。当数据在节点中已经纯净，即属于同一类别，或满足设定的停止条件时，递归停止，生成叶节点。应用分类问题、回归问题……常见算法简介随机森林原理：（1）构建过程：数据子集选择：从原始训练集随机采样，生成多个训练子集。决策树训练：在每个训练子集上训练一棵决策树。特征子集选择：在每个节点划分时，随机选择特征子集进行分裂，而不是使用全部特征，这有助于降低不同决策树间的相关性。集成：每棵树都做出预测，然后通过投票或平均的方式得到最终的结果。应用分类问题、回归问题、特征重要性分析……机器学习的基本流程1.4机器学习的基本流程机器学习是人工智能的核心领域之一，让计算机从数据中自动学习模式和规律，以实现预测、分类、聚类等智能任务，而无需被明确编程每一步该怎么做。为什么了解机器学习基本流程机器学习基本流程是开展机器学习项目的关键指导，从问题定义到模型部署，每个环节都紧密相连。遵循这一流程，能提高项目成功率，降低错误和风险，确保模型准确有效，满足实际需求，如精准的医疗诊断模型、高效的推荐系统。下面将对整个流程进行详细阐述。机器学习的基本流程问题定义问题定义是整个机器学习项目的基础,明确了要解决的具体任务,并决定了采用的算法、评估标准和数据收集方法。问题定义的目标是确保模型最终能够解决业务需求或实际问题。1明确任务类型：分类问题、回归问题、聚类问题、推荐问题、异常检测问题

3业务需求对接：了解问题的实际背景和需求。定义问题的可行性，确保机器学习模型能够有效解决实际问题。2确定评估指标：根据任务类型，选择合适的评估指标。机器学习的基本流程数据收集机器学习模型的质量高度依赖于数据，数据收集是关键的一步。数据的种类、质量和来源都会对模型的性能产生深远影响。1确定数据来源：公开数据集、公司内部数据、第三方数据提供商、爬虫与API。

3数据收集的合规性：确保数据收集过程中遵循隐私保护和数据安全法律法规。2数据质量评估：评估数据的完整性、准确性、一致性。机器学习的基本流程数据预处理数据预处理是对收集到的数据进行清洗、转换和准备的过程。原始数据通常不适合直接用于机器学习模型，因此需要进行处理和转换。

1．数据清洗4．特征工程2．数据格式化3．数据标准化/归一化5．数据分割机器学习的基本流程划分数据集数据集的划分对于评估模型的泛化能力至关重要，避免出现过拟合或欠拟合。常见的划分方法是：

随机将数据集分为训练集、验证集和测试集。简单划分每次使用一个样本作为验证集，其余作为训练集，适用于数据量较少的情况。留一交叉验证将数据集分为K个子集，轮流选择一个子集作为验证集，其他子集作为训练集，常见的有K-fold交叉验证。交叉验证机器学习的基本流程模型选择与训练数据集的划分对于评估模型的泛化能力至关重要，避免出现过拟合或欠拟合。常见的划分方法是：

1选择合适的算法：监督学习、无监督学习、深度学习……33．超参数调优：网格搜索、随机搜索、贝叶斯优化……2训练模型：初始化参数、训练过程、过拟合和正则化……机器学习的基本流程模型评估模型评估是对训练后的模型进行性能测试的过程，目的是了解模型的泛化能力，即其在未见过的新数据上的表现。使用测试集评估模型：使用测试集来测试模型的准确性，避免模型过拟合训练集。分类问题：通过计算准确率、精确率、召回率、F1分数等评估指标来评价模型。回归问题：通过均方误差（MSE）、均方根误差（RMSE）、决定系数（R²）等来评估模型的拟合度。混淆矩阵：对分类问题，可以使用混淆矩阵（confusionmatrix）来分析模型的具体错误，帮助理解模型偏向的类别。交叉验证：通过交叉验证对模型进行更稳定的评估，避免偶然的高低误差。

机器学习的基本流程模型优化模型优化的目标是提升模型的预测性能，确保其能够在真实数据中发挥最大作用。调整超参数：通过调节模型的超参数，如学习率、树的深度、正则化系数等，进一步提高模型性能。特征工程优化：通过增加更多有意义的特征、删除无关特征、调整特征的表达方式来提升模型的学习能力。集成学习方法：例如随机森林、XGBoost等，通过组合多个基学习器的输出，提高整体预测精度。模型融合：如投票法（voting）、加权平均法（weightedaveraging）、堆叠（stacking）等方法来组合多个模型的输出。

机器学习的基本流程模型部署一旦模型训练并优化完成，需要将其部署到生产环境中，供实际业务使用。导出模型：将训练好的模型保存为可用格式，如Pickle、Joblib、PMML、ONNX等。部署平台：将模型部署到适当的服务器、云平台或本地环境，确保其能够实时或批量进行预测。构建API：使用Flask、FastAPI等工具，将模型暴露为API服务，供前端或其他系统调用。监控模型：实时监控模型的性能，确保其准确性和稳定性。

机器学习的基本流程模型维护与更新模型一旦部署到生产环境中，仍然需要定期维护和更新，以保证其在长期使用中的表现。性能监控：监控模型在生产环境中的表现，包括准确性、召回率等。概念漂移：当数据的分布发生变化时，需要重新训练模型。监控数据分布和预测的变化，以及时识别概念漂移。增量学习：如果数据量非常大，可以使用增量学习技术，让模型在新增数据的基础上进行更新，而不是从头开始训练。

实战：实现线性回归模型1.5实战：实现线性回归模型目标本节将使用Python中的Scikit-learn库来实现线性回归模型，并对数据进行训练和预测。实验步骤具体步骤如下：1．导入必要的库2．数据加载与探索3．数据划分4．创建线性回归模型并训练5．模型预测6．模型评估7．可视化结果实战：实现线性回归模型实验步骤使用一个简单的示例数据集，假设有一个数据集，包含房屋的面积（X）和房价（Y）。这个数据集可以模拟现实中房屋面积与价格之间的关系。房屋面积（m²）房价（万元）501506018080240100300120350150400180450200500250600300700房屋面积与价格的数据关系实战：实现线性回归模型实验步骤1．导入必要的库importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltfromsklearn.model_selectionimporttrain_test_splitfromsklearn.linear_modelimportLinearRegressionfromsklearn.metricsimportmean_squared_error,r2_score实战：实现线性回归模型实验步骤2．数据加载与探索#构造数据集data={'Area':[50,60,80,100,120,150,180,200,250,300],'Price':[150,180,240,300,350,400,450,500,600,700]}#将数据转换为DataFramedf=pd.DataFrame(data)#查看数据print(df)实战：实现线性回归模型实验步骤3．数据划分#特征和目标变量X=df[['Area']]#房屋面积y=df['Price']#房价#划分数据集，80%的数据用于训练，20%用于测试X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)print(f"训练集X:{X_train.shape},测试集X:{X_test.shape}")实战：实