《新一代信息技术与人工智能导论》课件第3章 机器学习与深度学习

第3章

机器学习和深度学习机器学习概述机器学习融合多种理论与技术，通过算法设计与模型训练，实现从数据中自动提取规律、预测未知结果或优化决策过程的能力。其应用范畴覆盖人工智能、自动驾驶等前沿领域。机器学习是实现人工智能的一个核心技术，也是使计算机具有智能的根本途径。4机器学习的概念机器学习是一门通过计算手段利用经验数据优化系统性能的学科。“经验”以结构化或非结构化数据的形式存在，其核心研究内容是开发能从数据中自动生成预测模型的学习算法。经验数据➡学习算法➡反映数据规律的模型新场景（例如收到一封未知邮件）➡模型➡智能决策（如判断是否为垃圾邮件）5机器学习的三大范式监督学习

其核心是从带标签的训练数据中学习映射关系。模型通过输入特征及其对应的已知输出（标签）进行训练，目标是学习一个函数，能对新的、未见过的输入数据预测出正确的输出；主要任务是分类和回归。无监督学习其核心是发现无标签数据中隐藏的结构或模式。模型在没有预定义答案的情况下，通过分析数据本身的特性（如相似性、分布）来探索其内在组织；主要任务是聚类和降维。强化学习其核心是智能体通过与环境交互学习最优决策策略以最大化累积奖励。智能体在特定状态下执行动作，环境给予奖励或惩罚反馈，目标是学习一个策略，使长期获得的奖励总和最大；特点是试错学习和延迟回报。6监督学习Step1：输入数据训练数据包括文本、文档、图像等原始数据，每条数据均带有对应的标签（Label）。例如，一张猫的图片对应标签“猫”，一封邮件对应标签“垃圾邮件”或“正常邮件”。Step2：特征提取原始数据需转化为计算机可理解的数值形式，即特征向量。例如，图像可提取颜色、形状等特征，文本可提取关键词频率等。Step4：预测与应用训练好的模型可将新数据（如新图片）转化为特征向量输入，输出预期标签。例如，输入一张未知动物的图片，模型可预测其类别为“狗”或“猫”。Step3：模型训练机器学习算法（如决策树、神经网络）通过分析特征向量与标签之间的关系，构建一个监督学习模型。训练过程中，模型会不断调整参数以减少预测误差，这一过程可能包含反馈机制（如梯度下降法）。

监督学习（SupervisedLearning）是机器学习中理论基础最完备、应用最成熟的范式。该方法的数学本质是建立从输入空间X到输出空间Y的映射函数f:X→Y。训练过程需要满足三个基本条件：特征数据集合、对应的标签集合以及定义明确的损失函数。典型的损失函数包括均方误差（回归问题）和交叉熵（分类问题）。7无监督学习8

无监督学习（UnsupervisedLearning）的核心目标是发现未标记数据中的内在结构与规律，其数学基础主要依托‌概率统计模型‌（如高斯混合模型、隐变量模型）和‌优化理论‌。与监督学习不同，该方法不依赖外部标注，而是通过定义相似性度量（如欧氏距离、余弦相似度）或概率分布假设来揭示数据本质特征。

在无监督学习领域，核心任务是在向算法提供无标签的训练数据集的条件下，使算法能够独立地辨识数据内部的潜在规律。例如，当向人工智能系统提供1000首未标记的音乐作品时，该系统能够依据节奏和音色等特征，自动将这些音乐作品归类为“摇滚”、“爵士”等不同的风格类别。强化学习（1）智能体（Agent）：强化学习中的主要参与者，它会根据环境的反馈来做出决策。智能体可以是一个软件程序，也可以是一个物理上的实体。（2）环境（Environment）：智能体在强化学习过程中的反馈来源。环境会提供智能体的状态信息和奖励反馈，并根据智能体的动作进行更新。（3）状态（State）：描述了智能体在环境中的当前情况。状态可以是一个向量/矩阵，也可以是一个离散的取值。（4）动作（Action）：智能体在环境中进行的操作。动作可以是一个连续的值，通常是一个实数向量/矩阵，也可以是一个离散的取值，通常是一个整数或符号。（5）奖励（Reward）：智能体在环境中进行操作时收到的反馈信息。奖励可以是正数、负数或者零，表示智能体的行为是好是坏，或者没有明确的奖励和惩罚。（6）策略（Policy）：智能体在不同状态下选择动作的规则。策略可以是确定性的，也可以是随机的。（7）值函数（ValueFunction）：智能体在状态下遵循策略能够获得的累积奖励的期望值。9机器学习常见算法在机器学习的广阔领域中，常见算法就如同基石，支撑着各种实际应用。下面，让我们一起走进这些算法的世界，探索它们的奥秘。回归算法核心目标是预测连续数值输出。它基于输入特征（自变量）与已知的连续目标值（因变量）之间的关系建立数学模型，用于估计未知数据点的数值结果。分类算法核心目标是预测离散类别标签。它通过学习输入特征与预定义类别标签之间的映射关系，构建模型以判断新数据点最可能属于哪个类别。聚类算法核心目标是发现数据中的自然分组（簇）。它基于数据点之间的相似性（距离、密度等）进行无监督学习，将未标记的数据自动划分为不同的组，使得组内数据相似度高，组间差异大。11线性回归以房价预测为例，如果房价只受房子面积这一个因素影响，那就是一元线性回归问题；但实际上，房价往往还会受到楼层、朝向、楼龄、配套设施等多个因素的影响，这就变成了多元线性回归问题。12分类算法根据给定的数据（每个数据都有对应的标签或类别），构建一个模型，以便对新的数据进行分类。当分类的类别有多个时，称为多类分类问题类别只有两个时，就是二类分类问题13逻辑回归逻辑回归（LogisticRegression)，虽然名字里有“回归”，但它是用来解决分类问题的。它的原理很巧妙，是在线性回归输出的结果上加上一个Sigmoid函数，这个函数就像一个“神奇的转换器”，能将连续的输出值转换成概率值（离散型结果）。14K近邻近朱者赤，近墨者黑在一个样本的特征空间中，看它周围K个最相似的样本中大多数属于哪个类别，那么这个样本就属于那个类别K值的选择、距离度量和分类决策规则的确定都非常关键。不同的K值会对分类结果产生很大影响。假设取K=3（3个样本），则？号属于红色三角形，因为红色三角形多于蓝色正方形，如果取K=5（5个样本），则？属于蓝色正方形。因此，选择不同的K值对于KNN算法的分类结果影响很大K值的选择需要综合考虑多种因素，通过实验和交叉验证来确定最佳的K值。在具体应用中，可以选择一些常用的经验值，如3、5、7等，或者根据具体情况选择合适的K值。15聚类算法先给定初始划分的K个类别，然后通过不断迭代，改变样本和簇的隶属关系，让每次划分后的结果都比上一次更好（也就是总的数据集之间的距离和变小）K-means聚类算法的具体步骤如下‌：（1）‌初始化‌：随机选择K个数据点作为初始质心。这就好比在一片数据的“海洋”中，随机选取几个“锚点”。（2）‌分配簇‌：对于数据集中的每个数据点，计算它到各个质心的距离，并将其分配到距离最近的质心所在的簇。就像每个数据点都在寻找离自己最近的“组织”。（3）‌更新质心‌：对于每个簇，计算所有分配到该簇的数据点的平均值，以此更新该簇的质心。这一步是为了让每个“组织”的中心更能代表这个“组织”内的数据特点。（4）‌重复‌：不断重复步骤2和3，直到质心不再发生显著变化，或者达到预设的迭代次数。此时，聚类的结果就相对稳定了。16为什么需要深度学习深度学习是基于人工神经网络的学习算法，特别是那些具有多层（深层）结构的网络。这些算法模仿人脑的信息处理方式，通过构建多层的非线性变换来学习数据的高层次特征。在深度学习模型中，每一层都能对输入数据进行转换和非线性运算，较低层次可能识别边缘、颜色和纹理等简单特征，而更高层次则组合这些简单特征来识别更复杂的模式，如物体的形状、场景的组成等。深度学习模型通常需要大量的数据来训练，以便能够准确地学习和提取特征。18传统方法的局限1920世纪90年代，专家系统虽在特定领域表现出色，却难以应对需要泛化能力的预测性任务，尤其在图像识别等领域表现不佳，导致符号主义技术路线失去资本市场信心，人工智能一度陷入低谷。与此同时，受生物神经机制启发的人工神经网络逐步发展，从简单感知机到多层感知机（MLP）再到深度神经网络，持续取得突破。在图像识别等复杂任务中，传统机器学习方法（如支持向量机、随机森林）难以自动提取有效特征和应对高维数据，而深度学习能够自动学习多层次特征表示，显著提升识别准确率，展现出在智能处理中的巨大优势和重要性。传统方法的局限依赖人工设计特征（如边缘、纹理、颜色统计），难以全面捕捉图像复杂性，导致区分能力弱（如无法分辨猫狗耳朵、毛发与布料、红苹果与红气球）。01特征工程低效对光照、角度、遮挡敏感。例如：光照变化使人脸识别失效；视角变化导致HOG特征不一致；遮挡时无法通过局部特征推断整体。02环境鲁棒性差03图像维度极高（如百万像素），引发"维度灾难"：计算量剧增（如SVM训练指数级耗时），且无法自动过滤像素冗余与噪声。高维数据处理难线性模型（逻辑回归）无法分割非线性交织的类别（如猫狗像素分布）；浅层非线性模型（核SVM）受限于核函数，难以表达多层级抽象关系。04非线性建模不足19深度学习的优势01通过神经网络（如CNN/RNN）直接从原始数据逐层学习抽象特征，避免传统方法中人工设计特征（边缘/纹理等）的低效与局限性。02利用多层非线性变换（激活函数+深度结构）逼近任意复杂函数，突破传统线性模型（逻辑回归）或浅层模型（SVM）的能力边界。03超大规模参数（如千亿级）从海量数据中挖掘统计规律，性能随数据量持续提升，传统模型（如随机森林）则易饱和。自动特征提取强大非线性建模海量数据高扩展性深度学习的优势04统一框架（如Transformer）处理图像/文本/语音等多模态数据，传统方法需为不同模态设计独立算法（SVM/HMM等）。05整合特征提取、分类、后处理等流程为单一模型优化，传统方法依赖复杂多模块流水线。06通过迁移学习/微调复用预训练知识快速适配新任务，传统模型需从头训练。跨模态通用性端到端学习自适应进化能力人类大脑的启示22深度学习的核心思想源于对人类大脑结构和信息处理机制的模拟。本小节通过类比生物神经元与人工神经网络的设计，能够帮助理解深度学习的基本原理及其与大脑的关联。生物神经元示意如图所示。人类大脑的启示22人类大脑由约860亿个神经元组成，这些神经元通过突触连接形成复杂的网络，负责感知、思考和决策。深度学习的灵感正源于此。通过模拟神经元之间的连接和信号传递，构建多层人工神经网络，实现从数据中自动学习复杂规律的能力。大脑的分层信息处理（如视觉皮层从边缘到形状的逐层抽象）启发了深度学习的“分层特征提取”设计。人类大脑的启示22人工神经元中，激活函数常以σ表示，神经元的激活值一般以a表示。如图3-6人工神经元示意图所示，激活函数会获取与之相连的前序神经元的输出，据此确定本神经元的激活值a，并将该状态传递给后续神经元。人工神经元由输入、输出和激活函数三部分构成。类比生物神经元，人工神经元的输入类似树突，负责接收信息；输出如同轴突，用于传递信息；激活函数则相当于神经元的细胞体，对输入信息进行处理。其中，y为神经元的输出，f为激活函数，对输入进行非线性变换决定神经元是否激活；n表示输入数量；wi是第i个输入xi对应的权重体现其重要程度；xi为第i个输入值；b是偏置，影响神经元激活难易程度。人类大脑的启示22激活函数是人工神经元的核心组件，它决定了神经元在何种输入条件下会被激活。最早的人工神经网络——感知机，由美国科学家弗兰克・罗森布拉特（FrankRosenblatt）于1957年提出，它采用阶跃函数作为激活函数。具体而言，对感知机的一个神经元来说，其激活函数为：以简单感知机为例，假设要决策晚上是否去逛街，该决策取决于三个因素：x1代表天气，x2代表交通，x3代表是否有同伴，w1、w2、w3分别是这三个因素对应的权重，反映各因素的重要性。将三个因素加权求和得到z=w1x1+w2x2+w3x3+b。若z≥0，则输出y=1，即去逛街；若z<0，则输出y=0，即不去逛街。其中，偏置b则反映了个人对于去逛街这件事的偏好程度。比如b值较高时，就需要wixi的加权求和值足够大，才会做出去逛街的决策（输出为1）。人工神经网络输入层：接收原始数据（如图像像素），神经元数量等于输入特征维度（如100×100灰度图对应10,000个神经元），仅传递数据不作计算。隐藏层：位于输入/输出层之间，含多层神经元，通过权重连接前后层，执行加权求和+激活函数变换，学习数据的非线性特征与复杂模式。输出层：生成最终结果，神经元数量由任务决定：二分类任务用1个神经元输出概率，多分类任务用N个神经元输出各类别可能性。23人工神经网络前向传播：输入数据从输入层→隐藏层→输出层单向传递，每层执行加权求和+激活函数变换，最终生成预测结果。反向传播：根据损失函数计算预测误差，将误差从输出层反向传递至输入层，逐层计算权重梯度并更新权重，逐步优化模型性能。损失函数作用：量化预测结果与真实标签的差异，指导模型优化方向。均方误差（MSE）：用于回归问题（如房价预测），计算预测值与真实值之差的平方均值。交叉熵损失：用于分类问题（如图像分类），衡量预测概率分布与真实分布（独热编码）的差异，值越小表明预测越准确。24深度学习的流程深度学习在当今科技领域发挥着至关重要的作用，从智能语音助手到精准的图像识别系统，从个性化推荐引擎到自动驾驶技术，它的应用无处不在。而深度学习的卓越性能离不开其严谨且科学的流程。深度学习的流程涵盖数据收集、数据清理、特征提取与选择、模型训练、模型评估测试等多个关键环节，各环节紧密关联、相互影响。25深度学习的流程1．数据收集数据是深度学习的基础，优质的数据集直接影响模型性能。每个样本包含若干特征，如房价预测中的面积和地理位置，不同任务需关注不同特征。可优先使用公开数据集，如MNIST，因其更规范、更易被认可。若没有合适的数据集，则需自行采集和处理数据。通常，数据分为训练集、验证集和测试集，分别用于模型训练、调参和最终评估，确保模型具备良好泛化能力。25深度学习的流程252．数据清理深度学习对数据质量要求高，需进行数据清理。常见做法包括：处理缺失值（如删除、填充均值/中位数，或用模型预测），以减少数据损失并保留特征关系；处理离群点和噪声（如分箱平滑、聚类检测），避免其干扰模型训练；去除冗余（如删除重复样本和可推导特征），以提升训练效率和模型性能。深度学习的流程253．特征提取与选择深度学习中，数据常包含许多无用或冗余特征，容易影响模型效率和准确性，特征选择可以筛选出最有价值的特征，提升模型表现。常用方法有：①过滤法，通过特征与目标的相关性直接筛选，效率高，适合高维数据；②包装法，把特征组合与模型性能结合，反复训练找出最佳特征子集，精度高但计算成本大；③嵌入法，将特征选择融入模型训练过程，模型自动识别和弱化不重要特征，适合复杂神经网络。合理选择特征选择方法能减少过拟合、提高效率和模型解释性。深度学习的流程254．模型训练深度学习模型的选择需根据数据是否有标签（监督或非监督）、任务类型（分类或回归）和数据规模决定，选择合适的网络结构如CNN或RNN。模型训练通过优化算法调整参数，使预测接近真实值，并利用验证集防止过拟合。训练后可用交叉验证和模型融合进一步提升性能。合理的模型选择与训练是深度学习落地应用的关键步骤。深度学习的流程255．模型评估测试深度学习模型训练后需评估其性能，常用二分类指标包括准确率、精确率和召回率。准确率是模型预测正确样本占总样本的比例，但在类别不均衡时可能误导，比如全部预测为“猫”也能得到高准确率。此时，需关注精确率（预测为“猫”中实际为猫的比例）和召回率（实际为猫中被正确识别的比例），才能全面