《人工智能技术基础》课件 第10章 机器学习方法

人工智能技术基础机器学习第十章机器学习方法本质上是利用数据确定模型参数的优化方法，类比人类的学习方法可以简单分为三大类：有监督学习（SupervisedLearging）、无监督学习（UnsupervisedLearning）和强化学习（ReinforcementLearning）。有监督学习是指使用包含标签或期望值的数据集确定模型参数的方法。无监督学习是指使用没有标签或期望值的数据集确定模型参数的方法。强化学习本质上也是无监督学习，所用的数据也是没有标签或期望值的数据，但它通过评价机构来确定学习效果，常用于控制与决策的问题中10机器学习方法简介目录Contents弱监督学习自监督学习迁移学习深度强化学习元学习和小（零）样本学习持续学习大语言模型中的机器学习方法本章小结10.110.210.310.410.510.610.710.801弱监督学习10.1弱监督学习有监督学习是最常见的机器学习方法，它要求使用的数据集必须是有标签的数据集。现实中很难保证每一样本都有标签，也难以保证标签的准确和正确，这些情况下的监督学习方法称为弱监督学习（WeaklySupervisedLearning）。根据数据样本标签的情况，弱监督学习又分为不完全监督、不确切监督和不准确监督学习三种类型。不完全监督学习是针对训练样本集中存在大量无标签样本的学习方法，它又可以分为主动学习和半监督学习两类弱监督不完全监督强监督不确切监督不精确监督10.1弱监督学习10.1.1主动学习在某些情况下，没有类标签的数据相当丰富而有类标签的数据相当稀少，并且人工对数据进行标记的成本又相当高昂。此时可以令学习算法主动地提出要对哪些数据进行标注，之后将这些数据送到专家那里让他们进行标注，再将这些数据加入到训练样本集中对模型进行训练。这一过程叫做主动学习（ActiveLearning）衡量选择的价值，有两个广泛使用的标准，即信息量（Informativeness）和代表性（Representativeness）不确定抽样：训练单个学习器，选择学习器最不确信的样本向先知询问标签信息。投票询问：生成多个学习器，选择各个学习器争议最大的样本向先知询问标签信息。10.1弱监督学习10.1.2半监督学习样本数据类别标签缺失部分特征维缺失噪声自训练协同训练02自监督学习10.2自监督学习有监督、无监督和自监督学习的区别自监督学习的主要思想是利用输入数据本身的特性，通过对数据进行一定的变换或生成，得到新的数据，然后利用这些新的数据对模型进行有监督的训练。自监督学习概括为两个经典定义：通过“半自动”过程从数据本身获取“标签”。用数据的其他部分预测数据的一部分。监督学习可疑标签输入输入输入1输入2目标有限能力无监督学习自监督学习从共同输入中的相关信息中派生标签自监督上游任务预训练无标签数据集有标签有监督下游任务训练10.2自监督学习10.2.1生成式自监督学习生成式自监督学习恢复原始像素、标记信息自编码器自回归变形金刚编码器生成对抗网络10.2自监督学习10.2.2判别式自监督学习判别式自监督学习主要指的是对比学习TexthereDeepInfoMaxSimCLRBYOLMoCoCMC对比学习超越了在ImageNet数据集的Top-1的准确率ResNet50对比学习框架分为两种类型：上下文-实例对比和上下文-上下文对比10.2自监督学习10.2.2判别式自监督学习上下文-上下文：上下文-实例：预测相对位置（PRP）重点学习局部成分之间的相对位置。全局上下文是预测这些关系的隐含要求（例如了解大象的长相对于预测其头尾之间的相对位置至关重要）。最大化互信息（MI）关注学习局部和全局内容之间关系的显式信息。局部成分之间的相对位置将被忽略。1.基于聚类的判别DeepClustering网络将聚类分配和上下文相似度作为伪标签，来学习卷积神经网络的参数。不同通道间的数据也存在空间上的上下文关联规律，可以利用这种关系在不同通道间交叉监督、预测，进行图像着色。2.基于通道的上下文方法3.基于图像空间上下文

图像的空间上下文信息、连续性可用于设计自监督学习的先前任务。4.基于时序信息的上下文

视频中蕴含着丰富的时空信息，内在的时间序列逻辑信息可以作为自监督学习的监督信号。输入卷积BP分类聚类伪标签原始数据原始数据通道预测数据通道预编码数据自编码器输入图像灰度图像通道彩色图像通道预测彩色图像通道预测灰度图像通道预测图像03迁移学习10.3迁移学习迁移学习的思路：令机器像人那样从已有知识中学习经验，从而能够在新任务中实现快速掌握技能的目的。如会骑自行车的人能够更快掌握骑电动车的要领。会下围棋的人在下五子棋时更容易掌握千变万化的招数。迁移学习可以定义为利用已掌握的源域上的学习任务帮助解决目标域上的学习任务。源域目标域迁移学习知识学习任务学习任务10.3迁移学习源域：已具有的知识或经验模型目标域：待迁移的任务源域中筛选出与目标域高度相似的数据，然后对目标域进行训练。基于实例源域和目标域有一些交叉特征，通过特征变换将两个域数据变换到同一特征空间，然后进行训练。基于特征源域与目标域是相似的，它们之间存在或可以共享的某种关系，从而训练目标域。基于关系源域和目标域可以共享一些参数，由源域学习到的模型可以用到目标域上。相当于预训练+微调。基于模型10.3迁移学习基于实例的深度迁移学习基于映射关系的深度迁移学习基于网络的深度迁移学习基于对抗的深度迁移学习目标域源域目标域源域新数据空间映射源域目标域源标签目标标签域标签对抗层04深度强化学习10.4深度强化学习强化学习（ReinforcementLearning）是一类特殊的机器学习算法，借鉴于行为主义心理学。与有监督学习和无监督学习的目标不同，算法要解决的问题是智能体（Agent，即运行强化学习算法的实体）在环境中怎样执行动作以获得最大的累计奖励。例如，对于自动行驶的汽车，强化学习算法控制汽车的动作，保证安全行驶到目的地。对于围棋算法，算法要根据当前的棋局来决定如何走子，以赢得这局棋。10.4深度强化学习10.4.1强化学习系统概述策略（Policy）定义了智能体在特定时间的行为方式值函数（ValueFunction）表示了智能体通过传感器对环境做出了综合性判断。模型（Model）是一种对环境反映模式的模拟。智能体根据模型对外部环境进行推断，有着独立的环境的认知。10.4深度强化学习10.4.2基于值函数的深度强化学习基于值函数的强化学习也就是基于价值估计的强化学习，Q-learning算法是最经典的强化学习算法，它针对的是离散状态、离散动作的情况，这里的离散指的是马尔科夫决策过程中状态和动作的数量都是有限的，在这种情况下，Q-learning直接用一个表格来描述所有的最优Q值。Deep-Qlearning（DQN）状态动作网络Q值状态网络Q值1Q值2Q值310.4深度强化学习10.4.3基于策略的深度强化学习基于值函数的强化学习对最优Q值进行估计，而基于策略的强化学习则直接对最优策略进行估计。在强化学习中，策略分为两种，一种策略为确定性策略，可以直接对状态到最优动作之间的映射进行估计。另一种是随机性策略，需要对状态到最优动作概率分布之间的映射进行估计，然后从该概率分布中进行采样得到输出动作。10.4深度强化学习10.4.4基于演员-评论家的深度强化学习基于演员-评论家（Actor-Critic）的强化学习结合了值函数优化与策略优化方法的特点，同时对最优Q值以及最优策略进行学习，最终策略网络的输出即为最优动作，动作空间既可以是离散的，也可以是连续的。深度确定性策略梯度（DeepDeterministicPolicyGradient，DDPG）算法，适用于解决连续动作空间上的DRL问题。DDPG分别使用两个深度神经网络来表示策略网络和值网络。策略网络用来更新策略，对应AC框架中的演员；值网络用来逼近状态-动作对的值函数，并提供梯度信息，对应AC框架中的评论家。实验表明，DDPG不仅在一系列连续动作空间的任务中表现稳定，而且求得最优解所需要的时间步也远远少于DQN。异步的优势演员-评论家算法全局网络策略网络输入网络1网络2网络3网络n环境1环境2环境3环境n10.4深度强化学习10.4.5多智能体深度强化学习多智能体系统中，每个智能体所对应的环境包含了其他智能体的策略，此时智能体状态的改变不再只取决于自身的动作和状态，还会取决于其他智能体的策略，而这些策略在智能体学习的过程中会不断地发生变化，这使得环境非平稳变化，马尔科夫特性不再满足，给智能体策略的学习带来了困难。多智能体强化学习05元学习和小（零）样本学习10.5元学习和小（零）样本学习元学习（Meta-Learning）被称为学习如何学习（LearningtoLearn），就是通过之前任务的学习使得模型具备一些先验知识或学习技巧，从而在面对新任务的学习时，不至于一无所知。而小（零）样本学习（Few/Zero-ShotLearning,FSL），也可称作低样本学习（Low-ShotLearning,LSL），是通过有限的训练样本，甚至缺乏训练样本条件下，训练模型的方法，是近年来机器学习方法研究中的热点之一。训练任务1训练任务2……测试任务1……支持集支持集支持集查询集查询集查询集10.5元学习和小（零）样本学习10.5.1基于模型的元学习方法元学习的核心是对先验知识的利用，小样本学习作为一种元学习方法，所能用到的先验知识只能是少量的训练数据。近几年，小样本学习有较快发展，提出了多种方法，有直接利用变换的，有利用外部存储和生成模型的，但它们都是以各种模型为基础实现的，本质上都是基于模型的元学习方法。10.5元学习和小（零）样本学习10.5.1基于模型的元学习方法：基于度量学习的小样本学习基于度量学习的小样本学习通过学习训练一个模型（嵌入（Embedding）函数），将输入空间映射到一个新的嵌入空间，在嵌入空间中用一个相似性度量来区分不同类别。基于孪生网络（SiameseNetwork）的小样本学习使用两个具有相同模型参数值的相同网络来提取两个样本的特征，通过鉴别器判断提取出的特征是否属于同一类对象。从而期望找到该样本属于同一类或将它们区分开来的特性。小样本训练集测试样本先验知识嵌入嵌入相似性预测特征提取特征提取鉴别器10.5元学习和小（零）样本学习基于原型网络（PrototypicalNetworks）的小样本学习孪生网络的缺点就是要对比目标和过去每个样本之间的相似度。而原型网络则是先把样本投影到一个空间，然后计算每个样本类别的中心，在分类的时候，通过对比目标到每个中心的距离，从而分析出目标的类别。5-way-1-shot的关系网络（RelationNetwork）小样本学习不论是孪生网络还是原型网络，在分析两个样本的时候都是通过嵌入(Embedding)空间中的特征向量距离（比如欧氏距离）来反映，而关系网络则是通过构建神经网络来计算两个样本之间的距离从而分析匹配程度，与孪生网络、原型网络相比，关系网络提供了一个可学习的非线性分类器用于判断关系，而孪生网络、原型网络的距离只是线性的关系分类器。10.5.1基于模型的元学习方法：基于度量学习的小样本学习小样本零样本嵌入模型关系模型特征图连接关系分数独热编码10.5元学习和小（零）样本学习10.5.1基于模型的元学习方法：基于外部存储的小样本学习使用外部存储器的小样本学习从训练集（Dtrain）中提取知识，并将其存储在外部存储器中。然后，每个新样本由从内存中提取的内容的加权平均值表示。这种方法对代表先验知识的映射要求比较高，对样本少的类别也要能提取出区分度高的特征，此外对外存的容量控制要求也比较高。小样本训练集测试样本先验知识先验知识嵌入嵌入内存

内存

键

值

键

值

写入

输出

读取相似度

预测

10.5元学习和小（零）样本学习10.5.1基于模型的元学习方法：基于生成建模（GenerativeModeling）的小样本学习生成建模方法借助先验知识从观测到的x估计概率分布p(x)。p(x)的估计通常涉及p(x|y)和p(y)的估计。通常使用一些大规模数据集对生成模型进行训练，训练完成后学习，可以直接应用于新任务。生成模型可以使用变分自编码器（VAE）、自回归模型、生成对抗网络（GAN）等。小样本训练集测试样本先验知识先验生成模型模型分配生成预测10.5元学习和小（零）样本学习10.5.2模型无关的元学习方法模型无关元学习（Model-AgnosticMeta-Learning,MAML）的思想是学习一组最好的初始化参数，使得它能够在任意一个新任务上只需要使用少量的样本（Few-ShotLearning）进行几步梯度下降就可以取得很好的效果，再针对具体的任务进行微调，使得模型在小样本上也能达到较好的效果。MAML算法的三个步骤：对于给定的任务，随机抽取少量样本组成训练集。内层优化：针对每个任务计算对应的损失函数，使用梯度下降法，更新相应的模型参数。外层优化：用新模型分别计算每个任务的元测试类，得到三个损失函数，再加起来，作为一个批次（Batch）的总损失。MAML的两层训练结构06持续学习10.6持续学习如何让机器像人一样具有不断学习的能力是人工智能追求的终极目标之一。在许多文献中，持续学习也被称为增量学习（IncrementalLearn）或终身学习（Life-longLearning）。持续学习模拟了人类大脑的学习思考方式，既能够对新数据进行利用，又能够避免遗忘问题；对曾经训练过的任务依旧保持很高的精度，即具有可塑性和稳定性。持续学习的各种算法与常规的方法一样都是模型参数优化过程，但它是逐任务学习，追求尽量不要学新忘旧，学好的模型要有良好的泛化能力。持续学习框架任务A任务B任务C时间轴（有限资源）稳定性可塑性普遍性数据数据数据损失重装数据结构数据表征

优化

调整

10.6持续学习10.6.1持续学习的应用场景和主要挑战持续学习的应用场景实例增量学习（Instance-IncrementalLearning，IIL）：所有各类训练样本都属于同类的任务，且都在同批次中到达。域增量学习（Domain-IncrementalLearning，DIL）：任务有相同的数据标签，但却有不同的输入分布。不同时刻到达的数据属于同一任务的相同类别，但是数据分批次到达，且输入数据的分布发生了变化不再符合静态同分布假设。任务增量学习（Task-IncrementalLearning，TIL）：任务有不相交的数据标签空间，且训练集和测试集都给出了任务标签。类增量学习（Class-IncrementalLearning，CIL）：任务有不同的数据标签空间，仅在训练集中有任务标签。在不同时间段所收集的数据均属于同一分类任务的不同类别，且类别没有交叉。无任务持续学习（Task-FreeContinualLearning，TFCL）：任务有不相交的数据标签空间，但训练集和测试集均没有任务标签，这是难度最大的场景之一。任务不可知持续学习（Task-agnostic，CL）：最有挑战性的持续学习场景。在该场景下，不同时刻收集的训练数据的数据和标签分布不一致，在测试过程中，存在测试数据以及对应的分类标签完全不同于任意一个时刻的训练数据的场景。在线持续学习（OnlineContinualLearning，OCL）：任务有不相交的数据标签空间。边界模糊持续学习（BlurredBoundaryContinualLearning，BBCL）：任务边界模糊，数据标签空间有重叠。持续预训练（ContinualPre-training，CPT）：预训练数据按顺序到达，目的是改善下游任务的学习性能。10.6持续学习10.6.1持续学习的应用场景和主要挑战持续学习中的主要挑战：灾难性遗忘以及稳定性-可塑性权衡灾难性遗忘分析灾难性遗忘是指模型在多个时间片分别学习不同任务时，在后来时间片中对新任务泛化的同时，在先前时间片的老任务上表现断崖式下降。为了解决灾难性遗忘，通常可以通过一些方法保留过去的知识，限制模型权重的改变。譬如可以用一个存储器保留过去训练中的一些数据，或者是一些梯度记录，从而在每次更新时对当前更新加以限制。但是，这样的方法也带来了一个新的问题：模型的稳定性和可塑性的平衡。任务1损失

任务2损失

任务1损失+任务2损失

10.6持续学习10.6.1持续学习的应用场景和主要挑战持续学习中的主要挑战：灾难性遗忘以及稳定性-可塑性权衡模型的稳定性定义为模型适应新场景的时候在旧场景上的表现；而模型的可塑性则指在旧场景中训练的模型是否能通过优化在新场景中表现优异。缺乏稳定性（遗忘性）

缺乏可塑性

稳定性和可塑性

稳定性+前向传递

双向传递

较好

较差

10.6持续学习10.6.2持续学习的主要方法

持续学习的分类持续学习方法

基于调整的方法基于重装的方法基于优化的方法基于表征的方法经验法生成法特征法元学习梯度投影损失分析自监督学习预训练下游任务连续预训练基于架构的方法参数分布模型分解分子网络权重调整功能调整知识蒸馏新样本旧样本生成数据无标签数据10.6持续学习10.6.2持续学习的主要方法基于正则化的方法（Regularization-basedApproach）基于正则化的方法实质上就是在旧模型上添加正则化项来平衡新旧任务，这通常需要存储旧模型的冻结副本以供参考，然后加入正则化损失以在学习新数据时限制旧知识的遗忘。根据正则化的目标，这类方法又可以细分为权正则化和函数（数据）正则化法。冻结的旧模型权重调整特征特征模型调整损失损失10.6持续学习10.6.2持续学习的主要方法基于回放的方法（Replay-basedApproach）基于回放的方法基本思路为对之前的关键数据，或是模型梯度进行存储或压缩存储。在学习新任务时，为减少遗忘，可以在训练过程中重放先前任务中存储的样本，这些样本/伪样本既可用于联合训练，也可用于约束新任务损失的优化，以避免干扰先前任务。缓存生成模型训练保存重装斑马

大象条纹

长鼻子噪声条纹

长鼻子噪声斑马

大象

野兔

小鸟10.6持续学习10.6.2持续学习的主要方法基于优化的方法（Optimization-basedApproach）持续学习不仅可以通过向损失函数添加额外的项来实现，还可以通过显式地设计和操作优化程序来实现。例如参考旧任务和新任务的梯度空间或输入空间的梯度投影，采用双层元学习方法在内环训练顺序到达的任务，外环再次对它们优化，使各任务在梯度空间和损失空间的交集都有较低错误的综合最优学习结果。梯度投影正交任务A低错误任务A两者的低误差低错误任务B低错误任务A低错误任务B两者的低误差低损失路径低损失路径误差分析元学习内循环其他循环任务A任务B10.6持续学习10.6.2持续学习的主要方法基于表示的方法（Representation-basedApproach）该类方法通常为预训练+微调的方法。预训练通常采用自监督学习来完成，微调则采用有监督学和无监督学习（例如，指示学习和提示学习）、多任务学习、小样本和零样本学习（元学习）及人类反馈的强化学习来进行。预训练特征转换蒸馏条纹

长鼻子噪声斑马

大象对比损失冻结的或可学习的模型10.6持续学习10.6.2持续学习的主要方法基于体系结构的方法（Architecture-basedApproach）前述的持续学习主要集中在学习所有具有共享参数集的增量任务（即单个模型和一个参数空间），这是导致任务间产生干扰的主要原因。基于体系结构方法的特点是使用设计合理的体系结构构造任务特定/自适应参数，例如为每个任务分配专用参数（参数隔离法），构造针对任务的自适应子模块或子网络（动态体系结构法），和将模型分解为任务共享和任务特定组件（模型分解法）。参数分布分子网络模型分配可学习可学习冻结掩膜掩膜掩膜掩膜掩膜掩膜斑马

大象

野兔

小鸟07大语言模型中的机器学习10.7大语言模型中的机器学习大语言模型的成功，使人工智能从专用开始走向通用。机器学习方法在这一过程中功不可没，2021年之前大语言模型建模训练都是采用的预训练+微调技术，2021年之后随着提示学习和指示学习的提出大模型的能力快速提高，2022年11月30日ChatGPT的横空出世震惊了世界，使人工智能进入了大模型时代现已提出的大模型都是以Transformer为基础，它们对上游任务的预训练都是采用自监督学习方法。10.7大语言模型中的机器学习10.7.1提示学习和指示学习在这一方法中下游任务被重新调整成类似预训练任务的形式。例如，通常的预训练任务有MaskedLanguageModel，在文本情感分类任务中，对于“Ilovethismovie。”这句输入，可以在后面加上提示（Prompt）：“Themovieis___”，然后让预训练语言模型用表示情感的答案填空如“great”、“fantastic”等，最后再将该答案转化成情感分类的标签。这样通过选取合适的Prompt，可以控制模型预测输出，从而一个完全无监督训练的预训练语言模型可以被用来解决各种各样的下游任务。设计预训练语言模型的任务。设计输入模板样式（PromptEngineering）。设计标签（Label）样式及模型的输出映射到标签（Label）的方式（AnswerEngineering）。提示学习10.7大语言模型中的机器学习10.7.1提示学习和指示学习针对每个任务，单独生成Instruction（HardToken），通过在若干个全样本（Full-Shot）任务上进行微调，然后在具体的任务上进行评估泛化能力（ZeroShot），其中预训练模型参数是解冻（Unfreeze）的。指示学习实质上就是像人一样直接告诉模型如何进行分类任务，让模型学习一些分类规则和标准的指导，例如“如果文章中有比赛得分，那么很可能是体育类”等。这些指导将会被用于训练模型，从而帮助模型更好地完成分类任务。再比如，判断这句话的情感：给女朋友买了这个项链，她很喜欢。选项：A=好；B=一般；C=差。指示学习10.7大语言模型中的机器学习10.7.1提示学习和指示学习对比分析模型微调提示学习指示学习10.7大语言模型中的机器学习10.7.2上下文学习和思维链提示上下文的学习核心思想是：从类比中学习，从示例中学习。即像人一样从题目示例中学习解题方法。这种方法并不需要调整模型参数，仅用几条下游任务的示例就可以取得极佳的结果。上下文学习属于提示学习，它不需要对模型参数更新，使用下游任务的演示信息学习并推理，形式为“实例-标签”。同样是2022年初提出的思维链（Chain-of-Thought，CoT）提示不同于上下文学习，它增加了中间过程，即思维链不直接预测y，而是将y的“思维过程”r（学术上统称为relationale）预测出来。这些“思维过程”只是用来提示，获得更好的答案，实际使用时不需要展示。思维链不再是死板的提供问题和答案样例，而是给出中间推理环节，让模型学习到中间过程的推理逻辑和思考方式。上下文学习思维链提示10.7大语言模型中的机器学习10.7.2上下文学习和思维链提示基本思维链（Few-shot-CoT）标准提示词思维链提示词模型输入模型输入模型输出模型输入10.7大语言模型中的机器学习10.7.2上下文学习和思维链提示零样本思维链（Zero-shot-CoT）提示10.7大语言模型中的机器学习10.7.2上下文学习和思维链提示零样本思维链（Zero-shot-CoT）提示10.7大语言模型中的机器学习10.7.2上下文学习和思维链提示思维链提示的改进及与微调技术的结合思维链多思维链三思维链图思维链基本输入输