智能物联网-课件 第8章 - 智能物联网机器学习

×第八章智能物联网机器学习MachineLearningofArtificialIntelligenceofThings智能物联网导论课程组西北工业大学计算机学院目录8.1.概述8.2.主要研究方向

8.2.1物联网联邦学习8.2.2物联网智能决策8.2.3物联网知识迁移8.3.总结与展望8.4.习题8.1概述智能物联网的学习机制目的在于通过已有数据、相关知识、历史经验、局部/全局目标等对物联网模型和知识体系进行建立和更新传统物联网学习边端采集数据云端处理数据云边端整体参与到感知、学习和决策过程中智能物联网学习知识层面：根据动态情境进行自适应学习等行为层面：通过交流、协作做出决策反馈4联邦学习、智能决策、知识迁移是三类主要的学习模式8.1概述物联网联邦学习物联网智能决策物联网知识迁移旨在解决多个参与方之间的信息共享、协作学习及数据隐私问题旨在使单个设备在复杂动态环境下进行自动化决策，及满足多个设备的全局目标最优旨在降低知识库构建成本，实现模型在新场景、新领域的高效泛化目录8.1.概述8.2.主要研究方向

8.2.1物联网联邦学习8.2.2物联网智能决策8.2.3物联网知识迁移8.3.总结与展望8.4.习题8.2.1物联网联邦学习智能物联网数据交互共享中存在着隐私问题，采用联邦学习实现数据不出本地的同时联合群智能体建立模型联邦学习基本流程服务器初始化任务模型并下发至参与者参与者本地训练模型并上传至服务器服务器聚合接收到的模型后再次下发联邦学习整体执行着模型下发-本地训练-上传聚合的循环过程8.2.1物联网联邦学习现有联邦学习方法依照样本划分方式主要分为横向、纵向、迁移三种联邦学习范式联邦学习横向联邦学习：适用于样本特征重叠较大，用户重叠较大纵向联邦学习：适用于样本特征重叠较小，用户重叠较大联邦迁移学习：适用于样本特征和用户重叠都较小在真实场景下，联邦学习面临着设备、数据和模型的异构挑战8.2.1物联网联邦学习智能物联网下的联邦学习面临着设备异质性、数据异质性和模型异质性的三大挑战联邦学习三大挑战设备异质性：参与者的硬件差异性给系统设计部署带来挑战数据异质性：非独立同分布的数据特性给建模等带来挑战模型异质性：参与者持有个性化模型给聚合策略带来挑战设备异质性数据异质性模型异质性针对上述挑战，三种联邦学习范式给出各自的解决方案8.2.1横向联邦学习横向联邦学习在参与者维度对数据进行分割，进行联合建模将设备生成的数据约束在本地进行存储和处理通过客户端进行本地参数上传服务器端参数融合、参数下载、本地更新的迭代过程实现模型的训练横向联邦学习架构横向联邦学习的目标任务：最小化每个客户端的本地损失总和8.2.1典型算法1:

FedAvg[1]阶段任务初始化服务器随机初始化模型参数模型下发服务器将初始化模型发送至各参与者本地训练参与者根据优化目标进行训练模型上传训练完成后，参与者将所得模型上传模型聚合服务器将所有模型参数平均，新模型产生[1]McMahanB,etal.Communication-efficientlearningofdeepnetworksfromdecentralizeddata[C]//AISTATS’17,2017.算法流程FedAvg性能相关参数主要与每轮执行计算的客户端的分数比例每个客户端每轮对其本地数据集进行训练的次数用于客户端更新的本地小批量大小8.2.1典型算法1:

FedAvg[1][1]McMahanB,etal.Communication-efficientlearningofdeepnetworksfromdecentralizeddata[C]//AISTATS’17,2017.算法问题FedAvg在非独立同分布的数据集上表现不佳FedAvg无法很好的应对设备异质性带来的问题数据异质性数据表现为非独立同分布影响算法收敛速度相关方法：FedProx设备异质性参与设备硬件状况各不相同影响参与者参与联邦学习的意愿与能力相关方法：HierFAVG8.2.1典型算法2:

FedProx[1][1]LiT,etal.Federatedoptimizationinheterogeneousnetworks[J].arXiv,2018.算法背景FedAvg中会在本地进行固定次数的迭代过程如果设备未完成相应次数的迭代，丢弃模型和让其参与聚合都会严重影响精度解决思路FedProx在每个本地训练添加一个近端项，保证未计算信息的聚合FedAvg损失FedProx近端项FedProx通过添加近端项，有效的改善了在数据异质性环境下联邦学习的收敛速度8.2.1典型算法3:HierFAVG[1][1]LiuLet.alEdge-AssistedHierarchicalFederatedLearningwithNon-IIDData[J]//arXiv,2019.HierFAVG[1]：采用分级聚合策略，减少时间浪费，缓解了设备异质性挑战参与者的更新参数首先发送至边缘服务器进行聚合边缘服务器聚合一定轮次后发送至中心服务器聚合联邦学习还可从以下三方面缓解设备异质挑战：增加本地计算量减少通信轮次修改训练算法以提高收敛速度自适应进行联邦聚合8.2.1纵向联邦学习纵向联邦学习与横向联邦学习正交，在特征维度对数据进行分割，进行联合建模纵向联邦学习架构基于加密的样本ID对齐确定公共样本采用公共样本训练加密模型8.2.1个性化联邦学习个性化联邦学习：个性化联邦学习旨在数据异质、模型异质的背景下为每个智能体提供独一无二的模型个性化单词预测用户个人信息、习惯有所不同相同输入，用户的心理预期不同（上海、北京、西安）FedAvg会输出大多数智能体可能键入的单词，但考虑到个性化风格后，可以输出更加精确的预测传统联邦学习问题由于数据异质性问题，传统联邦学习效果不佳需要采用个性化联邦学习提供千人千面的模型个性化联邦学习缓解了全局模型无法适应数据异质性和模型异质性的问题8.2.1个性化联邦学习个性化目标开发改进的个性化模型，使大多数客户受益开发精确的全局模型，使那些私人数据有限的客户受益在少量的训练轮次中实现快速模型收敛个性化步骤以传统联邦学习的方式建立全局模型用客户的私人数据对全局模型进行个性化处理8.2.1个性化联邦学习分类描述迁移学习将全体数据构成的虚拟数据集视作源域，参与设备的本地数据集视作目标域，迁移结果即为个性化模型元学习首先在全局模型训练过程中进行多任务训练，即元训练；随后采用本地数据对模型进行微调，即元测试。微调结果即为个性化模型知识蒸馏将全局模型（教师模型）知识提取至本地模型（学生模型）中。所获得的学生模型即为个性化模型。8.2.1个性化联邦学习分类描述添加智能体上下文信息将上下文信息相似的客户聚在一起训练，实现个性化联邦学习的效果基础层与个性化层分割将模型分割为在全局数据上训练的基础层和在本地数据上训练的个性化层，所获得的模型即为个性化模型。全局和本地模型的混合将全局模型与私人模型进行加权平均，实现个性化效果现有个性化联邦学习工作尚未很好考虑到设备异质性工作8.2.1物联网联邦学习联邦学习主要在通信、联邦算法、隐私保护等方面进行优化参与设备硬件资源与数据分布的复杂性为联邦学习带来了特殊的研究挑战智能物联网背景下满足硬件需求的同时模型精度尽可能的高满足特定任务同时保持较高的泛化能力权衡多方因素，打造千人千面的深度学习模型目录8.1.概述8.2.主要研究方向

8.2.1物联网联邦学习8.2.2物联网智能决策8.2.3物联网知识迁移8.3.总结与展望8.4.习题8.2.2物联网智能决策智能物联网的智能决策能够应用于设备的运动决策，系统模块性能优化决策和算法内部的参数优化决策设备的运动决策算法内部参数优化决策系统模块性能优化决策2222本节主要介绍基于深度强化学习的群体智能决策8.2.2物联网智能决策传统自动化决策技术方法：贪心搜索、网格搜索、基于规则的搜索不足：没有结合长远推断，难以奏效强化学习优点：让程序具备人类观察环境、学习经验和总结规律的自主决策能力自主观察环境状态，不断尝试新动作将从环境中观察到的深度模型动态性能指标作为动作选择策略的反馈最终取得最大化的期望奖励深度强化学习(DeepReinforcementLearning,DRL)，在与环境的交互中获取经验来学习8.2.2强化学习与智能决策23通过对策略和价值函数的合理构建，实现智能决策过程强化学习是机器与环境不断交互的过程交互过程可被抽象为一个马尔可夫决策过程

机器通过行为影响环境环境交互产生数据环境返回奖励和状态8.2.2经典算法1：DQN[1]24[1]MnihVetal.Playingatariwithdeepreinforcementlearning[J].arXiv,2013DQN是一种近年广受关注的基于价值的研究方法算法思想DQN利用重放记忆缓存区和目标网络来稳定训练算法优点提高了算法的收敛性和稳定性DQN基本解决了维度诅咒算法不足Q值估计过高、重要样本利用率8.2.2经典算法2：DDPG[1]25[1]MnihVetal.Playingatariwithdeepreinforcementlearning[J].arXiv,2013DDPG是一种深度确定性策略梯度算法算法思想在Actor网络中采用基于梯度的DPG算法输出确定性动作算法优点相较于直接使用DQN解决连续动作问题，DDPG提升了20倍训练效率8.2.2物联网多智能体协同决策相较于传统的单智能体强化学习，多智能体首先在系统环境下有以下三方面突出问题环境非稳态单智能体环境相对平稳环境部分可观察性环境探索困难多智能体之间的交互会重塑环境以环境稳定性为前提的单智能体算法难以迁移单智能体多数场景能获取环境整体信息，满足马尔可夫性质多智能体难以获取环境整体信息，需要根据部分信息与其他智能体交互考虑到整体系统的稳定性，群智能体系统下，强化学习涉及的探索-利用矛盾更加突出，难以权衡8.2.2多智能体协同决策方法多智能体协作的解决方案主要由基于价值和策略的传统方法改进基于价值函数的群智协作方法基于策略梯度的群智协作方法8.2.2多智能体协同决策方法针对全局价值信息难以利用的问题，提出基于价值函数分解方法[1]SunehagP,etal.Value-decompositionnetworksforcooperativemulti-agentlearning[J].arXiv,2017.问题场景

两个智能体（红色/蓝色）初始化在两端，分别要到另一端的某个位置环境中充满了苹果（橙色）和柠檬（绿色），两个智能体吃到苹果、柠檬加减分不同，需要两个智能体配合来得到高分Value-DecompositionNetworks[1]核心思想是值函数Q的分解全局Q函数被线性分解为各个智能体的Q的累加，从而实现联合训练独立DQNVGN8.2.2多智能体协同决策方法针对传统方法结果方差较大，提出多智能体确定性策略梯度方法[1]LoweR,etal.Multi-agentactor-criticformixedcooperative-competitiveenvironments[C].ANIPS,2017.问题场景

四个红色的agent追捕两个绿色的agent获得奖励绿色的agent躲避追捕，到达蓝色点(表示水源)处获得奖励；黑色点表示障碍物MADDPG[1]方法集中式训练：训练时采用集中式训练，critic使用所有智能体的观察和策略以及额外的环境信息来评价actor的动作好坏分布式执行：训练完成后，在执行时可以实现去中心化，actor只需要根据自己的观测进行决策目录8.1.概述8.2.主要研究方向

8.2.1物联网联邦学习8.2.2物联网智能决策

8.2.3物联网知识迁移8.3.总结与展望8.4.习题8.2.3物联网知识迁移智能物联场景下终端需要拥有快速学习新环境的知识迁移能力，减轻智能物联的学习成本，提升智能应用/服务的效能和鲁棒性基于知识蒸馏基于域自适应基于元学习域自适应解决源域和目标域输入概率分布不同、但任务相同的知识迁移问题元学习旨在让模型通过少量训练样本快速学习和适应新环境旨在为终端提供轻量化且高精度的模型将知识从复杂大型教师网络提取至轻量化的学生网络中8.2.3知识蒸馏智能物联网终端特点低成本泛用性强计算资源受限训练数据缺失将大型教师模型的知识提取至轻量学生模型中实现在智能物联网场景下轻量化且高精度的推理8.2.3知识蒸馏传统One-hotloss中只能给出相对于数据集标注非黑即白的信息知识蒸馏中教师模型能够提供如相似、几乎是、肯定不是的软标签（Softlabels）优点：此类训练出的模型有着更强的泛化性蒸馏过程学生模型学习速度加快，训练所需数据量较小8.2.3知识蒸馏Hinton等通过最小化教师网络与学生网络的logits差异，首次开创了知识蒸馏的概念在softmax层中引入一种softmax温度系数，用于实现“软标签”分别对来自于教师网络的软标签和来自标注的硬标签计算损失，进行训练学生模型的目标函数由软标签-学生输出和真实标签-学生输出两部分组成8.2.3知识蒸馏传统知识蒸馏包括大型、已训练的教师模型和轻量、未训练的学生模型智能物联网背景下互学习方法打破预先定义的教师-学生关系，相互监督，相互学习“助教辅助”方法采用差异化较小的助教模型辅助进行知识蒸馏过程8.2.3域自适应方法智能物联网场景中设备部署环境各不相同对于模型训练阶段部署环境不可预见且动态变化模型在部署到实际环境后出现性能下降域自适应方法域：是数据特征和特征分布组成任务：由标签和目标/预测函数组成域自适应解决源域和目标域输入概率分布不同、但任务相同的知识迁移问题8.2.3域自适应方法域自适应从数据、特征和模型三个层面进行实现知识迁移问题基于域间差异基于对抗思想基于重建思想基于近年流行的生成对抗网络直接生成与目标域特征相同的数据进行训练采用循环对抗网络实现对偶学习，在没有任何配对数据下实现域迁移适用于源域与目标域差异较小的情况调整源域样本权重，使源数据分布接近目标域数据分布8.2.3基于域间差异[1]Chens,etal.Visualdomainadaptationusingweightedsubspacealignment[C].VCIP,2016.问题场景

适用于源域和目标域差异较小的情况一般思路通过调整源域样本的权重、对源域样本进行重新加权，使源数据分布尽可能接近目标域数据分布典型算法：Chen等人[1]将更大的权值分配给更接近目标域的源样本采用无监督域自适应模型实现两个域空间的对齐8.2.3基于对抗思想[1]LiuMYet

al.Coupledgenerativeadversarialnetworks[J].ANIPS,2016问题场景

适用于缺少目标域训练数据的情况一般思路首先，在源域数据的辅助下，生成器可以生成无限的合成目标数据然后，直接使用带标签的目标域合成数据来训练目标模型典型算法：CoGAN[1]由一对GAN网络组成，GAN1生成源域数据，GAN2生成目标域数据至此，可以直接采用生成数据训练目标模型8.2.3基于重建思想[1]ZhuJY,etal.Unpairedimage-to-imagetranslationusingcycle-consistentadversarialnetworks[C]//ICCV.2017问题场景

适用于没有任何配对训练数据的情况典型算法：cycleGAN[1]分别学习两个生成器和两个鉴别器分别计算对抗性损失和循环一致性损失8.2.3元学习方法元学习旨在让模型通过少量训练样本快速学习和适应新环境传统机器学习学习来自其他模型或数据的知识元学习使模型具备学习能力，让模型学会学习适用于不同的数据稀疏情况经典方法类型基于优化的方法基于模型的方法基于度量的方法8.2.3基于优化的方法[1]FinnCetal.Model-agnosticmeta-learningforfastadaptationofdeepnetworks[C]PMLR2017主要思路将内部任务作为一个优化问题来求解，并且侧重于提取能提升优化性能所需要的元知识经典算法：MAML[1]核心思想是寻找一个初始化的数据表征模型可以通过少量样本更新实现模型的高效更新算法优点MAML是模型无关的MAML在学习过程中没有引入额外的参数8.2.3基于模型的方法[1]SantoroAet

al.

Meta-learningwithmemory-augmentedneuralnetworks[C]PICML2016问题背景传统基于梯度的神经网络需要很多数据去学习模型，效率低下，开销高昂经典算法：MANN[1]利用外部内存空间显式的保留样本特征信息利