智能物联网-课件 第9章 - 智能物联网协同计算

×第九章智能物联网协同计算CollaborativeComputingofIntelligentInternetofThings智能物联网导论课程组西北工业大学计算机学院目录9.1.概述9.2协同计算基本内涵9.3主要研究方向

9.3.1分布式感知数据融合9.3.2分布式模型框架设计9.3.3分布式设备资源协同

9.3.4分布式数据传输优化9.4总结与展望9.5习题9.1概述物联网协同计算：利用多台物联网设备的感知数据、算力资源进行协同智能计算，提升数据处理效率深度模型的资源消耗也呈指数趋势增长智能物联网设备受限于物理方面的约束硬件架构能耗限制设备大小内存占用39.1概述物联网协同计算：从模型结构或输入维度进行划分，并将任务分配到多个参与设备上进行协同计算，解决模型部署问题挑战：(1)如何进行合理任务分配(2)如何最小化评估指标设备能力不同设备状态不同设备工作环境不同时间延迟（计算时延、传输时延）能量消耗（计算能耗、传输能耗）设备资源（内存消耗、存储消耗）本章将介绍协同计算及其研究方法4目录9.1概述9.2协同计算基本内涵9.3主要研究方向

9.3.1分布式感知数据融合9.3.2分布式模型框架设计9.3.3分布式设备资源协同

9.3.4分布式数据传输优化9.4总结与展望9.5习题9.2协同计算基本内涵移动嵌入式设备感知与计算能力的提升，人工智能、边缘计算技术的发展，云计算与边缘网络相结合的协同计算范式被关注69.2协同计算基本内涵智能物联网协同计算的分布式特性分布式感知数据融合分布式模型架构设计分布式设备资源协同分布式数据传输优化挖掘数据的互补性、时空相关性和冗余性融合对齐时钟异步的流数据深度模型具有链式结构寻找深度模型的最优分割点和任务分配方式聚合异构的物联网终端、边缘和云端计算资源优化负载均衡等指标降低通信开销及延迟调控计算复杂度、计算资源需求和计算负载7目录9.1概述9.2协同计算基本内涵9.3主要研究方向

9.3.1分布式感知数据融合9.3.2分布式模型框架设计9.3.3分布式设备资源协同

9.3.4分布式数据传输优化9.4总结与展望9.5习题9.3.1分布式感知数据融合异质性碎片化杂乱性异步性感知数据的特点智能物联网分布式感知数据为智能物联网的实时、智能分布式数据融合与处理带来挑战跨模态融合计算异步流融合计算时空融合计算数据融合分类针对数据特性从三方面切入：99.3.1多模态数据融合计算借助不同的智能融合计算方法，同时从多源异构数据中提取被研究对象的高层特征，实现多模态数据融合计算109.3.1多模态数据融合计算经典算法：MDA[1]基于深度模型的跨模态数据融合：[1]HongC,YuJ,WanJ,etal.Multimodaldeepautoencoderforhumanposerecovery[J].TIP2015执行流程：单模态特征提取跨模态特征融合典型算法MDA：基于非线性映射的多级深度神经网络位姿恢复方法在多模态融合中，构造具有低秩表示的超图拉普拉斯算子11不同的DBN模型（a）DBN2（b）FS-DBN2（c）DBN2-FS（d）DBN39.3.1多模态数据融合计算基于概率图模型的跨模态数据融合：[1]KimY,LeeH,ProvostEM.Deeplearningforrobustfeaturegenerationinaudiovisualemotionrecognition[C]//ICASSP2013具体概述：使用潜在的随机变量构造跨模态的数据表示常见方法：叠加受限玻尔兹曼机(RBM)得到的深度信念网络(DBM)

[1]

DBM优势：能处理缺失/不规则数据无监督模型，无需数据标签信息129.3.1多模态数据融合计算经典算法：CoSTNet[1]基于序列模型的跨模态数据融合：[1]YeJetal.Co-predictionofmultipletransportationdemandsbasedondeepspatio-temporalneuralnetwork[C]//KDD2019适用场景：表示不同长度的序列数据例如：句子、视频、音频等典型算法CoSTNet：提出了一种异构LSTM模型将空间需求分解为隐藏的空间需求基组合139.3.1异步流数据融合计算动作序列与视频序列的异步数据流（延迟）问题多模态融合计算之前，需要预先对齐多源数据流时钟，以保证计算任务的准确执行研究背景：多模态数据流不紧密共享同一时钟多模态数据流之间存在显著延迟现有技术：动态时间规整流行规整具体流程：衡量序列数据的相似性扭曲时间序列以对齐数据149.3.1异步多模态数据流推理机制回滚模块优势：无需等待所有分布式数据流输入容忍部分数据流丢失和损坏的问题[1]LiTetal.Low-latencyspeculativeinferenceondistributedmulti-modaldatastreams[C]//Mobisys.2021.典型算法[1]：数据输入模块数据对齐模块利用CGAN构建任何丢失、损失或部分可用的感知数据流特征推理结果不够准确时，在高精度和延迟之间做出平衡决定是否触发回滚操作对多模态数据流进行校准和对齐159.3.1时空数据融合计算空间依赖性不同空间区域的数据分布呈现不同的特征例：不同城市的交通流量基于强化学习数据特性时间依赖性不同的时间范围内数据呈现不同的分布特征例：不同节日时间段的购买行为时空数据融合计算方法基于元学习基于时空图网络16STDRL[1]：自适应深度强化学习方法9.3.1时空数据融合计算经典算法基于强化学习的时空数据融合计算设计奖励函数对不同时空特征关联关系建模实现有效时空数据融合计算[1]JiSetal.Spatio-temporalfeaturefusionfordynamictaxirouterecommendationviadeepreinforcementlearning[J].KBS2020通过有效融合时空特征（实时内部特征和实时外部特征）实现城市动态出租车线路推荐将问题建模为基于强化学习的序列决策问题17STMP[1]：基于元学习的时空数据融合方法9.3.1时空数据融合计算经典算法利用元学习进行时空推理，生成不同时空区域的时空特征表示学习不同时空区域间的共享元知识，同时结合区域特定的时空表示通过时空交替训练使得模型在时间和空间层面学习到更加鲁棒的特征表示基于元学习的时空数据融合计算[1]QinHetal.Robustspatio-temporalpurchasepredictionviadeepmetalearning[C]//AAAI2021189.3.1时空数据融合计算经典算法STFGNN[1]基于时空图网络的时空数据融合计算将时空数据建模为统一的图结构，解决图构建过程信息缺失的问题提出时空融合图模型，在城市路网空间图基础上动态构建时间图利用门控卷积模块提取全局时空相关性进行城市交通流量预测获取图中的空间相关性和时间相关性[1]LiM,ZhuZ.Spatial-temporalfusiongraphneuralnetworksfortrafficflowforecasting[C]//AAAI2021基于矩阵相乘的空间方法分别获取图中的空间相关性和时间相关性门控卷积模块提取全局时空相关性19目录9.1概述9.2协同计算基本内涵9.3主要研究方向

9.3.1分布式感知数据融合9.3.2分布式模型框架设计9.3.3分布式设备资源协同

9.3.4分布式数据传输优化9.4总结与展望9.5习题9.3.2分布式模型框架设计深度计算下沉至边缘，将深度计算任务分割给不同边端设备串行协同计算并行协同计算混合协同计算分布式模型分割计算选择合适层间分割点将深度模型的不同层分配给不同设备进行层内分割将不同计算块分配到不同边端设备结合层间分割和层内精细设计的分割技术219.3.2串行协同计算经典算法Neurosurgeon[1]方法一：基于分割点的直接搜索提取各层配置通过对特定移动设备和服务器训练回归模型，以快速预测模型网络层执行时延及能耗评估在各候选分割点进行划分的性能，选择最佳时延或能耗需求的分割点作为最佳分割点一种轻量级的模型分割调度框架通过最小化时延或能耗，在移动端和云端以层为粒度自动对深度学习模型进行分割[1]KangY,HauswaldJ,GaoC,etal.Neurosurgeon:Collaborativeintelligencebetweenthecloudandmobileedge[J].ACMSIGARCHComputerArchitectureNews,2017,45(1):615-629.229.3.2串行协同计算经典算法DADS[1]方法二：基于转化思想的等价求解确定模型分割问题转化图论中的s-t最小割问题，即求解边权总和最小的割(s、t分别对应图中的云端顶点和边缘端顶点)复杂神经网络的分割实现深度学习网络模型转化为有向无环图的形式结点表示模型中的层结构顶点e和顶点c分别表示边缘端和云端[1]HuC,BaoW,WangD,etal.DynamicadaptiveDNNsurgeryforinferenceaccelerationontheedge[C]//IEEEINFOCOM2019-IEEEConferenceonComputerCommunications.IEEE,2019:1423-1431.239.3.2串行协同计算采用多退出点分支的深度模型结构通过在主干网络中加入多个分支结构，以设置多个模型退出点经典算法Boomerang[1]方法三：结合模型退出点的联合优化[1]ZengL,LiE,ZhouZ,etal.Boomerang:On-demandcooperativedeepneuralnetworkinferenceforedgeintelligenceontheindustrialInternetofThings[J].IEEENetwork,2019,33(5):96-103.改变深度模型规模（层数）和选择合适的模型分割点两种方式调控深度模型的计算复杂度以及对计算资源的需求实现低延迟和高精度的协同计算任务例：基于深度强化学习模型DQN联合优化搜索模型分割点与退出点改变深度模型规模（层数）选择合适的模型分割点249.3.2并行协同计算卷积层的任务分配全连接层的任务分配经典算法MoDNN[1]方法一：模型并行计算通过对深度模型进行更细粒度的层内划分，融合多层卷积实现并行计算，加快协作计算速度在任务分配过程中，针对不同层的特性，该方法设计了两种任务分配算法，分别对应在整体模型中最为重要的卷积层和全连接层深度模型的每一层都被划分为多个切片，以提高计算的并行度并减少单个切片的内存需求[1]J.Mao,X.Chen,K.W.Nixonetal.,“MoDNN:LocaldistributedmobilecomputingsystemforDeepNeuralNetwork,”inDesign,Automation&TestinEuropeConference&Exhibition(DATE2017),2017,pp.1396–1401.259.3.2并行协同计算经典算法Clio[1]方法二：数据并行计算深度学习模型被表示为有向无环图，一个分割点即可以表示为一条将模型分割为两部分的边特征图将被划分为三个分片，并根据网络带宽的变化，将不同数量的分片传输至云端云端设备将根据接受到的分片，激活后续模型中对应的通道模型，完成协同计算[1]HuangJ,SamplawskiC,GanesanD,etal.Clio:Enablingautomaticcompilationofdeeplearningpipelinesacrossiotandcloud[C]//Proceedingsofthe26thAnnualInternationalConferenceonMobileComputingandNetworking.2020:1-12.将输入数据或中间传输数据进行分割/分片将模型的计算划分为可并行执行的独立任务实现推理效率提升和带宽需求的节省26“并行-串行”组合“串行-并行”组合9.3.2混合协同计算根据异构智能体资源和模型特征图，设计并行协同计算方案；根据设备资源预算、推断时延需求等运行情境对模型进行层间分割，实现串行协同计算先利用串行协同计算模式完成初步特征提取后；再针对计算量较大的部分模型，精细设计并行协同计算策略，提高计算效率。279.3.2混合协同计算基于Raspberry-Pi3硬件的分布式机器人协作系统[1]经典算法并行-串行混合计算根据异构智能体资源和模型特征图，设计并行协同计算方案完成子任务后，再进一步根据设备资源预算、推断时延需求等运行情境对模型进行层间分割，实现串行协同计算，以应对数据融合过程对计算能力的需求，解决弱计算设备间的协作问题在数据方面，以帧形式传输的数据特征，处理原始数据视频流空间信息与时间流信息在模型方面，输入数据被一分为二，发送到仅执行部分计算任务的两个同构计算设备上，针对消耗资源最多的全连接层与卷积层，设立不同融合方式以实现自适应于工作量的分割[1]HadidiR,CaoJ,WoodwardM,etal.Distributedperceptionbycollaborativerobots[J].IEEERoboticsandAutomationLetters,2018,3(4):3709-3716.28目录9.1概述9.2协同计算基本内涵9.3主要研究方向

9.3.1分布式感知数据融合9.3.2分布式模型框架设计

9.3.3分布式设备资源协同

9.3.4分布式数据传输优化9.4总结与展望9.5习题9.3.3分布式设备资源协同将终端产生的感知数据计算任务部分卸载至边缘设备上，从而协同完成复杂的智能计算任务本质：优化方法边端设备负载均衡优化多个终端对一个边缘服务器优化边缘负载均衡以实现终端负载均衡边缘内部资源分配优化考虑网络动态传输条件变化调控边端计算资源的协同模式实现分布式边端设备可提供计算资源（算力、存储、电量）与计算任务资源需求的最佳匹配309.3.3边端设备负载均衡优化经典算法Distream[1]提取每个分类器的计算资源需求根据相机负载比例，及计算资源需求对计算负载进行划分使用计算负载自适应控制器调整计算负载划分，实现负载均衡[1]ZengX,FangB,ShenH,etal.Distream:scalinglivevideoanalyticswithworkload-adaptivedistributededgeintelligence[C]//Proceedingsofthe18thConferenceonEmbeddedNetworkedSensorSystems.2020:409-421.方法一：算力资源敏感的自适应负载均衡方法优势：适应不同摄像头计算负载的动态变化，实现低延迟、高吞吐量和可伸缩的视频分析319.3.3边端设备负载均衡优化算力资源网络状态等资源任务数据质量模型计算共享经典算法计算资源制定整体资源负载调度决策实时监控边缘节点和云之间的网络带宽自适应边端设备负载均衡优化方法SMCS[1][1]RongC,WangJH,LiuJ,etal.SchedulingMassiveCameraStreamstoOptimizeLarge-ScaleLiveVideoAnalytics[J].IEEE/ACMTransactionsonNetworking,2021.

方法二：算力资源敏感的自适应负载均衡方法学习每个边端设备在不同资源配置下的任务性能和资源消耗根据设备配置、网络状态和效用函数做出最优资源负载调度决策优势：实现了海量摄像机协同实时视频分析任务下的分布式协同计算32系统管理器网络监控器全局调度器离线配置器9.3.3边缘内部资源分配优化有效调用边缘服务器设备内部可用资源平衡深度模型重训练和推理任务的计算需求启发式资源调度器方法[1]经典算法优势：实现重训练和推理任务之间的最佳GPU计算资源分配，并选取重训练和推理的配置，优化推理精度[1]BhardwajR,XiaZ,AnanthanarayananG,etal.Ekya:Continuouslearningofvideoanalyticsmodelsonedgecomputeservers[C]//19thUSENIXSymposiumonNetworkedSystemsDesignandImplementation(NSDI22).2022:119-135.方法一：启发式资源调度器方法33挑战：启发式资源调度器算法：GPU资源平均分配给重训练和推理任务迭代过程中，从对方计算资源中“偷取”资源在新的资源分配条件下，分别计算最高精度若平均推理精度比“偷取”资源前更高，则保留当前配置，否则回滚目录9.1概述9.2协同计算基本内涵9.3主要研究方向

9.3.1分布式感知数据融合9.3.2分布式模型框架设计9.3.3分布式设备资源协同

9.3.4分布式数据传输优化9.4总结与展望9.5习题9.3.4分布式数据传输优化降低分布式计算的通信开销及延迟，调控协同计算复杂度、计算资源需求和计算负载分布式数据传输优化方法自适应数据过滤自适应数据传输上传所有感知数据将带来较大的传输开销和计算负载根据数据内容有选择性地传输部分数据如何实现推理精度无关的视频流像素压缩或裁剪对智能应用系统的整体性能至关重要359.3.4自适应数据过滤摄取利用专用卷积神经网络（CNN）对实时视频进行摄取分析为可能的对象类构建近似索引查询利用该近似索引来提供较低的查询延迟经典算法优势：支持多个数量级的更快查询只需要很少的资源投资允许灵活地权衡摄取成本和查询延迟[1]HsiehK,AnanthanarayananG,BodikP,etal.Focus:Queryinglargevideodatasetswithlowlatencyandlowcost[C]//13thUSENIXSymposiumonOperatingSystemsDesignandImplementation(OSDI18).2018:269-286.典型算法：自适应数据过滤-Focus[1]369.3.4自适应数据传输服务器端实时反馈驱动的自适应数据流传输DSS[1]终端向服务器端发送低质量视频流服务器端运行一个专用深度模型执行模型推理将模型推理最相关的区域反馈给摄像头（终端）确定从何处重新发送更高质量数据以提升推理精度[1]DuK,PervaizA,YuanX,etal.Server-drivenvideostreamingfordeeplearninginference[C]//ProceedingsoftheAnnualconferenceoftheACMSpecialInterestGrouponDataCommunicationontheapplications,technologies,architectures,andprotocolsforcomputercommunication.2020:557-570.典型算法：自适应数据传输-DSS[1]优势：服务器端可以获得更多关于最大化推理精度的上下文信息有效节省了摄像头端与服务器端间的数据传输带宽占用379.3.4自适应数据传输自适应数据传输-高精度的AR/MR目标检测系统[1][1]LiuL,LiH,GruteserM.Edgeassi