智能物联网-课件 第6-11章 - 智能物联网络-未来展望

第六章智能物联网络IntelligentnetworkofIOT智能物联网导论课程组目录6.1.概述6.2.主要研究方向

6.2.1物联网通信系统结构6.2.2物联网智能接入控制6.2.3物联网智能路由

6.2.4物联网智能传输控制6.3.总结与展望6.4.习题6.1概述目标：引入AI算法对物联网网络协议进行设计，使新型路由协议满足物联网系统的发展，在大规模范围内应用并拥有良好的网络性能优势：人工智能算法为网络协议实现自适应性提供了可能人工智能算法拥有较强的动态性和智能性挑战：AI算法的计算复杂性使得算法难以在资源受限设备运行需平衡AI算法带来的性能提升和学习代价6.1概述智能物联网络物联网通信系统结构物联网通信参考模型物联网通信标准智能接入控制认知MAC协议接入延迟改善缓解无线信道冲突智能路由强化学习神经网络现有协议优化智能传输控制神经网络其他算法链路层网络层传输层目录6.1.概述6.2.主要研究方向

6.2.1物联网通信系统结构6.2.2物联网智能接入控制6.2.3物联网智能路由

6.2.4物联网智能传输控制6.3.总结与展望6.4.习题6.2.1物联网通信系统结构物联网应用的网络结构边缘网：物理环境中相互连接的“物”，如家居、建筑物、工厂和开放环境（如城市或农田）相互连接的各种物体，构成了边缘网络网关：基本功能是在边缘网络协议和Internet协议之间进行数据转换，还可执行数据处理，从而将“智能”从云移到更接近物的位置核心网：将数据传输到用户计算机和数据中心进行存储和处理6.2.1物联网通信参考模型分层设计降低设计复杂度在各层根据需求形成规范6.2.1物联网通信标准物理层电磁波频段ISM频段1.IEEE802.15.4868/915MHz和2.4GHz2.WiFi2.4GHz/5.8GHz3.LoRa,NB-IOT470MHz~510MHz、779MHz~787MHz物联网系统通常使用电磁频谱的特定频率进行无线电传输1.低于1Ghz，波长较长，传播距离远，但带宽较小2.高于1Ghz，信号衰减快，带宽较高6.2.1物联网通信标准数据链路层CSMATDMA1.主节点周期性广播(信标),保证其他节点同步2.定义一个被称为超帧的周期时间间隔，每个节点只能在特定的时隙中传输定义了在共享的物理介质上如何传输数据，其识别节点接口，调节对介质的访问，并对差错进行控制1.CSMA/CA通过优先级和随机退避机制尽量避免冲突2.

duty-cycle节点收发器周期性睡眠和唤醒使用CSMA/CA6.2.1物联网通信标准网络层拓扑结构IP协议1.采用6LowPan对IPv6压缩，以适配较小的物理帧2.RPL路由协议，基于距离矢量和源路由网络层负责在网络拓扑中路由数据包星型树状网状6.2.1物联网通信标准传输层端到端设计TCP/UDP1.TCP面向连接，提供可靠服务，但连接的建立和恢复需要时间，不适合实时通信2.UDP不提供有效的错误控制，节约通信开销传输层负责向网络两个进程之间的通信提供服务1.提供透明的数据传输2.向上层提供可靠服务3.具有复用、分用功能6.2.1物联网通信标准应用层应用层协议定义应用程序数据如何在终端节点之间交换、实现应用逻辑的消息类型和应用数据的语义1.COAP受约束设备的专用Internet应用程序协议2.MQTT轻量级的发布/订阅型消息协议6.2.1智能物联网络协议基于前提条件的数学模型驱动，针对于特定网络场景，开发相应协议在对应网络环境下性能优良网络状态发生变化后协议不再适应导致性能下降对协议修改或设计新协议开销较大传统通信协议智能物联网通信协议引入强化学习、神经网络等AI技术，使通信协议自适应复杂多变的应用环境，在环境变化、节点移动、通信故障等情况下提供较好的性能优点：使协议具有动态性、智能性，在变化的网络中自适应保证网络高效运行在新应用或新环境中根据所获得的新知识进行动态调整，保证系统鲁棒性提高物联网系统自主控制能力，改善系统的智能决策能力缺点：AI提升了协议性能，但AI计算过程大大消耗了物的联网设备能量目录6.1.概述6.2.主要研究方向

6.2.1物联网通信系统结构

6.2.2物联网智能接入控制6.2.3物联网智能路由

6.2.4物联网智能传输控制6.3.总结与展望6.4.习题6.2.2物联网智能接入控制MAC层协议设计过程通常遵循提高吞吐量、降低延迟及能源有效等目标MAC层协议S-MAC、X-MAC：通过duty-cycle方式实现能源有效性T-MAC：引入未来请求发送（FRTS）降低延迟TSCH：通过时隙信道跳变的方式提高传输的可靠性802.11n/ac：通过帧聚合和块确认等技术来提高吞吐量通过机器学习，物联网设备能够观察和学习不同环境状态对网络性能的影响，然后利用这些学习到的经验来可靠地提升网络性能基于机器学习的物联网智能接入控制6.2.2认知MAC协议概念：一个可靠的MAC协议应根据观测到的网络通信状况，动态地选择最合适的MAC访问控制算法，以适应当前的网络条件并满足通信质量需求，这样的MAC协议称为认知MAC(CognitiveMACLayer)全局控制器：实现MAC层性能预测的中心核心：ML模型，从无线节点收集信息来实现预测，进而动态地决定如何配置MAC层无线传感网：一组无线节点的集合，能够生成感知信息并能够在运行时重新配置传输参数认知MAC体系结构图6.2.2认知MAC协议机器学习模型对传感器节点通信数据进行连续采样，提取了预测MAC性能的最相关特征检测节点(d)分组间隔(IPI)接收数据包数量(rP)错误数据包/帧数(errP)ML模型的均方根误差特征向量：x(i)=[d，IPI，rP，errP]T

相应通信可靠性y(i)=plr(丢包率)使用二元组(x(i),y(i))训练结果：在α=0.1的学习速率下，经过2000次训练迭代，能够获得最好的数据分布。在实验基础上，选择30秒作为观测间隔，并确定新的MAC层。6.2.2基于模糊逻辑的接入延迟改善在MAC层保持消息的延迟和传输可靠性，最大限度延长传感器节点（电池驱动）工作时间是一个挑战性问题模糊逻辑系统将模糊逻辑应用于物联网MAC层协议经典的CSMA/CA算法，控制每个节点的队列长度和通信速率，以改善网络延迟，优化能量消耗模糊输入（输入队列长度、流量速率）被模糊为语言变量，输入值在一定范围内具有一定的不确定性，适用于动态变化的场景模糊算法将通信速率测量和动态队列管理相结合，使用动态调度方法控制每个节点的队列长度来确保信道内的通信，以提高能源效率和QoS6.2.2基于模糊逻辑的接入延迟改善实时监控每一个超帧的队列占用率和流量速率，所有的语言变量都具有一个随机数，该随机数由一个隶属函数表示模糊函数输入为三角形式，输出隶属函数为单态函数语言参数的隶属函数6.2.2基于模糊逻辑的接入延迟改善模糊化过程模糊规则中映射如下两组集合：Queue-Length：Qn

∈{Empty,Medium,Full} Traffic-Rate：Tn

∈{Low,Medium,High}状态对的排列组合数为9，面向对每个状态对，为输出模糊变量建立一个适当的状态，即优先级：Priority：Pn∈{Low,Medium,High}使用决策表定义所有基本规则，如下表所示，决策表由9条规则组成，使用最大最小的方法构建

TQLowMediumHighEmptyLowLowMediumMediumLowMediumHighFullMediumHighHigh6.2.2基于模糊逻辑的接入延迟改善基于模糊逻辑调度器，对CSMA/CA算法进行修改，并应用于参与网络流量的所有节点

6.2.2强化学习缓解无线信道冲突强化学习（RL）：尝试使用计算机程序从大型数据集中生成模式或规则，以决定应在特定环境中采取何种行动才能最大化长期奖励。强化学习：被描述为一个马尔可夫决策过程S：可能的状态集A：可能的动作集P：状态转移概率R：行动对应的环境奖励策略(πt:S→A)：从状态到动作的映射目标：找到一个最优策略π*，在该策略下可以累积奖励最大化应用强化学习优点：物联网系统中节点的数量、位置和流量特征动态变化强化学习可以分布式方式适应不断变化的环境，无需任何控制消息开销6.2.2强化学习缓解无线信道冲突基于强化学习的低复杂度MAC协议：CoRLCoRL提出了一种协同预测Q值的方法，节点利用其他节点的通信试验信息更新其价值函数，通过使用共享信道观察获得的协作Q函数来寻找合适的传输时间。使用基于争用的时隙帧协议和Q-learning来减少资源分配时间，采用奖励过程来避免碰撞，引入无状态Q值来降低物联网设备的计算复杂度。将IoT物联网设备作为强化学习框架中的一个代理，代理在一个帧中以随机方式选择其初始时隙。在一个帧中的所有传输结束后，代理通过强化学习选择下一个时隙，以确定适当的传输时间。6.2.2强化学习缓解无线信道冲突基于强化学习的低复杂度MAC协议：CoRL使用协作Q-learning进行时隙分配的步骤如下（1）用随机值Q0(m,a)∈(0,1)初始化每个代理的Q-table；Qf(m,a)为代理m在帧f中的动作a的Q值，Qf(m,a)值存储在Q-table的二维数组中。（2）对于每一帧，代理在前一帧中选定的时隙传输他们的数据；（3）在所有代理传输结束后，代理更新它们的协作Q值；

6.2.2强化学习缓解无线信道冲突基于强化学习的低复杂度MAC协议：CoRL

目录6.1.概述6.2.主要研究方向

6.2.1物联网通信系统结构6.2.2物联网智能接入控制

6.2.3物联网智能路由

6.2.4物联网智能传输控制6.3.总结与展望6.4.习题6.2.3基于强化学习的物联网路由Q-Routing基于最小的传递时间来学习最佳路径，为节点的每个邻居分配一个Q值Q值被定义为当前节点将这个特定的邻居作为到目的地（sink）的下一跳的传送数据包所花费的时间。

6.2.3基于强化学习的物联网路由ATPATP协议的核心是基于强化学习的元路由策略包括三个阶段：初始化、转发和确认阶段

ATP可以实现能量感知的负载平衡，并可以自动删除不对称或断开链路，因此适合于需要高可靠性的应用，对不可预测的链路故障和移动汇聚节点具有鲁棒性。6.2.3基于强化学习的物联网路由FORMS一种基于RL算法的能量感知多播路由协议。每个节点作为agent学习到任意汇聚节点组合的最佳跳数成本行动是数据包的一种可能的路由决策，被定义为一组子行动{a1...ak},对于子行动ai=（ni,Di），它表明邻居ni是预期的下一跳，用于路由到目的地Di一个完整的行动是一组子行动的集合收集路由信息，并估计行动的初始Q值，子行动的初始Q值根据到每个汇聚节点的跳数进行估计当数据开始在网络中流动时，节点以agent方式工作，学习网络中共享路径的真实Q值经过有限步骤后，Q值不再变化，协议收敛，更新探索策略6.2.3基于神经网络的物联网路由SIR传感器智能路由（SIR）是一种由QoS驱动的路由算法每个节点都引入了一个神经网络来管理路由，输入是延迟、吞吐量、错误率和占空比在一个节点收集了一组输入样本后，运行神经元选举算法，选出获胜神经元节点使用输出函数来分配QoS的估计每个节点根据延迟、错误率、占空比和吞吐量等因素来探测邻居以计算链路质量修改Dijkstra算法寻址到从汇聚节点到每个节点的最小成本路径。优点：在平均延迟和能耗方面性能较好在故障节点比例较高的情况下，SIR具有更大的优势缺点：SIR的开销很高，在每个节点上实施神经网络算法需要计算成本探测邻居来计算链路质量也存在额外的成本6.2.3基于人工智能的物联网路由优化智能RPL协议RPL挑战：动态和有损环境无法针对动态环境有效调整链路指标智能RPL协议通过将学习自动机（LearningAutomata,LA）与RPL目标函数（OF）相结合，在RPL中引入认知能力在期望传输次数ETX计算中应用LA，根据环境对ETX进行调整，LA通过与环境的交互进行学习，产生最佳的ETX值基于LA的系统有两类参数：可控参数是输入网络的内部参数，可以根据要求进行改变。可观察参数是指被测量的外部参数或系统的输出。LA将ETX作为可控参数，将丢包PL（PacketLoss）作为可观察参数6.2.3基于人工智能的物联网路由优化智能RPL协议LA-OF采用了两个学习阶段：在线学习阶段根据强化信号在每次迭代中更新概率向量，持续N次迭代在线学习阶段在环境学习阶段被采用，直到终止条件发生。离线学习阶段不更新概率向量，直到不可能发生的条件发生为止。离线学习阶段在ETX的调整后触发，以追踪环境的变化，并避免了由于不重要的事件或临时环境变化而发生的突然变化。网络中的每个节点都分配了LA，它们在运行时同时进行学习在找到最佳行动后，学习过程将停止触发一个离线学习阶段。它分析该变化是否是由不重要的事件引起的。如果它不是一个临时的变化，那么学习过程将被重新启动6.2.3基于人工智能的物联网路由优化智能机会路由机会路由（OR）也被称为任意路径路由。该协议利用了无线网络的基本特征，即数据的广播传输步骤1：向中继候选者广播数据包；步骤2：通过使用转发者列表中的节点之间的协调协议，选择最佳中继；步骤3：将数据包转发到选定的中继节点机会路由优点：使用朴素贝叶斯分类器智能选择潜在的中继节点，实现传感器节点之间的能源效率和可靠性改善传感器网络的寿命、稳定性和吞吐量目录6.1.概述6.2.主要研究方向

6.2.1物联网通信系统结构6.2.2物联网智能接入控制6.2.3物联网智能路由

6.2.4物联网智能传输控制6.3.总结与展望6.4.习题6.2.4物联网智能传输控制网络拥塞会导致数据包丢失，增加端到端的延迟，浪费节点的能量，并显著降低物联网应用的保真度依照拥塞方式不同，分为结点级拥塞和链路级拥塞。基于机器学习的拥塞控制方法可以更准确地估计网络流量，灵活控制拥塞，提高传输效率节点级拥塞链路级拥塞6.2.4基于神经网络的拥塞控制基于自编码器的拥塞控制方法自编码器示例L维原始数据K维压缩数据L>K通过训练学习到最佳编码权重和解码权重6.2.4基于神经网络的拥塞控制传感器节点收集历史数据在基站进行离线训练和建模在发送端对在线数据进行时域或空域压缩（编码）基于自编码器的拥塞控制方法接收端对收到的压缩数据进行近似还原（解码）基于自动编码器的拥塞控制算法流程6.2.4基于神经网络的拥塞控制基于深度信念网络的拥塞控制方法多模式深度信念网络使用深度信念网络构建代理Loadbot，对大量用户数据的分析和网络负载的测量进行网络配置，实现高效的负载平衡使用DBN进行建模DBN由若干层神经元构成，组成元件是受限玻尔兹曼机（RBM）将若干个RBM“串联”构成了一个DBN上一个RBM的隐层即为下一个RBM的显层，上一个RBM的输出即为下一个RBM的输入6.2.4基于神经网络的拥塞控制基于深度信念网络的拥塞控制方法网络负载决策算法采用Q学习来计算和存储当前网络负载并学习结果Q学习算法流程：每种状态下可能进行的动作：6.2.4其它智能拥塞控制方法基于学习自动机的拥塞控制方法基于学习自动机设计认知框架，使用一种具有学习能力的跨层设计物联网认知框架环境监测：感知参数预处理：分类参数、标准化观测值参数估计：评估参数作为学习的环境反馈决策和学习：网络配置、算法学习网络自适应：配置协议栈、环境交互学习数据库：存储可控参数6.2.4其它智能拥塞控制方法基于模糊逻辑的拥塞控制方法综合随机早期检测和模糊比例积分微分控制器（模糊PID）方法，将模糊逻辑与PID相结合来控制目标缓冲队列模糊逻辑控制模型模糊逻辑控制器估计和调整每个节点的发送速率，从而对拥塞进行检测和控制拥塞控制单元RAU拥塞通知单元CNU拥塞检测单元CDU6.2.4其它智能拥塞控制方法基于模糊逻辑的拥塞控制方法将随机早期检测主动队列管理(AQM)和模糊比例积分微分(FuzzyPID)方法集成进行拥塞检测。如果发生拥塞，发送隐式拥塞通知(ICN)调整发送速率进行拥塞控制。6.2.4其它智能拥塞控制方法基于模糊逻辑的拥塞控制方法拥塞检测单元工作流程目录6.1.概述6.2.主要研究方向

6.2.1物联网通信系统结构6.2.2物联网智能接入控制6.2.3物联网智能路由

6.2.4物联网智能传输控制6.3.总结与展望6.4.习题6.3总结海量的物联网设备以及巨大的系统规模，使得未来智能物联网的终极形态是完全自主化的，多功能集成且智能程度高在传统的网络协议在新型环境下性能下降的问题，引入机器学习等AI算法，针对数据传输方面，设计智能通信协议降低数据传输开销物联网系统中节点的数量、位置和流量特征的动态变化，引入人工智能算法在复杂多变的环境中提供了路由的自适应能力，在通信故障、拓扑变化和节点移动性等情况下提供了较好的性能6.3展望解决大规模物联网设备接入控制提升在物联网环境下的路由效率提高对于网络拥塞问题的控制高效、智能的实现物联网网络路由与控制！目录6.1.概述6.2.主要研究方向

6.2.1物联网通信系统结构6.2.2物联网智能接入控制6.2.3物联网智能路由

6.2.4物联网智能传输控制6.3.总结与展望6.4.习题6.4习题1. 说明典型的物联网通信系统结构。2. 查阅资料，阐述物联网目前形成的协议栈体系结构。3. 结合自己理解阐述AI技术如何改进物联网通信协议？4. 分析物联网认知MAC体系结构。5. 分析强化学习方法能应用在物联网哪些协议设计中？6. 简述Q-Routing的主要思想？7. 基于神经网络的物联网路由有哪些优缺点？8. RPL如何与机会路由相结合？9. 简述基于自动编码器的拥塞控制算法流程。谢谢大家，欢迎批评指正!《智能物联网》教学课件第七章物联网终端智能IntelligenceforIoTDevices智能物联网导论课程组目录7.1概述7.2主要研究方向

7.2.1深度模型压缩7.2.2深度模型量化7.2.3深度模型自动化搜索

7.2.4软硬协同加速7.3总结与展望7.4习题7.1概述国内移动端设备及应用数量：2021年：国内移动应用252万款预计2025年：物联网节点将达到250亿个智能家居缺陷检测无人驾驶智慧农场52面向智能物联终端的智能应用、服务成为新的研究热点7.1概述物联网终端智能：智能终端借助深度学习实现智能计算53物联网终端设备特性

感知、计算和存储能力的不断提升，每秒都会产生多种感知数据物联网终端智能计算

在人工智能技术的赋能下智能终端具有知识学习和智能决策能力7.1概述终端智能计算局限：终端平台资源受限、应用情境复杂多变、数据分布差异、硬件平台异构54终端智能计算挑战需要具有终端情境自适应能力的深度计算模型和方法根据智能物联网的情境变化而调整模型规模和运算模式确保模型性能的前提下，降低全局资源消耗、提高运算效率深度学习模型压缩、量化深度学习模型自动化搜索深度学习软硬协同加速物联网终端智能计算现有方法从三个方面切入：目录7.1概述7.2主要研究方向

7.2.1深度模型压缩7.2.2深度模型量化7.2.3深度模型自动化搜索

7.2.4软硬协同加速7.3总结与展望7.4习题7.2.1深度模型压缩56深度模型压缩：降低模型复杂度的有效途径，从而使其运行在智能物联网中的移动嵌入式平台终端设备资源受限计算、存储和电量资源十分受限，而深度计算方法需要大量计算和存储资源模型压缩技术模型压缩技术是一种降低模型复杂度的有效途径使深度模型运行在智能移动嵌入式平台深度模型难以直接部署在资源受限的物联网终端设备上深度模型压缩技术示意图7.2.1基本概念1：深度模型压缩57经典深度模型压缩方法卷积分解：通过矩阵分解发现数据的潜在结构网络剪枝：裁剪模型参数且最小化精度的损失轻量架构：采取更高效计算方式降低模型规模，如MobileNet[1]、SqueezeNet[2]等深度模型压缩技术：对深度模型不同网络层采用压缩技术，减少参数规模[1]HowardAG,ZhuM,ChenB,etal.Mobilenets:Efficientconvolutionalneuralnetworksformobilevisionapplications[J].arXivpreprintarXiv:1704.04861,2017.[2]IandolaFN,HanS,MoskewiczMW,etal.SqueezeNet:AlexNet-levelaccuracywith50xfewerparametersand<0.5MBmodelsize[J].arXivpreprintarXiv:1602.07360,2016.MobileNet应用领域7.2.1基本概念1：深度模型压缩58与模型压缩相关的经典研究DeepX：实现低功耗和高功耗（如GPU）处理器的组合，以可接受的资源消耗水平为复杂的深度学习模型提供服务DeepCompression[1]：修剪不重要的连接并使用权重共享量化网络，在不损失精度的情况下减少权重存储[1]Han,Song,HuiziMao,andWilliamJ.Dally."Deepcompression:Compressingdeepneuralnetworkswithpruning,trainedquantizationandhuffmancoding."arXivpreprintarXiv:1510.00149(2015).DeepCompression三阶段压缩管道:剪枝，量化和霍夫曼编码7.2.1典型算法1：DeepX59DeepX[1]：采用网络架构分解和资源缩放以调整深度模型的架构实现低功耗推理加速

[1]HowardAG,ZhuM,ChenB,etal.Mobilenets:Efficientconvolutionalneuralnetworksformobilevisionapplications[J].arXivpreprintarXiv:1704.04861,2017.7.2.1基本概念2：深度模型按需压缩60深度模型按需压缩经典压缩技术降低的计算量或时延，但未考虑跨移动嵌入式平台的差异化资源约束，如处理器、存储单元和电量为了深度模型始终满足任务性能需求和终端平台资源约束，深度模型按需压缩随即产生，满足部署情境上下文动态变化深度模型按需压缩：根据模型的动态性能需求和资源作为优化目标和约束，找到最佳压缩方案，实现情景自适应7.2.1典型算法2：DeepIoT61DeepIoT[1]：初步探索了深度模型的自适应压缩问题，提出了一种通用的自适应深度模型压缩框架，是自动化模型压缩技术之一DeepIoT框架采取额外压缩器网络，自动剔除冗余连接；设计全局共享冗余信息，逐层生成丢失概率的递归神经网络；对各种形式的卷积神经网络进行压缩，在简化模型架构的同时保持其优越的性能[1]YaoS,ZhaoY,ZhangA,etal.Deepiot:Compressingdeepneuralnetworkstructuresforsensingsystemswithacompressor-criticframework[C]//Proceedingsofthe15thACMConferenceonEmbeddedNetworkSensorSystems(SenSys’17).2017:1-14.DeepIoT自适应压缩系统框架：其中橙色框代表退出操作，绿色框代表原始神经网络的参数7.2.1典型算法3：AdaDeep62AdaDeep[1]：从整体系统级的角度探讨了用户指定的性能需求和资源约束之间的理想平衡AdaDeep：自适应压缩与DNN的超参数优化框架相结合主要由三个功能模块组成：DNN模型的初始化、用户需求建模和按需优化移动终端自适应的深度模型压缩框架[1]LiuS,DuJ,NanK,etal.AdaDeep:ausage-driven,automateddeepmodelcompressionframeworkforenablingubiquitousintelligentmobiles[J].IEEETransactionsonMobileComputing,2020,20(12):3282-3297.7.2.1典型算法3：AdaDeep63AdaDeep：自适应压缩与DNN的超参数优化框架相结合将自适应模型压缩问题与DNN的超参数优化框架相结合利用强化学习(DQN)对不同计算任务需求和平台资源约束进行自动化选择考虑了丰富的模型性能，如精度、计算量、运行时能耗、存储和时延，以及对于不同平台资源约束的可用性AdaDeep的DQN架构：使优化的计算负荷易于处理，将性能增益G和约束满足H的奖励分离阶段o输入层卷积层1卷积层2输出层每个单元的Qvalue目录7.1概述7.2主要研究方向

7.2.1深度模型压缩7.2.2深度模型量化7.2.3深度模型自动化搜索

7.2.4软硬协同加速7.3总结与展望7.4习题7.2.2深度模型量化65深度模型量化：将连续数值量化为离散数值，通过减小模型参数规模以减少推理时间，从而满足不同平台资源限制深度学习模型量化模拟量化：模型参数以低精度存储，操作以浮点运算进行，如矩阵乘法和卷积纯整数量化：所有操作都使用低精度的整数运算混合精度量化：在不同层以不同精度进行量化，对推理时间和准确率进行权衡主要方法静态量化：在推理过程中量化范围预先计算动态量化：量化范围在运行时为每个激活图动态计算量化粒度：根据量化范围可分为逐层量化、分组量化和逐通道量化随机量化：随机量化将浮点数向上或向下映射为与权重更新幅度相关的概率7.2.2基本概念1：模型量化方法66模型量化方法：根据量化函数的不同，可以将量化分为均匀量化、非均匀量化、对称量化、非对称量化均匀量化定义函数将网络权值和激活量化到有限集，将浮点值映射到较低精度范围常用量化函数：均匀量化与非均匀量化示意图非均匀量化允许量化值非均匀间隔常用量化函数：

7.2.2基本概念1：模型量化方法67

对称量化与非对称量化示意图7.2.2基本概念2：量化粒度68

7.2.2基本概念3：量化后重训练69神经网络量化需要对其参数进行调整，对模型进行重训练称为量化感知训练，不进行重训练称为训练后量化量化感知训练与训练后量化量化感知训练量化会对模型参数带来扰动，使得模型偏离浮点精度训练时收敛的解量化感知训练：对参数重新训练网络模型，使得模型收敛到更低损失的点训练后量化该方法没有任何微调，计算开销非常低不需要模型参数进行任何重新训练，是快速的量化神经网络模型的方法7.2.2基本概念4：低比特位宽量化70使用更少数据位来进行量化，可以获得更高的量化效果，如低于8比特的量化方法左：全精度推断；中：模拟量化推断；右：纯整数量化推断模拟量化量化后模型参数以低精度存储，操作以浮点运算进行，

如矩阵乘法和卷积量化后的浮点运算之前需要进行反量化纯整数量化所有操作以低精度整数运算相比模拟量化更加高效，但是可能会获得更低的精度7.2.2基本概念4：低比特位宽量化71使用更少数据位来进行量化，可以获得更高的量化效果，如低于8比特的量化方法混合精度量化问题：量化更低精度会导致显著的精度下降方法：每一层都用不同的位精度进行量化来解决精度降低的问题挑战：选择位设置的搜索空间巨大，为层数的指数级典型方法可微分神经结构来搜索位宽周期函数正则化训练混合精度模型7.2.2典型算法：DNAS72DNAS[1]：可微分神经结构搜索框架，有效地利用基于梯度优化探索其指数搜索空间

可微分神经结构搜索有向无环图[1]WuB,WangY,ZhangP,etal.Mixedprecisionquantizationofconvnetsviadifferentiableneuralarchitecturesearch[J].arXivpreprintarXiv:1812.00090,2018.7.2.2典型算法：DNAS73

算法亮点该方法有效地探索神经结构搜索空间，在ResNet压缩CIFAR-10和ImageNet上具有21.1倍更小的模型尺寸以及103.9倍更低的计算成本目录7.1概述7.2主要研究方向

7.2.1深度模型压缩7.2.2深度模型量化7.2.3深度模型自动化搜索

7.2.4软硬协同加速7.3总结与展望7.4习题7.2.3基本概念1：神经网络架构搜索75深度模型自动化搜索：自适应地设计全新的神经网络模型，有时必须针对具体场景构建特有的神经网络模型神经网络架构搜索（NeuralArchitectureSearch）NAS用于自动搜索最优神经网络架构，有助于推动深度学习自动化、降低深度学习门槛、扩大深度学习赋能基本步骤定义神经网络组件采用自动化控制器组合网络采用传统的方式训练网络模型精度为反馈迭代更新控制器权重，以选择更优的神经网络NAS算法基本步骤7.2.3典型算法：MNAS76

面向智能终端的平台感知神经网络架构搜索[1]Tan,Mingxing,etal."Mnasnet:Platform-awareneuralarchitecturesearchformobile."ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2019.MNAS[1]：一个自动化的移动神经网络架构搜索，将模型延迟设定为主要目标，搜索出在准确性和延迟之间取得良好折衷的模型目录7.1概述7.2主要研究方向

7.2.1深度模型压缩7.2.2深度模型量化7.2.3深度模型自动化搜索

7.2.4软硬协同加速7.3总结与展望7.4习题7.2.4软硬件协同加速78软硬协同加速：利用软(算法模型)、硬(特定平台)两个层面的联合设计方法，进一步且更针对性地提升深度模型的精度和实际部署性能微控制器（或单片机，MCU）深度计算MCU以体积小、低成本、低能耗和高集成度等优势是边缘智能应用关键的部署平台之一相比于传统设备，微控制器存储和计算资源极端受限，增加模型部署的难度性能评估方法在无法预知实际部署测量详细方案的情况下，精准、快速地评估或预测部署的性能效果能为算法模型、系统等的设计带来极大的便利性和帮助软硬件协同自动驾驶其他复杂场景边缘计算云计算7.2.4典型算法：MCUNet79MCUNet[1]：一个联合设计高效神经架构(TinyNAS)和轻量级推理引擎(TinyEngine)的框架[1]LinJ,ChenWM,LinY,etal.Mcunet:Tinydeeplearningoniotdevices[J].AdvancesinNeuralInformationProcessingSystems,2020,33:11711-11722.TinyNAS与TinyEngine共同设计具体包括：从解释到代码生成、内存模型自适应调度、计算内核专业化以及“就地”深度卷积等软硬协同设计四个环节7.2.4典型算法：MCUNet80TinyNAS中每层特征的搜索空间配置

7.2.4典型算法：MCUNet81TinyEngine：一个内存高效的推理库基于代码生成器的编译：专注于MCU设备，采用基于代码生成器的编译；不仅避免运行时解释时间，还释放了内存使用，以允许设计和推理更大模型模型自适应内存调度：将内存调度调整为模型级统计：在所有层L上精确地适应一列转换输入所需的最大内存M：计算内核专门化：针对不同层进行内核优化：基于内核大小和可用内存循环展开以消除分支指令的开销TinyEngine通过执行就地深度卷积来减少峰值内存7.2.4性能评估方法82

AMDOpteronX2和OpteronX2和OpteronX4Roofline模型目录7.1概述7.2主要研究方向

7.2.1深度模型压缩7.2.2深度模型量化7.2.3深度模型自动化搜索

7.2.4软硬协同加速7.3总结与展望7.4习题7.3总结全球进展智能物联网快速增长、落地加快在数字化变革中的赋能作用非常明显84面向智能物联终端的深度学习成为新的研究热点前景机遇智能化将驱动物联网应用进一步深化在智慧农场、智慧城市等产业蓬勃发展本章从不同角度介绍了面向智能终端动态应用情境的智能计算的前沿研究，寻找模型性能和设备资源约束之间的最优折智能物联网终端平台资源受限、应用情境复杂多变、数据分布差异、硬件平台异构成为深度学习部署的一大挑战深度学习模型压缩、模型架构搜索能够从模型本身和网络结构方面使得降低模型资源消耗软硬件协同加速能够使得深度模型成功落地和高效部署，不能仅依靠模型和算法层面的提升857.3总结探索智能化的深度模型压缩过程探索深度模型压缩的高效性自适应压缩、网络架构搜索协同运作对智能终端上自适应压缩更加彻底的研究深入挖掘智能计算的理论可解释性拥抱智能物联网终端智能计算时代7.3展望目录7.1概述7.2主要研究方向

7.2.1深度模型压缩7.2.2深度模型量化7.2.3深度模型自动化搜索

7.2.4软硬协同加速7.3总结与展望7.4习题请简述对于物联网终端智能而言，重要的深度计算模型超参数包含哪些，如何优化。基于微控处理器的深度计算和基于树莓派的深度计算有哪些不同的需求和约束请简述自动化深度计算模型架构搜索方法性能主要受几方面因素的影响。请简述RoofLine模型如何评估一个深度计算方法在其硬件运行平台上的性能。7.4习题谢谢大家，欢迎批评指正!《智能物联网》教学课件×第八章智能物联网机器学习MachineLearningofArtificialIntelligenceofThings智能物联网导论课程组西北工业大学计算机学院目录8.1.概述8.2.主要研究方向

8.2.1物联网联邦学习8.2.2物联网智能决策8.2.3物联网知识迁移8.3.总结与展望8.4.习题8.1概述智能物联网的学习机制目的在于通过已有数据、相关知识、历史经验、局部/全局目标等对物联网模型和知识体系进行建立和更新传统物联网学习边端采集数据云端处理数据云边端整体参与到感知、学习和决策过程中智能物联网学习知识层面：根据动态情境进行自适应学习等行为层面：通过交流、协作做出决策反馈93联邦学习、智能决策、知识迁移是三类主要的学习模式8.1概述物联网联邦学习物联网智能决策物联网知识迁移旨在解决多个参与方之间的信息共享、协作学习及数据隐私问题旨在使单个设备在复杂动态环境下进行自动化决策，及满足多个设备的全局目标最优旨在降低知识库构建成本，实现模型在新场景、新领域的高效泛化目录8.1.概述8.2.主要研究方向

8.2.1物联网联邦学习8.2.2物联网智能决策8.2.3物联网知识迁移8.3.总结与展望8.4.习题8.2.1物联网联邦学习智能物联网数据交互共享中存在着隐私问题，采用联邦学习实现数据不出本地的同时联合群智能体建立模型联邦学习基本流程服务器初始化任务模型并下发至参与者参与者本地训练模型并上传至服务器服务器聚合接收到的模型后再次下发联邦学习整体执行着模型下发-本地训练-上传聚合的循环过程8.2.1物联网联邦学习现有联邦学习方法依照样本划分方式主要分为横向、纵向、迁移三种联邦学习范式联邦学习横向联邦学习：适用于样本特征重叠较大，用户重叠较大纵向联邦学习：适用于样本特征重叠较小，用户重叠较大联邦迁移学习：适用于样本特征和用户重叠都较小在真实场景下，联邦学习面临着设备、数据和模型的异构挑战8.2.1物联网联邦学习智能物联网下的联邦学习面临着设备异质性、数据异质性和模型异质性的三大挑战联邦学习三大挑战设备异质性：参与者的硬件差异性给系统设计部署带来挑战数据异质性：非独立同分布的数据特性给建模等带来挑战模型异质性：参与者持有个性化模型给聚合策略带来挑战设备异质性数据异质性模型异质性针对上述挑战，三种联邦学习范式给出各自的解决方案8.2.1横向联邦学习横向联邦学习在参与者维度对数据进行分割，进行联合建模将设备生成的数据约束在本地进行存储和处理通过客户端进行本地参数上传服务器端参数融合、参数下载、本地更新的迭代过程实现模型的训练横向联邦学习架构横向联邦学习的目标任务：最小化每个客户端的本地损失总和8.2.1典型算法1:

FedAvg[1]阶段任务初始化服务器随机初始化模型参数模型下发服务器将初始化模型发送至各参与者本地训练参与者根据优化目标进行训练模型上传训练完成后，参与者将所得模型上传模型聚合服务器将所有模型参数平均，新模型产生[1]McMahanB,etal.Communication-efficientlearningofdeepnetworksfromdecentralizeddata[C]//AISTATS’17,2017.算法流程FedAvg性能相关参数主要与每轮执行计算的客户端的分数比例每个客户端每轮对其本地数据集进行训练的次数用于客户端更新的本地小批量大小8.2.1典型算法1:

FedAvg[1][1]McMahanB,etal.Communication-efficientlearningofdeepnetworksfromdecentralizeddata[C]//AISTATS’17,2017.算法问题FedAvg在非独立同分布的数据集上表现不佳FedAvg无法很好的应对设备异质性带来的问题数据异质性数据表现为非独立同分布影响算法收敛速度相关方法：FedProx设备异质性参与设备硬件状况各不相同影响参与者参与联邦学习的意愿与能力相关方法：HierFAVG8.2.1典型算法2:

FedProx[1][1]LiT,etal.Federatedoptimizationinheterogeneousnetworks[J].arXiv,2018.算法背景FedAvg中会在本地进行固定次数的迭代过程如果设备未完成相应次数的迭代，丢弃模型和让其参与聚合都会严重影响精度解决思路FedProx在每个本地训练添加一个近端项，保证未计算信息的聚合FedAvg损失FedProx近端项FedProx通过添加近端项，有效的改善了在数据异质性环境下联邦学习的收敛速度8.2.1典型算法3:HierFAVG[1][1]LiuLet.alEdge-AssistedHierarchicalFederatedLearningwithNon-IIDData[J]//arXiv,2019.HierFAVG[1]：采用分级聚合策略，减少时间浪费，缓解了设备异质性挑战参与者的更新参数首先发送至边缘服务器进行聚合边缘服务器聚合一定轮次后发送至中心服务器聚合联邦学习还可从以下三方面缓解设备异质挑战：增加本地计算量减少通信轮次修改训练算法以提高收敛速度自适应进行联邦聚合8.2.1纵向联邦学习纵向联邦学习与横向联邦学习正交，在特征维度对数据进行分割，进行联合建模纵向联邦学习架构基于加密的样本ID对齐确定公共样本采用公共样本训练加密模型8.2.1个性化联邦学习个性化联邦学习：个性化联邦学习旨在数据异质、模型异质的背景下为每个智能体提供独一无二的模型个性化单词预测用户个人信息、习惯有所不同相同输入，用户的心理预期不同（上海、北京、西安）FedAvg会输出大多数智能体可能键入的单词，但考虑到个性化风格后，可以输出更加精确的预测传统联邦学习问题由于数据异质性问题，传统联邦学习效果不佳需要采用个性化联邦学习提供千人千面的模型个性化联邦学习缓解了全局模型无法适应数据异质性和模型异质性的问题8.2.1个性化联邦学习个性化目标开发改进的个性化模型，使大多数客户受益开发精确的全局模型，使那些私人数据有限的客户受益在少量的训练轮次中实现快速模型收敛个性化步骤以传统联邦学习的方式建立全局模型用客户的私人数据对全局模型进行个性化处理8.2.1个性化联邦学习分类描述迁移学习将全体数据构成的虚拟数据集视作源域，参与设备的本地数据集视作目标域，迁移结果即为个性化模型元学习首先在全局模型训练过程中进行多任务训练，即元训练；随后采用本地数据对模型进行微调，即元测试。微调结果即为个性化模型知识蒸馏将全局模型（教师模型）知识提取至本地模型（学生模型）中。所获得的学生模型即为个性化模型。8.2.1个性化联邦学习分类描述添加智能体上下文信息将上下文信息相似的客户聚在一起训练，实现个性化联邦学习的效果基础层与个性化层分割将模型分割为在全局数据上训练的基础层和在本地数据上训练的个性化层，所获得的模型即为个性化模型。全局和本地模型的混合将全局模型与私人模型进行加权平均，实现个性化效果现有个性化联邦学习工作尚未很好考虑到设备异质性工作8.2.1物联网联邦学习联邦学习主要在通信、联邦算法、隐私保护等方面进行优化参与设备硬件资源与数据分布的复杂性为联邦学习带来了特殊的研究挑战智能物联网背景下满足硬件需求的同时模型精度尽可能的高满足特定任务同时保持较高的泛化能力权衡多方因素，打造千人千面的深度学习模型目录8.1.概述8.2.主要研究方向

8.2.1物联网联邦学习8.2.2物联网智能决策8.2.3物联网知识迁移8.3.总结与展望8.4.习题8.2.2物联网智能决策智能物联网的智能决策能够应用于设备的运动决策，系统模块性能优化决策和算法内部的参数优化决策设备的运动决策算法内部参数优化决策系统模块性能优化决策111111本节主要介绍基于深度强化学习的群体智能决策8.2.2物联网智能决策传统自动化决策技术方法：贪心搜索、网格搜索、基于规则的搜索不足：没有结合长远推断，难以奏效强化学习优点：让程序具备人类观察环境、学习经验和总结规律的自主决策能力自主观察环境状态，不断尝试新动作将从环境中观察到的深度模型动态性能指标作为动作选择策略的反馈最终取得最大化的期望奖励深度强化学习(DeepReinforcementLearning,DRL)，在与环境的交互中获取经验来学习8.2.2强化学习与智能决策112通过对策略和价值函数的合理构建，实现智能决策过程强化学习是机器与环境不断交互的过程交互过程可被抽象为一个马尔可夫决策过程

机器通过行为影响环境环境交互产生数据环境返回奖励和状态8.2.2经典算法1：DQN[1]113[1]MnihVetal.Playingatariwithdeepreinforcementlearning[J].arXiv,2013DQN是一种近年广受关注的基于价值的研究方法算法思想DQN利用重放记忆缓存区和目标网络来稳定训练算法优点提高了算法的收敛性和稳定性DQN基本解决了维度诅咒算法不足Q值估计过高、重要样本利用率8.2.2经典算法2：DDPG[1]114[1]MnihVetal.Playingatariwithdeepreinforcementlearning[J].arXiv,2013DDPG是一种深度确定性策略梯度算法算法思想在Actor网络中采用基于梯度的DPG算法输出确定性动作算法优点相较于直接使用DQN解决连续动作问题，DDPG提升了20倍训练效率8.2.2物联网多智能体协同决策相较于传统的单智能体强化学习，多智能体首先在系统环境下有以下三方面突出问题环境非稳态单智能体环境相对平稳环境部分可观察性环境探索困难多智能体之间的交互会重塑环境以环境稳定性为前提的单智能体算法难以迁移单智能体多数场景能获取环境整体信息，满足马尔可夫性质多智能体难以获取环境整体信息，需要根据部分信息与其他智能体交互考虑到整体系统的稳定性，群智能体系统下，强化学习涉及的探索-利用矛盾更加突出，难以权衡8.2.2多智能体协同决策方法多智能体协作的解决方案主要由基于价值和策略的传统方法改进基于价值函数的群智协作方法基于策略梯度的群智协作方法8.2.2多智能体协同决策方法针对全局价值信息难以利用的问题，提出基于价值函数分解方法[1]SunehagP,etal.Value-decompositionnetworksforcooperativemulti-agentlearning[J].arXiv,2017.问题场景

两个智能体（红色/蓝色）初始化在两端，分别要到另一端的某个位置环境中充满了苹果（橙色）和柠檬（绿色），两个智能体吃到苹果、柠檬加减分不同，需要两个智能体配合来得到高分Value-DecompositionNetworks[1]核心思想是值函数Q的分解全局Q函数被线性分解为各个智能体的Q的累加，从而实现联合训练独立DQNVGN8.2.2多智能体协同决策方法针对传统方法结果方差较大，提出多智能体确定性策略梯度方法[1]LoweR,etal.Multi-agentactor-criticformixedcooperative-competitiveenvironments[C].ANIPS,2017.问题场景

四个红色的agent追捕两个绿色的agent获得奖励绿色的agent躲避追捕，到达蓝色点(表示水源)处获得奖励；黑色点表示障碍物MADDPG[1]方法集中式训练：训练时采用集中式训练，critic使用所有智能体的观察和策略以及额外的环境信息来评价actor的动作好坏分布式执行：训练完成后，在执行时可以实现去中心化，actor只需要根据自己的观测进行决策目录8.1.概述8.2.主要研究方向

8.2.1物联网联邦学习8.2.2物联网智能决策

8.2.3物联网知识迁移8.3.总结与展望8.4.习题8.2.3物联网知识迁移智能物联场景下终端需要拥有快速学习新环境的知识迁移能力，减轻智能物联的学习成本，提升智能应用/服务的效能和鲁棒性基于知识蒸馏基于域自适应基于元学习域自适应解决源域和目标域输入概率分布不同、但任务相同的知识迁移问题元学习旨在让模型通过少量训练样本快速学习和适应新环境旨在为终端提供轻量化且高精度的模型将知识从复杂大型教师网络提取至轻量化的学生网络中8.2.3知识蒸馏智能物联网终端特点低成本泛用性强计算资源受限训练数据缺失将大型教师模型的知识提取至轻量学生模型中实现在智能物联网场景下轻量化且高精度的推理8.2.3知识蒸馏传统One-hotloss中只能给出相对于数据集标注非黑即白的信息知识蒸馏中教师模型能够提供如相似、几乎是、肯定不是的软标签（Softlabels）优点：此类训练出的模型有着更强的泛化性蒸馏过程学生模型学习速度加快，训练所需数据量较小8.2.3知识蒸馏Hinton等通过最小化教师网络与学生网络的logits差异，首次开创了知识蒸馏的概念在softmax层中引入一种softmax温度系数，用于实现“软标签”分别对来自于教师网络的软标签和来自标注的硬标签计算损失，进行训练学生模型的目标函数由软标签-学生输出和真实标签-学生输出两部分组成8.2.3知识蒸馏传统知识蒸馏包括大型、已训练的教师模型和轻量、未训练的学生模型智能物联网背景下互学习方法打破预先定义的教师-学生关系，相互监督，相互学习“助教辅助”方法采用差异化较小的助教模型辅助进行知识蒸馏过程8.2.3域自适应方法智能物联网场景中设备部署环境各不相同对于模型训练阶段部署环境不可预见且动态变化模型在部署到实际环境后出现性能下降域自适应方法域：是数据特征和特征分布组成任务：由标签和目标/预测函数组成域自适应解决源域和目标域输入概率分布不同、但任务相同的知识迁移问题8.2.3域自适应方法域自适应从数据、特征和模型三个层面进行实现知识迁移问题基于域间差异基于对抗思想基于重建思想基于近年流行的生成对抗网络直接生成与目标域特征相同的数据进行训练采用循环对抗网络实现对偶学习，在没有任何配对数据下实现域迁移适用于源域与目标域差异较小的情况调整源域样本权重，使源数据分布接近目标域数据分布8.2.3基于域间差异[1]Chens,etal.Visualdomainadaptationusingweightedsubspacealignment[C].VCIP,2016.问题场景

适用于源域和目标域差异较小的情况一般思路通过调整源域样本的权重、对源域样本进行重新加权，使源数据分布尽可能接近目标域数据分布典型算法：Chen等人[1]将更大的权值分配给更接近目标域的源样本采用无监督域自适应模型实现两个域空间的对齐8.2.3基于对抗思想[1]LiuMYet

al.Coupledgenerativeadversarialnetworks[J].ANIPS,2016问题场景

适用于缺少目标域训练数据的情况一般思路首先，在源域数据的辅助下，生成器可以生成无限的合成目标数据然后，直接使用带标签的目标域合成数据来训练目标模型典型算法：CoGAN[1]由一对GAN网络组成，GAN1生成源域数据，GAN2生成目标域数据至此，可以直接采用生成数据训练目标模型8.2.3基于重建思想[1]ZhuJY,etal.Unpairedimage-to-imagetranslationusingcycle-consistentadversarialnetworks[C]//ICCV.2017问题场景

适用于没有任何配对训练数据的情况典型算法：cycleGAN[1]分别学习两个生成器和两个鉴别器分别计算对抗性损失和循环一致性损失8.2.3元学习方法元学习旨在让模型通过少量训练样本快速学习和适应新环境传统机器学习学习来自其他模型或数据的知识元学习使模型具备学习能力，让模型学会学习适用于不同的数据稀疏情况经典方法类型基于优化的方法基于模型的方法基于度量的方法8.2.3基于优化的方法[1]FinnCetal.Model-agnosticmeta-learningforfastadaptationofdeepnetworks[C]PMLR2017主要思路将内部任务作为一个优化问题来求解，并且侧重于提取能提升优化性能所需要的元知识经典算法：MAML[1]核心思想是寻找一个初始化的数据表征模型可以通过少量样本更新实现模型的高效更新算法优点MAML是模型无关的MAML在学习过程中没有引入额外的参数8.2.3基于模型的方法[1]SantoroAet

al.

Meta-learningwithmemory-augmentedneuralnetworks[C]PICML2016问题背景传统基于梯度的神经网络需要很多数据去学习模型，效率低下，开销高昂经典算法：MANN[1]利用外部内存空间显式的保留样本特征信息利用元学习算法优化样本信息的读取和写入过程，最终实现有效的小样本分类和回归8.2.3基于度量的方法[1]KochG,ZemelR,SalakhutdinovR.Siameseneuralnetworksforone-shotimagerecognition[C]ICML2015主要思路学习一个度量空间，使在该空间中，内部任务只需要进行非参数学习经典算法：Koch等人[1]对孪生网络进行训练，以判断两个输入图像是否在同一类别中在测试阶段，孪生网络会处理测试图像与支持集中的每个图像之间的所有图像对的相似度，最终预测出测试图像的类别目录8.1.概述8.2.主要研究方向

8.2.1物联网联邦学习8.2.2物联网智能决策8.2.3物联网知识迁移8.3.总结与展望8.4.习题135智能物联网机器学习是针对AIoT的痛点问题提出的系统化机器学习方案。针对联合学习方面，物联网联邦学习有效避免隐私泄露的同时，针对三大异质性进行了优化针对智能决策方面，物联网强化学习针对多智能体决策进行了优化，实现全局决策最优针对环境变化方面，物联网迁移学习使模型快速适应训练部署环境差异，并进行快速演化8.3总结目录8.1.概述8.2.主要研究方向

8.2.1物联网联邦学习8.2.2物联网智能决策8.2.3物联网知识迁移8.3.总结与展望8.4.习题1、请结合一个实际的应用问题，简述物联网群体设备横向联邦学习和纵向联邦学习的主要步骤2、请简述如何通过强化学习算法实现多物联网终端协同决策3、请结合一个实际的物联网应用问题，简述基于知识蒸馏的群智能体迁移学习的主要算法思想和步骤4、请选择一种物联网联邦学习方法，基于公共数据集或自主数据集，在多个物联网终端设备（如智能摄像头、移动小车、树莓派开发板等）上进行部署实现。8.4习题谢谢大家，欢迎批评指正!《智能物联网》教学课件×第九章智能物联网协同计算CollaborativeComputingofIntelligentInternetofThings智能物联网导论课程组西北工业大学计算机学院目录9.1.概述9.2协同计算基本内涵9.3主要研究方向

9.3.1分布式感知数据融合9.3.2分布式模型框架设计9.3.3分布式设备资源协同

9.3.4分布式数据传输优化9.4总结与展望9.5习题9.1概述物联网协同计算：利用多台物联网设备的感知数据、算力资源进行协同智能计算，提升数据处理效率深度模型的资源消耗也呈指数趋势增长智能物联网设备受限于物理方面的约束硬件架构能耗限制设备大小内存占用1419.1概述物联网协同计算：从模型结构或输入维度进行划分，并将任务分配到多个参与设备上进行协同计算，解决模型部署问题挑战：(1)如何进行合理任务分配(2)如何最小化评估指标设备能力不同设备状态不同设备工作环境不同时间延迟（计算时延、传输时延）能量消耗（计算能耗、传输能耗）设备资源（内存消耗、存储消耗）本章将介绍协同计算及其研究方法142目录9.1概述9.2协同计算基本内涵9.3主要研究方向

9.3.1分布式感知数据融合9.3.2分布式模型框架设计9.3.3分布式设备资源协同

9.3.4分布式数据传输优化9.4总结与展望9.5习题9.2协同计算基本内涵移动嵌入式设备感知与计算能力的提升，人工智能、边缘计算技术的发展，云计算与边缘网络相结合的协同计算范式被关注1449.2协同计算基本内涵智能物联网协同计算的分布式特性分布式感知数据融合分布式模型架构设计分布式设备资源协同分布式数据传输优化挖掘数据的互补性、时空相关性和冗余性融合对齐时钟异步的流数据深度模型具有链式结构寻找深度模型的最优分割点和任务分配方式聚合异构的物联网终端、边缘和云端计算资源优化负载均衡等指标降低通信开销及延迟调控计算复杂度、计算资源需求和计算负载145目录9.1概述9.2协同计算基本内涵9.3主要研究方向

9.3.1分布式感知数据融合9.3.2分布式模型框架设计9.3.3分布式设备资源协同

9.3.4分布式数据传输优化9.4总结与展望9.5习题9.3.1分布式感知数据融合异质性碎片化杂乱性异步性感知数据的特点智能物联网分布式感知数据为智能物联网的实时、智能分布式数据融合与处理带来挑战跨模态融合计算异步流融合计算时空融合计算数据融合分类针对数据特性从三方面切入：1479.3.1多模态数据融合计算借助不同的智能融合计算方法，同时从多源异构数据中提取被研究对象的高层特征，实现多模态数据融合计算1489.3.1多模态数据融合计算经典算法：MDA[1]基于深度模型的跨模态数据融合：[1]HongC,YuJ,WanJ,etal.Multimodaldeepautoencoderforhumanposerecovery[J].TIP2015执行流程：单模态特征提取跨模态特征融合典型算法MDA：基于非线性映射的多级深度神经网络位姿恢复方法在多模态融合中，构造具有低秩表示的超图拉普拉斯算子149不同的DBN模型（a）DBN2（b）FS-DBN2（c）DBN2-FS（d）DBN39.3.1多模态数据融合计算基于概率图模型的跨模态数据融合：[1]KimY,LeeH,ProvostEM.Deeplearningforrobustfeaturegenerationinaudiovisualemotionrecognition[C]//ICASSP2013具体概述：使用潜在的随机变量构造跨模态的数据表示常见方法：叠加受限