边缘计算：原理、技术与实践 课件汇 7服务缓存-12系统实践

服务缓存0课程简介边缘网络服务缓存简介以及评价指标不同架构下服务/内容缓存策略研究应用案例分析边缘缓存策略展望及其挑战服务缓存1在前面的章节中，我们介绍了网络服务虚拟化技术和服务管理方法，在本章节中我们将依托这些技术和方法，具体讨论网络边缘服务缓存策略。课程简介（1）2算力优化网络服务内容发现策略云-端架构不同架构下服务缓存策略服务缓存评价方法虚拟化技术案例分析命名数据网络端-端架构多接入架构服务管理方法课程简介边缘网络服务缓存简介以及评价指标不同架构下服务/内容缓存策略研究应用案例分析边缘缓存策略展望及其挑战服务缓存3前言面向应用的评价指标面向系统的评价指标边缘网络服务缓存简介以及评价指标4我们首先介绍服务缓存概念，下图是边缘网络场景示意图。图中用户将不同种类不同需求的服务卸载至边缘网络进行处理。前言（1）5需求一个未部署的服务移动用户服务部署需求路由有限的存储计算资源所有服务云（充足的资源）边缘服务器我们将从边缘运营商的角度出发研究如何在边缘网络拓扑中部署网络功能以更好地为边缘用户提供服务。本小节从以下三个部分对服务部署进行介绍：基础结构模型应用程序模型具有相关约束的部署模型前言（2）6基础结构模型边缘服务网络由一组具有计算能力和存储能力的节点组成，计算节点之间相互连接构成了服务网络，服务器之间通过有线或者无线链路进行通信。应用程序模型在现有工作中一般使用以下三种抽象模型来定义用户服务整体服务模型。终端用户以单个组件（整体服务）的形式发送应用程序至边缘服务器。可并行划分的服务模型。这类服务可以分为一组子任务，子任务之间相互并行并且无依赖关系。相互依赖的子任务模型。用户应用程序由一组相互依赖的组件构成，一般用有向无环图进行表示。前言（3）7服务部署模型服务部署问题可以定义为上述两个部分的映射模型，通过该模型可以将应用程序组件映射到基础结构模型中。简单来说，我们可以将服务缓存看作是一个优化问题：优化问题可调整的参数就是服务部署的位置、每个服务所能分配资源的大小；优化问题的限制条件是终端用户的QoS和边缘网络中的各类资源。此优化问题的优化目标可以从两个方面进行考虑：1）面向应用，其研究内容主要包括如何通过服务部署资源分配，以优化用户时延和能耗；2）面向系统的评价指标，如何通过合理的资源分配策略提高系统资源利用率，边缘系统稳定性、可扩展性以及边缘系统的可靠性。前言（4）8前言面向应用的评价指标面向系统的评价指标边缘网络服务缓存简介以及评价指标9用户时延终端设备能耗不同服务部署位置及带宽路径资源影响传输时延。任务在本地执行时，能量开销主要来源于用户处理服务造成的计算能耗。

服务所分配的计算资源会影响到服务计算所需要的时间。服务卸载至边缘执行时，能量开销主要来源于用户上传相应服务至边缘网络所造成的传输能耗。服务所分配的接入节点影响到用户无线传输速度。-面向应用的评价指标（1）10前言面向应用的评价指标面向系统的评价指标边缘网络服务缓存简介以及评价指标11边缘资源利用率边缘网络稳定性边缘系统可靠性面向系统的评价指标12由于边缘用户需求的差异性，当前的“一刀切”的演进式分组核心网（EPC）逐渐变得无能为力，无法处理不同用户的服务需求，这推动了按需部署网络功能的相关研究。边缘资源利用率（1）13边缘资源利用率边缘网络稳定性边缘系统可靠性面向系统的评价指标14由于边缘服务器离用户距离很近，用户的移动性对服务时延的影响较之于云计算更加明显，因此应在网络边缘采用有效的移动性管理方案。边缘网络系统稳定性（1）15用户移动基站MEC节点网络运营商在边缘网络中，为了保证用户跨越不同边缘服务网络时的服务连续性，应在网络边缘采用有效的移动性管理方案以保证边缘系统的稳定性:1）用户服务的稳定性：保证用户在服务器切换过程中，服务的流畅性；2）边缘网络的稳定性：在满足移动用户需求的情况下尽量减少服务迁移。为了提高边缘网络用户的体验，应在边缘之间动态重新部署移动所需要的网络服务，以满足用户的移动性。边缘网络系统稳定性（2）16动态服务部署可能产生的问题：1）某些边缘节点可能会过载，从而导致计算延迟增加；2）服务频繁地重部署会导致服务迁移时间地增加，增加用户的端到端时延；3）服务的迁移会导致用户服务的中断，降低用户的服务体验。因此，有效的动态服务放置策略应谨慎：1）综合考虑通信延迟、计算延迟和服务迁移延迟以最大程度地减少用户延迟；2）以经济高效的方式在性能-成本之间进行权衡，增加系统的稳定性。边缘网络系统稳定性（3）17边缘资源利用率边缘网络稳定性边缘系统可靠性面向系统的评价指标18考虑到边缘网络资源的有限性和终端设备的多样性，运营商一般采用网络功能虚拟化技术来削弱专用硬件的影响，提高边缘服务器资源的弹性与灵活性。在大多数现有的VNF系统中，VNF作为实例在虚拟机上运行，其资源由底层虚拟机管理程序进行控制。因此，系统管理程序的任何故障都会导致在其上运行的VNF不可用。当多个VNF连接在一起以提供整体网络服务时，此服务功能链上任何VNF的故障都会使整个服务不可用。因此需要在边缘网络中添加网络功能的备份以提高服务链的有效性。边缘系统可靠性（1）19课程简介边缘网络服务缓存简介以及评价指标不同架构下服务/内容缓存策略研究应用案例分析边缘缓存策略展望及其挑战服务缓存20云-边架构边-边架构多接入边缘架构定制化边缘网络架构算力优先网络CFN（ComputeFirstNetwork）命名数据网络NDN（NameDataNetworking）不同架构下服务/内容缓存策略研究21在云-边架构中，网络一般分为三个层次：作为服务发起者的终端用户在边缘场景中移动；边缘服务器根据边缘网络中任务的喜好程度，动态缓存相应的服务；云端作为边缘计算设备的协助者，负责缓存所有用户可能需要的服务。云-边架构中，计算缓存策略与传统内容分发网络中的内容缓存有相似之处可借鉴，但也有如下区别：内容缓存主要考虑的是存储资源的分配，服务缓存中主要涉及的是计算资源的分配。内容缓存着眼于内容的相关性，服务缓存更新策略着眼于用户对于计算资源类型多少的变化。云-边架构（1）22云-边架构下的最佳缓存决策面临许多挑战。由于移动边缘服务器之间存在异构性，因此各边缘服务器的存储和计算资源不同，在做缓存决策时应该衡量各边缘服务器的资源量，最大化资源利用率。场景中可能存在很多种服务类型的相关任务，每种类型服务所需资源不同，在考虑缓存决策时，不得不放弃掉一些服务类型缓存来达到全局的性能最优化。不同类型任务流行度、任务请求的频率对于评价任务的重要性也是关键性因素。云-边架构（2）23云-边架构边-边架构多接入边缘架构定制化边缘网络架构算力优先网络CFN（ComputeFirstNetwork）命名数据网络NDN（NameDataNetworking）不同架构下服务/内容缓存策略研究24在边-边网络中，应该部署冗余的网络功能来提高服务链的可靠性。但是在边缘网络中，部署冗余网络功能面临着以下挑战：边-边架构（1）25边缘网络中资源受限备份网络功能部署的位置至关重要网络状态的备份需要占据大量的存储资源对于服务的备份，因为无法提前预知服务中断的时间，通常的解决方案有如下三种。当网络状态更新时，传输当前状态至备份节点处。对网络功能的备份时间点设定一定的时间间隔，则可以有效降低网络传输开销。采用热备份机制，即数据包同时通过原有网络功能和备份网络功能，当一个网络功能宕机的时候，可以无缝切换到另一个备份。边-边架构（2）26上述方案二、三为解决高效地状态提供了思路。我们接下来通过仔细分析其优缺点，提出高效地网络功能状态备份方法。边-边架构（3）27threadsharedstatethreadthreadthreadININININININININRSShashoutputNIC上述热备份方案存在不确定性，原因是线程执行的相对顺序。因此我们可以通过记录线程相对顺序消除这种不确定性。边-边架构（4）28云-边架构边-边架构多接入边缘架构定制化边缘网络架构算力优先网络CFN（ComputeFirstNetwork）命名数据网络NDN（NameDataNetworking）不同架构下服务/内容缓存策略研究29随着超密集网络的提出，为了高效地复用无线频谱资源，无线接入节点尽可能地分布在终端用户周围,因此用户在同一时间可以有多个无线接入节点可供选择。接入节点的选择受两方面影响：1）当前可用的无线资源。2）服务部署的位置。边-边框架下的时延包括，无线传输时延、边缘服务网络中传输时延以及服务处理时延。当用户数量增多时，根据香农定理，无线网络状况将会急剧恶化。多接入边缘架构（1）30在下图所示的场景中，运营商需要根据接入节点的覆盖情况、用户的需求特点部署相应的服务于边缘网络中，以达到资源利用率最大化。多接入边缘架构（2）31我们需要解决以下三个核心问题：在边缘网络中服务部署于哪个位置才能最大限度地利用边缘网络中的存储和服务资源。如何合理的路由用户的选择才不会使边缘网络中的计算和存储资源过载。如何协调用户路由选择和服务部署问题，使得边缘网络效率最大化。此问题可以建模成优化问题进行求解，以边缘网络用户的数量作为优化目标，以边缘服务器存储、计算资源、接入节点的上传和下载链路带宽、终端用户的端到端时延作为限制条件进行求解。多接入边缘架构（3）32云-边架构边-边架构多接入边缘架构定制化边缘网络架构算力优先网络CFN（ComputeFirstNetwork）命名数据网络NDN（NameDataNetworking）不同架构下服务/内容缓存策略研究33网络功能虚拟化NFV（NetworkFunctionsVirtualizations）技术出现的原因：网络提供商的运营成本因新应用的大量涌现而飞速增长。技术创新的不断加速使硬件生命周期越来越短，新的需求，新的业务使得传统网络设备淘汰愈加迅速。边缘网络的多变性使得利用专用的设备为边缘用户提供服务变得额外“笨拙”。定制化边缘网络架构34为了进一步提高NFV的灵活性，在NFV网络场景中，使用服务功能链SFC（ServiceFunctionChains）技术通过虚拟链路将虚拟网络功能按照业务逻辑所要求的顺序相互链接来描述特定的网络业务。定制化边缘网络架构35图像图像增强图像分割特征提取结果定制化网络中服务链设计方法服务链最优资源分配策略定制化网络中服务部署策略定制化边缘网络架构36我们通过研究服务链中各网络功能之间的相对顺序，得到资源最优的服务功能排列顺序。定制化网络中服务链设计方法（1）371221×222(a)on,

on

10.50.510.5(b)on,

on

×2×0.5×0.50.5接下来我们以网络中的计算资源为优化目标研究服务链中网络功能的相对顺序。定制化网络中服务链设计方法（2）38

最优服务链设计的一般特性，并据此给出最优计算资源利用率的服务链设计思路。定理1：如果调整服务链中两个相邻网络功能的顺序，不会对除去这两个功能之外的其他网络功能的计算开销有所影响。定理2：在一个计算资源开销最优的服务链中，压缩数据流的网络功能一定在扩大流的网络功能之前。通过调整服务链中各网络功能的顺序，可以实现带宽资源或者计算资源的优化，但是这两个优化目标不能同时达到。我们需要根据底层物理网络资源的实际情况调整各个网络功能的顺序，达到适合于底层网络的最优计算资源与带宽资源比例。定制化网络中服务链设计方法（3）39定制化网络中服务链设计方法服务链最优资源分配策略定制化网络中服务部署策略定制化边缘网络架构40如何为相互连接的网络功能和链路合理地分配底层的计算和传输资源是本小节考虑的问题。正如硬件交换机和路由器为数据包流提供与速率成比例的调度一样，NFV平台也必须公平地处理数据包流。服务链最优资源分配策略（1）41服务请求处理结果服务链

F虽然上述方法可以通过网络功能计算复杂度以及流量压缩比得到服务链中计算资源分配的方案，但是此种方法是基于每个数据包的性能可预测的前提，在实际情况中该方法可能存在误差，因为：1）在服务链部署运行之前，NFV管理调度程序并不能了解每个网络功能的先验能力、容量或处理要求。2）同一类请求的数据包成本是可变的（例如，某些数据包可能需要触发DNS查找，而其他数据包可能只需要简单的报头匹配）。3）不同硬件环境下，分配相同的计算资源，可能会得到不同的吞吐量。服务链最优资源分配策略（2）42为了解决这些问题，乔治哥根廷大学提出了一个名为NFVnice的NFV管理框架，有如下特点：自动调整CPU分配策略，以便根据数据包到达率和所需的计算资源合理分配策略计算资源。实现服务链级拥塞控制的“后向压力”利用合理的资源分配策略实现了服务链级拥塞控制，通过下游网络功能对上游网络功能的实时反馈机制避免了下游网络可能造成丢包。拥塞控制不仅可以应用于服务链中的相邻网络功能，而且可以扩展整个服务链，并使用ECN（ExplicitCongestionNotification）管理主机间的拥塞。服务链最优资源分配策略（3）43定制化网络中服务链设计方法服务链最优资源分配策略定制化网络中服务部署策略定制化边缘网络架构44我们考虑一个三层的网络架构，其中包括接入节点、汇聚节点和移动边缘核心节点。定制化网络中服务部署策略（1）45在边缘网络架构中，为这三个终端设备部署相应的服务链面临以下三个问题。在边缘网络中需要部署多少条服务链为用户提供服务？是否能够利用终端用户多接入的特点进一步优化边缘网络资源利用率？虽然通过解决上述两个问题我们得到了在特定边缘网络中最佳的部署方案，但是在这个方法存在一个悖论使得它无法成为一个通用的解决方案。定制化网络中服务部署策略（2）46云-边架构边-边架构多接入边缘架构定制化边缘网络架构算力优先网络CFN（ComputeFirstNetwork）命名数据网络NDN（NameDataNetworking）不同架构下服务/内容缓存策略研究47下一代网络应按照提供算力服务的要求建设，打造新时代的算力网络。高效的算力网络需具备联网、云端网络与算网三个方面的技术元素。算力优先网络CFN（ComputeFirstNetwork）（1）48云-边架构边-边架构多接入边缘架构定制化边缘网络架构算力优先网络CFN（ComputeFirstNetwork）命名数据网络NDN（NameDataNetworking）不同架构下服务/内容缓存策略研究49当今网络的沙漏体系结构集中在通用网络层（即IP）上，该层实现了全球互连所需的最少的功能。其细腰结构允许上下层技术独立创新，促使网络爆炸性发展。但是，IP被设计为仅使用通信端点命名的通信网络。电子商务、数字媒体、社交网络和智能手机应用程序的持续增长导致网络广泛发展为分布式网络。分布式网络比通信网络更通用，但通过点对点通信协议解决分布式问题既复杂又容易出错。命名数据网络（NDN）提出了改进的IP体系结构，将网络服务的语义从将数据包传递到给定的目标地址更改为获取由给定名称标识的数据。命名数据网络NDN（NameDataNerworking（1）50NDN中的通信由接收端通过交换两种类型的数据包来驱动：兴趣包（Interest）和数据包（Data）。命名数据网络NDN（NameDataNerworking（2）51兴趣包数据包名字名字筛选器元数据随机数内容规则签名课程简介边缘网络服务缓存简介以及评价指标不同架构下服务/内容缓存策略研究应用案例分析边缘缓存策略展望及其挑战服务缓存52内容缓存案例及系统实现服务缓存案例及系统实现应用案例分析53通过将内容存储在地理上分散的缓存中，借助中心平台，使用户就近获取所需内容并降低网络拥塞的网络技术被称为内容分发网络（ContentDeliveryNetwork，CDN）。内容缓存案例及系统实现（1）54内容分发网络在互联网生态系统的经济结构中起着重要作用。诸如纽约时报、Netflix以及Facebook之类的内容提供商向CDN支付费用，从而能够提供比因特网具有更高的可靠性、更优的性能和可伸缩性的服务。内容分发网络中的优化问题主要涉及根据内容流行度对内容缓存的最佳位置进行决策，从而最小化服务延迟、能耗、提高缓存命中率，以及根据历史数据进行相关预测并以此合理进行内容放置等。内容缓存案例及系统实现（2）55德克萨斯大学奥斯汀分校电子与计算机工程系的Shanmugam等人介绍了FemtoCaching的概念，最大程度减小内容访问延迟。阿尔卡特朗讯的Borst等人提出基于内容流行度的CDN分布式缓存算法。弗吉尼亚大学的Prabh等人在中对缓存数据的最佳位置进行求解从而最大程度减小无线传感器节点中的数据包传输。瑞典皇家技术学院电气工程学院的Dán等人对基于预测的内容放置进行研究，并针对基于云的存储以及CDN的混合系统提供了动态内容分配策略。德克萨斯农工大学的Hou等人在提出基于历史的动态边缘缓存，而没有将其应用于对未来过程的预测。内容缓存案例及系统实现（3）56内容缓存案例及系统实现服务缓存案例及系统实现应用案例分析57服务缓存与内容缓存问题有着本质上的区别。内容缓存中出现缓存未命中的情况边缘服务器会从云服务器下载请求的相关内容，服务缓存中，边缘服务器可以选择服务缓存或任务转发。内容缓存无需考虑边缘服务器的计算资源限制与分配，服务缓存则存在多个用于任务对于计算资源的竞争。一些有关服务缓存的工作还考虑用户访问服务（任务上传）所带来的能耗开销。服务缓存案例及系统实现（1）58宾夕法尼亚州立大学的研究者对移动边缘网络场景中的资源共享进行了讨论。服务缓存案例及系统实现（2）59云数据中心因特网回程网络u边缘服务器服务备份用户请求边缘服务器接受请求u边缘服务器处理请求u所有服务···覆盖范围AT&TLabsResearch的研究者将问题建模为一个联合优化服务缓存与任务分配决策从而最大程度降低系统总开销的混合整数线性规划问题。服务缓存案例及系统实现（3）60服务云ABC边缘服务器1边缘服务器2边缘服务器3用户1用户2任务B任务A任务AABBCA回程链路…迈阿密大学电气与计算机工程系的Xu等人提供了一种称为OREO（OnlineseRvicecachingformobileEdgecomputing）的在线算法在无需未来信息的情况下在线做出服务缓存决策。中国科技大学LINKELab的Liu等人在服务缓存问题的背景下，考虑任务的进一步划分。北京邮电大学网络与交换技术国家重点实验室的Ma等人考虑了一个任务到达以及任务负载分别服从泊松分布和负指数分布的多边缘节点的网络场景。服务缓存案例及系统实现（4）61课程简介边缘网络服务缓存简介以及评价指标不同架构下服务/内容缓存策略研究应用案例分析边缘缓存策略展望及其挑战服务缓存62服务发现、服务交付和移动性异构边缘计算系统中的协作低成本容错部署模型无线大数据的利用系统集成资源管理和卸载策略的其他优化考虑卸载与未卸载数据的流量范式隐私安全以及用户信任相关边缘缓存策略展望及其挑战63边缘计算即服务（EdgeComputing-as-a-Service）可帮助边缘计算系统的各运营商和服务提供商以有限的处理和内存资源，较低的收入和基础架构成本来满足其客户需求。由于越来越多的移动设备存在对同时性以及不间断性服务的需求，分布式边缘计算系统中的服务发现（servicediscovery）成为了一项艰巨的任务。无缝服务交付是一种重要的机制，可确保在消费者移动时，在不同边缘计算系统之间运行应用程序的不间断和平滑迁移。服务发现、服务交付和移动性（1）64服务发现、服务交付和移动性异构边缘计算系统中的协作低成本容错部署模型无线大数据的利用系统集成资源管理和卸载策略的其他优化考虑卸载与未卸载数据的流量范式隐私安全以及用户信任相关边缘缓存策略展望及其挑战65边缘计算系统的生态由一系列异构技术组成，例如边缘数据服务器（数据中心）和不同的蜂窝网络（3G，4G和5G）。尽管边缘计算网络的这种异构性质能够允许边缘设备通过多种无线技术（例如WiFi、3G、4G和5G）访问服务，但使这种多供应商系统之间的协作成为一项艰巨的任务。异构边缘计算系统中的协作（1）66WiFi、3G、4G、5G等多种无线技术服务发现、服务交付和移动性异构边缘计算系统中的协作低成本容错部署模型无线大数据的利用系统集成资源管理和卸载策略的其他优化考虑卸载与未卸载数据的流量范式隐私安全以及用户信任相关边缘缓存策略展望及其挑战67在边缘计算系统中可以使用故障转移和冗余技术实现容错，从而实现服务的高可用性、关键业务应用程序的数据完整性，还有提供备用电源电池（UPS）和耐恶劣环境的设备。低成本容错部署模型（1）68服务发现、服务交付和移动性异构边缘计算系统中的协作低成本容错部署模型无线大数据的利用系统集成资源管理资源管理和卸载策略的其他优化考虑卸载与未卸载数据的流量范式隐私安全以及用户信任相关边缘缓存策略展望及其挑战69移动边缘网络中产生的无线大数据是网络分析和设计的宝贵资源，无线大数据的充分利用将为移动网络的性能提供新的机遇。无线大数据的利用（1）70服务发现、服务交付和移动性异构边缘计算系统中的协作低成本容错部署模型无线大数据的利用系统集成资源管理和卸载策略的其他优化考虑卸载与未卸载数据的流量范式隐私安全以及用户信任相关边缘缓存策略展望及其挑战71边缘计算结合了各种平台、网络拓扑和服务器，本质上是一个异构系统。因此，很难为运行在不同位置、不同异构平台上的不同应用程序编程和管理资源和数据。系统集成（1）72服务发现、服务交付和移动性异构边缘计算系统中的协作低成本容错部署模型无线大数据的利用系统集成资源管理和卸载策略的其他优化考虑卸载与未卸载数据的流量范式隐私安全以及用户信任相关边缘缓存策略展望及其挑战73物联网场景下的边缘计算需要对资源管理进行全面、透彻的理解和优化。资源管理可以通过多种方式进行，并且本身的计算开销很小。在一个由多个资源提供者和大量不同的应用程序和用户需求组成的系统中，如何分配、共享并为系统服务定价是一个亟待解决的问题。卸载决策在边缘场景中直观重要，它直接决定任务处理的位置以及处理延迟，在决策过程中还应进一步考虑MEC的能耗（包括计算和相关通信带来的能耗）。资源管理和卸载策略的其他优化（1）74服务发现、服务交付和移动性异构边缘计算系统中的协作低成本容错部署模型无线大数据的利用系统集成资源管理和卸载策略的其他优化考虑卸载与未卸载数据的流量范式隐私安全以及用户信任相关边缘缓存策略展望及其挑战75目前的研究大多忽略了没有被卸载到边缘的常规数据必须通过无线回程链路与被卸载的数据并行传输，因此在将应用程序卸载到边缘服务器期间，为了保证QoS和QoE，有必要为卸载数据以及未卸载的常规数据共同分配和调度通信资源。考虑卸载与未卸载数据的流量范式（1）76未被卸载到边缘的常规数据VoIP

HTTP

FTP

机器类型通信视频流服务发现、服务交付和移动性异构边缘计算系统中的协作低成本容错部署模型无线大数据的利用系统集成资源管理和卸载策略的其他优化考虑卸载与未卸载数据的流量范式隐私安全以及用户信任相关边缘缓存策略展望及其挑战77任何技术的成功都与消费者的接受程度紧密相关，信任是用户接受并采用边缘系统的最重要前提因素之一。边缘计算相关技术由于其本身的特性，安全性和隐私方面的保证是面临的基本挑战。隐私安全以及用户信任相关（1）78试证明：在一个计算资源开销最优的服务链中，压缩数据流的网络功能一定在扩大流的网络功能之前。考虑图7-12网络接入方式为OFDM，那么最优的部署策略是什么？分别需要实例化多少个网络功能，用户的时延是多少？内容缓存和服务缓存的区别？分析图7-6中，各线程之间的依赖关系。讨论服务链设计方法与底层物理资源的关系。本章小测79边缘系统部署80课程简介边缘系统部署场景边缘服务器部署问题边缘系统部署81本章围绕边缘系统服务器部署问题的展开介绍。课程简介82课程简介边缘系统部署场景边缘服务器部署问题边缘系统部署83静态部署场景动态部署场景边缘系统部署场景84静态部署指的是服务器位置一旦确定，后续难以改变的部署方式。静态部署场景（1）85分组核心网络基站基带单元池物联网/无线接入网关无线网络

控制器静态部署场景可根据具体环境的差异，细分为室内和室外两类场景。室外场景中，边缘计算服务器可以直接部署在无线接入网或其周边，目的是便于和无线接入网进行应用协调，且其部署位置根据网络环境的不同而有所差异。室内场景中，边缘计算服务器通常表现为无线接入网关（WirelessAccessGateway），根据具体部署场景的差异，该网关内可部署多类场景通用的边缘应用服务。静态部署场景（2）86静态部署场景动态部署场景边缘系统部署场景87静态部署场景有如下问题：上述问题在动态部署场景或混合部署场景下得到有效解决，即让服务器或部分服务器装载到移动小车、无人机或移动机器人让使其获得移动能力，服务器可以通过移动设备的请求动态调整其部署位置。动态部署场景（1）88不能很好应对用户任务请求量随时空变化的情况不利于节点扩展后的场景静态部署服务器负载无法支撑突发性事件

服务器覆盖范围有限

课程简介边缘系统部署场景边缘服务器部署问题边缘系统部署89部署问题的评价指标及限制条件静态部署问题动态部署问题边缘服务器部署问题90时延服务器资源利用率服务器负载部署财务成本边缘计算服务器和其负责的接入点或用户的平均时延是部署问题主要考虑的KPI资源利用率指服务器负载占整体计算资源和存储资源的利用率

负载是指边缘服务器部署后负责的在线用户的应用服务请求预期出现的计算负担边缘服务器基础设施的部署和使用以及运行时能耗均会影响财务成本部署问题的评价指标及限制条件（1）91部署问题的评价指标：部署问题的评价指标及限制条件（2）92部署问题的限制条件：由于现实环境、商业用途和基础设施硬件本身的限制，导致边缘计算服务器部署问题在优化上节介绍的评价指标时需要考虑多种限制。部署位置地理特点服务器计算存储能力负载均衡任务时延要求预算成本服务可靠性部署问题的评价指标及限制条件（3）93部署位置地理特点：部署问题中服务器的选址存在两种情况，即在现有接入点选择和在环境地理中独立选择。云计算中心3BCDEF2云边端服务器计算存储能力：相比于云计算中心，边缘服务器拥有的计算资源和存储资源是有限的。因此服务器部署时需要对当前部署位置所产生的应用服务请求量进行估计。负载均衡：本着公平性和区域整体服务器资源利用率最大化原则，部署若干同构的边缘服务器需尽可能做到服务器负载均衡。服务器的负载有多种衡量指标：服务器在特定时长内的最大用户连接数终端设备向服务器发起的请求时长服务器在特定时长内的数据请求量部署问题的评价指标及限制条件（4）94任务时延要求：不同的应用程序对时延和带宽的要求有所差异。部署问题的评价指标及限制条件（5）95预算成本：从服务器提供商的角度看，财务收益是主要关注的指标。收益主要来源于，通过提供边缘计算服务来改善用户服务体验，向用户收取服务成本。财务主要的开销分为初始部署和后期维护两部分。服务可靠性：服务器部署时还需要考虑诸如可靠性、安全性和隐私等指标。可靠性难以给出一个确定的量化方法，通常会用系统在一段时间内出现故障并恢复的能力来衡量。部署问题的评价指标及限制条件（6）96部署问题的评价指标及限制条件静态部署问题动态部署问题边缘服务器部署问题97概括边缘服务器部署问题的独特性区域离散化部署策略：聚类算法部署策略：最优化算法部署策略：图论相关算法静态部署问题98边缘服务器静态部署问题的解决步骤可以概括为如下四步：1.区域离散化，确定服务器部署位置选择空间；2.数学建模，明确问题的评价指标和限制条件的量化模型；3.提出算法，解决研究的边缘服务器静态部署问题；4.仿真测试，评估部署方案的优良。概括（1）99概括边缘服务器部署问题的独特性区域离散化部署策略：聚类算法部署策略：最优化算法部署策略：图论相关算法静态部署问题100相比于无线传感网传感器部署问题，边缘计算服务器部署问题主要有如下区别。边缘服务器部署问题的独特性（1）101边缘计算中的终端节点数量更多、流量需求更大且节点异构性更强边缘计算中节点较为密集，对无线信号干扰更为敏感边缘计算中的终端节点即可以采集数据，也具备本地计算任务的能力

边缘计算中处于同一服务器的不同计算任务需要竞争CPU和内存资源

室内场景的WiFi接入点部署和边缘服务器部署问题的主要差异在于，WiFi接入点只负责提供数据传输的服务，不涉及任务的计算处理，因此在部署时主要考虑无线链路质量相关因素。而边缘计算服务器既拥有数据传输的功能，也具备数据处理计算的能力，部署时需要将通信和计算流程结合考虑。边缘服务器部署问题的独特性（2）102室内场景WiFi接入点部署问题。边缘服务器部署问题的独特性（3）103机场平面图机场WiFi接入点各类传感器节点HD高清摄像头概括边缘服务器部署问题的独特性区域离散化部署策略：聚类算法部署策略：最优化算法部署策略：图论相关算法静态部署问题104当服务器部署位置独立于接入点，或者研究接入点等基础设施部署问题时，首先需要执行区域离散化的步骤。现有区域离散化方式可以归纳为两种：网格法和圆形区域求交。圆形区域求交。区域离散化（1）105概括边缘服务器部署问题的独特性区域离散化部署策略：聚类算法部署策略：最优化算法部署策略：图论相关算法静态部署问题106在边缘服务器部署位置的可选择空间确定后，进行部署算法的设计步骤。常用的聚类算法：k-meansDBSCAN高斯混合模型聚类层次聚类部署策略：聚类算法（1）107K-means算法是基于点之间的几何距离创建聚类的方法。部署策略：聚类算法（2）108DBSCAN（Density-basedspatialclusteringofapplicationswithnoise）是一种基于密度的聚类算法，可以有效处理噪声点。优势在于不需要事先确定簇的数量，可以很好地找到任意大小任意形状的簇。部署策略：聚类算法（3）109高斯混合模型聚类（GaussianMixtureMode,GMM）是一种概率式的聚类算法。算法利用期望和标准差来描述簇的形状，每个簇使用一个高斯分布表示。层次聚类算法的优势在于不需要指定簇的数量，算法对于距离度量标准的选择不敏感，另外，该算法对于具有层次结构的基础数据聚类效果更好，也可以用于恢复基础数据的层次结构。部署策略：聚类算法（4）110概括边缘服务器部署问题的独特性区域离散化部署策略：聚类算法部署策略：最优化算法部署策略：图论相关算法静态部署问题111大多数边缘计算服务器部署问题可建模为一个最优化问题。优化目标：服务器和其负责接入点在单位距离下的平均负载最小化。限制条件：服务器的候选位置限制在𝑛个接入点附近每个接入点的负载由一个或多个服务器负责服务器负责不可超出其能力限制部署策略：最优化算法（1）112目前使用最优化理论工具，解决边缘计算服务器静态部署问题的最优化问题可概括如下：部署策略：最优化算法（2）113整数线性规划问题混合整数线性规划问题混合整数非线性规划问题多目标优化问题整数线性规划：在介绍整数线性规划问题前，需要先明确线性规划（LinearProgram,LP）问题的定义。LP问题是目标函数是线性函数，变量的约束条件也是线性约束，最终的决策变量可以取任何的实数的优化问题。整数线性规划（IntegerLinearProgram,ILP）问题则在LP问题的基础上增加了决策变量是整数的限制。部署策略：最优化算法（3）114混合整数线性规划（MixedIntegerLinearProgram,MILP）可视为LP问题和MLP问题的混合形式，决策变量中不仅有连续实数变量，也有离散整数变量。ILP和MILP问题都可以使用一个线性函数来表示优化目标，但是现实生活中大多数优化目标都是非线性的，这衍生了混合整数非线性规划（MixedIntegerNon-linearProgram,MINLP）问题。多目标优化指优化目标不止一个的最优化问题。需要注意多个优化目标之间可存在耦合，这类问题难以直接用单目标优化算法求解。部署策略：最优化算法（4）115研究工作优化目标服务器能力接入点负载服务器数目最优化问题求解算法EfficientAlgorithmsforCapacitatedCloudletPlacements

时延上限单服务器固定ILP启发式AFrameworkfortheJointPlacementofEdgeServiceInfrastructureandUserPlaneFunctionsfor5G

综合KPI上限单服务器可调ILP启发式CostAwarecloudletPlacementforbigdataprocessingattheedge

综合KPI上限多服务器固定MILP启发式Mobileedgecomputingresourcesoptimization:Ageo-clusteringapproach

资源利用率最大化多服务器可调MILP图论算法Ahybridcloudletplacementframeworkoverpassiveopticalaccessnetworks

财务成本上限多服务器固定MINLP转换为MILPAdaptiveEdge-CentricCloudContentPlacementforResponsiveSmartCities

时延&负载均衡上限多服务器固定多目标优化转换为单目标部署策略：最优化算法（5）116概括边缘服务器部署问题的独特性区域离散化部署策略：聚类算法部署策略：最优化算法部署策略：图论相关算法静态部署问题117大多数边缘计算服务器部署位置的选择问题，可以转换图论中的问题。如将边缘计算部署问题转换为图论中最小生成树（minimumspanningtree,MST）和最小支配集（minimumdominatingset,MDS）问题。部署策略：图论相关算法（1）118部署问题的评价指标及限制条件静态部署问题动态部署问题边缘服务器部署问题119高移动性带来的挑战动态服务器部署方案动态部署问题120动态服务器为边缘计算场景服务器部署带来灵活性和便利性的同时，高移动性的引入也会带来新的挑战。高移动性带来的挑战（1）121算法需要有自适应性动态服务器移动时间通常远大于任务计算时间，时延敏感型任务的时间要求需要保证服务器的路径规划（即动态服务部署）问题和资源分配、任务调度等经典问题耦合

动态服务器的计算能力不如静态服务器

高移动性带来的挑战动态服务器部署方案动态部署问题122动静服务器混合部署方案动态服务器路径规划动态服务器移动性管理部署方案性能评估工具动态服务器部署方案123混合部署指既部署动态服务器也部署固定的静态服务器，利用动态服务器的灵活性对其进行调度，使得静态服务器无法满足用户需求的情况下动态服务器可为用户提供可靠服务。维多利亚大学的JingrongWang团队利用UAV装载边缘服务器实现了服务器的移动性功能。动静服务器混合部署方案（1）124动静服务器混合部署方案动态服务器路径规划动态服务器移动性管理部署方案性能评估工具动态服务器部署方案125服务器移动路径是移动服务器需要重点规划的内容之一。清华大学的YuLiu团队提出了针对移动边缘计算服务器联合优化路径规划和资源分配的算法。电子科技大学的RongCong等人提出动静服务器混合部署框架EdgeGO。动态服务器路径规划（1）126动静服务器混合部署方案动态服务器路径规划动态服务器移动性管理部署方案性能评估工具动态服务器部署方案127电子科技大学的赵志为团队提出了服务区速度控制算法。动态服务器移动性管理（1）128动静服务器混合部署方案动态服务器路径规划动态服务器移动性管理部署方案性能评估工具动态服务器部署方案129OPNET：是最常用的网络仿真软件之一，由美国MIL3公司研发，主要针对有大型复杂网络仿真需求的网络设计专业人员而开发，功能非常完备强大。部署方案性能评估工具（1）130ServiceProviderGuru

OPNETModeler

ITGuru

WDMGuruNS（networksimulator）起源于1989年美国军方的RealNetworkSimulator项目，由UCBerkeley开发，是最早的网络仿真软件之一。目前有NS-2和和NS-3两个比较成熟的版本。部署方案性能评估工具（2）131NS-2NS-3开源软件开源软件用户自定义模型困难用户自定义模型容易工具由大量用户贡献工具由少量用户贡献双语言编写（C++、Otcl）单语言编写（C++）编程能力要求高编程能力要求适中现有模型支持大量的协议现有模型支持少量的协议NS-3具有高内聚低耦合的特点，主要包含六类网络组件。部署方案性能评估工具（3）132应应用协议栈网络设备节点信道信道类套接字API数据包应应用协议栈网络设备节点OPNET和NS仿真软件存在的内存开销极大问题，在SSFNet中得到有效处理。SSFNet（ScalableSimulationFrameworkNetwork）是一个基于JavaSSF（SimpleSeamFramework）组件合集，主要用于仿真IP层以上的网络模型，具有良好的扩展性，且支持对物理层和链路层的单独仿真。MiniNet是目前主流仿真SDN的平台，由斯坦福大学在2010年开发。软件基于LinuxCONTAINER架构开发，可以创建一个包含主机、交换机、控制器和链路的虚拟网络，为SDN提供高灵活度的仿真支持。部署方案性能评估工具（4）133边缘系统的部署场景可分为哪几类？每类部署场景的特点是什么？请简要阐述边缘系统部署中常用的评价指标及限制条件。边缘服务器部署问题和无线传感器网络中传感器节点的部署问题，有何异同？简要概括动态部署策略的主要使用场景。试针对边缘服务器静态部署问题进行数学建模，给出问题的最优化表示。

优化目标：最小化服务器和相关接入点单位距离下的平均负载。

限制条件：1）接入点地点的优先级各异；2）每个接入点的负载可由多

个服务器协作负责；3）每个服务器的负载能力有限。本章小测134边缘人工智能边缘人工智能边缘场景中的人工智能人工智能在边缘场景的应用边缘网络的人工智能移动端开源机器学习框架边缘人工智能展望136边缘场景中的人工智能人工智能简述常用概念简介边缘计算与人工智能结合的意义137人工智能简述人工智能主要关注与构建能够处理通常需要人类智能才能处理的任务的智能机器。如今人工智能已经成为技术行业的重要组成部分，能够帮助解决计算机科学、软件工程以及运筹学中的众多难题。138常用概念简介机器学习深度学习联邦学习139机器学习机器学习被视为人工智能的子集，是对通过经验自动改进的计算机算法的研究。如今有关机器学习的技术与应用已经涉及到生活的方方面面，自动驾驶、指纹解锁等技术的兴起也为生活带来更多便利。140机器学习141机器学习方法分类监督学习无监督学习强化学习机器学习常见算法决策树支持向量机朴素贝叶斯K-近邻（KNN）

线性回归人工神经网络（ANN）

深度学习深度学习通过利用人工神经网络（ANNs）来学习数据的深度表示，由于人工神经网络通常由一系列的层次组成，因此该模型被称为深度神经网络（DNN）。142深度学习DNNs的三种常用结构：多层感知器（multilayerperceptrons，MLPs）、卷积神经网络（convolutionneuralnetworks，CNNs）和递归神经网络（recurrentneuralnetworks，RNNs）。143深度学习在边缘网络中，除了能够将DNN部署在边缘服务器以外，还能利用DNN的结构进行模型分割。144联邦学习联邦学习(Federatedlearning）是谷歌在2016年提出的一种机器学习技术，有三大构成要素：数据源、联邦学习系统、用户。145边缘计算与人工智能结合的意义边缘计算能够为人工智能应用带来更低的延迟以及更低的带宽消耗。一种新的MEC中的模型训练协作模式如图。146边缘计算与人工智能结合的意义利用人工智能能够更有效的利用边缘结点获取到的各种数据，边缘计算可以通过人工智能应用来普及。由于在边缘运行人工智能应用的优越性和必要性，因此边缘人工智能近年来已经受到了广泛的关注。147人工智能在边缘场景的应用计算卸载决策优化服务器部署决策优化资源分配决策优化深度学习在边缘网络中的应用148计算卸载决策优化在大多数边缘网络场景中，需要合理安排每个移动设备任务的卸载决策，使用基于学习的算法不仅能够做出最小化计算延迟的卸载决策，也能对边缘系统的可靠性、安全性带来提升。CarletonUniversity的He等人在智能城市的环境中使用神经网络来选择用户将连接到哪个虚拟网络。149计算卸载决策优化首尔科技大学的Rathore等人提出使用hesitantfuzzyset来根据资源的状态以及用户所需的安全级别等级来决定用户任务是否应该卸载到某一台边缘服务器。美国明尼苏达大学数字技术中心的李等人的工作主要关注IoT设备任务卸载到边缘服务器场景中的安全方面问题。清华大学电子工程系的孙等人考虑了一个高度动态化的移动边缘网络场景。意大利电信网络和远程信息处理实验室的Carrega等人在文中提出中间件的构想。

150计算卸载决策优化奥地利维也纳理工大学软件技术与交互系统研究所的Aral等人使用基于树的朴素贝叶斯来决策每个用户应该将任务卸载到哪台边缘服务器与虚拟机。151计算卸载决策优化InterDigitalCommunications的Kim等人提出了一种用于确定边缘网络场景中用户卸载目标的算法。152计算卸载决策优化伊利诺伊大学香槟分校的Gu团队使用模糊控制模型来决定子任务应该在本地还是在边缘服务器上执行。拉马尔大学的He等人通过受约束的马尔可夫决策过程对MEC中的安全需求问题进行建模。新加坡技术与设计大学的Dinh等人研究了用户任务应该卸载到哪里的决策问题。美国犹他州立大学的Tan和Hu等人考虑移动边缘场景中的移动设备对象是车辆。东南大学国家移动通信研究实验室的Wu等人在一个边缘服务器为车辆中的用户提供服务的场景中使用了支持向量机。153服务器部署决策优化使用基于机器学习的算法来完成服务器部署决策能够有效减小任务计算延迟、降低能耗以及提高边缘服务器的资源利用率。电子科技大学通信科学技术国家重点实验室的Hou等人提出一种边缘网络场景下的MEC服务器缓存策略。154服务器部署决策优化东南密苏里州立大学的Crutcher等人使用k-NN（K近邻，k-nearestneighbors）算法来最大程度地减少服务延迟和能耗。云南大学信息科学与工程学院的Li等人使用了k-means聚类算法决定MEC服务器应该部署在何处。上海电力大学计算机科学与技术学院的Du等人提出了一种基于CFSFDP进行聚类的方法。155服务器部署决策优化北京邮电大学网络体系结构与融合重点实验室的Liu等人同样也使用了k-means聚类方法。北京邮电大学网络与交换技术国家重点实验室的Li解决服务器部署问题。墨西拿大学工程系的Vita等人虑一个具有多个边缘服务器和远端云服务器并且用户存在移动性的边缘网络场景。西安工程大学计算机系的Gao等人解决了类似的问题。156资源分配决策优化合理分配边缘服务器为用户提供的计算资源、通信资源，以及边缘服务器与云服务器之间的资源对于任务计算延迟、能量消耗等方面有决定性的作用。157资源影响传输功率用户与边缘服务器以及边缘服务器之间的传输功率，会直接影响传输能耗与传输速率服务器计算资源当有多个用户将任务卸载到服务器上，服务器需要为用户分配计算资源，会对用户任务计算速度、计算能耗以及服务提供商利润造成影响服务器内存缓存内存缓存越大，越多用户能够借助边缘服务器处理而无需将任务上传到云端，从而减小执行延迟信道带宽直接影响数据上传与下载速度编码块长度编码块长度太小会导致过高解码错误率，而太大会影响传输效率资源分配决策优化日本东北大学信息科学研究生院的Rodrigues等人使用粒子群优化算法。Rodrigues考虑一个用户具有移动性的边缘网络场景。东南大学国家移动通信研究实验室的Zhang等人提出动态演化博弈。浙江大学信息科学与电子工程学院的Wang结合遗传算法与模拟退火算法。华南理工大学软件工程学院的Wen等人提出了一个用于向运行数据流应用程序的用户分配资源的方法。158资源分配决策优化迈阿密大学电气与计算机工程系的Xu等人解决在非城市中心的区域部署边缘服务器的困难。亚琛工业大学的Yang等人解决了将通信资源和计算资源从单个MEC服务器分配给多个用户的问题。159深度学习在边缘网络中的应用实时视频分析自主车联网智能制造智慧家庭与智慧城市160实时视频分析实时视频分析在自动驾驶、虚拟现实（VR）、增强现实（AR）以及智能监控等领域都非常重要。下图分别在终端、边缘和云端协作通过深度学习运行实时视频分析。161实时视频分析162终端终端层在实时视频分析中主要用于视频获取、媒体数据压缩、图像预处理以及图像分割。边缘端在边缘层次，可以通过众多分布式边缘结点协作的方式提供更好的服务。云端在云的层次上，云服务器主要负责边缘层次内部的深度学习模型集成，并更新边缘结点上分布式深度学习模型的参数。自主车联网将车辆互相连接起来，能够提高车辆安全性、提高效率并且减少交通拥堵的发生。

163智能制造智能制造时代的两个最重要的准则是自动化和数据分析，前者是主要目标，后者是最强大的工具之一。为了遵循这两个原则，智能制造首要任务便是解决响应延迟、风险控制和隐私保护方面相关问题，因此深度学习和边缘计算都是必不可少的。

164智慧家庭与智慧城市为了保证家庭敏感隐私数据，智慧家庭的数据处理必须依赖边缘计算。智慧家庭能够扩展到社区甚至城市，则公共安全、健康数据、公用设施以及交通和其他领域都能够受益。

165边缘网络的人工智能联邦学习与边缘网络TinyMLFregataAIoT系统

166联邦学习与边缘网络降低通信开销边缘和本地计算模型压缩基于重要性的更新

167降低通信开销边缘场景联邦学习中可能需要参与者和联邦学习服务器之间多轮通信来实现目标精度，提高通信效率是很有必要的。

168边缘和本地计算边缘计算场景下的联邦学习中，通信开销带来的影响远大于计算开销，可在每次全局聚合前，在边缘节点或终端设备上进行更多的计算。

169模型压缩模型压缩以及梯度压缩能够通过稀疏化、量化或二次采样将一次通信的更新变得更加紧凑。然而，由于压缩会引入噪声，因此此时的目标是保持训练模型质量的同时减小每轮更新的大小。

170基于重要性的更新这种类型策略包括选择性通信，即在每一轮中只传输重要或者相关的更新。实际上忽略参与者的部分更新除了能减小通信开销外，甚至能够提高全局模型性能。

171TinyML随着机器学习在工业中应用越来越多，物联网也迅速发展，如何在受制于低算力与低能耗的物联网设备以及嵌入式设备等终端硬件上长时间低功耗的运行AI应用亟待解决。TinyML,即微型机器学习，是指在终端、边缘端的微处理器上运行机器学习。

172TinyMLTinyML相关工作涉及到多个领域的结合，包括机器学习领域相关技术的部署和使用、基于边缘计算的思路将计算和存储下沉到靠近设备一侧以及物联网设备的使用。

173FregataFregata是TalkingData针对大规模机器学习中计算资源消耗大、训练时间长以及调参效率低下的问题提出的基于ApacheSpark的轻量级、开源、超高速大规模机器学习算法库。

174Fregata主要特点精确高速无需调参或者调参较简单轻量AIOT系统AIoT，即人工智能物联网（ArtificialIntelligence&InternetofThings），旨在通过物联网产生与收集海量数据并存储于边缘端与云端，然后通过人工智能与大数据分析，从而实现万能数据化与智联化。

175移动端开源机器学习框架TensorFlowLiteCoreMLNCNNPaddleLiteMNNMACESNPE

176TensorFlowLiteTensorFlowLite是一组能够帮助开发者在移动设备、嵌入式设备和物联网设备上运行TensorFlow模型的工具。使用TensorFlowLite能够让开发者在网络边缘的设备上执行机器学习，而无需在设备与服务器之间来回发送数据。主要步骤如图。

177TensorFlowLiteTensorFlowLite使用转换器进行模型转换时的更新过程如图。

178CoreMLCoreML是苹果在MLWWDC2017开发者大会上推出的一款用于将机器学习集成到APP中的机器学习框架。

179NCNNNCNN是为移动平台优化的高性能神经网络推理计算框架，在设计之初便是针对移动平台优化的高性能神经网络推理计算来开发。

180PaddleLitePaddleLite是一个由百度飞浆推出的高性能、轻量级、灵活性强且易于扩展的深度学习推理框架，定位支持包括移动端、嵌入式以及服务器端在内的多硬件平台。

181PaddleLite主要特点多硬件支持轻量级部署高性能支持量化计算MNNMNN是由阿里巴巴推出的一个轻量级的高效深度学习框架，支持深度学习模型的推理与训练，并在端侧推理与训练性能方面在业界处于领先地位。

182MACEMACE（MobileAIComputeEngine）是小米推出的针对Android、iOS、Linux和Windows设备上针对移动异构计算优化的深度学习推理框架。MACE工作流程如图。

183SNPESNPE（Snapdragon神经处理引擎）是由高通推出的用于深度神经网络执行的高通骁龙（QualcommSnapdragon）软件加速运行。SNPE完成了在Snapdragon移动平台上运行神经网络所需的许多繁重工作，可以帮助开发人员提供更多时间和资源来专注于构建新的创新用户体验。184移动端开源机器学习框架

185框架发布机构机构发布年份年份当前版本集成模型部署平台特性TensorFlowLite

Google

2017

2.1.0

Mobilenet_V1_1.0_224_quant、COCOSSDMobileNetv1、Posenet、Deeplabv3、Stylepredictionmodel、TextClassification、MobileBert、recommendation等

Android、iOS、嵌入式Linux设备、微控制器多平台多语言支持、高性能、高效的模型格式、提供模型优化工具和预训练模型

CoreML

Apple

2017FCRN-DepthPrediction、MNIST、UpdatableDrawingClassifier、MobileNetV2、Resnet50、SqueezeNet、DeeplabV3、YOLOv3、YOLOv3-Tiny、PoseNet、BERT-SQuADiOS、MacOS

针对设备性能进行了优化、最大限度上减少内存占用和功耗、确保用户数据的隐私、确保应用在网络连接不可用时保持功能和响应

移动端开源机器学习框架

186框架发布机构发布年份当前版本集成模型部署平台特性NCNN

腾讯

2017

ncnn-20200916

iOS、Android、Windows、Linux

无第三方依赖、跨平台、精细的内存管理和数据结构设计、支持多核并行计算加速、支持8bit量化和半精度浮点存储

PaddleLite

百度

20172.7

ERNIE、ernie_tiny、lac、senta_bilstm、

emotion_detection_textcnn等

ARMCPU、ARMGPU、

HuaweiNPU、IntelX86CPU、NVGPU

多硬件支持、轻量级部署、高性能、支持量化计算

移动端开源机器学习框架

187框架发布机构发布年份当前版本集成模型部署平台特性MNN

阿里巴巴

20191.1.0DeepLab、DenseNet、Inception、LaneNet、LFFD、MnasNet、MobileNet、MobileNetSSD、ModifiedMobileNetSSD、MTCNN、MultiPersonMobileNet、SqueezeNet、YOLO(s)

iOS、Android

轻量级、通用性、高性能、易用性

MACE

小米

20181.0.0convolutional-pose-machines、deeplab-v3-plus、fast-style-transfer、inception-v3、kaldi-models、micro-models/har-cnn、mobilenet-v1/v2、onnx-models、realtime-style-transfer、resnet-v2-50、shufflenet-v2、squeezenet、ssd-mobilenet-v1、vgg16、

yolo-v3

Android、iOS、Linux和Windows设备

使用NEON、OpenCL和Hexagon对运行时进行了优化、引入Winograd算法加快卷积操作、支持图级别的内存分配优化和缓冲区重用

移动端开源机器学习框架

188框架发布机构发布年份当前版本集成模型部署平台特性SNPE

高通20171.43.0

SnapdragonTMCPU、AdrenoTMGPU、HexagonTMDSP

能够通过C++或者Java将深度神经网络集成到应用程序或者其他代码中、提供用于调试和分析深度神经网络性能的工具

边缘人工智能展望资源友好型边缘AI模型设计计算感知网络技术任务卸载到IoT设备动态预测ML集成DNN性能指标权衡新型AI模型与技术探索

189资源友好型边缘AI模型设计大多数基于深度学习的AI模型都是高度资源密集型的，这意味着需要丰富的硬件资源（例如GPU、FPGA、TPU）支持的强大计算能力来提高此类AI模型的性能。有一种方式是促进资源感知的边缘AI模型设计。

190计算感知网络技术在边缘AI场景中，基于AI的计算密集型应用程序通常运行在分布式边缘计算环境中。因此，需要使用计算感知的高级网络解决方案，以便计算结果和数据可以在不同的边缘节点之间有效地共享。

191任务卸载到IoT设备资源受限的移动设备上能够运行的任务种类越来越多，然而，将物联网设备作为潜在的服务器使得在选择前要考虑的因素会更多。为了选择请求卸载到何处，深度Q-learning神经网络，支持向量机以及贝叶斯网络都可能会运用到场景中。

192动态预测在动态性非常强的边缘计算场景下，用户随时都可能发生位置改变，这会导致服务器质量的波动。好的解决方案是预测动态变化并事先进行适当的修改。

193ML集成通常在机器学习的研究中需要算法充分了解全局系统，但在边缘计算场景中，数据可能产生于许多不同的位置，因此在执行算法之前要一个系统来集中数据，需要在全局信息集中而带来的额外开销和使用部分数据而带来的性能下降之间进行权衡。

194DNN性能指标权衡对于一个具有特定任务的边缘AI应用程序，通常有一系列候选DNN模型能够完成任务。然而，由于top-k精度或平均精度等标准性能指标无法反映边缘设备DNN模型推理的运行性能，我们需要研究这些指标之间的权衡，并确定各自的影响因素。

195新型AI模型与技术探索随着各种计算密集型的新型应用程序出现，硬件的算力的提升很难跟上满足对计算速度需求的增长，尤其是对于资源受限的移动设备与物联网设备。为了更好的在边缘侧部署深度学习应用，需要更加轻量的网络模型与算法来支持。

196197何谓AIoT架构？与传统IoT架构相比有何异同？人工智能能够在哪些问题场景为边缘计算提供优化分布式机器学习中，常用的两种划分学习任务的方式是什么列举四种深度学习在边缘网络的常用应用场景介绍TensorFolwLite的主要特点在移动边缘网络中使用联邦学习时，需要额外关注哪个指标？谈谈如何优化这个指标本章小测198安全与隐私保护199章节概览：简介200边缘计算隐私保护概述边缘计算数据安全与隐私保护体系安全技术边缘计算安全技术应用隐私保护开源工具和未来挑战目录201简述边缘计算与云计算相比在隐私保护方面的优势隐私保护在边缘计算的作用边缘计算隐私保护概述202安全是指达到抵抗某种安全威胁或攻击的能力，横跨云计算和边缘计算，需要实施端到端的防护。边缘计算有五大问题需要解决：体系结构、碎片化、物理安全性、蔓延、用户错误可以从五个方面评价边缘计算的数据安全性：机密性、完整性、可用性、身份验证和访问控制、隐私要求简述（1）203简述边缘计算与云计算相比在隐私保护方面的优势隐私保护在边缘计算的作用边缘计算隐私保护概述204降低用户隐私数据泄露的风险数据或任务能够在靠近数据源头的网络边缘侧进行计算和执行，为数据安全和隐私保护提供更好的结构化支撑。突破了终端硬件的限制移动终端等便携式设备大量参与到服务计算中，实现了移动数据存取、智能负载均衡和低管理成本。边缘计算的优势（1）205允许更多保密算法的应用复杂的加密和隐私保护算法也得以应用在更多的边缘计算服务上，从而更好的保障用户隐私。黑客攻击变得困难在边缘计算中，黑客想要访问边缘内的敏感信息，就需要渗透到分散的存储系统中以访问边缘内的敏感信息。边缘计算的优势（2）206简述边缘计算与云计算相比在隐私保护方面的优势隐私保护在边缘计算的作用边缘计算隐私保护概述207随着嵌入式智能设备越来越多，隐私数据的安全问题逐渐成为人们最为关心的问题之一。在边缘计算的场景下，数据安全性和隐私保护已成为保护最终用户的业务。隐私保护在边缘计算的作用（1）208边缘计算隐私保护概述边缘计算数据安全与隐私保