智能无线通信 课件 第七章 智能边缘网络中的多维资源调度

智能边缘网络中的多维资源调度

基于人工智能的边缘网络资源调度1课程引入2人工智能的支撑点-物联网人工智能支撑基础：物联网收集的数据数据是最宝贵的资源课程引入3人工智能的支撑点-物联网计算能力的提升计算时延降低尚待降低训练时延数据传输时延成为瓶颈训练AlphaGo的时间为什么决策加速越来越慢？课程引入4无线通信的新场景大规模机器通信

mMTC高可靠低时延通信

uRLLC增强移动宽带

eMBB超高清视频、大型在线游戏虚拟现实(VR)、增强现实(AR)智能家居智慧农业自动驾驶工业控制机器接入量>人机器通信为了什么？课程引入5无线通信的新场景及时做出正确的决策设备：数据收集器收集感知数据离线数据分析数据收集设备：决策执行器共享感知数据得到决策智能决策&控制

课程引入6我国推出全球车联网唯一国际标准“5G+车联网”中国模式

单车智能盲区单车感知、计算能力受限C-V2X成为全球车联网唯一的国际标准事故频发课程引入7“5G+车联网”中国模式

聪明的车+智慧的路单车智能单车感知、计算能力受限边缘计算课程引入8传统无线网络的瓶颈为什么无法实现？我们想要：

实际情况：

课程引入9传统无线网络的瓶颈云服务器计算资源计算资源计算资源计算资源靠近数据源头进行训练，避免核心网拥塞课程引入10通过无线网络获取智能无线通信的功能：连接人（语音通话）激活智能（数据传输/处理）基础概念理解：智能边缘网络的资源调度

理解网络中多维资源调度01基于强化学习的卸载算法：基于Q-learning的在线卸载策略

通信和计算资源的联合分配03基于深度强化学习的切片调度：基于SAC的网络切片动态调度

网络切片的动态资源管理问题04本节教学内容AI基础知识：人工智能算法-强化学习

复习强化学习基础知识02基础概念理解：智能边缘网络的资源调度12智能边缘网络

基础概念理解：智能边缘网络的资源调度13智能边缘网络的基本概念在靠近数据源的网络边缘部署计算资源，训练深度学习模型需要：将对通信及计算两个过程进行优化基础概念理解：智能边缘网络的资源调度14智能边缘网络的资源调度资源分配问题通常建模为最优化问题(optimizationproblem)通信及计算的时延约束计算资源分配约束频谱资源分配约束1.目标函数最大化吞吐量最小化时延决策变量通信&计算资源通信对计算队列的影响2.约束条件资源受限调度规则性能要求基础概念理解：智能边缘网络的资源调度15智能边缘网络的资源调度想要一个短期内的资源分配策略：想要一个长期的资源分配策略：系统资源状态可以假设为准静态确定性优化问题（deterministicoptimization）凸优化求解(convexprogramming)系统资源状态的随机时变特性随机优化问题(stochasticoptimization)

缺少先验知识：强化学习(ReinforcementLearning)通信主体环境

基础概念理解：智能边缘网络的资源调度16资源调度的目的Claude

Shannon信息论之父AlanTuring人工智能之父“Datasamplesarebornequal”每个信息比特都是同样重要的“Datasamplesarenotequallyimportant”每个数据样本对学习性能来说

并不是同等重要的最大化总比特数

最大化重要的数据样本数基础概念理解：智能边缘网络的资源调度17怎么衡量数据的重要性例子：支持向量机对数据进行二元分类决策边界：

对学习样本求解的

最大边距超平面离决策边界越近的数据，越不确定，越重要“Datasamplesarenotequallyimportant”每个数据样本对学习性能来说

并不是同等重要的支持向量非常重要重要较不重要基础概念理解：智能边缘网络的资源调度18数据上传时延成为瓶颈1.哪些数据需要上传？传统的资源分配指标：最大化总比特数

以获取智能为目标的资源分配指标：最大化重要的数据样本数基础概念理解：智能边缘网络的资源调度19数据上传时延成为瓶颈利用终端的计算能力进行训练或推理训练(training)：使用提供的数据构建模型推理(inference)：将此模型应用于以前未曾见过的新数据/s/m6bFbkdotvMd9F1gSDdpkQ2.既然从设备上传到基站的信道有限，可以不上传吗？基础概念理解：智能边缘网络的资源调度20数据上传时延成为瓶颈2.既然从设备上传到基站的信道有限，可以不上传吗？利用终端的计算能力进行模型推理

计算密集的部分模型分割基础概念理解：智能边缘网络的资源调度21数据上传时延成为瓶颈2.既然从设备上传到基站的信道有限，可以不上传吗？利用终端的计算能力进行模型训练

联邦学习用户共享隐私保护不直接收集用户终端数据收集各用户终端的最新模型训练更新如何设定聚合的频率和内容基础概念理解：智能边缘网络的资源调度22数据上传时延成为瓶颈2.既然从设备上传到基站的信道有限，可以不上传吗？利用终端的计算能力进行模型训练

深度神经网络划分将神经网络模型切分成若干份部署在不同用户处关键问题：在哪些位置做切分？原则：切分前后没有丢弃数据，不造成训练精度的损失基础概念理解：智能边缘网络的资源调度23数据上传时延成为瓶颈2.既然从设备上传到基站的信道有限，可以不上传吗？利用终端的计算能力进行模型训练

迁移学习(TransferLearning)在基础数据集上训练一个基础网络（导师网络）学习到的特征迁移到目标网络（学生网络）目标数据集进行训练关键问题：基础网络的泛化能力应用：动态场景，车联网基础概念理解：智能边缘网络的资源调度24数据上传时延成为瓶颈2.既然从设备上传到基站的信道有限，可以不上传吗？利用终端的计算能力进行模型训练

Gossip学习去中心化的异步训练方法基础概念理解：智能边缘网络的资源调度25数据上传时延成为瓶颈边缘计算网络设计优化指标？A.传输速率B.传输时延C.决策时延“5G+车联网”中国模式

基础概念理解：智能边缘网络的资源调度26决策的时延,对我们有什么影响？基础概念理解：智能边缘网络的资源调度27决策的时延,对我们有什么影响？通知观察抓捕推算基础概念理解：智能边缘网络的资源调度28决策的时延,对我们有什么影响？通知观察抓捕推算基础概念理解：智能边缘网络的资源调度29决策的时延,对我们有什么影响？采集基础概念理解：智能边缘网络的资源调度30决策的时延,对我们有什么影响？采集传输基础概念理解：智能边缘网络的资源调度31决策的时延,对我们有什么影响？采集传输计算基础概念理解：智能边缘网络的资源调度32决策的时延,对我们有什么影响？传输计算决策采集基础概念理解：智能边缘网络的资源调度33决策的时延,对我们有什么影响？传输计算决策决策有时延采集是太慢了基础概念理解：智能边缘网络的资源调度34边缘计算网络采集传输计算决策决策有时延基础概念理解：智能边缘网络的资源调度35边缘计算网络的实时性上传信道信源基站控制决策数据包计算处理数据包信源：机器周期性的数据采集及上传基站：处理数据，获得系统状态，下发决策性能：决策是否及时?基础概念理解：智能边缘网络的资源调度365G+AI典型场景:智能车联网如何分配系统资源，让车辆获取实时决策？“无人，不刹车!”信道有限通信时延算力有限计算时延“有人，刹车!”基础概念理解：智能边缘网络的资源调度37边缘计算网络的实时性怎么让车辆获取实时决策：车前有人，需要刹车减慢采样频率？车前无人,不刹车采样间隔大信道有限通信时延小计算时延小算力有限基础概念理解：智能边缘网络的资源调度38如何量化决策的时延？决策时延

信道有限算力有限

采样1基础概念理解：智能边缘网络的资源调度39如何量化决策的时延？决策时延

采样信道有限算力有限基站处数据包是前生成的通信时延

1基础概念理解：智能边缘网络的资源调度40如何量化决策的时延？决策时延

采样信道有限算力有限1

计算时延通信时延基础概念理解：智能边缘网络的资源调度41如何量化决策的时延？决策时延

采样信道有限算力有限

计算时延通信时延基站计算出来的是前的状态1决策时延：最新处理的数据包是多久以前生成的

基础概念理解：智能边缘网络的资源调度42如何量化决策的时延？决策时延

信道有限算力有限

2

采样间隔

基础概念理解：智能边缘网络的资源调度43如何量化决策的时延？决策时延

信道有限算力有限

采样间隔

通信时延

计算时延

基站处现在是前的状态

基础概念理解：智能边缘网络的资源调度44如何量化决策的时延？决策时延

信道有限算力有限

采样间隔

通信时延

计算时延

2

基础概念理解：智能边缘网络的资源调度45边缘计算网络的排队模型（M/M/1）

包到达等待系统包离开信源服务单元基础概念理解：智能边缘网络的资源调度46边缘计算网络的排队模型（M/M/1）信道有限算力有限

采样等待

等待计算

决策

通信时延

计算时延信源

基础概念理解：智能边缘网络的资源调度47边缘计算网络的排队模型（M/M/1）信道有限

采样等待

通信时延信源

基础概念理解：智能边缘网络的资源调度48边缘计算网络的排队模型（M/M/1）信道有限

采样等待

通信时延信源

基础概念理解：智能边缘网络的资源调度49边缘计算网络的排队模型（M/M/1）信道有限

采样等待

通信时延信源

基础概念理解：智能边缘网络的资源调度50边缘计算网络的排队模型（M/M/1）采样等待

等待

决策

通信时延计算时延信源问题：通信队列的输出是什么分布？观察：通信队列的输出=计算队列的输入

1.稳态下：2.条件概率密度分布：

队列忙队列空

3.概率密度函数：基础概念理解：智能边缘网络的资源调度51边缘计算网络的排队模型（M/M/1）采样等待

等待

决策

通信时延计算时延信源问题：通信队列的输出是什么分布？观察：通信队列的输出=计算队列的输入

Burke定理：基础概念理解：智能边缘网络的资源调度52怎么在线做出决策呢？通信&计算资源基础概念理解：智能边缘网络的资源调度

理解网络中多维资源调度01基于强化学习的卸载算法：基于Q-learning的在线卸载策略

通信和计算资源的联合分配03基于深度强化学习的切片调度：基于SAC的网络切片动态调度

网络切片的动态资源管理问题04本节教学内容AI基础知识：人工智能算法-强化学习

复习强化学习基础知识02AI基础知识：人工智能算法-强化学习54人工智能算法-强化学习机器学习算法分类：

监督学习：从带有标签的训练数据中学习标识出对的和错的行为学习从输入到输出的映射函数目标：从输入预测输出无法对未知领域及不稳定环境中学习行为不直接对环境造成影响

可对未知领域进行学习：

没有标签，只有反馈（reward）

通过试错交互和经验学习反馈有延时最像自然学习过程的机器学习算法

非监督学习：只使用输入通过数据聚类，分析隐藏特征规律不标识对和错的行为行为不直接对环境造成影响

强化学习：受心理学启发的技术Agent

vs.环境通过和环境的交互进行学习以达到目标比其他学习算法更真实行为(action)直接对环境造成影响（输入是时序数据，agent执行动作会影响后续数据）

预测型任务决策型任务AI基础知识：人工智能算法-强化学习55人工智能算法-强化学习强化学习示例：

Q：棋手通过计算，发现位置1比位置2的胜算大，是强化学习嘛？

A：不是，这个是规划。如果通过几次尝试，发现走位置1比位置2赢的可能性大，得出经验，则为强化学习。ModelValuefunctionPolicyExperienceDirectRLmethodsDirectplanningGreedificationModellearningSimulationEnvironmentalinteractionAI基础知识：人工智能算法-强化学习56人工智能算法-强化学习强化学习关键要素：

环境(environment)奖赏反馈(reward)行为(action)状态(state)强化学习模型：

针对一个具体问题，得到一个最优策略(policy)在最优策略下，获得的reward最大最优策略=一系列action强化学习过程：

从要完成的任务提取一个环境从环境中抽象出状态(state)，行为(action)，以及该行为带来的奖赏(reward)Agent与环境不断交互，根据reward调整actionAI基础知识：人工智能算法-强化学习57人工智能算法-强化学习强化学习框架：

Agent感知当前的环境状态(state)针对当前的状态和奖励值，agent选择一个动作执行(action)当agent所选择的动作作用于环境时，环境发生变化(state)环境状态转移至新状态，并给出奖赏(reward)奖赏反馈给agentAI基础知识：人工智能算法-强化学习58人工智能算法-强化学习强化学习模型要素<A,S,R,P>：

行为空间A:Actionspaceagent所有动作状态空间S：State

spaceagent能感知到的环境状态奖赏反馈R

行为带来的奖励或惩罚状态转移P：SxAagent所交互的世界强化学习模型中的重要概念：

策略(policy):Agent在状态s时，所做出的action状态到动作的映射：查找表/函数

确定性策略：

随机策略：AI基础知识：人工智能算法-强化学习59人工智能算法-强化学习奖励/激励信号(rewardsignal):agent每一次和环境交互，环境返回reward，告诉agent刚才的action是好（奖励）还是不好（惩罚）Rewardsignal不是学习的目标Agent学习的目标不是当前reward最大，而是长期平均累计回报最大

AI基础知识：人工智能算法-强化学习60人工智能算法-强化学习

强化学习模型中的重要概念：

是折扣因子用表示策略π下状态s采取动作a的长期期望收益：AI基础知识：人工智能算法-强化学习61人工智能算法-强化学习环境模拟(modeloftheenvironment):建模agent采取action以后环境的反应Model-based:Model+planningModel-free:不适用model，通过try-and-error学习policy在t时刻，采取动作a，状态由s变为s’的概率：最佳value值：马尔可夫决策过程(MDP)

强化学习模型中的重要概念：

AI基础知识：人工智能算法-强化学习62人工智能算法-强化学习无模型学习方法(model-free)不需要知道某个环境的模型，可以对用户行为进行期望值比较选择最优行为，寻找可以最大化将来获得的报酬的策略假设：agent和环境的交互可看作是Markov决策过程(MDP)Q函数(Q-Function)动作价值函数，他有两个输入：「状态」和「动作」。它将返回在该状态下执行该动作的未来奖励期望。

Q-LEARNING：

agent当前所处状态和选择的动作，决定一个固定的状态转移概率分布、下一个状态、并得到一个即时回报AI基础知识：人工智能算法-强化学习63人工智能算法-强化学习行为准则：不写完作业就不准看电视

Q-LEARNING实例：

状态：写作业

行为：写作业、看电视

好行为：写作业->奖励

坏行为：看电视->惩罚

通过经验得出正负面结论

AI基础知识：人工智能算法-强化学习64人工智能算法-强化学习决策过程：在记忆Q表格中，选择Q（S,A）较大的

Q-LEARNING实例：

AI基础知识：人工智能算法-强化学习65人工智能算法-强化学习更新过程：在记忆Q表格中，选择Q（S,A）较大的

AI基础知识：人工智能算法-强化学习66人工智能算法-强化学习整体算法：

在Q(s1,a2)现实中,也包含了一个Q(s2)的最大估计值Q-LEARNING实例：

学习率：这次误差由多少要被学习对未来reward的衰减值AI基础知识：人工智能算法-强化学习67人工智能算法-强化学习Q-LEARNING实例：

AI基础知识：人工智能算法-强化学习68人工智能算法-强化学习Deep

Q-LEARNING

基础概念理解：智能边缘网络中的资源分配

系统化理解智能边缘网络概念01基于强化学习的卸载算法：基于强化学习的在线卸载策略

管理问题的抽象化建模03基于AI的高精度无线定位案例：基于CNN的CSIWi-Fi定位案例

高精度无线定位问题解决方案04本节教学内容AI基础知识：人工智能算法-强化学习

复习神经网络基础知识02基于强化学习的卸载算法：基于强化学习的在线卸载策略70基于强化学习的卸载算法：基于强化学习的在线卸载策略71t时刻状态：本地任务队列、信道状态反馈决策执行决策t时刻状态Q表格计算奖励更新Q表格得出决策

ACTION：本地计算，卸载STATE：任务队列、传输速率REWARD：设备能量消耗+任务处理时延收益常数我们希望用最少的电，最快的获得服务！基于强化学习的卸载算法：基于强化学习的在线卸载策略72t时刻状态：本地任务队列、信道状态反馈决策执行决策

t时刻状态Q表格计算奖励更新Q表格得出决策

任务队列长度时隙t开始时平均任务到达率本地处理任务数卸载的任务数本地队列基于强化学习的卸载算法：基于强化学习的在线卸载策略731.任务处理时延：队列缓冲区等待时间+任务处理时间REWARD：设备能量消耗+任务处理时延t时刻状态：本地任务队列、信道状态反馈决策执行决策t时刻状态Q表格计算奖励更新Q表格得出决策

基于强化学习的卸载算法：基于强化学习的在线卸载策略741.任务处理时延：队列缓冲区等待时间+任务处理时间+任务传输时间REWARD：设备能量消耗+任务处理时延等待时间：处理时间：所需CPU转数CPU频率任务数据量信道速率本地卸载基于强化学习的卸载算法：基于强化学习的在线卸载策略752：设备能量消耗REWARD：设备能量消耗+任务处理时延本地处理能耗：卸载传输能耗：设备能量系数设备传输功率基于强化学习的卸载算法：基于强化学习的在线卸载策略76t时刻状态：本地任务队列、信道状态反馈决策执行决策t时刻状态Q表格计算奖励更新Q表格得出决策

学习率未来收益衰减基于强化学习的卸载算法：基于强化学习的在线卸载策略77t时刻状态：本地任务队列、信道状态反馈决策执行决策t时刻状态Q表格计算奖励更新Q表格得出决策

性能增益基于强化学习的卸载算法：基于强化学习的在线卸载策略78AoI怎么加入系统状态？

还有哪些其他因素考虑？计算的具体效果是什么？联邦学习基础概念理解：智能边缘网络中的资源分配

理解网络中多维资源调度01基于强化学习的卸载算法：基于Q-learning的在线卸载策略

通信和计算资源的联合分配03基于深度强化学习的切片调度：基于SAC的网络切片动态调度

网络切片的动态资源管理问题04本节教学内容AI基础知识：人工智能算法-强化学习

复习强化学习基础知识02基于深度强化学习的切片调度：基于SAC的网络切片动态调度80网络切片技术5G/6G网络业务类型和业务需求的差异增强型移动宽带场景需要提供更高的速率和容量海量机器通信场景需要支持更多的连接数量高可靠低时延通信场景需要实现超低时目标延的同时保证通信的可靠性

网络切片技术通过网络切片，运营商能够在一个通用的物理网络之上构建多个专用的、虚拟化的、互相隔离的逻辑网络，来满足不同客户对网络能力的差异化要求。基于深度强化学习的切片调度：基于SAC的网络切片动态调度81网络切片技术软件定义网络（SDN）网络功能虚拟化（NFV）

基于深度强化学习的切片调度：基于SAC的网络切片动态调度82网络切片动态调度的数学建模用户向CSMF模块发起业务请求CSMF将用户需求转换为对网络切片具体相关资源指标，并向NSMF下发切片服务等级协议参数NSMF进行切片子分解，调用NFV-MIMO完成资源池化和VNF映射计算资源

、存储资源

、网络资源

、带宽资源

资源分配量资源需求量

基于深度强化学习的切片调度：基于SAC的网络切片动