CN119496716A 基于深度强化学习的内网服务质量优化方法及系统 （苏州捷讯云联数字技术有限公司）

基于深度强化学习的内网服务质量优化方本发明提供一种基于深度强化学习的内网理，构建层次分析模型并输出每个层的性能评2部署分布式传感器网络，实时采集内网中的多维度性能指标数从数据库中获取历史内网性能数据构建仿真环境，对所述自适应深度强基于所述多目标优化结果为所述网络层、服务层和资源层分别设置层次性能指标阈更新所述自适应深度强化学习模型的奖励函数并基于更新后的奖励函数求解最优服务决部署层次化分布式传感器网络，所述层次化分布式传感器网络包差分编码技术对采集的所述多维度性能指标利用改进的局部异常因子算法对压缩后的所述多维度性能指标数据进行异常值检测，线性趋势项估计方法和自适应季节性周期检测机制对平滑处理后的所述多维度性能指标构建层次分析模型，采用层次分析法对处理后的所述多3构建基于三角模糊数的模糊集，并采用自适应模糊集生成算法动态调整模糊集参数，设计多尺度状态空间，采用主成分分析方法对状态空间进行降维其中，LOF,(B)表示第i个数据点Pi的局部异常因子，用于衡量数据点Pi的异常程度，对于预先构建的自适应深度强化学习模型，使用所述仿真环境进行离构建生成对抗网络架构，包括生成器和判别器，使用条部署分布式传感器网络，使用边缘计算技术进行初步数据处理4k)表示第k次采样得对多目标优化结果进行聚类分析，使用聚类算法将所述多目标优化结果分为网络层、设计基于图神经网络的网络拓扑表示学习模块，将网络拓扑结构编码为低维向量表5估模型更新所述自适应深度强化学习模型的奖励函数并基于更新后的奖励函数求解最优采用贝叶斯优化方法对服务配置进行优化，包括定义配置参数空间、使用粒子群优化算法调整指标权重，并根据历史权重调整的效果调整8.基于深度强化学习的内网服务质量优化系统，用于实现前述权利要求1_7中任一项第二单元，用于从数据库中获取历史内网性能数据构建仿真环模型再次进行优化，使用优化后的自适应深度强化学习模型在实际内网环境中持续学习，第三单元，用于基于所述多目标优化结果为所述网络层、服质量评估模型更新所述自适应深度强化学习模型的奖励函数并基于更新后的奖励函数求6其中，所述处理器被配置为调用所述存储器存储的指令，以执行程序指令被处理器执行时实现权利要求1至7中任意7[0006]本发明实施例的第一方面，提供一种基于深度强化学习的内网服务质量优化方评价模型综合每个层的性能评分，输出内网服务质量评分并构建自适应深度强化学习模8型更新所述自适应深度强化学习模型的奖励函数并基于更新后的奖励函数求解最优服务[0012]部署层次化分布式传感器网络，所述层次化分布式传感器网络包括底层感知节所述多维度性能指标数据进行自适应采集频率优化，根据指标变化速度动态调整采集频[0013]利用改进的局部异常因子算法对压缩后的所述多维度性能指标数据进行异常值检测，采用自适应加权移动平均方法对检测后的所述多维度性能指标数据进行平滑处理，基于非线性趋势项估计方法和自适应季节性周期检测机制对平滑处理后的所述多维度性基于注意力机制的长短期记忆网络模型构建性能[0018]利用改进的局部异常因子算法对压缩后的所述多维度性能指标数据进行异常值[0020]其中，LOF,(P)表示第i个数据点Pi的局部异常因子，用于衡量数据点Pi的异常程9j)表示数据点Pj的局部可达密度，lrd(Pi)表示数据点Pi的局部可达密度，[0024]对于预先构建的自适应深度强化学习模型，使用所述仿进行优化，将优化后的所述自适应深度强化学习模型部署到实际内网环境中进行持续学用滑动窗口技术综合评估短期和长期优化效果，采用多目标Q学习算法同时优化多个性能[0040]使用粒子群优化算法调整指标权重，并根据历史权重调[0041]本发明实施例的第二方面，提供一种基于深度强化学习的内网服务质量优化系预测模型识别性能瓶颈和故障点并调整资源分配和服务配置，周期性收集用户反馈数据，的服务质量评估模型更新所述自适应深度强化学习模型的奖励函数并基于更新后的奖励[0057]图1为本发明实施例基于深度强化学习的内网服务质量优化方法的流程示意图，滑和趋势分析，构建层次分析模型并将预处理后的所述多维度性能指标数据分为网络层、述层次分析模型是一种决策分析方法，通过构建层次结构来评估和比较不同因素或选项，[0062]部署层次化分布式传感器网络，所述层次化分布式传感器网络包括底层感知节所述多维度性能指标数据进行自适应采集频率优化，根据指标变化速度动态调整采集频[0063]利用改进的局部异常因子算法对压缩后的所述多维度性能指标数据进行异常值检测，采用自适应加权移动平均方法对检测后的所述多维度性能指标数据进行平滑处理，基于非线性趋势项估计方法和自适应季节性周期检测机制对平滑处理后的所述多维度性基于注意力机制的长短期记忆网络模型构建性能[0067]所述基于时间的轮询机制是指在固定的时间间隔内对各传感器或节点进行轮流[0069]利用改进的局部异常因子算法对压缩后的多维度性能指趋势项估计方法和自适应季节性周期检测机制对平滑处理后的多维度性能指标数据进行规则库(如"如果网络层评分低且服务层评分低且资源层评分高，则内网服务质量评分[0076]利用改进的局部异常因子算法对压缩后的所述多维度性能指标数据进行异常值局部异常尤为重要，自适应邻域选择方法可以根据数据点的局部密度特征来调整邻域大[0081]S2.从数据库中获取历史内网性能数据[0086]对于预先构建的自适应深度强化学习模型，使用所述仿进行优化，将优化后的所述自适应深度强化学习模型部署到实际内网环境中进行持续学用滑动窗口技术综合评估短期和长期优化效果，采用多目标Q学习算法同时优化多个性能[0096]在实际内网环境中部署500个传感器节点，每个节点使用边缘计算芯片进行初步[0103]S3.基于所述多目标优化结果为所述估模型更新所述自适应深度强化学习模型的奖励函数并基于更新后的奖励函数求解最优颈是指系统中限制整体性能提升的关键部分，通常需要优化或改进以提高系统的整体效预测能力，所述演员_评论家架构是一种强化学[0114]设计基于图神经网络(GNN)的网络拓扑表示学习模块，将网络拓扑结构编码为低[0122]使用粒子群优化算法调整指标权重，并根据历史权重调[0123]所述高斯过程回归是一种非参数贝叶斯回归方法，通过高斯过程建模数据的分时序差分学习算法，基于更新后的奖励函数和强