CN118539996B 一种无线电通信设备控制方法 （湛江丰越通信工程有限公司）

本申请公开了一种无线电通信设备控制方2S3，无线电通信设备将采集的环境数据与接收S4，根据生成的动态校准参数，采用Actor-Criti根据拟合得到的非线性关系，结合当前采集的环境数据，生成当前根据S3生成的动态校准参数，采用Actor-Critic强化学习框架对发根据策略网络生成的工作参数调整量，对发射功率和接收灵敏度进将调整后的设备性能指标和目标性能指标作为观察值，输入至C值函数网络输出的策略价值作为Actor网络的奖励值；Actor网络采用策略梯度算法，3通过构建隶属度函数，将输入变量映射到相应的模糊集合，计算天线根据天线驻波比偏离程度和频率误差偏离程度，通过模糊推驻波比偏离程度和频率误差偏离程度与设备健康状态之间的模糊将量化指标与预设的校准优先级等级阈值进行比对，根据比对结果将采集的环境数据输入预训练的多层自编码网络，通过多层自编码无线电通信设备将得到的量化指标通过通信链路上云服务基于获取的非线性映射关系，以设备性能指4基于构建的参数优化模型，通过高斯过程回归构建参数空间的概间上置信边界算法采用探索因子和利用因子的权重将获取的全局最优的校准参数组合，作为当前环境状态下的设备初始化置信区间上置信边界算法中的探索因子权重和将调整后的探索因子权重、利用因子权重、候选参数组合的将计算得到的置信区间上界作为输入，选择置信区间上界最大的候选将迭代优化后的工作参数输出，对无线电通信设备的发射和接收进5[0002]随着无线通信技术的迅猛发展，无线电通信设备在各种环境下的应用越来越广[0005]针对现有技术中存在的无线电通信设备对于复杂多变的通信环境适应度低的问6[0008]模糊推理算法(FuzzyInferenceAlgorithm)：一种基于模糊集合论和模糊逻辑7函数估计(Critic)的强化学习方法。Actor网络根据当前状态生成动作(如校准参数)，入变量与输出变量之间模糊关系的IF-THEN形式的语句。模糊推理规则由前件(IF部分)和[0015]去模糊化处理(Defuzzification)：将模糊推理得到的模糊值转换为确定性数值89候选参数组合处目标函数值的期望。后验均值综合考虑了先验知识和已评估样本点的信t环境数据与S2中接收到的校准触发阈值进行比对；当采集的环境数据达到校准触发阈值的设备输出性能指标；无线电通信设备将调整后的性能指标和预期性能指标作为观察值，[0042]通过在无线电通信设备端部署基于校准触发阈值的实时环境感知和动态校准参[0043]采用极限学习机网络对接收到的数据权重参数与实时采集的环境数据进行非线[0046]将优化后的工作参数和性能指标反馈至云服务器，由云端基于设备反馈数据对[0047]图1是根据本说明书一些实施例所示的一种无线电通信设备控制方法的示例性流[0049]图3是根据本说明书一些实施例所示的生成校准触发阈值和数据权重参数的示例[0050]图4是根据本说明书一些实施例所示的采用Actor-Critic强化学习框架对设备的[0052]图1是根据本说明书一些实施例所示的一种无线电通信设备控制方法的示例性流健康阈值是根据设备的技术指标和工作要求预先设定的参数[0056]图2是根据本说明书一些实施例所示的获取设备校准优先级的示例性流程图，在频率误差偏离程度ishighTHEN设备健康状态ispoor。IF天线驻波比偏离程度islowAND频率误差偏离程度islowTHEN设备健康状[0063]图3是根据本说明书一些实施例所示的生成校准触发阈值和数据权重参数的示例[0065]BLSTM网络是一种循环神经网络，通过引入前向和后向两个方向的长短期记忆单建的环境因素与设备性能间的非线性映射关系，通过高斯过程回归(GPR)构建参数空间的无线电通信设备，指导设备的自适应校准。UCB算法中探索因子和利用因子权重的动态调到的数据权重参数和当前采集的环境数据输入至训练好的ELM网络，通过前向传播计算过[0072]图4是根据本说明书一些实施例所示的采用Actor-Critic强化学习框架对设备的备的工作参数进行自适应校准。首先，无线电通信设备根据生成的动态校准参数，采用Actor-Critic强化学习框架对发射功率和接收灵敏度等工作参数进行[0073]Actor-Critic框架由策略网络(Actor)和值函数网络(Critic)两部分组成，策略[0074]Actor网络的策略网络采用深度神经网络结构，用于学习设备状态空间到工作参数调整空间的映射关系，根据当前设备状态和动态校准参数生成最优的工作参数调整策备状态和动态校准参数的输入。隐藏层采用全连接结构，通过非线性激活函数(如ReLU、标是最大化期望累积奖励0}^∞γ^tr_t]达到最[0077]Critic网络的值函数网络用于评估Actor网络生成的工作参数调整策略的长期价在当前状态下采取调整策略后获得的即时性能反馈，r_target表示期望达到的性能目标。[0078]值函数定义：值函数V(o_t)表示在状态o_t下继续执行当前调整策略所能获得的对值函数网络进行训练，通过Bootstrap方法利用下一时刻的估计值函数来更新当前状态采用随机梯度下降等优化算法对网络参数φ进行更新，使值函数逼近真实的期望累积奖励。策略梯度定义为v__J(9)=E[v_9log_9(a_lo_t)v_⃞(o_t)],表示策略分布对数[0080]策略－值函数交互训练：Actor网络和Critic网络通过交互训练实现策略和值函络则利用Actor网络与环境交互产生的轨迹数据，通过TD算法不断优化值函数的估计准确策略和价值的解耦合学习，提高了训练效率和策略探索的有效性。最终通过Actor网络和[0082]Actor-Critic框架相比于传统的PID控制和参数查表方法，具有更强的自学习和数据样本，对云端部署的Actor-Critic网络进行在线学习和优化。利用设备上传的状态-动作－奖励数据，通过策略梯度算法和时序差分算法，分别更新Actor网络的策略参数和Criti