CN119476372A 基于扩散模型的在线强化学习数据增扩方法 （中科南京人工智能创新研究院）

基于扩散模型的在线强化学习数据增扩方法本发明公开了一种基于扩散模型的在线强评估结果；对约束感知表示数据进行自适应调2S2、将增强特征数据分别输入到预配置的S3、基于预先存储的物理约束参数和任务约束S21、基于增强特征数据，采用粗粒度扩散处理方法对轨迹的整体结构进行建模和分S23、采用自适应加权融合方法对全局结构表示数据和局部细节表示数据进行整合处3S111、从预先存储的数据存储器中读取原始轨迹S113、将预处理轨迹数据分解为预定个递归子10.根据权利要求8所述的基于扩散模型的在线强化学习数据增扩方法，其特征在于，S231、通过动态时间规整算法计算全局结构表示45够自动生成高质量训练数据的方法具有重要的理论价值和实践意义。通过数据增扩技术，些技术问题严重制约了强化学习系统在实际应用中的效果和局结构表示和局部细节表示；采用层级整合方法对全局结构表示和局部细节表示进行融6局结构表示和局部细节表示；采用层级整合方法对全局结构表示和局部细节表示进行融7[0036]在本申请的一个实施例中，时序注意力计算方法：注意力权重矩阵A(Q，K)=DWT_i(X)为第i尺度的离散小波变换结果；W_i为第i层特征的转换矩阵；α_i=sigmoid应地捕获轨迹数据中的长期和短期依赖关系，避免了传统时序处理方法中的信息损失问89部时序关联分析方法对轨迹的局部动作序列和状态转换进行处理，生成局部细节表示数[0094]本实施例通过约束编码和融合机制，实现了对物理约束和任务约束的有效整[0111]本实施例引入了基于策略评估的自适应调整机制，实现了对表示数据的动态优强了整个数据增强过程的鲁棒性和泛化能力。本实施例提升了数据增强的效果和实用性，[0115]S423、将调整策略数据和约束感知表示数据输入到条件调整模块的表示更新单过策略梯度估计计算参数调整的方向和幅度，能够有效捕获参数变化对策略性能的影响。通过构建价值函数网络评估参数调整的效果，能够准确预测参数变化对未来回报的影响，[0128]本实施例通过密度估计和聚类分析的应用，实现了轨迹模态的准确识别和分特征并提取典型行为模式，生成的模态描述数据能够更全面地反映不同行为模式的特征，[0133]本实施例通过多目标优化的轨迹筛选机制，实现了高质量轨迹数据的有效筛[0145]在本申请的另一个实施例中，一种基于扩散模型的在线tt观的想法，在强化学习中也自然可以将类似的扩散过程应用于轨迹中的状态和动作建模。(τ)=(s00TT)k一种基于逆动力学模型的动作生成方法。扩散模型主要对轨迹中的状态奖励对进行建模，学模型fφ。kk是随)表示第k_1_k_k额外的数据支持。这些增扩数据与实际环境交互数据分别用于Critic网络的训练更新与[0165]基于步骤三生成的增扩数据与真实环境交互数据被分别用于Critic网络和Actor或未见状态下提升对价值函数的拟合效果，确保生成的增扩数据对网络更新提供有效反[0169]Actor网络通过策略梯度方法在每个时间步上优化策略π,目标是最大化累积奖t)_V(st)是优势升了在线强化学习在复杂动态环境下的模型泛化能力与决[0174]本发明通过扩散模型和强化学习结