CN119444326A 一种基于深度强化学习的广告推 荐方法及系统 （北京顶当互动科技有限公司）

一种基于深度强化学习的广告推荐方法及本申请提供一种基于深度强化学习的广告后的广告推荐策略的广告效果进行综合评估处2接收用户的实时交互信号，所述实时交互信号包含所述用户的浏根据所述情景模式和所述行为特征，采用图神经网络结合节点重要从最优广告内容以及对应的推送时机中，计算出所述最优广告内容对应用融合层次化强化学习和多目标进化算法的多维度效果结合了双Q学习与策略梯度的深度强化学习算法，并通过马尔可夫决策过程模拟不同推送根据所述潜在影响评估结果，利用马尔可夫决策过程模拟不同用户的响应概率分布，计算每种所述广告内容在特定时间点被所述用户接受的概率分基于所述用户响应概率分布模型，通过对所述最佳广告内容及对根据所述状态空间集，对所述用户的响应概率的动作空间进行3基于所述状态空间集和动作空间集，对不同推送时机下所述用户的响应概率分布进根据多个所述响应价值评估结果，利用动态规划求解出最优的响应基于所述最优的广告推送方案，计算并优化每种所述广告内容在特定时基于所述最优推送时机，对所述最优广告内容进行个性化推基于所述广告推荐方案，利用马尔可夫决策过程，对最优所述广基于所述优化的广告推荐策略，利用在线学习框架，对所述根据获得的用户体验指标，对所述用户体验指标进行特征提取与增基于所述评估指标集合，利用层次化强化学习构建的决策框架，在高层述高层级决策和所述低层级决策为基础的用户基于所述用户兴趣预测，利用所述多目标进化算法对所述广告基于所述多维度效果评估体系，对获得的调整后的广告推荐策略的有效性进行验证，基于所述验证结果，根据所述传统营销目标和所述用户体验指标，利用高斯过程回归或贝叶斯优化，根据多维度效果基于所述初步性能评估表，对所述调整后的广告推荐策略进4根据所述初步验证结果，利用因果关系框架对所述调整后的广告推基于所述评估结果，生成实时所述用户的反馈表，确保更新的所基于所述用户的反馈表，利用在线学习框架对所述调整后的广告推荐策略进行调整，采用图神经网络结合节点重要性评分机制和注意力机制，对所述用户的兴趣偏好进行建为及停留时间，分析所述实时交互信号中的时间序列特性以提取出所述用户的行为特征，生成模块，根据所述情景模式和所述行为特征，采用图神经网络调整模块，从最优广告内容以及对应的推送时机中，评估模块，应用融合层次化强化学习和多目标进化算法的多维度效果评要求1~7任一项所述的一种基于深度强化56为及停留时间，分析所述实时交互信号中的时间序列特性以提取出所述用户的行为特征，基于所述个性化兴趣动态图谱，利用结合了双Q学习与策略梯度的深度强化学习时反馈机制，同时利用在线学习框架将所述用户的反馈信息用于优化所述广告推荐策略，7度强化学习算法，并通过马尔可夫决策过程模拟不同推送时机下所述用户的响应概率分[0008]可选地，利用马尔可夫决策过程模拟不同推送时机下的所述用户的响应概率分基于所述状态空间集和动作空间集，对不同推送时机下所述用户的响应概率分根据多个所述响应价值评估结果，利用动态规划求解出最优的响应价值评估结8行优化处理，生成融合所述层次化强化学习和所述多目标进化算法的多维度效果评估体利用高斯过程回归或贝叶斯优化，根据多维度效果评估体系提供的框架和指标，9强化学习算法，并通过马尔可夫决策过程模拟不同推送时机下所述用户的响应概率分布，评估模块，应用融合层次化强化学习和多目标进化算法的多维度效果评估体系，算机程序被计算机执行时，实现如第一方面所述的一种基于深度强化学习的广告推荐方采用图神经网络结合节点重要性评分机制和注意力机制，对所述用户的兴趣偏好进行建的相关性和用户体验；利用马尔可夫决策过程模拟不同推送时机下的用户响应概率分布，图2为本申请实施例提供的一种基于深度强化学习的广告推荐系统的结构示意图神经网络来捕捉用户兴趣之间的复杂关系，并引入节点重要性评分机制和注意力机制，统营销目标和用户体验指标，对所述调整后的广告推荐策略的广告效果进行综合评估处[0036]综上所述，通过上述步骤101_106，该方法不仅提高了广告推荐的精准度和时效[0038]可选地，利用马尔可夫决策过程模拟不同推送时机下的所述用户的响应概率分与策略梯度的深度强化学习算法，对多种广告内容及对应的推送时机组合进行模拟处理。并进一步优化每种广告内容在特定时间点被用户接受[0046]可选地，步骤105中应用融合层次化强化学习和多目标进化算法的多维度效果评利用高斯过程回归或贝叶斯优化，根据多维度效果评估体系提供的框架和指标，趣动态图结构以用户的兴趣偏好为基础，构建一个反映用户兴趣关系的初步图结构。该图结构中的节点代表不同的兴趣点，边表示兴趣点之间的关联性。节点重要性评分机制为每些兴趣点对用户最为关键。估计器Q1(s,a)和Q2(s,a),以减少最大化偏差；;变化，st和At分别是当前的状态和动作，st+1和a'分别是下一个所述状态和所述动作，Q:(s,a)是第i个所述Q值估计器在所述状态st和所述动作At下的状态一动作价值，R(sx1,arx1)是在所述状态srt1和所述动作At+1下获得的即时奖励，反映所述用户对特定广告内容及推送时机的响应强度，是指在所述双Q基于所述双Q学习，利用策略梯度的深度强化学习算法优化获得的初步广告推荐;的策略梯度是从时间步到的所述即时奖励的总和，Er-mo是关于的期望值，其中所述是根据所述策略Tg生成的状态对和动作对，mg(aIS:)表示在所述状态sr下选择动作ar的概率，vlogrg(a,ls)是所述概率Tg在所述状态st下选择所述动作ar的概率分布的对数梯度，QT(s,ap)是所述初步广告推荐策略T结合所述双Q学习与所述策略梯度的计算结果，对最佳所述广告内容及对应的所;布，argmaxr指找到使内部表达式最大的所述初步广告推荐策略T，Br~n是关于轨迹停留时间的权重，click(s,a)表示在所述状态下采取所述动作后所述用户点击广双Q学习计算公式的设计缘由:双Q学习通过两个独立的Q值估计器来减少最大化目标的重要组成部分；表示选择两个Q值估计轨迹的期望值，考虑了所有可能的交互路经，确保策略优化基于全面的数据分布；vglogmg(aIS)表示概率分布的对数梯度，用于调整策略参数，使高[0062]智能探索计算公式的设计缘由:表示寻找使内部表达式最大的初步广告推荐策[0063]公式表达：wasag·click(s,,a)指通过引入点击行为，系统能够快速响应用户趣深度和参与度，较长的停留时间通常意味着用户对该内容有更高的兴趣或满意度；click(s,a)是用户点击广告的状态；表示对数变换后i=1,2,表示两个独立的所述Q值估计器，cr是自适应学习率，根据实验数据或经验设定初始值，并在实际运行中动态调整；是折扣因子，通过实序列。折扣因子y:0.9时间衰减因子b:1/(t+1);;;了综合评估调整后的广告推荐策略的广告效果，结合了传统营销目标函数cco)和用户体;wctr,wov,wroi分别是所述点击率、所述转化率和所述投资回报率的权重，所述权重根据 其中，satisfaction(0)是用户满意度，通过所述用户调查、评分方式获取，stayTime(0)是所述停留时间，表示所述用户在广告或相关页面上的平均停留时间，wsatisfaction,wstaytine,wengagenent分别是所述用户满意度、所述停留时间和所述参与度评分的权重，所述权重可以根据具体业务需求进行调整，以反映不同指标的重;son·exp(satisfaction(8))指用户满意度部分，是衡量用户对广告内容接受程度的重要指标，使用指数函数exp(satisfaction(0))强调了用户log(1+stayTime(0))可以平滑长时间停留的影响，避免因极少数极端值导致的偏差，确保评估结果更加合理和稳定，这样可以更合理地评估用户的参与深度；[0078]广告效果评估结果计算公式的设计缘由:通过全面评估广告效果和最优广告策U(0)U(0)计算A/BstayTime(0):120权重参数:根据具体业务需求设wroi=0.3t=0.2广告效果评估结果R():;[0082]图2为本申请实施例提供一种基于深度强化学习的广告推荐系统的结构示意图，所述个性化兴趣动态图谱用于反映所述用户即时兴趣趋势、长期兴趣趋势以及潜在需求度强化学习算法，并通过马尔可夫决策过程模拟不同推送时机下所述用户的响应概率分述广告推荐策略包含最优广告内容以及对应评估模块25，应用融合层次化强化学习和多目标进化算法的多维度效果评估体[0083]图2所述的一种基于深度强化学习的广告推荐系统可以执行图1所示实施例所述[0084]在一个可能的设计中，图2所示实施例的一种基于深度强化学习的广告推荐系统基于所述个性化兴趣动态图谱，利用结合了双Q学习与策略梯度的深度强化学习时反馈机制，同时利用在线学习框架将所述用户的反馈信息用于优化所述广告推荐策略，任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM电可擦除可编程只读存储器（EEPROM可擦除可编