CN114912357B 基于用户模型学习的多任务强化学习用户运营方法及系统 （南京大学）

基于用户模型学习的多任务强化学习用户本发明公开了一种基于用户模型学习的多线上环境收集每个城市最近一段时间的平台操出每个城市每个用户的特征向量；进行聚类操城市的用户模型为多任务环境来训练算法的通2步骤(1)，去线上平台收集每个城市指定时间范围所有用户的平台操作和自身反馈记所述步骤(2)中，特征工程将每个用户的平台操作和自身反馈记录的历史数据转换成)}同理一个城市的所有用户行为数据就构成了这个城市的用户行为数据集B；总的用户输入某个用户的一条时序轨迹数据τ,输出对应于这个用户的特征向(303)总的对比损失就是任意两个城市各取一批用户，在这两批用户之间所有用户对32.根据权利要求1所述的基于用户模型学习的多任务强化学习用户运营方法，其特征3.根据权利要求1所述的基于用户模型学习的多任务强化学习用户运营方法，其特征(403)将最终得到的二叉树状的层次化聚类结构等价映射到通用网络模型结构，构建4.根据权利要求1所述的基于用户模型学习的多任务强化学习用户运营方法，其特征5.根据权利要求1所述的基于用户模型学习的多任务强化学习用户运营方法，其特征(601)算法初始化过程中，将所有智能体相关的神经网络模型用通用网络模型结构来数据采集模块，用于去运营平台线上环境中收集每个城市指定时间4特征工程模块，将每个用户的平台操作和自身反馈记录的历史数据转换成按天为间聚类模块，使用每个城市每个用户的特征向量去进行聚类通用运营策略模型训练模块，使用通用网络模型结构来初始化可行的需要的通用智能体模型，以多个城市的用户模型为多任务环境同时训练通用智能体模型，模型部署模块，将训练好的通用运营策略模型部署到每个城市的实际特征工程模块中，特征工程将每个用户的平台操作和自身反)}同理一个城市的所有用户行为数据就构成了这个城市的用户行为数据集B；总的用户所述编码器网络训练模块中，训练用于提取特征的编码器网络输入某个用户的一条时序轨迹数据τ,输出对应于这个用户的特征向(303)总的对比损失就是任意两个城市各取一批用户，在这两批用户之间所有用户对57.一种计算机设备，该计算机设备包括存储器上运行的计算机程序，处理器执行上述计算机程序时实现如权利要求1-5中任一项所述8.一种计算机可读存储介质，该计算机可读存储介质存储有执行如权利要求1-5中任一项所述基于用户模型学习的多任务强化学习用户运营方法67[0014]将训练好的通用智能体模型中的通用运营策略模型部署[0016]（1）去线上平台收集每个城市最近一段时间所有用户的平台操作和自身反馈记8[0028]同理一个城市的所有用户行为数据就构成了这个城市的用户行为数据集B。总的9最终得到一个n+1层的二叉树状的层次化[0041]（403）将最终得到的[0043]对于Bsum中每一个城市的用户行为数据，使用模仿学习的方法，去学习到一个从[0057]所述系统中各模块的实现方法与基于用户模型学习的多任务强化学习用户运营模型学习的多任务强化学习用户运营方法的计算形式的修改均落于本申请所附权利要求所限[0072]技术方案中已经详细描述了系统对每份离线数据进行特征工程得到用户轨迹数[0076]以第1天到第30天的历史数据来定义用户初始画像。根据第31天到第60天每一天[0085]以所有城市所有用户的特征向量作为聚类的训练数据集Vsum，选择k-均值聚类算分出两个子聚类{A,E,F}和{B,C[0089]假设初始聚类集合所有城市加起来一共有1000个用户特征向量{v1,v2,…,v1000对于任意一个城市来说，聚类结果中包含该城市用户数最多的聚类作为该城市所在的聚;[0119]模型部署模块，将训练好的通用发券运营策略模型部署到每个城市的实际环境多任务强化学习用户运营方法各步骤或基于用户模型学习的多任