CN115457982B 情感预测模型的预训练优化方法、装置、设备及介质 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中得到M个锚点，计算所有聚类中心点分别与每个2针对训练集中任一句级语音，使用无监督情感预测模型提取针对任一聚类中心点，确定与所述聚类中心点的距离最近从所有与所述聚类中心点的距离小于所述第一距离阈值的锚点中确定与所述聚类中目标锚点对应的句级情感标签作为所述聚类中心点内所有帧级特征的检测所述目标锚点与所述聚类中心点的距离是否小于第若检测到所述目标锚点与所述聚类中心点的距离小于所述若检测到所述目标锚点与所述聚类中心点的距离不小于所述第针对训练集中任一句级语音，使用所述预训练好的自监3对所有情感类别的更新帧级特征进行聚类，得到N个更新聚类中心点，针对任一更新聚类中心点，确定与所述更新聚类中心点的距离最近的锚点为目标锚6.根据权利要求1至5任一项所述的预训练优使用特征集对无监督情感预测模型进行训练，所述特征集包括g通过第一交叉熵函数进行损失度量，重复使用特征集对无g使用所述训练集中所有帧数据及其对应的伪标签对自监通过第二交叉熵函数进行损失度量，重复使用所述训练集中所有述第二全连接层遮蔽的遮蔽部分，zt表示使用Transformer层提取的所述遮蔽部分的上下4无监督训练模块，用于针对训练集中任一句级语音，使用无监督情伪标签确定模块，用于针对任一聚类中心点，预测模型和所述自监督情感预测模型均具有时间步长对齐的5[0001]本申请适用于人工智能技术领域，尤其涉及一种情感预测模型的预训练优化方的诊断系统能够分析患者的抑郁和痛苦的程度；还有许多其他应用也利用高效的SER系统帧数据对应的帧级特征，将所述句级语音的句级情感标签作为所述帧级特征的情感类别，6[0014]从所有与所述聚类中心点的距离小于所述第一距离阈值的锚点中确定与所述聚标签作为所述聚类中心点内所有帧级特征的新聚类中心点内所有更新帧级特征的伪标签，得到所述训练集中所有帧数据的更新伪标7句级语音，使用无监督情感预测模型提取所述句级语音中每一帧数据对应的帧级特征之gg[0034]使用所述训练集中所有帧数据及其对应的伪标签对自监督情感预测模型进行训过所述第二全连接层遮蔽的遮蔽部分，zt表示使用Transformer层提取的所述遮蔽部分的8签作为所述聚类中心点内所有帧级特征的伪标签，得到所述训练集中所有帧数据的伪标情感预测模型和所述自监督情感预测模型均具有时间步标签作为所述聚类中心点内所有帧级特征的的句级情感标签作为所述聚类中心点内所有使用所述预训练好的自监督情感预测模型提取所述句级语音中每一帧数据对应的更新帧练集中所有帧数据的更新帧级特征对应的情新聚类中心点内所有更新帧级特征的伪标签，得到所述训练集中所有帧数据的更新伪标9gg[0068]使用所述训练集中所有帧数据及其对应的伪标签对自监督情感预测模型进行训过所述第二全连接层遮蔽的遮蔽部分，zt表示使用Transformer层提取的所述遮蔽部分的足预设条件时，将目标锚点对应的句级情感标签作为聚类中心点内所有帧级特征的伪标[0076]图1是本申请实施例一提供的一种情感预测模型的预训练优化方法的一应用环境[0077]图2是本申请实施例二提供的一种情感预测模型的预训练优化方法的流程示意[0078]图3是本申请实施例三提供的一种情感预测模型的预训练优化装置的结构示意的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限[0090]本申请实施例一提供的一种情感预测模型的预训练优化方法，可应用在如图1的服务端可以用独立的服务器或者是多个服务器组成的服务器[0091]参见图2，是本申请实施例二提供的一种情感预测模型的预训练优化方法的流程构成的特征编码器，相应地，在wav2vec模型中的特征编码器也需要具备与其相同层数的[0099]具体的可以是，从所有的帧级特征中任意选取N个帧级特征作为初始的聚类中心的距离小于特定值，则满足预设条件即为目标锚点与对应聚类中心点的距离小于该特定[0108]从所有与聚类中心点的距离小于第一距离阈值的锚点中确定与聚类中心点的距gg再通过由两层全连接层组成的线性多头预测遮蔽部分的伪标签类二全连接层遮蔽的遮蔽部分，zt表示使用Transformer层提取的遮蔽部分的上下文表示，表示遮蔽部分上下文的后验概率预测值。[0134]针对任一更新聚类中心点，确定与更新聚类中心点的距离最近的锚点为目标锚音中每一帧数据对应的帧级特征，将句级语音的句级情感标签作为帧级特征的情感类别，[0138]对应于上文实施例的情感预测模型的预训练优化方法，图3示出了本申请实施例三提供的情感预测模型的预训练优化装置的结构框图，上述预训练优化装置应用于图1中[0141]特征聚类模块32，用于对所有情感类别的帧级特征进行聚类，得到N个聚类中心型和自监督情感预测模型均具有时间步长对齐对应的情感类别；[0160]针对任一更新聚类中心点，确定与更新聚类中心点的距离最近的锚点为目标锚级语音中每一帧数据对应的帧级特征之前，使用特征集对无监督情感预测模型进行训练，特征集包括句级语音样本及其对应的情感标签和所gg二全连接层遮蔽的遮蔽部分，zt表示使用Transformer层提取的遮蔽部分的上下文表示，p,(e,I,)表示遮蔽部分上下文的后验概率预测值。[0176]所称处理器可以是CPU，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegrated介质可以是计算机设备的硬