CN119416985A 时间序列预测建模方法、预测方法、设备、介质及产品 （中南大学）

个时间序列的时间点集合和局部域集合对预测入模块将时间点集合中的每个时间点嵌入到高结果。本申请解决了传统Transformer难以有效2构建时间序列数据集；其中，所述时间序列数据集为电力变压器对于所述时间序列数据集中的每个时间序列，构建所述时间序列的利用所述时间序列数据集中每个时间序列的时间点集合和局部域集合对所述预测模在所述预测模型中，利用所述第一嵌入模块将所述时间点集合中的每利用所述注意力模块根据所述时间点集合对应的每个时间点的嵌入向量生成查询向根据所述时间点的位置嵌入向量、时间嵌入向量和属性值嵌入向=；间的偶数维度的嵌入值；peiajt1表示第i个时间点的位置在高维空间的奇数维度的嵌入其中，TU表示第i个时间点的时间嵌入向量，timey表示第i个时间点的第j种时间，M表示时间的种数，TU,n表示第i个时间点的第j种时间映射到高维空间的嵌入向量，[timey]表示时间timeiy的索引，wj表示索引[timey]的线性变换的权重矩阵；3;;将所述局部域中的最后时间点的位置嵌入到高维空间，得到最后时将所述局部域中的最后时间点的时间嵌入到高维空间，得到最后时将所述局部域的连续n个时间点的属性值嵌入到高维空间，得到局部域的属性值嵌入根据所述局部域的位置嵌入向量、时间嵌入向量和属性值嵌入向;i个局部域的属性值嵌入向量，max表示取最大值，a表示修正系;量，Trteuat表示第i个局部域的时根据如权利要求1~6中任一项所述的时间序列预测建模方法计算点一局部域注意力依根据所述点局部域注意力依赖结果进行电力变压器温度与负载时间序序列预测建模方法或如权利要求7所述的时4序/指令被处理器执行时实现如权利要求1~6中任一项所述的时间序列预测建模方法或如处理器执行时实现如权利要求1~6中任一项所述的时间序列预测建模方法或如权利要求75品，以解决传统基于注意力机制的Transformer模型难以有效地捕捉时间序列复杂依赖关利用所述时间序列数据集中每个时间序列的时间点集合和局部域集合对所述预利用所述注意力模块根据所述时间点集合对应的每个时间点的嵌入向量生成查6=；其中，Je表示第i个时间点的时间嵌入向量，timey表示第i个时间点的第j种时间，M表示时间的种数，TU,n表示第i个时间点的第j种时间映射到高维空间的嵌入向量，[timey]表示时间timeiy的索引，wj表示索引[timey]的线性变换的权重矩阵；;其中，vea表示第i个时间点的属性值嵌入向量，valuez表示第i个时间点的属性;将所述局部域的连续n个时间点的属性值嵌入到高维空间，得到局部域的属性值7;i个局部域的连续n个时间点的属性值构成的值向量，wrteat表示值向量yreata的线性变换的权重矩阵；;根据所述点局部域注意力依赖结果进行电力变压器温度与负载时间序列的预指令，该计算机程序/指令被处理器执行时实现如上所述的时间序列预测建模方法或时间算机程序/指令被处理器执行时实现如上所述的时间序列预测建模方法或时间序列预测方连续特征和时序特征，解决了传统Transformer模型的注意力机制仅利用时间点信息而缺Transformer模型难以有效地捕捉时间序列复杂依赖关系的问题，提高了电力变压器温度8实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，[0024]每个时间序列的时间点集合的具体构建过程为：获取该9paz=sin(pos:/100002)/")（1）rl⃞"（3）i个时间点的第j种时间映射T表示第i个时间点的时习调整权重矩阵wy的每个元素，即权重矩阵wiy的每个元素值是在利用时间序列数据集进vea=valueiwei（6）其中，vea表示第i个时间点的属性值嵌入向量，valuez表示第i个时间点的属性值，wei表示属性值valuez的线性变换的权重矩阵。权重矩阵的大小为(dvane,d)，dvate表示第i个时间点的属性值的维度，权重矩阵wei是在利用时间序列数据集进行自动urieata=yrieatwrieat（8）vrteat=max(alrietatgy,lrieta)（9）其中，表示中间量，是将映射到高维空间的嵌入向量；yrieuata表示由第i个局部域的连续n个时间点的属性值构成的值向量，值向i表示第i个局部域的最后时间点的属性值，n表示局部域×dvanue,d)，权重矩阵wreat是在利用时间序列数据集进行自动优化训练过程中学习得i个局部域的属性值嵌入向量；max表示取最大值，a表示修正系数。max(alrieaty,urieat)表示LeakyReLU激活函数，为0.01。其中，xerietat表示第i个局部域的嵌入[0038]在本申请的具体实施方式中，注意力模块采用缩放点积注意力函数计算时间点A(Q,K,V)=softmax(QK'/av（11）[0040]在训练过程中，利用第一嵌入模块将时间点集合中的每个时间点嵌入到高维空据局部域集合对应的每个局部域的嵌入向量负载时间序列，进而得到电力变压器温度与负载时间序列数据集。电力变压器温度与负载属性字段，6个电力负荷属性包括高需求全负载的负荷（HUFL）、高需求低负载的负荷[0042]根据本申请实施例1中的步骤S1至步骤S4，可以计算获得电力变压器温度与负载器用于学习多头自注意力机制下的时间序列的深层次特征，解码器用于特征的还原。图3间的相关性，还展现出了每个时间点之间存在较为规律的相关性（垂向排列带且查询向量的时间点和键向量的时间点之间存在分段连续的点一局部域的等间隔相关性（斜向排列带反映了时间序列中时间关联的周期性。[0052]可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法该计算机程序