CN114626012B 多尺度注意力机制的gnss序列预测方法及系统 （武汉大学）

US2021365635A1,2021.多尺度注意力机制的GNSS序列预测方法及本发明提供一种多尺度注意力机制的GNSS网络模型，对每个子序列集分为训练集和测试2pppp'p+step,scale+step+p-1)]代表子序列集Yp的第p个训练的数据，X('p:scale+p-1)是输入，'p+step,scale+step+p-1)是输出；X('1:scale)代表从原始数据中取得[x1,x2,x3,...,xscale-2,p代表当前尺度下滑动窗口能建立的训练数据滑动窗口的长度为scale，两个异步滑动窗口的异步间隔为step，其中scale>step，其中分别代表第1个尺度滑动窗口的第1个输入值和对应预测真值；分别代表第1个尺度滑动窗口的第2个输入值和对应的预3其中分别代表第2个尺度滑动窗口的第1个输入值和对应预测真值；分别代表第2个尺度滑动窗口的第2个其中分别代表第n个尺度滑动窗口的第1个输入值和对应预测真值；分别代表第n个尺度滑动窗口的第2个输入值和对应的预weight1+weight2+...+weightn-1+4任一项所述的一种多尺度注意力机制的GN第一模块，用于获取GNSS测站的坐标时间序列观测值，按照pppp'p+step,scale+step+p-1)]代表子序列集Yp的第p个训练的数据，X('p:scale+p-1)是输入，'p+step,scale+step+p-1)是输出；X('1:scale)代表从原始数据中取得[x1,x2,x3,...,xscale-2,p代表当前尺度下滑动窗口能建立的训练数据weight1+weight2+...+weightn-1+要求1-2任一项所述的一种多尺度注意力机制的GN5求1-2任一项所述的一种多尺度注意力机制的6[0002]全球卫星导航定位系统(GlobalNavigationSatelliteSystem,GNSS)是重要的7pp[0012]其中，[X′(1:scale),X′(1+step,scale+step)]代表子序列集Yp的第一个训练的数据，X′p代表当前尺度下滑动窗口能建立的训练数据8单一尺度滑动窗口构建方式是采用两个同样大小的滑动窗口异步同时形成，构建方式为，pp[0025]其中，[X′(1:scale),X′(1+step,scale+step)]代表子序列集Yp的第一个训练的数据，X′p代表当前尺度下滑动窗口能建立的训练数据含多头注意力Multi-HeadAttention和残差神经网络Add和正则化Norm，将前述结果输入个网络预测结果为result1、第2个网络预测结果为result2、…、第n个网络预测结果为再进行调整注意力机制网络，最后将训练好的模型对台站进行预测输出。本发明可以对9[0049]本步骤构建多尺度滑动窗口形成新的子序列集，使用n个不同的单一尺度滑动窗[0050]单尺度滑动窗口构建子序列集见附图2。单一尺度滑动窗口构建方式是采用两个pp[0052]其中，[X′(1:scale),X′(1+step,scale+step)]代表子序列集Yp的第1个训练的数据，X′p代表当前尺度下滑动窗口能建立的训练数据[0054]多尺度滑动窗口构建的方式见附图3。多尺度滑动窗口的核心在于将多个不同的[0058]其中分别代表第1个尺度滑动窗口的第1个输入值和对应预测真值；分别代表第1个尺度滑动窗口的第2个输入值和对应[0061]其中分别代表第2个尺度滑动窗口的第1个输入值和对应预测真值；分别代表第2个尺度滑动窗口的第2个输入值和对应[0065]其中分别代表第n个尺度滑动窗口的第1个输入值和对应预测真值；分别代表第n个尺度滑动窗口的第2个输入值和对应编码PositionEncoding输入到Encoder模块，Encoder模块部分包含多头注意力Multi-终Decoder部分通过全连接神经网络Linear输出；将对应的输入子序列集分为训练集和测[0083]输入的子序列Subsequence通过位置编码PositionalEncoding操作输入到编码进一步进行正则化操作Norm(采用LayerNorm)；Encoder模块的第二个主要步骤是将此刻与刚刚的输入继续做相加Add残差神经网络操作，然后进行正则化操作Norm；此刻将[0084]与现有注意力机制网络的差别：一般的注意力机制网络Decoder模块也包含注意sas=cos(pos/10000"⃞)(6)vw")(8)Atention(QW",kw*,vw")代表一个头注意力操作；Concat(head1,...,headh)WO代表多头[0096]单个注意力机制网络包含残差神经网络Add和正则化LayerNorm，前馈神经网络单一尺度滑动窗口构建方式是采用两个同样大小的滑动窗口异步同时形成，构建方式为，pp[0123]其中，[X′(1:scale),X′(1+step,scale+step)]代表子序列集Yp的第一个训练的数据，X′p代表当前尺度下滑动窗口能建立的训练数据含多头注意力Multi-HeadAttention和残差神经网络Add和正则化Norm(采用Layer个网络预测结果为result1、第2个网络预测结果为result2、…、第n个网络预测结果为上所述的一种多尺度注意力机制的G