CN110866628A 利用动态时间上下文学习进行多界限时间序列预测的系统和方法 （北京京东尚科信息技术有限公司）

利用动态时间上下文学习进行多界限时间忆网络(BiLSTM)以获得与多个未来时间步长相用多个时间尺度对隐藏输出执行时间卷积以获权重对多个时间尺度上的上下文特征进行求和2对所述输入特征向量执行双向长短期记忆网络BiLSTM以获得与所述多个未来时间步对于每一个未来时间步长：使用多个时间尺度对所述转换所述多尺度上下文特征以获得与所述未来时间步长相对应的所述提供与所述产品的所述多个未来时间步长相所述尺度-3使用所述目标步长、所述未来时间步长中紧所述尺度-5使用所述目标步长、所述未来时间步长中紧未来时间步长以及所述时间步长中紧接在所述目标步长之后的两个时间步长的隐藏状态；所述尺度-7使用所述目标步长、所述未来时间步长中紧通过softwmax运算来对w进行归一化，其中S是所考虑的上下文尺度的数38.根据权利要求7所述的方法，其中使用线性变换y9.根据权利要求1所述的方法，还包括提供紧接在所述未来时间步长的第一未来时间10.根据权利要求9所述的方法，其中利用输入特征和与先前的时间步长相对应的输计算装置，包括处理器和存储计算机可执行代码的对所述输入特征向量执行双向长短期记忆网络BiLSTM以获得与所述多个未来时间步对于每一个未来时间步长：使用多个时间尺度对所述转换所述多尺度上下文特征以获得与所述未来时间步长相对应的所述12.根据权利要求11所述的系统，其中所述计算机可执行代码被配置为通过以下操作提供与所述产品的所述多个未来时间步长相所述尺度-3使用所述目标步长、所述未来时间步长中紧所述尺度-5使用所述目标步长、所述未来时间步长中紧未来时间步长以及所述时间步长中紧接在所述目标步长之后的两个时间步长的隐藏状态；所述尺度-7使用所述目标步长、所述未来时间步长中紧416.根据权利要求15所述的系统，其中所述计算机可执行代码还被配置为通过以下操通过softwmax运算来对w进行归一化，其中S是所考虑17.根据权利要求16所述的系统，其中所述多尺度上下文特征c中的每一个由19.根据权利要求11所述的系统，其中所述计算机可执行代码还被配置为提供紧接在所述未来时间步长的第一未来时间步长之前的时对所述输入特征向量执行双向长短期记忆网络BiLSTM以获得与所述多个未来时间步对于每一个未来时间步长：使用多个时间尺度对所述转换所述多尺度上下文特征以获得与所述未来时间步长相对应的所述5[0002]本申请根据要求于2018年8月28日提交的美国临时专利申请序列号62/723,696的[0003]在对本公开的描述中引用并讨论了一些参考文献，这些参考文献可以包括专利、专利申请和各种出版物。提供对这些参考文献的引用和/或讨论仅仅是为了阐明对本公开[0004]本公开总体上涉及时间序列预测，并且更具体地涉及用于多界限(multi-序列预测方法包括Holt-Winters方法(Holt2004；Winters1960)和ARIMA(Box和Jenkins的序列数据(例如自然语言(Sutskever,Vinyals和Le2014)、音频波(Oord等人2016)以及视频帧(Donahue等人2015))进行建模的递归神经网络(RNN)和最常用的变体长短期记忆网[0011]对输入特征向量执行双向长短期记忆网络(BiLSTM或Bi-LSTM)以获得与多个未来6长之前的一个未来时间步长以及时间步长中紧接在目标步长之后的一个时间步长的隐藏及时间步长中紧接在目标步长之后的两个时间步长的隐藏状态；以及尺度-7使用目标步[0029]在某些实施例中，利用输入特征和与先前的时间步长相对应的输出，使用两层LSTM编码器来获得紧接在第一时间步长之前的时间所述系统包括计算装置。所述计算装置包括处理器和存储计算机可执行代码的存储装置。所述计算机可执行代码当在所述处理器处执行时被配[0031]在某些方面，本公开涉及一种存储计算机可执行代码的非暂时性计算机可读介质。所述计算机可执行代码当在计算装置的处理器处执行时被配置为执行如上所述的方7[0034]图1示意性地描述了根据本公开的某些实施例的用于时间序列预测的基于LSTM的[0036]图2B示意性地描述了根据本公开的某些实施例的用于时间序列预测的基于LSTM[0037]图2C示意性地描述了根据本公开的某些实施例的用于时间序列预测的基于双向[0040]图5示意性地描述了根据本公开的某些实施例的用于时间序列预测的基于LSTM的[0041]图6示意性地描述了根据本公开的某些实施例的用于时间序列预测的基于双向[0042]图7示出了与GOC2018销售预测任务有关的根据本公开的某些实施例的基线和模[0043]图8示出了与GEFCom2014电价结果有关的根据本公开的某些实施例的基线和模型[0044]图9示出了根据本公开的某些实施例的余弦距离小于0.25的不同产品类别的最近[0047]本说明书中使用的术语在本发明的上下文中以及在每个术语所使用的特定上下8定义的术语应被解释为其含义与在相关技术和/或本公开的上下文中的含义一致，而不应9程序来实现。计算机程序包括存储在非暂时性有形计算机可读介质上的处理器可执行指[0062]图1示意性地描述了根据本公开的某些实施例的多界限时间序列预测的计算系示出)以执行其对应的任务。这些硬件组件和软件组件的示例可以包括但不限于其他所需[0065]存储装置116是用于存储计算装置110的OS(未示出)和其他应用的非易失性数据存储器114和存储设备116是来自预定义区域中的多[0068]嵌入层122被配置为在获取或接收分类变量时，将分类变量嵌入到数字特征向量接口180获取或接收分类变量。在某些实施例中，分类变量是时间序列训练数据或历史数[0069]请注意，特定时间步长(例如一天)上的每种类型的产品与多[0070]级联层124被配置为在接收到一个时间步长处的产品的特征向量时，将特征向量[0071]全连接层126被配置为在接收到所级联的长向量时，学习隐藏空间中的不同输入[0072]编码器140被配置为在从嵌入模块120接收到历史时间步长中的每个产品的输入[0073]LSTM模块142在接收到时间序列的紧凑特征向量(输入特征向量)(该紧凑特征向量包括在时间步长处的产品的对应输出(销售))时，对每个时间步长执行LSTM以提供该时被配置为将隐藏状态(预测输出向量)发送到预测变换器144，并且还将每个隐藏状态传递模块142的第二LSTM层被配置为接收中间特征向量并将隐藏状态(即预测输出向量)输出到[0074]预测变换器144被配置为在接收到每个时间步长的预测输出向量(即，隐藏状态)[0075]解码器160被配置为在从编码器140的LSTM模块142的最后的时间步长接收到潜在的隐藏状态并且从嵌入模块120的全连接层126接收到与未来时间步长相对应的输入特征供给解码器160的特征向量只与未来时间步长的类别变量相对应，因为没有输出可用于未[0077]BiLSTM模块162被配置为在从全连接层126接收到未来时间序列的输入特征向量并且从LSTM模块142接收到最近的时间步长的隐藏状态时，执行LSTM学习以获得与未来时[0078]时间卷积模块164被配置为在从BiLSTM模块162接收到不同未来时间步长处的隐在目标时间步长之前的2个时间步长的隐藏状态以及紧接在目标时间步长之后的2个时间的上下文特征。上下文时间卷积模块164还被配置为将不同尺度上的未来时间步长的那些[0079]上下文选择模块166被配置为在从时间卷积模块164接收到不同大小的上下文特多尺度上下文特征，并将多尺度上下文特征(向量)发送到预测变换器168。在某些实施例[0081]预测变换器168被配置为在从上下文选择模块166接收到多尺度上下文特征向量失函数考虑预测输出(例如预测销售)和实际180可以指示使用历史数据，例如最近三年或五年的每日输入/产品特征和输出/产品销售历史数据，例如上个月的每日数据(输入/产品特征和输出/产品销售)用于编码器140以获得最近的隐藏状态(上个月的最后一天)，并将当前数据(例如下个月的每日数据(仅输入/[0086]数据库190被配置为存储历史变量输入数据和对应的输出数据以及未来变量输入间序列预测应用程序118在操作时能够从远程数据库190获[0088]图3示意性地描述了根据本发明的某些实施例的时间序列预测应用的训练。在某用于训练嵌入模块120和编码器140，并且第二个月的输入/输出数据被用于训练嵌入模块[0089]在过程302处，嵌入层122获取或接收第一个月中的每天的目以将每个分类变量变换为特征向量之一，并且特征向量可以是单热向量(one-hot[0092]在过程308处，LSTM模块142在接收到第一个月的31天的紧凑特征向量(输入特征紧凑特征向量(或未来的输入特征向量)发送[0098]在过程318处，BiLSTM模块146在接收到第二个月的30天的紧凑特征向量(输入特征向量)以及由编码器140生成的第一个月的第31天的隐藏状态时，对紧凑特征因子执行长计算多尺度上下文特征之后，上下文选择模块166然后将多尺度上下文特征发送到预测[0101]在某些实施例中，由上下文选择模块166基于来自编码器140的最近的隐藏状态[0102]在过程324处，在接收到每个未来时间步长的多尺度上下文特征时，预测变换器168将多尺度上下文特征转换为预测输出。基于一天的输入的每个预测输出是第二天的预录的实际输出和与第一个月的31天和第二个月的30天相对应的预测输出之间的差异来计[0106]图4示意性地描述了根据本发明的某些实施例的时间序列预测过程。在某些实施[0107]在应用118经过良好训练之后，例如使用图3中所示的方法，应用118准备进行预[0108]在过程402处，嵌入层122获取或接收前一个月中的每天的目品的特征向量和与特征向量相对应的输出进行级联，以生成前一个月的每一天的长向量，[0111]在过程408处，LSTM模块142在接收到前一个月的31天的紧凑特征向量(输入特征紧凑特征向量(或未来的输入特征向量)发送[0115]在过程416处，BiLSTM模块146在接收到当月的30天的紧凑特征向量(输入特征向多尺度上下文特征转换为预测输出。基于一天的输入的每个预测输出是第二天的预测输[0121]图5示意性地描述了根据本公开的某些实施例的用于时间序列预测的基于LSTM的[0124]嵌入是一种特征学习技术，它将分类变量映射到数字特征向量。例如，Mikolov(Mikolov等人2013)的词语嵌入为了使字典进行学习，所述字典将词汇词语映射到分布式[0125]卷积神经网络(CNN)在许多基本的图像识别任务中已经取得了最先进的性能[0126]图6示意性地描述了根据本公开的某些实施例的用于时间序列预测的基于BiLSTM[0127]为了学习以t+2为中心的三个时间步长的上下文，将g3应用于BiLSTM解码器的隐对不同尺度的上下文特征(表示为ci)进[0135]这种设计使模型能够通过基于序列动态的历史观察将不同的权重分配给不同的[0137]在某些方面，根据图1-图7中所示的实施例的神经网络在PyTorch中实现(Paszke等人2017年)，并且网络参数由Adam求解程序(Kingma和Ba2015)更新，其中对于100个时段，批量大小为32并且固定学习速率为10-3。在某些示例中，需要大约四个小时来对单个[0138]在某些方面，所述方法适用于两个大型公共预测数据集上的多界限预测问题：JD.com(一家全球在线零售公司)的实际销售数据中收集的公共数据集。该数据集提供了2016年至2017年在中国6个地区销售的1000种产品的每日销售数据的6000个时间序列。要损失函数用于计算在每个未来时间步长(从2018-01-01到2018-01-31)的每个时间序列i的[0149]在某些实施例中，我们借助于将隐藏上下文特征映射到所有感兴趣的K个分位数[0151]为了使我们的设置可与(Wen等人2017)相比较，我们训练我们的模型以仅提供[0155]训练和评估：模型训练和评估的细节描述如下。GOC2018在线销售数据集中共有预处理步骤中保持验证和测试序列以保证不与训练序列重叠。对于GEFCom2014电价数据[0157]Benchmark直接将历史值复制为未来预测。对于在线销售数据集，评估月份的Benchmark预测是从上个月(31天前)的销售量中借用的。对于电价数据集，评估日的[0158]Gradient-Boosting(Friedman，2001)是一种用于递归和分类问题的经典机器学[0162]BiLSTM-Dec通过使用双向LSTM解码器在前向和后向两个方向传播未来输入的信[0166]实验结果：图7中所示的表1和图8中所示的表总结了与两种预测竞赛数据集有关低的分位数损失78.02，其利用注意机制通过进一步探索历史模式对Benchmark进行了改导致错误累积。BiLSTM-Dec通过使用双向LSTM作为解码器进一步将分位数损失降低到选择层来更好地将不同尺度的上下文与学习到的重要性向量组合，并实现了74.36的最低销和过去一个月的销售等短期信息比长期依均值。由于序列中的高动态性，Benchmark方法在总共99个分位数损失方面表现得最差2.682。这种每小时预测任务具有固定的评估创建时间(午夜的00:00)和循环界限(24小所有基线模型。TpConv-RNN通过明确考虑不同尺度的时间上下文来将分位数损失减少到信息。通过仅使用Cat-id、Dc-id或Promo作为输入特征，验证集上的分位数损失分别为[0171]本发明的进一步实施例可以在ChenyouFan等人在2019年8月4日-8日在美国阿拉斯加安克雷奇的KDD'19Proceedingsofthe25thACMSIGKDDInternationalConferenceonKnowledgeDiscovery&DataMining发表的论文“Multi-horizontime[0173]在某些方面，本发明涉及一种存储计算机可执行代码的非暂时性计算机可读介[0177]1.BOX,GEP.andJENKINS,GM,Somerecentadvancesinforecastingandcontrol,JournaloftheRoyalStatisticalSociety,1968,Vol.17,No.2,pp.91-109.[0178]2.CINAR,YG,MIRISAEE,H,etal.,Position-basedcontentattentionfortimeseriesforecastingwithsequence-to-sequenceRNNS,AdvancesinNeuralInformationProcessingSystems,2017.[0179]3.DONAHUE,J,HENDRICKSLA,etal.,Long-termrecurrentconvolutionalnetworksforvisualrecognitionanddescription,IEEEConferenceonComputerVisionandPatternRecognition,2015.[0180]4.FRIEDMAN,JH,Greedyfunctionapproximation:agradientboostingmachine,AnnalsofStatistics,2001,Vol.29,No.5,pp.1189-1232.[0181]5.HOLT,CC,Forecastingseasonalsandtrendsbyexponentiallyweightedmovingaverages,InternationalJournalofForecasting,2004,Vol.20,Issue1,pp.5-10.[0182]6.HONG,T,PINSON,Petal.,Probabilisticenergyforecasting:Globalenergyforecastingcompetition2014andbeyond,InternationalJournalofForecasting,2016,Vol.32,Issue3,pp.896-913.[0183]7.KINGMA,DP,BA,JL,Adam:Amethodforstochasticoptimization,InternationalConfere[0184]8.KRIZHEVSKY,A,SUTSKEVER,I,HINTON,GE,ImageNetclassificationwithdeepconvolutionalneuralnetworks,AdvancesinNeuralInformationProcessingSystems,2012.[0185]9.LONG,J,SHELHAMER,E,DARRELL,T,Fullyconvolutionalnetworksforsemanticsegmentation,2015IEEEconferenceoncomputervisionandpattern[0186]10.MIKOLOV,T,SUTSKEVER,I,etal.,Distributedrepresentationsofandphrasesandtheircompositionality,AdvancesinNeuralInformationProcessingSystems,2013.[0187]11.OORD,AVD,DIELEMANS,etal.,WaveNet:Agenerativemodelforrawaudio,2016,arXivpreprintarXiv:1609.03499.[