《大数据分析与挖掘》课件-实训1基于时间序列的分仓商品预测

大数据技术在企业创新背景下高校物流人才培养中的转化与应用

——基于时间序列的分仓商品需求预测——开篇讨论——农夫山泉如何大卖矿泉水？城市1城市2城市3城市4城市5总仓开篇讨论——农夫山泉如何大卖矿泉水？需求变化天气季节性变化甚至突发性的需求配送中心辐射半径大数据精准预测地区供销平衡大幅度降低物流成本开篇讨论——农夫山泉如何大卖矿泉水？开篇讨论——快消行业开篇讨论——快消行业精准预测各个区域商品需求物流评分提升服务时效提升开篇讨论——快消行业问题提出——任务背景国内某大型电商平台积累了海量的买家和卖家交易场景下的数据。利用数据挖掘技术，我们能对未来的商品需求量进行精准地预测，从而帮助商家提供供应链决策支持。任务要求以历史一年海量买家的行为数据以及商品信息数据为依据，预测某商品在未来两周全国和区域性分仓需求量。任务实质这些以大数据驱动的供应链能够帮助商家大幅降低运营成本，提升用户的体验，对整个电商行业的效率提升起到重要作用。问题解决——商业理解问题解决——数据理解问题解决——数据理解商品特征列表商品ID仓库CODE叶子类目ID大类目ID品牌ID供应商ID浏览次数流量UV被加购次数加购人次收藏夹人次拍下笔数拍下金额拍下件数拍下UV成交金额成交笔数成交件数成交人次直通车引导浏览次数淘宝客引导浏览次数搜索引导浏览次数聚划算引导浏览次数直通车引导浏览人次淘宝客引导浏览人次搜索引导浏览人次聚划算引导浏览人次非聚划算支付笔数非聚划算支付金额非聚划算支付件数非聚划算支付人次预测目标：全国以及区域分仓商品需求量（成交件数qty_alipay）历史数据时间跨度：2014年10月1日至2015年12月27日问题解决——数据探索与数据挖掘大数据挖掘与分析工具——PMT（北京络捷斯特开发）大数据挖掘与分析流程问题解决——时间序列挖掘流程图问题解决—数据探索分析问题解决—数据探索分析问题解决——预测结果问题解决——预测结果数据挖掘统计学机器学习模式识别数据库问题学习——知识点1-数据挖掘统计理论模型人工智能模型时间序列卡尔曼滤波线性回归非参数回归历史平均神经网络支持向量机模糊神经网络问题学习——知识点1-预测方法关联规则问题学习——知识点2-时间序列关联规则问题学习——知识点2-时间序列时间序列：由同一现象在不同时间上的相继观察值排列而成的序列，也称时间数列、动态数列。研究实质：通过处理预测目标本身的时间序列数据，获得事物随时间过程的演变特性与规律，进而预测事物的未来发展。它不研究事物之间相互依存的因果关系。问题学习——知识点2-时间序列平稳时间序列问题学习——知识点2-时间序列非平稳时间序列关联规则问题学习——知识点2-时间序列应用时间序列预测是在己知过去事件的基础上，使用模型对未来事件进行预测的过程。问题学习——知识点3-时间序列算法模型ARMAARMAARIMA一般的p阶自回归过程AR(p)是

Xt=

1Xt-1+2Xt-2+…+pXt-p+

t(1)(1)如果随机扰动项是一个白噪声(

t=

t)，则称(*)式为一纯AR(p)过程（pureAR(p)process），记为

Xt=

1Xt-1+2Xt-2+…+pXt-p+t（2）(2)如果

t不是一个白噪声，通常认为它是一个q阶的移动平均（movingaverage）过程MA(q)：

t=

t-

1

t-1-

2

t-2-

-

q

t-q（3）

该式给出了一个纯MA(q)过程（pureMA(p)process）。问题学习——知识点3-自回归移动平均模型ARMA

将纯AR(p)与纯MA(q)结合，得到一个一般的自回归移动平均（autoregressivemovingaverage）过程ARMA（p,q）：

该式表明：（1）一个随机时间序列可以通过一个自回归移动平均过程生成，即该序列可以由其自身的过去或滞后值以及随机扰动项来解释。（2）如果该序列是平稳的，即它的行为并不会随着时间的推移而变化，那么我们就可以通过该序列过去的行为来预测未来。这也正是随机时间序列分析模型的优势所在。问题学习——知识点3-自回归移动平均模型ARMA（1）一个平稳的时间序列总可以找到生成它的平稳的随机过程或模型；（2）一个非平稳的随机时间序列通常可以通过差分的方法将它变换为平稳的，对差分后平稳的时间序列也可找出对应的平稳随机过程或模型。因此，如果我们将一个非平稳时间序列通过d次差分，将它变为平稳的，然后用一个平稳的ARMA(p,q)模型作为它的生成模型，则我们就说该原始时间序列是一个自回归移动平均综合模型时间序列，记为ARIMA(p,d,q)。Eg：一个ARIMA(2,1,2)时间序列在它成为平稳序列之前先得差分一次，然后用一个ARMA(2,2)模型作为它的生成模型的。问题学习——知识点3-差分自回归移动平均模型ARIMA问题学习——知识点4-评估指标均方根误差（RMSE,RootMeanSquareError）是均方误差的算术平方根，均方根误差能够很好地反映出测量的精密度。平均绝对误差（MAE，MeanAbsoluteError）是所有单个观测值与算术平均值的偏差的绝对值的平均。平均绝对百分误差（MAPE，MeanAbsolutePercentError)是个相对值，而不是绝对值,所以，单看MAPE的大小没有意义，可以用来进行对对不同模型同一组数据的评估。赤池信息量准则（AIC，Akaikeinformationcriterion），是衡量统计模型拟合优良性的一种标准，赤池信息量准则建立在熵的概念基础上，可以权衡所估计模型的复杂度和此模型拟合数据的优良性。AIC鼓励数据拟合的优良性，但是尽量避免出现过度拟合的情况。所以优先考虑的模型应是AIC值最小的那一个。贝叶斯信息准则(BIC，BayesianInformationCriterion）与AIC相似，用于模型选择，1978年由Schwarz提出。训练模型时，增加参数数量，也就是增加模型复杂度，也会导致过拟合现象，针对该问题，AIC和BIC均引入了与模型参数个数相关的惩罚项，BIC的惩罚项比AI