《大数据分析与挖掘》实训教案-基于ARIMA算法的区域商品需求预测实验1

基于时间序列（ARIMA）算法的区域商品需求预测实验一、操作环境1.操作系统：windowAll2.软件平台：LogisPMT,python3.4二、业务场景高质量的商品需求预测是供应链管理的基础和核心功能。利用数据挖掘技术，对未来的商品需求量进行精准预测，从而帮助商家自动化供应链过程中的决策。这些以大数据驱动的供应链能够帮助商家大幅降低运营成本，提升用户体验，对整个电商行业的效率提升起到重要作用。目标：通过对某国内大型电商平台所覆盖的全国总仓以及各个分仓的区域性商品需求分析，运用数据挖掘技术和方法精准刻画商品的区域性需求以及变动规律，对未来二周的全国总仓或区域性分仓的商品需求量进行精准预测。三、数据历史用户购物行为以及某国内大型电商平台所覆盖全国总仓、分仓数据。时间跨度：2014年10月1日至2015年12月27日，数据特征包括商品本身的一些分类：类目、品牌等，还有包含用户历史行为特征：浏览人数、加购物车人数，购买人数。本案例以全国总仓需求数据为例。表1数据字段信息字段类型含义示例dateBigint日期20150912item_idBigint商品ID132cate_idBigint叶子类目ID18cate_level_idBigint大类目ID12brand_idBigint品牌ID203supplier_idBigint供应商ID1976pv_ipvBigint浏览次数2pv_uvBigint流量UV2cart_ipvBigint被加购次数0cart_uvBigint加购人次0collect_uvBigint收藏夹人次0num_gmvBigint拍下笔数0amt_gmvDouble拍下金额0qty_gmvBigint拍下件数0unum_gmvBigint拍下UV0amt_alipayDouble成交金额0num_alipayBigint成交笔数0qty_alipayBigint成交件数0unum_alipayBigint成交人次0ztc_pv_ipvBigint直通车引导浏览次数0tbk_pv_ipvBigint淘宝客引导浏览次数0ss_pv_ipvBigint搜索引导浏览次数0jhs_pv_ipvBigint聚划算引导浏览次数0ztc_pv_uvBigint直通车引导浏览人次0tbk_pv_uvBigint淘宝客引导浏览人次0ss_pv_uvBigint搜索引导浏览人次0jhs_pv_uvBigint聚划算引导浏览人次0num_alipay_njhsBigint非聚划算支付笔数0amt_alipay_njhsDouble非聚划算支付金额0qty_alipay_njhsBigint非聚划算支付件数0unum_alipay_njhsBigint非聚划算支付人次0四、操作步骤新建一个工程，如图1所示。图1新建工程1.数据载入 由于本案例涉及数据体量庞大，放置云端便于统一存储管理，用户只需相关组件（节点）即可实现调用。在Data区域中选择Logis云端数据组件，双击打开出现对话框，下拉菜单选择智能分仓数据_item_feature，数据传输速度受用户当前网速影响。图2获取云端数据原始数据观测在Data区域中选择数据表格组件，并与Logis云端数据组件相连，双击打开，如图3所示：图3原数据观测对话框的左上角数据简要区域展现原始数据的基本信息，包括数据的体量，特征维度以及缺失值比率，有无元变量等信息，对话框的右侧区域展现原始数据的二维列表。探索性数据分析为了探测不同商品的需求情况以及变动趋势，从原始数据集中随机抽取三种商品进行观测。在Data区域中选择记录选择组件，并与Logis云端数据组件相连，双击打开，配置如图4所示。点击增加条件按钮即可添加所需要配置的条件信息。在下图的左下角数据区域显示输出包含87个记录信息。为了消除特征冗余，在数据清洗区域中勾选移除无用特征/类目，选择自动发送。为了便于观测，可进一步将记录选择组件改名为item_id=197。图4记录（商品）选择为了进一步可视化商品需求的趋势及变动情况，可通过序列图以及螺旋图等方式进行展现。在TimeSeries区域中选择序列图组件，并与记录选择组件（item_id=197）相连，双击打开，选择qty_alipay目标变量（qty_alipay为商品的成交件数，以此作为其需求代理指标），用户可在类型处选择不同的序列展现方式，如图5所示。图5商品（item_id=197）需求序列图为了观察该商品的月度需求变化趋势，在TimeSeries区域中选择螺旋图组件，并与记录选择组件（item_id=197）相连，双击进入，参数配置如图6所示。图6商品（item_id=197）需求螺旋图从图5、6中可以看出，商品item_id=197的需求变动除了个别异常值外总体呈现较为平稳的态势，这是个显而易见的现象，商家会在一些特殊的日子开展相关的优惠活动以及广告的大肆宣传。2014年月度需求量在100件左右，较为平淡。2015年3月份之后，该商品的需求呈现出稳中有增的趋势，特别是2015年的4月份，达到了全年月度峰值1068件，此外，2015年的3月、5月、6月以及11月的需求也较为强盛，均在800件左右。从单日需求分布来看，2014年的双11与2015年的双11活动日里该商品需求差距极大，故可推测该商品在2014年应刚上架不久，未大范围内被市场了解、接受。此外，2015年4月8日、4月17日、5月26日、12月12日等都出现了局部需求峰值。特征选择由于本案例以构造时间序列模型为核心，故特征变量只选择date，目标变量以qty_alipay（商品成交件数）作为代理指标。在Data区域中选择特征选择组件，并与记录选择组件（item_id=197）相连，如图7所示。图7特征选择模型构建本案例商品数据时间跨度为2014年10月1日至2015年12月27日。预测目标为商品未来二周的需求变化，为了验证训练模型的优劣，将商品数据时间跨度为2014年10月1日至2015年12月13日作为训练集，2015年12月14日至2015年12月27日作为验证集。 从上述序列图中可以观测出，该商品所预测的时间段未需求的平淡期，为了降低一些异常值的存在对构建模型的影响，需对其进行消除。从Data区域中选择记录选择组件（自定义命名未异常值过滤），并与特征选择组件相连，双击打开，配置如图8所示。图8过滤异常值 为了让机器精准的识别时间类型data字段，在TimeSeries区域中选择时间对象选择组件，并与记录选择（异常值过滤）组件相连，配置如图9所示。图9时间对象识别 考虑到预测商品未来两周的需求量，为了降低由于单日预测粒度过小而导致训练模型性能低下，可通过聚合的方式来实现以一周作为预测的最小粒度。在TimeSeries区域中选择聚合组件，并与时间对象选择组件相连，双击打开，聚合方法选择week，聚合函数选择sum。配置如何10所示。图10以周为聚合商品需求 可通过一个数据表格来进一步观测聚合以后的数据分布状况，如图11所示。图11商品需求聚合数据 从表中可以获知聚合完毕后总共65周的商品需求数据，qty_alipay字段呈现的是每一周聚合以后需求总和。 构建ARMA模型前提是稳定的需求序列，因此对原数据做平稳化处理，从TimeSeries区域中选择一个差分组件，并与聚合组件相连，为了观测差分以后的序列平稳性，引入序列图组件并与差分组件相连，配置以及差分以后序列图如图12所示。（差分的目的：消除一些波动，使数据趋于平稳）图12差分及一阶差分后序列图 从上图中可以获知序列经过一阶差分以后已经呈现稳定的趋势。训练集与验证集划分：在Data区域中选择记录选择（命名为训练集）组件，并与聚合组件相连，时间跨度设置为2014-10-04—2015-12-13；在Data区域中选择记录选择（命名为验证集）组件，并与聚合组件相连，时间跨度设置为2014-12-13—2015-12-27；具体配置分别如图13所示。图13训练集和验证集设置从上图中可以观测到，训练数据为前63周，验证数据为后2周的数据集。从TimeSeries区域中选择ARIMA模型组件和模型评估组件。模型评估组件与记录选择（训练集）组件相连；ARIMA模型组件与模型评估组件相连。双击打开ARIMA模型组件，预测步长设置为2，具体配置如图14所示。图14模型参数配置模型评估待模型训练完毕，双击打开模型评估组件，如图15所示。图15模型评估其中：RMSE为均方根误差，MAE为平均绝对误差，MAPE为平均绝对百分误差，R2为相关性强弱，AIC为赤池信息准则，BIC贝叶斯信息准则等。RMSE值为39.5，以一天为单位的值为5.64，表明单个记录的总体平均预测误差5.64，模型的总体性能较好。为了获取详细的预测值，将ARIMA模型组件与记录选择（训练集）组件相连，同时从Data区域中选择一个数据表格组件（命名为预测值），并与ARIMA模型组件相连，双击打开，如图16所示。图16商品2周需求预测值 在对话框的右侧列表第一列即为模型预测两周的商品需求值，两周商品需求预测和为72.342。为了对比预测性能，用数据表格组件观察验证集数据，如图17所示。图17商品2周真实需求值 对两周的商品真实需求求和为71。对两周的预测值与实际值对比误差为1.342，预测效果满足预期。为了更加直观的观察训练数据与预测值的总体变化趋势，从TimeSeries区域中选择一个序列图组件（命名为test）,并同时与记录选择（训练集）组件和ARIMA模型组件相连，点击打开并选中qty_lipay，如图18所示。图18预测