数据处理与建模流程-1

数据处理与建模流程 1 数据处理 1 1 替换缺失值 数据完整没有缺失值的情况基本不存在 我们的数据中 0 点 5 点的航班为 0 的情况 很多 所以数据缺失比较严重 时间序列分析要求时间周期完整 如果将缺失的数据只简 单地用其他所有数据的缺失值填充 误差较大 经过反复尝试 发现用临近两点均值填充 结果最为理想 2 时间序列的预处理 2 1 时间序列平稳化 首先绘制替换缺失值之后的原始数据的自相关图与偏自相关图 如下图所示 可以看到自相关图并没有收敛到置信区间之内 趋近 0 以后又增长 且所有值均在置 信区间之外 故序列不平稳 为了进行时间序列平稳化 首先进行差分 即前值减后值 消除前后数据的依赖性 再次制作自相关图 勾选一次差分 结果如图所示 如图所示偏 ACF 图仍然所有值均在置信区间之外 序列仍不平稳 勾选季节性差分再 次制作自相关图 后一个周期相同位置的值减去前一个周期相同位置的值称为季节性差分 结果如图所示 从图中可知 ACF 为截尾 PACF 为拖尾 序列已稳定 故将原始序列先进行差分 后进行季节性差分 2 2 平稳序列的检验 为了考察单个序列是否的确已经转换为平稳的随机序列 制作自相关图 ACF 与偏 相关图 PACF 此次将延迟拉大 观察相关图是否具有周期性 图中所示 ACF在1阶之后骤减 为截尾 进一步观察 发现其具有周期性 在q Sq后仍 然骤减 PACF拖尾 根据下图 符合MA q Seas MA Q 模型 ACF 与 PACF 怎么看 第一列数为 lag 值 第二列为相关系数的估计值 第三列为标 准误差 其余为 Box Ljung 检验结果 如果相关系数是突然收敛到置信区间之内 95 的 值在置信区间之内 为截尾 如果相关系数像一条常常的尾巴 95 的值在置信区间之外 为拖尾 故 自相关图为截尾 偏相关图为拖尾 符合 MA 模型 3 指数平滑与 ARIMA 的比较 指数平滑 用序列过去值的加权均数来预测将来的值 并给序列中近期的数据以较大的权重 远 期的数据以较小的权重 理由是随着时间的流逝 过去值的影响逐渐减小 基本公式 Ft 是 t 时刻的预测值 Y 是 t 时刻的实际值 指数平滑沿袭了修正的思想 T 1 时刻 的预测值是 T 时刻的实际观测值对 T 时刻的预测值加以修正后得到的 展开式 实际观测值对预测值的影响随着时间距离的增大而呈指数级数衰减 这就是指数平滑的由 来 根据指数平滑法的公式可以知道 指数平滑法适合于影响随时间的消失呈下降的数据 ARIMA 模型 AR p 模型 Auto regression Model 自回归模型 p 阶自回归模型 这里的 d 是对原时序进行逐期差分的阶数 差分的目的是为了让某些非平稳 具有一 定趋势的 序列变换为平稳的 通常来说 d 的取值一般为 0 1 2 对于具有趋势性非平稳 时序 不能直接建立 ARMA 模型 只能对经过平稳化处理 而后对新的平稳时序建立 ARMA p q 模型 这里的平稳化处理可以是差分处理 也可以是对数变换 也可以是两者 相结合 先对数变换再进行差分处理 自回归积分滑动平均模型 对于具有季节性的非平稳时序 如冰箱的销售量 羽绒服的销售量 也同样需要进行 季节差分 从而得到平稳时序 这里的 D 即为进行季节差分的阶数 PQ 分别是季节性自 回归阶数和季节性移动平均阶数 S 为季节周期的长度 确定 pqd PQD 主要根据自相关图与偏自相关图 4 建模 首先了解一下各个参数的意义 R 方 平稳的 R 方 R 方是使用原始序列计算出的模型决定系数 只能在序列平稳时 使用 平稳的 R 方则是用模型的平稳部分计算出的决定系数 当序列具有趋势或季节波动 时 该指标优于普通 R 房 两者取值均为小于等于 1 的任意数 负值表示该模型预测效果 比只用均数预测还差 RMSE 均方误差的平方根 表示模型预测因变量的精度 其值越小 精度越高 MAE 平均绝对误差 MaxAE 最大绝对误差 MAPE 平均绝对误差百分比 MaxAPE 最大绝对误差百分比 正态化的 BIC 是基于均方误差的分数 包括模型中参数数量的罚分和序列长度 罚 分去除了具有更多参数的模型优势 从而可以容易地比较相同序列的不同模型的统计量 其中百分比用来比较不同的模型 最大绝对误差与最大绝对误差百分比对于考虑预测 最坏情况很有用 4 1 指数平滑法建模 根据前面叙述 知道指数平滑法适用于影响随时间的消失呈下降的数据 对于我们的 数据可能不适用 但是保险起见 仍用指数平滑法进行建模 如图所示 R 方为负值 表示 该模型效果太差 故抛弃该方法 4 2 专家建模法选择合适模型 专家建模法默认两种建模方法均使用 因为手动计算合适参数较为复杂 专家建模器 会为用户选择合适的模型与参数 如图所示 专家建模器选择的是 ARIMA 模型 并设置 参数为 ARIMA 0 0 2 0 0 1 根据前面分析可知中 p 0 d 0 q 2 P 0 D 0 Q 1 结合数据的 ACF 图 说明 ARIMA 相对于指数平滑 法更适合 模型参数如下 图中 R 方与平稳的 R 方相等 该模型为非季节性模型 Ljung Box Q 检验中白噪声未超过限定值 通过检验 下图为该模型预测的 9 月一天的数据 4 2 调整模型参数 但是由前面进行的季节性分解分析可知 我们的数据具有周期性 由前面分析的图中所示 ACF在1阶之后骤减 为截尾 进一步观察 发现其具有周期性 在q Sq后仍然骤减 PACF拖尾 根据下图 符合MA q Seas MA Q 模型 设置d 1 D 1 q 1 Q 1 设置p跟P均为0 建立模型如下 R方为负值表示该模型拟 合效果很差 需要进一步调整参数 故进一步调整模型参数 经过反复调整试验