回归模型预测技术中最小二乘法的改进.docx

回归模型预测技术中最小二乘法的改进摘要:回归模型预测技术中采用最小二乘法计算回归模型参数理论上存在一定的缺陷，是模型在进行中长期时产生较大误差。通过对最小二乘法进行改进，在一定程度上弥补这种缺陷，提高了回归模型的适用性和稳健型。Abstract: In regression model prediction , we usually calculate the regression model parameters using the least squares method. There are some flaws in the theory, so that the model produces large errors when making long-term forecasts. The paper makes up for this deficiency to the certain degree by improving the method of least squares and improve the applicability and robustness of the regression model at the same time.关键词：回归模型预测；最小二乘法；误差分析。0 引言科学的预测是正确决策的依据和保证 负荷预测是电力系统领域的一个传统研究问题,是指从已知的电力系统、经济、社会、气象等情况出发,通过对历史数据的分析和研究,探索事物之间的内在联系和发展变化规律,对负荷发展做出预先估计和推测 负荷预测是电力系统规划、计划、用电调度、等部门的基础工作,其重要性早已被人们所认识。电力负荷回归模型预测技术就是根据过去的历史资料，建立可以进行数学分析的数学模型，对未来的负荷进行预测。从数学上看回归模型预测技术就是通过对变量的观测数据进行统计分析，确定变量之间的相关关系，从而实现预测的目的。回归模型预测技术适合处理少数据、小样本、中短期的预测问题，计算简便，在负荷预测中得到了广泛应用。在应用回归模型进行负荷预测时，首先要确定模型中的参数，参数估计的好坏直接影响到预测的结果，从而影响到未来新发电机组的安装。然而，估计回归模型中的参数一般地都采用的是最小二乘法，而这种估计方法一方面基于残差平方和最小寻优，很容易陷入局部最小，对于非线性较强的负荷，应用最小二乘法得到的结果会产生很大的偏差。另一方面最小二乘法稳健性较差，若中长期负荷存在奇异点，应用最小二乘法会导致异常数据产生过分不恰当的影响，从而影响到回归模型的预测精度。为克服上述缺陷，本文提出基于最小一乘法的原则估计回归模型的参数，在参数求解中应用线性规划对目标函数进行寻优，从理论和方法上克服传统最小二乘法估计模型参数的缺陷，并将模型应用于中长期负荷预测，验证改进模型的有效性和优越性。1 回归模型介绍回归分析预测法，是在分析自变量和因变量之间相关关系的基础上，建立变量之间的回归方程，并将回归方程作为预测模型，根据自变量在预测期的数量变化来预测因变量关系大多表现为相关关系，因此，回归分析预测法是一种重要的负荷预测方法，当我们在对现象未来发展状况和水平进行预测时，如果能将影响负荷预测对象的主要因素找到，并且能够取得其数量资料，就可以采用回归分析预测法进行预测。它是一种具体的、行之有效的、实用价值很高的常用市场预测方法。回归分析预测法有多种类型。依据相关关系中自变量的个数不同分类，可分为一元回归分析预测法和多元回归分析预测法。在一元回归分析预测法中，自变量只有一个，而在多元回归分析预测法中，自变量有两个以上。依据自变量和因变量之间的相关关系不同，可分为线性回归预测和非线性回归预测。2 建立回归模型在实际预测过程中通常根据历史资料图形判断出具体使用哪一种回归模型进行预测。为更简单明了阐述最小一乘法的应用原理和作用效果，本文以一元线性回归模型为例。一元线性回归中，自变量是可以控制或精确观察的变量（如：时间），用x表示，因变量是依赖于x的随机变量（如：用电负荷），用y表示。假设x于y的关系为y=a+bx+其中是随机误差，也称随机干扰，它服从正态分布N（0，），a，b及都是不依赖于x的未知参数。对固定的x，yN（a+bx，），即随机变量y的数学期望为Ey=a+bx这是由于E（yi）=E（a+bxi+i）=E(a+bxi)+E(i)=a+bxi+0所以建立的回归模型为Y=a+bX3 参数估计通常用最小二乘法估计a，b。为此做离差平方和Q(a,b)=i=1nyi-a-bxi2选取参数a，b使得Q（a，b）达到最小。利用高等数学中求极值法，令-2i=1n(yi-a-bxi)=0-2i=1n(yi-a-bxi)xi=0将其变形为na+(i=1nxi)b=i=1nyii=1nxia+i=1nxi2b=i=1nxiyi方程组得到的不是a，b的真值，而是它们的估计值A，B。当A，B的估计值求出后，便得出y对x的线性回归方程Y=A+BX4 最小二乘法改进从式(5)可见，在传统回归模型的参数估计方法中，最小二乘法利用（yi-a-bxi）刻画真实值与模型值之间偏差，主要考虑到计算简便，参数估计易于用公式求解，但当原始数据存在奇异点时，平方会放大奇异点对可信度的影响，导致回归模型的预测效果不好，即最小二乘法的稳健性不好。在中长期负荷预测中，经常会出现异常点。采用传统的最小二乘法进行负荷预测时通常首先剔除这些偏差较大的奇异点，再进行下一步的分析和预测。然而这些异常点恰好在某些方面反映了一些特殊的信息，不可以随意剔除。因此利回归模型进行中长期负荷预测时，尤其是预测数据中出现一些异常点的情况时，不宜用传统的最小二乘法估计模型参数。本文中的最小一乘法利用yi-a-bxi刻画偏差，由于只考虑偏差的一次方而非平方，所受异常点的影响相对传统最小二乘法较小，即最小一乘法比传统最小二乘法的稳健性好。根据最小一乘法的这一优点，以下利用最小一乘法对回归模型的参数进行估计，即Qa,b=i=1nyi-a-bxi最小一乘法的缺点是由于式子中包含绝对值符号，单纯利用高等数学知识计算比较困难。在这里通过使用Lingo软件编程进行线性规划，可以比较容易地得到所求最优解。然后将上述基于最小一乘法所得的参数带入回归方程进行负荷预测。5 实例分析为了说明本文所提出的改进模型的有效性，以2001年到2010年中国全社会用电量为例进行验证，用电量数据见表1。表1：2001年到2010年全社会用电量数据时间（年）20012002200320042005用电量（万亿度）1480816540191052203325002时间（年）20062007200820092010用电量（万亿度）2865732815349573714641923为方便计算将2001年至2010年分别编号110。根据数据做出其折线图，如图。图中可以看出，用电量基本呈现线性上升趋势。所以可以采用一元线性回归模型进行预测。建立模型y=a+bx利用LINGO软件进行编程可以容易求出最小二乘法和最小一乘法下的参数估计值，得到两种预测模型。然后用得到的预测模型反求得到2001年到2010年预测值，与实际值进行拟合，可以看出两种预测模型的准确程度。结果如表2所示。表2 两种方法预测结果对比年份实际值本文回归模型预测传统回归模型预测20011.48081.29071.32766320021.6541.60571.65330220031.91051.92071.97894220042.20332.23572.30458220052.50022.55072.63022220062.86572.86572.95586120073.28153.18073.28150120083.49573.49573.60714120093.71463.81073.9327820104.19234.12574.25842再将本文预测结果与传统方法进行对比分析，按照预测效果评价原则和惯例，采用以下评价指标作为参考1） 平均绝对误差MAE=1ni=1nyi-Yi2） 均方根误差RMSE=1ni=1nYi-yi23） 平均绝对百分比误差MAPE=1ni=1nYi-yiyi4） 均方根相对误差MSRE=1ni=1nYi-yiyi2其中：yi为真实值；Y为预测值。误差分析结果如表3所示。表三：两种方法误差指标比较指标本文方法预测传统回归模型预测MAE0.05950.093948RMSE0.0812440.113058MAPE0.027030.037548MSRE0.0445550.047435从表3数据看出，采用本文方法进行预测的得到的结果的四个预测指标相对于传统最小二乘法都有相应的减小，说明预测精度在一定程度上得到提高。所以在进行负荷预测的过程中，当中长期负荷存在奇异点时，基于最小一乘法估计回归模型的参数可以使模型的预测精度相对于传统方法得到显著改善，同时使其稳健性得到提高。6 结论最小二乘法具有良好的解析性，易于求解，使得该方法在回归模型预测技术中成为普遍采用的参数估计方法。但是它容易陷入局部最小以及稳健性较差的缺陷，使得在处理存在奇异点的预测问题时，不能很好地拟合。对于实际负荷预测而言，经常面临奇异点，而这些奇异点通常代表着很多不同方面的信息。本文提出基于最小一乘法估计回归模型的参数，理论上可以克服最小二乘法估计回归模型参数的缺陷。利用计算机编程处理使得基于最小一乘法估计回归模型的参数在应用中成为可能。对实例进行预测，在负荷有突变的情况下，本文方法的预测精度将高于传统模型的推算结果，这进一步