基于多元线性回归的多参数预测模型

基于多元线性回归的多参数预测模型

1多元线性回归模型多元线性回归是多元统计分析的重要方法，在社会、经济、技术和科学领域的研究中得到了广泛应用。在这项工作中，我们应该讨论的问题是，如何建立一种基于时间顺序收集的采样数据，以及分析评估指标的动态变化规律，例如估计标准偏差以及调整后的复合测量系数。设因变量为y,自变量集合为x1,x2,…,xp,样本容量为n.记n×(p+1)维的矩阵X=(1,x1,x2,…,xp),该矩阵的第一列中的元素均等于1,以及增广矩阵为Z=(X,y).根据多元线性回归方法,回归系数以及各种模型评估参数的计算都取决于增广矩阵Z=(X,y)的叉积阵:V=(X′XX′yy′Xy′y)由此可见,建立多元线性回归预测模型的关键技术是,如何对叉积阵进行预测建模.叉积阵V是一个对称矩阵.根据代数学理论,通过谱分解,总可以将其分解成特定的特征值对角矩阵和特征向量矩阵.从几何的观点来看,如果将矩阵Z=(X,y)描述的数据看成是(p+2)维空间中n个样本点的集合,则它们形成一个超椭球.并且其叉积阵V的特征向量矩阵依次指出该椭球最长的主轴、次长的主轴,……,最短的主轴.而特征值则从大到小排序,表示该超椭球在每一个主轴上的轴长范围.由此可见,对叉积阵V的预测可以分解成两个部分,一是超椭球的主轴会随着时间发生旋转运动;同时,该椭球的各个轴长也会随时间呈现拉伸或缩短的变化规律.关于高维空间群点主轴旋转的预测建模技术已经有了一些适用的方法.王惠文和刘强曾在分析多元数据的主轴旋转规律的文章中,给出一种标准正交的特征向量矩阵的预测建模方法.而对于特征值的预测,由于不存在特殊的约束,因此只需要应用经典的预测模型分别预测即可.在本文中,将把多元线性回归与高维空间群点主轴旋转预测建模方法有机的结合起来,最终实现对多元线性回归的预测建模研究.2[0sin0sin0.pp[jx]0.cojj]0.coj[0.cojx[3]高维群点主轴旋转的预测方法是多元线性回归预测建模的关键技术.实际上,它又可以简单地看成是对标准正交矩阵的预测方法,即根据已知1～T时刻的标准正交矩阵,预测T+l时刻的标准正交矩阵.设t时刻的标准正交矩阵为Gt=(ut1ut2⋯utp)∈Rp×pRp×p表示p×p维实空间.按照Givens变换,它可以通过以下12p×(p-1)步转动独立唯一地分解为Gt=(Gt12Gt13⋯Gt1p)(Gt23Gt24⋯Gt2p)⋯(Gtp-1,p)(1)其中Gtij=Gtij(ϕtij)=ij(Ι0⋯0⋯000cosϕtij⋯0⋯-sinϕtij0⋮⋮⋮⋮⋮⋮⋮00⋯Ι⋯00⋮⋮⋮⋮⋮⋮⋮0sinϕtij⋯0⋯cosϕtij000⋯0⋯0Ι)p×p[JX*4]ij(2)其中,矩阵上侧和右侧的i,j分别表示第i,j行和列;-π2≤ϕtij≤π2(1≤i<j≤p),并且所有的ϕtij(1≤i<j≤p)自由取值.这样,对于一个p维正交矩阵Gt的预测就归结为对矩阵相应转角ϕtij(1≤i<j≤p)的预测.下面给出正交矩阵预测建模的主要步骤.1)记Gt1=Gt=(ut1ut2⋯utp)def(v1t1v1t2⋯v1tp)其中,v1t1=(v1t11,v1t12,…,v1t1p)′是矩阵Gt1的第1列.根据文献的推导,可以求出ϕt1p=arcsinv1t1pϕt1k=arcsin{v1t1kcosϕt1p⋯cosϕt1,k+1}k=2,3,⋯,p-1(3)2)根据式(2),由ϕt1j可以计算出Gt1j=Gt1j(ϕt1j)(j=2,3,…,p).于是,记Gt2=(Gt1p)′⋯(Gt12)′Gt1=(v2t1v2t2⋯v2tp)其中,v2t2=(v2t21,v2t22,…,v2t2p)′是矩阵Gt2的第2列.可以求出ϕt2p=arcsinv2t2pϕt2k=arcsin{v2t2kcosϕt2p⋯cosϕt2,k+1}k=3,4,⋯,p-1(4)依次类推,最后定义Gtp-1=(Gtp-2,p)′(Gtp-2,p-1)′Gtp-2=(v(p-1)t1v(p-1)t2⋯v(p-1)tp)则最终有ϕtp-1,p=arcsinv(p-1)tp-1,p(5)3)根据前两步计算得到的转角数据{ϕtij,t=1,2,⋯,Τ},分别建立12p(p-1)个预测模型,例如ϕtij=fij(t)+εtij1≤i<j≤p(6)并预测第T+l时刻的转角ˆϕΤ+lij=fij(Τ+l)l=1,2,⋯(7)4)根据角度的预测值,并利用式(1)和式(2),可以求得第T+l时刻预测的正交矩阵ˆGΤ+l=(uΤ+l1uΤ+l2⋯uΤ+lp).3多元线性回归模型为了讨论多元线性回归的预测建模方法,本节首先简要介绍经典多元线性回归方法.设样本点容量为n,t时刻的因变量为yt,p个自变量为xtj(j=1,2,…,p),则总体线性回归模型的形式为yti=β0+βt1xti1+⋯+βtpxtip+εtii=1,2,⋯,n(8)记yt=(yt1yt2⋮ytn)n×1βt=(βt0βt1⋮βtp)(p+1)×1Xt=(1xt11xt12⋯xt1p1xt21xt22⋯xt2p⋮⋮⋮⋮⋮1xtn1xtn2⋯xtnp)n×(p+1)则增广矩阵(Xt,yt)的叉积阵Vt为Vt=((Xt)′Xt(Xt)′yt(yt)′Xt(yt)′yt)=(Vt11Vt12Vt21Vt22)(9)回归系数βt的最小二乘估计量为ˆβt=(Vt11)-1Vt12(10)还可以证明,t时刻的SSSE和SSST值分别如式(11)和式(12)所示.StSSE=Vt22-Vt21(Vt11)-1Vt12(11)StSSΤ=Vt22-1n(Vt12,1)2(12)其中Vt12‚1是Vt12的第一个分量.根据式(11)和式(12),t时刻的拟合优度(调整的复测定系数)为ˉR2t=1-StSSE/(n-p-1)StSSΤ/(n-1)(13)同时,有t时刻的估计标准误差为Ste=√1n-p-1StSSE(14)根据前面介绍的关键技术,下面给出多元线性回归的预测建模方法.1)计算t(t=1,2,…,T)时刻增广矩阵(Xtyt)的叉积阵Vt;2)计算Vt的特征值λt1≥λt2≥…≥λtp+2≥0和对应的标准正交特征向量ut1,ut2,…,utp+2(t=1,2,…,T);3)根据1～T时刻叉积阵Vt的特征向量阵,采用正交矩阵预测方法,预测T+l时刻的特征向量矩阵(uΤ+l1uΤ+l2…uΤ+lp+2);4)根据1～T时刻叉积阵Vt的特征值,应用时序分析方法,分别预测T+l时刻的特征值(λΤ+l1,λΤ+l2,…,λΤ+lp+2);5)根据上两步的计算结果,计算出T+l时刻的叉积阵VT+l为VΤ+l=(uΤ+l1uΤ+l2⋯uΤ+lp+2)⋅(λΤ+l10000λΤ+l2⋯0⋮⋮⋮⋮00⋯λΤ+lp+2)⋅(uΤ+l1uΤ+l2⋯uΤ+lp+2)′6)根据式(10),可得到T+l时刻的回归参数的估计量ˆβΤ+l;7)根据式(11)～式(14),可计算T+l时刻的回归模型的拟合优度ˉR2Τ+l和估计标准误差SΤ+le.4多元回归模型拟合在本仿真案例中,取自变量维数为3,每个时刻的样本数为n=30,按照如下方式生成t=1～10个时刻的历史数据表:首先,生成[-1,1]上均匀分布的独立随机数[x01x02x03]30×3;然后,根据[x01x02x03]30×3生成[xt1xt2xt3](t=1,…,10),其中{xt1=x01+0.02txt2=x02+0.01txt3=x03+0.03t最后,按照yt=-1+0.2t·xt1+0.1t·xt2-0.3t·xt3+εt,生成因变量yt.其中,εt～N(0,0.01)为随机误差项.需要说明的是,由于本文所研究的是多元回归的动态建模预测问题,因此,需要考虑变量以及模型(回归系数)随时间t的变化特征;为此,在构造自变量和因变量的仿真数据时,采用了上述方式生成具有时序变化规律(这里以线性趋势为例)的历史数据表.下面将采用t=1～10时刻的仿真数据,按照第3部分的方法进行多元回归预测建模,对历史的自变量与因变量的回归关系进行拟合,并根据拟合模型预测t=11时刻的多元回归模型,评价模型的拟合、预测精度,验证模型的拟合、预测结果的合理可靠性.具体建模步骤如下:1)计算t=1～10时刻样本数据的叉积阵Vt,及其对应的特征值(λt1λt2…λt5)和标准正交特征向量矩阵(ut1ut2…ut5);并采用正交矩阵转角分解方法,得到(ut1ut2…ut5)对应的转角ϕtij(1≤i<j≤5).2)根据t=1～10时刻λjt(1≤i<j≤5)的计算值,建立每个特征值的时序拟合模型.并根据这些模型计算t=11时刻的预测特征值.所得到特征值λjt(1≤i<j≤5)的拟合值和预测值如图1所示.在图1中,实心点表示根据已知数据计算得到的实际特征值,虚线表示采用预测模型得到的特征值的拟合值.3)根据t=1～10时刻转角ϕijt(1≤i<j≤5)的计算值,分别建立每个转角的时序拟合模型.并根据这些模型计算t=11时刻的预测的转角值.所得到转角ϕijt(1≤i<j≤5)的拟合值和预测值如图2所示.在图2中,实心点表示根据已知数据计算得到的实际特征值,虚线表示采用预测模型得到的特征值的拟合值.4)根据转角拟合模型,计算叉积阵的特征向量矩阵(u1tu2t…u5t)的拟合值.表1列出了t=10时刻叉积阵的特征值和特征向量的计算值、拟合值,以及t=11时刻的预测值.5)根据特征值和特征向量的拟合值,可以计算各时刻的叉积阵Vt的拟合值.表2为t=10时刻叉积阵的计算值和拟合值,以及t=11时刻的预测值.6)计算各时刻的调整的复测定系数和估计标准误差,见表3.从表3可以看出,t=1～10时刻,回归模型的拟合精度较高,调整的复测定系数(R¯2)始终高于0.8,且随时间呈明显上升趋势;而估计标准误差Se在0.1附近波动.预测t=11时刻模型的调整的复测定系数为0.999,回归标准误为0.023.从表3可以看出,动态多元线性回归模型的整体拟合效果较好,拟合优度较高,采用预测方法得到的R¯2和Se与实际值十分接近.因此可以判断,对t=11时刻的回归模型的评估指标R¯2,Se的预测也是可信的.7)计算各时刻多元回归预测模型的回归系数.表4为t=10时刻回归系数的计算值和拟合值,以及t=11时刻的预测值.更直观的,给出t=1～11时刻多元线性回归模型系数的时序图,如图3所示.其中,实心点表示实际计算值,虚线为拟合值,空心点为预测值.综上所述,从上述计算过程中,从所得到的相应参数的实际值和拟合值可以看出,本文所建立的多元线性回归分析的时序动态模型的拟合效果较好,预测结果合理可靠.5仿真实验和理论探讨本文讨论了如何利用历史的样本数据,建立多元线性回归的动态分析模型,并对回归系数进行预测.在该模型中,主要采用正交矩阵主轴旋转的预测建模方法,实现对叉积阵的预测建模.运用多元线性回归的预测模型,可以在无须对未来系统采样的情况下,推测未来的回归系数及模型精度.另一方面,从该模型中,还可以识别解释变量对因变量影响程度的动态规律以及变化趋势.通过仿真实验,验证了