半参数模型的k

半参数回归模型的k-d估计摘要：本文提出了半参数回归模型的k-d型估计，并在均方误差下与文献[1]中的Liu型估计进行比较，在一定条件下，前者优于后者。最后，用实例验证了该结论关键词：半参数回归模型；Liu型估计；k-d型估计；均方误差.中图分类号:O212.1Thek-destimatorinsemiparametricregressionmodelsZhuDandan，HuHongchang(SchoolofMathematicsandStatistics,HubeiNormalUniversity,Huangshi435002,Hubei,China)Abstract:Inthepaper,weproposedthek-destimatorinsemiparametricregressionmodels,andcompareditwithLiutypeestimatorin[1]underthemeansquareerror.Incertainconditions,theformerbesuperiortothelatter.Finally,anexamplewillbegiventoillustrateourresults.Keywords:Semiparametricregressionmodel,Liu-typeestimator,thek-destimator,meansquareerror.1引言考虑下面半参数回归模型TOC\o"1-5"\h\zy=x邛+f(t)+8,i=1,2, n, (1)其中y为观测值，XT=(x,x, ,x)为已知的p<n•维向量，t是额外的可以观察的单i i i1i2 ip i变量，例如可以是时间变量，O=(0],P2, ,Pp为未知的P维参数向量，f(J是未知的光滑函数，而随机误差8i是独立的服从N(0,b2)的随机变量.模型(1)也可写成下面向量形式y=XP+f+8 (2)其中y=(y,,y)T,Xt=(x,,x ), f=(f(t), ,f(t》，8=(8, ,8》.1 n 1 n 1 n 1 n由于模型(1).既含有参数分量又含有非参数分量，它比经典的线性或非参数回归模型更具有灵活性和适用性.随着对半参数回归模型研究的不断深入，研究工作者开始研究复杂的半参数回归模型.Green(1987)(参见文献[10])首先提出了一般的半参数回归模型，包括半参数广义线性模型、半参数非线性模型等.研究了参数分量与非参数分量的惩罚最大似然估计的迭代算法，定义了残差及偏残差等统计量，但在理论上没有得到深刻的结果.由于半参数回归模型是应用较为广泛的统计模型之一，因而自从Engle等人(参见文献[1])将半参数回归模型成功地应用于分析温度与电量需求关系以后，引起了广泛的重视，并取得了大量相当深入的研究结果(如文献[1]-[6]等).在很多实际问题中，常常会遇到多重共线性的问题，对于线性回归模型有很多方法解决多重共线性问题(参见文献[8]-[9])，而对于半参数回归模型，解决多重共线性问题的结果不多.那么，近年来EsraAkdenizDuran等人(参见文献[1])研究了半参数回归模型的Liu-型估计，并且在均方误差的条件下与最小二乘估计作了比较；其次，还描述了半参数回归模型中的几乎无偏的Liu-型估计，而且使其在均方误差阵的条件下和Liu-型估计作了比较，都得到了较理想的结果.SadullahSakallioglu等人(参见文献[7])介绍了在岭估计的基础上的一种新的有偏估计一一线性回归模型的k-d估计，并且使其在均方误差的条件下与最小二乘估计，岭估计和Liu-型估计等等作了比较，证明了其优越性.所以在此基础上对半参数回归模型的k-d估计作研究是有很重要的意义的.2半参数回归模型的k-d估计考虑线性回归模型y=XP+£,£〜N(0,b21)， (3)其中y是nX1观测向量，X是秩为P的nXp阶矩阵，P是p的维回归系数向量，£是nx1误差向量，且eG)=0,e(£就=6/〃。该模型的最小二乘估计为p=(xX)-1xy，而k-d估计为(见文献[7])p(k,d)=(xX+/力(xy+dp(k)). (4)其中p(k)=(XX+k/)-1XY，k>0，-s<d<s.下面介绍半参数回归模型的k-d估计，并给出定义.z—\首先假设P是已知的，定义f的估计为f(t,p)=S(y-Xp)，其中S为nxn阶的权函数矩阵.将它代入模型(2)得TOC\o"1-5"\h\zy=XP+e， (5)其中y=(/-S)y，X=(/-S)X，f=(/-S)f，£*=(/-S)e，e=f+e*.模型(5)看似线性回归模型，但是不同于模型(3)的，因为误差项£与f,t,p和S有关.由最小二乘估计和Liu型估计(4)容易得到模型(5)中p的最小二乘估计和Liu型估计分别为p=(xXAxy， (6)pb=(XX+/)】(Xy+dp)0<d<1. (7)d P于是参数f的最小二乘估计和Liu型估计分别为f(t,Pp)=S(y-XP「， (8)

(9)f(麟)=S(y-X/?)d d,(9)在半参数回归模型的Liu型估计以及线性回归模型的k-d估计启发下，我们可以引进一种新的估计一半参数回归模型的k-d估计.定义。在半参数回归模型(5)中3(E)=(XX+)(X攵+沥。))， (10)其中Z?。)满足Z?Q)=(XXX&,k>0,一oo<d<8,则称b(k,d)为半参数回归模型的k-d估计.洼.1若k=0,则半参数回归模型的k-d估计成为文献［1］中的Li「型估计，从而说明本文的结论推广了文献［1］的相应结论；2若上=。，d=1,贝时(奴d)=。；p3若d=l—k,则b(kG=b(k)；比较(9)和(10)大，容易定义半参数回归模型(5)中参数f的k-d估计为3k-d估计与Liu型估过的较 -本节在均方误差意义下，将k-d估计与文献［1］中的Liu型估计进行比较。由下文的定理知，前者在一定条件下优于后者。为了方便起见，首先给出&的均方误差阵MSEM(),其中&是P的任何估计，则MSEM(^)=E(ji-p)(ji-p)(11)=CovS)+Bias(11)而偏差为如s(B)=E(B)-显然，均方误差阵msemQ和均方误差mseQ之间有关系(12)MSE(&)=trMSEM($).(12)其中"0表示迹，即矩阵的主对角线上的元素之和.定理如果设计矩阵的秩为rank(X)=p 存在权矩阵S满足rank(%)=p,则1)若小>0丑①>0时，则当Jvd<1时，有MSE((X(k,d))<MSE(a(d))；i i 中2)若小<0且①<0时，则专0<』〈土时，有MSE(d(k,d))<MSE(d(d))；i z 中

3)若A<0且中>0时，则MSE(a(k,d))vMSE(d(d))恒成立;i i4)若A>0且中<0时，则MSE(d(k,d))>MSE(d(d))恒成立.ii其中A=(2X3+2kX2)(a2-a2)；中=k人2d2+2人a+k人b+22人b2.证明：将模型(5)改写成下列形式(13)Y=Za+w(13)其中Z=XQ，a=必。.Q为pxp的正交阵，满足QfQ=QQf=I，q1,q2q是对应的标准正交化特征向量.记Q=(q,qq)乂设X>X>人为XX的特征根.再记TOC\o"1-5"\h\z1 2p， 1 2 pA=diag(X1，X2,X)，于是有ZZ=QfXXQ=A. …由(11)-(12)式•(文献[7])得到下列结果：(14)y)g((1-d)X+k)d2 gX(X+(d+(14)M( )=「(X+1"(X+k) 2 (X+1)2(x+k)2'=1 i i i=1 i i令k=0，即得+(d-1)2i=1(X+1)2(+(d-1)2i=1(X+1)2(15)i=1(x+1》气利用(14)，(15)式，整理得：M(d(M(d(k,〉-Md()d=其中A.=(2X.3+2kX2)(X2-a2)，d*Xx+Xx+)]-k(A-di=1中=kX2d2+2X3d2+kXb2+2X2b2.(16)d>0,k>0；从而分析可得上述定理结论成立.为了限制k和d的值，下面通过极值方法找出k和d的一个关系，使得给定一个值，另一个值随之确定.令m(d(k,d))=g((1-d气+k>；；+b2gx上"+y=f*,d).(X+1)(X+k1 「(X+1)2(X+k)2;=1 i i 1=1i idf(k,d)通过令。=°'得到k，d的关系如下:X 2以2+2人ka2—2人2b2—2人kb2)iiiii i(17)注：其中k,d的关系是这样给定的:d=a 寸7 . (17)zL\2X2以2+2Xb2)i=14.应用Hald水泥问题数据取自Hald,A.的著作“statisticalTheorywithEngineeringApplications(1952)”七——3CaO-AlO^的含量(%)x2——3CaO-Si。?的含量(％)x——4CaO-AlO-FeO的含量(%)3 23 23x4——2CaO-SiO2的含量(％)y——每一克所释放出的热量Hald水泥问题数据序号xxxxy172664078.52129155274.331156820104.34113184787.6575263395.961155922109.27371176102.78131224472.59254182293.1102147426115.911140233483.8121166912113.3131068812109.4假定上表中的数据满足如下模型y=x|3+x|3+x|3+f+s11 22 33取k=0.03，由k，d的关系式(17)式确定的d=0.5514，S=(I+aK)-1K=GG，a=0.1且-11-11-1112x13通过上表中的数据可以得到模型宁=1.3662X+0.5692x-0.0113x-0.0782x+f(t)i=1,2,,13.i i1 i2 i3 i4 i，其中fG)见下图 …I非参数的估计。2的估计a2=12.6025，分别根据(14)和(15)式得M(oT(k,d))=14.1691，MG(d))=14.6098，此时显然有A=M(O(k,d))-M(0(d))=-0.4407<0，从而说明在均方误差意义下，半参数模型的k-d估计0(k,d)比文献［1］的Liu型估计0(d)要好.参考文献：EsraAkdenizDuran,FikriAkdeniz,HongchangHu.EfficiencyofaLiu-typeestimatorinsemiparametricregressionmodels[J].JournalofcomputationalandAppliedMathematics,2011,235:1418-1428.R.F.Engle,C.W.Granger,J.RiceandA.Weiss,SemiparametricestimatesoftheRelationbetweenweathearandelectricitysales,J.Amer.Statist.Assoc.81(1986)310-320HungChen.convergenceratesforparametriccomponentsinapartlylinearmodel.TheAnnalsofStatistics,1998,16(1):136-146HongchangHu.ridgeestimationofasemiparametricregressionmodel.JournalofComputationalandAppliedMathematics,2005,176:215-222D.Zeng,D.Y.Lin.Maximumlikelihoodestimationinsemiparametricregressionmodelswithcensoreddata.JournalofRoyalStatisticalSocietyB,2007,69:507-564Xingweitong,HengjianCui,PengYu.Consistencyandnormalityo