非参数回归模型与半参数回归模型Word版

传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！第七章非参数回归模型与半参数回归模型第一节非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。另一类回归，非参数回归，则与参数回归正好相反。它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。设Y是一维观测随机向量，X是m维随机自变量。在第四章我们曾引进过条件期望作回归函数，即称g(X)=E(Y|X)(7.1.1)为Y对X的回归函数。我们证明了这样的回归函数可使误差平方和最小，即E[Y-E(YIX)]2=minE[Y-L(X)]2(7.1.2)L这里L是关于X的一切函数类。当然，如果限定L是线性函数类，那么g(X)就是线性回归函数了。细心的读者会在这里立即提出一个问题。既然对拟合函数类L(X)没有任何限制，那么可以使误差平方和等于0。实际上，你只要作一条折线(曲面)通过所有观测点(Y，X,)就可以了是的，对拟合函数类不作任何限制是完全没有意义的。正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。所以我们知道，参数回归与非参数回归的区分是相对的。用一个多项式去拟合(Y.，X,)，属于参数回归；用多个低次多项式去分段拟合(Y.,X.),叫样条回归，属于非参数回归。二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y.的线性组合的某种权函数。也就是说，回归函数g(X)的估计gn(X)总可以表为下述形式：'g(X)二工W(X)Y(7.1.3)niii=1其中(W.(X)｝称为权函数。这个表达式表明,gn(X)总是Y•的线性组合，一个Y.对应个W•。不过w•与X.倒没有对应关系，w.如何生成，也许不仅与X有关，而且可能与全体的｛X」或部分的｛X.｝有关，要视具体函数而定，所以w(x)写得更仔细一点应该是W.(X；X],…,X”)。这个权函数形式实际也包括了线性回归。如果Y=Xrp+8，则X'0=X'(XX)-1XY，也iiiii是y的线性组合。在一般实际问题中，权函数都满足下述条件：W(X;X,…,X)>0,工W(X;X,…,X)=1(7.1.4)i1ni1ni=1如果考虑在第五章介绍的配方回归与评估模型曾有类似条件，不妨称之为配方条件，并称满足配方条件的权函数为概率权。下面我们结合具体回归函数看权函数的具体形式。1．核函数法选定Rm空间上的核函数K，一般取概率密度。如果取正交多项式则可能不满足配方条件。然后令W(X;X,…，W(X;X,…，X)=i1nX-X'Ja/ni=1X-X'fa/n7.1.5)显然工W=1。此时回归函数就是ii=1K-Y=g(K-Y=g(X)=Hw(X)Y=工一'.Hkii=1i=1j=1X-X'fa/nrx-x)

J丿7.1.6)2．最近邻函数法首先引进一个距离函数，用来衡量Rm空间中两点U=(幻，…，Um)和V=(V]，…，卩科)的u-vHo可以选欧氏距离IIu-u||2=H(u-u)2，也可以选IIu-u11=maxIIu-uII。1<i<1<i<n为了反映各分量的重要程度，可以引进权因子q，…,c”，使｛C.｝也满足配方条件。然后将距离函数改进为传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！nsnsnsns7.1.7)IIu—UII2=乙C(u—U)27.1.7)iiii=1Iu—Iu—UII2=maxCIu—UI7.1.8)1<i<n7.1.9)现在设有了样本(Y，X),i=1,…,n，并指定空间中之任一点X,我们来估计回归函数在该点的值g(X)。将X],…，X“按在所选距离H•"意义下与X7.1.9)IIX—X11<11X—X11<…划X—XIIk1k2kn这表示点Xk]与X距离最近，就赋以权函数"与X距离次近的Xk2就赋予权函数k2。•…等等。这里的n个权函数k],…也也满足配方条件，并且按从大到小排序，即7.1.10)k>k>…>k>0,工k=17.1.10)12nii=1就是W(X;X，…,X)=k,i=1,…,n(7.1.11)k1nii若在｛HXj-Xll,i=1,…,n｝中有相等的，可将这n个相等的应该赋有的权取平均。比如若前两名相等，|区次||=IIX2-XH,就令W,=W2=：(k+k)。1212212这样最近邻回归函数就是Y=g(X)=》W(X;X,…,X)Y=XkY=》k(X)Y(7.1.12)i1niiiiii=1i=1i=1ki尽管是n个常数，事先已选好，但到底排列次序如何与X有关，故可记为kz.(X)o三、权函数估计的矩相合性首先解释矩相合性的概念。如果对样本(Y，Xz.)，i=1,…,n构造了权函数W.=W.(X)=WI(X;X.,-,X)，有了回归函数g(X)的权函数估计g(X)=工WY，当Y的r阶矩存在I1nniii=1(ElYIrv^)时，若limEIg(X)—g(X)Ir=0(7.1.13)n传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！传播优秀Word版文档，希望对您有帮助，可双击去除！则称这样的权函数为矩相合的权函数。在什么样的条件下构造的权函数是矩相合的呢？Stone(1977)提出了很一般的，几乎是充分必要的条件。下面我们考虑其充分性条件，并限于考虑概率权。定理7・1・1设概率权｛W.I满足下述条件：存在有限常数C,使对Rm上任何非负可测函数(连续函数与分段连续函数是最常见的可测函数f,必有E®Wf(X)KCEf(X)(7.1.14)I匸1..丿Ve>0,当n-g时，7.1.15)£WI-^^07.1.15)i(IIX.-X11>£)i=1⑶当n-g时,maxW——0(7.1.16)1<i<n.则｛W.｝是矩相合的权函数。定理条件可以作一些直观解释。条件(1)可以作如下理解，因为权函数是概率权，必有叫<1,i=1,…,n。于是Wf(X)iiWf(X)ii)i7.1.17)这里取的是C=1。因此条件(1)可以说不叫做一个条件。条件(2)是说，与X的距离超过一定值的那些X.,对应算出来的权函数之和很小，也就是说，权函数的值主要取决于那些与X邻近的X.的值。这个条件合理。条件(3)是说，当n越来越大时，各个权系数将越来越小，这也是合理的要求。在证明本定理之前，先证两个引理。引理7.1・1设概率权函数｛W.｝适合定理7.1.1的条件(1)及(2),又对某个r,E|fX)|yg,则AlimE乙W(X)|f(X)-f(X)|r=0(7.1.18)nTw11丿i=1证明先设f在Rm上有界且一致连续,则任给n>0,存在E>0,当Hu-v||<E时，和)f(v)|W(n/2)1/r。于是

工W(X)f(X)-f(X)1r<1+(2M)r工W(X)I(7.1.19)工W(X)f(X)-f(X)1r<1+(2M)r工W(X)I(7.1.19)ii2i(IIXj-X)>£i=1i=1其中M=supf(X)，此处X表示具体取值。由条件(2),上式右边第二项依概率收敛于0且X不大于1。依控制收敛定理有limEns工W(X)I.i(IIX.-X)>8)i=1i7.1.20)故存在n0，使当n三n0时，有(X)Ii(IIX.-X)>s.i=1i7.1.21)因此当n三n0时，有Ii=11于是对这种一致连续的f,引理得证。》W(X)If(X)-f(X)Ir]"丿7.1.22)证毕〜〜。对一般的函数f,取一个在Rm上连续，且在一有界域之外为0的函数f,使Ef(X)<g，且Ef(X)—f(X)"<耳，这里n是事先指定的。因为eQw(X)|f(X)—f(X)rIi=1ii丿<3r—1iI、i=1+E(X)If(X)—f(X)Ir+Eii=1》W(X)If(X)—f(X)Ir

z丿](7.1.23)Xw(X)If(X)—f(X)Ir]|

i=1i丿J右边括号里第三项等于Ef(X)—f(X)|r<1；第一项根据条件(1)不超过CEf(X)-f(X)r<C；因为7在Rm上有界且一致连续，由前面已证结果知当n—8时，第二项将趋于0。因此传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！h(X)h(X)=E(Z2|X)7.1.30)h(X)h(X)=E(Z2|X)7.1.30)limEf》W(X)丨f(X)—f(X)IrK3r-1(C+1打(7.1.24)nTwV11丿i=1n是任意的，故引理得证。证毕引理7・1・2设｛W.I为满足定理7.1.1三个条件的概率权，函数f非负且Ef(X)<s,limE工nsVi=limE工nsVi=1W2(X)f(X)ii=07.1.25)证明定义一组新的概率权函数W=Wi2，由于0訥勺，故0W叫勺。于是由引理7.1.1，有limE工宀limE工宀Vi=1W2(X)If(X)-f(X)I=0ii7.1.26)n因为0W工W2W1,由条件(3)知ii=1工W2i工W2ii=1<(maxW)工W=maxW1-i-n1i=11<i<ni7.1.27)limE工limE工W2(X)f(X)=0宀Vi=11丿7.1.28)证毕故由控制收敛定理有综合两个极限式可知本引理成立。下面我们证明定理7.1.1。先设r=2,则E(Y2)<b。令Z=Y-E(Y|X),Z=Y-E(Y|X),f(X)=E(Y|X)(7.1.29)iiii由E(Y2)<b知E(Z2)<b，故传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！7.1.357.1.35)7.1.357.1.35)7.1.31)7.1.31)E(ZIX)=E(ZIX)=0,E(f2(X))<0,E(h(X))<E(Z2)<gii还须注意：f(X.)=E(Y.IX.)(而非E(FIX.))。因此按定义f(X)=E(YIX=x)I

.x=x.而因为(X,Y)与(X.,Y.)同分布，有E(YIX=x)=E(Y.IX^x)。|X)if(X)=E(YIX=x)I=|X)i...x=x..现有ii=1因EIf(X)l2ii=1因EIf(X)l2<g，依引理7.1.1,有(X)f(X)-f(X)[+Ew(X)Z丿XW(X)Ziii=17.1.31)limEns工W(X)f(X)-f(X)i=1ii丿7.1.32)又若将X固定为x,则有2=E\\XW(x)Z]|X,limE|XW(x)Zn*l11丿z=1注意到当X固定为x而X],…，Xn也给定时，W.(x)成为常数，而Z],…，Zn在给定X],…,Xn时，条件相互独立，再注意到E(Z.IXz.)=0，由上式有EfXW(x)Zli=1ii丿因此式对一切x都成立，有i=1ii丿7.1.33)2=EfXW2(x)E(Z2IX)]=Eii=1工W2(x)h(X)i=1ii丿7.1.34)=EfXW2(X)h(X)l.=1..7.1.34)考虑到E(h(X))<8,h±0,由引理6.4及上式，知limEnTg》w(X)Z]=0

.=1limEnTg传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！<<8/3(7.1.40)<<8/3(7.1.40)合并考虑(7.1.31),(7.1.32)和上式，得limEIg(X)-g(X)I2=0。这证明了定理当r=2nns的情况。现在设r±1,EIYIr<8。定义截断函数Y(K):'-K当Y<-KY(k)=\y当IYI<K(7.1.36)K当IYI>K类似地定义Y(K)(只须把上式中的Y都改为£)。因W.三0,£W=1,r>1,i=1<》W(x)IY-Y(K)Ir<》W(x)IY-Y(K)Iriiii=1(7.1.37)TOC\o"1-5"\h\ziiii=1丿记h(x)二E(IY-Y(K)IrIX二x)，则(7.1.38)(7.1.38)limEh(X)=limEIY-Y(k)Ir=0KsKKs且E(IY且E(IY-Y(m)IiiX)=hM(Xi)。由此得W(x)IY-YW(x)IY-Y(K)Iiiii=1丿r二EE工W(x)IY-Y(K)Iiiii=1丿工W(工W(x)IY-Y(k)Ir|X，…,Xiii1ni=1因为此式对一切x成立，有<EE工W(x)h(X)Ii=1'工W(x)IY-Y工W(x)IY-Y(K)Iiiii=1丿W(x)h(X)<CE(h(X))iki丿i=1丿上式最后一不等式是根据定理的条件(1)。由(7.1.38)及上式，知当K充分大时,成立(7.1.39)对n一致地r工W(x)IY-Y(k)Iri=1iii=1传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！又当K-g时有EIE(YIX)-E(Y(k)|X)1r二EIE(Y-Y(k)|X)1r<EIY-Y(k)|rt0(7.1.41)现有EIg(X)-g(X)1=EIE(YIX)-》W(X)IYIrniii=17.1.42)7.1.43)7.1.44)<3r-1{EIE(YIX)-E(Y(K)IX)Ir+E(Xw(X)IY-Y(k)「7.1.42)7.1.43)7.1.44)Iiiii=1+EIE(Y(k)IX)-Xw(X)Y(k)Iriii=1因为Y(k)有界，其二阶矩有限，故由已证的r=2的情况，知limEIE(Y(K)IX)-Xnw(X)Y(K)I2=0iinT8.-i=1由于IY(k)IWK,而W.为概率权，故由上式推出对任何r±1有limEIE(Y(K)IX)-Xnw(X)Y(K)Ir=0iinT8.-i=1任给£>0，先找K0,使当K三K0时，对一切n成立(7.1.40)。又依(7.1.41)，找(，使当K三©时有EIE(YIX)-E(Y(K)IX)Ir<£/3。固定K=max(K°,KJ。根据上式，存在n°,使当n三n0时EIE(Y(k)IX)-XW(X)Y(k)Ir<e/3(7.1.45)iii=1这时由(7.1.42)推出：当n三n0时有EIg(X)一g(X)Ir<3r-1£(7.1.46)n这就证明了权函数的矩相合性。证毕关于权函数估计的收敛性质还有更多更深入的讨论，如逐点矩相合性，强相合性等，有

兴趣的读者可参看有关专着。这里引述Stone的成果，一是因为它是基本的，可以作为入门的

引子；二是因为它是一般的，概括了核估计、最近邻估计、样条估计、小波估计等具体形式。算例7.1.3一元非参数回归本算例利用核估计给出一元非参数回归。计算过程如下。

一般非参数回归模型计算程序,例7.1.4模型及数据结构说明:本项程序计算一般非参数回归模型:Y(i)=g(t(i))+8(i)i=1,2,...,n,0<=t<=1其中函数g未知待估.资料准备要点：因变量Y在数据第一列，自变量t是1维,例713.D数据文件中,n=50要打印原始资料吗?0=不打印,1=打印(1)打印Y的原始资料1.1881001.8334001.0815002.8680000.6165001.0670001.1852000.8365001.8053001.0848000.4120001.3159001.3626001.3032001.7317000.6220000.4305000.9976001.2857001.6209001.3292001.6057001.6876001.3768001.2510001.1456000.7433000.7286000.865800-0.1718000.9238000.8724001.9899000.0095000.3079000.1726000.2823000.2255001.1262001.3651001.7124000.8644000.8826001.0887001.6519001.5231000.9663001.9857001.8888000.904900打印X的原始资料0.5381000.0178000.6151000.0270000.5612000.1140000.3434000.8775000.1032000.2211000.9627000.1689000.4536000.5520000.0486000.2632000.1583000.9485000.6167000.1923000.5759000.2183000.0090000.1515000.8343000.6511000.4192000.2293000.4598000.9969000.2201000.7545000.0695000.4201000.3508000.9754000.2535000.4825000.0969000.7902000.1240000.8471000.7857000.5806000.5599000.6383000.0787000.0842000.6237000.149800请决定非参数回归的方法:(0)0=固定自变量窗宽的核函数法.这需要事先将自变量变换为0<=t<=1.1=固定自变量资料点数的平滑法.这需要自变量资料等距并顺序排列.请键入核函数的窗宽选择h(l/N〈=h〈=l,不妨就取h=0.1-0.2):(0.1)要打印拟合数据吗?0=不打印,1=打印(0)计算结束。圖——原始数据T-拟合数据第二节密度核估计与回归函数核估计我们在上一节已指出，非参数回归可以归结为权函数方法，权函数具体有四种主要形式：核函数，最近邻函数，样条函数，小波函数。在具体计算方面，一般来说，核函数方法多用于密度估计或者需要密度估计的随机样本回归，样条与小波函数多用于作信噪分离解释的回归（当然也有用于密度估计的）。这一节我们主要介绍密度的核估计，虽然它本身不属于非参数回归内容，但在随机样本回归方法里要经常用到它。最后介绍二元非参数回归函数核估计问题。本节第二、三、四段都是本书作者近期发表的研究成果。一、密度核估计概念与收敛性设X],…，Xn是从具有未知密度函数fx）的总体中抽出的i.i.d.样本，要依据这些样本对每一x去估计fx）的值。当然这样fx）的估计也有参数估计与非参数估计的问题。但是习惯上，人们说密度估计时，都是指不知道密度函数的具体形式，因而都是指非参数估计问题。密度估计最基本的方法是直方图估计。这在初等概率教科书中都有介绍，这里就不说了。但是，它的基本思想却与核估计是相通的。下面我们从直方图估计导出密度核估计。作直方图时，先用点bX把直线分成若干小的计数区间，当然k。这样，计数区间的端/i=1n点与宽度都是固定的。记N为样本点X],…，Xn落在第i个计数区间】aifai+1）里的个数，则密度函数几%）在[a?ai+]）里的函数估计值就取为Nf（x）=』,a<x<a,i=1,,k（7.2.1）nn（a-a）ii+1i+1i

这样的直方图估计当然是阶梯函数，于是人们想法改进它（最有趣的是有人用计算数学里的磨光函数去把直方图顶部磨光滑）。不难想象，这种估计对计数区间p,ai+1）中心部分比较精确,而对计数区间端点处精度稍差。有人提出，对每个x,各作一个以x为中点的小计数区间［x-h,x+h）,再对落在该计数区间的样本点计数，设为N（x,h）,则密度估计为N(x,h)n2N(x,h)n2nh7.2.2)这个想法与直方图不同在于它的计数区间端点划分不是固定的，而是随x而变，可以自始至终保持x点在计数区间中间。不过此时计数区间宽度h—般是固定的。如果引进函数n7.2.3)其他则上述变端点计数区间的密度估计可写为f(x)f(x)=YKnnh7.2.4)后来Parzen（1962）提出，可以将这种矩形核函数形式放宽限制，只须积分为1（最好还为恒正）即可。这就导出了密度的核估计。我们也可以从经验分布函数导出密度核估计。经验分布函数F*F*(x)=(X,,X中小于x的个数)7.2.5)也是一种计数，不过从-R—直计到x为止。我们可以利用它表示一个以x为中心窗宽为2h计数区间里的样本点数，于是密度估计为可以看到，本书作者在第六章第五节第二段里提出的密度的求导插值估计，本质上与这里也是相通的。对核函数形式放宽了，那么有哪些条件是不能放宽而必须坚持的呢?一般来说，要求核函数满足条件K(x)>oj+sK(x)dx=1-s7.2.7)supK(x)<+s,J+sK2(x)dx<+s7.2.7)limK(x)-x=0对于一般概率密度函数，这些条件是能满足的，所以可以选一个概率密度函数作核函数。不过，最好还是选一个有限窗宽的函数。对窗宽h的要求，显然样本数越多，窗宽应越小，但不能太小，即h是n的函数，且7.2.8)limh(n)=0,limnh(n)=nts7.2.8)在上述要求的核函数及窗宽条件下，密度f（x）的核估计fn（x）是fx）的渐近无偏估计与相合估计。这是因为.9).9)传播优秀Word版文档，希望对您有帮助，可双击去除！'x-X”h(n))\'x—八h(n)丿(丄1<h(n)丿=J+MK(Z)f(x-h(n)Z)dZ*y-gEf(x)=丄e]kh(n)[=丄卜k

h(n)_8=丄卜k

h(n)_8f(t)dtf(x-y)dy(x-1=y)=Zh(n)丿对于给定的&>0,由条件(7.2.7),存在充分大的T0,使—JK(Z)dZ<—MIZl>7047.2.10)这里M=supf(x)，并且xlimJT0K(Z)f(x-hZ)dZ=f(x)JT0K(Z)dZ»-T0-T07.2.11)于是If(x)-(x)IJToK(Z)f(x-h(n)Z)dZ-JToK(Z)f(x)dZ-To-T0JT0K(Z)f(x-h(n)Z)dZ-f(x)JToK(Z)dZ-To-T0T—(当nT+x)2+2JK(Z)dZ-MIZI>T0—+—27.2.12)由&的任意性，可知limEf(x)=f(x)。n

nTs再利用X］，…,X的独立性，有1n

这就说明九(x)是f(x)的渐近无偏估计。Var(f(x))=--1nnh2(n)EK2EK7.2.13)类似于渐近无偏性的证法可得lim—EnT8h(n)K2=f(x)J+gK2(x)dx-g传播优秀Word版文档，希望对您有帮助，可双击去除！(7.2.14)于是limE(f(x)—f(x))2=limVar(f(x))+lim(Ef—f(x))2=0(7.2.15)nnnnTWnTWnTW这就说明对一切x,f(x)均方收敛于fx),因此/(X)P>/(x)(nTW)，这就证明密度核nn估计的相合性。二、使用正交多项式核的密度及其偏导数核估计的收敛速度上一段研究的密度核估计的收敛性，针对的是使用概率密度核函数K,它非负，积分为1,4从而可以肯定保证密度核估计函数f；(x)非负且积分为1。只是它的收敛速度不会超过O(n-5)。为了提高收敛速度，统计工作者使用正交多项式作理论上的研究，取得不少成果。这里介绍的是本书作者的研究成果，近期发表在国际数学杂志“CommunicationsinStatistics”上。它是直接研究多元密度，并连带一般偏导数的核估计给出收敛速度。记多元密度f(t)的s阶混合偏导数为dsf(t)f(s)(t)=f(s)(s，…，s;t)=(7.2.16)1pOts…dts11pp这里t=(t,…,t)',s+…+s=s,s=0,1,2,…。1p1p使用多元核函数作出f(s)(t)的估计如下：//\1~(t(j)—tf(s)(t)=为K(7.2.17)nnap+ss(a.其中annj=其中an,r+2是构造核函数的正交多项式空间维数，可以任意取定。2r+pK(u)不仅决定于s,而且决定于s「…,s,且满足：s1p~|K(u)|<C当ug(0,u)pAD<〜s0—0(7.2.18)K(u)=0当ugDs0其中u0是一正常数，u=(竹,…,up)'。我们以C表示某一合适常数，各个C可不相同。传播优秀Word传播优秀Word版文档，希望对您有帮助，可双击去除！7.2.19)传播优秀Word传播优秀Word版文档，希望对您有帮助，可双击去除！7.2.19)K(u)还满足：sIf〜[1当i=s,…,i=sJui—uiK(u)du=<*,1pps!•••s!D01pps|0否则，但0<i，…,i<r一11p1p这种多元核函数可以如下构造：K(u)=K(u)K(u)•••K(u)2sps11s27.2.20)其中Ki(u),i=i,…,p是普通一元核函数,IK(u)l<C<si°K(u)=0sii满足：当ue(0,u)i0否则7.2.21)当l=si当l丰s但0<l<r-1i1f11JuouiK(u)du=<s!0isiiiI0i这种核函数具体构造及改进我们放到下一段再统一研究。7.2.22)F面研究f(s)(t)的收敛性。我们假定偏导函数f(r)(t)局部有界，即存在与对t的各分量n求偏导次数r「…,r无关的f(r)(t),£>0,口+…+厂=r,使当teX，且t^X.且t+^eX.时,1ps1pttSUpIf(r)(t+g)|<f(r)(t)0<llgII<8这里Xt是t的样本空间。同理定义f(t)局部有界。En(•)表示对n个样本求数学期望。定理7.2.1设f(r)(t),f(t)局部有界，则7.2.23)(、r—sEf(s)(t)-f(s)(t)=On—nn(2r+p丿27.2.24)Ef(s)(t)-f(s)(t)n=ofn-g]I2r+P丿f(r)(t)1+f(0)(t)ss7.2.25)传播优秀Word传播优秀Word版文档，希望对您有帮助，可双击去除！7.2.26)传播优秀Word传播优秀Word版文档，希望对您有帮助，可双击去除！7.2.26)证明由t(l),・.・t(n)y-t的i.i.d•，令u=，注意dy=apdu，有annf(y)dy=-1an再由多元Taylor展式、多项展式及核函数正交条件得Ef(s)(t)=f(s)(t)+ar-sJ_K(uJ丫nnEf(s)(t)=丄nnap+sn〔a丿nD0这里0<11pll<a、帀，由f(r)(t)局部有界,Varf(s)t}<——1Jnnap+2sD0nK(u)f(t+au)duDsn0iH—i=r1pui・・・uii1pP-f(r)(t+p)dui!・i!1p7.2.27)核函数有界，积分域有界，可得(7.2.24)。又(u)Jf(t+au)du<On2r+Pf(o)(t)丿7.2.28)Ef(s)(t)-f(s)(t)n可知(7.2.25)成立。2Ef(s)(t)-f(s)(t)|2nn7.2.29)证毕df(t)在s=1时，由(7.2.16)我们把-ot1響都记作了/⑴⑴，把它们排成向量得響p相应f(1)(t)也代表了p种核估计f(1)(t),・,f(1)(t)。由(7.2.17)知它们的核函数构造不同，nnn1p满足的正交条件不同，也把它们排成向量得f(1)(t)。由定理(7.2.2)有ne|~(i)(t)普进一步有Of(t)2=EJf(i)t-f)Of(t)+…+f)一一卜Otp.7.2.30)传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！ft)'

dt丿(、

-2x04

=On2r+pk丿Ef(i)(t)-n1/〜Af(i)(t)-nft)'dt丿f(r)(tI+f(°)(t)ss设1<26<2,由Jensen和Holder不等式有<CEf⑴⑴fEm|28<2>(Var^)8+|EqI28]7.2.31)7.2.32)于是有推论1设2<n<1,Ef(s)(t)-f推论1设2<n<1,Ef(s)(t)-f(s)(t)n28(r)(tj8+f(0)(t)1lss7.2.33)EI〜i)(t)-響28<E<nfd)(t)单+…+f(1)(t)-f)[n1dtdtdf(t)28df(t)28<pE彳f(1)(t)+・・・+f(1)(t)i〜〜dt1dtp^^(r)(t)】8+f(°)(t[I8S7.2.34)(_28(r-1)]=On2r+7.2.34)k丿这就证明了使用正交多项式核的密度及其偏导数核估计的收敛速度。在本书第十章第四节要引用这些结果。三、密度核估计的连续性及光滑性这一段介绍本书作者提出的一种正交多项式，用它构造的一元到多元密度及其偏导数的核估计，在样本抽定时，保持连续性，在样本数趋于无穷时可以保持好的收敛速度。密度核估计是一随机函数，它利用随机抽得的历史样本X(1),…，X(n)构造九(X),去估计母体的密度fx)。它的收敛性是一种大样本性质。对于一个具体的核函数和一个具体的(X)的构造，一旦历史样本抽定转入统计计算，九(x)就是一个普通的函数。这时我们自然要考虑它的分析性质，例如连续性和光滑性。因此，密度核估计的连续性和光滑性是对任意抽定的历史样本而言，它是一种小样本性质。从统计计算的角度，仅仅研究大样本性质是不够的。传播优秀Word版文档，希望对您有帮助，可双击去除！如果核估计呈跳跃间断，得到的参数估计将随当前样本x的连续变动而发生剧烈跳跃，使其难以进入实用，许多文献要么忽略了核函数的构造，要么给出的核函数不满足连续性光滑性Lin(1975)构造密度及其(偏)导数核估计如下。nj=1na■i7.2.35nj=1na■i7.2.35)」、1y“x-xf(x)=——乙Ki(7.2.36)nna21(a丿nj=1nK(u)=30u2—36u+9=30(u—0.6)2—1.8(7237)0K(u)=—180uK(u)=—180u2+192u—36=0+8)显然这样的fn(x)与f；(x)都不连续。我们试图寻找截断后仍然连续的正交多项式，从而使密度及其(偏)导数的核估计连续，同时保持较高的收敛速度。我们先考虑一元密度核估计的连续性、光滑性、收敛性。以下给出的正交多项式与Lin给出的正交多项式区别在于连续性和光滑性，其正交性是一样的。

传播优秀Word版文档，希望对您有帮助，可双击去除-111-23r+1111H=34r+传播优秀Word版文档，希望对您有帮助，可双击去除-111-23r+1111H=34r+2111rr+12r一111…1r7.2.39)H(u)=0H(u)=1ru「2r上］、u,、u,uu11r+12r一11…1-11-13r+1ru「2ru「r〔utJ〔utJ11r+12r一11…14r+2112uut1r17.2.40)7.2.41)令H是r阶行列式’其第1至r-1行的元素为%=占第r行元素全为】。将H的第一行换上(u叫j得H0,将H的第二行换上(u叫j得耳，uf是一常数。显然H0(0)=H0(ut)=H1(0)=H1(ut)=0。再令当0<当0<u<ut否则7.2.42)——0K(u)=彳Hu0t0传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！110110\uiuK(u)du=0l01~Hut\uiuK(u)du=0l01~Hut-tH3—K(u)=<Hu2

1t0当0<u<ut否则7.2.43)JuiuHdu0l0Julf上］+1du0Iu丿34juifuy+rdu0Iu丿

丄r+2112r—1

1J1yl+1dyJ1yl+2dy•••J1yl+rdy-111_000l+2l+32r-111111134r+2ul=―t-34r+2H111111rr+12r-1Lrr+12r-1L11...1J11•1J‘1当l=0,=<0当l丰0,但1<l<r-2c当l=r-1又K0(0)=K0(ut)=0,可见K0是满足正交性及连续性的核函数。在r=3,u=1时我们画出它的图形(图723.2)。当0WuWu尸1时K(u)=60u3K(u)=60u307.2.44)一96u2+36u=60u(u一1)u7.2.44)I5丿同样容易验证K1(u)的正交性及连续性。Jutu'kJutu'k(u)du=01当l丰1,但0<l<r-2传播优秀Word传播优秀Word版文档，希望对您有帮助，可双击去除！7.2.50)传播优秀Word版文档，希望对您有帮助，可双击去除！K1(0)=K1(ut)=0在这样的构造里，密度核估计的光滑性通过密度导数核估计的连续性实现。面我们再说明多元密度核估计的连续性、光滑性及收敛性。面我们再说明多元密度核估计的连续性、光滑性及收敛性。dtf(x)设有P元密度fx),X=(〜,•••,X),对于其各阶混合偏导数c，t二t+…+tpdxti•…xtp1p1我们使用多元核函数K(u),u=(%,•••%)'，作出它的估计:tS…tp1p其中f(t；t，…t,x)=N1pKNAp+tt「…,JINJ=1同时要求fN在全空间连续，即N多元核函数Kf(t；t，…,t;x)eC(Rp)N1p(u)要满足:<K(u)<C当ue(0,u)pADVt；tj，-…,tpt—K(u)=0否则It；片,…,tp11当I=t，…,I=tJuiui…uiK(u)du=1ppt!…t!D1122pt；t1,…,Tp0否则,但0<I,…,i<r-2t,[•••』p1pp7.2.45)7.2.46)7.2.47)7.2.48)7.2.49)且K(u)eC0(Rp)tT'tp这种多元核函数构造如下t11t2(u)=K(u)K(u)…K(u)t11t22tp其中K(u),i=1,…,p是普通一元核函数，满足tiiK(u)<C当ue(0,u)

it否则7.2.51)i「K(u)=0J•iJutuuK(u)du=<t!0itiii10i当l=ti当l丰t,但0<l<r-2i7.2.52)且K(u)eC0(R')。tii这种一元核函数构造如下作行列式H=1hkjIrxr，其中第1至r-1行元素为h=占，最后kjk+j行元素全为1，将其第t^1行换上气+i,j=(ui/ut)j得r阶行列式H(《)-11123r+111134r+1H=111t+1t+2t+riii111rr+12r一111…17.2.53)传播优秀传播优秀Word版文档，_1213希望对您有帮助，可双击去除!1314H(u)=

tui(7.2.54)2r一11再令K(u)=vtiiK(u)=vtiift!HiHut+1t0(u)i(7.2.55)否则这样我们已经构造了多元密度及其偏导数的核估计并验证了它们的连续性、光滑性及收敛性。本段介绍交互投影算法在改进多元密度核估计非负性方面的应用。多元密度核估计是、x本段介绍交互投影算法在改进多元密度核估计非负性方面的应用。多元密度核估计是、x(j)-x(7.2.56)f(x)=丄丫K

a(7.2.56)/=i这里K(・)是核函数，xj),j=1,…,n，是样本。如果K(・)是一个概率密度函数，(非负、积分为1)，则九(x)的均方误差的收敛速度不会超过O(；-4/5)。如果K(・)是一个正交多项式，则f；(x)的均方误差的收敛速度可以任意接近O(n-1)，但这时f；(x)不再能保证非负、积分为1。Gaj；k(1986)利用凸集间的交互投影迭代算法来改进用正交多项式构造的一元密度核估计。该算法可以将fn(x)改进为非负且积分为1的函数，同时保证它的均方误差收敛速度不变，本段将Gajek的方法用之于多元密度核估计，并为它重新写了证明。多元密度核估计的详细构造上段已述。下面先叙述属于Gajek的迭代算法。对于九(x)定义加权的均方误差式(7.2.57)R(f,f)=jE(f一f)2h(x)dx(7.2.57)nRpn这里h是一个非负的权函数。应该说R(f；,力是一个合适的评价标准。迭代算法是:传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！⑴令f0(x)=f(x)，且置k=0;nn⑵令f+1(x)=ma(0,呻x))，再检查Ck+1=ff⑵令f+1(x)=ma(0,呻x))，再检查Ck+1=ffk+1(x)dx。若Ck+1=1，则令Rpnk+1f*(x)=fk+1(x)而完成迭代;nn(3)令fk+2(x)=fk+1(x)-h(x)iP1/h(t)dtC-1—k+4⑷置k=k+2并转向步骤(2)。从几何直观上看，步骤(2)就是去掉函数的负值而将其改写为零，此时可能函数积分超过1。于是有步骤(3)，就是将函数整体向下拉一点，以使积分为1。此时可能又会有负值出现，于是重复步骤(2)。如此反复。Gajek证明了迭代过程收敛。定理7.2.2设i1/h(t)dt<gRP7.2.58)7.2.59)(1)上述迭代过程收敛，即存在f*(x)，nf*(x)=limf*(x)nnks且f*(x)>0,if*(x)dx=1。RP⑵在(7.2.57)的加权均方误差意义下，f*(x)至少保持f(x)的收敛速度，即nnR(f*,f)<R(f,f)nn在正式证明定理7.2.2之前，我们先叙述三个引理，定义内积<g,g>=J(g,g)h(t)dt12Rp127.2.60)7.2.61)Lh(Rp)=gig2hdt<2Rp7.2.62)满足(7.2.62)的全体p元函数构成内积空间L2,由内积(7.2.61)导出的距离记作在＜空间定义{f}F+=gfg2hdt<叫g>0,a.s.(7.2.63){f"f}F1=gfg2hdt<g,Jgdt=1(7.2.64)RpRpF*=F+F1(7.2.65)显然，所有的F*,F+和F1都是凸集。引理7.2.1设F0uL；，且Fo是一凸集，/e＜。则f是f在F0上的投影当且仅当VfeF0，有f-flW-f0H2+f0-fII2(7.2.66)证略。引理7.2.2令f+(x)二maX0,f(x))(7.2.67)n则f+是f在F+上的投影。利用引理7.2.1，证明是容易的。引理7.2.3令Jf(x)dx-1f1(x)二f(x)-Rn(7.2.68)nh(x)J1/h(t)dtRp则f1(x)是fn(x)在F1上的投影。利用引理7.2.2，证明也是容易的。现在我们叙述定理7.2.2的证明：(1)因为F*非空，F+和F1之间的距离为零。由引理7.2.2和引理7.2.3我们知定理7.2.2的迭代算法也就是两个凸集间的交互投影。这个迭代过程一定收敛，设收敛于f*(x)，f*eF*。nn(2)由引理7.2.5VfgF*uF+，有7.2.69)f-fl卩>1\f-f+7.2.69)n11n在k次迭代后，我们有21\fi-f21\fi-fi-111nn2i=17.2.70)令k-g并取数学期望，由Fubini定理，我们有R(f,f)>R(f*,f)(7.2.71)nn证毕实际计算时可以取控制精度&，在步骤2中Ck+1=1可用Ck+1-1<&替代，因为(Ck+1—1)/jRp1/MM与X无关，所以广⑷有如下形式f*(f*(x)=max0,f(x)—nh(x)丿7.2.72)这里常数=丫s(C—1)。k=0k+1算例7.2.4随机数发生、直方图显示与密度核估计本算例程式有4个功能：发生给定密度函数的随机数；作直方图(二维或三维)；作饼图；作密度函数的核估计。其中发生随机数的程序附有常见分布16种，参数也随使用者指定。如果还要另外的函数，也只需改写一行。作直方图与饼图程序是用C语言写的，彩色显示，10个区间或20个区间色彩各不相同，十分绚丽，调用也十分方便。先发生伪随机数。16种指定分布的随机数发生程序最多发生5000个随机数请指定需要发生的随机数的分布函数代码1:标准正态分布N(0,1)2:一般正态分布N(y,Y)3:卡方分布x24:t分布5:F分布6:对数正态分布7:WEIBULL分布8:指数分布9:柯西(CHUCHY)分布10：贝塔分布B(2,2)11:均匀连续分布U(0,1)12：均匀离散分布整数13：负二项分布14：几何分布15：超几何分布16：泊松分布请输入需要发生的随机数个数n(x1,x2,...xn),n=?(500)请输入发生随机数的种子(任一奇数)NRAN(11)请输入t分布的自由度(10)要显示发生的随机数吗?0=不显示,1=要显示(0)资料存在哪个文件中?0=不存盘1=C21.D,2=C22.D,3=C23.D,4=C24.D,5=C25.D6=C11.D,7=C12.D,8=C13.D,9=C14.D,10=C15.D正将数据文件存盘,请稍侯资料已存盘,计算结束。再将刚才发生的伪随机数用直方图显示。图下面我们再对上述伪随机数出出密度核估计。密度函数核估计计算程序,例7.2.5请输入资料长度(观测点数,li725.d是500)N:(500)传播优秀Word版文档，希望对您有帮助，可双击去除！要显示原始数据文件吗？0=不显示；1=显示.(0)请选择密度估计的核函数：(5)1:K(x)=1-lxl,lxlv=1;K(x)=0,lxl>1;2:K(x)=exp(-x*x/2)/sqrt(2*3.1416);3:K(x)=exp(-|x|)/2;4:K(x)=1/(3.1416*(1+x*x));5:K(x)=(1-x*x)*3./4.,Ixlv1;K(x)=0,|x|>1;要想得到光滑的密度核估计图像，样本数要多一些，比如N=500;窗宽适当，比如h=1--5;要计算的核函数个数适当，比如M=20--100。通过这些参数的调整一定可以得到比直方图要好的密度核估计结果。窗宽大致相当于直方图里X轴各个分组条形的宽度，但核估计分组逐点改变.TOC\o"1-5"\h\z请输入核函数窗宽h(h须为正数，最好h>1):(1)请输入您想计算的密度核估计点数M(10v=Mv=N-10,要求M整除N):(100)要屏幕显示密度估计资料吗？0=不显示；1=显示(0)如果要用直方图显示，请选用关于直方图的菜单.如果要显示密度核估计的图像，请选用关于曲线图折线图的菜单，计算结束，显示图像。显示密度核估计图像见图724.3。原始资料是根据t分布发生的，可见已相当精确了。因为去掉了资料中心点标记星号，就比较光滑。图五、二元核回归的窗宽选择对于二维或高维核回归，窗宽选择的通行办法是基于交叉核实(Cross-Validation或惩罚函数(Penalizing)方法。当样本容量太大时，窗宽选择存在计算上的困难。这个时候可以试一下迭代插入(Iterativeplug-in)方法。这一段我们介绍这方面有关内容。非参数方法对于平滑混杂有噪音的回归资料是十分有效的。这方面技术的一个关键是选择平滑参数。一般来说，自动平滑参数选择是基于交叉核实方法，或渐近等价的惩罚函数方法,传播优秀Word版文档，希望对您有帮助，可双击去除！例如无偏风险估计。这些方法有时候在实践中不太可靠，尤其是在高维情况如此。一个替代的办法是插入传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除！传播优秀Word版文档，希望对您有帮助，可双击去除！(Plug-in)法则，即把未知函数的估计插入到渐近公式里以选择最佳平滑参数。对于核回归,平滑参数就是窗宽参数。Gasser(1991)提出过一种迭代插入方法，有好的理论分析性质与好的实际效果，并且认为比交叉核实与惩罚方法要好。我们先谈一下二元核回归。二元非参数回归模型是(7.2.73)Y=g(t,u)+s,i=1,,n(7.2.73)iiii这里g是二元实值函数，定义在二元闭子集AuR2上,Y.是响应。假定J独立同分布，均值为0,方差为。2。(t,,u.)有设计密度f其支撑集为A。剖分A为码，…，An，则存在(£,u,)eA.,且lsup九(A)-n-1sup九(A)-n-1f(t,u)-1'ii=0(n-i)(7.2.74)丄supsup||x-y||=0(n-2)lx,ywAi其中入是二维Lebesgue测度(从计算角度，为简单记，就取分块面积之和)。我们考虑的是乘积核。v为整数，k三v+2,「0(7.2.75)JxjW(x)dx=<v,k(-)vv!卩(Wkv,kk-v是奇数。称函数W从是一个(v,k)核，如果0<j<k-1,jhuj二uj二k(7.2.76)函数g(t,u)的估计为g(t,u;b,b)二b-g(t,u;b,b)二b-1b-1K{(t-u)/b}k{(u-①)/bJd(u-①)YtutuAitui=1其中核函数K的支撑集为】-1,1],(bt,bu)是一对窗宽。当剖分A],…，An为矩形时,为简化。渐近最佳窗宽选择的插入方法，根据的是计算方均误差公式Ai(7.2.77)计算可大(7.2.78)MISE(b,b)二E(ISE(b,b))(7.2.78)tutu其中ISE(b,b)=Jw(t,u){g(t,u;bt,bu)一g(t,u)£d(t,u)tuA这里权函数3的引入是为了积分限制，也是为了窗宽选择，一般假定3是一概率密度函数，有(7.2.79)二阶连续导数，支撑集为B,BuA，入(b)>o。极小化iSE(bt,b“)得到的窗宽记为(bt,ISE，b讣E极小化MEE®,町)得到的窗宽记为叽血Smise.对于二元函数g的偏导数，我们记，buMISE)。Qi+jg(i加(t,U)=g(t,U)CtiQUj(7.2.80)对于支撑在】-1,1］上的W,令R(W)=i1W(x)2dx-1假定g有各二阶连续偏导数，g(2,0)和g(0,2)不完全为0,核函数K是Lipschitz连续，bt+b厂0,nbtb厂I(n—B)。由标准的渐近理论可得(7.2.81)其中MISE(b,b)=AMISE(b,b)+O(b4+b4+n-1b-1b-1)+O(n-1)tutututu(7.2.82)AMISE(b,b)=-卩(K)2(b4l+2b2b21+b41)+n-1b-1b-Q2R(K)21(7.2.83)

tn42tututuuuutuf是渐近MISE。函数Itt，I，It，I由下式给定：ttuutufI=Jw(t,u)g(2,0)(t,u)2d(t,u)ttAI=Jw(t,u)g(0,2)(t,u)2d(t,u)uuAI=Jw(t,u)g(2,0)(t,u)d(t,u)tuAI=Jw(t,u)f(t,u)-1d(t,u)fA令(b,AMISE，bu,AMISE)表示极小化AMISE(bt，b“)得到的窗宽选择：G2R(K)213/41uuf(7.2.84)(7.2.85)(7.2.86)(7.2.87)b=<t,AMISE1/6>卩2(K)213/4(11/211/2+I)nJttttuutu丿传播优秀Word版文档，希望对您有帮助，可双击去除！7.2.88)b=(I/1)1/4bu,AMISWttuut,AMISE(7.2.89)插入方法需要残差方差02以及函数打，Iuu，的估计。如果设计密度f未知，|可由下式估得：7.2.90)I=屛九(A)2①(t,u)

fiii7.2.90)i=1下面我们介绍插入法窗宽的选择。我们先再回顾一下窗宽选择的意义。大家可以想象直方图，那些长条条的宽度就是窗宽如果把那些长条条取得特别宽，比如极言之，整个直方图就一个长条条，那就太平滑了，变成了均匀分布。如果把长条条取得特别窄，比如极言之，一个长条条里至多只含一个样本点，那些不含样本点的长条条的高度就等于0，整个直方图就乱起乱落。所以合适的窗宽选择是有必要的。这里介绍的是(bt,bu)的插入法选择。我们使用下列偏导数的核估计:u—①g这里介绍的是(bt,bu)的插入法选择。我们使用下列偏导数的核估计:u—①g(2,0)(t,u；a,at)=丄9La3aA.2tui=1d(u,®)Yi7.2.91)g(0,2)(t,u;p,ptrt-1)「u—coM〔卩tJ〔p丿n)=俵另L,mtui=1nd(u,®)Yi7.2.92)这里L2,M是核函数，at,a,Bt,B是窗宽，我们称为试验窗宽。将g20),这里L2,M是核函数，at,tttIt的定义式里就可以得到它们的估计值，记作I,I,I。TOC\o"1-5"\h\ztttt选择试验窗宽的迭代法如下。令、八I八IG(a,a,p,p)=b——(a,a,p,p),b——(a,a,p,p/(7.2.93)ttt,AMISEtt,AMISEtt这里b——(a,a,p,p)与b——(a,a,p,p)是在b与bA你E的定义式里以&2t,AMISEtutuu,AMISEtutut,AMISEu,AMISE代替。2,以I,I,I代替I,I,I而得到的。则获得(b,b)的迭代算法如下：ttuututtuututu1)置初值1)置初值b(0)=b(0)tu£(A)/n*(2)对i=1,2,…，迭代公式是1111b(o)二b(o)二G(bi-icn12,bi-1dn12,bi-1dn12,bi-icn12)tututu(3)在i*次迭代后停止并且令((b,b)二(b(l*),b(l*))tutn1这个方法有些类似于搜寻固定点来确定窗宽。初值的设置取n2是根据经验，并非必要。膨胀系数cn12,dn12是挑选来使渐近最优窗宽不依赖于c,d(当然要c>0,d>0)。窗宽b(0)与b(0)tu1都有n-2的收敛速度。实际演算时迭代次数大约是I*在5到9之间。下面我们更具体给出算例。取核函数3M(x)=K(x)=(1-下面我们更具体给出算例。取核函数3M(x)=K(x)=(1-x2),|x|<14L(x)=(-5x4+6x2一1),|xl<1216积分域A={(t,u)l0<t<1,0vuv1}，权函数11w(t,u)=<l00.05<t<0.95,0.05<u<0.95其他7.2.94)7.2.95)7.2.96)窗宽色町有上界2，下界取法则使-b,t+b]x\u-b,u+b]iiitiuiu7.2.97)i=1覆盖】0.05,0.95]X[0.05,0.95]。膨胀系数里，取c=1.5,d=0.25。插入算法可以用于非矩形的设计密度支撑里，不过用于矩形支撑集当然更好。令密度f(t,u)=f(t)f(u)tu设计点集(t.,u/,i=1,…,nt,j=1,…,化可由下式给出：t=F-10.5)/n}ittu=F-1Rj-0.5)/n}juu7.2.98)7.2.99)传播优秀Word版文档，希望对您有帮助，可双击去除!(7.2.100)相应的剖分集为A二ijt+相应的剖分集为A二ijt+1)/2,(t+1)/2〕xi-iiii+iuj-ii=2,…,nt-1,j=2,…,nu-1。回归函数可取二元正态:+u)/2,(u+u)/2】jjj+1(7.2.101)(7.2.102)(7.2.103)f(t,u)〜N(7.2.102)(7.2.103)f(t,u)〜Ng(t，u)=bv为『ti+1”；tui=1Ii+1Kt:t—u)Ibt丿K(x)=3(1—x2),|xl<14t'=(t+1)/2,u'=(u+u)/2ii-1iii-1id(u,e)Yi(7.2.105)(7.2.106)(7.1.107)『0.5、'0.050讣N0.5:、00.05丿Jg〜N或者两个二元正态的混合。t.,气•的设计密度可取为线性:(1)〔191)t+—X一u+一I2丿(1020丿f(t,u)二或正态(7.2.104)竹与n大大约在10到20之间。有了这些参考消息，就差不多可以发生资料然后代入插入法迭代公式里计算了。Herrmann,Ward,Engel及Gasser(1995)称他们计算结果十分令人满意。笔者认为这样搞真是把简单的问题弄复杂了。这样一些资料成功，换一些资料不一定成功。窗宽选择最重要的还是要凭经验与直观观察。如果先凭经验选窗宽，拟合一次后看图像，再调整窗宽，那么把窗宽的自动选择搁置一边，单纯的二元核回归并不复杂，可以为成千上万的普通读者掌握。手中资料是{Y,,X,(i.,u.)}o要拟合的模型是(7.2.73)：Y,=g(t,,u.)+&j,i=1,…,n，则由(7277)有：传播优秀Word版文档，希望对您有帮助，可双击去除！大家看，只剩下调整窗宽问题，简单极了。第三节非参数回归模型的样条拟合一、样条回归的基本概念非参数回归模型样条拟合可以考虑多元函数，几何形象就是作曲面拟合。不过多元样条拟合的理论分析与计算难度要更大一些，AnnalsofStatistics在前两年才有过一次较大规模的讨论。我们这里只介绍清楚一元样条拟合就可以了。一元自变量的取值区间本来可以从-a至到+^,经过一个线性变换，总可以变到[0,1]。为了理论分析方便，我们限于考虑自变量定义域为[0,1]的情况。并且按一般有关文献惯例，将自变量记作t。这样我们要考虑的模型就是Y(t)=g(t)+s(t),te[0,1](7.3.1)其中g(t)是一个光滑曲线，£(t)是白噪声过程，E(&(t))=0,E(&(s)&(t))=0,(sMt),E(&2(t))=02。Y(t)是t=t],t2,…,tn,0<t1<t2<^<1时的观察。我们的目的是根据资料YOj)=Y・，j=1，2,…,n来重构函数g。根据混杂有白噪声的观察资料丫打=1,…,n去重构光滑函数g,这在统计学中叫非参数回归,在数字信号处理中则叫信噪分离。使用信噪分离这个词能帮助我们清楚理解非参数回归的实质。我们假定未知函数g的m阶导数g(m)是平方可积的，记作geW2(m),W2m二｛gIg(U)｝绝对连续，v=0,1,…,m-1,g(m)WL2[0,1]｝,即J1lg(m)(t)1dt<0函数g的估计记作gn，因为gn是根据Y1，-,Yn来作出的。如果单纯考虑极小化7.3.2)s二1£(f(t)-y)27.3.2)1njj=1怎么样?这样的函数f⑴可以精确通过每一点y，也可以光滑，还确实可以是样条函数(由分段低次多项式光滑连接而成)。可是这样的拟合有什么实际意义呢?噪声&没有去掉。0如果单纯考虑极小化07.3.3)怎么样呢?函数f倒是充分光滑，比如取戶^则s2=o。噪声是给去掉了，可是完全没有考虑经过任何一个Y•。真正是将婴儿连同洗澡水一起泼掉了。

传播优秀Word版文档，希望对您有帮助，可双击去除！于是就有了折衷的办法，极小化7.3.4)=—工f(t)一Y1+』f(m)(uJdu

njj07.3.4)j=1这里入称为光滑因子。当入=0时，S=S],当入=8时，S=s2。入的作用就是在“尽量通过数据点”与“尽量去掉白噪声”之间取调和作用。满足S的极小化的解f(t)GW(m)，就取作非2参数回归模型的解gn(t)。可以证明，这个解是2m-1次的平滑样条多项式。由于这个解依赖于参数入的选择，故我们有时也记作gn，乂t),不过为省事，经常记作gn(t)o我们的任务就转到怎样确定参数入。Reinsch(1967)建议，如果。2已知的话，可取入使1工(g.(t)-Y)2=b2(7.3.5)nn，九jjj=1Wahba(1975)在等距间隔资料及一定的平滑和周期条件下，得到入的最佳选择的理论结果。他所选择的入是如下误差平方和的极小化结果：7.3.6)R®)=1工(gJt)-g(t))27.3.6)nn人jjj=1理论分析结果表明，真正最佳的参数选择入，应该使J.3.5)左端比右端稍微小一点。当然这个结果不太现实，小一点，到底小多少?同时。2可能并不知道，函数g也是未知的。如果02是已知的，则一个好的入可以按如下方法获得。定义nXn矩阵A(入)，它依赖于{/j}和入，且满足g卫)n，g卫)n，九1g,(t)1-n，九n-1Y.1=A(九):Yn7.3.7)7.3.9)7.3.9)7.3.10)因为gn，念)是乙，…,Y”的线性函数，所以A(入)是存在的。然后令ER(X)=E1||A(X)Y-g||2(7.3.8)n这里Y=Y),g=(g(tj,…,g(t“))‘，范数是欧氏范数。经过简单的计算有1Q2er久)=n(1一心))g『rtrA2久)可以证明，由下式定义的R(九)是ER(入)的无偏估计:R(九)=1||(I一A(X))Y||2—巴tr(I一A(九))2+21trA2(九)

nnn传播优秀Word传播优秀Word版文档，希望对您有帮助，可双击去除!(7.3.11)传播优秀Word传播优秀Word版文档，希望对您有帮助，可双击去除!(7.3.11)即可以证明即可以证明ER(九)二ER(九)因此，R（九）的极小化能得到入的好的选择°Mallows（1973）甚至用这样的参数估计去作岭回归。Wahba等提出，当。2未知时，入的估计可以取作下式的极小化解v(九v(九)=ni(i-a。))yi2/-tr(I-A(九))n(7.3.12)并把这个估计称作广义交叉核实（GeneralizedCross-Validation,GCV）估计。可以证明，在一定条件下，当n充分大时，在ER（入）的一个邻域内EV（九）-Q2沁ER（九）还可以证明，在合适条件下，存在序列久二久（n），它是EV（入）的极小化解，且有性质limnTglimnTgER(咒)

minER(九)九(7.3.13)(7.3.14)(7.3.14)(7.3.15)F面我们叙述一下广义交叉核实GCV的动因。交叉核实的动因很简单：设g咽是使用了除第n,九k个点以外（也算是一种回避吧）的所有数据点的平滑样条，我们现在想用g咽去预测Yk，用n,九k预测好坏来衡量入的选择好坏。用数学语言写就是，设g咽是下式的feW（m）的函数解:n，九2-工(f(t.)—Y)2+XJ1(f(m)(u))2du

njj0j=1j丰k1“V(X)=乞(gkX(t)—Y)2

0nn，九kkk=1原始的交叉核实就是取V0（入）的极小化解分作为入的估计。对于这个交叉核实办法，在自变量等距离情形，传播优秀Word版文档，希望对您有帮助，可双击去除！Wahba与Wold曾研究过，并且用MonteCarlo实验显示V0(入)的极小化解是R(入)的极小化解的极好估计。实验对各种各样的g与。2都显示好的结果。理论研究则对自变量等距(t=j,j=1,,n)和g’(t)为周期函数的情形获得满意的结果。我们把自变量等距且函jnn几数g,(t)为周期函数称为对称场合。n，入注意在对称场合所有数据点都是被对称对待的。因此tk的预测误差与其它点j的预测误差一样。一般地，令1nV(九)=£(gk、(t)-Y)2W(九)(7.3.16)nn，九kkkk=1这里权Wk(入)是作为资料点可能非等距或者函数g非周期函数的一种补偿。如果V(九)=[(1-a(九))/-tr(I-A(X))]2(7.3.17)kknk=1,2,…,n,其中akk(入)是A(入)的主对角元素，则(7.3.16沖的V(入)就等于(7.3.12)中的V(入),并且(7.3.13)成立。于是我们得到序列｛Wk｝可使(7.3.13)成立。在证明(7.3.13)成立的过程中我们得到了平滑样条gnX。有趣的是，在自变量等距场合，在分段拼接Bernoulli多项式的时候，Gram矩阵是一个循环矩阵。这里的广义交叉核实方法也被用来在求解Fredholm积分方程时计算规则参数。二、平滑样条的构造上一段讨论什么是样条回归，给出的是隐式解，是满足S=工(f(t)一Y)2+九J1f(m)(u)〉du(7.3.18)njj0j=1极小化的m次导数平方可积函数gnX，是2m-1次多项式。而平滑参数入的最佳选择是取广义交叉核实函数112V(九)=_||(I一A(九))Y||2/-tr(I一A(九))(7.3.19)nn_的极小化解。因此，我们应该寻求gn,X与A(入)的显式表达式。这可以借助于贝努里(Bernoulli)多项式。设B”(t),r=0,1,…,是tW[0,1]上的Bernoulli多项式。它的定义是.20).20)传播优秀Word版文档，希望对您有帮助，可双击去除！Bo(t)=1,占dtB/)=B(t).21)其中积分常数的选择应使例如f1B(u)du=0,r=1,2,…B(t)二101B(t)二t--

i2B(t)=t2—t+263tB(t)=t3—t2+322B(t)=t4—2t3+12—-4307.3.22)下面我们介绍怎样用这样一些贝努里多项式构造平滑样条函数的显式解。令[x]表示x的小数部分，例如[3.14]=0.14，因此这个记号不是通常的取整函数，而正好是相反。定义

k(t)=1B([t])

r!当然，如果t£(0,1),[t]=t。令Lk，k=0,1,2,…为一族线性函数7.3.23)Lf-f1f(u)du00If-f(k-1)(1)一f(k-1)(0)=f1f(k)(u)du,k=1,2,…kL(k)=「k=rkr10k丰r,k,r=0,1,2,…7.3.24)7.3.25)7.3.26)定义贝努里核k\s,t)为(7.3.27(7.3.27)(7.3.27(7.3.27)rr=0j=1rr=0j=1传播优秀Word版文档，希望对您有帮助，可双击去除!k(s,t)二-兰一1、e2k/u(s-t),r=1,2,r(2兀iu)ruhOAbramowitz和Stegun(1964)证明了，贝努里核与贝努里多项式有如下关系:k(s,t)=—Brr!并且可以验证，对p=1,2,…,r-2及s,tW[0,1]有([s-1])=kr([s-1])(7.3.28)dpdspk(s,t)=k(s,t)rr-p(7.3.29)dpdtpk(s,t)=(-1)pk(s,t)rr-p(7.3.30)dr-1dsr-1k(s,t)=k(s,t),s丰tr1(7.3.31)k(s,t)=(-1)r-1k(s,t),s丰tdtr-1r1(7.3.32)dmdm11k(s,u)k(t,u)du=(-1)m-1k(s,t)0dsm2mdtm2m2m(7.3.33)有了这些准备，我们现在可以写出用分段贝努里多项式表达的g，的显式表达式。定理7.3.2若函数fgW(m)，函数g，是极小化2n入S=1工(f(t)-Y)2+xj1(f(m)(u))2dunji=1的函数的解，则对n三m,gnx是唯一的，g2(t)=Hekn,九r并可表达为(t)+(-1)m-1t)j2mj(7.3.34)rr=0rr=0传播优秀Word版文档，希望对您有帮助，可双击去除!(7.3.35)这里。=(°0，°°m)‘和0=3i，a2,…,a」'由下列式子给出：9二(TM-iT+A)-iTM-iYa二M-i(Y-T9)Y二(Y,Y,…,Y)'12nT是nX(m+1)维的矩阵，其第jX啲元素为T二k(t),r二0,1,…,m,j=1,2,…,njrrjA是(m+1)X(m+1)维的矩阵，除了一个元素A(m+1)X(m+1)=1外，其余全为0。式给出M=K+n九I其K是nXn矩阵，第jXk的元素为K=(―1)m-1k(t,t)jk2mjkI是nXn单位阵。矩阵4(入)由下式显式表达：A(X)=KM-1[I-T(T1M-1T+A)-1TM-1]+T(TM-1T+A)-1TM-1证明我们先证明函数g”属于函数空间Pnkk(•,t)2mjj=1<f,g>=S(Lf)(Lg)+『f(m)(u)g(m)(u)durr0r=0则可以证明Q(s,t)=区k(s)k(t)+(-1)m-1k(s,t)rr2m(7.3.36)(7.3.37)(7.3.38)矩阵M由下(7.3.40)(7.3.41)(7.3.42)首先定义内(7.3.43)(7.3.44)传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除!传播优秀传播优秀Word版文档，希望对您有帮助，可双击去除!是Wjm)的赋予上述内积的再生核，对一切t,Q(t,•疋W/m),对fWWjm),t^[0,1],〈Q(t,・),f=f(t)。Wahba(1970)证明了，g^必定属于申数空间©©:}}(7.3.45)申=申&(・)}m-1u(7.3.45)kQrr=0t,j=1这里Q(•)三QGt)这里Q(•)三QGt)。然而可以看到Q是由k(•)与k(•,•)生成的，故}申b(•)}mTUrr=0(・)}mTU{(•,t)}rr=02mjj=1'%u申tjj=1因此必有g、丘©kk。于是存在某个。与a使(7.3.35)成立。n,入kkrj将(7.3.35)代入到(7.3.34)中，再使用(7.3.33)的求导公式得:工(g(t)-Y)2+n』(g(m)(u))2dun，九jjon,入j=1=工Deo(7.3.46)k(t)+(-1)m-i工ak(t,t)-Y

rrjk2mjkj1-j=0k=1aa(—1)m-1k(t,t)+02

jk2mjkmLj=1k=1」三||T0+Ka-Y||2+n九(a'Ka+02)m向量。和a应被选择使上式极小化。对上式右边求导并令导数为0,就可完成定理的证明。证毕j=1(7.3.47)三、广义交叉核实普通的交叉核实函数是1