第七章非参数回归模型与半参数回归模型

1第七章 非参数回归模型与半参数回归模型第一节 非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。另一类回归，非参数回归，则与参数回归正好相反。它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。设 Y 是一维观测随机向量，X 是 m 维随机自变量。在第四章我们曾引进过条件期望作回归函数，即称g (X) = E (Y|X) （7.1.1）为 Y 对 X 的回归函数。我们证明了这样的回归函数可使误差平方和最小，即（7.1.2）22)(in| LYEL这里 L 是关于 X 的一切函数类。当然，如果限定 L 是线性函数类，那么 g (X)就是线性回归函数了。细心的读者会在这里立即提出一个问题。既然对拟合函数类 L(X)没有任何限制，那么可以使误差平方和等于 0。实际上，你只要作一条折线(曲面) 通过所有观测点(Y i，X i)就可以了是的，对拟合函数类不作任何限制是完全没有意义的。正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对 L(X)的一切限制。在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。所以我们知道，参数回归与非参数回归的区分是相对的。用一个多项式去拟合(Y i，X i)，属于参数回归；用多个低次多项式去分段拟合(Y i，X i)，叫样条回归，属于非参数回归。二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于 Yi 的线性组合的某种权函数。也就是说，回归函数 g (X)的估计 gn(X)总可以表为下述形式：2（7.1.3）niiinYXWg1)()(其中W i(X)称为权函数。这个表达式表明，g n(X)总是 Yi 的线性组合，一个 Yi 对应个 Wi。不过 Wi 与 Xi 倒没有对应关系，W i 如何生成，也许不仅与 Xi 有关，而且可能与全体的X i或部分的X i有关，要视具体函数而定，所以 Wi(X)写得更仔细一点应该是Wi(X；X 1，,X n)。这个权函数形式实际也包括了线性回归。如果 ，则iii，也是 Yi 的线性组合。ii 1在一般实际问题中，权函数都满足下述条件：（7.1.4）1),;(,0),;( 111 nniii XWX如果考虑在第五章介绍的配方回归与评估模型曾有类似条件，不妨称之为配方条件，并称满足配方条件的权函数为概率权。下面我们结合具体回归函数看权函数的具体形式。1核函数法选定 Rm 空间上的核函数 K，一般取概率密度。如果取正交多项式则可能不满足配方条件。然后令（7.1.5）niini aXaXXW11 /),;(显然 。此时回归函数就是nii1（7.1.6）inijninii YaXKYXWgY 11)()(2最近邻函数法首先引进一个距离函数，用来衡量 Rm 空间中两点 u = (u1，u m) 和 v= (v1，v m) 的距离u- v 。可以选欧氏距离 ，也可以选niiiu122)(| 。为了反映各分量的重要程度，可以引进权因子 C1，,C n，使|max|1iiniuC i也满足配方条件。然后将距离函数改进为3（7.1.7）niiiuCu122)(| （7.1.8）|max|2iini现在设有了样本(Y i，X i)，i =1,n，并指定空间中之任一点 X，我们来估计回归函数在该点的值 g(X)。将 X1，X n 按在所选距离意义下与 X 接近的程度排序：（7.1.9）| 21 nkkk 这表示点 与 X 距离最近，就赋以权函数 k1；与 X 距离次近的 就赋予权函数 k2。，1k 2k等等。这里的 n 个权函数 k1,kn 也满足配方条件，并且按从大到小排序，即 nin12 ,0（7.1.10）就是nikXWnki , ,),;(1（7.1.11）若在X i-X , i=1,n中有相等的，可将这 n 个相等的应该赋有的权取平均。比如若前两名相等，X 1-X= X 2-X, 就令 W1 = W2= 。)(21k这样最近邻回归函数就是 ni niniii YXYgY1 111 )(),;()(（7.1.12）ki 尽管是 n 个常数，事先已选好，但到底排列次序如何与 X 有关，故可记为 ki(X)。三、权函数估计的矩相合性首先解释矩相合性的概念。如果对样本 (Yi，X i)，i=1,n 构造了权函数 Wi = Wi (X)=WI(X;X1,Xn)，有了回归函数 g(X)的权函数估计 ，当 Y 的 r 阶矩存在iing1(E|Y|r0, 当 n时，01)|(| PniXiiIW（7.1.15）(3)当 n时，0max1Pini（7.1.16）则W i是矩相合的权函数。定理条件可以作一些直观解释。条件(1)可以作如下理解，因为权函数是概率权，必有|Wi|0，存在 0，当u- v 时，|f(u)-f(v)|( /2)1/r。于是5 )(|11 )2()()( Xniirrinii iIWMXffW（7.1.19）其中 ，此处 X 表示具体取值。由条件(2)，上式右边第二项依概率收敛于 0)(supfMX且不大于 1。依控制收敛定理有 0)(lim1)|ni XiiIWE（7.1.20）故存在 n0，使当 nn 0 时，有2)(1)| ni XiiI（7.1.21）因此当 nn 0 时，有ni rii ffWE1 |)(|)(（7.1.22）于是对这种一致连续的 f，引理得证。 证毕对一般的函数 f，取一个在 Rm 上连续，且在一有界域之外为 0 的函数 ，使f，且 ，这里 是事先指定的。因为2)(XfErXfE)( rniiriinii riniirrinii XffWEffWffXf |)(|)(|)(|)( |311 11（7.1.23）右边括号里第三项等于 ；第一项根据条件(1)不超过rXffE)(；因为 在 Rm 上有界且一致连续，由前面已证结果知当 n时，CXffCEr)(第二项将趋于 0。因此6)1(3|)(|)(lim1 CXffWErrinii（7.1.24） 是任意的，故引理得证。证毕引理 7.1.2 设W i为满足定理 7.1.1 三个条件的概率权，函数 f 非负且 ，)(XEf则 0)(lim12iniiXfWE（7.1.25）证明 定义一组新的概率权函数 ，由于 0W i1, 故 0 1。于是由引理2ii i7.1.1，有|)(|)(lim12inii XffE（7.1.26）因为 0 1，由条件(3)知niiW20max)ax(1112 Pininiiniii W（7.1.27）故由控制收敛定理有0)(li12niiXfE（7.1.28）综合两个极限式可知本引理成立。 证毕下面我们证明定理 7.1.1。先设 r=2, 则 E(Y2)0，先找 K0，使当 K K0 时，对一切 n 成立 (7.1.40)。又依 (7.1.41)，找 K1，使当KK 1 时有 E | E ( Y | X )- E ( Y(K) | X )| r0，由条件 (7.2.7)，存在充分大的 T0，使MdZKTZ4)(0| （7.2.10）这里 ，并且)(supxfM 0 0)()()limT Th dZKxfdZhxf（7.2.11）于是 )(2 2)()( )()(|0 0 00 0 | ndZKxfdZhxfZK MdZKfnEfT TTn当 （7.2.12）由 的任意性，可知 。这就说明 fn(x)是 f(x)的渐近无偏估计。)(limxfEfn再利用 X1，,X n 的独立性，有 222 )()()(1)( nhXEKnhhxfVar（7.2.13）类似于渐近无偏性的证法可得dxxfnhXxKEn )()()()(1lim22（7.2.14）于是 0)(lim)(li)(li 22 xfExfVarxff nnnn（7.2.15）这就说明对一切 x，f n(x)均方收敛于 f(x)，因此 ，这就证明密度核)()( ffPn估计的相合性。二、使用正交多项式核的密度及其偏导数核估计的收敛速度14上一段研究的密度核估计的收敛性，针对的是使用概率密度核函数 K，它非负，积分为1，从而可以肯定保证密度核估计函数 fn(x)非负且积分为 1。只是它的收敛速度不会超过。为了提高收敛速度，统计工作者使用正交多项式作理论上的研究，取得不少成果。)(54nO这里介绍的是本书作者的研究成果，近期发表在国际数学杂志“Communications in Statistics”上。它是直接研究多元密度，并连带一般偏导数的核估计给出收敛速度。记多元密度 f(t)的 s 阶混合偏导数为 spsps tftft 11)()( )();,（7.2.16）这里 。 ,20,),(11sstt pp使用多元核函数作出 f(s) (t)的估计如下： njnjsspn tK)(1)( （7.2.17）其中 是构造核函数的正交多项式空间维数，可以任意取定。2,1rpn不仅决定于 s, 而且决定于 s1, sp,且满足：)(uKs 00 0)(),(| DuKCs p当当（7.2.18）其中 u0 是一正常数，u = (u 1,up)。我们以 C 表示某一合适常数，各个 C 可不相同。还满足：)Ks 1,0,1)(! 1110 risidKs psipiDp 但否 则当（7.2.19）这种多元核函数可以如下构造： )()()(21pssss uu（7.2.20）其中 是普通一元核函数，piuKs,1),(1满足：15否 则当 0)(),0(|isiiuKuC（7.2.21）及 0 10 1)(!1u iiislii rlsld但当当（7.2.22）这种核函数具体构造及改进我们放到下一段再统一研究。下面研究 的收敛性。我们假定偏导函数 局部有界，即存在与对 t 的各分)(tfsn )(tfr量求偏导次数 r1,rp 无关的 ，0, r1+rp = r, 使当 ，且 t Xt 且 t+ Xt)(tfrs t时，有)(|)(|up)|0 tftfrr（7.2.23）这里 Xt 是 t 的样本空间。同理定义 f(t)局部有界。E n () 表示对 n 个样本求数学期望。定理 7.2.1 设 f (r) (t), f(t)局部有界，则)(2)()( tfprsOtf rssn （7.2.24） )()()()()( 022 tftfrstftfE srssn （7.2.25）证明 由 t(1),t(n) 的 i.i.d.，令 ，注意 ，有ntyuduypn tfKdftKtfE nsDsnnsXspnsni )()1)(1)( 0（7.2.26）再由多元 Taylor 展式、多项展式及核函数正交条件得 nri rpiisDsrnssn p dutfuutftfE 110 )(!)()()( )（7.2.27）16这里 ，由 f(r) (t)局部有界，核函数有界，积分域有界，可得 (7.2.24)。又pn|0)()(1 02)(22)( 0 tfnOdutfuKtfVar sprnsDspnsn （7.2.28） 2)()()(2)()( tftfEtfVartftfE ssnsnssn （7.2.29）可知 (7.2.25)成立。 证毕在 s=1 时，由 (7.2.16) 我们把 都记作了 f(1) (t), 把它们排成向量得 。ptftf)(,)(1 tf)(相应 也代表了 p 种核估计 。由 (7.2.17)知它们的核函数构造不同，)(1tfn )(,)(11ffpnn满足的正交条件不同，也把它们排成向量得 。由定理 (7.2.2)有)(t 2)1(21)(2)1( )()(1 pnnn tfftffEtffE p（7.2.30）进一步有 )()( )()()(022)1( 2)1()1()( tftfnOtffCEtftftftfEsrspr nn （7.2.31）设 11;2: K(x)=exp(-x*x/2)/sqrt(2*3.1416); 3: K(x)=exp(-|x|)/2; 4: K(x)=1/(3.1416*(1+x*x); 5: K(x)=(1-x*x)*3./4., |x|1; 要想得到光滑的密度核估计图像, 样本数要多一些, 比如 N=500; 窗宽适当, 比如 h=1-5; 要计算的核函数个数适当, 比如 M=20-100。通过这些参数的调整, 一定可以得到比直方图要好的密度核估计结果。窗宽大致相当于直方图里 X 轴各个分组条形的宽度, 但核估计分组逐点改变.请输入核函数窗宽 h ( h 须为正数 , 最好 h 1): （1）请输入您想计算的密度核估计点数 M ( 100。极小化 ISE(bt, bu)得到的窗宽记为 (bt,ISE ，b u,ISE)极小化MISE(b t, bu)得到的窗宽记为 (bt,MISE，b u,MISE)。对于二元函数g的偏导数，我们记 ),(),(utgttgjiji（7.2.80）对于支撑在-1,1上的W，令12)()(dxWR（7.2.81）假定g有各二阶连续偏导数，g (2,0) 和g (0,2) 不完全为0，核函数K是Lipschitz连续，b t+bu0, nbtbu，(n)。由标准的渐近理论可得 )()(),(),( 114 nOnO