Projection pursuit regression(PPR).doc

第一节 投影寻踪回归我们先介绍一下Peter Hall提出的投影寻踪回归(Projection Pursuit Regression)的思想，它一点也不神秘。我们手中的资料是是p元，Yk是一元。非参数回归模型是（10.1.0）我们的任务是估计p元函数G，当然。G是将p元变量映像成一元变量，那么何不先将p元变量投影成一元变量，即取，再将这个一元实数u送进一元函数G作映像呢?由于要选择投影方向，使估计误差平方和最小，就是要寻踪了。所以取名为投影寻踪回归。具体操作如何选方向，如何定函数G，如何证明收敛性，下面将逐步讲述。需要指出的是，投影寻踪回归与单指针半参数回归模型的思想基本上一样，基本算法也差不多，差别大的方面是收敛结果及证明。若论出现时间，投影寻踪回归较早，在1989年，单指针模型较晚，在1993年。一、投影寻踪回归算法假设解释变量集合是来自密度函数为f的p元随机样本，对每一个p元样本xk,有一元观察Yk与之对应，并且（10.1.1）这里G是回归函数，也是目标函数。令为所有p维单位向量的集合，,1,2，是中的元素。如果H是一个p元函数，比如f或G，则H沿方向的方向导数记作（10.1.2）假如这个极限存在的话。高阶导数则记作,等等。xRp的第i个分量记作x(i),点积,模长。符号A表示Rp的子集，通常是指凸集。I(A)表示A的示性函数，I(xA)=1,。u一般代表实数。我们的任务是从观察作出p元函数G(x)的估计，遇到的问题是p太大，维数太高，解决的办法是作投影寻踪回归。作沿着方向的一元函数（10.1.3）在区域内对G的第一次投影逼近是函数（10.1.4）这里1是极小化下式（10.1.5）的结果。当然这里G是未知的，所以我们要作出S()与g(u)的估计，才能得到G1(x)的估计。下面构造它们的估计。设x的密度为f，称作沿方向的X的边沿密度，利用样本xj但不包括xk构造f的核估计为（10.1.6）这里K是核函数，h是窗宽。排除xk在外的g的估计为（10.1.7）借助于交叉核实的思想，作下式（10.1.8）的极小化，其解就作为的估计。于是（10.1.9）就可以作为回归函数G在区域A的第一次投影逼近。将估计限制在区域A的理由在于，用来估计G1的统计量在分母中有密度的核估计。这个核估计在f的边界取值接近于0，再作分母就有问题了。所以我们要对分母接近于0的区域加以限制。刚才构造统计量时将xk排除在外的目的是为了使交叉核实统计量获得的参数估计不致有额外偏差。一旦确定下来，就可以在统计量中将xk放回去，不再排除在外： （10.1.10） （10.1.11） （10.1.12）我们称才真正是在区域A内与f有关的G的第一次投影逼近。要证明分别是1与G的一致估计还是比较容易的。我们还可以证明它们一致收敛的收敛速度。下面我们给出核函数K与窗宽h的构造选择细节。我们使用的核函数是一元的，满足f与G的一维投影的平滑条件。假定f(x)与G(x)沿一切方向的前r阶方向导数存在，定义 （10.1.13）为了不为0，进一步假定f(x)在一个闭集外为0，而在A上不为0 （10.1.14）为了保证集合是合适的区间，对于每一，我们假定A非空，是一p维开凸集。对于固定的，估计量如和是经典的一元核估计，使用的是一元样本xk,1kn，为了得到较高的收敛速度，可以使用r阶正交核函数K，它满足 （10.1.15）并且K是连续的。所谓连续，即存在0,c0,对一切实数u,有 （10.1.16）现在我们确定窗宽。考虑模型 （10.1.17）这里是独立同分布的，其均值为0，方差为2，与相互独立。假定h=h(n)0，且nh。对于固定的，假定f(u)0,且 （10.1.18）这里Z(u)是渐近服从正态N(0，1)，当取收敛于的收敛速度是。c(u,)表示一个常数，它依赖于u,取值，但不随n, r改变。二、投影寻踪回归收敛性质设1，0，0固定而收敛于0。为了引进S ()的Taylor展开，令00是与、0在同一平面上两个单位向量之一，且与0垂直。假定与0、00的关系如下 （10.1.19）这里-11。这个式子对于变换：(，00)(-,-00)是相等的，并且当0时=000。在合适的规则条件下，S()有合适的Taylor展式，当0时： （10.1.20）下面的定理表述得更清楚一些：定理10.1.1 假定f与G在各个方向上的一阶方向导数都存在且在Rp上一致连续，A是一非空p维开凸集，其边界有两个方向，函数f在一个闭集外为0，而在A上不为0。令0与为两个平行单位向量，定义。在上述条件下，则存在0与00的与无关的一致连续函数S1与S2，当0时，(10.1.20)一致成立。这个定理的结果可从如下Radon变换的随机展开获得。令T为中心在原点半径为t的p维球，选择t充分大使T包含f的支撑。给定，uR,定义=(u),它是点集xT:x=u所形成的(p-1)维表面。令是位于x的(p-1)维的微元，其法线平行于。定义Radon变换为 （10.1.21）则对此随机变换有如下定理： 定理10.1.2 假定在xT上沿各个方向都存在一致连续的两个一阶方向导数，令0，是两个平行单位向量，按(10.1.19)定义=(0,00)，则存在一致有界的连续函数A1,A2,使当0时， （10.1.22）这里上界对u0所取，0，00，并且o00。我们看到这个定理是上一定理的具体化。这里的A(u,),A1(u,0,00)，A2 (u,0,00)对应于上一定理的S(),S1(0,00)，S2(0,00)。我们再进一步把A、A1、A2的表达式写具体。在Radon变换中，取(x)=fG,结果记为A；取(x)=f,结果记为B，再记A1、B1为 （10.1.23） （10.1.24）令 （10.1.25）这里A1表示A1(u,0,00)在u=0x处取值，B1亦然。注意g(u)=A(u,)/B(u,)，以及(10.1.5)关于S()的定义，我们可以推出(10.1.20)中S1(0,00)的表达式 （10.1.26）类似还可推出S2(0,00)的表达式，不过太复杂。现在我们转到估计投影逼近。对应于(10.1.5)现在可以写为 （10.1.27）它的估计是，如(10.1.8)所示。对于g的估计是函数,如(10.1.7)所示。是两式之比，g(u|h)也是两式之比： （10.1.28）这里 （10.1.29） （10.1.30）而可以由下式准确给出一阶二阶导数： （10.1.31）下面我们叙述投影寻踪回归的收敛性质。从我们构造的算法看，主要需要证明一致收敛于S()，这将意味着的极小化参数收敛于S()的极小化参数1，即。有了这个结果，证明就容易了。我们还需要证明收敛速度。下面先看到S()的收敛性定理：定理10.1.3 设r2,0是的任一元素，f (x)与G(x)沿一切线方向的方向导数存在且在Rp上一致连续，f在一闭集之外为0，但在A上不为0，核函数K满足正交条件(10.1.15)，A是一非空p维开凸集，其边界有二阶连续导数。则存在一随机变量Tn,Tn不依赖于,但依赖于0,对任何,当n时， （10.1.32）这里 （10.1.33）再看时0的收敛性定理： 定理10.1.4 假设定理10.1.3的条件都满足，0给