CY非参数回归介绍.doc

非参数回归简介一、参数回归与非参数回归的特点无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。另一类回归，非参数回归，则与参数回归正好相反。它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。参数回归与非参数回归的优缺点比较：参数回归：优点： (1).模型形式简单明确，仅由一些参数表达(eg: y=a+bx+e, a,b为待估参数) (2).在经济中，模型的参数一般都具有明确的经济含义 (3).当模型参数假设成立，统计推断的精度较高，能经受实际检验 (4).模型能够进行外推运算 (5).模型可以用于小样本的统计推断缺点： (1).回归函数的形式预先假定 (2).模型限制较多：一般要求样本满足某种分布要求，随机误差满足正态假设，解释变量间独立，解释变量与随机误差不相关，等 (3).需要对模型的参数进行严格的检验推断，步骤较多 (4).模型泛化能力弱，缺乏稳健性，当模型假设不成立，拟合效果不好，需要修正或者甚至更换模型非参数回归：优点； (1).回归函数形式自由，受约束少，对数据的分布一般不做任何要求 (2).适应能力强，稳健性高，回归模型完全由数据驱动 (3).模型的精度高(4).对于非线性、非齐次问题，有非常好的效果缺点： (1).不能进行外推运算 (2).估计的收敛速度慢 (3).一般只有在大样本的情况下才能得到很好的效果，而小样本的效果较差 (4).高维诅咒, 光滑参数的选取一般较复杂二、非参数回归的方法简介非参数回归方法样条光滑正交回归核回归：N-W估计、P-C估计、G-M估计局部多项式回归：线性、多项式 光滑样条：光滑样条、B样条近邻回归：k-NN、k近邻核、对称近邻正交级数光滑局部回归Fourier级数光滑wavelet光滑处理高维的非参数方法：多元局部回归、薄片样条、可加模型、投影寻踪、回归树、张量积等。回归模型：设Y为被解释变量，X为解释变量，当X为维随机变量时，为的相互独立观测样本。非参数回归模型如下： （1）其中为相互独立同分布随机变量，满足期望，方差。是未知的函数,目标是要把估计出来。易知，。权函数方法非参数回归的基本方法有核函数法，最近邻函数法，局部多项式方法、样条函数法，小波函数法。这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Yi的线性组合的某种权函数。也就是说，回归函数的估计总可以表为下述形式： （2）其中Wi(X)称为权函数。这个表达式表明，总是Yi的线性组合，一个Yi对应一个Wi。不过Wi与Xi倒没有对应关系，Wi如何生成，也许不仅与Xi有关，而且可能与全体的Xi或部分的Xi有关，要视具体函数而定，所以Wi(X)写得更细一点应该是Wi(x；X1，,Xn)。这个权函数形式实际也包括了线性回归。如果，则，也是Yi的线性组合。在一般实际问题中，权函数都满足下述条件：（3） 下面我们结合具体回归函数看权函数的具体形式。 1核函数法（N-W估计） 选定Rd空间上的核函数K，一般取概率密度。令 （4）显然。此时回归函数就是 （5）核函数估计的基本性质：定理1.设模型（1）中的的N-W核函数估计为（2）式，且满足以下条件： (A1) (A2) (A3) (A4) 则对每一,的连续点，以及，有2.近邻权函数估计 近邻权估计不同于核估计的构建，核估计是在某固定邻域内所对应的解释变量的局部加权平均，估计的好坏主要在于核函数及光滑参数的选取。由核估计的定义知道，核估计的边界点的偏差将大于内点处的偏差。也就是说，核估计存在边界效应问题。而近邻权估计是用最靠近的个观察值所对应的个解释变量的加权平均值。由核函数的选择不同，分为近邻均匀权估计与近邻核权估计。非参数模型（1）的近邻均匀权估计为 其中令，为正整数，.显然决定了权的大小及参加平均的的多少，实际上类似于N-W估计中的光滑参数，较大时，会提高近邻均匀权估计的光滑度。3.局部多项式估计局部多项式估计使用局部广义最小二乘的思想，依靠局部多项式逼近.设在处的阶导数存在，为邻域内的任一点，则的Taylor展开式为 （6）因此,可以视为待估参数，令，则（6）式可写为 （7）这里为的观测样本。 。由WLSE解上式得.于是在（6），（7）中：当取遍的样本点时，可以得到整个曲线的估计。LPE估计的主要优点为：可以同时用于当X为随机或者固定设计的形式，并同时给出所有阶的估计。更重要的是不必修正边界。不难发现，N-W回归估计（*）是（7）局部多项式估计的特例。事实上，当时，若令，则 此时即为N-W估计（亦称局部常数估计），同理可考察。对于样条光滑估计、傅里叶级数光滑估计、小波估计等估计方法由于时间原因这里不做介绍了。 光滑参数的选取光滑参数（即窗宽）过小，随机误差所产生的噪音得不到排除，是没有意义的估计，过大，会得到过分光滑的曲线，因此对窗宽的选择是衡量核估计精度的重要因素。关于窗宽的选择有三种方法：直接插入法、交错鉴定法、惩罚函数法，其中交错鉴定法是选择窗宽的一个常用方法，其基本思路是最小化下面的“交叉核实”目标函数： （8）其中，是剔除后由余下个样本数据估计出来的核回归估计量,是一个权函数。最优窗宽的交叉核实估计量定义为最小化上面的目标函数，即： 一般情况下，实际中根据经验选取窗宽的时候也比较多。 三、非参数回归的现实应用例子: 数据选用1998年1月至2012年3月的居民消费价格指数（CPI）和货币供应量M0，数据来源自中国人民银行网站及中经网。模型中因变量为CPI,解释变量为M0,我们先用线性回归模型进行估计, 再用非参数回归方法中的局部多项式估计方法, 对上面的各个模型的估计结果进行比较以确定最合适的模型。以下结果均使用R软件编程实现。线性回归的结果如下: Estimate Std. Error t value Pr(|t|) (Intercept) 9.847e+01 3.756e-01 262.19 2e-16 *m0 1.375e-04 1.391e-05 9.89 2e-16 *Multiple R-squared: 0.3666, Adjusted R-squared: 0.3628图1 CPI与M0线性回归结果从图1我们可以看出，虽然我们能得到CPI与M0之间的直线关系，但是直观上看很多点距离直线的距离较大，也就是估计的误差比较大。用这种一元回归得到的预测也不一定准确。 图2为标准差的Q-Q图，可以看出残差并不是服从正态分布。用线性回归模型做两者关系的拟合并不理想。图2 线性回归残差Q-Q图局部多项式回归拟合结果如下:图 3 局部多项式拟合结果图4为窗宽h放大四倍后的图形：图4 窗宽放大四倍后的拟合结果从图3，图4可以看出用非参数方法得到的拟合图像精确度较高，经计算，求得参数回归估计的MSE为4.259762，而非参数回归估计的MSE仅为 ，也支持上述结论。四、结论从上述工作中我们可以看出LPE回归的拟合值与观测值基本一致，估计精度高。从图3中我们可以看出通货膨胀率与货币供应量并不完全是正相关关系。我们可以看到在M0达到30000亿前，CPI基本上是随着M0的增加而成上涨趋势，而从M0达到30000亿起，也就是2008年年初起至2009年8月，CPI出现了较大幅度的下降，这与金融危机的影响是密不可分的。从09年9月至11年6月，CPI缓慢上涨。11年7月至今随着国家控制物价的力度越来越大，CPI并没有随着M0的进一步扩大而上涨而是逐渐回归到较低的数值。参考文献：【1】叶阿忠.非参数和半参数计量经济模型理论M. 北京；科学出版社，2008【2】李竹渝等.经济、金融计量学中的非参数估计技术M. 北京；科学出版社，2007【3】古佳.非参数回归模型的研究与应用J.附1：R程序library(KernSmooth)m0=scan(m0.txt)cpi=scan(cpi.txt)plot(m0,cpi)#非参数局部多项式回归拟合（LPE）h=dpill(m0,cpi)#直接插入法选取光滑参数fit=locpoly(m0,cpi,bandwidth=h,gridsize=171)lines(fit,lwd=2)附2:时间M0供应量(亿元)季节调整后cpi季节调整后时间M0供应量(亿元)季节调整后cpi季节调整后时间M0供应量(亿元)季节调整后cpi季节调整后199801 11030.616100.08200110 14989.3305100.16200507 22160.118101.63199802 10296.50999.884200111 15135.983799.747200508 22293.866101.2199803 10258.63100.85200112 15253.074399.523200509 22442.61100.88199804 10205.35699.844200201 14221.094998.945200510 22698.538101.23199805 10447.60599.15200202 15683.1618100.16200511 23055.167101.46199806 10368.68898.797200203 15715.294999.277200512 23446.373101.41199807 10583.91298.511200204 15841.284298.752200601 24911.758102.03199808 10625.43598.642200205 15970.176398.863200602 23101.952101.09199809 10615.40898.748200206 15997.122399.15200603 23748.377100.78199810 10853.06698.738200207 16137.530998.942200604 24158.196101.25199811 10894.02998.729200208 16387.659599.2200605 24476.1101.41199812 10875.65898.702200209 16356.576499.464200606 24696.853101.42199901 10108.0898.629200210 16578.047399.196200607 24843.404100.84199902 12086.57498.702200211 16769.802799.403200608 25263.582101.25199903 11413.50798.346200212 16800.894399.45200609 25868.679101.48199904 11255.26197.932200301 18110.1679100.37200610 25918.623101.41199905 11394.66797.922200302 16886.7783100.42200611 26283.338102199906 11598.4297.97200303 17322.5477100.96200612 26457.035102.61199907 11806.4898.502200304 17405.5582101.04200701 23675.85102.41199908 11938.58798.721200305 17865.2775100.64200702 28970.672102.8199909 12352.97499.444200306 17936.9459100.21200703 27686.437103.3199910 12566.7199.262200307 18213.9422100.35200704 27853.641103.03199911 12748.27399.054200308 18361.0716100.77200705 27860.915103.4199912 13069.40898.737200309 18450.222101.19200706 28244.034104.34200001 13592.00299.669200310 18895.2498101.83200707 28564.425105.49200002 13206.454100.73200311 18936.7625103.16200708 29071.581106.5200003 13333.61499.927200312 19220.2693103.05200709 29232.385106.19200004 13697.14699.812200401 19016.9701103.2200710 29417.531106.49200005 13681.525100.17200402 18720.95102.36200711 29873.711106.91200006 13839.494100.54200403 19540.3513103.02200712 29696.337106.34200007 13864.055100.38200404 19849.9649103.85200801 30961.047107.35200008 13992.514100.29200405 19872.4305104.35200802 30789.461108.72200009 13997.998100.24200406 20081.6101104.91200803 30727.567108.28200010 14060.2999.909200407 20334.8653105.13200804 30879.039108.53200011 14191.725101.29200408 20369.3334105.15200805 31413.153107.72200012 14233.659101.27200409 20682.5801105.24200806 31680.03107.07200101 14423.472101.1200410 20797.8943104.35200807 32054.87106.23200102 14067.226100.09200411 20770.8298102.96200808 32235.759104.94200103 14497.584100.9200412 20917.3587102.22200809 31972.61104.6200104 14619.014101.69200501 20471.4284101.95200810 32529.677103.97200105 14579.293101.71200502 21344.9725104.15200811 32596.774102.33200106 14808.631101.37200503 21507.9477102.71200812 33547.559101.09200107 14810.496101.37200504 21646.2809101.86200901 34568.38101.2200108 15001.575100.94200505 21707.8191101.79200902 33438.60398.387200109 15179.048100.1200506 21977.9898101.5200903 34055.20398.807时间M0供应量(亿元)季节调整后cpi季节调整后时间M0供应量(亿元)季节调整后cpi季节调整后时间M0供应量(亿元)季节调整后cpi季节调整后200904 34397.18298.519201004 39843.845102.84201104 45713.582105.35200905 34900.17598.6