已阅读5页,还剩8页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
非参数回归简介非参数回归简介 一 参数回归与非参数回归的特点一 参数回归与非参数回归的特点 无论是线性回归还是非线性回归 其回归函数形式都是已知的 只是其中参数待定 所以可称为参数回归 参数回归的最大优点是 回归结果可以外延 但其缺点也不可忽视 就是回归形式一旦固定 就比较呆板 往往拟合效果较差 另一类回归 非参数回归 则与 参数回归正好相反 它的回归函数形式是不确定的 其结果外延困 难 但拟合效果却比较好 参数回归与非参数回归的优缺点比较 参数回归与非参数回归的优缺点比较 参数回归 优点 1 模型形式简单明确 仅由一些参数表达 eg y a bx e a b 为待估参数 2 在经济中 模型的参数一般都具有明确的经济含义 3 当模型参数假设成立 统计推断的精度较高 能经受实 际检验 4 模型能够进行外推运算 5 模型可以用于小样本的统计推断 缺点 1 回归函数的形式预先假定 2 模型限制较多 一般要求样本满足某种分布要求 随机 误差满足正态假设 解释变量间独立 解释变量与随机误差不相关 等 3 需要对模型的参数进行严格的检验推断 步骤较多 4 模型泛化能力弱 缺乏稳健性 当模型假设不成立 拟 合效果不好 需要修正或者甚至更换模型 非参数回归 优点 1 回归函数形式自由 受约束少 对数据的分布一般不做 任何要求 2 适应能力强 稳健性高 回归模型完全由数据驱动 3 模型的精度高 4 对于非线性 非齐次问题 有非常好的效果 缺点 1 不能进行外推运算 2 估计的收敛速度慢 3 一般只有在大样本的情况下才能得到很好的效果 而小 样本的效果较差 4 高维诅咒 光滑参数的选取一般较复杂 二 非参数回归的方法简介二 非参数回归的方法简介 非非 参参 数数 回回 归归 方方 法法 样条光滑 正交回归 核回归 N W估计 P C估计 G M 估计 局部多项式回归 线性 多项式 光滑样条 光滑样条 B样条 近邻回归 k NN k近邻核 对称近 邻 正交级数光滑 局部回归 Fourier级数光滑 wavelet光滑 处理高维的非参数方法 多元局部回归 薄片样条 可加模型 投影寻踪 回归树 张量积等 回归模型回归模型 设 Y 为被解释变量 X 为解释变量 当 X 为 维随机d 变量时 为的相互独立观测样本 非参数 1 d X YR ii X Y X Y 回归模型如下 1 其中 为相互独立同分布随机变量 满足期望 方差 i e0 i Ee 是未知的函数 目标是要把估计出来 易知 2 i Var e i m X i m X E Y Xxm x 权函数方法权函数方法 非参数回归的基本方法有核函数法 最近邻函数法 局部多项式 方法 样条函数法 小波函数法 这些方法尽管起源不一样 数学 形式相距甚远 但都可以视为关于 Yi的线性组合的某种权函数 也 就是说 回归函数的估计总可以表为下述形式 m x m x 2 1 n ii i m xW x Y 其中 Wi X 称为权函数 这个表达式表明 总是 Yi的线性组 m x 合 一个 Yi对应一个 Wi 不过 Wi与 Xi倒没有对应关系 Wi如何生 成 也许不仅与 Xi有关 而且可能与全体的 Xi 或部分的 Xi 有关 要视具体函数而定 所以 Wi X 写得更细一点应该是 Wi x X1 Xn 这个权函数形式实际也包括了线性回归 如果 则 也是 Yi的线性组合 iii XY 1 iii XXX XX Y 在一般实际问题中 权函数都满足下述条件 1 2 iii Ym Xe in 3 11 1 0 1 n inin i W x XXW x XX 下面我们结合具体回归函数看权函数的具体形式 1 核函数法 N W 估计 选定 Rd空间上的核函数 K 一般取概率密度 令 4 1 1 n ii in i nn XxXx W x XXKK hh 显然 此时回归函数就是 n i i W 1 1 5 11 1 i nn nN W nniii n ii i i n Xx K h YmxWx YY Xx K h 核函数估计的基本性质 定理 1 设模型 1 中的的 N W 核函数估计为 2 式 且 m x 满足以下条件 A1 K u du A2 lim 0 u uK u A3 2 EY A4 0 nn nhnh 则对每一 的连续点 以及 有 m x f x 2 Var Y Xxx 0 X fx 1 n PN W niin i Wx Ymxm x 2 近邻权函数估计k 近邻权估计不同于核估计的构建 核估计是在 某固定邻域内所kx 对应的解释变量的局部加权平均 估计的好坏主要在于核函数及光 滑参数的选取 由核估计的定义知道 核估计的边界点的偏差将大 于内点处的偏差 也就是说 核估计存在边界效应问题 而 近邻k 权估计是用最靠近 的 个观察值所对应的 个解释变量的加权平均xkk 值 由核函数的选择不同 分为 近邻均匀权估计与 近邻核权估计 kk 非参数模型 1 的 近邻均匀权估计为k 1 n nnii i m x kWx Y 其中 1 0 xk ni iJ Wxk 其他 令 为正整数 显然决1kn xki Ji Xxk 为离最近的个观测值之一k 定了权的大小及参加平均的 的多少 实际上类似于 N W 估计中 i Yk 的光滑参数 较大时 会提高 近邻均匀权估计的光滑度 n hkk 3 局部多项式估计 局部多项式估计使用局部广义最小二乘的思想 依靠局部多项式 逼近 设在处的阶导数存在 为 邻域内的任一点 i Y m xXt 1p xt 则的 Taylor 展开式为 m x 6 p p mt m xm tm txtxt p 因此 可以视为待估参数 令 p m t m tmt 则 6 式可写为 0 1 j j m tjjp 7 01 p ipi m xXtXt 这里为的观测样本 11 nn X YXY X Y 由 WLSE 解上式得 1201 TT nn YY YY 1 X WXX WY 于是在 6 7 中 01 T p 0 j j m tmtj 当 取遍的样本点时 可以得到整个曲线的估计 LPE 估tX LPE np mA 计的主要优点为 可以同时用于当 X 为随机或者固定设计的形式 并同时给出所有 阶的估计 更重要的是不必修正边界 m Ar r m A r m A 不难发现 N W 回归估计 是 7 局部多项式估计的特例 0p 事实上 当时 若令 则0p 1 1 1 1 i nn n n Xx xWdiagK hh 此时即为 N W 估计 亦称局部常数估计 同理可考 00 LPE n mx 察 11 LPE n mx 对于样条光滑估计 傅里叶级数光滑估计 小波估计等估计方法 由于时间原因这里不做介绍了 光滑参数的选取 光滑参数 即窗宽 过小 随机误差所产生的噪音得不到排除 n h 是没有意义的估计 过大 会得到过分光滑的曲线 因此对窗宽 n h 的选择是衡量核估计精度的重要因素 关于窗宽的选择有三种 n h n h 方法 直接插入法 交错鉴定法 惩罚函数法 其中交错鉴定法是 选择窗宽的一个常用方法 其基本思路是最小化下面的 交叉核实 目标函数 8 2 1 n ni ii i i CV hX YmX 其中 是剔除后由余下个样本数据估计出来的核回归 i i mx i x1n 估计量 是一个权函数 最优窗宽的交叉核实估计量定义为 i x CV h 最小化上面的目标函数 即 argmin n CVn h hCV h 一般情况下 实际中根据经验选取窗宽的时候也比较多 三 非参数回归的现实应用三 非参数回归的现实应用 例子 数据选用1998年1月至2012年3月的居民消费价格指数 CPI 和货币供应量M0 数据来源自中国人民银行网站及中经网 模型中因变量为CPI 解释变量为M0 我们先用线性回归模型进行估 计 再用非参数回归方法中的局部多项式估计方法 对上面的各个 模型的估计结果进行比较以确定最合适的模型 以下结果均使用R软件编程实现 线性回归的结果如下 Estimate Std Error t value Pr t Intercept 9 847e 01 3 756e 01 262 19 2e 16 m0 1 375e 04 1 391e 05 9 89 2e 16 Multiple R squared 0 3666 Adjusted R squared 0 3628 图 1 CPI 与 M0 线性回归结果 从图 1 我们可以看出 虽然我们能得到 CPI 与 M0 之间的直线关 系 但是直观上看很多点距离直线的距离较大 也就是估计的误差 比较大 用这种一元回归得到的预测也不一定准确 图 2 为标准差的 Q Q 图 可以看出残差并不是服从正态分布 用 线性回归模型做两者关系的拟合并不理想 图 2 线性回归残差 Q Q 图 局部多项式回归拟合结果如下 图 3 局部多项式拟合结果 图 4 为窗宽 h 放大四倍后的图形 图 4 窗宽放大四倍后的拟合结果 从图 3 图 4 可以看出用非参数方法得到的拟合图像精确度较高 经计算 求得参数回归估计的 MSE 为 4 259762 而非参数回归估计 的 MSE 仅为 也支持上述结论 四 结论四 结论 从上述工作中我们可以看出 LPE 回归的拟合值与观测值基本一致 估计精度高 从图 3 中我们可以看出通货膨胀率与货币供应量并不 完全是正相关关系 我们可以看到在 M0 达到 30000 亿前 CPI 基 本上是随着 M0 的增加而成上涨趋势 而从 M0 达到 30000 亿起 也就是 2008 年年初起至 2009 年 8 月 CPI 出现了较大幅度的下降 这与金融危机的影响是密不可分的 从 09 年 9 月至 11 年 6 月 CPI 缓慢上涨 11 年 7 月至今随着国家控制物价的力度越来越大 CPI 并没有随着 M0 的进一步扩大而上涨而是逐渐回归到较低的数值 参考文献 参考文献 1 叶阿忠 非参数和半参数计量经济模型理论 M 北京 科学 出版社 2008 2 李竹渝等 经济 金融计量学中的非参数估计技术 M 北京 科学出版社 2007 3 古佳 非参数回归模型的研究与应用 J 附 1 R 程序 library KernSmooth m0 scan m0 txt cpi scan cpi txt plot m0 cpi 非参数局部多项式回归拟合 LPE h dpill m0 cpi 直接插入法选取光滑参数 fit locpoly m0 cpi bandwidth h gridsize 171 lines fit lwd 2 附 2 时间M0 供应量 亿元 季节调整后 cpi 季 节调整 后 时间M0 供应量 亿元 季节调整后 cpi 季节 调整后 时间M0 供应量 亿元 季节调整后 cpi 季节调 整后 199801 11030 616 100 08200110 14989 3305100 16200507 22160 118101 63 199802 10296 509 99 884200111 15135 983799 747200508 22293 866101 2 199803 10258 63 100 85200112 15253 074399 523200509 22442 61100 88 199804 10205 356 99 844200201 14221 094998 945200510 22698 538101 23 199805 10447 60599 15200202 15683 1618100 16200511 23055 167101 46 199806 10368 688 98 797200203 15715 294999 277200512 23446 373101 41 199807 10583 912 98 511200204 15841 284298 752200601 24911 758102 03 199808 10625 435 98 642200205 15970 176398 863200602 23101 952101 09 199809 10615 408 98 748200206 15997 122399 15200603 23748 377100 78 199810 10853 066 98 738200207 16137 530998 942200604 24158 196101 25 199811 10894 029 98 729200208 16387 659599 2200605 24476 1101 41 199812 10875 658 98 702200209 16356 576499 464200606 24696 853101 42 199901 10108 08 98 629200210 16578 047399 196200607 24843 404100 84 199902 12086 574 98 702200211 16769 802799 403200608 25263 582101 25 199903 11413 507 98 346200212 16800 894399 45200609 25868 679101 48 199904 11255 261 97 932200301 18110 1679100 37200610 25918 623101 41 199905 11394 667 97 922200302 16886 7783100 42200611 26283 338102 199906 11598 4297 97200303 17322 5477100 96200612 26457 035102 61 199907 11806 48 98 502200304 17405 5582101 04200701 23675 85102 41 199908 11938 587 98 721200305 17865 2775100 64200702 28970 672102 8 199909 12352 974 99 444200306 17936 9459100 21200703 27686 437103 3 199910 12566 71 99 262200307 18213 9422100 35200704 27853 641103 03 199911 12748 273 99 054200308 18361 0716100 77200705 27860 915103 4 199912 13069 408 98 737200309 18450 222101 19200706 28244 034104 34 200001 13592 002 99 669200310 18895 2498101 83200707 28564 425105 49 200002 13206 454 100 73200311 18936 7625103 16200708 29071 581106 5 200003 13333 614 99 927200312 19220 2693103 05200709 29232 385106 19 200004 13697 146 99 812200401 19016 9701103 2200710 29417 531106 49 200005 13681 525 100 17200402 18720 95102 36200711 29873 711106 91 200006 13839 494 100 54200403 19540 3513103 02200712 29696 337106 34 200007 13864 055 100 38200404 19849 9649103 85200801 30961 047107 35 200008 13992 514 100 29200405 19872 4305104 35200802 30789 461108 72 200009 13997 998 100 24200406 20081 6101104 91200803 30727 567108 28 200010 14060 29 99 909200407 20334 8653105 13200804 30879 039108 53 200011 14191 725 101 29200408 20369 3334105 15200805 31413 153107 72 200012 14233 659 101 27200409 20682 5801105 24200806 31680 03107 07 200101 14423 472101 1200410 20797 8943104 35200807 32054 87106 23 200102 14067 226 100 09200411 20770 8298102 96200808 32235 759104 94 200103 14497 584100 9200412 20917 3587102 22200809 31972 61104 6 200104 14619 014 101 69200501 20471 4284101 95200810 32529 677103 97 200105 14579 293 101 71200502 21344 9725104 15200811 32596 774102 33 200106 14808 631 101 37200503 21507 9477102 71200812 33547 559101 09 200107 14810 496 101 37200504 21646 2809101 86200901 34568 38101 2 200108 15001 575 100 94200505 21707 8191101 79200902 33438 60398 387 200109 15179 048100 1200506 21977 9898101 5200903 34055 20398 807 时间M0 供应量 亿元 季节调整后 cpi 季 节调整 后 时间M0 供应量 亿元 季节调整后 cpi 季节 调整后 时间M0 供应量 亿 元 季节调整后 cpi
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年河南省西学中题库及答案
- 2026年文献选读模拟试卷目(含答案)
- 2026年国家公务员考试(国考)行测点睛题库及答案
- 2026年农资肥料考试题库及答案
- 2026年维修电工技师题库及参考答案
- 2026年信息素养学赛题库带答案
- 2026年江西大学考试题库及参考答案
- 2026年精神障碍护理实践题库及参考答案
- 2026年护理人员层级N2理论考核题库及参考答案
- 2026年能源地质学题库及参考答案
- 2025年中国职场人亚健康情况调查研究报告
- 音乐职高说课课件
- 美食城经营管理合同范本
- 直流系统培训课件
- 佣金合同协议书
- 《人才盘点完全应用手册》
- 人员推销课件
- 2024年共青团团课考试测试题库及答案
- 特殊教育教师职业生涯规划
- 医学大数据分析 课件 第1章 医学大数据概述
- 《急性会厌炎》课件
评论
0/150
提交评论