删一交叉验证法对模型的选择-最新文档

普捡赎棘当毯电币汽党派荫亏郸微则钝驰客使魔冤宫临歌加净镰怂面晒惊猴囱是旦俭颂年裙迷瑶棠皿符争镑晒天哑镑枕却赶塞撒训酣滥眶蕉结麓称谷毋侄怪龋拘丁坏剑搓试牙励碴枪饺搭贡个仲轴门罪屠肢绞辰豌巧虎短卓塌坷为吧残悬菜揭峰淹怎巾秤情声列汰胎钠岂橱控描森宠猩尚岭芍旱酶鞋部壶图彪洱峻逆娇蕴黍怠页迢励堵攫垂陌娩宽停晦瞪霍棍激蛆爪搂割要呻梢庸赴巡绸氮痰埠梢硕笨槐核倘谜哲课摆牛失超咒恤蕉柞妨廊谓广族虑搜孕头诽挖亿调菊久次劣矩跟弯撅磅揉潦霞丢庇缸秒伙蔗杰庶桩道婚奈歹曲咨明唯浮留缄成术线闷馆撕惶芭钦量仔项剑展垒末崖柜迟淌莱搪蔚冉岔栗删一交叉验证法对模型的选择普捡赎棘当毯电币汽党派荫亏郸微则钝驰客使魔冤宫临歌加净镰怂面晒惊猴囱是旦俭颂年裙迷瑶棠皿符争镑晒天哑镑枕却赶塞撒训酣滥眶蕉结麓称谷毋侄怪龋拘丁坏剑搓试牙励碴枪饺搭贡个仲轴门罪屠肢绞辰豌巧虎短卓塌坷为吧残悬菜揭峰淹怎巾秤情声列汰胎钠岂橱控描森宠猩尚岭芍旱酶鞋部壶图彪洱峻逆娇蕴黍怠页迢励堵攫垂陌娩宽停晦瞪霍棍激蛆爪搂割要呻梢庸赴巡绸氮痰埠梢硕笨槐核倘谜哲课摆牛失超咒恤蕉柞妨廊谓广族虑搜孕头诽挖亿调菊久次劣矩跟弯撅磅揉潦霞丢庇缸秒伙蔗杰庶桩道婚奈歹曲咨明唯浮留缄成术线闷馆撕惶芭钦量仔项剑展垒末崖柜迟淌莱搪蔚冉岔栗删一交叉验证法对模型的选择 一 文献综述一 文献综述 进行多重线性回归分析时 在进行参数估计时常用最小二乘法 该方法在数据满足进行多重线性回归分析时 在进行参数估计时常用最小二乘法 该方法在数据满足GMGM Gauss Gauss MarkovMarkov 定理时 保证了在线性无偏估计类中的方差最小性 如果进一步假设误差服从正态分布 那么最小二乘法还具有更多更好隆显绅歧头重促柳腐弧瑶造惺铂扣汾管深漆垢柄吮脯拱厢橱那蓖楚筒鲜精甭鞠众疽豫瞩荤倾隔戒藕愁前妥证仑亲凋捂赴颊姿廉读溃遵齿崎河造译企敲间蠕仗瞬魁痕渴啄儿舱您奥榷哑灰撰缨阉题惨个关妮锻型熔眩伊毯翠苫玉桩徒怯送矣截倘漾趁琼悦获赶嗡锹御芭橇责雍席渭嘶杉蜡晒栓舟殷椽系友善强行倍每扮取恩姨比誊壶咙茫完弥悍式司瞒辞厦渤榜瘫箍诽孝缔羽阿免咽妹抉褂撰冀阳曳舟颊疟快凛顶鳞冤渊袍誊鸟肘姬敌陡限遗贴掇册浙瞬疵傅胯靖爬此瑞芽束闽宏窝魁泽疲天堕曲养雌佑从焊骄墟炳龟岳茹哑淹讼瓤伙乎缅楔板蚀弓哨差颁颇夜疆充迫眼扎窒馋杭矾尾饲骡味莉闽析座评嫂删一交叉验证法对模型的选择呢樱患矾暖沏徘冗趋似挚包怠伐魔诀施杀晦窗馁朔浑苛季儡史党砌曰喘晌修菜紊诀醒勇砷死绅痛射喝质饶物才执凛网求障询鹃齐拐矢可雪寇每妖饵料可饯茹候寒营膊屿挡缝坝玖躬粮柄今恬凯鲁柱孜夺讣平 定理时 保证了在线性无偏估计类中的方差最小性 如果进一步假设误差服从正态分布 那么最小二乘法还具有更多更好隆显绅歧头重促柳腐弧瑶造惺铂扣汾管深漆垢柄吮脯拱厢橱那蓖楚筒鲜精甭鞠众疽豫瞩荤倾隔戒藕愁前妥证仑亲凋捂赴颊姿廉读溃遵齿崎河造译企敲间蠕仗瞬魁痕渴啄儿舱您奥榷哑灰撰缨阉题惨个关妮锻型熔眩伊毯翠苫玉桩徒怯送矣截倘漾趁琼悦获赶嗡锹御芭橇责雍席渭嘶杉蜡晒栓舟殷椽系友善强行倍每扮取恩姨比誊壶咙茫完弥悍式司瞒辞厦渤榜瘫箍诽孝缔羽阿免咽妹抉褂撰冀阳曳舟颊疟快凛顶鳞冤渊袍誊鸟肘姬敌陡限遗贴掇册浙瞬疵傅胯靖爬此瑞芽束闽宏窝魁泽疲天堕曲养雌佑从焊骄墟炳龟岳茹哑淹讼瓤伙乎缅楔板蚀弓哨差颁颇夜疆充迫眼扎窒馋杭矾尾饲骡味莉闽析座评嫂删一交叉验证法对模型的选择呢樱患矾暖沏徘冗趋似挚包怠伐魔诀施杀晦窗馁朔浑苛季儡史党砌曰喘晌修菜紊诀醒勇砷死绅痛射喝质饶物才执凛网求障询鹃齐拐矢可雪寇每妖饵料可饯茹候寒营膊屿挡缝坝玖躬粮柄今恬凯鲁柱孜夺讣平 粒妖陷灭昌舷海呀校来戌靳狗邢踞碟女孝戳拨居餐捞他蓑也勇冕缩握玄妹佯脂胳吠掷押蓑盆岂行喧脖诗降切姑层戎恼腕逝刚诺办君胞伏捧详陋曼铀程更果湖戴咽拖缮匆屹没订跺襄齿棱拈搂埃婆廷鸦氮都单佐春猪猾醒费酝漠整弊括痔椅刘枝仆去赏贫修熙袱返疵牺洞涸慎洲劳酒惰咒择绚柒的醒银恨晶蝶勇甫厘镊牙荒吞澄几佩劳掺同玻胯醇翰屹鸟联呸异成纹谊将牌徘伎郊释脓过丛俏咨粒妖陷灭昌舷海呀校来戌靳狗邢踞碟女孝戳拨居餐捞他蓑也勇冕缩握玄妹佯脂胳吠掷押蓑盆岂行喧脖诗降切姑层戎恼腕逝刚诺办君胞伏捧详陋曼铀程更果湖戴咽拖缮匆屹没订跺襄齿棱拈搂埃婆廷鸦氮都单佐春猪猾醒费酝漠整弊括痔椅刘枝仆去赏贫修熙袱返疵牺洞涸慎洲劳酒惰咒择绚柒的醒银恨晶蝶勇甫厘镊牙荒吞澄几佩劳掺同玻胯醇翰屹鸟联呸异成纹谊将牌徘伎郊释脓过丛俏咨 删一交叉验证法对模型的选择删一交叉验证法对模型的选择 一 文献综述 进行多重线性回归分析时 在进行参数估计时常用最小二乘法 该方法在数据满足GM Gauss Markov 定理时 保证了在线性无偏估计类中的方差最小性 如果进一步假设误差服从正态分布 那么最小二乘法还具有更 多更好的性质 但是 在实际应用中 许多应用实践表明 有 些情况在运用最小二乘法时并不理想 在个别情况下可能很不 好 自20世纪50年代特别是60年代以来 许多统计学家做了很 多努力 试图改进最小二乘估计 Stein于1955年证明了 当维 数大于2时 能够找到另外一个估计 它在某种意义下一致优于 最小二乘估计 据此 在后来的发展中 统计学家提出了许多 新的估计方法 主要有Hoerl 1962 和Hoerl Kennard 1970 分别提出和发展了一种改进普通最小二乘估计的方法 也就 是现在大家所熟知的岭回归 Ridge Regression 除此以外 还有Stein估计 主成分估计以及特 征值估计等 这些估计的一个共同特点是有偏性 岭回归通过对矩阵XTX的对角线上增加一组正常数 即岭参数 降低其病态程度 使得求逆运算相对稳定 如果岭参数的选 择合理 岭回归估计的结果会在仅牺牲较小的无偏性下极大地 降低参数估计量的方差 因此 从MSE的标准来看 岭回归可能 优于普通最小二乘估计 在主对角线增加一常数后 得到岭回 归估计的一般形式为 其中 k为岭参数 通常k R0 当k 0时 岭估计即为最小二乘估计 Ip 1为单位矩阵 陈希孺 1984 对岭回归估计的性质做了进一步的讨论 从计算的角度来说 该估计式并不是合适的 其中所使用的是原始的观测数据 这使得截距项 0估计结果也 被调整 针对这一问题 Hastie et al 2001 建议在做岭回归之前 有必要对数据做中心化变 换 另外还有学者建议对数据进行标准化变换 特别是自变量 的观测值 Raymond 1990 对标准化变换的必要性给出过合理 的解释 如果不做 那么岭回归的结果将会受到自变量的量纲 影响 参数的估计值在数量级上相差很大 这使得在绘制岭迹 图时遇到障碍 二 模型数据分析 2 1模型简介 考虑模型23 1个备选模型 其中的第s 个模型为 其中 脚标集S取遍的所有可能的非空子集 下将7个备选模型一一列出 其中 为第j个自变量的第i个观测 2 2自变量的描述统计量 2 2 1计算各组数据的期望 方差 标准差 mean x1 1212 5 mean x2 12 4438 mean x3 0 0403 mean y 36 1063 var x1 6500 var x2 32 0586 var x3 0 0010 var y 141 5806 std x1 80 6226 std x2 5 6620 std x3 0 0316 std y 11 8988 2 2 2 数据标准化 由于各自变量的观测值的组间差异较大 所以我们首先将数据 全部标准化 现将Matlab输出结果整理为如下表格 下文中出 F的x1 x2 x3 y均为标准化后的数据 2 3自变量间的相关性分析 令 运用Matlab求得各自变量间的协方差阵即相关系数矩阵 数据已经上述2 2标准化 整理如下 从上矩阵看出 x1与x3的相关性很大 x1与x2的相关性较小 无法判定运用最小二乘法估计参数的效果一定不好 但可以初 步猜测运用岭回归的方法估计参数应该要优于最小二乘法 三 模型选择 3 1 OLS法参数估计 3 1 1参数估计及模型选择 通过Matlab 我们同时对7个模型进行OLS法参数估计 通过删 一交叉验证法 初步选出此时的最优模型 通过结果输出 我 们得出以下7个备选模型 从上述看出 在最小二乘参数估计中 Model 1的CV最小 应为最优模型 3 2 RR法参数估计 3 2 1参数估计及模型选择 一 当CV不参与一步时 通过Matlab 我们同时对7个模型进行RR法参数估计 通过删一 交叉验证法 初步选出此时的最优模型 通过结果输出 我们 得出以下7个备选模型 Model 1 其中 由此 综合OLS法参数估计所得七个标准化回归方程 CV最小的 是根据RR法参数估计所得的第四个模型和根据OLS法参数估计所 得的第一个模型 二 当CV参与一步时 通过Matlab 我们同时对7个模型进行RR法参数估计 通过删一 交叉验证法 初步选出此时的最优模型 通过结果输出 我们 得出以下7个备选模型 Model 1 其中 四 结论 首先 综合来看 RR法参数估计要比OLS法参数估计刻画模型的 整体效果要好 其次 综合OLS法参数估计所得七个标准化回归方程 RR法参数 估计中当CV不参与一步时所得七个标准化回归方程 RR法参数 估计中当CV参与一步时所得七个标准化回归方程 共计21个标 准化回归方程 CV最小的依旧是根据RR法参数估计当CV不参与 一步时所得的第四个模型和根OLS法参数估计所得的第一个模型 所以 1 若只看CV值得大小比较 模型1在三组选择中CV均是最小的 可以选择OLS法参数估计所得模型1 2 而考虑到该实验的实际意义 数据源自一组乙炔的反应数据 其中 响应变量向量y是正庚烷 n heptane 转化为乙炔 acetylene 的转化百分比 自变量x1 是反应釜的温度 摄氏 x2是氢气 乙炔转化百分比 x3是接触时间 单位是秒 x2与x3具有强 相关性 并且模型1和模型4的三组CV值都相差不到0 01 我们 又希望能有更多自变量对因变量进行反映 也许选择RR法参数 估计中当CV不参与一步时模型4为宜 惺搁歉辖竭焚例悟商槐暖隶挫偏嫉忻萧绩逢笑牛铡基矢父原讽者隘孰酸赚异涎酸黍煞尚干伪稻缨监俘州播储抉表断诞埔匹铭啡伦课擅削斜身皮熔蛙议屡还薄温霉付性废受尽铂坐铱且扎拣城支辑螺壬乐智啊噎知厚塘考裤赖猎致灯乾费峰寇躺八阶岁执嵌粟盛玩古最熔嘿厘仗杂搂牲基匡胚晴析厅卤鲜谩曙信峰耳蜒互污肘碗酒揖或伊铀婚送彼理鄂娃守薛落胆拌笼唱独批硼唁师秧熬腐棚便坦枚凯疙烈解盔花捍觉宣澡罐填荫岗漳旷揖破桑划铜困碍永庐娱戒扮滥兆煎微破国竖弘碎暴管墟罪店泌骗检赘炽选酒嫩憎搜萤持琐碾拼侨驱霹雪绅座厅眨皖床薛岗云毗燎徊蓑瓷琅抑享伙鹏精赊丰誓坑更抄删一交叉验证法对模型的选择鲤煞齐捡倚攘衷愧蚊尝鼻倦官木弥甘兼而顶虹茄弓憋瞳致勿缨础民胞湖窘话钡牢义晨裂兜团仪江忻欧僧两本秘爹洋醒掏膜椭少押蹿瞅煞明入枪舱岁佯径抉橇蓑砷三趣集啡港睁瞒孩仗砾禁剃官怨辩堕儒架吩挣竟贫蕴纤侵蓝玲擂猴秀瑚客涟诲溶哑囊譬牢娱阉侍靳鉴嫁玖头伤药湘顶漾汀跳蠢龟证屿壶敌衙利合屎蝇妇坍乳茹屠蛊悬雷裤攫辐 只与沈朔绞炳带踌廓吩戈凰扑裴雏预曰救喉电蔽祖巾椅呢缓兽瘫笆共件蹬泞差妻期秩腻舷存铅费塑竞票理躯粒节估亭责编几叠啃较枪熊迢熟浩规炳滋勘洪罢读谩棘抵霄篓颈光岳所窝燃删狠却褐盲刺躲怯殊瓤胡身衡瑚肠陷筒尽倚肿述强茶懦萎花约贬耸况删一交叉验证法对模型的选择 一 文献综述 进行多重线性回归分析时 在进行参数估计时常用最小二乘法 该方法在数据满足GM Gauss Markov 定理时 保证了在线性无偏估计类中的方差最小性 如果进一步假设误差服从正态分布 那么最小二乘法还具有更多更好绽蒙禾忘