多重共线性论文：高维多重共线性数据的变量选择问题.doc

多重共线性论文：高维多重共线性数据的变量选择问题【中文摘要】变量降维问题一直在统计研究学习以及实际应用领域起到至关重要的作用,对于存在多重共线性问题的数据,一般的最小二乘方法基本失效。本文介绍了一般的共线性变量选择方法包括惩罚的似然方法,如岭估计,桥估计和一些降维方法,如主成分回归,偏最小二乘回归以及高维数据降维方法Elastic Net方法。本文从新的角度来解释岭回归的惩罚作用,借助于这个方法我们为Elastic Net方法l2惩罚部分增加了权重,本文也提供了两种选择权重的方法,在保证了变量选择的有效性下,通过对实际数据以及模型的模拟验证了其有效地减小了预测误差。【英文摘要】Variables selection plays a pivotal role in the contemporary statistical learn-ing and practical backgrounds.For collinearity, ordinary least square regression tends to be inefficient.Some dimension reduction methods are introduced,such as penalized likelihood ridge estimator,bridge estimator,principal component re-gression,partial least square regression and high-dimensional variables selection method elastic net method.By giving a new explaination on ridge penalty,we add the weight to l2 penalty of elastic net method and two kinds of weight selection methods are proposed.The real data performance and numerical stimulations in-dicate that mean prediction error on the weighted elastic net can be improved.【关键词】多重共线性 岭估计 主成分回归 权重选择 Elastic Net【英文关键词】collinearity ridge regression principal component regression weight selction Elastic Net【目录】高维多重共线性数据的变量选择问题摘要8-9Abstract91 引言10-151.1 变量选择方法的历史回顾101.2 高维变量选择方法的回顾10-131.3 多重共线性问题以及危害13-141.4 文章的结构14-152 一般共线性的变量选择方法15-222.1 岭估计15-182.1.1 岭估计的引入152.1.2 岭估计的新角度解释15-172.1.3 岭估计与贝叶斯方法的联系172.1.4 岭估计变量选择的方法17-182.2 主成分回归与偏最小二乘方法18-202.2.1 主成分回归的提出与计算18-192.2.2 偏最小二乘方法19-202.3 Bridge Estimator20-222.3.1 Bridge Estimator的提出202.3.2 参数选择方法20-212.3.3 Bridge Estimator与贝叶斯方法的联系21-223 高维共线性数据参数估计以及变量选择方法22-293.1 Elastic Net定义与解22-233.2 与lasso的等价性23-243.3 组效应24-253.4 处理共线性问题25-263.5 与贝叶斯方法的联系26-273.6 适应性的elastic net方法及其大样