【《基于弹性网的方差推断分析案例》2600字】

基于弹性网的方差推断分析案例目录TOC\o"1-3"\h\u19880基于弹性网的方差推断分析案例 1139251.1系数估计 1241891.1.1Lasso 198451.1.2ElasticNet 362061.2方差估计 416671.3渐近性质 8201671.1.1相合性 8253281.1.2渐近正态性 8115291.4同时置信区间 11考虑到在进行统计推断之前，如回归系数、方差的假设检验、预测的区间估计等，一个有效合理的方差估计是非常重要的，因此，本章考虑给出一个较为合理的方差估计，利用弹性网来进行线性模型中误差方差的估计。1.1系数估计由于在进行方差估计时，我们利用的是残差平方和均值，其中涉及回归系数的估计。关于回归系数的估计问题，因为弹性网回归组合了Lasso回归与岭回归，而关于Lasso回归的中的L1范数，属于不可导的，因此，此处先来介绍一下Lasso回归在求解相关的系数估计时所做的工作。1.1.1Lasso针对岭回归中没有变量选择的问题，有学者提出了Lasso回归，因为与岭回归的二次惩罚函数相比，Lasso的一次惩罚函数能减小变量系数的收缩程度，所以Lasso不仅能把非0的预测变量系数向0收缩,而且能选择出那些价值较大的预测变量(值大的预测变量)，从而选出较为准确的模型。但是Lasso回归具有较强的稀疏性假设，因此在Lasso回归求解过程中，若设计矩阵规模为，那么此时最多只能得到个变量。尤其当时，最多只能选出n个预测变量，所以在这种情况下，Lasso回归方法就不能选出最真实的模型。另外，当预测变量具有群组效应的时候，利用Lasso回归只能选出其中一个变量。当且预测变量具有较强的共线性时，若此时用Lasso回归，其结果会受到岭回归的影响。Lasso回归的目标函数是3-(1)令3-(2)由于它的损失函数并非连续可导的，L1范数利用的是绝对值之和，导致损失函数存在不可导的点。此时我们的最小二乘法、梯度下降法、牛顿法与拟牛顿法对它都不起作用了。这里为了求含有这个L1范数的损失函数极小值，考虑用KKT条件对其求解。KKT条件是拉格朗日乘子法的拓展，也是一种非常常用的用于解决最优化问题的手段。它的指定作用域包含了不等式，即KKT条件是求解带有不等式约束的最优化问题。假设我们有如下的最优化问题：3-(3)那么该问题的拉格朗日函数为：KKT条件包括平稳条件、互补松弛条件、对偶可行性条件、原问题可行性条件等几类。上述问题的KKT条件如下：3-(4)正如Jasonetal.(2016)[7]在文中介绍道，利用KKT条件求得Lasso回归的回归参数解。其中的KKT条件为：3-(5)最终求得的解为：3-(6)1.1.2ElasticNet2005年相关研究者基于岭回归与Lasso回归提出了弹性网回归,弹性网回归的惩罚函数为，它是Lasso回归惩罚函数与岭回归惩罚函数的凸组合，使得它既可以解决具有群组效应的预测变量，又可以像Lasso回归那样进行变量选择，得到一个较为简洁准确的模型。弹性网回归考虑优化问题，得到其估计量为3-(7)其中为正则化参数，弹性网不仅具有L1正则化的稀疏性，同时兼顾了选择组相关变量的能力，使得尽可能多的数据的重要特征变量被保留，具体可以分析下面的公式。令，由此得到公式3-(7)的等价形式如下：3-(8)由3-(8)式可以看出，是Lasso回归与岭回归估计方法惩罚函数的凸组合，当时，弹性网回归变为岭回归，而当时，弹性网回归又成为Lasso回归，因此可以得出本文中所讨论的弹性网回归兼具岭回归与Lasso回归的优点，从而在很多方面都具有更加优良的表现，也具有更加广泛的应用。通过比较发现，岭回归虽然给出一个拟合模型，但没有进行变量选择，容易导致回归结果失真；Lasso回归虽然能得到一个较为简洁的模型，但是容易忽略某些具有群组效应的预测变量，导致模型不符合实际。结果表明，弹性网回归一方面达到了岭回归对重要特征选择的目的，另一方面又像Lasso回归那样，删除了对因变量影响较小的特征，取得了很好的效果。基于弹性网回归的目标函数3-(7)所示，以及求解Lasso回归时所用的KKT条件，得到求解弹性网回归中的系数估计。弹性网回归的KKT条件为：3-(9)得到系数向量估计过程如下：最终得到回归系数的估计值为：3-(10)其中，，。1.2方差估计由于弹性网回归是结合岭回归与Lasso回归产生的，因此具备两者的优点，在估计误差方面也会表现得较为优秀。基于1.1节中得到的系数估计3-(10)式，残差平方和的均值可以表示为，3-(11)其中，因此，参考前面提到的关于岭回归估计误差方差的方法，我们可以得到对3-(11)式的进一步推算，3-(12)其中，,并且是维的单位矩阵。然后，我们将的具体表达形式代入3-(12)式，继续进行推算，从而得到，3-(13)在3-(13)式中，对于前两项的处理方式，我们参照岭回归估计误差方差中的方式，保留，由于其中的，因此上式可以省略。另外，对3-(13)式剩余部分即，对里面的第二项进行如下的缩放处理：3-(14)上式成立的条件是3-(15)因此，我们最终将3-(13)式化简成下面3-(16)式的样子，3-(16)对于公式3-(16)中的满足如下命题1：命题1：3-(17)（1）计算3-(18)3-(19)其中是的最小特征值，和分别是X上的条件均值与条件方差。若，则有3-(20)（2）计算当时，我们有：3-(21)（3）计算令，又因为，并且3-(22)由2.1节中的引理2可知，3-(23)所以可以得到：3-(24)由上述命题中的所有公式可得：在满足的且条件，有3-(25)最终得到的误差方差的表达式为：3-(26)由此得到有关基于线性模型下利用弹性网估计得到的误差方差值为，。3-(27)1.3渐近性质在介绍方差估计量的有关性质及其相关证明之前，首先给出以下假设。假设6：当n趋近于无穷大的时候，有。1.1.1相合性通过对我们推导得到的方差估计表达式进行分析发现，估计值是具有相合性的，即估计值无限接近于真值。定理1：在满足假设2到假设6的条件下，并且，可以得到，，估计值无限接近于真值，具有相合性。证明：对于3-(26)式中的，根据公式3-(23)可知，，3-(28)从而我们的估计值有：3-(29)即证明了估计值的相合性，有。1.1.2渐近正态性由于现在科技的飞速发展，数据大都呈现出高维度、大样本的特征，因此在进行统计推断时会有一定的麻烦，由此就出现了大数定律，也叫渐近正态性，它是指当样本量趋于无穷大的时候，统计量的估计值是渐近服从于正态分布，正态分布的均值与方差分别是估计量的均值与方差。通过分析发现，本文得到的方差估计值也是具有渐近正态性的。定理2：在满足假设2到假设6的条件下，并且有，3-(30)则在时，有3-(31)其中3-(32)。3-(33)证明：3-(34)3-(35)其中，关于各部分的计算推导如下，3-(36)3-(37)3-(38)因此估计值的方差可以表示为，3-(39)另外对于其中的分母，因为由2.1节中的引理2知：，所以3-(40)最终估计值的方差为，3-(41)1.4同时置信区间基于得到的上面3-(9)式方差估计表达式，接下来讨论同时置信区间估计，在2.2节中，我们已经介绍了两种构造同时置信区间的方法，基于前面介绍的方法我们得到了针对本文的两种同时置信区间估计，分别是Bonferroni方法和Scheffe方法，总的表达式是：3-(42)首先是Bonferroni方法，由此得到待预测m个因变量的同时置信区间为：