变量选择与lasso-logistic.ppt

1、A,1,逐步回归与LASSO,变量筛选,凤鸣岐山,2019年4月10日,A,2,背景及方法,A,3,为什么进行变量选择？,1.排除不重要和无关变量，提取有用特征 2.当模型中的变量过多时，可能会出现过拟合 3.防止多重共线性削弱模型的解释能力 4.增强模型的稳定性和准确性,A,4,当变量数过多时，逐步法要优于最优子集法,岭回归使模型变得稳定 LASSO使某些系数为0,产生新变量进行回归,方法,A,5,逐步回归,A,6,逐步回归中建模的策略,建模过程应该从详细的各变量的单因素分析开始 对性质相同的一些自变量进行部分多因素分析，并探讨自变量纳入模型时的适宜尺度，及自变量间的必要的一些变量变换 在单

2、变量分析和相关自变量分析的基础上，进行多因素的逐步筛选 在多因素筛选模型的基础上，考虑有无必要纳入变量的交互作用项,A,7,向后法不适用与np的情况,A,8,前进法基本思想,1.选定一个标准(P=0.2) 2.开始方程中没有自变量（常数项除外） 3.按照自变量对y的贡献大小由大到小依次挑选进入方程（假设检验的P值越小贡献越大） 4.每选入一个变量进入方程，则重新计算方程外各自变量对y的贡献。 5.直到方程外变量均达不到入选标准，没有自变量可被引入方程为止,A,9,单因素回归结果,A,10,X2已经在方程中，增加哪个变量好？,A,11,X2,X4已经在方程中，增加哪个变量好？,A,12,X2,X

3、4,X1已经在方程中，是否增加X3？,A,13,后退法基本思想,1.选定一个标准（P=0.2) 2.开始所有变量均在方程中 3.按自变量对y的贡献大小由小到大依次剔除变量 4.每剔除一个变量，则重新计算方程内各变量对y的贡献 5.直到方程内变量均达到入选标准，没有自变量可被剔除为止,A,14,全因素已经在方程中，是否删除X3？,A,15,X1,X2,X4在方程中，删除哪个变量好？,A,16,逐步向前法,逐步向前法区别于前进法： 每选入一个变量，都要对已在模型中的变量进行检验，对低于剔除标准的变量要逐一剔除，然后再考虑选变量。（pe=0.15,pr=0.151,forward）,A,17,单因素

4、回归结果,A,18,X2已经在方程中，增加哪个变量好？,A,19,X2,X4已经在方程中，增加哪个变量好？,A,20,X2,X4,X1已经在方程中，是否删除变量？,A,21,X4,X1已经在方程中，是否继续增加/删除？,A,22,逐步向后法,逐步后退法区别于后退法： 每剔除一个变量，都要对在模型外的变量进行检验，对符合入组标准的变量要逐一选入，然后再考虑剔变量。(pe=0.15,pr=0.151),A,23,全因素已经在方程中，是否删除X3？,A,24,对剔除的X3做单因素回归,A,25,方程中还剩X2,X4,X1，是否删除X2？,A,26,对剔除的X2,X3做回归分析,A,27,注意：,1.

5、没有最好的方程：可以多选几个标准，比较在不同标准下所得到的结果 2.有重要临床意义的自变量可以固定于方程中，对剩下的变量进行逐步回归 3.逐步回归必须与专业知识相结合,A,28,回归系数反常的原因,一般的多重线性回归或者Logistic回归中，样本规模至少是自变量个数的10倍以上,A,29,LASSO,A,30,LASSO（套索）,Least absolute shrinkage and selection operator 1996年，Tibshirani提出 可以将变量的系数进行压缩并使某些回归系数为0，实现变量选择,A,31,LASSO是如何对系数进行压缩的,对目标函数加入一个惩罚项，使

6、得模型由多解变为更倾向于其中一个解；Lasso的做法是在RSS最小化的计算中加入一个L1范数作为惩罚项。,是调节参数，其不同的大小可以决定纳入到模型中变量数量的变化。,A,32,一个LASSO分析应用于临床研究的实例,2016 journal of clinical oncology IF:13.86,A,33,数据和研究方法,研究人群及变量,利用LASSO方法进行特征选择,将选取的变量纳入logistic模型,曾经切除手术的结直肠癌病人 原始队列：326人 测试队列：200人 变量：年龄、性别、术前组织分级、CEA、CT成像、血液检查、淋巴结转移情况等,软件：R 利用LASSO从数据集中选择预测变量 150个中选取了24个,发现结直肠癌淋巴结转移的危险因素，构建模型并在测试队列中进行验证,lambda.min,lambda.lse,A,34,LASSO的实现过程,软件：R软件 “glmnet”包,A,35,变量选择结果,最终从34个变量中选入16个变量,A,36,利用选择出的17个变量构建Logsitic模型,16个变量进入Logistic模型，表现出统计学意义的有：慢性下呼吸道疾病、胃肠减压、深镇静比例分组、液体负荷平衡、康复锻炼、床头抬高90、