变量选择与lasso-logistic.ppt

逐步回归与LASSO 变量筛选 凤鸣岐山 2019年4月10日 背景及方法 为什么进行变量选择 1 排除不重要和无关变量 提取有用特征2 当模型中的变量过多时 可能会出现过拟合3 防止多重共线性削弱模型的解释能力4 增强模型的稳定性和准确性 当变量数过多时 逐步法要优于最优子集法 岭回归使模型变得稳定LASSO使某些系数为0 产生新变量进行回归 方法 逐步回归 逐步回归中建模的策略 建模过程应该从详细的各变量的单因素分析开始对性质相同的一些自变量进行部分多因素分析 并探讨自变量纳入模型时的适宜尺度 及自变量间的必要的一些变量变换在单变量分析和相关自变量分析的基础上 进行多因素的逐步筛选在多因素筛选模型的基础上 考虑有无必要纳入变量的交互作用项 向后法不适用与n p的情况 前进法基本思想 1 选定一个标准 P 0 2 2 开始方程中没有自变量 常数项除外 3 按照自变量对y的贡献大小由大到小依次挑选进入方程 假设检验的P值越小贡献越大 4 每选入一个变量进入方程 则重新计算方程外各自变量对y的贡献 5 直到方程外变量均达不到入选标准 没有自变量可被引入方程为止 单因素回归结果 X2已经在方程中 增加哪个变量好 X2 X4已经在方程中 增加哪个变量好 X2 X4 X1已经在方程中 是否增加X3 后退法基本思想 1 选定一个标准 P 0 2 2 开始所有变量均在方程中3 按自变量对y的贡献大小由小到大依次剔除变量4 每剔除一个变量 则重新计算方程内各变量对y的贡献5 直到方程内变量均达到入选标准 没有自变量可被剔除为止 全因素已经在方程中 是否删除X3 X1 X2 X4在方程中 删除哪个变量好 逐步向前法 逐步向前法区别于前进法 每选入一个变量 都要对已在模型中的变量进行检验 对低于剔除标准的变量要逐一剔除 然后再考虑选变量 pe 0 15 pr 0 151 forward 单因素回归结果 X2已经在方程中 增加哪个变量好 X2 X4已经在方程中 增加哪个变量好 X2 X4 X1已经在方程中 是否删除变量 X4 X1已经在方程中 是否继续增加 删除 逐步向后法 逐步后退法区别于后退法 每剔除一个变量 都要对在模型外的变量进行检验 对符合入组标准的变量要逐一选入 然后再考虑剔变量 pe 0 15 pr 0 151 全因素已经在方程中 是否删除X3 对剔除的X3做单因素回归 方程中还剩X2 X4 X1 是否删除X2 对剔除的X2 X3做回归分析 注意 1 没有最好的方程 可以多选几个标准 比较在不同标准下所得到的结果2 有重要临床意义的自变量可以固定于方程中 对剩下的变量进行逐步回归3 逐步回归必须与专业知识相结合 回归系数反常的原因 一般的多重线性回归或者Logistic回归中 样本规模至少是自变量个数的10倍以上 LASSO LASSO 套索 Leastabsoluteshrinkageandselectionoperator1996年 Tibshirani提出可以将变量的系数进行压缩并使某些回归系数为0 实现变量选择 LASSO是如何对系数进行压缩的 对目标函数加入一个惩罚项 使得模型由多解变为更倾向于其中一个解 Lasso的做法是在RSS最小化的计算中加入一个L1范数作为惩罚项 是调节参数 其不同的大小可以决定纳入到模型中变量数量的变化 一个LASSO分析应用于临床研究的实例 2016journalofclinicaloncologyIF 13 86 数据和研究方法 研究人群及变量 利用LASSO方法进行特征选择 将选取的变量纳入logistic模型 曾经切除手术的结直肠癌病人原始队列 326人测试队列 200人变量 年龄 性别 术前组织分级 CEA CT成像 血液检查 淋巴结转移情况等 软件 R利用LASSO从数据集中选择预测变量150个中选取了24个 发现结直肠癌淋巴结转移的危险因素 构建模型并在测试队列中进行验证 lambda min lambda lse LASSO的实现过程 软件 R软件 glmnet 包 变量选择结果 最终从34个变量中选入16个变量 利用选择出的17个变量构建Logsitic模型 16个变量进入Logistic模型 表现出统计学意义的有 慢性下呼吸道疾病 胃肠减压 深镇静比例分组 液体负荷平衡 康复锻炼 床头抬高90 每日均有