logistic回归介绍

1、logistic 回归介绍之三 logistic 回归的应用条件logistic回归与多重线性回归一样，在应用之前也是需要分析一下资料是否可以采用logistic回归模型。并不是说因变量是分类变量我就可以直接采用logistic回归，有些条件仍然是需要考虑的。首要的条件应该是需要看一下自变量与因变量之间是什么样的一种关系。多重线性回归中，要求自变量与因变量符合线性关系。而logistic回归则不同，它要求的是自变量与logit(p)符合线性关系，所谓logit实际上就是ln(P/1-P)。也就是说，自变量应与ln(P/1-P)呈线性关系。当然，这种情形主要针对多分类变量和连续变量。对于二分类变

2、量就无所谓了，因为两点永远是一条直线。这里举一个例子。某因素y与自变量x之间关系分析，y为二分类变量，x为四分类变量。如果x的四分类直接表示为1,2,3,4。则分析结果为p=0.07,显示对y的影响在0.05水准时无统计学意义，而如果将x作为虚拟变量，以1为参照，产生x2,x3,x4三个变量，重新分析，则结果显示：x2,x3,x4的p值分别为0.08,0.05和0.03。也就是说，尽管2和1相比无统计学意义，但3和1相比，4和1相比，均有统计学意义。为什么会产生如此结果？实际上如果仔细分析一下，就可以发现，因为x与logit(y)并不是呈线性关系。而是呈如下图的关系：这就是导致上述差异的原因。

3、从图中来看，x的4与1相差最大，其次是2,3与1相差最小。实际分析结果也是如此，上述分析中，x2,x3,x4产生的危险度分别为3.1,2.9,3.4。因此，一开始x以1,2,3,4的形式直接与y进行分析，默认的是认为它们与logit(p)呈直线关系，而实际上并非如此，因此掩盖了部分信息，从而导致应有的差异没有被检验出来。而一旦转换为虚拟变量的形式，由于虚拟变量都是二分类的，我们不再需要考虑其与logit(p)的关系，因而显示出了更为精确的结果。最后强调一下，如果你对自变量x与y的关系不清楚，在样本含量允许的条件下，最好转换为虚拟变量的形式，这样不至于出现太大的误差。如果你不清楚应该如何探索他们

4、的关系，也可以采用虚拟变量的形式，比如上述x,如果转换的虚拟变量x2,x3,x4他们的OR值呈直线关系，那x基本上可以直接以1,2,3,4的形式直接与y进行分析。而我们刚才也看到了，x2,x3,x4的危险度分别为3.1,2.9,3.4。并不呈直线关系，所以还是考虑以虚拟变量形式进行分析最好。总之，虚拟变量在logistic回归分析中是非常有利的工具，善于利用可以帮助你探索出很多有用的信息。统计的分析策略是一个探索的过程，只要留心，你就会发现在探索数据关系的过程中充满了乐趣，因为你能发现别人所发现不了的隐藏的信息。希望大家多学点统计分析策略，把统计作为一种艺术，在分析探索中找到乐趣。SPSS 学

5、习笔记之二项 Logistic 回归分析(2012-08-1814:38:17)转载标签：分类：SPSSspsslogistic 回归统计一、概述Logistic回归主要用于因变量为分类变量(如疾病的缓解、不缓解，评比中的好、中、差等)的回归分析，自变量可以为分类变量，也可以为连续变量。他可以从多个自变量中选出对因变量有影响的自变量，并可以给出预测公式用于预测。因变量为二分类的称为二项logistic回归，因变量为多分类的称为多元logistic回归。下面学习一下Odds、OR、RR的概念：在病例对照研究中，可以画出下列的四格表：暴露因素病例对照日,非暴露Odds:称为比值、比数，是指某事件发

6、生的可能性(概率)与不发生的可能性(概率)之比。在病例对照研究中病例组的暴露比值为：oddsl=(a/(a+c)/(c(a+c)=a/c对照组的暴露比值为：odds2=(b/(b+d)/(d/(b+d)=b/dOR:比值比，为：病例组的暴露比值(odds1)/X 寸照组的暴露比值(odds2)=ad/bc换一种角度，暴露组的疾病发生比值:oddsl=(a/(a+b)/(b(a+b)=a/b非暴露组的疾病发生比值：odds2=(c/(c+d)/(d/(c+d)=c/dOR=odds1/odds2=ad/bc与之前的结果一致OR的含义与相对危险度相同，指暴露组的疾病危险性为非暴露组的多少倍。OR1

7、说明疾病的危险度因暴露而增加，暴露与疾病之间为“正”关联；OR1说明疾病的危险度因暴露而减少，暴露与疾病之间为“负”关联。还应计算OR的置信区间，若区间跨1,一般说明该因素无意义。关联强度大致如下：OR值联系强度0.9-1.01.0-1.1无0.7-0.81.2-1.4弱（前者为负关联，后者为正关联）0.4-0.61.5-2.9中等（同上）0.1-0.33.0-9.0强（同上）0.110.0以上很强（同上）RR:相对危险度（relativerisk）的本质为率比（rateratio）或危险比（riskratio）,即暴露组与非暴露组发病率之比，或发病的概率之比。但是病例对照研究不能计算发病率，

8、所以病例对照研究中只能计算 OR。当人群中疾病的发病率或者患病率很小时，OR 近似等于 RR,可用 OR 值代替 RR。不同发病率情况下，OR 与 RR 的关系图如下：IncidenceArnanqtheNonexpos弓口bloc-siriskcorn,cn/u/i153355774当发病率1 时，OR 高估了 RR,当 ORF转换w的1少H彷3白噫巴魄J庭由雷帮眄时.国”口,怛固斯戢iI甲 i 中说件用盘 I目殍爽珏中：装甲展送女丁/存口洲ji 融甘暮年归 md工群 krnolun6届左耳用佰 dcH 嗣/凉 JQ 收入 HNgq|/tfttiftAltdr*iK花用率攵青：zre 北在此

9、,注地质餐出北附*是否甄攵赌益【会加肥6丫刈*点击确定，完成变量计算2、统计菜单选择卜lid泡*:二二.BBBBBBBBBBa a: :88HBB88HBBS SHHSa3HHSa3由 Mg 型学法量力-8F 与聿邛心8F 书拄二旬三期用 IH 日股期 eme 由眼禀悻/变，旧.转换分析g）直销出）图/（包实用程序窗口也）希助addrC705625023n报告描逑统计衰（T）比较均值国）一般线性福蟹厂义线性模型混合模型理）相关&）回归回对默线性根空（2）神经网络分类旧筮曲aI亡Cfeddebtothdebt9.3011365.017.301364005.50S62172.902.66,

10、827301.793。aH雌 33函曲魄估计&.1回部分最公平方4，二元Logistic.3RHi进入如下的对话框（下文称“主界面”）：将“是否拖欠贷款default”作为因变量选入“因变量”框中。将其与变量选入“协变量”框中，下方的“方法”下拉菜单选择“向前：LR”（即前向的最大似然法，选择变量筛选的方法，条件法和最大似然法较好，慎用Wald法）。将“validate”变量选入下方的“选择变量”框。点击“选择变量”框后的“规则”按钮，进入定义规则对话框：E3Loeistic区定义选择规则validateLocistic回归等于值5hlI设置条件为“validated”，点击“继续”按

11、钮返回主界面:点击右上角“分类”按钮，进入如下的对话框:该对话框用来设置自变量中的分类变量，左边的为刚才选入的协变量，必须将所有分类变量选入右边的“分类协变量框中”。本例中只有“教育程度ed”为分类变量，将它选入右边框中，下方的“更改对比”可以默认。点击“继续”按钮返回主界面。回到主界面后点击“选项”按钮，进入对话框:：.：!Lnsistic回归：选项统计量和图unaii!Binvt-fiBiimiiar分类国VHosrn即LeEShcw拟合度1H）迭代田史记录Q）回），卜离群值。所有个案-输出荏每个步骤中但）在最后 T步骤中（口在模型中包括后数值取捎帮助勾选“分类图”和“Hosmer-Lem

12、eshow拟合度”复选框， 输出栏中选择“在最后一个步骤中”，其余参数默认即可。“Hosmer-Lemeshow拟合度”能较好的检验该模型的拟合程度。点击继续回到主界面，点击“确定”输出结果。四、结果分析估计值的相关性旧）,；.个案的豉差列表）加日的GKX）；标漉差步进艰军进入典x叵三|删除。：Tin分类标唯值电）.京火迭代汶数网X20磅加瞿的事冽*hl百分比再定军的包恬在分析中rQD1Q0,G装装案例00Si+70D1DQ0匍康定的案留C&目计70010009 邺曾孜仃鹏,也甘见牙菸晨以我 H 宴网总粗*打黜通向由值W。II1制舞变*ifi 错MX更磔垄的40(2)网他酒水平Didn

13、tfftompiek 一曲由 0。13721000o 的CM040HighschooldecreeI3Booo10 时900oooSom21 伯电S7D00阿1000喻 0Collegedegree相ooaOftGaoo1.000Poibunaargraduteaaore5m。Q9QOQQg以上是案例处理摘要及变量的编码模型汇总-2时热似数值Cox&SnellR力NagelkerkeRh4&56.Z323.,298.436a因为在敢估计的更改范围小F.001*所以拈计在迭鼠次数6处终止口上表是关于模型拟合度的检验。这用Cox&SnellR方和NegelkerkeR方代替

14、了线性回归中的R方，他们呢的值越接近1,说明拟合度越好，这个他们分别为0.298和0.436,单纯看这一点，似乎模型的拟合度不好，但是该参数主要是用于模型之间的对比。=Hosmer 和 Lcmeshow 检验=步骤卡方dfSig.48.5568381这是H-L检验表，P=0.3810.05接受0假设，认为该模型能很好拟合数据Hosmer 和 Lemesh检除的舐机件上是言拖欠款No是方幡父道就二腌总计己观测j朋明伯蛔个伯一山线417069669033170269685541.4467036466.53953.4617046463.521664797056559.692510.308706505

15、5.1412014.859707484gol52220.984708434T0002729.00070g3230.-1703839,53070101213.3975856,60370H-L检验的随机性表，比较观测值与期望值，表中观测值与期望值大致相同，可以直观的认为，该模型拟合度较好G 另起 u二 MTK 阳。分比桂正W 也Vi).J4”1：队阳；Nr?思讣白仃”47a抬39被S35314IJaD*加相由史的蜜初.旧此.山时杆*逸丘的事搁举珏美b.L.;.-1;.I;J?.曲Wm柜E白1c.L：.丁工炉俯皿ml日E1d.I.I；sno这个是最终模型的预测结果列联表。在700例数据中进行预测，在

16、未拖欠贷款的478+39=517例中，有478例预测正确， 正确率92.5%;在91+92=183例拖欠贷款的用户中， 有92例预测正确， 正确率50.3%。总的正确率81.4%。可以看出该模型对于非拖欠贷款者预测效果较好。力器中的殳AtaSEfMs曲Exp 网-型 enrplcy-.243J02S741ST00 丁-785addrews-.0*1C2C17143i000.H22debtincmeJ19zees?1,OT01.092cruddebt.573OB?43109*0001774A3*H252gg就1002a.rA4y;这是最终拟合的结果，四个变量入选，P值均一一一_-匚T五d 巨，岳-*匚匚一 i_2匚一一,.一_._,一一-匚 iw_ISA_三 4rr-rraf1fQ8M二匚二-_*、*一一七二;二匚Pb6.2/1.5.：.ft&1Crw!ffiKiKMra 皿 ffliNsm 国 0间加出 gEiioiffi 国 BoftfflamsMnrmmmYYrrmTmnrrmrmrrmYmTmmnnmnrrr