逻辑回归模型分析见解

1、1. 逻辑回归模型1.1 逻辑回归模型 考虑具有 p 个独立变量的向量 , 设条件概率 为根据观测 量相对于某事件发生的概率。逻辑回归模型可表示为（1.1）上式右侧形式的函数称为称为逻辑函数。下图给出其函数图象形式。其中 。如果含有名义变量，则将其变为 dummy 变量。 一个具有 k 个取值的名义变量，将变为 k-1 个 dummy 变量。这样，有（ 1.2 ）定义不发生事件的条件概率为1.3 )那么，事件发生与事件不发生的概率之比为简称为 odds 。因为这个比值称为事件的发生比 （the odds of experiencing an event）, 0p0 。对 odds 取对数，即得

2、到线性函数，（ 1.5 ）1.2 极大似然函数假设有 n 个观测样本， 观测值分别为 设 为给定条件下是，得到 的概率。 在同样条件下得到 的条件概率为 。得到一个观测值的概率为1.6 )因为各项观测独立，所以它们的联合分布可以表示为各边际分布的乘积。1.7 )上式称为 n 个观测的似然函数。我们的目标是能够求出使这一似然函数的值最大的参数估计。于是，最大似然估计的关键就是求出参数，使上式取得最大值。对上述函数求对数（1.8）上式称为对数似然函数。为了估计能使 取得最大的参数的值。对此函数求导，得到 p+1 个似然方程。（ 1.9 ），j=1,2,.,p.上式称为似然方程。为了解上述非线性方程

3、，应用牛顿拉斐森 进行迭代求解。(Newton-Raphson)方法1.3 牛顿拉斐森迭代法对 求二阶偏导数，即 Hessian矩阵为(1.10(1.10如果写成矩阵形式，以表示 Hessian矩阵，表示1.11 )1.12 )则 。再令 然方程的矩阵形式。（ 注：前一个矩阵需转置 ），即似得牛顿迭代法的形式为1.13 )注意到上式中矩阵为对称正定的，求解即为求解线性方程中的矩阵。对进行 cholesky 分解。 最大似然估计的渐近方差（ asymptoticvariance ）和协方差 （covariance） 可以由信息矩阵（ information matrix）的逆矩阵估计出来。 而信

4、息矩阵实际上是 二阶导数的负值，表示为 。估计值的方差和协方差表示为 ，也就是说， 估计值 的方差为矩阵的逆矩阵的对角线上的值，而估计值 和 的协方差为除了对角线以外的值。然而在多数情况，我们将使用估计值 的标准方差，表示为for j=0,1,2, ,p (1.14 ). 显著性检验 下面讨论在逻辑回归模型中自变量 是否与反应变量显著相关的显著性检验。零假设 0（表示自变量 对事件发生可能性无影响作用） 。如果零假设被拒绝， 说明事件发生 可能性依赖于 的变化。2.1 Wald test 对回归系数进行显著性检验时，通常使用 Wald 检验，其公式为2.1 )其中 , 为 的标准误差。这个单变

5、量 Wald 统计量服从自由度等于的 分布。如果需要检验假设 ：0, 计算统计量2.2 )其中， 为去掉 所在的行和列的估计值，相应地，为去掉 所在的行和列的标准误差。这里， Wald 统计量服从自由度等于 p 的 分布。如果将上式写成矩阵形式，（2.3 ）矩阵是第一列为零的一常数矩阵。例如，如果检验，则Wald然而当回归系数的绝对值很大时，这一系数的估计标准误就会膨胀，于是会导致 统计值变得很小， 以致第二类错误的概率增加。 也就是说， 在实际上会导致应该拒绝零假设 时却未能拒绝。 所以当发现回归系数的绝对值很大时， 就不再用 Wald 统计值来检验零假设， 而应该使用似然比检验来代替。2.

6、2 似然比( Likelihood ratio test )检验在一个模型里面， 含有变量 与不含变量 的对数似然值乘以 -2 的结果之差， 服从 分布。这一检验统计量称为似然比 （likelihood ratio） ，用式子表示为（2.4）计算似然值采用公式（ 1.8 ）。倘若需要检验假设 ：0, 计算统计量( 2.5 )上式中， 表示 0 的观测值的个数，而表示 的观测值的个数，那么 n 就表示所有观测值的个数了。实际上，上式的右端的右半部分 表示 只含有 的似然值。统计量 G 服从自由度为 p 的 分布2.3 Score 检验在零假设 ： 0 下，设参数的估计值为 ，即对应的0。计算 S

7、core 统计量的公式为2.6 )上式中， 表示在 0 下的对数似然函数( 1.9 )的一价偏导数值，而 表示 在 0 下的对数似然函数 (1.9 )的二价偏导数值。 Score 统计量服从自由度等于的 分布。2.4 模型拟合信息 模型建立后，考虑和比较模型的拟合程度。有三个度量值可作为拟合的判断根据。(2.7)(2) Akaike 信息准则( Akaike Information Criterion,(1) -2LogLikelihood简写为 AIC )(2.8)其中为模型中自变量的数目， 为反应变量类别总数减， 对于逻辑回归有 S=2-1=1 -2LogL 的值域为 0 至 ，其值越小说

8、明拟合越好。当模型中的参数数量越大时，似然值也 就越大， -2LogL 就变小。因此，将 (K+S) 加到 AIC 公式中以抵销参数数量产生的影响。 在其它条件不变的情况下，较小的 AIC 值表示拟合模型较好。(3)Schwarz 准则这一指标根据自变量数目和观测数量对 -2LogL 值进行另外一种调整。 SC 指标的定义 为(2.9)其中 ln(n) 是观测数量的自然对数。这一指标只能用于比较对同一数据所设的不同模型。在 其它条件相同时，一个模型的 AIC 或 SC 值越小说明模型拟合越好。3. 回归系数解释3.1 发生比odds=p/(1-p)，即事件发生的概率与不发生的概率之比。而发生比

9、率 (odds ration),(1) 连续自变量。对于自变量 ，每增加一个单位， odds ration 为(3.1)(2) 二分类自变量的发生比率。变量的取值只能为 0或1，称为 dummy variable 。当 取 值为 1，对于取值为 0的发生比率为(3.2)亦即对应系数的幂。(3) 分类自变量的发生比率。如果一个分类变量包括 m 个类别，需要建立的 dummy variable的个数为 m-1, 所省略的那个类别称作参照类 (reference category) 。设 dummy variable 为 ，其系数为 ， 对于参照类，其发生比率为 。3.2 逻辑回归系数的置信区间对于

10、置信度 - ，参数 的100% ( - )的置信区间为( 3.3 )上式中， 为与正态曲线下的临界值( critical value ) ,为系数估计 的标准误差， 和 两值便分别是置信区间的下限和上限。当样本 较大时， 0.05 水平的系数 的 95% 置信区间为( 3.4 )4. 变量选择4.1 前向选择( forward selection)：在截距模型的基础上，将符合所定显著水平的自变量一次一个地加入模型。具体选择程序如下(1 ) 常数(即截距)进入模型。(2) 根据公式( 2.6 )计算待进入模型变量的 Score 检验值，并得到相应的 P 值。(3 ) 找出最小的 p 值，如果此

11、p 值小于显著性水平,则此变量进入模型。如果此变量是某个名义变量的单面化 (dummy) 变量，则此名义变量的其它单面化变理同时也进入模 型。不然，表明没有变量可被选入模型。选择过程终止。4) 回到 (2) 继续下一次选择。4.2 后向选择( backward selection )：在模型包括所有候选变量的基础上，将不符合保 留要求显著水平的自变量一次一个地删除。具体选择程序如下(1) 所有变量进入模型。(2) 根据公式( 2.1 )计算所有变量的 Wald 检验值，并得到相应的 p 值。(3) 找出其中最大的 p 值，如果此 P 值大于显著性水平 ，则此变量被剔除。对于某个 名义变量的单面

12、化变量，其最小 p 值大于显著性水平 ，则此名义变量的其它单面化变 量也被删除。不然，表明没有变量可被剔除，选择过程终止。(4) 回到 (2) 进行下一轮剔除。4.3 逐步回归 (stepwise selection)(1) 基本思想：逐个引入自变量。每次引入对影响最显著的自变量，并对方程中的老变量 逐个进行检验， 把变为不显著的变量逐个从方程中剔除掉， 最终得到的方程中既不漏掉对 影响显著的变量，又不包含对影响不显著的变量。(2) 筛选的步骤：首先给出引入变量的显著性水平 和剔除变量的显著性水平 ，然后 按下图筛选变量。(3) 逐步筛选法的基本步骤 逐步筛选变量的过程主要包括两个基本步骤：

13、一是从不在方程中的变量考虑引入新变量的步 骤；二是从回归方程中考虑剔除不显著变量的步骤。假设有 p 个需要考虑引入回归方程的自变量 . 设仅有截距项的最大似然估计值为 。对 p 个自变量每个分别计算 Score 检验值，设有最小 p 值的变量为 ，且有 ，对于单面化 (dummy) 变量，也如此。若 ，则此变量进入模型， 不然停止。 如果此变量是名义变量单面化 (dummy) 的变 量，则此名义变量的其它单面化变量也进入模型。其中 为引入变量的显著性水平。 为了确定当变量 在模型中时其它 p-1 个变量也是否重要， 将 分 别与 进行拟合。对 p-1 个变量分别计算 Score 检验值，其 p 值设为 。设有最小 p 值 的变量为 ，且有. 若，则进入下一步，不然停止。对于单面化变量，其方式如同上步。 此步开始于模型中已含有变量 与 。注意到有可能在变量 被引入后， 变量 不 再重要。本步包括向后删除。 根据(2.1) 计算变量 与 的 Wald 检验值，和相应的 p 值。 设 为具有最大