Poisson回归-冯国双PPT演示课件.ppt

Poisson回归 冯国双 主要内容 一 二项分布与Poisson分布二 广义线性模型三 Poisson回归四 Poisson回归的SAS分析五 Poisson回归需注意的统计问题 二项分布 指在只会产生两种可能结果 如 阳性 或 阴性 的n次独立试验中 当每次试验的 阳性 概率保持不变时 出现 阳性 的次数X 0 1 2 n的一种概率分布 n为试验次数 为 阳性 概率 表示从n个不同元素中每次取出x个不同元素的组合 二项分布 二项分布的条件 每次试验只会发生两种对立的结果之一 两种互斥结果的概率之和恒等于1 每次试验产生某种结果 如 阳性 的概率 固定不变 各次试验是互相独立的 即任何一次试验结果的出现不会影响其它试验结果出现的概率 二项分布 二项分布举例 假定某疫苗的不良事件发生率是10 现在有3个人接种了该疫苗 可能会出现的各种结局的概率是多少 二项分布 3个人中 k个人出现不良事件的概率为 二项分布 二项分布的概率分布 在n次独立试验中 令x表示事件A发生的次数 则随机变量x所有可能的取值为0 1 2 其概率函数为 两个参数 n为试验次数 为事件发生率 二项分布 二项分布的性质 平均数 n 标准差 二项分布 Poisson分布 Poisson分布主要用于描述单位时间 面积 体积等单位内稀有事件个数的相对频率 Poisson随机变量x的分布是 一个参数 0 是一常数 Poisson分布 Poisson分布的条件 试验是在给定的时间 面积 体积等单位内发生的事件次数 事件发生在给定的时间 面积 体积等单位内的概率对每一单位都是相同的 发生在一个时间 面积 体积等单位的事件与发生在其它单位的事件是互相独立的 Poisson分布 Poisson分布的条件示意图 Poisson分布 Poisson分布举例 为监测饮用水的污染情况 某疾控中心对一社区的饮用水进行检测 下面是每毫升饮用水的细菌数 试分析该结果是否服从Poisson分布 Poisson分布 均值 0 5方差 0 496均值 方差 可以认为服从Poisson分布 dataaa inputxf cards 0243112023136 procmeansmeanvar freqf varx run Poisson分布 计算 Poisson分布 1 2 3 4 Poisson分布 5 6 负二项分布 负二项分布NegativeBinominalDistribution NB 负二项分布常用于度量某事件发生前所需要的时间长度如顾客一直排队直到得到服务的时间 设备到失效的时间等其结果与二项分布一样 为两类 发生和不发生但描述的不是发生的次数 而是直至发生时实验的次数 负二项分布随机变量y的概率分布为 其中 为事件发生 成功 的概率 y 直至观测到第k次事件发生 成功 的试验次数 次失败和 次成功 第 次成功当k 1时 即第1次观察到事件发生 负二项分布 负二项分布的性质 均值方差很明显看出 负二项分布的均值小于方差 负二项分布 负二项分布与Poisson分布的关系 Poisson分布中 设定 是常数 当 不是常数 而是一个随机变量 且服从 分布时 此时复合Poisson分布就是负二项分布负二项分布中的 是变化的 换句话说 个体事件发生的概率不等 有的出现的概率大 有的出现概率小 从而导致方差变大 实际意义也就是说 不同地区 时间等发生的概率不等 有的发生概率高 有的发生概率低 可能存在一定的聚集性 负二项分布 负二项分布常用于 描述生物的聚集性 如钉螺在土壤的分布 昆虫的空间分布等 医学上描述传染性疾病的分布和致病生物的分布 需要注意 描述的事件发生率应比较低 其 单位 应足够大 负二项分布 22 离散参数 dispersionparameter NB分布的均数与方差 令 则x的均数为 方差为 将k 1称为离散参数 当k 1趋于0时 负二项分布退化为Poisson分布 负二项分布 23 广义线性模型 广义线性模型 广 在什么地方 主要是 广 在因变量上 广义线性模型是一般线性模型的推广 一般线性模型中的因变量只能是定量变量广义线性模型则拓宽了这一范围 因变量不再仅限于定量变量 还可以是诸如二项分布 Poisson分布 负二项分布等非定量变量 广义线性模型 广义线性模型 GeneralizedLinearModel 其中 等式右边是自变量x1 x2 xm 可以是一个 也可以是多个 形式可以是分类的 也可以是定量的 等式左边是一个联接函数 通过指定联接函数及数据分布 广义线性模型可转化成相应的具体模型 广义线性模型 常用的联接函数 广义线性模型 当指定分布为正态 normal 分布 且联接函数直接就是 时 广义线性模型就成了多重线性回归模型 当指定分布为二项 binomial 分布 指定联接函数为logit 即时 广义线性模型就是logistic回归模型 当指定分布为Poisson分布 联接函数为log 时 广义线性模型就转化成Poisson回归模型 当指定分布为负二项 negativebinomial 分布 联接函数为log 时 广义线性模型就转化为负二项回归 广义线性模型更进一步地将多重线性回归 logistic回归 Poisson回归 负二项回归等统一起来 Poisson回归模型 Poisson回归常用于单位时间或单位空间内某稀有事件发生数的影响因素分析医学中有不少现象均符合这种条件 尤其在肿瘤队列研究中 如对浅表性胃炎病人长期随访一段时间后的胃癌发生数 这种数据也称之为事件数资料 countdata 其特征就是发生数能够一个一个地清点 counting 不能有小数点 Poisson回归模型 Poisson回归模型的表达形式为 系数 i表示xi每增加一个单位 log 的变动或者说xi每增加一个单位 对 产生e i的效应 Poisson回归模型 Poisson回归的应用条件 线性 因变量的对数与自变量呈线性关系独立性 各观测之间相互独立方差等于均值 各自变量水平上的因变量的方差与均值相等 Poisson回归模型 参数估计 最大似然估计 选择能有最大概率获得当前样本的值作为参数的估计值 将观察值X看成结果 而参数值 看成是导致这些结果的原因 现有结果 反过来推导各种原因的 概率 似然程度 因此 应该用 似然程度 最大的那组 作为 的估计值 因为在已得到样本X的条件下 这组 看来最像 真参数值 这个估计 叫做 的 最大似然估计 Poisson回归模型 参数检验 1 Wald检验 检验回归系数是否为零 其检验假设为 H0 j 0H1 j 0 Poisson回归模型 参数检验 2 似然比检验 likelihoodratiotest 比较两个嵌套模型的对数似然值似然比统计量服从 2分布 其自由度为两个模型自变量数的差值 根据 2值和相应的自由度可计算出P值 Poisson回归模型 模型评价 Pearson 2 比较期望值和观测值的差别yi表示不同自变量组合水平下的观测数 i表示期望数 V i 表示方差 Poisson回归模型 模型评价 Deviance 比较饱和模型和现有模型的差别Ls表示现有模型 Lf表示饱和模型饱和模型解释了模型系统部分的所有变动 反映一种理想状态 Deviance值越小 现有模型与饱和模型的偏差越小 拟合效果越好 Poisson回归模型 模型评价 AIC Akaikeinformationcriterion AICC correctedAIC BIC Bayesianinformationcriterion AIC 2lnL 2pAICC 2lnL 2p BIC 2lnL p log n p是参数个数这些指标可用于两个或多个模型拟合优度的比较 较小的值表示拟合模型较好 Poisson回归模型 模型诊断 多重共线性 multi collinearity 容忍度 tolerance 小于0 1时 可能存在共线性方差扩大因子 varianceinflationfactor VIF 大于10时 可能存在共线性分类资料最好不用条件指数 Poisson回归模型 模型诊断 异常点诊断离群点 outliers 因变量预测值与实际值差别较大 诊断指标 Pearson残差 Deviance残差杠杆点 highleveragepoints 自变量远离其它值 诊断指标 杠杆值hi强影响点 influentialpoints 对模型估计影响较大 诊断指标 DFBETA Cook距离 Cook sDistance Poisson回归模型 模型诊断 过离散 overdispersion 测量方差大于期望方差两种处理方法 1 乘以一个过离散因子 二项分布中 Poisson分布中 2 采用负二项分布 负二项分布对方差的处理更为灵活 Poisson回归模型 广义线性模型在SAS中可通过procgenmod命令实现 其常用语句有 Procgenmod Class分类变量 Model因变量 自变量 Weight变量 Run Poisson回归模型 Model语句常用的选项有 Poisson回归模型 Model语句常用的选项 Poisson回归模型 Model语句常用的选项 Poisson回归模型 Class语句与logistic回归中的class语句相似 也可以通过param 和ref 这两个选项产生虚拟变量 并根据ref 的指定确定参照组 Poisson回归模型 例1 某肿瘤医院为探索幽门螺杆菌及不同胃黏膜病变对胃癌的影响 在某地随机抽取了3400名居民 检测他们的幽门螺杆菌感染状况以及胃黏膜病变情况 并对他们的胃癌发病情况进行随访 随访7年后 共发现59例胃癌 欲分析幽门螺杆菌 基础胃黏膜病变对胃癌发生的影响 Poisson回归模型 DATAexample10 2 INPUThppathcn ln log n 产生一个新变量ln 其值为例数n的对数 作为后面model语句中的位移变量 CARDS 01198102523003697116101012206041321287 PROCGENMOD CLASSpath param refref first MODELc hppath dist poissonlink logoffset lntype1type3 dist指定分布为Poisson分布 link指定联接函数为log type1和type3输出似然比的1型和3型结果 Offset选项非常关键 它起到一个分母的作用 因为因变量只是指定了胃癌发生数c 因此通过offset选项设定一个位移变量 由于指定的联接函数为对数形式 因此位移变量不是直接用总例数 而是总例数的对数 RUN Poisson回归模型 Deviance和Pearson 2值分别为1 1535和1 0455 我们可根据相应的自由度DF求得对应的P值分别为0 5617和0 5929 远远大于0 05 提示模型拟合较好 Poisson回归模型 SAS9 3结果中增加了AIC AICC BIC等模型评价指标 Poisson回归模型 Wald检验结果 hp的影响无统计学意义 P 0 1370 path的影响有统计学意义 Poisson回归模型 似然比检验 分别给出了 型和 型的结果 型和 型的结果不同 说明了什么 Poisson回归中的过离散问题 例2 某研究观察马蹄蟹壳宽 wcat 与居住周围同伴数 satell 的关系 将壳宽从23 30cm分了8组 每组例数如下 Poisson回归中的过离散问题 PROCGENMOD CLASSwcat param refref first MODELsatell wcat dist poissonlink log RUN 该语句没有加offset选项 为什么 Poisson回归中的过离散问题 偏差和Pearson卡方大于1 提示可能存在过离散 Loglikelihood是校正了scale指定值的结果 fullloglikelihood没有校正scale指定值 Poisson回归中的过离散问题 参数估计结果 Poisson回归中的过离散问题 计算均值和方差 Poisson回归中的过离散问题 方法一 利用过离散因子 进行校正PROCGENMOD CLASSpath param refref first MODELc hppath dist poissonlink logscale pearson RUN Poisson回归中的过离散问题 参数估计结