（概率论与数理统计专业论文）广义线性模型中的变量选择.pdf

摘要 本论文主要由两部分构成 第一部分给出了广义线性模型中的一种变量选择方法 并从理论上证明了它的弱相合性 文章的第二部分则是对此方法做了数据模拟的工作 本文第一章里 我们主要介绍了广义线性模型以及变量选择的相关背景知识 本文的第二章 是此篇论文的主体部分 在这一章中 我们主要针对广义线性模型 k 芦 矗 f 1 2 讨论g h 1 为自然联系函数下 k 为单变量的情 形 我们首先利用w a l d 检验和似然比检验准则 给出了d o 女 1 k p 雠 0 的 两个估计 d 七 1 k s p 访 女 w d k 1 ks p i 女 a 更进一步地 我们证明了这两个估计在一定条件下对d o 的弱相合性 在论文的最后一章里 我们利用统计软件s p l u s 对第二章中给出的变量选择的方法 做了具体的数据模拟 关键词 广义线性模型 变量选择 w a l d 检验 似然比检验 abstract t h i st h e s i sc o n s i s t so ft w ot o p i c s o n e g i v e sam e t h e d o fv a r i a b l es e l e c t i o ni ng e n e r a l i z e d l i n e rm o d e l sa n da l s op r o v e si t sw e a kc o n s i s t e n c y t h eo t h e ri ss i m u l a t i o na b o u tt h i sm e t h e d i nc h a p t e r1 w ei n t r o d u c es o m e k n o w l e d g e o fg e n e r a l i z e dl i n e rm o d e l sa n dv a r i a b l es e l e c t h e2 n dc h a p t e ri st h em a i np a r to ft h i st h e s i s t h eg e n e r a l i z e dl i n e rm o d e l sw h i c hw e d i s c u s si s m 卢 e i 1 2 n h e r e 9 h 一1i sn a t u r a ll i n kf u n c t i o na n d k a r es i n g l ev a r i a t e s w ew i l lg i v et w oe s t i m a t i o n so fd o k 1 k p 艘 0 a st h e f o l l o w i n g d k 1 p 访i n k w d 女 1sk p j a n dw ea l s op r o v ei t sw e a kc o n s i s t e n c y i nc h a p t e r3 w ec o n d u c ts o m es i m u l a t i o n sa b o u tt h em e t h o do fv a r i a b l es e l e c t i o ni nc h a p t e r2 a l lo ft h e s es i m u l a t i o n sa r ea c c o m p l i s h e db yu s i n gs p l u s k e y w o r d s g e n e r a l i z e dl i n e a rm o d e l s v a r i a b l es e l e c t i o n w a l dt e s t l i k e l i h o o dr a t i o t e s t 致谢 本文是在我的导师吴耀华教授的悉心指导下完成的 三年来 我非常有幸的在吴老 师的的直接指导下工作学习 他从各个方面都给予了我耐心的教授和讲解 他严谨的治 学态度 循循善诱的教导 也让我受益匪浅 在此我想对吴老师表示最衷心的感谢 其次 我要感谢赵林城教授 苏淳教授 缪柏其教授 胡太忠教授和韦来生教授 他 们通过为我们讲授各门专业课程带领我们真正进入了概率论与数理统计这一领域 并帮 助我们掌握了许多进行科研工作的工具与方法 此外 在我的研究生阶段 还得到了来 自系里许多老师 包括臧红老师和夏红卫老师的不少有益的帮助和建议 在此一并向他 们表示我最诚挚的谢意 同时 我还要向高启兵博士 曹毅硕士 金曼硕士以及所有我身边的同学表示衷心 的感谢 他们不仅是我学习中的师兄与同学 更是我生活中的良师益友 曾多次无私的 给予我及时的帮助 最后 我要感谢我的父母家人和我的夫人陈静 感谢他们多年来从未间断地给予我 鼓励和关怀 这些永远是我前进路上最大的动力 第一章综述 广义线性模型的个别特例起源很早 f i s h e r 在1 9 1 9 年就曾用过它重要的l o g i s t i c 模 型 在2 0 世纪四 五十年代也曾由b e r k s o n d y k e 和p a t t e r s o n 等人使用过 1 9 7 2 年 n e l d e re ta 1 1 1 1 首次提出了广义线性模型这个概念 1 9 8 5 年l f a h a r m e i re ta 1 2 2 证明 了广义线性模型中极大似然估计的相合性和渐近正态性 面且l f a h a r m e i r 3 在1 9 8 7 年 又给出了广义线性模型中的渐近检验理论 所谓变量选择 指的是自变量的选择 它主 要是从实际考虑 从专业或经验的角度选择出对目标y 有重要影响的变量 当可能的候 选者太多而希望从中挑出为数不多的最有影响的变量时 除了专业的考虑外 就还需要 运用一些统计方法 这样的方法有许多 比如常见的向前法 向后法以及逐步选择法 a i c 准则 b i c 准则 c p 准则 i t c 准则等等 当然 还有其他像利用决策树进行变 量选择的方法等 本文则是主要讨论广义线性模型中的变量选择 给出了一种变量选择的方法 并证 明了它的弱相合性 在文章的后部 还对此进行了数据模拟 1 1 广义线性模型 广义线性模型是常见的正态线性模型的直接推广 它可适用于连续数据和离散数据 特别是后者 如属性数据 计数数据 这在实用上 尤其是生物 医学和经济 社会数据 的统计分析上 有重要的意义 我们考虑一维的情况 定义1 1 1 设有因变量y 自变量zy 为一维 一般为多维 通常的线性模型有 以下几个特征 1 e y 芦 z 2 芦 其中z z 为 的已知向量函数 z 表示转置 z z 常 简记为z j 2 乱z z y 都是取连续值的变量 如农作物产量 人的身高体重之类 3 y 的分布为正态 或接近正态之分布 广义线性模型则是从以下几方面加以推广 1 e y p 卢 其中h 为一严格单调 充分光滑的函数 h 已知 9 h 1 h 的反函数 称为联系函数 1 i n kf u n c t i o n 有9 p z 卢 1 第一章综述 2 2 z z y 可取连续或离散值 且在应用上更多见的情况为离散值 如 o 1 o 1 2 等 3 y 的分布属于指数型 正态是其中的一个特例 这里考虑y 为一维 故属于 一维指数型 其形式为 f u l o c v e 砷 v k o 这里口为参数 称为自然参数 b 口 为0 的已知函数 关于广义线性模型的文献很多 这里要提到m c c u n a g h p n e l d e r j a 所著g e n e r a l i z e dl i n e a rm o d e l c h a p m a n h i u 1 9 8 9 年 第二版 一书 此书对广义线性模型有较系 统的论述 对于了解广义线性模型的一些基础知识和基本理论很有帮助 不过 所有结 果都未给出证明 而且应用也不是很多 而l f a h r m e i r 等所著的m u l t i v a r i a t es t a t i s t i c a l m o d e l l i n gb a s e d o ng e n e r a l i z e dl i n e a rm o d e l s s p r i n g e r 1 9 9 4 一书则主要着力于建模 应用 颇多 本文的理论基础则主要是参考以下两篇文章t 1 1 9 8 5 年l f a h r m e ra n dh e i n zk a u f i n a n n c o n s i s t e n c ya n da s y m p t o t i cn o r m a l i t y o ft h em l ei ng e n e r a l i z e dl i n e a rm o d e l s a n n s t a t i s t i c s v 0 1 1 3 n o 1 3 4 2 3 6 8 2 1 9 8 7 年l f a h r m e i r a s y m p t o t i ct e s t i n gt h e o r yf o rg e n e r a l i z e dl i n e a rm o d e l s s a t i s t i c s1 8 1 8 5 7 6 前者在一定条件下 详见文献 2 证明了卢的m 工e 磊的强相合性 即赢一 卢 一 以及m l e 画n 的渐近正态性 即砖 磊一卢 马n o 1 其中晶 c o t 岛 卢 品 卢 筹 f 卢 为对数似然函数 后者则是在一定条件下 详见文献 3 给出了广义线性模型中最常见的三个检验统 计量 分别是似然比检验统计量h w a l d 检验统计量 s c o r e 检验统计量s 在原假设 和局部对立假设下的渐近分布 由于证明过程和一些条件的不同 所以本文也详细给出 并证明了似然比检验统计量 w a l d 检验统计量在原假设下的渐近分布 另外本文在做模拟时 采用了l o g i s t i c 模型 因而也参考了王济川等编著的 l o g i s t i c 回归模型一一方法与应用 书 由高教出版社出版 此书主要关注2 值变量的l o g i s t i c 模型 对使用s a s 处理l o g i s t i c 模型致力颇多 不过此书并未涉及有关数学理论 而是主 要着眼于应用 第一章综述 1 2 变量选择 3 变量选择是一种特殊的常见的模型选择问题 也就是选择重要变量 在统计学中有 着重要的意义 一般说来 根据问题本身的专业理论以及有关经验 人们罗列出来的可能 与因变量有关的自变量往往太多 其中有一些变量对因变量根本没有影响或影响很小 如果模型把这样一些变量都包含进来 不但计算量大 而且估计和预测的精度也会下降 因此 对模型的自变量选择做一些理论分析 是很有必要的 本节里 统一以z 记自变量 常见的挑选自变量的方法是向前法 向后法以及逐步选择法 第一 向前法 从开始只包含常数项出发 设在某个时候已有钆 z 被选入 尚 有z 十1 1 z 待选 此模型的对数似然函数最大值记为f l 如果在钆 研 的基础上加进 0 r i m 则将有z a j 竺l t 一 r j 一f 1 r 0 n 越大 表示因x j 的加入 此模型与数据拟合程度的改善越多 因而就越有被选入的资 格 由此可知 下一步应取有最大a j 的那个 加入巧 以z 1 为起点 再按 刚才的作法 在剩下的m 一 r 1 个中挑出一个 挑选何时结束 有2 种处理方法 一是事先定下一个适当的数字k 到挑出k 个为止 二是不事先定数目 而是要在每一步考察新加入一个变量的收益如何 以上介绍的是向前法 向后法则方向相反 起始将全部变量收入 再一个一个剔除 设在某一阶段还剩下钆 研 其余的已剔除出局 去考虑哪一个该在下一步剔除或停 止 计算 a j l 1 一 r z l 一 j l j 1 一 r j 1 r a j 越大 表示剔除 后模型拟合的程度下降越多 因而它越不应该被剔除 由此可知 可能剔除的对象 是使q 最小的那个蜘 而逐步选择法则是上述两种操作交替使用 设刚接纳一个新变量而得 钆 研 则下一步看钆 z 中有否可剔除者 如果有 则剔除它 否则维持扣 断 不 动 而下一步看余下的z l z 中有否可进入者 如有 则纳入它 否则维持不动 然后看已进入者中有否可被剔除者 一直进行到 既无可进 也无可出 时为止 在变量选择问题上有一个基本的共识t 既要使模型与数据拟合得好 叉要使变量的数 第一章综述4 目不太多 对于如何进行变量选择 不同的统计学家提出不同的准则 比如 1 9 7 3 年a k a i k e 提出的a i c 准则 它可以表达为使 a i c 一2 l o g 1 i k e l i h o o d 2 k 达到最小的那组参数是最 优的参数选择 其中k 表示选择的变量个数 还有c p 准则 即使 o 雩产一 n 一2 达 到最小的准则 以及b i c 准则 即使 b i c 2 l o g 1 i k e l i h o o d k l o g n 达到最小的准则 然而 在很多准则之下进行的变量选择不是相合的 z h a o l c 等 1 9 8 6 1 0 在解 决信号处理变量选择的时候 于著名的a k a l k e 的a i c 准则和s c h w a r t z r i s s a n e n 的m d l m i n i m u md e s c r i p t i o nl e n g t h 准则的基础上 提出了一种具有相合性的准则 他们称之 为信息论准则 i n f o r m a t i o nt h e o r e t i cc r i t e r i a i e i t c 具体工作见文章 o nr a t e so f c o n v e r g e n c eo fe f f i c i e n td e t e c t i o n c r i t e r i ai ns i g n a lp r o c e s s i n gw i t hw h i t en o i s e 1 9 8 9 1 1 在此我简单的介绍一下他们的此项工作 他们的工作是在模型选择的架构之下 在p 个备择模型凰 皿 缉一1 中按照某种 准则选取一个 凰是表示挑选了 个变量 真实的变量个数是p 0 要定出这个阶p o 之 前 w a xa n dk a i l a t h 1 9 8 5 把a i c 准则和m d l 准则用于这一模型选择问题 按照a i c 准则 自由参数的真值p 0 的估计声 满足 其中 a i c o m i n a i c o a i c p 一1 1 2 1 a i c k 2 l o g l k 2 v k p 1 2 2 此处反表示在模型风中似然函数的最大值 v k p 表示在风之下待估的自由参数的 数目 按照m d l 准则 p o 的估计如满足 其中 m d l 声o m i n m d l o m d l p 一1 1 2 3 m d l k 一l o g l k p c l o g n 2 1 2 4 按照他们提出的一般的i t c 准则 有时也称为e d c 准则 可选取p o 的估计量o 使之满足 其中 j 瞄o m i n l o c n t p 一1 1 2 5 m 一l o g p p 1 2 6 第一章综述5 而g n 满是 c n 斗0 c n il o g l o g n o o l 1 2 1 当 o o 正如w a x 和k a i l a t h 1 9 8 5 指出的 a i c 准则是不相合的 它一般倾向于高 估信号的数目 但他们在证明m d l 准则的 弱 相合性时 认为当r k 时l o g 似然比 一2 1 0 9 厶一l o g 三 的极限分布为x 2 分布 并利用了这一论断 z h a o k r i s h n a l a ha n db a i 指出 保证此论断成立的规则性条件不满足 并举出了极限分布不是x 2 分布的反例 因 此这个论断不对 而且 z h a o k r i s h n a i a ha n db a i 证明了 在c k 的上述选择之下 如 为如的强相合估计 而m d l 的强相合性只是它的一个特例 z h a o k r i s h n a i a ha n db a i 1 9 8 6 提出的这种方法 因为它的相合性这个优点 被用到 很多领域 r a oa n dw u 1 9 8 9 把这个准则应用到回归模型中的变量选择 b a i k r i s h n a l a h a n dz h a o 1 9 9 1 把它应用到l o g i s t i c 回归模型中的变量选择 b a i k r i s h n a i a h s a m b a m o o r t h a n dz h a o 1 9 9 2 把它应用到l o g 线性模型中的变量选择 本论文则是参照i t c 准则提供的方法 推广到自然联系函数下的广义线性模型 利 用似然比检验统计量和w a l d 检验统计量给出d o k 1 冬k p 雠 o 的一种估 计 即广义线性模型中的一种变量选择方法 第二章广义线性模型中的变量选择 2 1 引言 考虑一般的广义线性模型 k 反p e i t i n 2 1 1 这里m 为g 维的第i 次观测向量 五 为已知的p q 维设计矩阵 卢为未知的p 维回 归参数向量 h 是一严格单调 充分光滑的函数 它是r q r q 的映射 称g h 1 为 联系函数 q 为口维试验误差向量 且e i 的均值为0 方差有限 设q 维随机变量y 服从指数型分布 密度函数为以下形式t f v c u e x p e v 一6 日 c 0 可测 其中日 0 c r q 0 为一凸集 且0 非空 我们易知 胛 e y 警 c o v y 裟 在此 给出一些假定 i 量五 是满秩的 且s u p 历j j 0 为常数 对任意口e0 我们主要讨论自然联系函数下 m 为单变量的情形 对于多维情形可采用类似的方 法 对于非自然联系函数形式 情况较复杂 本文暂不做研究 下面如不做特殊说明i 都 是在自然联系函数下和k 为单变量的情形 设样本g 9 相互独立 密度函数为 f w c v i e x p o i y i 一6 壤 乏卢 它们的对数似然函数为 f 卢 o i y l 6 巩 注 c 轨 不依赖于卢 对估计卢无影响 故可略去 跚 警 耋酏刊娜 第二章广义线性模型中的变量选择 易知在自然联系函数下 r 卢 c o v 晶 卢 蜀e 卢 互 i l 础 等 日 卢 j 二 卢 在模型 2 1 1 下 我们常常要考虑以下的假设检验问题 h g 卢 4 k g 卢 n 7 2 1 2 2 1 3 这里c 为已知的秩为r 的r p 的矩阵 n 为已知的r 维向量 为了检验假设 2 1 3 我 们使用比较常见的w a l d 检验准贝 丽 和似然比检验准则x 矾 a 磊一o c f j l 赢 g 1 c 磊一n i 2 f 磊 一f 良 这里卢 为卢的真值 磊为卢 不受任何约束的m l e 晟为卢 在c 侈 o 约束下的m l e l f a h a r m e i r 1 9 8 7 3 给出了在一定条件下 识和i 在h 之下的极限分布 这些 条件确保了m l e 的一些渐近性质 f a h r m e i r e ta 1 1 9 8 5 2 本文将分别利用w a l d 检验 准则和似然比检验准则 给出一种变量选择方法 2 2 变量选择 如果我们记伊 卢a 臻 卢8 则我们只对下面集合中的分量有兴趣 d o 1s p 椎 o 2 2 1 对d o 的估计 称为变量选择问题 下面我们利用w a l d 检验准贝 和似然比检验准则给出 d o 的一种估计 首先 考虑以下的假设检验问题 凰 卢 0 凰 曝 0 2 2 2 此检验问题可写为 丑 卢o 0 k j j 卢o 0 2 2 3 第二章广义线性模型中的变量选择 其中c 为p 维向量 第七个元素为1 其余为零 w a l d 检验准则和似然比检验准则分别为 氟女 c 反 j 巧1 赢 c c j 反 爻 女 2 k 喊 一k 磊 其中赢为卢 不受任何约束下的m l e 磊为伊在卢 0 约束下的m l e 定义 n 6 伊 i i 庸 卢o 一卢o 怪d 6 o 引入以下条件 a m i n 妻墨 d j 卜 c 2 c 2 0 为一常数 当以 0 0 对所有的6 0 m 胙 6 0k 卢 一i 0 这里k 卢 巧 卢o r 卢 再 矿 存在卢 的一邻域 常数c 0 及自然数 使得 a m l n r 卢 c m 晶 卢o 6 卢 n 扎 礼1 上面的a m 和a a x 分别为矩阵的最小和最大特征值 而后 我们构造d o 的两个估计定义为t d 1 s p 丽k 女 矸0 d n 1sk p x a 其中 w 0 h 为一列满足下列条件的函数 溉警扎 l i m w n n 几n l i m a n n o 熙h o 对于鼠和风 我们有以下定理 8 2 2 4 2 2 5 2 2 6 2 2 7 定理 在 d 和 n 以及 条件下 如果w 满足式 2 2 6 则由式 2 2 4 所定 义的上 n 为d 0 的一个弱相合估计 如果 满足式 2 2 7 则由式 2 2 5 所定义的d n 也为d o 的一个弱相合估计 第二章广义线性模型中的变量选择 2 3 引理 9 引理2 8 1 在 d 和 以及 条件下 有 赢 卢o a 8 f n 一 矿 品 卢o r 卢o 露一3 0 o pc 1 3n o 1 证 由 d 且e 日 有下界 易推出a n t i f n 卢o m 当n o 故此引理的证明参 见文献 2 中的引理1 和定理3 引理2 8 2 设在模型 2 1 1 下 d 和 n 以及 成立 且其真参数卢 满足 c 3 0 a 则当n o o 时 有 识sx i 证 先考虑引理2 3 2 的条件下 识 g 磊一口 g 昂一1 卢o g 1 g 磊一o 的分布 谛j g 赢一卢o c f 9 1 卢o g 一1 g 磊一p o 皤1 卢 忍一矿 m g 再 矿 g 万 卢 卯一 矿 一 g 巧 矿 毒 卢o 磊一卢o 垒q b 其中 q j 淳 j 日o 磊一卢o b g j i 卢o i g e 5 1 卢o g f 一 卢o 一1 g 只 1 1 卢o 由引理2 3 1 有 咖3n o 再令b 垒a a a 一1 a p a 为投影阵 因而为幂等阵 其中 g 雨 卢o 秩为r 敌有 识马x 注意到 础 宴硒如耋磊警五 e 口 五e i 历 磊兰嵩笋五 i ll j 妻蜀掣矾 第二章广义线性模型中的变量选择 由引理2 3 1 知 反为口 的相合估计 又由h 的充分光槽性 我们可以得到 晶 赢 r 矿 4 d p 1 所以 唧 1 1 0 即有 识鸟x 2 引理2 3 3 在模型 2 1 1 下 d 和 n 以及 岛 成立 且其真参数卢 满足 g 卢o o 则当n o o 时 有 x jx 2 证 不失普遍性 假设g 僻 o 若设卢 曷 即 为r 维向量 那么 日可写为 卢 1 口 记f n 笔 笔 r 1 寡笔 品c 铆 善 其中f 1 1 吒均为r r 维矩阵 盈t 卢 为r 维向量 事实上 对于一般的情形 我们可以通过以下的变量 因为矩阵g 行满秩 不妨设 q g 0 l r洲 睦 fa 1 c 1 d e ti l o ig g c l l 一c 1 r c 1 p i 种2 卜 ro 这里卢 卢l 岛 7 7 那么p 可逆 且卢 p r 饰 2 3 1 第二章广义线性模型中的变量选择 原模型 2 1 1 可变为 m h z v 一1 7 e i i 1 n 2 3 2 原模型 2 1 1 中的检验问题在新模型 2 3 2 下变为 h 0 7 0 o h k 7 0 故只需考虑c 饵10 这个情形即可 似然比统计量天 2 1 赢 一k 反 由t a y l o r 展开和 2 1 2 式 可以得到 支 2 z 赢 一l n 赢 赢一卢o 一 忍一矿 r 卢o 良一b 0 一 瓦一矿 o a i i 磊一矿n o p 1 a a o p j 2 3 3 由引理2 3 1 我们有 磊一卢o f 孑1 卢o 晶 卢o 1 此时赢为在卢 1 o 约束下卢 的m l e 就是在b 0 o 下 找反2 之值 使l n a 卢 2 最大 由引理2 3 1 同样可以得到 珏伊2 础卢 d p 1 2 s 5 由 2 3 4 和 2 3 5 式 得到 c 脚o 一c 种峥 黜 篙 2 揉繁 础 删巾枷 若记 m 嚣 础挈 啊 仁 易知m 为对称阵 且r a n k m r 综合 2 3 3 2 3 6 和 2 3 7 i 文 矿 m f f l o m s n b o 第二章广义线性模型中的变量选择 由引理2 3 1 我们有晶 卢o 3n 0 r 伊 且易知 m f n f l o m f n 卢o m f n 卢o m m r 卢o m r n m f n 卢o m r 故有 爻 马x 由卢 b b 为一紧集 可知x o p 1 所以有 爻 支 十o p 1 马x 引理2 3 3 得证 2 4 定理的证明 回到最初的定理 先证明第一部分 当碾 0 时 即k e d o 时 由引理2 3 2 我们知 识k 马媛 n 斗o o 任取m 0 p 豌t p 识r m u n m 识 p 氟 m 豌女 p 鼠k m 氟 当n 足够大时 使得 m 则上式第二项为0 第一项墨p 竹k m 即 p 识 p 瓯 m 先令n o 则霄 马x 再令m 则p 识 m 0 故 p 氟女 0 n 从而 p 访 o 有 易知 故 即有 故 而已知 1 i m 訾 o 故 靠1 卢o c 靠1 卢o c 一1 c i l 五 i l c l 磊 1 c 1 n n c j z z 3 1 c 一1 i z i i li 1 又识 识女 0 p 1 所以 n 识女 c 1 m i n z 穗 i 1 宰独铱 半 撬学 c l c 2 卢孙 n 一 n 7 k p 识女 1 n o 结合 2 4 1 和 2 4 2 知日 为d o 的弱相合估计 再证明第二部分 同样 当曝 0 时 即k e d o 时 由引理2 3 3 知 i k3 婿 n o 1 3 2 4 2 第二章广义线性模型中的变量选择 故类似前面的证明 易知 p x n 1 n o o 当卢 0 时 即k d o 时 i t 2 i 怠 一k 声 2 t 伊 一z 尻 2 巩 一晚 忍 m 乏矿 q 一 巩 卢o 一6 仇 尻 在自然联系函数下 有鼠 芦 声 h 掣 故 知 耋 z 舻z 跏 矿 6 妒 6 砷 i 矿一磊 e t a h 又 b 磊 b z l z 磊一卢0 h 卢 忍一矿 磊e 曩口 瓦一卢 其中矿在瓦与卢 的连线上 故 j 磊一卢0 磊 乏卢 尿一卢o t 1 导 瓦一伊 五z 菇一芦o 一 t 1 鲁a m m 磊 o 磊一卢 i 2 而e e 0 且v a t q o 则 壹堕盥掣 壹盟 缱惭 厶一 t z 耋掣 又s u p i l z d l w n d m k 1 卜k i i i i i i v v 注 i 本模拟的最终结果就是希望能得到这样的一个m 3 的矩阵d 其中m 1 0 0 表示重复做了1 0 0 次模拟 矩阵d 第一列的取值是1 或者n a 第二列的取值是2 或者 n a 第三列的取值是3 或者n a d 的每一行所列出的数字即为估计d 中的元素 例如 若d 其中一行为 1 n a 3 则表示d 1 3 第三章数据模拟1 8 注 i i 让模型 2 2 3 中的常数c 分别取 1 0 o 0 1 o 注 i i i 该式中的晶 赢 曼磊 卢 其中 口 c o v y 即 e 翻 高 注 i v 满足第二章 2 2 4 式 即 熙等 0 0 0 n l i m o o o o n n 故可以取w n l o g n 其中n 1 0 0 0 为样本量 注 v 当满足条件识 w 么时 由 2 2 5 知k 为d n 中的元素 9 m 捌 k 见 注 i 这样我们就对样本量为1 0 0 0 模型为l o g i s t i c 的模型做了1 0 0 次模拟 3 3 模拟结果 通过第二节的模拟 我们得到一个1 0 0 3 的矩阵d 详见附录 按上节注 1 由于d o 1 3 故其中值为 1 n a 3 的行 即为我们希望得到的 d 统计个数为8 7 也就是说 这1 0 0 次模拟中有8 7 次得到的估计d 与d o 相同 说明 模拟得教好 出现与d 0 不同的估计d 中 绝大部分是多选了 而出现漏选的次数只有 1 次 这个结果还是比较令人满意的 通过第三章的模拟 我们从实践中证明了第二章所给出的变量选择方法的合理性和 可行性 n a n a n a 2 n a n a n a n a n a n a n a n a n a n a n a n a 2 n a n a n a 2 n a n a n a n a n a n a n a 2 n a n a n a 2 n a 附录 n a n a n a n a n a 2 2 n a n a n a n a n a n a n a n a 2 n a n a n a n a n a n a 2 n a n a n a 2 n a n a n a n a n a n a n a 6 9 7 0 7 1 7 2 7 3 7 4 7 5 7 6 7 7 7 8 7 9 8 0 1 8 1 8 2 f 8 3 f 8 4 8 5 8 6 8 7 8 8 8 9 9 0 9 1 9 2 9 3 94 9 5 9 6 9 7 l 9 8 9 9 1 0 0 1 n a n a n a n a n a n a n a n a n a n a n a 2 n a n a n a n a 2 n a n a n a n a n a n a 2 n a n a n a n a n a n a n a n a 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 1 1 i 1 1 i i 11 i 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 l 1 1 i i i 1 1 1 1 1 1 1 1 1 1 州m m删 嗍 m 刚嘲嘲刚嘲 m例删 川嘲 嘲m例 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 o 3 3 3 3 3 3 3 3 3 3 3 3 3 m 3 i i i 1 1 1 1 1 1 1 1 1 1 嗍吲问嘲嘲吲嘲嘲 叫 m 刚 剐m m吲 删 参考文献 1 n e l d e ra n dw e d d e r b u r n 1 9 7 2 g e n e r a l i z e dl i n e a rm o d e l s j o u r n a lo fr o y a ls t a t i s t i c a ls o c i e t y a 1 3 5 3 7 0 3 8 4 2 f a h r m e i ra n dh e i n zk a u f m a r m 1 9 8 5 c o n s i s t e n c ya n da s y m p t o t i cn o r m a l i t yo ft h em l ei ng e n e r a l i z e dl i n e a rm o d e l s a n n s t a t i s t i c s v o l 1 3 n o 1 3 4 2 3 6 8 3 1 3l f a h a r m e k 1 9 8 7 a s y m p t o t i ct e s t i n gt h e o r yf o rg e n e r a l i z e dl i n e a rm o d e l s s t a t i s t i c s1 8 1 6 5 7 6 4 w e d d e r b u r n r w m 1 9 7 6 o nt h ee x i s t e n c ea n du n i q u e n e s so f t h em a x i m u m l i k e l i h o o de s t i m a t e s f o rg e n e r a l i z e dl i n e a rm o d e l s b i o m e t r i k a6 3 2 7 3 2 5 m c c u l l a g h p n e l d e r j a 1 9 8 92 de d g e n e r a l i z e dl i n e a rm o d e l s n e wy o r k c h a p m a na n d 6 l f a h r m e i ra n dg t u t z 1 9 9 4 m u l t i v a r i a t es t a t i s t i c a lm o d e l l i n gb a s e do ng e n e r a l i z e dl i n e a r m o d e l s s p r i n g 7 1h o c k i n g r r 1 9 7 6 t h ea n a l y s i sa n ds e l e c t i o no fv a r i a b l e si nl i n e a rr e g r e s s i o n b i o m e t r i c s 3 2 1 4 9 8 b a i lz d k r i s h n a i a h p r z h a n l c 1 9 8 7 v a r i a b l es e l e t i o ni nl o g i s t i cr e g r e s s i o n t e c h n i c a l r e p o r t n o 8 7 2 3 c e n t e rf o rm u l t i v a r i a t ea n a l y s i s u n i v e r s i t yo fp i t t s b u r g h 9 a k a i k e h 1 9 7 3 i n f o r m a t i o nt h e o r ya n de x t e n s i o no ft h em a x i m u m l i k e l i h o o dp r i n c i p l e i n b n p e t r o w f c z h k i e d s 2 u di n t s y m p o ni n f o r m a t i o nt h e o r y a k a d e m i a ik i a d b b u d a p e s t p p 2 6 7 2 8 1 1 0 z h a o lc k r i s h n a i a h p r b a l z d 1 9 8 6 o nd e t e c t i o no ft h en u m b e ro fs i g n a l si np r e s e n c e o fw h i t