双重广义线性模型的经验似然推断.pdf

高校应用数 学学报 2 0 1 5 3 0 1 1 0 1 6 双重广义线性模型的经验似然推断 王子豪 吴刘仓 戴琳 昆明理工大学 理学院 云南昆明 6 5 0 0 9 3 摘要 基于截面经验似然方法 将双重广义线性模型的拟似然估计方程作为截面经 验似 然比函数 的约束 条件 构造 了均值 模型和散 度模 型未知参数 的置信 区间 最后通 过数据模拟 将该 方法与正 态逼近方 法比较 说 明了该 方法是有效和可行的 关键词 双重广义线性模 型 经验似然 置信 区间 0 分 布 中图分类号 O2 1 2 1 文献标识码 A 文章编号 1 0 0 0 4 4 2 4 2 0 1 5 0 1 0 0 1 0 0 7 1 引 言 广义线性模 型是经典线性 回归模 型的普遍化 它在 生物 医学和经 济 社会数据 的统计分 析上具有 重要意义 1 1 自Ne l d e r和We d d e r b u r n 2 首次 引入广义 线性一词后 引起 了众多 学者 的 关注 黄丽等 3 研究了对数正态分布下联合均值与散度广义线性模型的极大似然估计 吴刘仓 等 j 研究 了S t N 分布下联合位置 尺度与偏度模型的极大似然估计 另一方面 在许多应用领 域 特别在经济领域和工业产品的质量改进试验中 非常有必要对均值和散度 同时建模 因此 P r e g i b o n 5 提出了散度不等情况下的广义线性模型 即双重广义线性模型 考虑双重广义线性模型 其中 和z分别为均值和散度模型中解释变量的观测值 维数分别为p 和口 夕 和 是已知的联 系函数 是方差函数 Rp 7 R Wa n g 1 Z h a n g 研究了双重广义线性模型中仅均值模型的变量选择 N e l d e r i fl L e e 运用扩 展拟似然的方法同时估计出双重广义线性模型中的均值和散度 Gi j b e l s 等 研究了双重广义非 收稿 日 期 2 0 1 4 0 7 1 2 修回日期 2 0 1 4 1 0 1 5 基金项 目 国家 自 然科学基金 1 1 2 6 1 0 2 5 1 1 0 2 6 2 0 9 4 1 4 6 1 0 2 6 云南省自然科学基金 2 0 1 1 F Z 0 4 4 1 仇 托 越 一 一 王子 豪等 双 重广义线性模 型的经验似然推断 1 1 参数模型的估计问题 陈海露 9 研究了双重广义线性模型的参数估计与变量选择等 Xu 等 1 0 研 究了高维数据下双重广义线性模型 的变量选择 目前据作者所知 大量的文献集中于双重广义线性模型点估计的相关研究 然而在某些 实际具体问题中区间估计可能比点估计更有实用价值 而双重广义线性模型的区间估计还没 有相关文献研究 另一方面 经验似然作为一种完全样本下的非参数统计推断方法 它有类似 于b o o t s t r a p 的抽样特 性 由经验似 然构造 的置 信 区间具 有域保持性 变换不变 性 并且置信 域 的形状 由数据 自行决定 所 以该方法成 为当今统计研究的热点 该方法 自Ow e n 1 1 1 2 提 出后被其 他 学者广为 应用 Qi n 和L a w l e s s 1 3 构造 了估 计方程 中参 数的经验似 然 比统计量 同时将经验 似 然推广到半参数模型中 Ko l a c z y k 1 4 将经验似然推广到了广义线性模型中 Wa n g J i n g 1 5 利 用经验似然方法研究了部分线性回归模型 构造了模型中未知参数的置信域 Y o u和Z h o u 1 6 把 经验似然方法应用到半参数变系数部分线性模型的统计推断 丁先文等 1 7 J 利用经验似然方法研 究了非线性回归模型中参数的置信域问题 陈放等 1 8 利用经验似然方法研究了右删失数据下非 线性回归模型的统计推断 冯三营等 利用经验似然方法构造了非线性半参数E V模型的经验 似然置信域 杨宜平等 2 0 研究了在响应变量缺失的情况下 部分线性模型的经验似然推断 因此本文利用经验似然的方法研究了双重广义线性模型的区间估计 2 介绍了双重广义线 性模型的扩展拟似然估计方法 3 利用经验似然的方法推导了双重广义线性模型下单个参数的 置信 区间和 多个参 数的置 信区域 4 是经验似然 方法 与传统的正态逼近方法相 比较 进行 了模拟 研究 模拟研究的结果表明在双重广义线性模型中经验似然方法较正态逼近方法平均覆盖率高 2扩展拟似然估计 在响应变量分布未知的情况下 wle d d e r b u r n 2 1 提出了拟似然方法来对参数进行估计 该方 法通常应用于广义线性模型中 若响应变量 服从指数族分布 表示为 c y i e x p y T O i b O i 2 1 其中样本 y d i i 佗 相互独立 玑为q 维 c y i 0 与 无关 通过下述关系与线性预测 子 发生关系 0 2 2 Z i z t 为已知p 口 阵 拟似然方法是对 2 1 式的对数似然方程求极值 解m 0 t 的估计值 求解 过程中 c 玑 与 无关的常系数并不影响结果 而当方差或散度不等时 就不能将c 玑 视为一个 不变的常量 c 玑 此时是一个包含散度参数 的函数 因此 在方差或散度不等时 需要扩展拟 似然方法来进行参数估计 N e ld e r L e e 2 3 构造了双重广义线性模型 1 1 的扩展拟似然函数Q 舳卜 一 言 2 3 其 中 是均值模 型的偏差部分 定义为 2 1 2 高 校 应 用 数 学 学 报 第3 0 卷第1 期 为极大化Q 对 7 分别求导 O ft 一 2 毫 箫 2 4 一 2 筹 2 5 8 8 解 2 4 2 5 式可以得出p 的估计值 3 经验似然推断 3 1 估计方程的经验似然推断 O w e n 9 在提出经验似然这一方法时 最先将其应用到总体均值的推断 总体均值的经验似 然推断中均值 是由下面方程确定 厂 d F 0 3 1 1 考虑更一般的情形 对 0 R p YR m X 是由下面方程确定 m x O d F x 0 3 1 2 得到 的截面经验似然函数为 s u p 印 p m 臼 0 1 o 3 1 3 Q in 和L a w l e s s l 1 证明了 设 O V a r m X 有限且有秩p 0 若 满足E m 0 0 一 2 1 o g 3 1 4 3 双重广义线性模型的经验似然推断 2 当 3 1 2 式中F 为离散函数时 2 4 和 2 5 式满足这一形式 故 2 4 和 2 5 式可以作为 截面经验似然比函数的约束条件 此时 截面经验似然比函数可以表示为 c 唾 嚣 i 1 筹 1 为 求解 3 2 1 式 可视 为 在一 定 条 件 下求 解nn印i 的 极 大 值 NT N t g p t 的 表 达形 式 构 造 拉格 朗 日算子 如下 G n 印 扎入 n 嚣 一 礼 喜 筹 i l pt c3 2 2 王子豪等 双重广义线性模型的经验似然推断 1 3 其 中入 入 分别为P 维和g 维 的列 向量 计算得 1 1 p i n 入 嚣 入 d i 5 i 0 i 3 2 3 3 2 1 单个参数的置信区间 若使用经验似然法对模型 1 1 中均值参数的某个分量 构造置信度为1一 的置信区间 将 3 2 3 式代入 3 2 1 式中 其截面经验似然比函数可以表示为 其 3 l 构造出的置信区间为 3 2 1 1 岛 2 l o g 3 j 3 2 1 2 其中 i 是自由度为1 的标准卡方分布的1 分位点 同理可构造对单个散度参数的置信区间 3 2 2 多个参数或所有参数的置信域 当对多个参数或所有参数构造其置信域时 为了方便表示 对 一 y 各分量按需求重新排序 令 B 1 2 p p T F 7 1 7 2 一 y q q T 3 2 2 1 BI 1 3 2 p T 与n 7 1 2 q T 表示待构造置信域的参数 当p 1 1 时 即单个参数的情形 当P l P 时 就是对 所有分量构造置信域 与 类似 截面经验似然 比函数表 示为 其中 其置信域表示为 1 3 2 2 2 卢 p 1 p 1 1 一 p T B1 r 1 一 2 1o g B1 n p2 q 3 2 2 3 2 2 p B r 一B 一 丝扭 B 1 4 高 校 应 用 数 学 学 报 第3 0 卷第1 期 4模拟研究 在模拟过程中 设相互独立的响应变量玑的分布如下 P o i s s o n mi mt G a mm a v i E y i V i O t i V a r y t y i o i t l o g i l o g r i 1 2 n 4 1 其 中设 定 Xi X X2 t T X2 i u o 1 Z l i Z 2 i T z 一 u o 1 2 1 T 0 5 1 T 若使用正态逼近对 4 1 1 式构造单个参数0 Z y 的置信区间 当n 足够大时 有 一0 N 0 4 2 这里需要用到 的估计值 表示为 BA 4 3 其中 e X T x X x 房 e x 西 均为正定矩 为 对应待估 参数的下标 下面分别用经验似然 E m p i r i c a l L i k e l i h o o d 简写为E L H 正态N N o r m a l A p p r o x ima t i o n 简写为NA 对均值参数 1 和散度参数 Y 2 构造置信区间 模拟3 0 0 次 结果如下 1 0 0 0 4 0 8 9 0 3 9 0 1 0 9 3 41 0 9 2 4 6 O 9 87 2 0 9 5 07 0 9 0 47 0 8 8 9 7 1 5 0 O 2 9 3 2 O 2 8 3 7 O 9 4 6 2 0 9 41 7 0 8 0 31 0 7 8 55 0 9 30 8 0 9 2 1 3 由上表的模拟结果可以看出 1 随着样本量的增大 E L 与NA的均值参数 1 与散度参数 2 的置信区间平均长度明显变小 平均覆盖率逐渐增加并趋近于9 5 2 与NA 相 比较 E L 的平均覆盖率较为接近9 5 但平均长度稍长 3 E L 与N A中 散度参数 的模 拟结果不如 均值参数 的结果理想 散度 参数 的置信 区间 比均 值参数的平均覆盖率小 平均长度长 王子 豪等 双重广 义线性模型 的经验似 然推 断 1 5 5结论 本文研究了双重广义线性模型中的经验似然置信域问题 借助扩展拟似然估计方法 构造 出双重广义线性模型的截面经验似然E 匕 函数 得出了均值模型与散度模型中未知参数的置信域 在 模拟研 究中 比较 了经验似然和 正态逼 近两种方法 结果表 明 经验似然 方法特别在 平均覆盖 率方面要优于传统的正态逼近方法 参考文献 1 陈希孺 广义线性模型 一 J 数理统计与管理 2 0 0 2 2 1 5 5 4 6 1 2 N e l d e r J A We d d e r b u r n R W M G e n e r a l i z e d l i n e a r mo d e l s J J o u r n a l o f t h e R o y a l S t a t i s t i c a l S o c i e t y S e r i e s A 1 9 7 2 1 3 5 3 3 7 0 3 8 4 3 黄丽 吴刘仓 基于对数正态分布下联合均值与散度广义线性模型的极大似然估计 J 高校应用 数学学报 2 0 1 1 2 6 4 3 7 9 3 8 9 4 1 吴刘仓 马婷 詹金龙 基于S t N 分布联合位置 尺度与偏度模型的极大似然估计 J 高校应用 数学学报 2 0 1 3 2 8 4 4 3 1 4 3 8 5 5 P r e g i b o n D R e v i e w o f g e n e r a l i z e d l i n e a r mo d e l s b y Mc C u l l a g h a n d N e l d e r J T h e A n n a l s o f S t a t i s t i c s 1 9 8 4 1 2 1 5 8 9 1 5 9 6 6 Wa n g D a r o n g Z h a n g Z h a n g z h a n V a r i a b l e s e l e c t i o n i n j o i n t g e n e r a l i z e d l i n e a r mo d e l s J Ch i n e s e J o u r n a l o f A p p l i e d Pr o b a b i l i t y a n d S t a t i s t i c s 2 0 0 9 2 5 3 2 4 5 2 5 6 7 N e l d e r J A a n d P r e g i b o n D A n e x t e n d e d q u a s i l i k e l i h o o d f u n c t i o n J B i o me t r i k a 1 9 8 7 7 4 2 2 2 1 2 3 2 8 G i j b e l s I P r o s d o c i mi I C l a e s k e n s G N o n p a r a me t r i c e s t i ma t i o n o f me a n a n d d i s p e r s i o n f u n c t i o n s i n e x t e n d e d g e n e r a l i z e d l i n e a r m o d e l s J T e s t 2 0 1 0 1 9 3 5 8 0 6 0 8 f 9 陈海露 双重广义线性模型的参数估计与变量选择 D 北京 北京工业大学 2 0 1 1 1 0 X u D e n g k e Z h a n g Z h o n g z h a n Wu L i u c a n g V a r i a b l e s e l e c t i o n i n h i g h d i me n s i o n a l d o u b l e g e n e r a l i z e d l i n e a r m o d e l s J S t a t i s t i c a l P a p e r s 2 0 1 4 5 5 3 2 7 3 4 7 1 1 O w e n A E mp i r i c a l l i k e l i h o o d r a t i o c o n fi d e n c e i n t e r v a l s J B i o me t r i k a 1 9 8 8 7 5 2 3 7 2 4 9 1 2 O w e n A E mp i r i c a l l i k e l i h o o d f o r l i n e a r mo d e l s J T h e A n n a l s o f S t a t i s t i c s 1 9 9 1 1 9 4 17 25 1 747 1 3 Q i n J L a w l e s s J E s t i ma t i o n l i k e l i h o o d i n b i a s e d s a mp l e p r o b l e m s J T h e A n n a l s o f S t a t i s t i c s 1 9 9 3 2 1 3 1 1 8 2 1 1 9 6 1 4 K o l a c z y k E D E m p i r i c a l l i k e l i h o o d f o r g e n e r a l i z e d l i n e a r m o d e l s J S t a t i s t i c a S i n i c a 1 9 9 4 4 1 9 9 2 1 8 1 5 Wa n g Q i h u a J i n g B i n g y i E mp i r i c a l l i k e l i h o o d for p art i a l l i n e a r m o d e l w i t h fi x e d d e s i g n s J S t a t i s t i c s Pr o b a b i l i t y Le t t e r s 1 9 9 9 41 4 2 5 4 3 3 1 6 Y o u J i n h o n g Z h o u Y o n g E m p i r i c a l l i k e l i h o o d fo r s e mi p ara m e t r i c v a r y i n g c o e ffic i e n t p a r t i a l l y l i n e ar r e g r e s s i o n m o d e l s J S t a t i s t i c s P r o b a b i l i t y L e t t e r s 2 0 0 6 7 6 4 4 1 2 4 2 2 1 7 丁先文 徐亮 林金官 非线性回归模型的经验似然诊断 J 应用数学学报 2 0 1 2 3 5 4 6 9 3 7 0 2 1 8 陈放 李高荣 冯三营 右删失数据下非线性回归模型的经验似然推断 J 应用数学学报 2 0 1 0 3 3 1 1 3 0 1 4 1 1 9 冯三营 李高荣 薛留根 非线性半参数E V 模型的经验似然置信域 J 高校应用数学学报 2 0 1 0 2 5 1 5 3 6 3 1 6 高 校 应 用 数 学 学 报 第3 0 卷第1 期 2 0 1 杨宜平 薛留根 程维虎 响应变量存在缺失时部分线性模型的经验似然推断 J 1 高校应用数学 学报 2 0 1 0 2 5 1 4 3 5 2 2 1 We d d e r b u r n R W M Qu a s i l i k e l i h o o d f u n c t i o n s g e n e r a l i z e d l i n e a r mo d e l s a n d t h e Ga u s s Ne wt o n me t h o d J 1 B i o me t r i k a 1 9 7 4 6 1 4 3 9 4 4 7 2 2 陈希孺 广义线性模型的拟似然法 M 合肥 中国科学技术大学出版社 2 0 1 1 2 3 N e l d e r J A L e e Y G e n e r a l i z e d l i n e a r mo d e l s f o r t h e a n a l y s i s o f T a g h c h i t y p e e x p e r i me n t s J Ap p l i e d S t o c h a s t i c Mo d e l s a n d Da t a Ana l ys i s 1 9 9 1 7 1 0 7 1 2 0 Em pi r i c a l l i k e l i ho o d f o r d o u bl e g e ne r a l i z e d l i n e a r m o de l s W ANG Z i h a o W U L i u c a n g DAI Li n F a c u l t y o f S c i e n c e Ku n mi n g Un i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y Ku n mi n g 6 5 0