（应用数学专业论文）带不等式约束的线性回归模型的统计诊断.pdf

硕 十 论 文带不等式约夷的线性回归模型的统计诊断 ab s t r a c t i nth i s p ape 几w est u 勿 the s t a t i st i c ald 1 a g i1 o s t i c sfo r the i n e q u a 1 i ty c o n s tr a in e d re g e s s i o n p r o b l e m s ， t hr o u g h c as e d e l e t e d an d m e ans h i ft we c ang etthe o ut l i e r s ， an d w e a l s op ro ve th ee q u a l i ty fo r th et w ow a y s . the nwe s 怕 d ythe re s i d u alan a l y s i sfo r i n e qu al i ty 一 c o n s t r a l ned ， fo r th e mod e l o f v 而anc e i nfiat i o n we studyth e s c o ret e s t and th e te sto f homo g e n e i ty o f var i anc e ， a l1 dthe nwe d i s c u s s t h el i k e l i h o o de s i l n 1 ate. ai l ast， t 址 。 u gh i n fl uen c e anal y s i s fo r in e qual i ty 一 c o n s tr ame dr e 脚s s i o np ro b l ems ， we c an g et s o m ete s ts tati st i c s ， for e x amp l ec o o kst at i st icandwel s ch一 k uh s l a t i s t i c ，l i k e l i h o o d d i s p l a c e m e nt ， b e stl i n e arunb i a s e d e s t i m ate and s o o n . inadd i t i o n ， a s i m u l ate d a taexam p l e i s p r o v i d e d fo r i l l u s t r at i o n p u 印 o s e . k e y和r d s : c o n s tr a in e d r e gr e s s i o n ， re s id u a l ana ly s i s ， o u t l ie r i n fl u e n c e ana l y s i s ， l i k e l i h o o d d i s p l a c e me nt ， b e stl i n e arunb i a s e d e st i m at e . 声明 本学位论文是我在导师的指导下取得的研究成果， 尽我所知， 在 本学位论文中， 除了加以标注和致谢的部分外， 不包含其他人已 经发 表或公布过的 研究成果， 也不包含我为获得任何教育机构的学位或学 历而使用过的 材料。 与我一同工作的同事对本学位论文做出的贡献均 己在论文中作了明确的说明。 研究生签名 : 饰滩一 恤7月 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档， 可以借阅 或上网公布本学位论文的全部或部分内容， 可以向有关部门或机构送 交并授权其保存、 借阅 或上网公布本学位论文的全部或部分内容。 对 于保密论文， 按保密的有关规定和程序处理口 研究生签名:命 乡 勺 书伽 年泪 日 硕士论文带不等式约束的线性回归模型的统计诊断 第一章绪 论 ll 关于统计诊断的发展和研究方法以及现实意义 统计诊断是70年代中 期发展起来的一门统计学分支。 所谓统计诊断，就是对从 实际问题中 收集起来的数据和提炼出 来的模型以 及由 此出发所做的 推断 方法的合理 性进 行深入 细致的 分析， 并通过一些诊断 统计量 来检查数据， 模型以 及推断方法中可 能存在的 “ 毛病” ， 进 而提出“ 治 疗” 方案。 也就是说对统计方法解决问 题的全过程进行 诊断。 今天它已 成为 统计学使用过程中不 可缺少的一 个部分， 而且编入了 许多统计软 件包如: matl ab、 5 一 p lus、s a s 、 s pss 等，受到统 计界和广大实际工作者越来越多的 重视。 统计学 研究的出 发点 是一个数据集， 这些数据都是通过历史资料或试验收集起来 的， 对于这些数据我们可以利用统计方法选择其适合的模型， 但这样的模型只是一种 近似的描述， 选择它的依据就是使尽量多的点适合 这个模型， 对于我 们得到的 数据集， 有些数据可能是收 集或整理的过程中的 疏忽或失误或其他原因 而出 现很大的 误差， 这 些点有时会 对我 们的 统计推断产生重大的 影响， 为了解决这种问 题， 统计诊断 做为一 种分析方法应运而生. 为了 克服既 定模型与客观实际之间存在的不一致性， 通常有两 种途径可循:第一， 寻找一种统计方法使 之当模型有微小变动或扰动时统计推断不 受太大的影响， 亦即这种统计方法对模型的 扰动具有某中稳健性， 这就是 所谓 稳健统 计。 第二， 寻 找一种 诊断方法， 判断实际 数据是否与既定模型有 较大偏离并 采取相应 的对策，这就是统计诊断的主要内容 。具体包括:异常点的识别、残差分析、影响 分析、数据变换等，通过统计诊断，我们可以找出那些严重偏离既定模型的数据点， 即异常点，也可以找出那些对统计推断影响比较大的点，即强影响点， 还可以找出那 些远离数据主体的点， 即高杠杆点。 此外还可以 研究模型中 若干具体因 素对于 统计推 断的影响。 当 然， 对于这些数据进 行初步诊断以 后， 我们还需要尽可能 地研究 治疗方 案。 如果实际 数据中 仅有个别点或少数点 与既定 模型偏离较大， 我们 就肯定 模型， 对 这些点再作 进一步的 考察， 如果实 际数据中许多点都与既定模型偏离较大， 在多 数情 况下， 仍然保留方 便有效的既定模型， 可以 对数据集进行合 适的数据 变换， 使 得变换 后的数据符合既定 模型，如果这样仍不 够理想， 那就 要寻找更合适的模型。 近年来，随 着统 计诊断技术的不断发展，人们不仅关心某一 个或 几个数 据点的 影响， 同时 也开始关心与数据或模型有关的各种因素对于统计分析的 影响。 在影响的 刻划中， 似然 距离受 到很多统计学家的重 视， 因为 它有明 确的统计意义， 适用 范围 也 非常广泛。 到目 前为 止， 作为统计学的 一个迅速兴起的 分支， 统计诊断已 逐步展 现出 丰富的研究内容和 广阔的应用前景， 并取得了 一系列引人注目 的成果， 特别是在 线性 硕 士 论 文 带不等式约束的线性回归模型的统计诊断 回归 诊断方面， 而在其他某些统计领域中 还有很多问 题需要解决， 可以 预料， 统计诊 断会受到更多 统计工作者的重视和研究，从而得 到更快的发展。 1 .2关于线性模型的研究现状 线性模型 是数理统计学中发展较早，理论丰富 而且应用性很强的一 个重要分支， 它也是其他统 计模型研究或应用的基础， 之所以 如此， 其原因主要是: ( 1) 在现实世 界中， 许多量 之间具有线性或近似的线 性依赖关系。(2) 在现实世界中，虽然许多 量之间的 关系是 非线性的， 但是 经过适当的 变换，变换过后的新变量之间具有近似 的 线性关系。 (3) 线性关系是数学中最基本的 关系。 因 而，比 较 容易处 理， 在数学中 己 经积累了 处 理线性关系的丰富的理论和方法， 为 实际应用提供了坚实的理论依据和 有效的 算法。 线性模型包括通常的线性回 归模型， 方差分析模型， 协方差分析模型和 方差分析模型 等等。 在过去的几十年中， 线性 模型不仅在理论研究方面甚为活跃， 获 得了 长足的发 展， 而 且在 工农业， 气象地质， 经济 管理， 医药卫生， 教育心理等领域 的应用也日 渐广泛。 关于线型 模型的系统阐述， 我们可以 参阅下列 有关的文 献， 例如: 文献d r a p erand s m i l h ( 1 9 8 1 ) 4 ， m o 啤o m e rya n d p e c k(l 9 8 2 ) 5 1 ; 有关回归 诊断的 详尽论述可以 参阅 文 献b e ls le 孔 k u h 马 阳 明 ， 韦 博 成( 19 93) 文 献 17 研究了 带约束非线 性回归 模型及其数据点的 影响分析， 从带约束的 均值漂移出发， 给 硕士论文 带不等式约束的线性回归模型的统计诊断 出了 模型的曲 率度量，并导出了 回归模型度量影响的诊断 统计量及曲 率表示;申维 ( 1 99 5) 文 献 18 对 带 约 束 的 混合 模 型 进 行了 研 究. 对 于 带非 线 性 约 束的 有 : 杨 婷， 杨 虎 (2 0 0 3) 文 献 33 1对于 线 性回 归 模 型， 针对 设 计 阵 的 病 态问 题， 考 虑了 回 归 系数 的椭球约束， 获得了 椭球约束 下线 性模型的 参数估计一广义岭型 估计， 并进一步研究 了 它 的 一 些 性 质如 有 偏 性以 及m d e (m e andi sp 吧 r s ion erro r). 而 关 于 不 等 式 约 束的 有史 宁中 教 授 及 其 学生 对 序 约 束 模 型 的 研 究 在 文 献 1 9 中 ， 通 过 一 个 医 学 例 子导 出 统 计模 型，比 较系统地总 结了保 序回归 的性质、求解方法以 及与最大似然估计之间的 关系， 并 且 把问 题 扩 展到 多 维 保 序回 归 和 广 义 保 序 回 归 。 还 可 参见 : 文 献 2 0 21 2 2 2 31 等， 丁 茗 3 81 对保 序 回 归 的 推 断 进 行了 研 究， 文 献h arim u k e 巧 e e r 夕 是 未 知 参 数。(习 ， 共 ) ，1 = 1 ， ， n 是 一 组 观 测 数 据。 氏 是。 的 未 知 真 实值 ， e， 一 n (0 ， 口 ， ) ， 1 = 1， ， n 是 相 互 独 立 的 随 机 误 差 。 问 题 ， .2)是 一 个 数 学 二 次 规 划 问 题 ， 我 们 分 别 用 凡 (0) ， 5，5。 ， 成 = ( 及 ， ，咬 )$ 示其目 标函数、 可行解集、 最优 解以 及与之相联系的拉格朗日 乘子。 y 一 怀一 劝， 一 (el，一e)， x 一 (xl， ， xj， a=( 人 ， ， 劫 ， 则 (l. 1) 和 (l.2 )可以 写成下 列矩阵形式 y= 尤风十 e 定 义乳= ( 氏 ， 人 ) ， b = 仇， ， 气 ) 。 ( 13) 才 而 n (y 一 xo )( y 一 x o ) s jao b ( 1 4) 为保证 (l2) 解的正则性，作如 下假设2 9 : 人 : 当n 充 分大 时 ， 戈= 艺戈 x，= 脚 是 一 个 正 定 矩阵 ， 且n 一 1戈收 敛 到 某 一正 定 矩阵 . 凡 : 行 向 量 再 ， j 二 1 ， ， m 是 线 性 无 关 的 。 凡 : 氏 是 min艺 (x. 公 一 气 氏 ) ， 5 叫0 乞 ， j = 1 ， ， m 的 唯 一 解 ，凡= 0 是 唯 一的 相 应 的 拉 格朗日 乘 子。 鸿和凡就是为了 保证 硕士论文带不等式约束的线性回归模型的统计诊断 功 ， 月.二 - 七 ， 、.!.，.，月2 么 人 00 凡叮:叮 一一 叽 是非退化的。一般在实际情形下都能满足。 显 然， 氏或 者 落在 可 行解 集5 的 相 对内 部50， 或 者 落 在 其 相 对 边 界韶上 ， 而韶 由 5 的 各 个 面代以 及 它 们的 交 集构 成 这 里: 50 = 价弓 0外 j=l，. 一 m ， 旅 = 丫 气口 ( 盆 气) 口 ” 启、 气 j.， 凡= 全弓 0 = 乞 ， 成 夕 bk ， k = 1 ， ， m * 方 ， j = 1，. 一 m 城 访。 = 气门 n 气，k = 1，. 一 m 则 ( 1) 氏 。 50 ， 有 氏 = 凡 一 全 、， 又 、 成 立 . (i 1) 氏。 hi，氏， 凡满足k u hn江 u c ker 方 程 戈 夕 + 人 人 一 艺凡 共 j . 1 粼 = 八 劣 “乞 ， j = 2，.一 m 人 之 0 ( 1 . 5 ) 因 此， 氏 ， 凡必 满 足 + 人人 = 八 一 全 、 另 ( 1 . 6 ) 我们可以得到 杭 =淡 )=尔 丁 日戒 一 ( 1 . 7) 必须指出的是:(l.5 ) 的解必有 (l.7 )的形式，但 (l.7 )不一定是 (l5) 的解，只 有当 其中 的 氏 ，凡满 足(l .5)中 不 等 式 条 件 时 才是(l5)的 解 。 硕士论文带不等式约束的线性回归模型的统计诊断 ( 111 ) 氏 。 拭 2 ， 类 似 于(ii ) ， 这 时 氏 ， 凡 必 满 足 划 十人 t 式 夕 = 鸟 ， 成。 十 人 凡 一 艺 : 另 攫 0 = 乓 八 人 00 00 ，人= 0 ， j = 3 ， 一m 。 !孙。、 凡可可 2才11.扭、 - 、，leseseseseses.1阵sej 氏人人 了一、 -一 叭 m火 (iv) 氏 。 气jt 有 另 xt .艺 氛 =卧 叽 : 其中 厂 k-d、 m ， = ( 。 ; 。 ， d = (么 ，人 一 人 ) ， b 一 汽 ，、 : 一 气 ) 有 约 束 的 回 归 问 题 的 统 计 诊 断与 无 约 束 的 不同 ， 当氏 处 于 可 行 解 集5的 不同 位 置 时 ， 其 表 达 式 是 不同 的 ， 所 表 示 的 意 义 也 不 一 样， 与 拉 格朗日 乘 子人 有 着 密 切的 关 系 。 当 氏 处 于5 的 内 部 时 ， 则 可 知 氏 : 氏 2 气， 如 果 氏 处 于5 的 边 界 拭一 ” : 叹 = 久 幼上 ， 则 可 知 氏 的 前 两 个 分 量 是 相 等 的 。 所 以 我 们 在 考 虑 有 约 束的回归问题时， 还要看估 计量所处的位置是否发生了 变化。 为了 借助线性回归 模型 的 统 计 诊 断 来 研 究 ， 我 们 假 定 参 数 的 估计 都 在气功* = 气。 。 气， k = 1， ，m 上。 硕士论文带不等式约束的线性回归模型的统计诊断 第二章异常点 分析 今考虑带不等式约束的线性回归模型: r = x 口 + e ， e 一 n (0 ， 口 2 了 )， 注 夕 b 仅 l) 为了 研 究 数 据 集(x;，yl ) ， 卜1 ， ， n 与 模型 符 合 的 情 况， 一 个 重 要的 方法 就 是 逐 个 考虑 每组 数 据 点 的 作 用 ， 具 体 地 说， 就 是 逐 个 考 虑 每 组 数 据 点(x;，yl ) 对于 回 归 分析 的 影响 。 通常采用两种模型:第一， 数据删除模型，即 研究删除第1 个数据点 前后 对于估计量 以及其他统计量的影响; 第二， 均值漂移模型，即 在第1 个 数据点 上增加 一个扰动， 这相 当 于yl 的 均 值 有 所漂 移 ， 研 究 这 个 扰 动 对 于 估 计 量 及 其 他 统 计量 是 否 有显 著 的 影 响。而且我们可以证明，这两种模型是等价的。 11 数据删除模型 在模型 ( 2. 1) 中，我们考虑删除任意一个点(x， ，y) 以及删除多个点 (xj， 乃 ) j = (il ， ，毛 )，j = 1 ， ， k 的 情 况 下 估计 量 差 的 表 达 式以 及 单 个和 多 个数 据 点 的 影响度量。 2. 1.1 对 于 删除 任意 一 个点(x， ， yl ) 的 情 形 在假设氏。 气一吸条件下，文献34 1 证明了删除第n个点(xn， 凡 ) 后， 氛一卜1=吐 一目 的 表 达 式 。 当 删 除 第 。 个 点 (x: ， 凡 ) 时 ， 若 乡 。 。 气 * ， 有 到 一、 一 日 _ .( 足d 、 共 甲 m 间 = t 万。 ) d 一 吩勺” ，却， ” = 哪吩“ 却 ， 硕士论文 带不等式约束的线性回归模型的统计诊断 、 ，)一 (d 、 一盘 一 。 ，、 凡一 ，d ( d 一 ( d 戈 戈一 id ) 一 、 ，一d )一 又= 凡一 ，几一 d (d kn一 ，d ) 一 ， d 戈一， 我们可得: 、。一 氛 一，一 引 一手 一 一、气 )一、 、 又 人 ) 又 兄 n 一 ， ) 1 一 几 ( 2 . 2 ) 其 中 二(x: ， 0) ， 二 = 、 一 义 二 、 一 可 氏 ， 元一 可 叽)一 1、 一 可 纸。 类 似 于 无 约 束 问 题 ， 我 们 也 把几 称 为 样 本 点(可， 凡 ) 的 杠 杆 值 。 定理2. 1对删除 任意一个点的 模型 y (i ) = x (l ) 0 + e ( 1 ) ， a o b ( 2 . 3) 设 氏 。 气 .j。 ， 删 除 (xl ， yl ) 后 ， 记 。 的 估 计 为 氏 (l ) ， 假 设 氏 (i ) 。 凡* ， 那 么 ， 弓 ) 一 “ ，! 龚粤 鱼 七 凡 )七 几 ， ( 1 ) ) 一 pi! ( 2 . 4) 其 中 vl = (xl ， 0 ) 。 证明:问题可转化为求下列二次规划的解: 一 香(一 t s 1a ;夕 忆 : ，t = 1， ， k 构造拉格朗日函数 ; (0，j 卜 告 客 (、 一 x，0) 2 客 、 叩 一 蜘 由k ul m 江u c k e r 条件可推出: 一 艺 x，( yi 一 x， 仍 + 艺 心 今一 。 弓 尸 = 气 ， t = 1 ， ，k 硕士论文 带不等式约束的线性回归模型的统计诊断 ( 2 .5) 气 ，艺昌 b 夕!les月.t、 -一 、.!产 、.尹、，产 仔(l 氏八人 、 二 xl xl ， d 一 气 d ” ) 七 设 、 )u )= 戈 一 xl xl d d ) 0 ) 我们可得 叽 )(l，= 从 ，)一兮 :) 设x，= 试 x ， 妈= (0 ， ，1，. 二 0) vl = (xl ， 0) = ( 风 x ， 0 ) 则 、 、 ，= xl x， 0) = x 斌 试 ，x 。 ) 戈0 0 ) 忆 00 ) 所以 从哟 (l)= 从，) 一 vl v， 利用矩阵的和式求逆公式， 从 护(0 一 从n) 一 ， + 从 。 一 气 。 一 v， 从 n) 一玩 ) 一 ，v， 从 护= 叽一 ， * 当 竺 2 二 丝 竺 些过 1 一 几 、.。少 xlyl0 戈 气 .艺问 其 中 ，儿= 可 从 伙= 写 凡 手 叫 一 二 。一 十生 妙 叹 .) 、 人 妙 ) )且 一 pll气 b 一 手 一 、 。一 图 、 孕丝 冬 )- 、 人少、几 一 内戈 人) 从 。 一 城 yl 1 一 凡 pll 一!:!一、 )一ivl、+ =!: )一冷 从 ，)一 、 试 x 民 _ 从 n)一ivl 、 1 一 两卜几 叽一 1碱，x 瓦 1 一 马 几 硕 士 论 文带不等式约束的线性回归模型的统计诊断 从。 一 、 可 1 一 几 (y一 x氏) ( 26 ) - 、lesfjlesj 氏人 /了!.、 一 引 巡 立 一龙业 、 人)且 一 pll 其 中舀 = y 一 x 氏， 即 删除 前 后， 估计 量的 变 化 只 与 杠 杆 值 和 残差 有 关， 与 无约 束 的 情 形一致。证毕 2. 1 .2 对 于 删除 j = (ll ， 二 ，1，) ， j = 1 ， ， k 个点 的 情 形 在原模型 ( 2. 1 )中，把 j中指标所对应的数据删除后，相应的各个量记为 y( 刀 ， x ( 乃 ， e( 乃， 其 中 y( j) ，e( j)为n-j 维 向 量 ，x ( j)为 (n 一 j )xp 阶 矩 阵 ， 删 除 指 标 属 于 j 的j 个数据点后的 数据删除 模型为 r ( j)= x ( j) 0 + e ( 乃 ， a 夕 b( 2 .7 ) 设 参 数。 的 最 小 二 乘 估 计 为 氏 (乃。 仍 旧 假 设 氏 ( j) 。 气. 、 ， 记 r = (气 ， ， 戒 ) ， 风 = (0 ，一1， 。 二 ， 0) 则凡= r ，x ， 乙 = r y，弓= r 节 ， 其中 凡 为 j 、 p 阶 的 矩 阵 ， 其 他 可 仿 此 理 解。 定理2. 2 删除 j 个点前后估计量有如下关系: = 从 ， 一， k (ij 一 k m(，一 气 ) 一， 尺 含 仍明 日人尤 一 人氏人 其 中 k= (r 了 ， 0) ， 。 证明:对下列规划问题: 丁 m n y 刀 一 x j ，夕 ，y (刀 一 x 乃 夕 ) t s 刃百 劲 其 中 d = ( 么， ，人)， b 二 ( 气 ， ， 气) 由k u hn. 而c k er条件可得 硕士论文 带不等式约束的线性回归模型的统计诊断 管 粼 叮 (xx 落 毗 ( j ) + 刀 几 ( 刀= x ， ( 乃了 ( 了 ) d ) “。 = x 丁 一 x ” y 、 0 ) t 戈 仍 ) 、 ” ) ( 2. 8) 令 k= ( r ，x， 0 ) ，则 k 气 x欠r义 0 0 、 0 ) ， m(j ) = m(。) 一 k k m 一 ， ( 乃 = 从。 )一， + m()一 ， 气 ( 毛 一 k 从，)一 ，vn )一 ，k m(n)- ， 所以 “ (j ) = m 一 。 x 下 一 了 ” ，y 、 1公。 1气d) 又 儿气 j ) ) = ， 了 ， 、 。一、 : 一 、 。一、 :。 。一 程) 一 畔今 一 、 ，一 : * ，: 、 。，一 : (i 一 : ，、 一 : )- 】; ，、 一 ( 丫 )一 (x 臀 r ) 一、 一 :一 、 一 :(。 一:，、 一 :一 、 !: )一、 一 : (、 一:，、 一 :)一;， 一 : 一 从 ， ，一 ，气 1， + (毛 一 叮 从 。，“ 气 )一 ，叮 m( 二 ，一，气 * ，r + m( 。)一 ，k (i， 一 气 从 ， ，一，k r ， * ， 反 一 从 。 一 1以 毛 一 叮 从 ， )一 ik )-l r( y 一 x 勘 、，leseeraesjj、，eseses月.jz、飞eseej了、1.leejj 氏凡氏几人氏人只凡 /.1月.esl、/矛1.、/!.吸、/les、 一一-一一-一 我们可得 冬 )一刀 )一 、 一 气 石 一气从 一 k ，一“ 戈 人) 、 兄 ( j ) ) ( 2 . 9 ) 比较无约束时的情形 ( 韦博成文献 7) ， 它们的差都只与 残差有关. 硕士论文带不等式约束的线性回归模型的统计诊断 2. l 3 单 个数据点 的影响度量 下 面 我 们 给 出 ， 在 民 。 凡、 条 件 下 ， 杭 ，疾 的 距 离 的 定 义 。 我们可以知道: n一、 声 (、一“钊 r 尺_ 、 令 风 = 寸“ 卜 在 。 一 n (0 ，。 2) 下 ， 可 知 气0 0 ) n 一 从 ，)n 蚤(杭 一 二 ) 一 解 (。 ，。 2风 ) :一 ; :)，那 一 二0 一- 戈- 设 m，_ 、冬_， ， 一n 名 ( 叭一 乳) 一a n( 0 ， 口 1 ) 1助- 由 x z 分 布的 定 义 可 知 ， _ 触 _ 、_ ， m， _ 、 n( 叭 一 n0)学 生 学 呱一 no)一 口 丫(p) 叭 一 仇是p + k 维向 量， 但有 式 ， ( 民 一 00 ) = 0 所以 其自由 度为p 。 故当 氏“ 气 、 且 斑 1) “ 凡jt时， 定 义叭和 肠 的 距 离 如 下 : 城 ，秘碱 一 初 夸 夕 从二 、 ， a ， 、 气 叭一肠) ( 2 . 1 0 ) 将叭 一 场= 从， )一 ，vl 试 “ 1 一 几 代入可得: 硕士论文带不等式约束的线性回归模型的统计诊断 气， ， ，一 ， . ， ( 及_ 、 一 ， d ( 杭 ， 示 ) = n 望 户 摆 全 匕 纽 节 “ 且 一内n l。，1 u j 从 。 ， 从 护 vl 可。 _若 漏 nl 一 几 (1 一 几) 2 其 中 几= x， ( 尤 见 ) xl 。 2. l 4 多 个数据点的 影响 度量 同 单 个 数 据 点 的 影 响 度 量 相 似 ， 定 义 杭 ， 舟 明的 距 离 如 下 : d ( 叭 ， 夕 ( 刀 ) = n ( 乳 一 刀 ( j ) ) ， 夸 夕 令 疏 一 袖 ， ( 2 . 1 1 ) a 定 理 z jd (呱， 。 (乃 ) 一 e ， ( ij 一 气 m(。)一 ，k 丫 乃 妈一 k m( ， )一 ，k r ， e ， ， 其中 乃= 凡(尤 见 丫 ， 群是 一 个j x j 的 矩 阵。 ( 2. 1 2) 证 明 : 将叭 一 ， 仍= 叽厂 欠(，一 叮 从 i k 丫 ， r 鉴 代 入 距 离 公 式 (2n ) 可得 : (凡 _ . _ 、. ， 城，叙 “ 一 而(、 一 叮 、 您 )- 饥)一 鲁 叹习 一 令叽 )一 。 - 叮 从 川 一幻 一乙 气u， j 八 ，人 一 ej ( 毛 一 叮 气尸 k ) 一 ， xj( 尤 义 ) 一 ，群( 毛 一 叮 气尸 气 ) 一 ， ej 八 ， = e ， ( 几 一 k 从 ， ，一 ，k r 乙 ( ij 一 k 从 二 一 欠 ) 一 ， 。证 毕 2. 2 关于删除前后残差平方和之间的 关系 2. 2. 1 删除一个点的情形 文献 34 给出了 下面的 定理， 但只证明了删除最后一 个点的 情形， 我们证明对删 除任意一个点仍有式 (2. 13) 成立。 定理 2. 4对数据删除模型 (2.3 ) ，我们有下式成立 几杏 = 为凡 ) 十 el 1 一 几 ( 2 . 1 3) 证明 : 由 前 面 (2 .6 ) 式 可 知 ， 在删 除 任意 一个 点(x， yl ) 以 后， 有 下列 等 式 成 立 : 硕 士 论 文 带不等式约束的线性回归模型的统计诊断 _ 从 哟 一 气 易 1 一 pll 、leseseseseswej 、.产、.尹 (l(i 0兄 /.!les.1、 - 、十了 t ! ) 1 2 2 . 0 2 6 82 . 8 3 7 80 . 0 2 5 1 3 1 . 3 6 4 3一 48 5 4 50 . 0 0 1 8 1 0 . 4 5 4 81 . 7 6 1 30 . 1 2 1 6 0 . 0 5 4 10 . 2 6 1 30 . 8 0 1 4 r e s i d u a ls t a n d a r de r r o r :4 0 . 0 4o n7d e g r e e so ff r e e d o m m u l t i p l er 一 s q u a r e d :0 . 8 1 5 5 f 一 s t a t i s t i c :1 0 . 3 1o n3a n d7d e g r e e so ffre e d om，t h ep 一 v a l u ei so . 0 0 5 8 1 1 硕士论文带不等式约束的线性回归模型的统计诊断 第三章 影响分析 影响分析是统计诊断中十分活跃的分支， 其研究内 容和方 法近年来仍然 在不断的发展 和开拓。 影响分析的内容 大致可 分为两 个方面: 第一， 数据点的 影响分析， 主要研究 特定 的某几个， 特别是研究某一个数据点对于统计分析的 影响。 这是影响 分析初期研究的重点， 也是最有实 用价值的部分， 本章重点 就是介绍这方面的内 容。 第二， 广义影响分析， 主要 研究当模型有微小扰动时，对于统计推断的影响。 通常可把扰动归结为与模型有关的若干 具体因素所产生。诸如均值的漂移、方差的扩大、自 变量的改变等 等。 本章主要内容为带不等式约束的线型回归模型数据点的影响分 析， 重点在于介绍若千 实用的度量影响的统计量。 3 . i co口 k 统计量 下面我们给出c ook 统计量的定义. 由 前 面 预备 知 识 可 知 ， 在氏c so时 ， 氏 一 。 。 一 凡 一 全 、 。 一 凡 一叭 在氏 。 凡叻时 ， 氏 一 。 。 一 凡 全 : 。 = 翠 因 此 ， 在氏c so时 ， x (a一 。 ) = x (二 一x ，1 一 x z， (n 一 夕 + k ) 口一 口 22 2 (n 一 p + k ) lx (“一 。 ) ， 妥 ， 一f (p， n 一 p + k ) ， 所以 ， 在氏。 50时， 其c oo k 距 离 可 定 义 为 : q=( 0 二 一 9 ( 1 ) ) 护 凡( 0 ， 一 夕 ( 1 ) ) 八2 p口 ( 3 . 1 ) 硕士论文带不等式约束的线性回归模型的统计诊断 当 氏 。 气恤时 ， 0 ， 一 00= 又 x 乞 ， 1x (舀一 、 )= 戳 x 一 ，一 ， 一 “， 1x (“。一 。 ， 一一，分 一 f ( p 一 k ， n 一 p 十 k) ( 刀 一 k ) 口 因 此 在氏 。 城广 * 时 ， 我 们定 义 此 时的c oo k 距 离 为 : q= ( 口 ， 一 0 ( 1 ) ) ，凡 ( 口 。 一 夕 ( 1 ) ) ( p 一 k ) 口 ( 3 . 2) 进一步，我 们考察它的 性质，将氏一 0( l) = 又 xl 弓 1 一 pll 代入可得 cl = 丛宣 孕蝶 - 一 孕 ， 育 - 一 (p一 k ) (1 一 马)z a ( 尸 一 k ) ( 1 一 几)2 口 (夕 一 k ) ( 1 一 马) (寿一) 仃vl 一pll 令 ” 六 ， “ 们 “ 叫 ” “ 学 生 “ 内 ” ” 同 样 叫 “ -子 (，)仄 为学生化外残差。 3. 2 w k统计量 除c ook 距离 外，比 较常用的 就是we ls ch. k u l l 距离， 简称界k统计量 ( 可参见文献 川 ) 3. 2. 1 考 虑 数 据 点( yl ， 可 ) 删 除 前后 对xl 处 拟 合值 的 影 响 为了 消除尺度的影响， 还要除以 拟合值的均方误差v ar ( 力。 给 定 模 型 只 = 可 口 十 。 ， 1 一 1 ， ， ， ， 带 有 不 等 式 约 束 劣 “ 气 ，j 一 1 ， ， k 。 第 1 个 数 据 点 以，x， ) ， 对 于 拟 合 值 的 影 响 定 义为 : 硕士论文带不等式约束的线性回归棋型的统计诊断 。 ，穷一 又 (i) ，r 几 1 =1 【 v ar ( 交 ) ( 3 . 3 ) 称为 w-k统计量。 _ .、 一、 . _ 1、 、， 乞 乞 、 _ x，及x . el 下 求 其 表 达 式 :丸 一 又 (l)= x， 归 。 一 口 。 (l) ) = 二 乏二 止 二 ( 1 一 几) = pll el ( 1 一 pll) ， 丸= x， 夕 。 二 ，、. _ _， ， 、 _， _ _ 。 、_.二 * 二 ， 二 * _ 、闭 ， ， _， 夕 xiyl) 。 ， ， v 叭为 ) = 凡v 叭气 ) ， 田 日 “ ， j ” ， 川 ， = 似 (。) 二 欠 人 )又 b ) 氏 = 又 全 、 ; + 凡 一恤 d 戈 一切 一 。 ， 呵如 一 。 2又 凡 又 = 。 2凡 ， 可 得 ，v ar 映) = 。 zx 况xl 二 护pll， 将 其 代 入 _ _元 二 ， 撅二， ， 几 = 叹 一 下万 一 了 于= 丁一下 、 1 一 pll， 叮 v pllct l i 一 pll) 由 于我们是在考虑去掉第1 个点以 后对于拟合的 影响，因 而以护(l)代替式中的夕，即 怎二 尸 人1 =一 沙 (i)0 一 pll) ( 3 . 4) 3.2.2 考 虑 删 除 第1 个 数 据点 伙，x，) 对 于毛 u， 1) 处 拟 合 值的 影 响 定 理 。.， 晰 叻 一 必 二 鱼