（应用数学专业论文）协方差分析在教学质量评价中的应用.pdf

摘要 随着高校教育改革的深入发展，提高教学质量已成为学校的核心工作。如 何科学、客观、公正的评价教师的教学质量，如何以学生学习成绩的提高来度 量教师的教学质量，如何实现测评方法的可操作性等等，这些问题已成为教学 质量管理的一项重要内容。针对这个问题本文在文献1 1 的基础上，结合样本数 据的特点，继续深入研究，给出了一些有意义的结果。论文主要涉及以下几方 面的内容： ( 1 ) 本文对于具有一个协变量的单因素协方差分析模型，利用回归分析原 理并借助最小二乘法导出了其参数估计与假设检验的计算公式，简便直观，易 于操作，有一定的实用价值。 ( 2 ) 由于缺失数据现象会给教学评价的分析结果造成严重的影响，因此本 文针对协方差分析模型，讨论了填充缺失数据的非迭代方法，经过实际验证，对 建立在该方法基础上的完全数据进行分析，所得结果更为可靠。 ( 3 ) 本论文第三个问题主要考虑了协方差分析模型中协变量是随机变量的 情况，得出结论；协变量为随机变量时仍然可以像非随机协变量一样去建立模 型，求参数估计，只是在假设检验时略有不同。 ( 4 ) 最后，本论文对缺失值填充前后的样本数据分别作协方差分析，通过 比较，说明了填充缺失值以后的分析结果更为合理，因此，在进行教学质量评价 之前一定要对缺失值预先作处理，然后再作分析。 基于以上原理制作的“教学质量评估系统”正被我校外语学院所使用，这 也说明了本论文所讨论方法的实用性，因此该方案具有很大的应用推广价值。 关键词：协方差分析，教学质量评价，随机协变量，缺失数据 ab s t r a c t i m p r o v e m e n to ft h et e a c h i n gq u a l i t yh a sb e c o m eac o r ew o r ko fc o l l e g e sa n d u n i v e r s i t i e sw i t ht h er a p i d l yd e v e l o p m e n to fc o l l e g e se d u c a t i o ni n n o v a t i o n s h o w t oa p p r a i s et h et e a c h i n gq u a u t ym o r es c i e n t i f i c ，f a i r - m i n d e d ea n di m p e r s o n a u y ，h o w t om e a s u r e m e u tt h et e a c h i n gq u a l i t yb yt h ei m p r o v e m e n to ft h es t u d e n t s s c o r e ，h o w t ob o o s tu pt h em a n e u v e r a b i l i t yo ft h ea p p r a i s i n gm e t h o d s ，e t c t h e s eq u e s t i o n s h a v eb e c o m eai m p o r t a n tw o r ki nt e a c h i n gm a n a g e m e n t a i m e da tt h o s eq u e s - t i o n s ，t h i sp a p e rc o m b i n e sw i t ht h ec h a r a c t e r i s t i co fd a t aa n dc o n t i n u ew o r k so v e r w i t ht h et a s kb a s e do nt h el i t e r a t u r e 1 w eg e ts o m es i g n i f i c a t i v ec o n c l u s i o n sf i - n a l l l y ，a n db u i l d u pt h em a n e u v e r a b i l i t yi np r a c t i c e t h i sp a p e ri n c l u d e sf o l l o w i n g r e s p e c t s ： ( 1 ) f o raa n c o v a m o d e lw i t ho n ec o v a r i a t e ，t h i sp a p e rg i v e st h ep a r a m e - t e r se s t i m a t ea n dt h eh y p o t h e s i st e s tb ya p p l y i n gr e g r e s s i o nt h e o r ya n dl s e m e t h o d t h em e t h o di ss i m p l ea n dc o n v e n i e n t ，e a s yt oo p e r a t e ，s oi sp r o p i t i o u s t os p r e a do u t ( 2 ) t h i sp a p e rd i s c u s s e st h e 丘l lt e c h n i q u eo fi n c o m p l e t ed a t ab e c a u s et h e s a m p l ed a t aw i t hi n c o m p l e t eu n i t em a yd oh a r mt oa n a l y s i sr e s u l t s t l l i sm e t h o d i sn o n - i t e r a t i v e ，a n dt h ea n a l y s i sr e s u l t sb a s e do nc o m p l e t ed a t aa r em o r er e l i a b l e ( 3 ) t h et h i r dp r o b l e mo ft h i sp a p e ri st h ea n c o v am o d e lw i t har a n d o m c o v a r i a t e b ya n a l y z ei t ，w ed r a wo nt h ec o n c l u s i o nt h a tw h e nt h ea n c o v a m o d e lp o s s e s st h er a n d o mc o v a r i a t ew es t i l lc a na n a l y z ei tu s i n gt h em e t h o da s b e f o r e t h eo n l yd i f f e r e n c ei st h et e s ts t a t i s t i c s ( 4 ) a tl a s t ，t h i sp a p e rb yc o n t r a s tt h er e s u l t so ft h ea n c o v a m o d e lw i t h i n c o m p l e t ed a t aa n dw i t h o u ti n c o m p l e t ed a t as u g g e s t st h a tt h er e s u l t sf r o m c o m p l e t ed a t aa r em o r er e a s o n a b l e ，s ob e f o r ew ea p p r a i s i n gt h et e a c h i n gq u a l i t y w em u s tf i l lt h ei n c o m p l e t ed a t af i r s t t h et e a c h i n gq u a l i t ya p p r a i s i n gs y s t e m ”b a s e do ns u c ht h e o r yh a sb e e n e m p l o y e d b yf o r e i g nl a n g u a g ec o l l e g eo ft i a n j i np o l y t e c h n i cu n i v e r s i t y t h i ss u g - 协方差分析在教学质量评价中的应用 g e s t st h a tt h em e t h o do ft h i sp a p e ri sp r a c t i c a b l e m e a n w h i l et h eg r e a ta d v a n c e d a n da p p l i e dw o r t hc a nb eg o tf o r mt h er e s u l t s k e y w o r d s ：a n a l y s i so fc o v a r i a n c e ；t e a c h i n gq u a l i t ya p p r a i s e ；r a n d o mc o - v a r i a t e ；i n c o m p l e t ed a t a 独创性声明 本人声明所呈交的学位论文是本人在导师的指导下进行的研究工作和取得 的研究成果，除了文中特别加以标注和致谢之处外，论文不包含任何其他个人已 经发表或撰写过的研究成果，也不包含为获得丞望王些盔堂或其他教育机构的 学位或证书而使用过的材料与我一同工作的同志对本研究所作的任何贡献均 已在论文中作了明确的说明并表示了谢意 学位论文作者签名：杏钙 签字日期：h 3 年f 月i 日 学位论文版权使用授权书 本学位论文作者完全了解天津工业大学有关保留、使用学位论文的规定 特授权天津工业大学可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅同意学校 向国家有关部门或机构送交论文的复印件和磁盘 ( 保密的学位论文在解密后应适用本授权说明) 论文作者签名：蕊髫 签字日期：溯绰1 月形日 导师签名：二终1 辽再 签字日期：沙亨年( 月名e 1 学位论文的主要创新点 本文通过对教学质量评价中协方差分析模型的深入研究，推广和改进了一 些现有的结果，所得结果具有一定的实用性和推广价值。 一、利用回归分析原理得到了具有一个协变量的单因素协方差分析模型的 参数估计与假设检验的计算公式，简便直观，易于理解，方便操作。 二、建立了协方差分析模型中缺失数据的非迭代填充技术，从而使得教学 质量评价的结果更加合理，更有说服力。 三、通过对协变量为随机变量的协方差分析模型的初步研究，获得了其参数 的l s e 估计，并指出它与非随机协变量的协方差分析模型的一个区别是在因子 效应的假设检验上，二者检验统计量所服从的分布类型不一样。 第一章绪论 1 1问题的提出 随着高校教育改革的深入和发展，提高教学质量已成为学校的核心工作。 教学质量评价是学校教学质量管理的一项重要内容，如何科学、客观、公正地 评价教师的教学质量已经成为一项理论上和实践上都十分重要的工作。针对这 个问题，文献【1 】提出了协方差分析模型，并给出了其参数估计与假设检验，但利 用的是方差分析模型和两步最d - 乘估计方法，该方法的实现，需要进行大量 繁琐的矩阵推导，不利于实际操作，所以要对其予以改进。 另外，在进行教学质量评价前的数据采集中经常会出现数据缺失的现象。 对于这种情况，目前最常采用的方法是将存在缺失值的记录直接删除以保证统 计模型能够正常拟合，当缺失值所占比例较少时，这样做没有太大问题，但当缺 失值数量比例较多时，这样做会极为奢侈的丢弃该记录中的其余大量信息，还 完全忽略了完全观测和不完全观测间可能存在的系统误差，从而导致结果分析 的错误，这也是本文需要讨论的一个理论问题。 在文献 1 】的研究中，只讨论了协变量为非随机变量的情况，事实上，在许 多研究领域中，协变量多数是随机变量，文献1 1 对此情况也未加讨论，这也是 本论文需要讨论的另外一个理论问题。 1 2本论文解决的主要问题 为了实现协方差分析模型在实际应用中的可操作性，本文主要考虑具有一 个协变量的单因素协方差分析模型，并利用回归分析的方法得出了其具体参数 估计值和假设检验的计算公式。 由于数据中的缺失问题会给分析结果造成严重影响，因此有必要采取措施 对缺失值进行填充，以保证分析结果的准确性。对于如何有效地填充缺失值，本 文在第四章介绍了方差分析模型中缺失数据的填充技术，在此基础上进一步得 出了协方差分析模型中缺失数据的填充方法。 关于协方差分析模型中协变量是随机变量的情形，本论文进行了初步的探 索，得到了一些有意义的结果。 第一章 绪论 本论文第六章利用前面几章介绍的理论方法，仅以学生的学习成绩为研究 对象，对我校外语学院教授公共课的1 2 位教师的教学质量进行了评价。由于样 本数据中存在大量的缺失值，本论文对比填充缺失数据前后的分析结果，说明 了所建立的填充技术的合理性，给出了更为科学合理的评价结果。 2 第二章理论基础 2 1回归分析 2 1 1 回归分析模型 设y 是一个可观测的随机变量，它受n p 一1 个非随机因素五，恐，k l 和 随机因素g 的影响，若y 与x 1 ，为，一1 有如下线性关系： y = 凤+ 臃x 1 + 仍恐+ + 岛一1 一1 + s( 2 1 1 ) 其中岛，岛，岛一1 是未知参数，e 是误差项并通常假定s n ( o ，( t 2 ) ，则模 型( 2 1 1 ) 称为多元线性回归模型，且称y 为因变量，x 1 ，咒，一1 为自变量 现在假定我们有了因变量y 和自变量五，恐，一1 的n 组观测值 ( z n ，z i p 一1 ，可t ) ，i = 1 ，2 ，n 它们满足 y i = 风+ x i l p l + x i 2 岛+ + z i p 一1 体一1 + 龟，i = 1 ，2 ，仃( 2 1 2 ) 其中误差岛，i = 1 ，2 ，仡满足如下假设： ( a ) e ( 毛) = 0 ( b ) v a r ( 6 i ) = 盯2 ( c ) c o v ( e i ，) = 0 ，i j 贝j j ( 2 1 2 ) 变形为 等价地 睁 心n z 1 巾一 x 2 ，p x n , p 。埘 y = x 8 + e ( ) = 0 c o v ( e ) = 盯2 厶 ( 2 1 3 ) 1 1 1 1 1 肌耽； 跏 第二章理论基础 则称( 2 1 3 ) 为多元线性回归模型的矩阵形式。 2 1 2 p 的最小二乘估计( l s e ) 如果y 与蜀，咒，一1 满足线性回归模型( 2 1 1 ) ，则误差应是比较小的， 因此我们选择口使误差项的平方和 n q ) 全2 = ：s = i i y x p i l 2 = ( y x z ) 7 ( y x z ) i = 1 达到最小，为此，将此式展开，得 q ) = y 7 y 一2 y 7 x p + p 7 x 7 x 卢 对p 求偏导数，并令其为零，可以得到正规方程 x | x8 = x | y ( 2 1 4 ) 因为7 - o 竹忌( x 7 x ) = r a n k ( x ) = p ，故( x 7 x ) 一1 存在，解此正规方程即得p 的最小二 乘估计矽为 p = ( x 7 x ) 一1 x 7 y ( 2 1 5 ) 2 1 3 误差方差盯2 的最小二乘估计( l s e ) 将自变量的各组观测值代入回归方程，可得因变量的各估计值( 称为拟合 值) 为 矿= ( 坑，晚，蟊) 7 = x p 称 e = y 一矿= y x 矽= 【i x ( x 7 x ) 一1 x 7 】y = ( i h ) y ( 2 1 6 ) 为残差向量，其中日= x ( x 7 x ) 一1 x 为扎阶对称幂等阵，j 为礼阶单位矩阵。称数 r s s 全e 7 e = y 7 ( ，一h ) y = y 7 y 声7 x 7 y 为残差平方和由t - e ( y ) = x 且( ，一h ) x = 0 ，所以 r s s = e r e = 【y e ( y ) 】7 ( ，一日) 【y e ( y ) 】= s 7 ( ，一h ) e 4 第二章理论基础 由此可得 e ( r s s ) = e t r e 一日) s 】) = t r ( i h ) e ( e e ，) 】 = 盯2 t r i x ( x 7 x ) 一1 x 7 1 = ( t 2 f 佗一t r ( x 7 x ) 一x x 7 z l 一 ，j ， = - - - 0 2 ( 佗一p ) 其中打( ) 表示矩阵的迹。从而 乒= 篙 ( 2 1 7 ) 盯2 = 二二= 二 f 2 7 1 为盯2 的一个无偏估计。 从而，p 的协方差的最佳线性无偏估计为 v = c 伽( 夕) = ( t 2 ( x 7 x ) 一1 ( 2 1 8 ) 2 2 单因子方差分析模型 设在一个试验中只考察一个因子及其r 个水平，记因子为4 ，其r 个水平记 为a 1 ，a 2 ，4 又设在水平a 下重复进行m t 次试验，i = 1 ，2 ，r ，总试验次 数为n = m 1 + m 2 + + m ，假设各水平下重复次数不全相等。 设是在第z 个水平下的第j 次重复试验的结果，这里z 是水平号，歹是重复号， 因此单因子的方差分析模型为 i 场= 肛+ o q + ，i = 1 ，2 ，r ；歹= 1 ，2 ，m i ：1m l a i = 0 【溉id n ( 0 ，盯2 ) 毪乏一雪 ( 2 2 1 ) ( 2 2 2 ) 其中雪为总平方和，玩为水平a 下m t 次重复试验结果的平均值，其各表达式为 雪= - 三喜薹y q = 元1 r m t 玩 c 2 2 3 ， 5 第二章理论基础 y i = 熹y i j ( 2 2 4 ) 2 元二 _ 名一j 这佗个数据( 即r 组数据) 的波动可用总的偏差平方和曲表示，相应的自由度记 为厅，则 踯= ( 一影) 2 ( 2 2 5 ) i = 1j = l 利用简单的代数运算可以把岛分解为两个平方和 s t = ( 物一雪) 2 = ( 一玩+ 磊一雪) 2 i = lj = li = 1j = 1 ：妻妻( 一玩) 2 + 壹妻慨一雪) 2 ( 2 2 6 ) = ( 一玩) 2 + 慨一雪) 2 v 。用 i = lj = li = 1y = l = s p + sa 在这里代表因子a 的偏差平方和，完全是由a 因子的波动引起来的；鼠是误差 平方和( 组内平方和) 。 因此对于假设 h o ：q 1 。0 1 22 = o l r = 0 h i ：q 1 ，a 2 ，不全相等 的检验统计量为 c 、s a | a 肚谠 u p | lp 其中a ，厶分别为乳，& 的自由度，当原假设日0 成立时 f = 丽8 a ：a f ( ，a ， ) ， 且在显著水平为q 时的拒绝域为 w = f 日一q ( a ，e ) ) 6 第三章协方差分析 协方差分析模型是将回归分析模型与方差分析模型结合起来的一种统计分 析方法，它可用于观测研究也可用于试验设计中。其基本思想是：在含有因子效 应的方差分析模型中加入一个或多个对因变量有影响的但在实验方案中不可控 制的定量变量，用以降低模型中误差项的方差v a r ( e ) ，使得分析结果更准确。 其中 兰篡_ s ， y = k 点 似、 肛吲 州 v k g l = ll u 这里碥1 是要考察的某项指标，x 是因子a 的设计矩阵，z 是协变量矩阵， p 与，y 是待估计的参数向量。 模型( 3 1 1 ) 的参数估计为： 卢= a ( y z - y ) = a y a ( z 1 7 1 + 历能+ + 磊饥) ( 3 1 2 ) = a y a z l m a z 2 7 2 一一a z k t 膏 。 砖 缸 岛 以锄； 2 2 2 纯钇； 魂沈； ，j-。i。-i = z 、liij， 功助； 星 舶彻； 卯 2 2 2 观锄； 锄 第三章协方差分析 这里乃是z 的第歹列，竹是7 的第歹个分量。另外，我们可以把a 乃看成是指标 为z j 的对应的方差分析模型中的各种效应的估计，即可记 z j = x 8 + hb = 0 g 一心( o ，盯2 厶) 中口的估计为 o j = a z 们= 1 ，2 1 1 k 以满足 主孑竺亍x 7 乃 只要求得，y 的估计后，便可得 p = o o p l 晚一如荡一巩嚷 ( 3 1 3 ) ( 3 1 4 ) ( 3 1 5 ) ( 3 1 6 ) j 霎兰：霎兰芝：姜z a 玩z k 芸三舻e z l ： 。3 工1 l ， l 二j i 二乏i ：二菇三i 二二 。文l 上u 第三章协方差分析 欲检验： 其统计量为 其中 h o ：mn ：o ，y ， f = 坠铲 f 磁= y i v x ( m ) 8 0 ( m ) 】一z ( m ) 【y x ( m ) 8 0 ( m ) i f l ( m ) 一 l 一忍( m ) 【y x ( m ) o o 】慨( m ) ( 3 1 1 2 ) 焉= y 7 i f x 磊】一z 【y x 晶】啊一况i v x 氏】慨 ( 3 1 1 3 ) ly o = 礼一r ( x ) 一n ( z ) ( 3 1 1 4 ) 【 = n r ( x ( m ) ) 一r ( z ( m ) )( 3 1 1 5 ) 在凰为真时， f f ( f l 一| q 1 | 心 对给定的显著水平q 当f r f i x 一 ， ) 时，拒绝日o 3 2 具有一个协变量的单因素协方差分析模型 从3 1 中可见文献 1 】虽然对一般的协方差分析模型给出了参数估计和假设 检验的结果，但其全部结果都是利用方差分析模型和两步最小二乘法原理 2 】推 出的，其理论基础是大量的矩阵运算，在实际中操作起来比较困难。针对这个问 题，本文对具有一个协变量的单因素协方差分析模型进行了研究，利用回归分析 的原理给出了参数的l s e 估计和假设检验的计算公式，简单易懂，实现了其可 操作性。 3 2 1具有一个协变量的单因素协方差统计模型 一般来说，我们欲比较因子4 的各个水平是否有显著差异，可以通过测 量4 的某项指标y 来进行。但操作过程中有一不可控因素z ( 通常为定量变量) 对y 有显著影响，为消除由z 不同给y 带来的影响，建立如下的协方差分析模 型： 9 第三章协方差分析 ( 3 2 1 ) ( 3 2 2 ) ( 3 2 3 ) 其中为因子a 的第z 个水平下的第歹个观测值；锄为因子a 的第z 个水平下第歹个 观测值的协变量值，它是非随机的：o l t 为因子4 的第i 个水平的效应；7 为协变量 的回归系数。 3 2 2 模型的参数估幸t ( l s e ) 为避免两步最小二乘法推理的复杂过程，针对一元协方差分析的特点，本 文采用大家均已熟悉的回归分析的原理f 3 】对其进行研究。 模型( 3 2 1 ) 的误差( 残差) 平方和为： 妒( p ，口m ，7 ) = ( 物一p 一- - y z 谚) 2 i = 1j = l 根据最小二乘估计( l s e ) 原理，要求7 ，弘和诸o q 使上述平方和达到最小，故 采用微分法，令其为o ，得如下正规方程组： 甏= ( 一2 ) ( 一弘一一7 锄) = 0 $ - - - - 1j = l 竹0 畿= ( 一2 ) e ( y , j p q t 一，y 锄) = 0 ，i = l ，2 ，m ( 3 2 4 ) j = 1 mm 筹= ( 一2 ) ( 一弘一毗一7 锄) = 0 与约束条件( 3 2 2 ) 式联立，可求得( 3 2 4 ) 的唯一解为： f 应= 雪一牙 彘= ( 醌一雪) 一( 磊一乏) ，i = 1 ，2 ，m ( 3 2 5 ) i = 恕 其中 l 弘 = ( 一玩) ( 锄一磊) ，l 砧 = ( 锄一砀) 2 雪= 元量耋，牙= 磊墨曼锄，妩= 去塞， 磊= m 耋锄，4 雪= 元 ， 牙= 磊锄，妩= 去， 磊= m 锄， i = 1i=l-11 y i j 1 ，2 l13=1j = l，= l 1 0 m乏 = m = ” + 锄 7 + o 0 旷 = 矿 + 叱 肛 吼 = 刍 物 第三章协方差分析 贝l j ( 3 2 5 ) 式即为协方差分析模型( 3 2 1 ) 的参数估计值。 由此，我们还可得到的方差 事实上， 其中， y 。r ( ) = 瓦0 2 ( 绚一| j i ) ( 魂，一赢) 踟( ) = 惭( 镪) = 哳( 专蔓鬲) = v a r ( 糍) = 一z m z ，v m a r z ( y ) = 1 z m 丽a 2 m r z = 疡 = 瓦o = 2 y =x = 3 2 3 模型的假设检验 z = ( 3 2 6 ) 一、因子效应的检验 欲检验模型( 3 2 1 ) m 因子a 的m 个水平是否有显著差异，记要检验的假设 h o a ：q 1 = q 2 = = q m = 0hh 1 a ：乜1 ，q 2 ，不全为0 1 1 1 h l 阳 d h 铀； 锄； 铂； 0 ；0 0：o；11 o ；0 1；1；0；0 l ；1 o；o；o；o 1 ；l 1上；l；1上；l ；三|； 锄； ； 凯； m ( 3 2 5 ) 式，= 镪，记 l w 伽= 一犰) 2 ，l 名删= 。一，j l ，i 睡l 型( 3 2 1 ) 中的残差平方和为： sse= 记 m i = 1 m i = i m i = 1 n t j = i 住t j = i n t j = l 物一口一& t 一锄) 2 ( 一虢) 一( 锄一磊) 】2 ( 佻，一矾) 2 2 苎曼( 一玩) ( 锄一磊) + 2 量妻( 纫一磊) 2 ( 一矾) 2 2 圣( 一玩) ( 锄一磊) + ri = 1 备( 纫一忍厂 4 = 1j 2 j一 = l 廿咎山一2 7 l 咎t 啪+ 5 2 l ；z 啦 ：l w ”一簪 当原假设日0 a 成立时，协方差分析模型( 3 2 1 ) 式变为： 竹i n t 譬堪= 恤+ 1 z t j 七q l 妒= ( 妁一班工掣刀2 i = 1i = i 一雪) ( 纫一牙) ，l z 刀= 按照3 2 2 节中的方法，可求得( 3 2 8 ) 式中的参数的l s e 为： 且( 3 2 8 ) 式的残差平方和为： ? l v 汀 佃5 历 ( 3 2 7 ) ( 3 2 8 ) f n 竹 ( 纫一牙) 2 i = 1j = i 由( 3 2 7 ) 式与( 3 2 1 0 ) 式可得因子a 的平方和为： s s a ：s s e h s s e ：( l 删t 一丝l z z t ) 一( l 讥舢一鲑l z z , 、 厶= 仇一1 1 2 ( 3 2 9 ) ( 3 2 1 0 ) 毗芦 m 汹 ，fi、rl m 触 m ：l p 一秒 一 一 h 1 以 玎 魄 厶i 工鉴切 挚磐一 琵琵咖 第三章协方差分析 从而可得检验假设凰a 的f 统计量为： f ：兰兰丝丛： ! 兰丝二簦! 二! 墨! 竺二璧! ! 丛竺二! ! s s e e ( 己l l 伽一皇妻孚) ( 铊一m 一2 ) 当凰a 成立时， f f ( m 一1 ，n m 一2 ) 在显著性水平q 下，f r ( m 一1 ，他一m 一2 ) 时拒绝原假设凰a ，认为因子a 的 各个水平之间确实存在显著差异。 二、回归系数的检验 其次来检验协方差分析模型( 3 2 i ) m 协变量的显著性，记要检验的假设为： ：7 = 0h 凰，y ：7 0 当原假设成立时，协方差分析模型( 3 2 1 ) 式变为通常的单因素方差分析模 型 = p + 叱+ g 巧( 3 2 i i ) 此时口= 雪， 如= 玩一雪；故此时( 3 2 1 1 ) 式的残差平方和为： s s 日= ( 一口一d i ) 2 i = i j = i 2 吾善 ( 物一影) 一( 玩一妒) 】2 ( 3 2 1 2 ) = 1 ，= 11 3 2 1 z l = ( 物一吼) 2 1 = 1 j = i = l 鲫t t ， 由( 3 2 7 ) 式与( 3 2 1 2 ) 式可得因子z 的平方和为： s s 7 = s s 日一s s e = l 讥m 一( l w 伽一毛妻乎) = 皇妻乎 =1 从而可得检验假设的f 统计量为： f ：曼兰! 6 ：簟! ! s s e f e ( l 列伽一乏兽) ( n m 一2 ) 第三章协方差分析 当成立时， f f ( 1 ，佗一m 一2 ) 在显著性水平口下，f r ( 1 ，n m 一2 ) 时拒绝原假设，认为协变量z 对因 变量y 有重要影响。 当拒绝凰1 时，进一步的，我们希望求出7 的置信区间。将模型( 3 2 1 ) 表示成 一般的回归模型 y = x p + z 7 = ( x ，z ) ( ) 全6 其中y 与x ，z 的含义与( 3 2 6 ) 中所表示的完全相同，这里不再赘叙，= ( p ，q 1 ，o l 仇，7 ) ，应用线性模型的一般理论【3 】有 占= ( w 7 ) 一1 7 y n m + 2 ( 6 ，0 - 2 ( w 7 ) 一1 ) s s e 全( 佗一m 一2 ) a 2 一盯2 x 2 ( 礼一m 一2 ) 且6 与s s e 独立。又 一( ，y ，盖) 所以 t 全石q f - 万；7 ：一t 詈( 几一m 一2 ) o fql ；哪 “ 因此，y 的置信区间为 ( 一吲亿一m - 2 ) 焘，+ 吲一一2 ) 焘) 1 4 第四章实验中缺失数据的处理 4 1檄述 在实际运用协方差分析进行教学质量的评价时，经常会遇到这样的问题， 有的学生中途退学了，有的学生中途转学了，还有的学生因为生病没来参加 期末考试等，这些情况的出现使得我们在评价教学质量的时候所收集到的数 据( 学生的期末考试成绩) 出现了缺失值，失去了数据的对称平衡性，直接利 用这种原始数据进行协方差分析是有困难的。这时，人们最通常的做法是将存 在缺失数据的记录直接删除以保证统计模型能够正常拟合。当缺失数据较少 时，这样做没有太大问题，但当缺失数据较多时，这样做会损失大量原始信息， 严重影响分析结果的准确性。因此，有必要对缺失数据进行填充。本论文针对 这个问题，重点介绍了方差分析模型中b a r t l e t t 的a n c o v a 填充技术，借鉴该 方法，推导给出了协方差分析模型中缺失数据的填充方法，最后针对我们的模 型( 3 2 1 ) 给出实例分析，用以阐明协方差分析模型中填充缺失数据的具体算法。 4 2 方差分析模型中缺失数据的处理 4 2 1 历史回顾 在a n o v a 中针对缺失数据的经典的和标准的方法一般认为是耶兹5 1 给出 的。耶兹指出如果缺失的值用它们的最t j 、- - 乘估计轨= 玩反代替，式中的反是 将方程p = ( x 7 x ) - 1 ( x 7 y ) 用于有y i 观测的( y ：x ) 的r 行所产生的，那么最小二 乘估计用于填充后的数据会产生正确的最小二乘估计反。这个方法对于只有一 个缺失值的情况是可行的，但对于多个缺失值的情况是不适用的，如【5 】所示。 h a r t l e y 6 ，h e a l y 和w e s t m a c o t t 7 相继提出了普遍适用的估计缺失数据的迭 代方法。它只需要一个子程序来求每一个个体的残差，即首先用猜想的值代替 缺失的观测值( 例如用单元、行或列的均值来代替) ，并对整个模型进行分析， 然后从每个缺失观测值的猜想值中减去残差，所得之差是缺失残差值的新估计， 然后继续这个过程直到所有缺失值的残差忽略不计为止。但这涉及到收敛性的 问题，因此需要借助于高级的计算机程序来完成。 第四章实验中缺失数据的处理 b a r t l e t t s 给出了一个一般的非迭代方法，对缺失值填充猜测值，然后对每 一个缺失值用一个缺失值协变量进行协方差分析( a n c o v a ) 。第i 个缺失值协 变量定义为第i 个缺失值的指示函数，也就是在第i 个缺失值处是1 ，否则是0 。当 从第i 个缺失值的初始猜测值减去第i 个缺失值协变量的系数时，会产生第i 个缺 失值的最小二乘估计。另外，经缺失值协变量调整的残差均方和及全部对比的 平方和有它们正确的值。下面我们详细介绍一下该方法。 4 2 2b a r t l e t t 的( a n c o v a ) 方法 一、记号 设每一缺失值的y 。依次使用一些初始的猜定值加以填充，造出一完全的y 的 值向量。初始猜定值记为犰，i = 1 ，2 ，m 。同时令z 是礼m 个缺失值协变量 矩阵。z 的第一行为( 1 ，0 ，0 ) ，第m 行为( 0 ，0 ，1 ) ，而z 的后r 行 为( 0 ，0 ，o ) ，因为它们对应到己观测到的犰，所以协方差分析使用x 和z 两 者来预测y 。 类似于( 2 1 3 ) ，y 的模型现在是 y=x 8 七z 7 + e 其中，y 是m 个对应缺失值协变量回归系数的列向量。 对( p ，y ) 极小化的残差平方和为 mn s s ( z ，y ) = ( 虢一魏p 一忍，y ) 2 + ( 犰一甄卢一蔬，y ) 2 i = 1 i = m + 1 由于当玑已观测到时z i 7 = 0 ，而y t 缺失时z i 7 = m ，所以 ( 4 2 1 ) mn s s ( p ，y ) = ( 吼一甄p m ) 2 + ( 玑一z t p ) 2 ( 4 2 2 ) i = 1i = m + 1 二、参数和缺失的y 值的a n c o v a 估计 如上所述，设反是采用观测到的值，也就是( y ；x ) 的后r 行，使用式( 2 1 5 ) 得 到的正确的卢的最小二乘估计，那么它极小化了式( 4 2 2 ) 中的第二个和。但是 当p = 反时，令 ，y = ( 琉，懦) 7 1 6 第四章实验中缺失数据的处理 则它也极小化了( 4 2 2 ) 中的第- - 个和，使得此和为o ，所以 ( 4 2 4 ) 这样( 良，) 极小化了s s ( p ，y ) ，给出了一冉a n c o v a 模型式( 4 2 1 ) 获得的( p ，y ) 的最小二乘估计。 式( 4 2 3 ) 也指明了缺失的犰的正确的最小二乘估计，也就是窥= 戤反可 由骁一龟给出，换句话说就是 矾= 虢一俄 其中魏表示第i 个缺失值的正确的最小二乘方预测值 甄表示第i 个缺失值的初始猜定值 龟表示第i 个缺失值协变量的系数。 b a r t l e t t 对这一方法的最初描述中令全部甄为o ，但是令全部吼等于所有观测 的总平均在计算上更具有吸引力，这会产生关于总平均的正确的总平方和。 三、残差平方和参的协差阵的a n c o v a 估计 式( 4 2 4 ) 给出了由a n c o v a 得到的残差平方和，是一个正确的残差平方 和。这个残差平方和对应的a n c o v a 自由度是n m p = r p ，也是正确 的，从而残差均方霹也是正确的。如果对有犰观测的r 个个体运用式( 2 1 8 ) 获 得的k 与a n c o v a 的反的协差阵相等，那么全部标准误差、平方和、显著 性检验将都是正确的。由a n c o v a 估计的凤的协差阵是估计的均方篚乘 以 ( x ，z ) 7 ( x ，z ) _ 1 】的左上角p p 子矩阵，记这个子矩阵为u ，由于估计出的 残差均方是正确的，故下面仅说明u _ 1 是有玑观测的个体对应的x 的内积的和。 根据矩阵的标准结果，有 由筋的定义，有 u = x 7 x 一( x 7 z ) ( z 7 z ) 一1 ( z 7 x ) 】一1( 4 2 5 ) 1 7 ( 4 2 6 ) 却 2 m l = - z 凤 瓤一 虮 = 讥 里 这 0 p z一 犰 竹一 i i 7 风 ，)c ，) 魂 m 试 = zx 第四章实验中缺失数据的处理 和 z z = 2 旎= k i = 1 这是( m m ) 指示阵。由式( 4 2 6 ) 和( 4 2 7 ) 但是 因此式( 4 2 8 ) 等于 ( 4 2 7 ) mm ( x 7 z ) ( z 7 z ) 一1 ( z 7 x ) = ( z ：旎) ( 弓巧) ( 4 2 8 ) i = 1 j = l 筋弓= 三芸翥= 歹 z 知 再从式( 4 2 5 ) ，得 u = ( z 糊。1 i = m + 1 所以硭u = k ，是忽略缺失的观测获得的众的协差阵，这就证明了a n c o v a 可 产生全部汇总量的最小二乘值。 4 3协方差模型中缺失数据的处理 4 3 1估计理论 为方便讨论，将协方差分析模型( 3 2 1 ) 表示成一般的矩阵形式，有 嚣? 榴什s 3 l 一n ( o ，0 2 厶) 设y 的扎个观测值有r 个缺失了，则通过对m 重新标号，有 y = ( 芝) = ( 羔) p + ( 笔) 7 + ( ：) c 4 3 2 ， 第四章实验中缺失数据的处理 其中m 是可利用的礼一r 维已观测向量，k 是r 个缺失的观测值构成的列向量。 令p ，是 ( y x p z - y ) 7 ( y x p z 7 ) = i i v x p z ，y 0 2 = i i y l 一x l p z , 7 1 1 2 + i l k 一咒p 一易7 1 1 2 = q 1 ( p ，7 ) + q 2 ( 圪，p ，1 ) 中q 1 ( p ，y ) 的最小值点，即为正规方程组 ， j 弼x l p + 墨历7 = 墨y 1 iz 蜀p + z 历7 = z y l 的解。则可用 x 2 8 七z 确= y 2 作为砼的估计值( 称为y 2 的l s e ) 。 但是注意到 q i ( z ，) + q 2 ( y 2 ，p ，)= q ，( p ，) = m 。i ni i v l 一五p z , 7 1 1 2 工，1 2m m i n 。( i y 1 一x 1 p z l ，y l l 2 刊蚝一恐p 一研1 1 2 ) 2 觚m i b ni i y x p 一圳2 即( 政，矽，) 是i | y x p z - y l l 2 关于砼和p ，y 的极小值点。而 肌m i 耽ni i y x p z - y l l 2 = m r i 。n ( m ”i ni i y x p z , y l l 2 ) ( 4 3 3 ) = m i ns s e 蚝 ( 其中s s e 是残差平方和) 。故可采用全设计阵( x ，z ) 依下面的方法去求得硗。 先对p ，7 极小化i i y x p z 圳2 ，然后再对缺失观测值k 极小化残差平方 和 s s e = f i f x p z 1 1 2 从而求得砚，具体应用见后面的实例。 19 第四章实验中缺失数据的处理 j ，x x 1 声+ 墨历= x i m l 召五矽+ z 历：z m 和 f 弼尥矽+ 弼邑= 弼硗 、z 拖矽+ z 邑：z 硗 则可将他们结合在一起，得到一个利用全设计阵x 的更加有用的公式 ( x ，z ) 7 ( 芝) = ( x ，z ) 7 ( x ，z ) p c 4 3 4 ， 因此，可以认为p ，是由正规方程组 = 二嚣? 3 解得的。只不过解出的p ，中的砼应换成硗，然后就可由方程 e = 恐矽+ 磊 ( 4 3 6 ) 解出硗。可见这种方法相当于解预测值方程。 二、实例说明 如第三章的模型( 3 2 1 ) ，假设数据集y 的最后一个观测值n 缺失了( 这里 令n 1 = 地= = 佗m = n ) ，则由( 4 3 3 ) 的方法，首先，极小化误差平方和 f n他t ( 一p 一锄一- y z q ) 2 i = 1j = l 釜墓：雪，一c 磊一乏，t = 1 ，2 ，m 2 0 第四章实验中缺失数据的处理 其中 l ：伽子苎e mc y , j 一玩) ( 锄一磊) ，l 名刎：苎曼( 锄一磊) 2l l ，：伽子 一玩) ( 锄一磊