（教育技术学专业论文）概化理论在网络课程评价中的应用研究.pdf

硕士擘位论文 m a s t e r st h e s i s 摘要 网络课程评价的研究从评价指标体系的建立，到评价运作与操作管理已经较深 入了，方式方法的采用也不断推陈出新。近年来研究者都力图使自己的研究能促进 网络课程的评价。利用这些研究成果网络课程的评价结果更加合理、科学和准确。 然而目前的研究主要是给网络课程一个评价结果，很少专门讨论采用这些方法得到 的评价结果是否准确。如果结果不准确，产生的原因是什么? 某一次某些人员所进 行的网络课程评价的结果在多大范围内可以推广? 从测量的一般范畴来看，网络课 程评价作为某一网络课程内容和实施该门学科内容的教学活动进行的价值判断，它 也属一种特殊的测量，评价过程中不可避免地会存在误差。但是目前从误差的角度 对网络课程评价结果及其评审表进行的研究还很缺乏。 概化理论是一种能够同时达到区分测量对象与评估其真正实力的目的，并较好 地控制测评误差的现代测量理论。本研究就是从误差的视角选取华中师范大学网络 学院一批网络课程评价数据为研究案例，运用一元概化理论的原理和方法，确定了 c i x r 的测量模式，编写了g 和d 研究的相关程序，通过运行程序得到了研究数据。 对涉及多个测评因子的网络课程评价体系表，我们运用多元概化理论，编写了 m g e n o v a 程序，同样地运行该程序得到了相应的的研究数据。在对这些数据进行 深入仔细分析的基础上，本文系统阐明了整个网络课程评价误差的来源，我们发现 评价的误差来自评分专家和评价的指标项目，并分别考察了各评分项目在该研究实 例中的概化系数，从而以数据事实为依据，对网络课程评价结果进行了统计调整， 提出了对整个网络课程评价指标体系的修改意见。在此基础上，本研究借鉴并参考 了其他网络课程评价标准体系，优化了该评价指标体系，最终形成了新的网络课程 评价表。 本文认为概化理论能对网络课程评价结果数据进行分析，并将其结果进行适当 推论；对网络课程评价质量的误差进行分析与控制，从而给使用网络课程的人们提 供依据与参考；概化理论运用到网络课程评价中能有效改进网络课程评价：用概化 理论分析网络课程评价的数据，能够有针对性地指导网络课程评价实施的细节方 面，比如评分者人数、评价指标体系的优化等。 关键词：概化理论；网络课程评价；误差；g 研究；d 研究 a b s t r a c t f r o mt h ee v a l u a t i o ng u i d e l i n es y s t e m se s t a b l i s h m e n tt ot h ee v a l u a t i o no p e r a t i o n a n dm a n a g e m e n t , t h er e s e a r c ht ot h en e t w o r k - c o u r s ee v a l u a t i o ni si n c e n t i v ea n dt h e a d o p t e dm e t h o di sa l s ob m u g h ti n t of o r t ha n df l e s hc o n t i n u a l l y i nr e c e n ty e a r s ，m a n y r e s e a r c h e r sw o r kh a r dt ot i s et h e i rr e t u r n st op r o m o t et h en e t w o r k - c o u r s ee v a l u a t i o na n d b r i n gt h ee v a l u a t i o n sr e s u l tm o r er e a s o n a b l y , s c i e n t i f i c a l l ya n dc o r r e c t l y h o w e v e r , t h e p r e s e n tr e s e a r c hi sm a i n l yr e s e t t i n go nt h es t a g eo f o b t a i n i n ga ne v a l u a t i o nr e s u l tb l i n d l y , f e wo f t h e md i s c u s st h a tb yt h e s em e t h o dw h e t h e rt h ee v a l u a t i o nr e s u l ti sa c o w a t e i f t h e r e s u l ti sn o te x a c t , w h a ti st h er e a s o n ? h o wf a rc a nt h en e t w o r k - c o u r s ee v a l u a t i o nr e s u l t w h a tt h e yd i di n0 n et i m eb eg e n e r a l i z e d ? a ss e 髓b yt h eg e n e r a lc a t e g o r yo f m e a s u r e m e n t , i nr e s p e c t 出a tn e t w o r k - c o u r s ee v a l u a t i o ni sa l s oak i n do f t e a c h i n ga c t i o n o ft h es u b j e c tv a l u ej u d g m e n to nan e t w o r k o m ) u r s ec o n t e n tt h a ti st a u g h t , t h e n e t w o r k - c o u r s ee v a l u a t i o ni sas p e c i a lm e a s u r c t h ee r r o ri si n e v i t a b l ei nt h ea p p r a i s a l p r o c e s s b n tt h e s ed a y sf r o mt h ee r r o ra n g l e , t h ee v a l u a t i o nr e s u l ta n dt h ee r r o rr e s e a r c h t ot h ee v a l u a t i o nt a b l ea r ef a i r l yl a c k g e n e r a l i z a b i l i t yt h e o r yi sam o d e mm e a b a u et h e o r yw h i c hc a nd i s t i n g u i s hm e a s o x c o m i ta n de v a l u a t ei t sr e a ls t r e n g t h , a n dc o n t r o lt h em e a s u r e m e n t - e v a l u a f i o ne l t o r t h i s r e s e a r c hb e g i n sw i t ht h ea n g l e o f e r r o r , u s i n ga s e to f d a t ao f n e t w o r kc o l l e g ei nc e n t r a l c h i n an o r m a lu n i v e r s i t y , e x e r c i s e st h e p r i n c i p l ea n dm e t h o d so ft h eu n i v a r i t e g e n e r a l i z a b i l i t yt h e o r y , c o n f i r m i n gt h em e a b q l l em o d eo fc x i x r , w r i t i n gt h ep r o g r a m c o n n o t e dw i t l lt h ega n dd s t u d y , a n da t t a i ns o m e d a t ab yr u n n i n gt h ep r o g r a m w eu s e d m u l t i v a r i a t eg e n e r a l i z a b i l i t vt h e o r yt os t u d yn e t w o r k - c o u r s ew h i c hc o n c l u d em a n y f a c t o r s w ea l s ow r o t e 昭e n ( ) 、，ap r o g r a ma n d 瑚i ta n dw ea t t a i n e dc o r r e s p o n d i n g d a t a a t i e rw ea n a l y z e dl h e s ed a t a , w ef o u n dt h a tt h e s ee r r o r sc a m ef r o mc o m m e n t a t o r s a n dt a r g e ti t e m s w es a wa b o u tt h eg e n e r a l i z a b i l i t yq u o t i e n t so f e v e r ya s s e s si t e m si nt h e e x a m p l e ，m a d et h ed a t aa sp r o o f ：a d j u s t e dt h ee v a l u a t e dr e s u l to f t h en e t w o r k - c o u r s e a t l a s tw em a d et h ea d v i c et ot h ec h e c ka n da c c e p ts t a n d a r do fw h o l en e t w o r k - c o u r s e e v a l u a t i o na n dc h e c k u p o nt h e b a s i so fs t u d y , t h e s er e s e a r c h e su s ot h eo t h e r n e t w o r k - c o u r s e se v a l u a t i o ns t a n d a r ds y s t e mf o rr e f e r e n c e , m o d i f l e dt h ee v a l u a t i o n s t a n d a r d , a n do b t a i nan e wn e t w o r k - c o u r s ee v a l u a t i o nt a b l e t i l i sa r t i c l et h i n k st h eg e n e r a l i z a b i l i t yt h e o r yc a l la n a l y z et h er e s u l to ft h e n c l w o r k - c o u r s ee v a l u a t i o n , i n f e rt h er e s u l tp r o p e r l y , a n a l y z ea n de o n t r o lt h ee r r o rf o rt h e q u a l i 哆o ft h en e t w o r k - c o u r s ee v a l u a t i o n , a n da tl a s tg i v ep r o o f sa n dr e f e r e n c et ot h o s e p e r s o n sw h ou s en e t w o r k - c o u r s e w h e ng e n e r a l i z a b i l i t y t h e o r y i su s e di nt h e h n e t w o r k - c o u r s ee v a l u a t i o n , i tc 缸i m p r o v et h ee v a l u a t i o nq u a l i t yt on e t w o r k - c o u r s e u s i n gg e n e r a l i z a b i l i t yt h e o r yt os t u d yt h ed a t ao fn e t w o r k - c o u r s ee v a l u a t i o n , w ec 觚 g i i i d em ed e t a i lw h e ni m p l e m e n tt h en e t w o r k - c o u r s ee v a l u a t i o ns u c ha st h ea m o u n to f c o m m e n t a t o r s , o p t i m i z i n ge v a l u a t i o ns t a n d a r ds y s t e ma n ds oo n k e y w o r d s ：g e n e r a l i z a b i l i t yt h e o r y ；n e t w o r k - c o u r s ee v a l u a t i o n ；e r r o r ；, gs t u d y ； d s t u d y i l l 硕士学位论文 m a s t e r s1 h e s j s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 作者签名：1 谁鸯日期：州年月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中师范大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权 中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通 过网络向社会公众提供信息服务 作者签名：1 弼务 日期：砂年协5 目嚣，碧予；日 本人已经认真阅读“c a l l s 高校学位论文全文数据库发布章程”，同意将本人的 学位论文提交“c a l l s 高校学位论文全文数据库”中全文发布，并可按“章程”中的 规定享受相关权益回壶迨塞握銮后澄厦；旦主玺；旦二玺i 旦三生筮查! 作者签名：1 确垮 日期：弘刁年6 月e 日 导师微：谚批 日期：加；易片占日 硕士学位论文 m a s t e r s 丁h 黯培 1 文献综述、理论基础及课题的提出 1 1 经典测量理论及其发展 1 1 1c t t 理论 1 9 5 0 年美国学者古里科森( g u l l i l 【s e 玛1 9 5 0 ) 出版了心理测验的理论( t h e o r yo f m e n t a lt e s 曲一书，书中第一次用公理化的方法系统总结了标准化考试的原理和方 法，经典测量理论( c l a s s i c a l t e s t s t h e o r y ，简写为c t t ) 逐渐走向成熟。 c t t 的理论体系分为三个部分：测验真分数的假定；关于测量信度的理论； 测量效度的理论。 c t t 所采用的方法有：题目分析技术；测验的标准化技术。测验的标准化 技术包括题目编制的标准化、测验实施的标准化、阅卷评分的标准化以及分数的转 换与解释的标准化。 c t t 的优点：理论和方法体系相对完整，前提假设比较弱，很容易为实际考 试工作所满足。所涉及到的数学模型以及参数的概念和估计方法容易被人理解和 掌握。所倡导的标准化技术在控制测量误差等方面有明显效果，并已为许多人所 认可。 c r r 的缺点o ：考生能力参数严重地依赖于试题样本。对考生能力参数估 计的精度指标不恰当。考试结果极易被人错误地推广到不恰当的范围上去。估 计测量信度所依赖的经典平行测验假设在现实中无法满足。题目的难度参数和考 生的能力参数定义在不同的量表上，不利于改进测验，也不利于实现测验的预定目 标。题目参数严重依赖于考生样本。针对c t t 的缺点，人们从两个方向努力寻 找克服这些缺点的办法。 一个研究方向是：从考试的外部或宏观方面入手，继续沿着随机样本理论的思 路向前发展，着重在讨论实测时的测量条件与结论推广应用范围之间的关系。即重 在讨论考试的外部效度问题，并由此创立发展了概化理论。 另一个研究方向：从考试的内部或微观方面入手，放弃随机样本理论的思路， 采取数学建模和统计调整的方法，重点讨论考生的能力水平与考试题目之间的实质 性关系，即重在讨论考试的内部效度问题，进而创立和发展了考试的项目反应理论。 。杨志明，张雷测评的概化理论及其应用【h q 北京：教育科学出版社t 2 3 年5 月 l 硕士学位论文 m a s t e r st h e s i s 1 1 2 概化理论的产生与发展 概化理论( g e n e r a _ l i z a b i s t yt h e o r y , g t ) 是由c r o n b a c h ，g l e s e r , r a j 盯a m a m 等人于 1 9 6 3 年提出的，c r o n b a c h 等人在1 9 7 2 年出版的行为测量的可靠性：用于测验分 数和剖面图的概化理论一书中正式提出了这一理论，这时的概化理论被称为一元 概化理论( u n i v a r i a t eg e n 盯a l i z a b i l i t yt h e o r y , 缩写为u g t ) ，但是由于它的数学模型 复杂，统计分析过于繁琐，所以一直没有得到大的发展。壹到2 0 世纪8 0 年代后期， j e c r i c k 和lb r e n n a n 编制了g e n d 、，a 专用软件，概化理论才得到了迅速的发 展。1 9 7 6 年，为了适应多维度测量的要求，j o e 和w o o d w a r d 将一元的概化系数推 广为多元概化系数，多元概化理论( m u l t i v a r i a t eg e n e r a l i z a b i l i t yt h e o r y ，缩写为m g t ) 从此得到了广泛的应用。 1 2 网络课程评价的原则的确立 1 2 1 相关概念的界定 网络课程是通过网络表现的某门学科的教学内容及实施的教学活动的总和。它 包括两个部分：按一定的教学目标、教学策略组织起来的教学内容和网络教学支撑 环境( 现代远程教育资源建设技术规范) 。 指标是目标在某一方面的规定。具有三个特性：一是在某一方面反映目标的本 质属性；二是行为化了的目标，具有具体性和可操作性；三是通过实际观察和测定， 可以得到明确的结论回。一个指标只能反映目标的一个局部，一个侧面，不能反映 目标的整体。只有把目标转化为以目标本质属性为核心，相互紧密联系，系统化的 指标群体，才能比较全面地反映目标的整体。这个目标群就是指标系统或者指标体 系。 网络课程评价指标体系是由网络课程评价研究者建立的，是网络课程教育价值 的细化，反映网络课程本质的评价目标的各要素之间关系及其重要程度的量化系 统。 1 2 2 相关文献对网络课程评价原则的论述 在查阅了有关网络课程评价的文献后，笔者发现他们一般都认为网络课程的评 价应遵循以下原则： 黄宇国( 2 0 0 6 ，( 6 ) 中国电化教育) 则认为网络课程应遵从全面性原则、客观性原 。王孝玲教育评价的理论与技术【m 】上海：上海教育出版社，2 0 0 1 年 。黄字，周少华现代远程教学质量评价指标体系研究【_ i 】冲国电化教育，2 6 ( 6 ) ：3 5 3 7 2 硕士学位论文 m a s t e r st h e s i s 则、和重视学习原则。他们认为对远程网络教育进行评价时要根据系统论的观点，从 整体出发，即考察课程各个部分的关联情况和综合性能，不能因为某一方面特别突 出而以偏概全。对于不同的课程模块可能对学习者影响的程度不同，可设置合理的 权重，以强调该模块的重要性。完整的评价标准应从三类用户( 学生、教师、管理 员) 的角度出发，对网络传输、教学、交互、教师学生支持、评价、管理6 个方面 进行考察。对事物进行量( 或质) 的记述，称为“事实判断”。事实判断是对事物的现 状、属性与规律的客观描述，客观性是它的基本要求，即真实地反映事物的本来面 目。“事实判断”是评价活动的基础，因此评价最基本的原则就是客观。要协调评价者 之间的价值观念，最终形成对该事物客观一致的评价。在对远程网络教育进行评价 时，唯一的出发点是一切以促进学习者有效的学习为目标。所有的学习活动和资源 都要与教学密切相关，以激发学生主动地参与学习，而无关的资源和干扰性活动将 是评价标准中需要否定的内容。 马志国4 ) ( 2 0 0 4 ，( 5 ) 辽宁教育研究) 强调个性化原则、双向性原则、他评与自评相 结合原则、发展性原则、定性评价与定量评价相结合原则、目的性原则、易于操作 性原则。 他认为个性化是网络教育的独特品质。网络学生可以根据自身的特点选择网络 学习，因而网络课程评价应采取个性化评价。也就是说，网络课程评价要因人而异，不 能搞“一刀切”的“标准化”；网络课程评价既要重视人性，更要重视个性。 网络课程评价既要评价网络教师，又要评价网络学生；既要评价网络课程内容， 又要评价网络教学支撑系统；既要评价人。又要评价计算机和网络。 由于网络教育的个性化特点，网络课程评价既要讲究他评( 他评中既有网络教师 为评价主体，也有网络教育管理人员为评价主体，还有社会各界组成的评价主体) ，又 要讲究自评。也就是说，在评价中将外部标准( 需要与可能) 和自我标准( 需要与可能) 结合起来。 由于网络课程的基本目标是促进网络学生的发展，所以网络课程评价要坚持发 展性原则。其一，发展性原则要求注意总结网络课程的不足；其二，发展性原则要求 以人的发展和网络课程的完善为本调适网络课程；其三，发展性原则还要求既注重终 结性评价，又重视形成性评价。 网络课程评价既要通过统计资料说明问题，又要利用访谈、问卷调查、录音或录 像调查等手段阐述结论。也就是要将人本主义评价手段和技术评价手段结合起来。 而且既要注意对知识、技能的掌握上给以量化，也要注意情感、态度和价值观的定性 。马志国网络课程评价的理论与实践m 辽宁教育研究2 0 0 4 ，( 5 ) 3 硕士学位论文 m a s t e r st h e s i s 评价。 网络课程评价关注网络课程的目的性，关注网络课程各内容模块的目的性，关注 各个模块的主题性。 由于网络技术和网络教育的复杂性、特殊性，以及网络学生的分散性，使得网络 课程评价的难度大于传统的学校课程评价，因此，网络课程评价尤其要讲究操作性。 1 2 3 本研究所涉及的网络课程评价采取的原则 根据网络课程评价的相关原则，本研究所涉及的网络课程评价规模较小，是学 校内部的一种形成性评价，由于资金成本及其他物质条件的限制，主要评价的是构 成网络课程重要组成部分学习课件的设计及制作效果( 参见附录1 ) ，因此研究 中所指的网络课程评价其实只是课程的这两个方面进行的评价。于是评价采取的原 则集中体现在目的性原则、易于操作性，定量评价为主，定性评价为辅的原则。 1 3 网络课程评价指标体系的建立 1 3 1 网络课程评价指标体系的构成要素 本次网络课程评价的组织单位所采取的评价指标体系借鉴了教育部教育信息 化技术标准委员会制定的网络课程评价规范( c e l t s 2 2 1 ) 以及其他评价案例，由四 个大的评价模块( 教学设计、教学内容、信息呈现和文档资料) 构成。 1 3 2 建立网络课程评价指标体系 考虑到网络课程不是电子教材或电子教案的简单搬家，一门完整而又优秀的网 络课程除了在网上展示结构化的知识内容外，更要发挥网络即时交互，资源共享等 特性，还需要进行实时讲座，实时答疑，协作式解决问题，探索式解决问题，学习 论坛等特殊教学活动的设计与实旅。在建立网络课程评价指标体系的时候不仅要借 鉴一般评价指标体系的建立原则，还要充分考虑以上这些特点，突出考虑网络课程 还应具备的网络远程资源功能实现问题。 网络课程评价指标体系的建立往往是从相关文献中总结吸取已有的众多网络 课程评价指标体系的优点，找出不足，筛选分类汇总出一些网络课程评价指标体系 应该具备的基本的构成指标要素。 不同的网络课程评价规模与场合往往要求使用不同的指标体系。在本研究中结 合这次华中师范大学网络教育学院进行的网络课程验收评价，首先与该单位职能部 门取得联系，了解了本次网络课程评价验收的目的与要求，收集了这些课程的一些 基本信息如下： 4 这次评价验收的网络课程总共有4 0 门，分为文、理科组，各有2 0 门，这4 0 门课程都是必修课。 本次验收通过的网络课程将主要用于华中师范大学网络教育学院远程学员的 学习。参加学习的这些远程学习者主要特点是：学习时间分散，不固定；他们的学 习基础及软硬件环境存在很大的不平衡性，有的学员已经具备较强的电脑操作技 能，能够随时上网学员所具备的这些特点要求我们制作的网络课程应符合学习 者的特征，以远程学习者为本。网络课程的教学设计，教学内容的结构，信息的呈 现等都应尽量符合学习者的接受习惯，如文字色彩与背景色的选取要清晰，不刺眼， 充分体现以学习者为中心的先进教育理念。比如制作的动画素材，播放h a s h 的插 件版本不能太高，如果有的学员因为插件版本问题而不能正常使用这些网络课程， 必将严重影响网络课程的质量。针对这一点，在制定网络课程评价指标体系时，其 中应该考虑提供相应音频和动画播放技术支持。 1 4 网络课程评价的研究现状 1 4 1 国内研究 伴随着中国远程教育事业的蓬勃发展，网络课程作为一种重要的远程教育资源 越来越受到人们的关注。同时我们也看到使用网络课程来开展的网络教育还是难以 和正规课程教育相提并论，社会上对网络教育，特别是学历教育的认可度不高，其 重要原因是有些网络课程的质量差，网络课程的低水平重复建设。由此可见加强网 络课程的质量监控已经成为当务之急! 网络课程的评价正是网络课程质量监控的重要手段之一。 在综合查阅了自2 0 0 0 年以来的中文期刊文献后，我们发现国内对网络课程评 价的研究已有一些，已有的研究主要有以下几个方面的特点： ( 1 ) 评价指标体系的建立。研究者主要借鉴中国教育信息化技术标准c e l t s - 2 2 网络课程评价规范和国外的几种网络课程评价标准如：e 1 e a r n i n gc e r t i f i c a t i o n s t a n d a r d ( 在线学习认证标准) 、t q u a l i t yo nt h el i n e ) ( 在线学习质量) ，再利用某种 方法分配指标的权重，建立适合于某- - n 或某一类课程的评价指标体系。指标体系 的采用是力求用量化评分的方式来给网络课程一个质量评价。参考文献【1 】、【2 】、 【l l 】、 1 2 】和【2 0 】在这些方面进行了详细的论述。 ( 2 ) 强调评价的系统工程化研究者把网络课程看作是一个系统工程，主张多方 位，多角度，全面地对教学内容、教学设计和技术等进行评价。参考文献 1 3 】和 1 8 】 着重在这些方面进行了深入细致的探讨。 5 ( 3 ) 模糊综合评价。参考文献中 3 】、【5 】、 7 】和 1 7 】依据模糊评价的相关理论，建 立网络课程与其影响评价指标之间的非线性关系，对网络课程进行综合评价。 ( 4 ) 其他方面 网络课程评价研究的触角还伸向了其他领域。如王星飞在探析网络课程评价 运作模型与实施一文中讨论了网络课程评价的运作与实施( 详见教育科学研究 2 0 0 5 年1 2 期) ；熊才平，吴瑞华和曲林林、刁永锋等学者分别在 网络课程绩效评 价指标体系的构建研究基于电子绩效( e p s s ) 的网络课程评价研究两文中论述 了网络课程评价的绩效问题：黄荣怀先生在网络课程质量认证的研究与试验一 文中给我们详细呈现了网络课程进行质量认证的试验经验( 详见中国远程教育 2 0 0 3 年第2 l 期) 。 由上述可知网络课程评价的研究从评价指标体系的建立，到评价运作与操作管 理已经较深入了，方式方法的采用也不断推陈出新。近年来研究者都力图使得自己 的研究能促进网络课程的评价，利用这些研究成果网络课程的评价结果更加合理、 科学和准确。这些不同角度的研究也使得人们对网络课程的评价认识更加全面，更 加清晰。 1 a 2 国外研究 国外目前与网络课程评价和网络课程评价标准的成果集中体现在如下五个评 价指标体系上。e l e a r n i n gc e r t i f i c a t i o ns k m d a r d s ) ( 在线学习的认证标准) 、 c a f r a m e w o r kf o rc e d a g o g i c a le v a l u a t i o no f v l r t u a ll e a r n i n ge n v i r o n m e n t s ) ) ( 虚拟学习环 境的教育评价框架) 、c q u a u t yo nt h el i n e ( 在线学习质量) 、c af r a m e w o r k f o r c 1 e a r n i n g ( 数字学习框架) ， e l e a r n i n g c o u r s e w a r ec e r t i f i c a t i o n ) ( 数字学习 课件认证) 。一些文献虽然没有提出全面的评价标准，但提供了某一门具体的网络课 程评价的案例研究，如b u c k l e ) , , k a t h l e e nm 在2 0 0 3 年发表的 e v a l u a t i o no f c l a s s r o o m - b a s e d ，w e b e n h a n c e d ，a n dw e b - b a s e dd i s t a n c el e a r n i n gn u t r i t i o nc o u r s e s f o ru n d e r g r a d u a t en u r s i n g ) 就是对护理专业学生的营养学网络课程做的案例研究。 此外一些文献还讨论了网络课程评价管理系统的问题，如m a s l o w s k i ，r a l f 在2 0 0 0 年发表的髓ef o r m a t i v ee v a l u a t i o no faw e b - b a s e dc o m s e m a n a g c m c n ts y s t w a w i t h i nau n i v e r s i t ys e t t i n g ) 。其中不乏有价值的文章，有很好的借鉴作用。 纵观目前国外网络课程的评价，除了要符合一般传统课程的基本要求，如：清 晰的教学目标、完整的知识体系、有效的作业和练习、合理的评价方式以外，我们 可以发现一些与网络相关的如下特点： 6 硕士学位论文 m a s t e r s1 e s i s ( 1 ) 突出了交互的重要性。 ( 2 ) 重视学习环境的评价。 ( 3 ) 教学管理与支持的评价内容占有很大比重。 1 5 确定研究课题 1 5 1 网络课程评价存在的问题 现在许多评价指标体系的评价项目和指标数日相差得很多，而且各级各类指标 之间权重分配不合理且有重叠、相斥和不可测的弊端。评价指标缺乏针对性，范围 过于泛化；评价指标体系在很大程度上只评价了软件中的技术特征，而没有深入到实 际教学活动之中去。这些导致了评价者无所适从，进而评价结果不透彻、评价效果 大打折扣。另外评价中操作步骤不规范、评价过程中很少或没有将质性评价与量化 评价很好的结合起来也是目前网络课程评价中的突出问题。这些问题的存在一定程 度上影响了网络课程评价的准确性，难以对网络课程的质量进行有效的评价、监控 和管理。o 目前这个方面的研究还主要停留在盲目给网络课程给出一个评价结果，很少专 门讨论采用这种方法得到的评价结果是否准确。如果结果不准确，产生的原因是什 么? 某一次某些人员所进行的网络课程评价的结果在多大范围内可以推广? 从测 量的一般范畴来看，网络课程评价作为某一网络课程内容和实施该门学科内容的教 学活动进行的价值判断，它也属一种特殊的测量，评价过程中不可避免地会存在误 差。从误差的角度对网络课程的研究还很缺乏。 1 5 2 提出研究课题 网络课程评价的方法有多种，以选优和鉴定为目的的评价往往采用评价指标体 系法。当网络课程的评价结果作为网络课程的选优和鉴定的直接参考时，评价结果 的准确与否将直接关系到该网络课程的应用和推广。 有关网络课程评价误差的研究国内仅仅只有一篇文献论述了信度和效度，高锌 和刘家勋两位学者2 0 0 5 年第5 期在现代远距离教育杂志上发表的网络课程评价 模块的信度和效度分析，显然这个角度的探讨还很不够。本论文研究希望在这个 方面进行一些实践。 目前国内还没有人专门利用概化理论来对网络课程评价进行分析。尤其网络课 。任骰张秀梅对网络远程教育评价体系的探讨 j 】中国电化教育2 0 0 2 ，( 8 ) ：6 7 6 8 7 程作为一种重要的远程教育资源越来越受到人们的关注。同时我们也看到使用网络 课程来开展的网络教育还是难以和正规课程教育相提并论，社会上对网络教育，特 别是学历教育的认可度不高，其根本原因是有些网络课程的质量差，网络课程的低 水平重复建设现象也比较普遍。已有的一些评价指标体系虽然能对网络课程的开发 规范有一定的指导，但其评价的结果是否准确，评价的误差来源有哪些? 如何有效 地控制这些误差，并使得评价的精度更高。评价的结果能够推论到什么样的范围? 这是我们网络课程评价研究者应该考虑的。在这个方面目前很少有人对其给予关 注! 因此笔者尝试着把概化理论引入到网络课程评价领域，利用概化理论提供的原 理与方法对网络课程质量及网络课程评价指标体系进行研究。 1 6 研究说明及章节安排 1 6 1 研究细节说明 概化理论分为u g t ( 单变量概化理论( u n i v a r i a t eg e n e r a l i z a b i l i t yt h e o r y ) 和 m g t ( 多元概化理论) 。仅仅涉及到特定概化全域上的一个全域分数的概化理论叫 做一元概化理论( u n i v a r i a t eg e n e r a l i z a b i l i t yt h e o r y ，缩写为u g t ) 。研究的测量 目标在某个特定概化全域之上具有多个全域分数的概化理论叫做多元概化理论 ( m u l t i v a r i a t eg e n e r a l i z a b i l i t yt h e o r y ，缩写为m g t ) 回。本研究使用二者分别进行 两个方面的研究，即应用u g t 对网络课程评价质量进行研究( 第三章将具体呈现) ： 应用m ( 玎对网络课程评价指标体系进行研究( 第四章将具体呈现) 。 本研究选取的数据及对象：华中师范大学网络学院对一批网络课程的设计制作 质量评价数据。利用网络课程评价指标体系( 本文具体指的就是评价表) 进行评分， 评价结果的误差来源及如何改进测评方法并利用这些数据进行了研究。 1 6 2 论文的章节安排 本论文分为三大部分。第一部分( 即第一、二章) ，包括网络课程评价及其评 价指标体系研究的文献综述，还有本研究课题是如何提出并确定的；教育测评基本 理论和概化理论的基本原理方法。 第二部分( 即第三、四章) 是本论文的重点，主要讨论概化理论在网络课程评 价中的应用实践。第三章用u g t 单独对网络课程评价的质量进行研究；第四章用 m g t 对网络课程评价指标体系表研究，考察其评分指标项目设置的相关性与准确 4 】杨恚明，张雷测评的概化理论及其应用c m 】北京：教育科学出版社，2 3 年5 月 b 硕士学位论文 m a s t e r st h e s t s 性等。 第三部分( 即第五、六章) 利用第二部分的研究成果，对网络课程评价指标体 系表进行改进优化，第六章则对整个研究进行了总结与展望。 9 硕士学位论文 m a s 丁e r s t h e s i s 2 概化理论简介 2 1 概化理论的理论框架 2 1 1 什么是概化理论? 概化理论是一种能够同时达到区分考生与评估应考者真正实力的目的，并较好 地控制测评误差的现代测量理论。概化理论也是在经典测验理论的基础上，通过引 入试验设计和方差分析的技术而发展起来的测验理论。 2 1 2 方差分析法 方差分析法是一套通过试验获取数据并进行分析的定性的统计方法。方差分析 主要分析各效应的显著性，即方差齐次性。通过对测验进行精心的“设计”，使得在 有限的物质条件下，所得到的试验数据能够在尽可能少的试验中最大限度地包含有 用的信息；而方差分析就是相应的从试验数据中提取这种信息的统计分析方法。 反复通过试验或观测，得到一批数据之后，基于这些数据来分析：哪些因素对 该事物有显著影响? 有显著影响的因素，何时效果好? 因素间有没有交互作用? 然 后从这些分析中找出事物的主要矛盾。 方差分析”所分析的并非方差，而是研究数据闻的“变异”，是在可比较的群组 中，把总的变异按各指定的变异来源进行分解的一种技巧。对变异的度量，唯一有 效的方法是离差平方和， 方差分析法就是从总离差平方和中分离出可追溯到指定来源的部分离差平方。 2 1 3 概化理论的基本概念 概化理论的基本概念包括全域分数与测量目标，测量侧面与观测全域和概括全 域或概化全域，相对误差与概化系数( 印2 系数) ，绝对误差与可靠性指数( m 指数) 等国。 测量目标：被试的某种潜在特质，试题或评分者的某种特性。 全域分数：在讨论被试的某种潜在特质水平时，同时指出这种水平是在何种 测量条件下取得的。在根据行为样本的表现( 得分) 估计行为总体的水平时，必须 同时指出测量条件样本是否也推论到了各自所对应的条件总体( 全域) 这种把被 试的某种潜在特质水平定义在具体的测量条件全域( 范围) 上的分数，就叫全域分 。杨意明，张雷测评的概化理论及其应用呻| e 京：教育科学出版社，2 0 0 3 年5 月 】o 硕士学位论文 m a s t e r st h e s i s 数。 测量侧面：影响测验得分的条件因素。 观测全域：g t 把测量侧面的条件样本与条件总体称为条件全域。观测全域 是实际测量活动中所有测量侧面条件全域的集合。 g 研究：在观测全域之上，研究者对所有侧面和测量目标以及它们之间的交 互作用作变异分量估计的过程叫g 研究。 概括全域：概括推论钡i 验结果时所涉及到的测量侧面条件全域的集合。 d 研究：在概括全域或概化全域之上，对各测量侧面或测量对象或它们之间 交互作用的研究。 测量模式：g t 所讨论的测量模式有三类，包括随机测量模式、固定测量模 式、混合测量模式。测量侧面的条件样本是从观测全域中随机抽取的是随机测量模 式；测量的所有面的条件样本固定不变的是固定测量模式；同一次测量中有部分是 随机面，另一部分是固定测量侧面的是混合测量模式。 测量结构：g t 所讨论的结构有三类，包括交叉设计、嵌套设计和混合设计。 随机平行测验：g t 认为如果每次测量的所有条件样本都是来自于同一观测 全域，且样本容量一致，则称这些测验是彼此随机平行的。 2 2 概化理论的误差观 2 2 1 误差的来源 g t 认为测量误差不能粗糙地分为随机误差和系统误差o ，实际上每个测量侧面 都是系统误差的来源，而测量对象自身的稳定性以及各种因素问的交互作用均是随 机误差的来源。比如：被测对象之问水平的差异；评分者自身在不同时间给同试 题打分的差异；不同评分者在同一时间给相同试题打分的差异；同一测量内容所引 起的差异；不同的测量内容所引起的差异；其他因素。 g t 认为测量误差包括两种：相对误差万和绝对误差。相对误差是由随机误 差引起的；绝对误差是由系统误差引起的。 2 2 2 误差的控制 保证测评质量的主要方法是控制测评误差。控制测评误差的方法主要有三种： 匹配或标准化技术、随机化技术以及统计调整技术。标准化技术旨在从测量工作的 各个环节上控制测量误差，使得测量误差不会干扰被测目标群体内个体问先后顺序 。杨志明，张雷测评的概化理论及其应用【h 日北京：教育科学出版社, 2 0 0 3 年5 月 1 1 硕士擘位论文 h l a s t e r st h e s i s 的排定工作。随机化技术旨在控制测量的系统误差。统计调整技术则是把误差变量 作为模型的参数来对待，从而清楚地了解误差变量对测量目标的影响程度，以便在 一个可接受的误差范围内来解释测评结果 概化理论控制测量误差的办法主要是增加了统计调整技术，即把干扰测量分数 的无关变量或因素引入测量模型之中，然后用统计技术分别估计出这些因素或因素 之间的交互作用对测验分数的影响程度。剔出这些影响后，被试( 本论文中具体指 的是网络课程) 之间水平的真正差异便能得到非常清晰的显现，即达到了控制铡评 误差的目