（教育技术学专业论文）主成分及因子分析法在试卷分析中的应用研究.pdf

主成分及因子分析法在试卷分析中的应用研究 中文摘要 考试结果的统计与分析既是现代考试流程中的一个重要步骤，也是促进考试走向科 学化、规范化必不可少的手段。通过对考试结果的分析与利用，开发建立严格的考试 质量控制措施，并及时发现考试中的问题，不仅对考试本身具有现实意义，而且对推进 教育的改革与发展也具有重大的推动作用。 本文以辽宁省2 0 0 6 年9 月份国家计算机等级考试二级( 简称n c r e 或国二) v i s u a l f o x p r o 的部分原始数据为研究对象，在试卷调查研究的基础上。运用经典测试理论研究 并分析试卷的合理性和科学性。从教育统计和教育测量学的角度出发，通过选择平均分、 标准差、协方差、相关系数、偏度系数、峰度系数、各分数段考生人数、试题难度、试 题区分度、试卷信度1 0 项参数指标实现对试卷的分析和评价，归纳总结了考试质量分 析的教育测量学指标，以探讨试卷命题成功的经验与存在的不足之处，寻求解决不足的 方法和途径，提高各类考试的试卷质量。 同时结合国家等级考试的特点，重点采用多元统计分析方法中主成分分析及因子分 析法，借助主成分分析方法构造综合指标对学生主成分得分进行分析，得出每个学生 在各知识点掌握水平及综合能力的相关指数，以此分析出每个学生在该学科的优势和不 足，作为改进和提高学习成绩的重要参考指标。同时，利用主成分及因子分析方法确定 试卷中各试题知识点的重要性，引导教师在日后的教学中加强权重较大的知识点的讲 授，同时教师也可以把这些知识点作为单独考察指标来检验学生的学习情况，以更好的 为教学服务。 通过运用教育测量学、教育统计学，经典测试理论和多元统计分析理论，并结合功 能强大的统计分析软件s p s s 对实测得到的原始数据进行收集、处理及分析，获得不同 知识点在试卷中的载荷以及反映考生在该学科知识点掌握倩况的对比分析和综合能力 排序的各种数据，为进一步完善和提高日后教学成果及效率提供科学依据。 关键词：试卷分析，主成分分析，因子分析，经典测试理论 t h e a p p l i e dr e s e a r c ho fp r i n c i p a lc o m p o n e n t s a n d f a c t o ra n a l y t i cm e t h o di ne x a m i n a t i o np a p e ra n a l y s i s t h et e s tr e s u l ts t a t i s t i c sa n dt h ea n a l y s i sn o to n l ya r ei nam o d e r nt e s tf l o wi m p o r t a n t s t e p ，a l s oi st h es c i e n t i f i cs t y l e ，w h i c hi st h es t a n d a r d i z e de s s e n t i a lm e t h o dt h a tp r o m o t e s t h et e s t t om o v et o w a r d s b ya n a l y z i n ga n du s i n gt h et e s tr e s u l t , d e v e l o p i n g , e s t a b l i s h i n g t h es t r i c tt e s tq n a l i t yc o n t r o lm e a s u r e ，p r o m p t l yd i s c o v e r i n gt e s tq u e s t i o n , n o to n l yh a st h e s i g n i f i c a n c et ot h et e s ti t s e l f ，a l s ot ot h ee d u c a t i o nr e f o r ma n dd e v e l o p m e n t t h i sp a p e rt a k e sl i a o n i n gp r o v i n c ei ns e p t e m b e r , 2 0 0 6t h en a t i o n a lc o m p u t e rr a n k t w ol e v e l so ft e s t sv i s u a lf o x p r o ( i e n c r eo rc o u n t r yt w o ) s e g m e n t a lt h er e s u l ta st h e o b j e c to fs t u d y o nt h ef o u n d a t i o no fi n v e s t i g a t i n ga n ds t u d y i n gt h ee x a m i n a t i o np a p e r , t h e p a p e rt h a tu t i l i z e s c l a s s i c st e s tt h e o r yr e l a t e dt e s tq u e s t i o nd i f f i c u l t y , a r e ai n d e x i n ga n d e x a m i n a t i o np a p e rv a l i d i t y , l e t t e rp r i n c i p l e ，a n a l y s e sa n dr e s e a r c h e se x a m i n a t i o np a p e r r e s u l t , w h i c hc h o o s e st h ea v e r a g e ，t h es t a n d a r dd e v i a t i o n ，t h ec o v a r i a n c e ，c o r r e l a t i o n c o e f f i c i e n t , s k e w n e s sc o e f f i c i e n t ，k u r t o s i sc o e f f i c i e n t , v 甜o u ss c o r e ss e c t i o ne x a m i n e e n u m b e r , t e s tq u e s t i o nd i f f i c u l t y , t e s tq u e s t i o na r e ai n d e x i n g , e x a m i n a t i o np a p e rl e t t e r , t h e s e 1 0p a r a m e t e r st or e a l i z ee x a m i n a t i o np a p e ra n a l y s i sa n da p p r a i s a l ，i no r d e rt od i s c u s e st h e s u c c e s s f u le x p e r i e n c ea n dt h ee x i s t e n c ed e f i c i e n c y , s e e km e t h o da n dw a yw h i c hs o l u t et h e i n s u f f i c i e n ta n d n s h m m a t c | e n h a n c et h ec o m p u t e rr a n kt e s tt h ee x a m i n a t i o np a p e r q u a l i t y s i m u l t a n e o u s l yi t u n i f i e st h ec h a r a c t e r i s t i co ft h en a t i o n a lr a n kt e s t , u s i n gw i t h e m p h a s i st h ep r i n c i p a lc o m p o n e n t sa n a l y s i sa n dt h ef a c t o ra n a l y s i sm e t h o dt h a tt w oo f t h e ma r ci n c l u d c di nt h em u l t i d i m e n s i o n a ls t a t i s t i c a la n a l y s i sm e t h o d , c a r r i y i n go nt h e p r i n c i p a lc o m p o n e n t sa n a l y s i s m e t h o dt os t r u c t u r es y n t h e t i c a li n d e xt h a ta n a l y z st h e s t u d e n tp r i n c i p a lc o m p o n e n t ss r c o b t a i n i n gc o r r e l a t i v ei n d e xo fe a c hs t u d e n ti nv a r i o u s k n o w l e d g eg r a s p i n gl e v e la n dt h es y n t h e s i z i n gc a p a c i t y , i no r d e rt oa n a l y z es u p e r i o r i t ya n d t h ei n s u f f i c i e n c yo fe a c hs t u d e n tb yt h i si nt h i sd i s c i p l i n e ，t a k i n gi ta st h ei m p o r t a n ti l o r m f o rr e f e r e n c ef o ri m p r o v i n ga n de n h a n c i n gr e c o r d a tt h es a m et i m e ，u s i n gp r i n c i p a l c o m p o n e n t sa n di nt h ef a c t o ra n a l y s i sm e t h o dt od e t e r m i n et h ei m p o r t a n c eo fk n o w l e d g ei n 2 t h ee x a m i n a t i o np a p e r , w h i c hw i l lg u i d et h et e a c h e rt os t r e n g t h e nw e i g h tb i gk n o w l e d g ei n t h ef u t u r et e a c h i n gt e a c h i n g , s i m u l t a n e o u s l yt h et e a c h e ra l s om i g h te x a m i n es t u d e n t ss t u d y s i t u a t i o na sa l o n ei n s p e c t i n gt a r g e t , s oa st ot a k eb e t t e rs e r v et ot h et e a c h i n g t h r o u g hu t i l i z i n ge d u c a t i o nt e s t i n g , e d u c a t i o n a ls t a t i s t i c s ，c l a s s i c a lt e s tt h e o r ya n d t h em u l t i - d i m e n s i o n a ls t a t i s t i c a la n a l y s i st h e o r y , a n du n i f m gs t a t i s t i c a la n a l y s i ss o f t w a r e s p s st h a ti sf o r m i d a b l ef u n c t i o nt ot h ep r i m a r yd a t aw h i c hi sa c t u a lo b t a i n e dt oc a r r yo i t h ec o l l e c t i o n , p r o c e s s i n ga n dt h ea n a l y s i s ，o b t a i n i n gs o r to fv a r i o u so fd a t at h a ti st h e d i f f e r e n tk n o w l e d g el o a di nt h ee x a n j l _ i n a t i o np a p e ra sw e l la sc o n t r a s ta n a l y s i so ft h e k n o w l e d g eg r a s p i n gs i t u a t i o na n dt h es o r to fs y n t h e s i z i n gc a p a c i t yo fe x a m i n e ei n t h i s d i s c i p l i n e f o rc o n s u m m a t i n ga n de n h a n c e i n gt e a c h i n ga c h i e v e m e n ta n dt h ee f f i c i e n c y p r o v i d e st h es c i e n t i f i cb a s i si nt h ef u t u r e k e yw o r d s ：e x a m i n a t i o np a p e ra n a l y s i s ，p r i n c i p a lc o m p o n e n t s a n a l y s i s ，f a c t o ra n a l y s i s ，c l a s s i c st e s tt h e o r y 3 主成分及因子分析法在试卷分析中的应用研究 一、试卷分析的目的和意义 引言 从广义上讲，考试的目的是为了获取信息，并将信息反馈到有关方面，只有很好地 把握了考试的信息反馈机制，才能正确地了解整个教学系统的运行状况，并有效地调节 和改善这个系统的整体功能。一次考试带给我们的信息，绝不仅仅是堆分数，而信息的 反馈，也不只是把分数通知给考生那么简单。考试质量分析与评价是科学考试的必要环 节，缺少了这一环节，就等于没有完成考试。从某种角度来讲，这些信息比考试成绩更 重要。因此，做好考试结果的统计分析意义重大，具体表现在以下几个方面： ( 一)评价考试的质量 对于教师和命题、组卷人员，特别是主考部门的领导，在组织一次考试之际，首先 应该考虑的是：作为此次考试测量工具的试卷是否可靠而有效。因此，往往在组织一次 大型的重要学业考试之后，一般都要对考试的信度、效度等方面做分析，以判断此次考 试的质量。只有有效而可靠的考试，其结果( 成绩) 才能作为评价教学质量或衡量个人学 习情况的依据。 ( 二)进一步做好今后的考试工作 首先，它能够为改进考试设计，使之更符合考生的实际提供重要信息。初次考试设 计，往往带有很大的主观性，通过考后的试卷分析，检查当初的设计思想与考生实际符 合程度，是减少考试设计中主观随意性的主要方法。其次，通过对考生答卷情况的分析， 评价试卷和每道试题的质量，从而为命题提供依据，不断提高命题的技能、技巧，有助 于提高考试的信度、效度和题库的建立和完善。此外，作为考试管理部门还可以对评卷、 违纪作弊情况等工作进行检查，有利于考试组织管理等工作。同时为不断改进管理手段、 深化考试改革提供了有力的支持，为宏观决策提供充分而有力的科学依据。 ( 三)改进教学工作 通过试卷分析，教师、培养单位可以了解考生的学习状况，找出带有普遍性的问题， 还可以进一步分析这些问题是属于教师教的问题，还是属于学生学的问题或是试题本身 的质量问题等等，并及时在教学中加以反馈与矫正，从而不断改进教学工作。 二、试卷分析的历史与现状 ( 一) 试卷分析的历史回顾 1 教育测量理论得到了飞速的发展 主成分及因子分析法在试卷分析中的应用研究 2 0 世纪初，随着心理测量理论的发展，教育测量也迅速兴起，出现了生机勃勃的局 面。e l t h o m d i k 。在1 9 0 4 年出版了心理与社会测量导论介绍了统计方法和测量编 制的基本原理，标志着教育测量与教育统计的诞生。到了2 0 年代，教育测量进入了迅速 发展的时期，4 0 年代达到高峰，5 0 年代以后转向稳步发展阶段，此前称为经典教育测量 理论( c l a s s i c a lt e s tt h e o r yc 兀1 发展时期【l j 。但由于c t t 理论的局限性，使它的实际应用 范围受到一定的限制。从6 0 年代开始，随着项目反应理论( i t e m r e s p o n s e t h e o r y , i r t ) 、 概化理论、潜在特质理论的问世，现代教育测量理论开始登场。 近年来，以项目反应理论为基础的计算机自适应性测验( c o m p u t e r i z e da d a p t e d t e s t i n g , c 卸已引起广泛的注意，有人开始将c a t 用于分数的解释和比较。对基于i r t 理 论的r a s c h 模型的研究自6 0 年代以来一直是教育测量学研究的特点。由于r a s c h 模型的成 功，大大刺激了科研人员的热情，针对各种不同场合的概率模型不断提出并大量应用于 教育实践。其中最著名的是r a s c h 模型推广的双参数和三参数l o g i s t i c 模型。更多参数的 l o g i s t i e 模型( 如四参数l o 西s t i c 模型) 也被提了出来。根据这些模型理论编制成的计算机 软件( 如l o g i s t , b i l o g ) 亦大量地投入使用。但在经典的和现代的教育测量和评价理论 中，由于存在“主观因素”，从而影响评价的公正性和客观性。基于s p a 的分析表明： 集对分析由于对系统中的不确定性采用“客观承认的态度，同时引进一个既确定又不确 定的联系度表达式，来开展具体的工作因此在教育测量与评价中有广泛的应用。 此外，目前国内外统计界对于非参数回归模型的理论也有比较深刻的研究，面对浩 繁的测量评估数据，如何对它进行深加工，以揭示深层次的问题，把握它们的共性与个 性，l a w t o n 等人第一次提出一种既能反映共性又能反映个性的自建模回归模型 ( s e l f - m o d e l i r i 醇e g r e s s i o n , s e m o r ) ，k n e i p 等就模型识别问题作了深入探讨，并提出迭代 算法，k n e i p 等又对此模型进行了改进。尽管i r t 理论具有经典测试理论所不具有的优越 性：如采用了独立于样本的被试和项目参数定义，而且特别提出了项目信息函数与测验 函数的概念，用测验目标信息函数来指导测验的编制。这两个特点对于考试是非常有价 值的。但是，只考虑测验目标信息函数而不结合其他非计量指标，如内容和题型的占分 比例等，也是不能很好适应教育测验的现实需要的。如何将两者有机结合，国外从8 0 年 代起开始了一系列研究。在我国，1 9 1 7 年后也开始了教育测量的研究，解放后照用了苏 联凯洛夫的一套，标准化被当作资产阶级的货色被否定，直到1 9 7 8 年以后才又开始了教 育测量的研究。北师大测量研究组运用经典测试理论对1 9 7 8 到1 9 8 1 年高考进行了一系列 的分析，对高等学校入学考试提出了建设性的意见【2 j 随着高考制度的逐步完善，运用教 育测量的方法对高考命题、施测、评分、录取的科学化分析取得了积极的进展。其测评 的方法也日趋多样化、系统化。自9 0 年代初期开始，全国大学英语四、六级考试委员会 【1 1 张敏强，教育测量学c 岫第一版，北京：人民教育m 版社，1 9 9 7 1 0 - 1 4 【2 】万勇于全训传统测验理论与项目反应理论 j ：山东师大学报( 自然科学版) 1 9 9 1 5 ( 3 ) ：4 2 - 4 6 2 主成分及因子分析法在试卷分析中的应用研究 一直致力于项目反应理论和机助自适应测验的研究。目前项目反应理论已成功地用于 c e t 分数等值处理过程中。当前，测量理论跟心理学实质理论，计量模型与认知模型的 相互结合，是新世纪测量理论发展的重要方向。在教育测量理论的指导下，现代考试在 测量理论、命题策略、统计分析等方面有了质的飞跃。 2 考试结果的统计分析理论与方法日益完善和深化 统计和分析贯穿于整个考试过程，是联系其他环节的纽带。其在教育测量中的广泛 应用使得测量分数的解释更加全面、细致且客观。因此，一些教育发达的国家的考试机 构对此给予了足够的重视，并已进行了多年研究，取得了长足进展和良好效果，现已形 成了一整套完整的统计分析理论和方法，建立了比较成熟的分析模型。这些理论、方法 和模型得到了社会的认可，并在许多考试中得到了应用。例如今天美国的高等学校入学 考试( s 矧、研究生资格考试( g r e ) 、托福考试( t o f e l ) 等考试之所以保持良好的稳定 性，试卷质量统计分析起到了至关重要的作用。考试结果的统计分析研究是高校教学评 估的重要组成部分，8 0 年代以来国内己有深入的理论研究，并在选拔性考试中实际运用 多年。如何正确评价试卷的质量，许多研究者对试卷考核质量的综合评价进行了大量的 尝试：有研究者采用系统工程中的t o p s i s ( 即多指标综合评定) 方法来评价试卷质量， 但未能解决试卷内容覆盖的问题；用秩和比( p s a ) 法分析试题质量，但数据转换时会丧 失一些信息：还有应用s p 表、f - s p 表评价法、3 d 参数法、五数值法等对试卷进行综合 分析，其推广价值有待于进一步研究。然而，各考试结果的分析理论、方法和模型，应 根据考试的性质、任务、目的和对象来确定，甚至还需要根据各种考试的特征和目的对 统计分析方法和模型进行改造，以适应本考试的需求。总之，对考试结果的综合评价尚 无一致的方法，分析指标视计算方法不同而不同，尚未形成一套简便的分析方法和分析 指标，因此值得深入地研究。 3 计算机技术的发展大大提高了统计分析的效率 对考试结果的统计和分析，可以挖掘出很多有价值的数据，它们有助于实现考试的 科学化。然而考试质量分析是一项复杂而繁琐的工作，如今，计算机技术的飞速发展和 分析软件不断完善大大减少了统计工作量，提高了效率，也为实现测验的科学化提供了 重要的技术手段。使用计算机软件进行统计分析，不仅速度快，而且准确性也高，减少 了很多无关因素的影响，是考试统计分析模式走向成熟的重要标志。目前，国内外许多 考试机构都建立了适合自己的考试结果分析系统。我们应该充分利用这一便利条件，尽 快改变命题、考试只凭经验和感觉的现状，逐步实现考试的科学化及其管理的科学化。 ( 二) 目前试卷分析存在的问题 目前试卷分析所采用的大多数是经典测试理论( e r r ) ，经典测试理论是以效度，信 3 主成分及因子分析法在试卷分析中的应用研究 度。区分度等统计特征量为中心的测试理论。经典测试理论的主要问题是这些统计特征 量与被测试的样本数据有关。被测试的样本不同，求得的统计特征量的数值也不同，即 统计特征量的数值与被测试对象有关，这显然是不合理的。而项目反应理论( i t e m r e s p o n s et h e o r y ) 是针对经典测试理论的不足提出的一种新的测试理论，其最大的有点 是项目参数的估计与被测试的样本无关，即测试中的各种项目参数与被测试对象无关。 尽管c r r 有如此缺点，但是在i r t 出现后的四十余年，在中国未见广泛流行。 在心理与教育测量中，仍以c 】广r 为基础进行大量心理测验，收集、评价各项目， 心理测量关于项目分析的教学部分也仍以c r r 为主，这是因为项目反应理论在对参数 进行估计时，需要复杂的运算，用于参数估计的样本数较多，这给参数估计带来了很大 的困难，人工计算是不可能的，计算机软件得到了一展所长之处。但由于各种软件有一 定局限性，此外i r t 强调以数学模型为核心，模型的数学公式复杂，令大多数人望而生 畏，心理学工作者并没有统计学家那样丰富的数学知识，要理解它们是比较困难的，应 用的可能性也就大大降低了。 上述常用的两种测试理论都有自己的特点和不足，多元统计分析方法从暂新的角度 开辟了对试卷进行综合分析评价的道路。在试卷分析过程中会发现一套考卷各试题之问 总是具有一定的相关性，即每个试题题目知识点( 考点) 之间的相关性，同时反映在每 个考生的试题得分上，由于题目多加上题目之间有一定的相关性，势必增加了试卷分析 的复杂性从众多数据中很难抓住主要规律，更难以对主体的性质做出准确评价。因此， 最好能设计出一个或少数几个综合指标，并利用它们来达到分析的目的。这些综合指标 应能够尽可能更多地反映原始指标的信息，而且彼此又相互独立。主成分分析法及因子 分析就是这样一些将多个指标组合成较少个综合指标的统计方法。 主成分分析的基本思想是设法将要研究的变量重新组合成一组新的互相无关的几 个综合变量来代替原来的变量，同时根据实际需要从中可取几个较少的综合变量尽可能 多的反映原来变量的信息。该方法通过特征向量的方差贡献率来表示变量的作用，可避 免在系统分析中对权重的主观判断，权重的分配更合理，尽可能地减少重叠信息的不良 影响，克服变量之间的多重相关性，使系统分析化，为试卷分析提供一个崭新的角度， 也各类考试试卷分析提供了进一步探讨的可能，同时为经典测试理论和项目反应理论提 供了补充，多元统计分析法有着良好的发展空间和前景。 三、本文的主要目标与研究方法 ( 一) 研究内容 本研究分两项内容：其一，应用比较分析的方法，以教育信息处理理论为基础对目 前测试理论进行分析，运用经典测试理论对辽宁省2 0 0 6 年9 n 份国家计算机等级考试二 4 级v i s u a lf o x p r o 试卷进行试卷分析；其二，着重应用主成分与因子分析方法对辽宁省 2 0 0 6 年9 月份国家计算机等级考试二级陋u a lf o x p r o ) 试卷进行试卷分析。 ( 二) 研究目的： 1 经典测试理论在试卷分析中的应用 2 主成分与因子分析法在试卷分析中的应用 ( 三) 方法及技术： 1 文献调研法 2 抽样调查法 3 数据库技术 4 软件技术 ( 四) 研究结果： 1 通过运用经典测试理论对试卷，试题质量做分析，深刻认识并得出结论：评定试卷 的质量有多项指标，每项指标只能反映试卷在某一侧面的优劣，要全面地评价试卷，必 须综合考虑试卷的各项质量指标。而且，不同的学科有不同的要求，应具体科目具体分 析。 2 通过主成分及因子分析法在试卷分析中的应用，明确多元统计分析在试卷分析、学 生评价中的重要作用。 5 主成分及因子分析法在试卷分析中的应用研究 第一章试卷分析的理论基础 一、教育信息及教育信息处理 ( 一) 教育信息的定义 简单地讲，通过信息可以告诉我们某件事情，可以使我们增加一定的知识。英语中 的信息是“i n f o r m a t i o n ”，表示信息可以让受者产生某种形式的变化，这种变化可以让受 者从认识上的不完全、不理解、不确定变为完全、理解和确定。教育系统主要研究人的 内部，或人与人之间所发生的信息。教育系统的这些特点，为教育系统的分析，教育系 统中的信息处理带来了很大的困难，它也决定了教育信息的基本特点【”。 1 量度水平低 教育过程中的某些信息，例如学习成绩，学生身高、体重等量度水平较高，处理也 较为容易。然而，教育过程中的许多信息，例如学习课程、教学方法等，大多量度水平 较低，处理较为困难。此外，例如，对问题的反应、学习的爱好等，多是一些反映个人 思想、意志的信息，它与个人的思想模式、思维特点、认知水平有关，对于这些信息的 描述、处理十分困难。 2 教育数据多是一些小样本的数据 教育数据中，有些涉及较大的范围，例如一个学校，其数据量较大，样本数据较多， 可有效地利用数理统计的方法进行处理。而实际的教学过程中，往往仅涉及一个班，由 于样本较少，它给数据的统计处理带来了很大的困难。 3 注重个体数据的分析 教育过程中，往往还要注重某些学生个体的分析，分析某个学生的个体特性，分析 某个学生个体在集团教学中的位置。教育改革中，我们强调学生的个性化学习。对学生 个体数据的分析，可为个性化学习提供重要的信息，实现有效的个别指导。 4 教育信息多是一些模糊信息 以教育测试时学生的应答为例，对于学生的错误应答，可能有多种情况，有近似正 确的误答，也有完全不能理解问题的应答。对于各种误答，要设置一个误答的标准是十 分困难的。教育信息的这种模糊性与教育系统是一种包含人在内的复杂系统是密切相关 的。另如学生对知识的理解和教师对学生的理解、对学生掌握知识的判断都是一些模糊 信息。 ( 二) 教育信息处理的对象及方法 例傅德荣，章息敏教育信息处理 北京师范大学出版社2 0 0 1 年版第1 4 页 6 主成分及因子分析法在试卷分析中的应用研究 l - 教育信息处理的对象 教学活动是学校教育中最重要、最基本的活动。教育信息处理所讨论的对象仅涉及 教学活动中的有关信息。教学活动的基本周期是教学的： 设计展开评价 ti ( 1 ) 有关测试的教育信息 测试往往与评价联系在一起，是评价的一个重要组成部分。测试可用于学习结果的 评价，也可用于学习过程的完善。测试结果除包括尺度水平较高的测试得分外，还包括 尺度水平较低的应答信息。测试得分可利用一般的统计方法进行处理。作为多重选择问 题的应答信息的尺度水平很低，我们可采用s - p 表分析、i r s 分析的方法进行处理。通 过对测试结果的分析，教师可以了解学生对于知识的掌握程度，从而可以为下一步指导 学生提供信息，促进了学习过程的完善。 ( 2 ) 有关教学过程的教育信息 教学是一种教师与学生间的信息交流。教学过程中的各种信息是教育信息中的一个 重要类别。以教学过程中的各种信息及其交流作为研究对象的分析方法称之为教学分 析。教学分析中，将教师的行为、学生的行为进行分类，通过对这些行为类型的迁移和 行为内容的分析实现教学过程的分析。 ( 3 ) 有关学习目标和教材分析的教育信息 学习目标是教学设计的起点，又是教学评价的根据，它在教学中占有重要的位置。 学习目标的制定、学习目标的分析是教学过程设计的重要根据。教材是一种信息源，对 教材的分析主要是教材的结构分析，通常有逻辑分析法和i s m 分析法。 ( 4 ) 有关传递过程的教育信息 教学过程不仅要考虑教学内容，更要考虑这些内容以怎样的过程传递给学生。在此 过程中，构成教学系统的各要素间所进行的信息传递、信息交流、相互作用是十分重要 的。为了有效地实现各种信息的传递，应对教学过程中所传递的各种信息进行分析和处 理，以实现教学过程的有效控制。教学分析、g s r 反应分析是分析这类信息的重要方法。 ( 5 ) 有关学习环境的教育信息 教学过程中，需要使用包括黑板、文字、o h p 、电视、计算机等各种媒体，并以各 种媒体呈现、传递各种教育信息。各种媒体是教学的重要环境和资源，对这些环境，资 源及其传递信息的分析、处理，可获得最佳的教学效果。 2 教育信息处理的方法 ( 1 ) 加强与其他学科的交流 教育信息处理是一种跨多门学科的综合性学科领域。它涉及教育学、心理学、认知 科学、信息科学等多门学科的研究。教育信息处理应努力与这些学科进行交流，学习他 主成分及因子分析法在试卷分析中的应用研究 们的思想、方法，学习它们的理论、技术，努力地完善自己，在实践的基础上，确立自 己的理论和方法。 ( 2 ) 从行为向认知变换 在教育信息处理时，不仅要注意教学过程中的各种行为，更要注意产生这种行为的 思想，产生这种行为的认知过程。作为教育信息处理的方法，应将对行为表现的分析、 处理，逐渐转换为对人们内在认知特点、认知过程的分析、处理，即从行为向认知变换。 在教学过程的设计、教材的构成、教学模式的决定中，教师的教育思想、教学观点、认 知特点起到重要的作用。在对有关的教育信息分析、处理中，应从认知的观点上进行分 析和处理。 ( 3 ) 从集团向个体变换 教育的发展，不仅要求我们注重集团( 班级) 的教育，更要注意学生的个性发展。教 育信息处理不仅要注重集团，例如：学校、年级、班的有关信息的处理，更应注重学生 个体信息的处理，例如，某个学生学习过程的分析，学生个体与班级关系的研究等。这 种变换有利于学习个性化的研究和实施。 ( 4 ) 数量化向结构化变换 许多信息处理，往往只注重数量化程度较高的信息处理( 当然这种信息处理较为容 易) ，而忽视了数量化程度较低的信息，在这种信息中，往往具有较明显的结构化特点。 教育信息处理中，应根据教育信息的特点，将注重数量化的处理变换为注重结构化的处 理。 ( 三) 试卷分析与教育信息处理的关系 前面提到过教育信息中的第一类信息是关测试的教育信息，试卷成绩就是其中一 种。与其它教育信息比较试卷得分具有量度较高，清晰等特点，易于比较分析。因此根 据测试信息的特点和处理的目的，可选择合适的数学方法，实现教育信息的有效处理。 主要的方法有： 1 信息理论法 教学过程是一种信息过程，以信息理论来研究教学过程是教育信息处理的重要内容。 以信息理论作为指导，通过信息量的计算，可实现教学过程的有效研究。 2 系统分析法 在很多情况下，教学系统是一种定性系统，我们可利用系统科学中有关定性系统的 分析方法，以图作为工具，对这种系统的结构进行分析。 3 模糊数学法 教育信息往往是一种模糊信息，利用模糊教学的方法可对这种信息进行处理。 4 数理统计法 8 主成分及因子分析法在试卷分析中的应用研究 教学实践中，更多地使用数理统计的方法对教育信息进行处理。最为常用的就是多 元分析法( 教育系统是一个多变量系统，为了研究和评价这种系统，使用单变量法，即 一个一个变量单独地进行分析、处理存在着很多问题，需要我们对这多个变量综合地进 行分析、处理) 例如，当一次测试结束后，要计算得分的平均值，偏差，要计算各门课 程的相关系数，要做出得分的分布。数理统计是教育信息处理中使用得最为广泛的一种 数学方法。为了说明教育信息处理中各种数学方法的应用情况及其发展趋势，我们借用 日本教育工学杂志自1 9 7 6 年创刊到1 9 9 6 年共2 0 年间发表的论文中使用各种数学 方法的累计表( 表卜1 ) 进行说明。 数学方法1 9 7 6 1 9 8 61 9 8 6 1 9 9 6 多元分析 2 73 3 相关分析 。 73 因子分析7i 2 聚类分析42 判别分析2 0 数量化i i l 类 2i 主成分分析 21 多元回归 l2 数量化i 类12 数量化i l 类l 3 分敢分析 07 统计检测 2 41 8 t 检测 1 2i o 工：检测 84 f 检测34 k s 检测 l0 图论 1 22 0 时序列分析 1 26 分析的应用 43 回归分析 32 非线性晟小二乘法 ll 信息理论53 熵函数 32 熵模型 l0 m cll 模糊理论2 7 贝叶斯统计 2 l 项目反应理论 o4 总数8 89 6 表1 - 1 数学方法累计表 9 主成分及因子分析法在试卷分析中的应用研究 从统计的结果可以看出，使用多元分析的论文居于首位，第一个1 0 年为2 7 篇。约 占总数的3 0 7 。第二个l o 年为3 3 篇，约占总数的3 4 4 。从使用的情况看，呈上 升的趋势。由于教育信息的结构化和模糊性，使用图论和模糊理论对教育信息进行分析 和处理受到了人们的高度重视，教育技术的各种论文中，图论、模糊理论得到了广泛的 应用，二者之和，在第一个1 0 年为1 4 篇，约占总数的1 6 ，在第二个1 0 年有了很大 程度的增加，猛增到2 7 篇，约占总数的2 8 纠“。 二、常用测试理论概述 在对教育测量的不断研究中，其测量理论也有了很大的发展。这里我们主要就常用 的经典测试理论、项目反应理论进行简单的介绍。 ( 一) 经典测试理论( ctt ) 以真分数理论为代表的经典测试理论是一种具有很强生命力和广阔应用前景的测 量理论，它的特点之一就是各种测验的参数须从考生样本中求出，其理论基础是真分数 模型。所谓真分数，其数学上的定义为：测量上被试的真分数是观测分数( 或说测量实 得分数) 的期望值。从信息论的观点出发，可对真分数作出定性的解释：任何一组信息 都包含有真正的信息信号和无关的信号( 噪音) 。真分数理论认为心理和教育测量所得的 测量值，即观测分数，是真分数和误差的和，在假定误差分数与真分数相互独立，在多 次大量重复时呈正态分布。在此基本模型基础上形成了有关测量信度、效度和试题分析 的一整套理论及统计分析方法。 虽然现在经典测试理论依然起着不可忽视的作用，然而经典测试理论也己经逐渐显 示出局限性，这主要集中在经典测试理论的题目参数( 如难度、区分度等) 、真实分数的 估计值、信度等指标的变异性。它们过分依赖于被试样本，这给测验的编制和结果的解 释带来了困难，尝试新的不随样本变化而变化的题目参数等指标成为探索新的测验理论 的动力。 ( 二) 项目反应理论( irt ) 作为现代测量理论主要代表的项目反应理论是建立在潜在特质理论基础之上的，它 所描述的考生和测验题目之间的关系与经典测试理论是完全不同的。在项目反应理论 中，“项目特性曲线”是项目反应理论的一个中心概念。所谓“项目特性曲线”就是表 征被试的能力或特质水平与其对一个测验项目的正确反应概率之间关系的二维曲线图， 所有关于项目反应理论的研究工作，诸如各类项目反应模型的提出以及相应参数的估计 【4 1 傅德荣，章惠敏教育信息处理) 北京师范大学出版社2 0 0 1 年版，第2 5 2 6 页 1 0 主成分及因子分析法在试卷分析中的应用研究 方法等，都可以看成是围绕这一中心概念而展开的。项目反应理论的基本假设主要有三 种：单维性假设、局部独立性假设、项目特性曲线假设。项目反应模型较多，不同的项 目特性曲线假设对应着不同的项目反应模型。l o g i s t i c 三参数模型是应用最广泛的模型 之一，它认为某考生答对某一个试题的概率p ( 即对该项目的反应) 是与其能力、试题的 区分度、难度和猜测度( 参数分别为0 、a 、b 、c ) 有关，e ( o ) = c + 云面。项目 反应理论具有经典测试理论所不具有的优越性：如采用了独立于样本的被试和项目参数 定义，而且特别提出了项目信息函数与测验函数的概念，用测验目标信息函数来指导测 验的编制。这两个特点对于考试是非常有价值的。 项目反应理论是计算机自适应测验的基本理论。计算机自适应测验从题库的建设到 测题的选择再到最后的评分，都是以项目反应理论为指导进行的。但是，项目反应理论 也存在局限与不足：1 、对数学模型与实侧数据的拟和要求较高。2 、项目反应理论是一 维性假设，是对任何数学模型的共同假设，这是因为测验编制者都希望提高测验分数的 可解释性。但到目前为止，尚没有一种能验证一维性假设的方法。 综上所述，经典测试理论是测量的最基本的理论，虽然一些现代理论模式较多，但 它仍是目前应用最广泛的理论，可以看出各种理论的利与弊兼容并蓄，企图用某一理论 完全替代所有理论是不可能的，各种理论并存，在相互作用、相互促进中不断巩固完善。 本文的重点将放在基于经典测试理论的国家计算机等级二级考试v i s u a lf o x p r o 结果的 分析研究上。 三、多元分析的基本原理 面对错综复杂的教育现象，教育工作者总希望从中找到影响其存在发展的若干主要 因素，以便能尽快抓住主要矛盾，使对问题的处理更加有效和简便。主成分分析和因子 分析正是寻找主因素的一种有力工具。 ( 一) 主成分分析 1 主成分分析法的基本原理 。 设p 个进行综合评价的原始指标：毛、而、毛，并假定这些指标在以个对象 之问进行比较，则共有印个数据，主成分分析的初始目标是要将这些原始指标组合成 新的相互独立的综合指标弗、y 2 y ，这些综合指标表现为原始指标的线性函数： 叠 - ，l l 葺+ z 1 2 x 2 + + p 。乞l 五十屯2 k + + 乞，( 1 - 1 、 - + f p 如+ + 0 可简记为：只一2 4 , x ( f = 1 、2 p j = i 、2 - - p ) 式中，指标咒互不相关。因为 1 1 主成分及因子分析法在试卷分析中的应用研究 每个新指标y ；都是原始指标的线性组合，都是一个新指标。实际上，主成分分析是将p 个原始指标的总方差分解为p 个不相关的综合指标y ；的方差之和 + 九+ + 九而且使 第一个综合指标兄的方差达到最大( 贡献率最大) ；第二个综合指标y i 的方差达到第二 大，以此类推，一般前面几个综合指标乃、y 2 y ，( r p ) ，即可包括总方差中的绝大 部分信息。我们称它们为原始指标的第一，第二，第r 个主成分。即：主成分分析法 可以使原始指标的大部分方差“集中”于少数几个主成分上，通过对这几个主成分的分 析，实现对总体的综合评价。 2 计算步骤 一般可以分为以下几个主要步骤： ( 1 ) 列出指标数据矩阵x 。 ( 2 ) 计算x 的协方差( 或相关系数) 矩阵s 。 ( 3 ) 计算协方差矩阵s ( 或相关矩阵r ) 的特征值九和特征向量l ( a p 指标x 的系数) 。 ( 4 ) 计算贡献率和累计贡献率，并据以确定主成分( 即综合指标m ) 的个数，建立主成分 方程。 ( 5 ) 解释各主成分的意义，并将各单位的原始数据代入方程中，计算综合评价值进行分 析比较。 ( - - ) 因子分析 因子