（应用心理学专业论文）基于高考的学校增值评价研究.pdf

杭州师范大学硕士论文基于高考的学校增值评价研究 i i i ii m ii i i l l u l i i i i i i i i i i i i i i l i i i i i i i i i i y 2 13 2 4 3 9 杭州师范大学研究生学位论文独创性声明 本人声睨所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得揎丛! 竖整盘堂或其他教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：签字日期：年月日 学位论文版权使用授权书 本学位论文作者完全了解揎塑竖整盘堂有权保留并向国家有关部门或 机构送交本论享的复印件和磁盘，允许论文被查阅和借阅。本人授权揎丛l 竖 堇盘堂可以将学位论文的全部或部分内容编入有关数据库进行检索和传播， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：导师签名： 签字日期：年月 曰 签字目期：年月 日 杭州师范大学硕士论文基于高考的学校增值评价研究 致谢 本论文是在李金波导师的悉心指导和严格要求下完成的。无论是在理论学 - - j 阶段，还是在论文的选题、资料查询、开题、系统设计直至论文撰写的各个 环节都倾注了导师大量的心血和智慧。导师渊博的学识、缜密的思维、敏锐的 科研洞察力及对科学认真执着追求的进取精神，时刻激励着学生在科学研究的 道路上不断前行。三年来导师在学习、生活、思想等各方面都给予我很多的关 心和教导，值此论文完成之际，谨向尊敬的导师表示崇高的敬意和衷心感谢! 在攻读硕士学位期间，非常感谢所在学校老师和同学给予的热情支持和无 私帮助，感谢程素萍、田学红、张德玄、张敏、丁峻、张洪武、宋其争、唐世 明、傅亚强、朱小斌、周厚余、吴信伟等授课老师，正因为有你们的教导与鼓 励，才使得本篇论文写作得以顺利完成。感谢我的室友范荣寿、孙海军、杨 飞，是你们陪伴我度过了人生中一段非常有意义的时光。最后感谢父母的养育 之恩，感谢我妻子的理解支持，感谢在我学习、成长过程中所有帮助过我的 人。一页“致谢”无法完全表达我对所有帮助、关心、爱护我的人们的感激之 情，唯有以加倍的努力继续回报你们一直以来的支持、鼓励与厚爱! i i 杭州师范大学硕士论文基于高考的学校增值评价研究 摘要 学校增值评价在教育评价体系中处于非常重要的地位，它既是传统评价方 法的发展又是传统评价方法的补充。基于“发展”理念的学校增值评价更加关 注弱势学生和弱势学校，强化公平原则。一方面学校增值评价有助于教育行政 部门更加有效的评价学校，更加合理的进行教育投入，另一方面，学校能够从 学校增值评价中获得详尽概括的数据，知道优势不足，从而改进办学质量。 本研究以增值性评价理念为指导，以某省参加高考的学校数据为基础，使 用多层线性模型( h l m ) 方法，综合考虑学校和时间两层变量，构建学校增值评 价模型进行实证研究，从而达到对传统的学校评价方法加以改进的目的。研究 选取某省5 4 4 所中学2 0 0 6 年至20 10 年高考结果，采用多层线性模型( h l m ) 技 术，对单一学校、某一区域学校的效能增值情况进行评价，并对不同学校群体 之间的效能增值差异、学校原始分值排序和增值分排序的差异进行比较分析。 发现同一学校在学科、总分及不同年度上的增值表现不同；同一区域学校在学 科、总分及不同年度上的增值表现也不同；不同类型学校之间在效能增值上存 在差异，三类学校无论是在文科总分还是理科总分上都表现较差，一类学校在 理科总分和文科总分上增值表现较好；原始分排序和增值分排序明显不同。另 外，本研究通过采用多层线性模型技术来评价学校，不仅丰富了学校增值评价 理论，而且这种方法还可以在大规模考试中推广应用。 关键词：增值评价，高考，学校评价，多层线性模型 i i i a b s t r a c t s c h o o lv a l u e - a d d e da s s e s s m e n t p l a y sak e yr o l e i ne d u c a t i o ne v a l u a t i o n s y s t e m f o rt r a d i t i o n a le v a l u a t i o nm e t h o d ， i ti sb o t ha d e v e l o p m e n t a n d s u p p l e m e n t b a s e do nt h ed e v e l o p m e n tc o n c e p t ，s c h o o lv a l u e a d d e da s s e s s m e n t p a y m o r ea t t e n t i o nt ot h ed i s a d v a n t a g e ds t u d e n t sa n d s c h o o l s ，s t r e n g t h e n i n gt h ep r i n c i p l e o ff a i r n e s s s c h o o lv a l u e - a d d e da s s e s s m e n t ，o nt h eo n eh a n d ，a r eh e l p f u l t ot h e e d u c a t i o na d m i n i s t r a t i o nt oe v a l u a t es c h o o l sm o r ee f f e c t i v e l ya n d t oi n v e s te d u c a t i o n m o r er a t i o n a l l y ；o nt h eo t h e rh a n d ， s c h o o l sc a ng e td e t a i l e da n ds u m m a r yd a t af r o m s c h o o lv a l u e a d d e d a s s e s s m e n t ，k n o w i n g i t si n s u f f i c i e n t a d v a n t a g e s ，1 e n i m p r o v i n gi t se d u c a t i o n a lq u a l i t y t h i ss t u d yi su n d e rg u i d a n c eo ft h ec o n c e p ta b o u tv a l u e a d d e da s s e s s m e n t ，i n o r d e rt o e x p l o r ee v a l u a t i o nm e t h o d sa b o u ts c h o o l sw h i c ha r es c i e n t i f i ca n d o p e r a b l e ，w ec h o o s ec o l l e g ee n t r a n c ee x a m i n a t i o nr e s u l t so f5 4 4s c h o o l sf r o m2 0 0 6 t o2 010i nac e r t a i np r o v i n c e ，t oe v a l u a t et h ee f f e c t i v e n e s so fv a l u e a d d e da b o u ta c e r t a i ns c h o o la n dac e r t a i nd i s t r i c t b yh l m ，a n dc o m p a r a t i v e l ya n a l y s et h e d i f f e r e n c e so fe f f e c t i v e n e s so fv a l u e a d d e da m o n gd i f f e r e n ts c h o o lg r o u p s w ef o u n d t h a tt h es a m es c h o o ls h o w e dd i f f e r e n ta d v a n t a g e sa m o n gd i f l b r e n ts u b j e c t so rt h et o t a l s c o r eo rt h ev a l u e a d d e dp e r f o r m a n c eo fd i f f e r e n ty e a r s ；s c h o o l si nt h es a n l ea r e a a s l o p e r f o r m e dd i f f e r e n t l yi nt h es u b j e c t s ，t h et o t a ls c o r ea n dt h ev a l u e a d d e d p e r f o r m a n c eo fd i f f e r e n ty e a r s ；t h e r ea r ed i f f e r e n c e si nv a l u e a d d e dp e r f o r m a n c e a m o n g d i f f e r e n tt y p e so fs c h o o l s t h et h r e et y p es c h o o l sp e r f o r m e dw o r s ei nt o t a l s c o r eo fa r t sa n ds c i e n c ew h i l et h ef i r s tt y p es c h o o l sp e r f o r m e db e t t e ri nt o t a ls c o r eo f 跚t sa n ds c j e n c e b e s i d e s ，t h e s t u d yc a r lb o t he n r i c ht h et h e o r yo fs c h o o lp r o d u c t i v i t ye v a l u a t i o n a n db ep o p u l a r i z e di nl a r g e s c a l et e s t sf o ru s i n go fm u l t i l e v e ld e v e l o p m e n tm o d e l i n g t e c h n i q u e s k e y w o r d s ：v a l u e a d d e d a s s e s s m e n t ，c o l l e g e e n t r a n c ee x a m i n a t i o n ，s c h o o l a s s e s s m e n t ，h i e r a r c h i c a ll i n e rm o d e l i n g i v 杭州师范大学硕士论文基于高考的学校增值评价研究 基于高考的学校增值评价研究 目录 致谢ii 摘要一ii i a b str a c t i v 1 引言1 2 相关研究综述2 2 1 传统学校评价的局限和现代增值评价2 2 2 增值评价研究综述5 2 2 1 国外增值评价研究概况5 2 2 2 国内增值评价研究概况7 2 2 3 增值评价适用模型简介8 3 学校教育教学质量增值评价的实证研究1 1 3 1 数据收集与等值处理1 1 3 2 建构多层线性模型13 3 3 模型检验的分析结果1 5 3 4 增值评价结果2 1 3 4 1 对某一学校的增值评价21 3 4 2 对某一区域学校的增值评价2 2 3 4 3 不同类型学校的增值比较2 6 3 4 5 增值分与原始分评价的比较分析：3 2 4 分析与讨论3 3 4 1 结果分析33 4 2 研究的启示3 4 4 3 研究的创新和不足之处3 6 v 堕型堕垄奎兰堡主论文 基于高考的学校增值评价研究 一一一 - = ：= = ：= ： 4 3 1 研究的创新之处3 6 4 3 2 研究的不足之处3 7 5 结论3 8 参考文献：4 0 攻读研究生期间发表的论文4 4 v i 杭州师范大学硕士论文 基于高考的学校增值评价研究 1 引言 人类社会正进入一个知识化、全球化和信息化时代，知识创新和应用层出 不穷，持续不断的技术发展和由此带来的急剧社会变革使得教育面临越来越大 的冲击。世界各国各地区为谋求自身更强的竞争力和可持续性发展，竞相改革 现有教育体制以提高教育教学的质量和效能。无疑，在这轮教育改革中，学校 改革是中心环节。作为对学校办学水平起认可作用的学校评价，必定伴随着教 育和学校改革的发展而发展。学校评价要真正对教育改革起到反馈、促进的作 用，就必须做到公正、公平。只有公正公平的学校评价，才能真正调动学校的 积极性，正确认识自身的差距，不断改进自身的问题。同时科学合理的学校评 价也是促进教育公平的有力手段。传统的学校评价不管学校的办学水平和学生 的入学成绩，仅以一次考试成绩的及格率、优秀率、升学率来评价学校和教 师，致使学校和教师热衷于抢生源，编重点班，严重地破坏了教育的公平性。 如何在学校评价中较全面地考虑学生学习的影响因素成为当前我国教育评价急 需解决的问题。由于学校之间存在着诸多差异，我们的学校评价应该建立一个 多层次、多角度、立体化的科学评价体系，而不是单一的、静止的、平面的评 价( 赖小琴，2 0 0 9 ) 。但实际上，我们目前的学校评价过于单一，用同一个标 准对所有的学校进行衡量，完全不考虑学校之间的差别，而且在评价过程中完 全是目标导向的，完全忽视学校的发展过程。这样的学校评价不利于多层次、 多纬度人才的培养，既浪费了学校和社会资源，不利于社会效率，也使学校的 发展蒙上了阴影。学校评价的最终目的不是让所有学校都达到一定的标准，而 是让每个学校能够认识到自己的个性发展之路，让各类学校能够合作交流，实 现共同发展，而不是让所有的学校都在同一标准下划分为三六九等。以往的学 校评价难以解决以上问题，因此学校增值性评价理念应时而生。学校增值评价 作为一种新的评价方法，正是克服了当今学校评价中只重视学生或者学校一次 考试的原始成绩来论成败的弊端，真正体现客观公正、科学合理的评价原则， 能够充分发挥教育评价对于教育教学工作的推动作用。增值性学校评价以可持 续发展理念为依据，它的价值追求就是促进学校在一般发展基础上实现特色 1 杭州师范大学硕士论文 基于高考的学校增值评价研究 化、个性化发展，强调“一校一标”，用“多把尺子”衡量不同的学校， 以实现评价标准从“给定性” 向 “可选择性”的转变。增值性评价认为在 学校共性的基础上，应该更多地关注学校的个性和差异性，以引导学校在原 有基础上避开短处，发展优势，逐步形成自己的办学风格和办学特色( 周卫 勇，2 0 10 ) 。“增值性学校评价”是传统规范的划一标准的超越。“增值”是 指事物不断发展的状态和具备的不断向前的趋势。在教育评价中，当前利用学 业分数来评价学校在我国符合国情且认可度较高( 卢立涛，2 0 10 ) 。但单纯的 从录取率和升学率来评价学校，却有失偏颇，有的学校学生生源素质好，高的 升学率并不能全面反映一个学校的师资力量，办学水平。这就要求，要比以往 具有更加精细的方法来考察学业分数，并能够用这些学业分数来挖掘更多的学 校评价信息。鉴于高考社会影响大，涉及面广，高考试题具有更高的效度和信 度，本研究以发展增值性评价理念为指导，以某省参加高考的学校数据为基 础，使用多层线性模型( h l m ) 方法，综合考虑学校和时间两层变量，构建学 校增值评价模型进行实证研究，从而达到对传统的学校评价方法加以改进的目 的。本研究中的学校增值评价不再是以学校高考原始平均分的进步幅度来评价 学校，而是以高考连续几年的学校平均成绩为基础，综合考虑时间和学校两层 变量的影响，构建学校年度效能增值评价模型。下一年的学校高考平均值和理 论平均值的差额和前一年的学校高考平均值和理论平均值的差额，两个差额之 间的差值就可以看做是学校在每年成绩的真实增值额，并且作为学校效能评价 相对高低的指标。差额大于零，学校进步程度高；差额小于零，学校进步程度 低。通过这种方式以期达到对不同学校进行相对公平的学校评价。 2 相关研究综述 2 1 传统学校评价的局限和现代增值评价 学校评价是指依据一定的价值取向和规则，对学校的办学条件、办学质量 和办学效能进行的学校价值的评判活动。学校评价作为一种手段，其目的在于 杭卅币范大学硕士论文 基于高考的学校增值评价研究 通过诊断、纠偏、反馈等功能的发挥以促进学校后续行为的科学和有效，从而 使学校教育活动更好的满足学生和社会的需要。世界各国、各地区以及经济合 作- 9 发展组织( o e c d ) 、欧盟统计中心( e u r o s t a t ) 、国际教育成就评 估协会( 1 e a ) 等国际性组织都研究和制定了学校的发展性评价方案。o e c d 的教育专家们综合影响学校发展的主要要素，提出了一套评估学校的指标框架 ( 陆璨，20 10 ) 。教育部考试中心从2 0 0 6 年开始成功实施了学生能力国际评 价p i s a 中国研究试测项目，目的就是实践、掌握、借鉴p i s a 先进的评价理论 和技术，全面提高符合中国国情的大规模教育评价标系( 王蕾，2 0 0 9 ) 。从全 球的学校评价实践来看，学校评价的深入首先来自于教育改革的深入。在大的 社会变革的社会环境下，学校变革来源于两个方向，一个是强调市场化，强调 竞争，重视成本和效益，资源在这种情况下自然就会流向较为成功的学校和学 生；另一方面，政府通过考试能力标准，教师评价等措施，加强学校管理，调 节资源分配，保障学校教学质量。随着以校为本理念的深入，世界各国越来越 强调学校本身自我前进的动力，注重学校在发展中进步和自我调节( 田莉， 2 0 0 9 ) 。在这种理念指引下，传统的评价方式自然产生了急遽的变化。传统的 学校评价以一次分数论成败，完全无视学校本来具有的差别。传统的学校评价 过于单一，用同一标准对所有学校进行衡量。与此相对应的是传统的学校评价 方法，这种评价方法只是简单的描述统计以及常用的多元回归分析。这种方法 对多层嵌套结构完全无能为力，因而不能够把学校的差别区分开来。然而学校 活动的差异性决定了针对学校活动的研究都是多水平、多层次的数据结构。例 如在常见的学校研究中就具有层次结构，首先是有关学生本人的变量，例如性 别、年龄；其次是一组学生的变量，例如所在班级的大小、男女生比例等。班级 又隶属于学校，学校又镶嵌于学区，如此组合就形成一个金字塔一样的层次结 构。在此，学生代表了数据结构的第一层，而班级或者学校则代表了数据结构 的第二层。这些数据一般具有四种结构。第一种结构，各组学生的平均水平与 好中差学生的比例没有明显的差异。第二种结构，各组学生的组内水平结构相 似。如果把各组学生按好、中、差分类，分别作组与组之间的对比，那么三类 学生水平差距的程度相似，但组间平均水平差异较大。第三种结构，各组学生 的平均水平相似，但各组内学生的水平结构差别很大。第四种结构，各组学生 的平均水平和各组学生的水平结构差别都很大。传统分析方法如回归分析和方 气 杭州师范大学硕士论文 基于高考的学校增值评价研究 差分析只能对一层数据进行分析，而对两层或三层以上数据就不能综合分析。 在这一过程中传统的分析方法往往会这样去处理：不考虑高一层级水平因素的 影响，直接把来自不同组的数据合并，在低层级水平( 如学生) 上进行回归分 析，完全不考虑高一层级的数据，以其获得对第一层级水平整体的了解。另外 一种方法是直接把组水平的一个特征作为第一层级水平的一个特征带到回归方 程中来，该做法由于把同一组的数据纳入第一层级( 如学生) 水平时对该组的 学生重复使用，则当组水平的数据差异极小或为零时，分析不容易得出结论。 基于组水平的分析( 班级或学校) ，把学生水平的数据以平均值的形式带到高一 层的分析中，仅考虑组水平因素特征对学生成绩的影响。由于该做法丢掉了组 内的信息，反映各组成绩差异的标准差不能被纳入到方程中进行分析，常使得 取样不足，统计分析的结果不可靠。例如在第一层级是学生，第二层级是学校 的研究中，许多研究的对象是学生而不是学校，而把学生的行为纳入到学校的 层级时，由于学习是学生的行为，不是由学校完成的，所得结果不利于对现实 情况的解释。人类社会活动中的层级现象是普遍存在的，在综合研究中人为的 去除这些层级差别显然是不科学的( 陈钦勇，2 0 0 3 ) 。这些层级差别不仅包括 生源、人力资源、财力、物力的差别，还包括社会关系、政府支持力度、信息 资源、社区资源的差别等等。忽略了学校先天条件差别的学校评价，显然是不 公正的。现代学校评价理念强调学校的唯一性和个性( 卢立涛，2 0 1 0 ) ，评价 应该区分开每个学校的先天差别，从发展的角度来评价学校。增值评价 ( v a l u e a d d e da s s e s s m e n t ) 技术正是这种能够区分学校条件的一种新的综合性评 价技术。增值评价的理论认为由于拥有资源和条件的不同，通常的用考试的一 次结果来评价学生、教师、学校和学区是不科学的。一方面对于学生，应坚持 “以人为本”，让每个学生都在自身的起点上获得进步。另一方面，对于学 校、学区乃至整个教育系统来说，不能因为高考的升学率低而对学校采取歧视 态度，而应该让学生和学校基于自我比较而取得与他们能力相吻合的进步( 王 蕾，2 0 1 0 ) 。科学的进步往往是方法上的突破，正如传统的研究方法对应是传 统的评价方法和理念，多层次模型为增值性评价提供了方法上保证和可能。近 三十年来，多层次模型逐渐成熟起来，被用于增值评价分析，极大的推动了学 校增值评价的研究。有学者认为，多水平的增值评价模型就学校层面的测量评 价而言，是目前最科学、最可行、最准确的学校增值评价测量工具。增值评价 4 杭州i 师范大学硕士论文 基于高考的学校增值评价研究 具有很多优点，首先在于它的综合性。通常，学校增值评价具有常见的几个内 容，如学校的整体效能水平，不同学科间学校增值评价的差异，不同区域间学 校增值评价的差异，不同群体之间的学校增值评价差异等等。其次，增值评价 不仅仅是学术领域的热点，还有很强的应用性。教育部门、学校、教师都可以 使用增值评价方法对相应的地区、学校、班级、学生进行增值评价，其结果可 以给课程、教学内容、学校软硬件、教育管理提供有意义的参考。 2 增值评价研究综述 2 2 1 国外增值评价研究概况 现代增值性评价首先兴起于欧美国家( w i l l i a m ；s a n d e r s ，1 9 9 3 ) 大致可 以分为三个独立的阶段：第一阶段，从20 世纪6 0 年代到7 0 初，为起源阶段； 第二阶段，整个7 0 年代，为初级发展阶段，这一阶段较为关注过程变量；第三 阶段，大约从8 0 年代末期至今，为深入发展阶段，这一时期的重要特点是，对 过程变量的控制，以及对教学实践的干预；同时学校增值研究开始探讨学校背 景因素的影响，并采用高级统计方法( 刘在花，2 0 0 6 ) 。 第一阶段：最早的工作来源于c o l e m a n ( 1 9 6 6 ) ，j e n c k s ( 1 9 7 2 ) 以及其他 一些人。c o l e m a n 受美国国会的委托对几千所学校进行调查研究，他的研究发 现学校对学生学业成绩的影响非常微小，认为家庭社会经济背景以及邻居对学 生学业表现的影响超过了学校的影响。这引发了对学校作用的大范围的谈论， 即学校究竟给予学生带来了什么，什么样的学校才是有效率的学校。这是有史 可查的公认的学校增值评价的开端。j e n c k s 研究了在相同的经济背景情况下， 不同的班级规模，师生比对学生学校成绩的影响。他的研究也发现学生学校成 绩只有1o 可以归于学校的影响。这一时期的特点是从经济角度来解释学校增 值效能，但由于没有考虑学校水平变量对学生成绩的影响，单纯的从经济学模 式来考虑，可能低估了学校的作用。 杭州师范大学硕士论文 基于高考的学校增值评价研究 第二阶段：这一阶段一开始就是伴随着对第一阶段的质疑，针对c o l e m a n 等在调查研究时未引入学校变量，r u t t e r ( 1 9 7 9 ) 等研究者把学校变量做为自变 量，实验范式为“输入一过程一输出”。研究者选取社会经济地位很低的被试， 然后通过控制学校变量的变化，来描述学生的成绩的发展变化。通过这种方 法，不仅能够设计学习成绩，还可以包含态度和行为等指标。这一时期的大量 研究认为学校能对学生产生积极而有效的影响。e d m o n d s ( 1 9 7 9 ) 通过研究发现学 校有五项因素对学生具有重要影响：校长领导能力，学校是否贯彻“以学生为 中心”，良好的学习环境，学生对成绩的期望高低，是否使用考试成绩作为激 励手段。 第三阶段：在这一阶段是对第二阶段的模式进行了改进，一方面一些学者 不再满足仅仅描述实验结果，而是希望在实践中创建有效学校。另一方面一些 学者( m o r t i m o r e ，19 8 8 ；g o l d s t e i n ，19 9 6 ；t h o m a s & m o r t i m o r e ，19 9 7 ) 研究发现， 学生在学校里的表现结果很大一部分来源于学生进入学校时的不同。对学校的 影响在以前的研究中未被完全分离出来。t h o m a s & m o r t i m o r e ( 1 9 9 6 ) 报告在高 中毕业( t h eg e n e r a lc e r t i f i c a t i o no fs e c o n d a r ye d u c a t i o n ( g c s e ) ) 的学业表现 中，学生的内部行为的7 0 - 7 5 能被学校变量所解释。更为重要的是即使那些 不能被解释的学生行为表现也或多或少和学校有着相关。很少学者否认学校在 学生表现上的影响，但本质的问题是如何有效地获取这些极为重要的学校表 现。政府政策的趋势关注的学校的原始成绩分数，而忽视了学校的环境以及学 校录取学生的区别。这些不合理之处自然不仅受到了教育一线工作者也受到了 来自学术研究者的抨击，不考虑学校差别却对高考原始分数的评价可能是不合 适的并且导致错误的理解( m c p h e r s o n ，1 9 9 2 ) 。d e s m o n dn u t t a l l ( 1 9 9 0 ) 就认为学校 唯一能够被公平正义的的评价来源于它对学生或好或坏的影响，而不是那些在 录取之前就已存在的不同。没有经过分析的原始成绩数据只能回答这样的问题： “我的儿子女儿在学校表现如何”，却不能回答学校表现如何，不能回答班级 和学校的学习和教学效果如何。尤其值得一提的是a i t k i n & l o n g f o n d ( 1 9 8 6 ) 首次 运用多层模型分析方法对学校有效性进行评价，开创了运用多层线形模型对学 校进行增值评价的先河。紧接其后，w i l l m s ( 1 9 8 7 ) 也利用多层模型对学区、 学校和学生进行了综合性增值研究。“增值”是对学生发展的测量，是一个比 6 杭州师范大学硕士论文基于高考的学校增值评价研究 仅仅的一次考试结果更好的指示器，能更好地对学生或者学校潜能进行测定 ( a n d r e w s ，2 0 0 6 ) 。h e r s h b e r g ( 2 0 0 5 ) 认为如果把增值评价方式作为一个综 合学校改革模式的基础，那么这种增值评价方法将会成为提升所有学生成绩的 关键。相对于直接用原始成绩来评价学校，增值评价很好的区分出哪些是学校 施加的影响，哪些不是，从而真实的起到了对学校进行评估的作用。由于研究 方法有了显著的突破，增值评价受到了学者的追捧。同时各国政府也发现这是 行之有效的评价手段，欧洲以及世界各国的决策者对此给予了更多的关注，希 望进一步开展系统性的学校与教师评估和自我评估工作，以改善教育实践，进 而提升教育水平、教育竞争力和教育表现( 王家美，2 0 0 9 ) 。由经济合作与发 展组参q ( o e c d ) 主导的教育系统国际指标项目( i n e s ) ，对此也表现出巨大的兴 趣，也正考虑将“增值”( v a l u ea d d e d ) 力- 法纳入国际教育指标系统，以便使国 家间的教育质量方面能够进行互相比较。英国将增值评价指标作为一项重要的 创新性指标加入到现有的学校评价指标体系中( r e y n o l d s ，1 9 9 2 ) 。研究者使用 “增值”这一名词，表示学校所加诸学生身上，使其学习成绩超过一般期望成 绩的额外部分( 英 萨丽托马斯，20 0 5 ) 。而多层分析方法使得增值理念得以完 全能够实践，b r a s i n g t o n ( 2 0 0 6 ) ；h a u r i n ( 2 0 0 6 ) ；h a l la n dn o y e s ( 2 0 0 9 ) 都 在相关研究中大力推广使用多层分析方法进行增值评价。 2 2 2 国内增值评价研究概况 我国香港地区学校增值评价研究起源于上世纪8 0 年代。1 9 8 6 年郑燕祥教 授利用当地6 4 所中学资料对学校效能、校长领导风格及组织气氛的关系作了研 究。1 9 9 4 年，郑燕祥对“香港初等学校的教学质量：指标和组织要素”进行了 实证研究。同年，l e s l i e l o 博士完成“香港中等学校效能调查”。20 0 2 年，他 发表学校效能与校本管理：一种发展的机制。书中指出应该以动态的观点 理解学校效能及校本管理的复杂性，以建立追求学校发展及增值的管理机制。 我国大陆自上个世纪改革开放以来，就开始了办学水平和教学评价的研 究。9 0 年代初，我国学者孙锦涛( 1 9 9 4 ) 作为研究学者就参加了美国等十几个 国家举办的“国际效能增值评价研究”。2 0 0 2 年姚利民教授在综述国外研究发 现的基础上，提出了有效学校的几个特点：管理的有效性，学校环境和学校氛 7 杭州师范大学硕士论文基于高考的学校增值评价研究 围，对教学和学习的重视程度；教学的有效性；共识与合作，能否准确评价和 及时反馈。边玉芳，林志红( 2 0 0 7 ) 以某市1 万多名学生及其所在的几十个学 校作为样本，运用学生的高考和中考数据，构建了基于学生和学校变量的多水 平线性模型( h l m ) ，来进行学校效能的增值评价。研究发现学校的基本条件 和中考成绩是影响高考成绩重要的因素，学校增值评价和单纯高考分数评价存 在重要差异。 但总的来说，目前国内的学校增值性评价的研究成果和著作文章还很少， 且大多是在介绍国外的研究或者进行初步的探索，进行实证研究的少之有少。 我国的增值评价还属于起步、摸索阶段，有待于研究者进行深入的实践研究。 本研究就是基于国内外学者的研究成果，结合实际情况，对学校增值性评 价做实证性研究。本研究以“输入一过程一输出”的增值评价模式展开，但又不 同与以往的增值评价模式。以往的增值评价模式：“输入”的是学生的特征变 量和初始水平，通过学校的教育( 含有背景变量) “过程”，获得输出：学生 的高考成绩增值效应。而本研究的评价模式却是：“输入”的是学校的平均成 绩，“过程”是时间变量，结果“输出”为学校的平均成绩增值效应。以往的 研究着重纵向研究，通常是用中考的成绩作为起点，高考成绩作为终点，利用 增值性评价模式分离出学校的作用，从而达到对每个学校自身进步的解释。本 研究虽然也是一种纵向研究，却是通过对几个年度学校平均成绩的建模，来达 到认识每个学校在年度变化中的进步程度。 2 2 3 增值评价适用模型简介 多层线性模型 可以毫不夸张的说，多层线性模型发展的历史就是伴随着增值评价模型发 展的历史。最初的增值评价是使用传统的评价方法来做的，即多元回归分析， 如使用学生的成绩作为因变量，用观察到的学校和学生的特征因素作为自变 量，建立回归方程，然后使用实际分数和预测分数来进行比较( 张煜， 1 9 9 7 ) 。这种方法相对简单，易于理解，但是这种方法的弊端就是不能把两层 变量放在一起综合考虑。在统计原理上就是当个体变量x 和y 取样于自然存在 8 杭州师范大学硕士论文 基于高考的学校增值评价研究 的小组( 例如班级、学校及其他的固有群体单位) 时，他们之间的相关反映了 两个方面的因素，其一是个体水平的相关，其二是组间的协变异，即x 组间变 异受到y 组间变异的影响程度。由于这两层因素的影响，在观察结果中，x 与y 的实际相关程度就可能被夸大。在这种情况下，如果我们给方程加入一个与x 与y 有关的组变量，x 与y 之间的相关就可能会大大减小。多元回归分析就会 把数据集中起来，使其仅仅在第二层的组间发挥作用，其结果是丢失了重要的 个体层数据信息。如果组的特性与在个体层上的所观察到的x 与y 没有什么关 系，那么集中后的x 与y 之间的相关就可能是零。由于以上分析可能达不到研 究目的。数据分析的演化过程自然就指向所谓的“组内分析组间分析” ( w i t h i n a n a l y s i sb e t w e e na n a l y s i s ，w a b a ) 。其逻辑原理很简单，当数据反映了两层或 多层的信息时，为什么我们仅仅只分析一层? 多层线性分析模型为解决“组内 分析组间分析”提供了科学的方法。组内分析组间分析对数据进行三次计算： 一是在组内的个体层进行分析，称为组内效应( w i t h i n g r o u pe f f e c t ) ；二是通过 平均或整合第一层中的个体数据，得到第二层的组间数据，在这一层的分析称 为组间分析( b e t w e e n g r o u pe f f e c t ) ；最后忽视组的特性而对所有数据进行概 括总结，称为总体效应( t o t a l e f f e c t ) 。在前面所举的例子中，当x 和y 取样的 个体都镶嵌于自然存在的组内时，组内相关( w i t h i n - g r o u pc o r r e l a t i o n ) 就是要 计算x 和y 在每一组内的相关，然后求它们的平均值。计算组内相关的另外一 种方法就是计算每一个个体的离差分数( 相对于组平均数的离差) ，然后计算 离差分数之间的相关。组间相关( b e t w e e n g r o u pc o r r e l a t i o n ) 是用组的平均值求 相关，但这种计算要求组的规模大小相同，否则，要得到精确的结果就应该进 行加权处理。总体相关( t o t a lc o r r e l a t i o n ) 则是在个体样本上求相关，即完金忽 略组的存在。接下来，把这三个相关系数可以转化为f i s h e r z 分数，以便能够 进行显著性检验，比较它们之间的差异。多层线性模型的参数估计方法与进行 两次回归的方法在概念上是相似的，但是它们的统计估计和验证方法是不同 的，并且多层线性模型的参数估计方法更为稳定。多层分析模型能够考虑层级 结构，把学生、学校、地区等纳入到同一模型，比较精良，具有很强的说服力 和解释力，当然这种方法要求的统计知识更高。多层模型在综合研究中运用极 为广泛，它不仅能够进行连续变量的分析，还能进行非连续变量的分析，如李 雪燕等( 2 0 0 6 ) 对二分数据进行的分析；不仅能够进行传统回归分析还能进行 o 杭州师范大学硕士论文 基于高考的学校增值评价研究 潜变量分析，如刘红云( 2 0 0 8 ) 把多层模型运用到项目反应理论中，方杰 ( 19 9 9 ) 将多层模型和结构方程模型进行了结合。 多层线性模型的运算原理 普通最小二乘回归( o r d i n a r yl e a s ts q u a r e s ，o l s ) 的方程如下： y | = j b a + p 、x l 七r l 其中， 成是截距，或者说是当x 等于0 时的y 值； 屈是线性回归系数，或者说是随x 的单位变化而引起的y 的变化； i 是残差，其假设为：( 1 ) 正态分布，i ，n ( 0 ，0 - 2 ) ；( 2 ) i 是相互独立 的，即c o v ( r ；，r j ) = 0 ，其中，i j ；( 3 ) i 的方差恒定，即v a r ( ，；) = 矿，0 - 2 为 一常数；( 4 ) i 与因变量无关，即c o v ( r i ，y i ) = o 。 多层线性模型的基本形式包括三个公式： y i j = p b j + | b 、j x i j 七l j z o j2r o q 七 lo j 届j = o + 1 其中， 下标i 代表的是第一层的单元； 下标j 代表的是第一层的个体所隶属的第二层的单元； 和。分别是属和层的平均值，并且它们在第二层单位之间是恒定的， 是屈，和屈，的固定成分；。，和，分别是屁，和届的随机部分，它们代表第 二层单位之间的变异。 比较上面两个公式可以发现，多层线性模型比普通的回归分析多出两个方 程，即斜率和截矩的回归方程。通过这种设计就可以把层级变量分离出来。普 通回归方程中的关于残差的假设意味着y 是从某个总体中随机取样的。但是， 在对y 进行取样时，如果个体是属于自然存在的第二层单位，比如学生是镶嵌 于班级或者学校，并且某些学校的变量被认为会对y 产生影响，那么残差就不 1 0 杭州师范大学硕士论文基于高考的学校增值评价研究 能满足上述这些假设。在这种情况下，多层线性模型才是正确解决这一问题的 统计模型。 多层线性模型的参数估计 与大多数采用普通最小二乘估计( o l s ) 的线性分析估计不同，多层线性 模型所使用的参数估计法是收缩估计。一部分是利用第一层变量及其理论进行 的参数估计，第二部分是利用第二层变量及其理论进行的参数估计。入这一信 度概念与测量中使用的信度意义相似。传统测量学中的信度是指真分数方差与 观测分数方差的比率。多层模型的信度指的是参数估计的信度和精确度，是一 个统计值。信度“入”代表的是第一层单位上的参数估计的变异有多大比例是 由于第二层单位的“真实”差异( 或真正组的差异) 造成的，而不是估计错误 造成的。可以表达为“真参数方差与参数估计方差的比率”，其中参数估计方 差为“真参数方差+ 估计误差方差”。因为模型中凶r l x 体的截距和回归系数是利用 样本通过估计方法估计出来的，所以在估计的过程中就存在估计误差( 张雷， 20 0 3 ) 。 3 学校教育教学质量增值评价的实证研究 1 数据收集与等值处理 高考作为一种大规模入学考试，其每年所使用的试卷和所面对的考生是不 同的，因此，为使年份之间的分数具有可比性，就需要将数据转换到同一单位 系统中，即对分数进行等值化处理。由于本研究以学校作为基本单位，每年高 考的学校基本相同，学校的平均得分分布应该是相似的。因此可以用线性等值 方法对不同年份间的学校平均得分进行等值转换( 刘晓瑜，1 9 9 7 ) 。线性等值 的基本原理就是把两年的学校平均得分分别标准化( 即都转变为均值为0 ，方差 为1 的分布) 之后，如果两个标准分数相同，就认为两个原始分数是等值的。因 此，对于某年份的学校平均得分x 和另一年份学校平均得分y ，首先将其转化 为标准分，由于标准分相等，即： 杭州师范大学硕士论文基于高考的学校增值评价研究 x x y v 一= = 二二二 s zs v 由该公式就可以计算与x 等值的y 值： y ：歹+ ( x 一；) 旦 s x 即可以将学校平均得分y 转换为与x 等值的得分。 选取某省在2 0 0 6 - 2 0 1 0 年连续参与高考的5 4 4 所学校作为样本，抽取样本 学校考生的2 0 0 6 - 2 0 1 0 年语文、数学、英语三门学科的高考数据。计算每所学 校每年语文、数学( 分文科和理科) 、英语每门学科的平均分，以及语文、数 学、英语三门学科总分的平均分( 分文科和理科) 。然后以2 0 0 6 年学校平均得 分作为参照分，运用线性等值方法将2 0 0 7 年以后的平均得分进行等值转换。 下面以语文成绩等值转换示例如下： 表1 学校语文原始平均成绩表 首先将原始成绩在同一年度进行标准化，结果见表2 表2 语文成绩标准成绩表 算出所有学校