单击此处编辑版副标题样式

1、1学生学业测量和评价学生学业测量和评价华东师范大学高等教育研究所所长华东师范大学高等教育研究所所长唐安国唐安国 教授教授2007.11学生学业测量和评价2本次报告分为三个部分本次报告分为三个部分教学评价的意义和职能教学评价的意义和职能1学业测量及评价学业测量及评价2思考思考3学生学业测量和评价3教学评价的意义和职能教学评价的意义和职能教学评价定义：对教学活动现教学评价定义：对教学活动现实的或潜在的价值作出判断的实的或潜在的价值作出判断的过程过程形成型评价：通过诊断教育方形成型评价：通过诊断教育方案计划、教学过程中存在的问案计划、教学过程中存在的问题，为正在进行的教育活动提题，为正在进行的教育活

2、动提供反馈信息，以促进实践中正供反馈信息，以促进实践中正在进行的教育活动质量的评价在进行的教育活动质量的评价总结型评价：在教学活动发生总结型评价：在教学活动发生后关于教育效果的判断，与分后关于教育效果的判断，与分等鉴定，作出决策相联系等鉴定，作出决策相联系价值判断是在事实判断的基础价值判断是在事实判断的基础上，根据评价人的目的、目标、上，根据评价人的目的、目标、需要和期望对客观事实作出判需要和期望对客观事实作出判断。断。价值判断的特点：客观性与主价值判断的特点：客观性与主观性的高度统一观性的高度统一学生学业测量和评价4两类教学评价对比两类教学评价对比结果性的结果性的过程性的过程性的准则准则综合

3、性的，对最后获得的综合性的，对最后获得的资料有较高度概况资料有较高度概况分析性的，不要求对评价分析性的，不要求对评价资料作高度概况，较具体资料作高度概况，较具体对评价抽象化程度要求对评价抽象化程度要求考察活动的最终效果，一考察活动的最终效果，一般在过程结束后进行，对般在过程结束后进行，对教学活动全过程的检验教学活动全过程的检验直接指向正在进行的活动，直接指向正在进行的活动，以改进教学活动为目的，以改进教学活动为目的，是在过程中进行的评价是在过程中进行的评价覆盖教育过程时间覆盖教育过程时间外部导向。评价报告主要外部导向。评价报告主要是呈交各级政策制定者，是呈交各级政策制定者，为其采取行政措施提供

4、依为其采取行政措施提供依据据内部导向。评价结果主要内部导向。评价结果主要提供给那些正在实施教学提供给那些正在实施教学活动的人参考活动的人参考评价报告的听取人评价报告的听取人作出教学效果的判断，从作出教学效果的判断，从而区分优劣，分等级或鉴而区分优劣，分等级或鉴定合格，为决策部门的决定合格，为决策部门的决策提供依据策提供依据帮助师生把注意力集中到帮助师生把注意力集中到提高教学质量上提高教学质量上目的、期望的用途和职能目的、期望的用途和职能总结型总结型（summative）形成型形成型（formative）类型类型学生学业测量和评价5学生的学业评价学生的学业评价 定义：对学生个体学定义：对学生个体

5、学业进展和行为变化的业进展和行为变化的评价评价 现代学业评价：以教现代学业评价：以教育目标为依据，衡量育目标为依据，衡量学生个体的发展是否学生个体的发展是否达到预定教育目标的达到预定教育目标的过程过程 测量工具测量工具:考试、测验考试、测验 在测量的基础上对学在测量的基础上对学生个体发展和学习效生个体发展和学习效果作出价值判断果作出价值判断学生学业测量和评价6学业评价六大步骤学业评价六大步骤随机抽样编制试卷确定和表述所考课程的教学目标编审试题结果处理实施考试取得信息评分学生学业测量和评价7步骤步骤1. 1.确定和表述所考课程的教学目标确定和表述所考课程的教学目标设计代考课程的教学目标方法有三步

6、：以较抽象的术语来表达课程设计代考课程的教学目标方法有三步：以较抽象的术语来表达课程的一般目标；将每一目标分解成内容成分与行为成分两方面；制作的一般目标；将每一目标分解成内容成分与行为成分两方面；制作双向细目表双向细目表学业评价须以一定的判断准则作为根据，这个根据即为教学目标、学业评价须以一定的判断准则作为根据，这个根据即为教学目标、教学活动和教学评价三者关系教学活动和教学评价三者关系教学目标教学目标教学活动教学活动教学评价教学评价教学目标、教学活动和教学评价三者之间的关系教学目标、教学活动和教学评价三者之间的关系学生学业测量和评价8认知领域认知领域1.00知识知识1.10特定事物1.11专门

7、术语1.12特定事实1.20处理特定事物的方法及手段1.21常规1.22趋势和顺序1.23分类和范畴1.24标准1.25方法论1.30某一学科领域中普遍原理与抽象概念1.31应用原理与概括的知识1.32关于理论与结构的知识及智力智能2.00理解理解2.10转化2.20解释2.30推断3.00应用应用3.10规则3.20方法3.30概念4.00分析分析4.10要素4.20关系4.30结构原理5.00综合综合5.10归纳个人所要表达的见解5.20拟定计划或实施规划5.30引出一套抽象关系6.00评价评价6.10根据内在证据逻辑地评价6.20根据外部标准逻辑地评价情意领域情意领域1.0接受（注意）接

8、受（注意）1.1发现1.2积极地接受1.3受控制的或有选择的注意2.0反应反应2.1按指令默认2.2积极的反应2.3满意地反映3.0价值判断价值判断3.1领会一种价值3.2选择一种价值3.3确信一种价值4.0价值的体系化价值的体系化4.1价值的概念化4.2价值体系的组织5.0一个价值或价值复合体的个性化一个价值或价值复合体的个性化5.1赋予价值观5.2赋予世界观布卢姆（布卢姆（b.j.bloomb.j.bloom）：认知领域与情意领域的教育目标分类）：认知领域与情意领域的教育目标分类转引自竹田清夫新行为主义教育方法学学生学业测量和评价9步骤步骤2 .2 .编审试题编审试题编审试题是将比较抽象的

9、教育目标具体化，使目标达到可操作编审试题是将比较抽象的教育目标具体化，使目标达到可操作构成上构成上:试题由刺激试题由刺激（给定的情景和条件）（给定的情景和条件）、反应、反应（预期的行为和反（预期的行为和反应）应）和标准和标准（提供评判依据）（提供评判依据）三部分组成三部分组成外形上：试题可分为固定应答型外形上：试题可分为固定应答型（选择题、配对题等）和自由应答型（选择题、配对题等）和自由应答型（问答题、简述题等）两类（问答题、简述题等）两类编制试题即制作测试量尺；审定考试试题则是检验所制量尺是否标准编制试题即制作测试量尺；审定考试试题则是检验所制量尺是否标准编制原则和程序：紧扣教学大纲且难易适

10、度；同一试卷统一规格编写；编制原则和程序：紧扣教学大纲且难易适度；同一试卷统一规格编写；试题用词恰当，文字简明，表义确切；避免与教材相同表述；试题各试题用词恰当，文字简明，表义确切；避免与教材相同表述；试题各自独立等自独立等试测：保证正式考试的信度、效度，并为建立常模提供依据试测：保证正式考试的信度、效度，并为建立常模提供依据 学生学业测量和评价10各类试题类型的优缺点及命题原则各类试题类型的优缺点及命题原则3.指导语要叙述清楚指导语要叙述清楚4.安排卷面要易于理安排卷面要易于理解、易于评分解、易于评分1.限于使用同质性资料限于使用同质性资料2.选项的数目要多于题干的选项的数目要多于题干的数目

11、，且不限制每个选项数目，且不限制每个选项被选择的次数被选择的次数1.仅能测量机械记忆的知识仅能测量机械记忆的知识2.若命题者不理解限于采用若命题者不理解限于采用同质性资料以及提供超量选同质性资料以及提供超量选项的重要性，则会出现暗示项的重要性，则会出现暗示1.短时间内测量大量内容短时间内测量大量内容2.可有效测量知识相关性，可有效测量知识相关性，可广泛用于不同场合可广泛用于不同场合3.较易命题较易命题配合题配合题4.避免暗示避免暗示5.只采用似是而非的只采用似是而非的迷惑答案以吸引未具迷惑答案以吸引未具有这方面知识的学生有这方面知识的学生6.避免使用避免使用“以上皆以上皆是或皆不是是或皆不是”

12、答案答案1.每道题只能测量一个重要每道题只能测量一个重要问题问题2.题干应只涉及一个明确的题干应只涉及一个明确的问题问题3.试题叙述必须简单、清晰、试题叙述必须简单、清晰、准确准确1.命题需专门技巧命题需专门技巧2.易受暗示影响易受暗示影响3.不能测量完整推理论证能不能测量完整推理论证能力、对知识的综合运用能力力、对知识的综合运用能力及表达写作能力及表达写作能力1.适用于测量各种不同层适用于测量各种不同层次学习次学习 2.试卷容量大，测量面广，试卷容量大，测量面广，信度高信度高3.利于培养判断力利于培养判断力4.评分标准统一、客观、评分标准统一、客观、准确准确 5具诊断效果具诊断效果 选择题选

13、择题固固定定应应答答型型或或选选择择型型4.不允许学生随意选不允许学生随意选择试题作答择试题作答5.应提示每题作答的应提示每题作答的时间时间1.测量较高层次的学习成果测量较高层次的学习成果2.明确而有系统的陈述问题明确而有系统的陈述问题3.避免出现含糊的一般性问避免出现含糊的一般性问句，要说明应对回答长度句，要说明应对回答长度的限制的限制1.试题取样不广且不均匀，试题取样不广且不均匀，无法有效代表学科的全部内无法有效代表学科的全部内容容2.评分主观性强，易受无关评分主观性强，易受无关因素影响因素影响1.可用于测量高层次的学可用于测量高层次的学习结果习结果2.对学生的学习态度和方对学生的学习态度

14、和方式有积极影响式有积极影响3.可培养写作能力可培养写作能力4试题编写容易试题编写容易论述题论述题4.避免可能的提示和避免可能的提示和只需机械记忆的试题只需机械记忆的试题5.“填充题型填充题型”空格不空格不要太多要太多1.一个试题只能有一个简短一个试题只能有一个简短具体的答案具体的答案2.填充的部分须是填充的部分须是“关键问关键问题题”3.要编成要编成“直接问句直接问句”形式，形式，避免猜测因素避免猜测因素1.无法考核复杂的学习结果无法考核复杂的学习结果2.记分不够客观记分不够客观1.命题容易命题容易2.受猎测的成都小受猎测的成都小简答题简答题（含填（含填充题）充题）自自由由应应答答型型或或供

15、供应应型型命题原则命题原则缺点缺点优点优点小分类小分类大大分分类类学生学业测量和评价11 试题和试卷的四个质量指标试题和试卷的四个质量指标 试题和试卷试题和试卷质量指标质量指标 信度：指同一份试卷两次或多次测试程度信度：指同一份试卷两次或多次测试程度 大致相同的考生，考试得分相符合的程度。大致相同的考生，考试得分相符合的程度。 若两次考试成绩基本一致，若两次考试成绩基本一致， 说明考试信度高，反之则低说明考试信度高，反之则低区分度：指试题能对应试者水平差区分度：指试题能对应试者水平差异的鉴别能力；区分度好的试题能异的鉴别能力；区分度好的试题能把不同水平的考生成绩区分开把不同水平的考生成绩区分开

16、难度：难度：衡量试题难易程度的质量指衡量试题难易程度的质量指标；指试题对应试者实际水平的适标；指试题对应试者实际水平的适合程度合程度 效度：指考试结果的有效程度，即用某种量具效度：指考试结果的有效程度，即用某种量具 对某一对象测得的结果与欲测的结果相符合的对某一对象测得的结果与欲测的结果相符合的 程度。某次考试效度高，意味着考试所测到的程度。某次考试效度高，意味着考试所测到的 内容恰恰是需要测试的内容；而效度低或根本内容恰恰是需要测试的内容；而效度低或根本 没有效度，说明需要测试的内容没有完全测到，没有效度，说明需要测试的内容没有完全测到， 或完全没有测到或完全没有测到学生学业测量和评价12质

17、量指标列表质量指标列表 一份试卷要求一份试卷要求p和和d呈现一个合理的分布，即不是所有试题都是高难度和高区分度，或相反。呈现一个合理的分布，即不是所有试题都是高难度和高区分度，或相反。 一份试卷的难易程度由难易程度不等的各试题组成。高和低难度试题宜各占一份试卷的难易程度由难易程度不等的各试题组成。高和低难度试题宜各占1/3 1/4,其余为一其余为一般难度的试题。区别度也如此。般难度的试题。区别度也如此。 不过，对于择优型测试，不过，对于择优型测试，d值应偏高值应偏高所谓高低分组是指考所谓高低分组是指考生在该题得分以从高生在该题得分以从高到低排序，两端各取到低排序，两端各取27%的考生组成高、的

18、考生组成高、低分组。低分组。鉴别能力好的试题，鉴别能力好的试题，d值在值在0.50.65；较；较好的在好的在0.40.5，在，在0.3以下，不宜采用以下，不宜采用积差相关计算积差相关计算法法点二列相关计点二列相关计算法算法（略）（略）d=ph pt d：区分度：区分度ph ：某题高分组的：某题高分组的通过率或答对率通过率或答对率pt ：某题低分组的：某题低分组的通过率或答对率通过率或答对率以以d表示，其值处于表示，其值处于-1至至1之间，即之间，即1 d1d=1：试题能准确鉴别应试：试题能准确鉴别应试者个体水平差异；者个体水平差异；d=0：该题无区分能力；：该题无区分能力；d= 1：考试分数与

19、应试：考试分数与应试者的实际水平相反者的实际水平相反区分度区分度试题的难易程度一般试题的难易程度一般控制在控制在p值值0.40.7之间；试题的平均难之间；试题的平均难度即度即p值控制在值控制在0.50.6之间。之间。 p值在值在0.4以下和以下和0.8以上的试以上的试题，应少用或不用题，应少用或不用选择题：选择题：p=r/np：难度值即：难度值即没有通过率没有通过率r：选错某题：选错某题正确答案人数正确答案人数n：应考人数：应考人数问答题：问答题：p=x/a p：难度值即答错率：难度值即答错率x：全体应试着的失：全体应试着的失分数的平均值分数的平均值a：该题满分值：该题满分值 常用考试中答对或

20、通过某常用考试中答对或通过某题人数在整个应试者中所题人数在整个应试者中所占的比例来表示（占的比例来表示（p）难度难度备注备注举例举例2举例举例1表示方法表示方法质量质量指标指标学生学业测量和评价13续前表续前表 不能以考试信度高低作为衡量该次考试效度的标准不能以考试信度高低作为衡量该次考试效度的标准 信度较高只表明所测到的内容较好地反映了考生的水平，但没有回答所测到的内容是否信度较高只表明所测到的内容较好地反映了考生的水平，但没有回答所测到的内容是否反映了全部要测的内容反映了全部要测的内容 一次考试的信度高仅是效度高的必要条件，而不是充分条件一次考试的信度高仅是效度高的必要条件，而不是充分条件

21、预测效度：考试在预测应试者将来从事某种学预测效度：考试在预测应试者将来从事某种学习或工作能够达到应有水平方面的有效程度。习或工作能够达到应有水平方面的有效程度。通常是求考试实得分数与能够体现考试目的的通常是求考试实得分数与能够体现考试目的的效标分数之间的相关系数。如选拔性考试效标分数之间的相关系数。如选拔性考试内容效度：测到的内容与需要测到的内容相符内容效度：测到的内容与需要测到的内容相符合程度合程度效度指一次考试结效度指一次考试结果与主试者主观愿果与主试者主观愿望的符合程度。望的符合程度。常用的两种考试效常用的两种考试效度：预测效度，内度：预测效度，内容效度容效度效度效度1.严格按照程序编制

22、试题严格按照程序编制试题和纸卷，最大限度控制施和纸卷，最大限度控制施测过程中无关因素的干扰，测过程中无关因素的干扰，如泄露试题或考场纪律差；如泄露试题或考场纪律差；2.扩大题量，降低某一试扩大题量，降低某一试题比重题比重3.总之即增加试题总之即增加试题和试卷编制的科学性和控和试卷编制的科学性和控制随机误差制随机误差折半法、再测法及等值法折半法、再测法及等值法计算一次考试等值的两部分得分以及两次计算一次考试等值的两部分得分以及两次等值考试得分之间的相关系数等值考试得分之间的相关系数信度信度提高质量指标的方法提高质量指标的方法举例举例表示方法表示方法质量指标质量指标学生学业测量和评价14步骤步骤3

23、. 3.通过随机抽样编制试卷通过随机抽样编制试卷 考试时，须从全部符合要考试时，须从全部符合要求的试题中抽取以部分作求的试题中抽取以部分作为试题为试题 抽样的两种方式：在一门抽样的两种方式：在一门课程中随机抽样；将一门课程中随机抽样；将一门课程先分解为若干单元，课程先分解为若干单元，在各单元中随机抽样。后在各单元中随机抽样。后一种方法能保证试卷有较一种方法能保证试卷有较大覆盖面大覆盖面 随机抽样的基础性工作即随机抽样的基础性工作即建立题库建立题库 即将经过筛选，符合标准即将经过筛选，符合标准的题目填卡、编目，输入的题目填卡、编目，输入计算机，便于在需要时很计算机，便于在需要时很快拼配出试卷快拼

24、配出试卷学生学业测量和评价15题库试题卡样式 题库试题卡样式（正面）题库试题卡样式（正面） 题库试题卡样式（反面）题库试题卡样式（反面）正确答案使用情况测试结果统计分析资料题库编号试题号所属学科编题目编题人试题来源试题原文：学生学业测量和评价16步骤步骤4. 4.实施考试，取得信息实施考试，取得信息制定实施考试方案制定实施考试方案印刷试卷印刷试卷设置考场设置考场施测施测阅卷评分阅卷评分分数转换分数转换编写考试分析报告编写考试分析报告统计分析统计分析实施考试的实施考试的7个基本环节如下：个基本环节如下：学生学业测量和评价17 步骤步骤5. 5.阅卷评分阅卷评分如将一次考试的原始如将一次考试的原始

25、分数转换成标准分数，分数转换成标准分数，就符合比率量表的要就符合比率量表的要求求等距、等质，具相同的零点，等距、等质，具相同的零点，因此可作四则运算因此可作四则运算比率量表比率量表变量不具有相同的零变量不具有相同的零点。数值可以作加减点。数值可以作加减运算，但不表示倍数运算，但不表示倍数关系关系具有相同计量单位（单位间的距具有相同计量单位（单位间的距离是确定的）离是确定的）间距量表间距量表只能解决同类比较重只能解决同类比较重先后次序，却不能在先后次序，却不能在不同排序之间进行加不同排序之间进行加减运算原因是位次排减运算原因是位次排序之间是不等距的序之间是不等距的如高校科研投入排序如高校科研投入

26、排序用来反映事物相对顺序关系的分用来反映事物相对顺序关系的分值来表示的一种量表值来表示的一种量表位次量表位次量表低水平的量表，但在低水平的量表，但在心理与教育测量中应心理与教育测量中应用广泛用广泛单项选择题，可供选单项选择题，可供选择的答案有四个，但择的答案有四个，但答案只按对或错两类答案只按对或错两类加以区分加以区分与分类有紧密联系，它是对被测与分类有紧密联系，它是对被测量变量仅作的定性描述量变量仅作的定性描述名义量表名义量表备注备注举例举例定义定义量表：是一种用以测量的工具量表：是一种用以测量的工具四种量表四种量表斯蒂文斯（斯蒂文斯（s.s.stevens）论测量量表论测量量表学生学业测量

27、和评价18综合使用量表综合使用量表由于不同考试科目之间的难度及考由于不同考试科目之间的难度及考试过程中各环节质量的可控程度不试过程中各环节质量的可控程度不一致，因而，对于不同科目的考试一致，因而，对于不同科目的考试而言，原始分数之间不具可比性，而言，原始分数之间不具可比性，失去了不同科目考试分数相加的条失去了不同科目考试分数相加的条件件原始分数的转换，是以常模为标准原始分数的转换，是以常模为标准参照点，把原始分数变为具有同一参照点，把原始分数变为具有同一计量单位的分数计量单位的分数标准分数表示考生的成绩在考试总标准分数表示考生的成绩在考试总体中的位置。既可以把某考生的分体中的位置。既可以把某考

28、生的分数与其他考生的分数比较，也可与数与其他考生的分数比较，也可与该生不同科目或不同考试中的分数该生不同科目或不同考试中的分数比较比较 模糊量表是名义量表模糊量表是名义量表（分类描述）（分类描述）在更高层次上的推广在更高层次上的推广由于实际测量活动的复杂性，需要由于实际测量活动的复杂性，需要依据阶段不同使用两种以上的量表依据阶段不同使用两种以上的量表学生学业测量和评价19步骤步骤6. 6.考试结果的统计分析与对策考试结果的统计分析与对策统计分析的目的：对整个考试统计分析的目的：对整个考试结果进行全面检验，获得各种结果进行全面检验，获得各种反映试题及考试质量指标的数反映试题及考试质量指标的数据，以判断考试是否可靠有效，据，以判断考试是否可靠有效，是否符合规定的考试目的。同是否符合规定的考试目的。同时找出教学过程中的薄弱环节时找出教学过程中的薄弱环节及问题，提出改进措施及问题，提出改进措施统计分析的内容：整个考试分统计分析的内容：整个考试分数的分布情况，试题和试卷难数的分布情况，试题和试卷难易程度，信度、效度是否达标易程度，信度、效度是否达标等等举例：就某门考试，分析考试举例：就某门考试，分析考试分数的分布问题分数的分布问题 汇集全班考试的原始分数；分汇集全班考试的原始分数；分组；计算组距；计算每一组的组；计算组距；计