教育心理学12学习结果的评价与测量ppt课件

教育心理学 第十二章 学习结果的测量与评价,本章学习目标,定义测量、测评和评价 指出测验与其他测量工具的区别 指出信度和效度的区别 定义档案袋 定义真实测验 什么是常模参照测验与标准参照测验 测验选择的原则 评定测量信度的方法 效度的类型有哪些 说明客观测验与主观测验 对传统测验的革新,测量和评价,测量指收集信息，并用数字表示的过程。 如表示距离，我们用3米，5公里，1光年。表示时间，用15秒，30分钟等。 测评是包含测量的更大的概念。即它要用数字表示，还要形成判断和决策。前者是指测量（measurement），后者指评价（evaluation）。 测量的结果是测评的依据，测评过程就是依据测量的结果，对学生的反应行为及其原因进行分析和评价。 测量、测评和测验这三个过程解决了不同的问题：测量是用量化资料来描述学生的学习情况；测评是根据量化的资料作出判断。测验(test)是指测量的活动或工具。,常模参照测验与标准参照测验,常模是指有代表性的被试样本在测验上的分数模式。大多数的测验常模就用平均数和标准差来描述。 常模参照性测验（ Norm-referenced test ）是将测验分数参照常模加以解释，也就是将每一个人的分数同团体中的其他人进行比较，这是一种相对的比较。 标准参照性测验（ Criterion-referenced testing ）是将测验结果同事先规定的标准进行比较，对被试个体的分数作出解释。,测验的类型,2. 情感测验 Affective Instruments,3. 投射测验 Projective Instruments,1. 认知测验 Cognitive Instruments,认知测验,测验学生在学业方面达到的程度。 学业成绩测验 （achievement tests） 能力测验 （aptitude tests）,测验的选择,2. 需要具体哪种测验,1. 需要哪种类型的测验,3. 对测验分析、比较,4. 选择最好的测验,测验选择的原则,2. 要有最好的效度,1. 要有最好的信度,3. 施测、计分、解释分数方便,4. 被测者没有做过该测验,测验的施测,2. 确保良好的测验环境,1. 事先做好安排,3. 准备所有可能的费用,一个好的测验的两个特性,1. 效度：指能否测出所要测量内容的程度。 Validity: the degree to which the instrument measures what it purports to measure。 2. 信度：指测验的一致性程度。 Reliability: the degree to which the instrument consistently measures what it purports to measure。,评定测量信度的方法,重测信度Test-retest reliability 等值复本信度Equivalent forms reliability 内部一致信度Internal reliability 折半信度/分半信度Split-half method 评分者信度（inter-scorer ）Inter-rater reliability,重测信度/再测信度 （test-retest reliability）,用同一种测验，对同一组受试者，前后施测两次，再根据受试者两次测验分数计算其相关系数，即得再测信度。 两次测验分数的误差变异主要来自测验条件和受试者身心状况的改变。再测信度高，说明分数受被试状况和测验情境变化的影响小。 初测与再测的间隔最好不超过 6 个月。,等值复本信度 (equivalent forms reliability),任何测验只是所有可能题目中的一份取样，所以编制许多平行的等值测验，叫做复本。 等值：题目内容，数量，形式，难度，区分度，指导语，时限，所用的例题、公式，测验的其他方面都应该相同或相似。 一种测验有两个以上的复本，根据一群受试者接受两个复本测验的得分计算相关系数，即得等值复本信度。 两个等值测验可同时连续施测或相距一段时间分两次施测。,折半信度/分半信度 (split-half method),折半信度是在测试以后对测验项目按奇项、偶项或其他标准分成两半，分别记分，以两半分数之间的相关系数作为信度系数。 折半信度split-half reliability 斯皮尔曼布朗公式Spearman-Brown correction formula 。,内部一致信度 (internal consistent reliability),构成测验的各测题间的相互关系，即测验内部一致性。 不是题目内容或形式的一致，是指分数的一致。 测验的各个题目得分有较高的正相关，不论题目内容和形式如何，测验的内部一致性高。 测验题目看来好象一致，但相关为零或复值，测验的内部一致性低。 内部一致性的测量： 库德理查森（ Kuder-Richardson ）公式20 克劳伯克（ Cronbacks Alpha ） 系数,评分者信度 (inter-scorer /inter-rater reliability),心理测验一般都有一套标准化的评分程序，采用客观性题目，由评分引起的误差变异是可以忽略的。 对一些无法完全客观记分的测验来说，评分者之间的变异会带来误差。 如创造性思维测验，人格测量投射测验。 方法：随机抽取相当份数的试卷，由两位评分者按记分规则分别给分。然后根据每份试卷的两个分数计算其相关系数，即得评分者信度。 评分者之间平均一致性达到 .90以上，才认为评分是客观的。,效度类型,2. 效标关联效度 Criterion-related validity,3. 构思效度 Construct validity,1. 内容效度 Content validity,内容效度：指测验项目在多大程度上表示了所要测定的特征范畴。 要决定学生某一学科学的怎样，首先要知道学科的内容是什么？如果把学科内容理解为是有知识和技能组成的话，学业成就测验就是编制一些项目，这些项目是所覆盖的全部知识和技能的一系列样本。,内容效度,例：,“电”这个单元包括的主题有： 导体（10%），电阻（5%），电流（20%）、电极（10%），电磁（5%）、电解质（20%），绝缘材料（15%）发电方法（15%）。 编制这部分学业成就测验，就要按比例编制测验项目。如果能按比例编制，你所编项目是所覆盖内容的样本，那么具有内容效度。,预测效度（predictive validity）指测验分数对于未来的行为或作业测量能够预测得多么好。如用学习能力测验预测大学生的平均成绩。这种预测的准确性的指标就是测验的效度。 与预测效度有关的最重要方面是标准，因而又称为效标关联效度。,效标关联效度,构思效度:涉及的是一个测验所测量的心理特质或属性。 构思效度就是要检验是不是测量了人们提出的理论构思。 如智力测验的编制。理论认为：智力随年龄而增长；与学业成绩密切相关；智商相对稳定；受遗传影响。如果测验的分数随年龄而增加；智力与学业成绩有正相关，智商在一定时间保持相对稳定，同卵双生子的智力的相关高于一般兄弟姐妹，这些材料成为肯定测验构思效度的证据。,构思效度,客观测验与主观测验,多项选择题，匹配题，判断题，简答题和填空题都属于客观测验（ Objective Testing ） ，其特点是答案确定，评分不需要解释。 论述题属于主观测验（Subjective Testing）,其特点是要求学生创造性地写出自己的答案。,客观测验项目的编制,题干要明确、简洁 题干中的问题用肯定表述 不要写明显错误的选项 避免使用一些具有绝对意义的词 避免出现两个相同意义的干扰项 避免按原样使用课本中的表达词,主观测验的编制,适合对复杂学习成果的评估 测验要有足够的答题时间 主观题和客观题相结合,对传统测验的革新,真实测验（Authentic tests） 档案袋（Portfolios）,真实测验（Authentic test）,真实测验是指 测试学生在实际生活中的技巧和能力的一种评估方法。 真实测验的一些特点： 1.更开放 2.不受时间限制 3.提供已知的问题 4.更象一系列作业 5.需要与他人的一些合作 6.评分体系是多维的 7.给学生的学习风格、学习态度和学习兴趣留下空间,档案袋（Portfolio）,档案袋是指体现学生某些方面的成长、自我反思和成绩的作业集。 例： “今天看了作文本里从9月份以来