教育测验的标准及其建立方法.ppt

教育测验的标准及其建立方法 第一节教育测验标准的含义 一 对标准参照测验及其标准的再认识 心理学家波帕姆认为标准参照测验是依据实现明确规定的知识能力标准而制订 并据此标准可以对被试的测验成绩做出解释的一类测验 标准测验主要关心的问题是要获得严格而精确的领域规范 specificationsfordomains 或行为领域规范 上述定义的缺陷 切断点 cut offpoint 标准的内涵从定性方面讲 标准一词指的是测验的内容或行为的范围 而这个范围是测验分数所参照的 它将通过内容领域规范得到明确 从定量方面讲 每当人们利用标准参照测验成绩进行有关评价决策时 客观上需要一个切断点作为分类决策的依据 切断点在一定程度上体现了标准一词在测量评价功能上的定量标准 常模参照测验与标准测验的对比 二 几个与标准参照测验相关的概念 领域参照测验 或内容参照测验 domain referencedtest 是建立在一套完善的题目汇编或内容领域规范汇编基础上用以检查被试的素质及发展水平的测验目标参照测验是由和目标相适应的一组题目所构成的测验掌握测验是建立一组教学和行为目标上的测验 主要用于判断学生是否掌握某组给定的教育目标 思考 领域参照测验 目标参照测验和掌握测验有何异同 若将 标准参照测验 视作 依据某种特定操作标准可以直接解释测量结果的及测验 上述三种测验在本质上无多大差别 领域参照测验可以看成标准参照测验的同义词 目标参照测验和掌握参照测验是标准参照测验的变式 第二节标准参照测验分数的解释 一 正确百分数 正确百分数是以学生在标准参照测验中答对题目的比例来解释测验分数或描述学生取得成就的方法 使用百分数 应注意 测验所要测定的内容 成就 范围必须明确 而且测验题目能够组成成为这个内容 成就 范围的代表性良好的样本在标准参照测验中 可以针对整个测验为每一个学生确定其答案的正确百分数 对学生的内容掌握作出判断 在课堂教学评价及其他有关资格证书的测验中 为了对多层次的测验结果分别作出解释和描述 就需要分别针对每一教育目标或内容板块去选择题目组 构成总测验 为求客观 可利用学生测验的原始分数和测验总分数之间的关系 计算学生个人的得分百分数 二 掌握分数 掌握分数用于判断学生是否掌握所学的内容 分数的标准是人为确定的 可以是百分之评分量尺上的某一个点 也可以是80 90 的正确反应所对应的分数 作为最低通过标准 以掌握分数为判断标准 可将学生区分为掌握和为掌握两类 掌握 与 未掌握 是人为确定的 从知识的掌握状态来讲 事实上更应该是一种连续模型 掌握 及格 或 合格 的概念类似 但有区别 当利用测验的掌握分数给学生进行二分类时 对于不同的年级 不同的课程内容 不同的测验乃至同一测验中不同的分测验 人为规定的掌握分数也未必相同 三 内容等级分数 为了更好地解释教育测验的分数 人们把内容参照和常模参照结合起来 在编制测验的过程中 不仅要明确内容范围 具体任务 而且要把成就分成若干差别明显的等级水平 标明不同等级水平的成就特征与问题类型 建立起内容等级分数及其评定量表 内容等级分数体现了相对评价与绝对评价的相结合 第三节标准参照测验的定性标准 测验内容领域规范 内容领域规范是标准参照测验最重要的一环 为试题编写人员准备试题时提供内容和技术上的指导 向内容方面或测量方面的专家提供每种能力所包括的内容和行为的清晰描述 帮助解释被试个体的能力水平 向用户提供能力广度和范围的明确规定 一 汉布莱顿模式 内容领域规范的四个组成部分 说明实例指导与题目样本内容范围答案范围 二 美国IOE模式 IOE InstructionalObjectivesExchange 教学目标交流所 其所运用的标准参照测验格式由以下五部分组成 一般描述样本题目刺激的界定反应的界定其他补充说明 三 英国GCSE模式 英国中等教育普通证书 简称GCSE考试 是面向校内外举办的英国国家证书制度 其显著特点之一是有全国统一考试标准 包含 总标准 和 学科具体标准 不同科目的测验编写结构大同小异 一般包含 简介或引言 目标 评价目标 内容或核心内容 评价目标和内容的关系 评价技术 等级描述 来自GCSE考试的启发考试大纲应强调与鼓励学生理解本学科与其他学科 生活 政治 经济 社会 环境等方面的联系考试大纲必须包括对课程学习所期望达到的教育目标的描述考试大纲必须包括足够的知识覆盖面 使考试能充分表现出学生对某一知识和技能的掌握程度考试大纲都应有一定的学科知识考查深度 而不应以牺牲技能和理解力的考查为代价去追求学科知识内容的考查广度考试大纲不仅应包括某一学科所要测试的内容范围 也要介绍测试方法 提供样卷 题 以及一些必要的指导性材料 四 我国高中考试毕业会考标准的建立模式 浙江的模式 定性描述学科标准 形成学科考试大纲规范性文件编制有良好内容效度的参照试卷 取样抽测 建立高中毕业会考的标准份数量将高中毕业会考的成绩确定为五个等级 与T分数的关系如下表 编制一份与参照试卷大体平行的学科会考试卷 准备用于实际的高中毕业会考在保密状态下 在省内或省外抽取一批高中生 其水平应与浙江省高中生的总体水平相当 随机分成两组后 分别用会考试卷和参照试卷进行测验 取得数据利用百分等级的等值技术或线性标准分数的等值技术 在会考试卷原始分数Y和参照试卷原始分数X之间建立等值对应关系 从而在X Y T之间建立对应关系的转换表把会考试卷正式用于高中会考 每个学生都得到自己的会考原始分数Xi 通过X Y T分数转换表 得到每位高中生的毕业会考学科量分表 根据表7 2 得到高中毕业会考的等级分数 五 我国高等教育自学考试标准的建立模式 自学考试课程大纲包括四部分概括叙述课程性质与设置目的具体叙述各章节的课程内容与考试目标要求有关考试说明与实施的要求提供样题或样卷 第四节标准参照测验的定量标准 合格分数线 一 基于题目分类下的经验判断方法 利用课任教师或对成就测验标准的 格式塔 心理现象和教师具备的考评经验来分析测验题目 并作出分类与判断的思想方法具体方法编制测验把测验中所有的题目分为三类 基本要求的 中等要求的 高要求的 假想一组 最低能力的且恰是可接受 的被试 对他们在作答以上三类题目时提出具体标准 如 现设三类题目在测验中所占分数即为W1 W2和W3 再设课任教师经过协商认为 最低能力且又是可接受的任一位学生 其至少应答对第一类题目的P1 第二类题目的P2 第三类题目的P3 那么 该特定测验的最低合格分数线E确定为 例 某次数学测验 课任教师认为属于第一类的有22个题目 占40分 属于第二类的有8个题目 占32分 属于第三类的只有两个题目 占28分 如果课任老师认为最低能力限度下可接受的学生 至少应答对第一类题目的80 第二类题目的50 第三类题目的20 求该次数学测验最低合格线 解 二 基于题目双基度指标下的经验评判法 双基度 指的是题目的考查内容和测量目标对体现特定学科 基础知识 基本技能 双基教学要求的适切性程度 双基度的取值在0 1之间 题目的双基度越大 说明该题目的教学双基性要求越强 题目越能体现教学过程和知识结构中的基本要求 题目内容对学生越是重要 题目的双基度与经典测验理论中的难度没有必然的联系 题目的双基度指标赋值 可以由任课教师根据教学与考评经验 在较彻底的理解教学大纲课程标准和熟悉教材内容结构的前提下进行 可参照表7 3 同一考查内容中题目所设计的测量目标不同 双基度也不同 假设一份测验卷中有N个题目 它们的双基度及其分数值可用 b1 x1 b2 x2 bN XN 来表示 该测验的合格线分数为 例 某次语文测验共有50道试题 每题2分 今已知题目的双基度指标如表7 4所示 解 三 基于题目 目标 难度 层次评估法 主要思路 根据对题目考查目标层次的认识以及对题目难易程度作出的经验判断 把整个测验卷中所有题目按照两个特征进行双向分类 由课任教师给每一类题目指派一个临界概率 临界概率是 设想一个尚可接受的最低能力的学生能够正确回答该类题目的可能性大小 或者说这一临界概率是对每一位合格的学生至少应答对该类题目的比例大小 方法课任教师把一份测验卷中的所有题目按K个考查目标能力层次进行分类 设这K类所占分数分别为M1 M2 Mk把上述每一题目按照难 中 易分成三组 计算各组题目的分数 可得到测验题目双向分类下的数据块 以矩阵的形式记为 设想一个可接受的最低能力的被试 答对上述 第i个难度层次第j个能力目标层次 所有题目的可能性大小为Pij i 1 2 3 j 1 2 K 得到一个概率矩阵 记为 计算该试验的最低合格分数 记为 进一步地 综合若干位学科专家和命题人员的意见 认为一个尚可接受的最低能力的学生 答对上述各组题目的概率为 例 某次 教育统计学