教育测量与评价的质量特性.ppt

教育测量与评价的质量特性,2004.10.25,主要内容,教育测量与评价的信度 教育测量与评价的效度 教育测量与评价中题目（项目）的难度 教育测量与评价中题目（项目）的区分度,教育测量与评价的效度,一、效度的定义 测量的有效程度 一个测验或量表实际能测出其所要测量的特性的程度 记为： 效度的统计定义 X=T+E，TVI，即：XVIE 有 则：,根据统计定义，可知道效度与信度的哪些关系？,教育测量与评价的效度,二、效度的类别 内容效度：侧重于测验题目取样的代表性，考查这些题目对所欲测量的内容和行为反应测量的有效程度 结构效度：侧重于一个测验的能够测量到心理学和教学理论上的抽象概念和特质的程度 效标效度：侧重于测验分数预测我们所关心的外在行为的准确程度,教育测量与评价的效度,二、效度的类别 内容效度：侧重于测验题目取样的代表性，考查这些题目对所欲测量的内容和行为反应测量的有效程度 结构效度：侧重于一个测验的能够测量到心理学和教学理论上的抽象概念和特质的程度 效标效度：侧重于测验分数预测我们所关心的外在行为的准确程度,三、各类效度的验证方法,1.内容效度的验证方法 逻辑分析法（定性的方法） 依据教材内容、教学大纲的范围以及教学目标分析测验内容，检查测验内容究竟在体现教材内容和教学目标方面达到多大程度 对每一道题目逐一进行审查，以此形成“题目双向细目表” 与“命题双向细目表”加以对照，以确定试卷的效度 统计分析法（定量的方法） 克龙巴赫法（两套测验试题，对相同被试实施测试后，计算得分的相关系数） 评分一致性考查法（不同评分者之间评分的一致性程度，即考查评分者信度） 前后测对比法（根据前后两次测验的差异显著性，确定测验的内容效度）,三、各类效度的验证方法,2.结构效度的验证方法 建立理论框架 从理论框架出发，提出各种假设 根据假设编制测验 以逻辑及实证的方法，检验结果是否符合心理学的理论框架及其假设 比如：中学生数学能力的研究 数学能力由分析能力、综合能力、归纳和演绎能力、运算能力、空间想象能力构成；数学能力与早期教育有关；数学能力与智力正相关。 编制测验，施测并收集测验结果 分析测验结果，考查测试的结构效度，考查测验结果是否支持理论构想,三、各类效度的验证方法,效标效度的估计方法,相关法 直接计算测验分数与效标分数的相关系数 积差相关、等级相关、二列相关等 显著差异法 根据效标测量将被试分为两个极端组，检验这两个组测验分数是否具有统计学上的差异显著性 命中率 当测验用作取舍决策时，常使用命中率 相关概念：总命中率、正命中率、负命中率 总命中率高，则测试的效度高 例： 70人参加的考试，通过测验选取了50人，淘汰了20人；选出的人中有40人合格，淘汰的人中有8人不合格。该测验的总命中率、正命中率和负命中率分别是多少？,教育测量与评价中题目（项目）的难度,一、难度的含义 难度是指测验项目的难易程度，记为 P 在教育测量中 P正确回答试题的人数/参加测验的总人数 二、难度的计算 客观试题（二分法记分）： PR/N R：答对该题的人数；N：参加测验的总人数 对选择题的解答，因被试可猜测，故需对难度系数加以校正 CP=(KP-1)/(K-1) CP：校正后的难度值；P：实际得到的通过率；K：选项数目 例：一个题目的难度值为0.75，分别计算此题有四个选项、三个选项、两个选项时大的难度值,教育测量与评价中题目（项目）的难度,二、难度的计算 客观题的极端分组法 根据测验分数按高低排序，用两个极端组在某项目上的平均通过率表示项目的难度 P（PHPL）/ 2 步骤： 按测验总分由高到低排序 从高分段向下选出全部试卷的27作为高分组 从低分段向上选出全部试卷的27作为低分组 按照上述公式计算项目难度值 例：100人参加某测验，高分组与低分组各取27人，其中第一题高分组20人答对，低分组10人答对。这道题的难度系数是多少？,教育测量与评价中题目（项目）的难度,二、难度的计算 主观题的平均数法 主观题的极端分组法 XH：高分组所得总分； XL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生总人数的25,试题分析表,教育测量与评价中题目（项目）的难度,三、难度的转换 难度指出的仅仅是题目的相对难度，不能客观地指出题目难度之间差异大小 P向Z的转换 假定每个试题所要测量地潜在特质或能力是呈正态分布的，可将P值作为正态曲线下的概率面积，以此转换成Z分数 例： Z向 的转换：,教育测量与评价中题目（项目）的区分度,一、区分度的概念 区分度是测验对被试实际水平的区分程度 是测验项目分析的重要内容 是作为评价项目质量、筛选项目的主要指标与依据 通常用D表示，取值范围为1.00至1.00 D越高时，试题的质量越好,教育测量与评价中题目（项目）的区分度,二、区分度对测验的影响 1.区分度与难度的关系,教育测量与评价中题目（项目）的区分度,二、区分度对测验的影响 2.区分度与信度的关系,教育测量与评价中题目（项目）的区分度,三、区分度计算方法 极端分组法 客观性试题区分度的计算公式： DPHPL 按测验总分从高到低排序 确定测验总分最高的27的被试作为高分组，最低的27的被试为低分组 分别求出这两组被试通过试题的百分比 将算得的有关数据带入上公式 主观性试题区分度的计算公式： 说明： XH：高分组所得总分；XL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生总人数的25 步骤： 按测验总分由高到低排序；分别确定测验总分的25、25作为高低分组；列出试题分析表；将数据带入以上公式加以计算