试卷分析的几个问题.ppt

试卷分析的几个问题 安徽省教育科学研究所孟蔚时2001 6 什么是测量测量的要素测量的水平测量的误差 第一讲测量 根据一定的法则对事物加以确定 一定的法则 是指测量时所用的方法 事物 是指我们所想要解的对象 更确切地说是我们所感兴趣的对象的属性或特征 一 什么是测量 二 测量的要素 1 参照点2 单位 参照点 要确定事物的量 必需有一个计算的起点 零点 这个起点叫测量的参照点 两种参照点 1 绝对零点 如长度 质量2 相对 人定 零点 如以海平面为陆高的零点 冰点为摄氏温度的零点 试卷的零分为学习水平零点 单位 测量时的最小单元好的单位应该具备两个条件 1 有确定的意义 人们对这样的单位有相同的理解2 有相等的价值 各单位间的距离是相等的 三 测量的水平 四种量表 命名量表等级 次序 量表等距量表比率量表 1 命名量表 用数字代表事物或把事物分类 在此数字不具有数量的意义 代号 学号 汽车牌照号码等 类别 如 1 代表男性 2 代表女性 两类命名量表 特点 不存在参照点和单位 不能比较大小不能进行四则运算 2 等级 次序 量表 测量水平高于命名量表 不但按一定的法则对事物进行了分类 而且反映了我们所观察的某种属性的多少 测量结果包含了数量关系 如考试的名次 工资级别 年级等 特点 数字只表示等级 表示某种属性的相对大小 或多少 并不表示事物的某种属性的真正的量 等级量表无相等单位和绝对零点 不可作四则运算 可以比较大小 3 等距量表 测量水平高于等级量表 测量结果不但反映大小关系 而且具有相等的单位 如温度计 特点 测量数值可以作加减运算 由于没有绝对零点 所以不能作乘除运算 由于等距量表的测量结果具有相等的单位 因此一个等距量表上的数值可以转换为不同单位和零点的另一个量表上的数值 如华氏温度可以转换为摄氏温度 例 摄氏温度与华氏温度的转换 摄氏t 转换为华氏n t 5 9 n 32 或n 9 5t 32如100 212 应用 某一门学科不同次考试的成绩 由于试题难度 考查内容不同 各次考试的分数的单位和零点都不相同 但是通过一定的方法进行转换 如转换为标准分即转换到以为零点 以 为单位的量表上来 就可以比较了 4 比率量表 最高水平的量表 既有绝对零点 又有相等的单位 如质量 长度 时间等 特点 可以进行四则运算 如 1kg 2kg 3Kg100m是50m的2倍 四种量表的比较 通常的测验属于等级量表 编制良好的 且用标准分数解释的标准化测验可以看作是等距量表 教育测量属于哪一种水平的测量 四 测量的误差 与测量目的无关的变因所产生的不准确或不一致的效应 误差的类型 随机误差 系统误差 1 随机误差 由测量过程中的偶然变因所造成的 它使多次测量结果产生不一致 这种误差的大小和方向是变化的 2 系统误差 由测量中的恒定变因所造成的 它使每一次的测量结果都一致地偏离准确值 随机误差与系统误差 随机误差系统误差 系统误差比较容易估计和控制 随机误差则较难估计和控制 两种误差对测验结果的影响 两种误差对测量结果的影响 系统误差影响测量结果的准确性 随机误差既影响测量结果的准确性 又影响测量结果的一致性 影响测量的效度 既影响测量的效度 又影响测量的信度 第二讲测验分数的数字特征 两种重要的数字特征 集中量数差异量数 一 集中量数 集中量数是代表一组数据的典型水平或集中趋势的量 它反映了一组数据向某一个点集中的情况 算术平均数 是一种常用的反映数据的集中趋势的统计量 所有数据之和 数据个数 例 某次化学测验中某小组10位同学的得分为 79 84 62 90 71 76 83 98 77 78 79 8 二 差异量数 差异量数是代表一组数据的离中趋势的统计量 它反映数据的离散水平 标准差 标准差是一种常用的反映数据的集中趋势的统计量 标准差的计算 方法1 1 由平均分计算标准差 每位考生的分数 全体考生的平均分 考生总人数 标准差的计算 方法2 由原始数据直接求标准差 叫 方差 某次考试A B两组学生成绩 A 98 80 74 76 45 35B 98 70 69 68 68 35计算平均分 计算标准差 利用标准差把原始分数转换为标准分 标准分的应用一例 名次 第三讲测验题目的分析评价 难度区分度 一 难度 试题的难易程度 1 0 1 记分试题的难度 难度 该题通过人数 参加考试人数 0 1 记分题的难度计算 50位学生参加考试 第1题有40人做对 这题的难度 非 0 1 记分试题的难度 全体考生在该题上的平均分 该题满分值 难度 非 0 1 记分题的难度计算 某题满分值为4分 考生在该题上的平均分为2 6分 该题难度 可以看出 难度指数越大 这道试题越容易 关于难度的评价 之一 试题的难度是评价试题质量的重要指标 从理论上说 难度为0 5左右的试题对考生的鉴别能力最好 过难或过易的试题对考生的鉴别能力都不强 关于难度的评价 之二 考试中试题难度的大小与考试的性质有关 如果是用于选拔 难度指数的平均数应该在录取率附近 关于难度的评价 之三 在实际考试中 试题难度应该有一个合理分布 关于难度的评价 之四 对于水平参照考试 试题难度由考试标准决定 不受考生水平影响 二 区分度 试题对不同考生的区分程度和鉴别能力 对于一道有区分能力的试题 学习好的学生应该得高分 学习差的学生应该得低分 好学生在这题上反而得不到高分 这题的区分度可不好啊 相关系数 反映变量之间相互关系的一个指标 变量之间的关系 方向 强度 变量之间的关系之一 方向 1 正相关 如 体重 身高收入 消费水平 变量之间的关系之一 方向 2 负相关 例 气温 所穿衣服银行利率 股市成交金额 变量之间的关系之一 方向 3 零相关 例 身高 学习成绩 变量之间的关系之二 强度 处于 1和 1之间 它的绝对值越接近于1 相关的强度越大 0 1 记分题的区分度计算 答对该题的考生总分的平均数 答错该题的考生总分的平均数 答对人数比率 答错人数比率 全体考生总分的标准差 点二列相关系数 36人参加测验 在某题上答对的17人 答错的19人 答对者的 答错者的 又知 求该题的区分度 非 0 1 记分题的区分度计算 每位考生在该题得分 每位考生总分 考生在该题平均分及考生总分平均分 该题得分标准差 总分标准差 积差相关系数 某次历史测验第3小题 学生123456789101112得分X1212109812910811108总分Y9280797270696765646460581104790560603512600960648828650704464 XY 区分度 r评价 0 4很好0 30 0 39较好0 20 0 29尚好 0 19应淘汰 关于区分度的评价 三 选择题的选项分析 第四讲测验的信度和效度 测验的信度测验的效度 一 测验的信度 信度的定义 信度是反映测验的可靠性的一个指标 所谓测验的效度 就是同一测验 或相同的两个 多个测验 对同一组考生施测两次或多次 所得结果的一致性程度 它表明测验能否真实地反映考生的实际水平 反映的是测验的可靠性 一 信度的估计方法 根据估计的方法不同 信度通常分为以下几种 1 再测信度2 复本信度3 内在一致性信度信度通常是以两次测验结果的相关系数来表示 1 再测信度的估计方法 以同一测验分别对同一组学生先后施测验两次 计算所得分数的相关系数 每位考生先后两次测验分数乘积之和 第一次测验分数的平均值 第二次测验分数的平均值 第一次测验分数的标准差 第二次测验分数的标准差 再测信度的优点 1 符合重复测验的涵义 2 比较省时省力 3 可以保证两次测验的等值 再测信度的缺点 1 存在练习效应 2 难以避免成熟效应 3 考生对两次测验的兴趣不同 4 考生在两次测验中状态不同 5 难以保证两次测验的条件完全相同 2 复本信度的估计方法 同一组考生在复本测验上分数的相关系数 复本测验 在性质 内容 题型 题数度难度等方面都一致的两份或多份测验 复本信度的优点 1 由于事实上增加了测题数量 使测验的代表性增加 因此 以这种方法获得的复本信度系数是相当准确的 2 如果先后对同一组考生施测 则既可以反映测验在时间上的稳定性 又可以反映两个测验之间的一致性 3 如果同时对同一组考生施测 可以避免再测信度的一些缺点 复本信度的缺点 1 事实上 要编制两个完全相等的测验是非常困难的 2 考生同时接受两个相似的测验 可能降低对第二个测验和积极性 3 考生一旦掌握了第一个测验中解题的某种模式 会有助于第二个测验 有可能使复本信度失去意义 3 内在一致性信度的估计方法 1 分半信度把一个测验分为内容 形式 题数 难度平均分 标准差 分数分布形态方面都相等的两部分 在实际操作中 常分为奇数题和偶数题两部分 用考生在两部分测验上的得分计算整个测验的信度 1 0 1 记分测验的内在一致性信度斯皮尔曼 布朗公式校正法先计算每一个考生在两个分半测验上得分的积差相关系数 由于分半信度的方法使一个测验的长度降为原测验长度的一半 使我们对原测验信度的估计偏低 校正公式 斯皮尔曼 布朗公式 由两个分半测验求得的分半信度 校正后的分半信度 如计算得到某测验的分半信度为0 488 经斯皮尔曼 布朗公式校正 卢农公式估计法 不需要校正 每个考生在两半测验上得分的差的方差 测验总分的方差 斯皮尔曼 布朗公式和卢农公式所计算的都是分半信度 还有其它计算内在一致性信的方法吗 库 理信度K R20公式 库 理信度 题目总数 总分的方差 每题做错人数的比率 每题做对人数的比率 2 非 0 1 记分测验的内在一致性信度 每道试题的方差 总分的方差 系数 二 影响信度的因素 测量过程中造成系统误差和随机误差的因素都会对测验的信度造成影响 影响测验信度的因素有 1 测验的长度2 测验的实施3 试卷设计4 考生状态5 评分误差 对信度的评价 一般由教师自编的测验要求信度达到0 6 0 8之间 用于大规模选选拔性的考试 信度应该达到0 9以上 二 测验的效度 效度的定义 效度是反映测验的有效性的一个指标 所谓测验的效度 就是一个测验对它所要测量的属性所能够确实测量到的程度 效度 效标关联效度内容效度结构效度 1 效标关联效度 以某一测验的分数与其效标分数的关联程度来表示 2 内容效度 指所测量的内容对所要测量的内容的代表性程度 它衡量的是测验的内容 范围与所要测量的内容 范围相一致性的程度 内容效度一般不能直接用数量化的指标来反映 而是使用逻辑判断等方法进行检定 3 结构效度 所谓结构效度是指一个