教育测量数据处理.ppt

第六章教育测量数据处理 教学目标 理解基本概念掌握测量数据的统计描述方法掌握测量数据的统计检验方法掌握测试数据的结构分析方法掌握测量的质量分析方法了解项目反映理论 第六章教育测量数据处理 参考书目 教育测量 相关 SPSS在教育统计中的应用 杨晓明高等教育出版社 教育技术学研究方法基础 谢幼如 李克东高等教育出版社 教育技术学研究方法 李克东北京师大出版社 第六章教育测量数据处理 第一节基本概念 教育测量 教育测量物理测量 对物质现象的测量心理测量 对精神现象的测量教育测量是依据一定的法则 标准 用数值来描述与教育活动直接相关的事物的属性 教育测量是教育评价的基础 第六章教育测量数据处理 第一节基本概念 教育测量 教育测量数据类别1 名义尺度2 序数尺度3 距离尺度4 比例尺度 第六章教育测量数据处理 P17 18 第一节基本概念 教育测量 教育测量的误差1 误差 随机误差 系统误差2 设 观察分数X 真分数T 则误差E X T相对误差 E T最大相对误差 E X3 误差来源测量本身实施过程被试 第六章教育测量数据处理 第一节基本概念 教育测试 教育测试测试是教育测量的主要工具 指对学习者的学习信息进行有组织 有系统地收集 并通过对这些信息的处理作出确切判断和适当决定的科学手段和工具 测试的目的是实现个人 集团的技能 知识 能力 适应性的测定 第六章教育测量数据处理 第一节基本概念 教育测试 测试分类1 器具测试与纸笔测试 2 客观测试与非客观测试 3 综合测试与分析测试 4 标准测试与非标准测试 5 集团基准测试与达到基准测试 第六章教育测量数据处理 第一节基本概念 教育测试 测试理论1 经典的测试理论 基于统计2 项目反应理论 基于参数 第六章教育测量数据处理 第一节基本概念 经典测试理论 CTT 经典测试理论基本假设1 心理特质是可测的2 CTT的误差模型测试得分X与真分T之间是线性关系即X T E 1 若平行测试的次数足够多 则误差平均值趋于 0 即 X T或 E 0 2 测试得分与误差相关 真分与误差相互独立 3 各平行测试上的误差相互独立 第六章教育测量数据处理 第一节基本概念 统计描述方法 数据检查数据分类数据排序特征参数计算数据统计表数据图示法 第六章教育测量数据处理 第二节测量数据的统计描述 特征参数 集中量 平均数X 中数 一组大小排列的数据中位置居中的数 奇数个数 偶数个数 最中间两数的平均众数 一组数据中出现次数最多的数 第六章教育测量数据处理 第二节测量数据的统计描述 特征参数 差异量 全距 最大值 最小值方差 分散 Sx2 P112标准差 标准偏差 Sx P113差异系数 标准差Sx平均数XCV20 分化严重 第六章教育测量数据处理 第二节测量数据的统计描述 特征参数 频数分布次数分布表次数分布曲线 峰的数量 峰的高低 高峰态 低峰态峰的对称性 正态分布 偏态分布 第六章教育测量数据处理 第二节测量数据的统计描述 X S平面特征数据分析模型 第六章教育测量数据处理 第二节测量数据的统计描述 测试数据转换原始分数与导出分数 百分排位 累积频度 被试人数 100Z分数 Z X X ST分数 T 10Z 50GEEB分数 100Z 50TOEFL分数 70Z 500离差智商 15Z 100多级评定值 第六章教育测量数据处理 第二节测量数据的统计描述 相关量 两组数据间的关系协方差 共分散 Sxy P113相关系数rxy P114 第六章教育测量数据处理 相关强度 强 0 8 中等 0 4 0 79 弱 0 2 0 39 极弱 0正相关 0负相关确定系数 r2 100 第三节测量数据的统计检验 是先对总体的分布规律作出某种假说 然后根据样本提供的数据 通过统计运算 根据运算结果 对假说作出肯定或否定的决策 第六章教育测量数据处理 第三节测量数据的统计检验 基本原理 概率论中的 小概率事件实际上的不可能性 原理 一般方法 如果现要检验实验组和对照组的平均数 1和 2 有没有差异 其步骤为 1 建立虚无假设 即先认为两者没有差异 用H0 1 2表示 2 通过统计运算 确定假设H0成立的概率P 3 根据P的大小 判断假设H0是否成立 第六章教育测量数据处理 第三节测量数据的统计检验 Z检验 大样本 样本容量大于30 平均数差异的显著性检验1 建立虚无假设H0 1 2 即先假定两个平均数之间没有显著差异 2 计算统计量Z值 3 依据计算所得Z值 Z值与差异显著性关系表作出判断 4 结合以上分析和具体情况 作出结论 第六章教育测量数据处理 第三节测量数据的统计检验 t检验 小样本 样本容量小于30 平均数差异的显著性检验1 建立虚无假设H0 1 2 即先假定两个总体平均数之间没有显著差异 2 计算统计量t值 3 自由度df n 1或df n1 n2 2 在0 01级或0 05级水平查t值表 找出规定的t理论值 4 比较计算得到的t值和理论t值 推断发生的概率 5 结合以上分析和具体情况 作出结论 第六章教育测量数据处理 第三节测量数据的统计检验 2检验 计数资料的差异检验比较两个及两个以上样本率 构成比 以及两个分类变量的关联性分析 1 建立虚无假设H0 f0 fe 2 计算统计量 2值 3 按自由度df n 1 查df 0 01 和df 0 05 的数值表 找出理论 2值 4 比较计算得到的 2值和理论 2值 推断发生的概率 第六章教育测量数据处理 设统计数据是r行c列 f0是实得次数 观察次数 fe是理论次数 期望次数 nr nc n n是列数 研究方法 问卷调查 访谈实验研究 第六章教育测量数据处理 第三节测量数据的统计检验 例题一 某项教育技术实验 对实验组和控制组的前测和后测的数据分别如下表所示 比较两组在前测和后测中是否存在差异 第六章教育测量数据处理 第三节测量数据的统计检验 例题二 为检验某新的教学方法的效果 设计对比实验 实验组采用新教学方法 控制组采用传统讲授方法 实验后 实验组10名学生和控制组10名学生测试成绩如下 请分析判断实验组和控制组成绩是否有差异 第六章教育测量数据处理 第三节测量数据的统计检验 例题三 某班的教学中采用了新的教学方法 进行前测和后测试验 随机抽取8名学生作样本 如下表所示 分析两次测试是否有差异 从而判断实验结果 第六章教育测量数据处理 第三节测量数据的统计检验 例题四 某班共有50人 随机抽取20人利用多媒体教学软件进行语文教学试验 在期终考试结束后 得知全班语文考试成绩如下表所示 其中前20人分数为参加试验的学生成绩 试通过检验样本平均数与总体平均数之间的差异程度判断该试验的效果 第六章教育测量数据处理 第三节测量数据的统计检验 例题五 随机抽取某学校数学系和中文系学生各100名 对某一英语教学软件的效果进行评价 根据下表所示的评价结果测试两系学生的评价态度的差异 第六章教育测量数据处理 第三节测量数据的统计检验 例题六 某项关于物理实验的多媒体教材开发完成后 送给有关学校的物理教师征询意见并发出问卷 请根据以下数据分析44位物理教师对于A问题的回答是否存在显著差异B问题呢 第六章教育测量数据处理 第四节测量数据的S P结构分析 项目反应模式是测验中被试对项目所作反应的正误组合形式 不同的项目反应模式对应着不同的能力水平 反映了不同被试对学习内容的掌握程度 特别是 在异常反应模式中 包含了很多重要的诊断 评价信息 只有综合总分与项目反应模式的分析结果 才能达到诊断学生学习状况和调整教学计划的双重目的 第七章教育信息的结构分析 第四节测量数据的S P结构分析 项目反应模式S P表分析法 则是一种把每一个学生的答对 答错模式与团体的反应模式进行对照分析 从而获得所需要的信息的方法 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S P表 概念是一种将测试 练习的得分数据排成一览表 并对学生和问题的特性以视觉化的图表进行结构分析的方法 可为学习的诊断 教学的评价提供重要的信息 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S P表 结构以N个学生 Students 数据作为纵轴 n个问题 Problems 数据作为横轴作成一览表 该表取学生和问题的第一个字母 故称之为S P表 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S P表 制作1 确定项目得分表中的元素a 选择回答 b 记分回答 2 基本统计 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S P表 制作3 行列重排分数相同的学生 两种方法 1 计算协方差 2 分别计算所答对的全部项目的人数总和 累积项目数大的排在前面 对项目排序也同理 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S P表 制作4 S曲线和P曲线 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S P表 第七章教育信息的结构分析 第四节测量数据的S P结构分析 差异系数与注意系数1 差异系数用于表示S曲线与P曲线不一致程度 S曲线和P曲线间所包围的面积S P表的总面积之比来表示差异量与学生数 问题数和学生的正答率有关 为了使衡量差异程度的量度标准化 引入 0 7 差异量正答率 1 正答率 第七章教育信息的结构分析 差异系数D 第四节测量数据的S P结构分析 差异系数与注意系数2 注意系数学生得分模式问题得分模式实际反应模式与标准变量的协方差完全法反应模式与基准变量的协方差其中 完全反应模式是指位于S曲线左测的全部为1 位于S曲线右侧的全部为0的学生得分模式 第七章教育信息的结构分析 第四节测量数据的S P结构分析 差异系数与注意系数2 注意系数 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S P分析 曲线位置 形状 得分率 平均正答数 差异量 断层与幅 个别模式 学生 问题 差异系数 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S P表分析法的特点及存在的问题作为一种分析处理测验数据的方法 S P表分析法与一般测验理论或因子分析法相比 在基本性质 分析方法以及适应范围等方面都有较大的差别 S P表分析法是最适合于分析形成性测验数据的方法 它的数学模型很简单 分析程序容易掌握 分析结果一目了然 量化指标的计算也十分方便 S P表分析法存在的主要问题是其数学理论不完善 它的分析结果不具有普遍意义上的统计推断特性 各种量化指标的评判标准都是建立在经验的基础之上 因此 S P表分析法未能发展成为一种具有一定普遍意义的测验理论 第七章教育信息的结构分析 第五节测量数据的IRS分析 IRS ItemRelationalStructureAnalysis 一种结构分析法 基于学生对各个问题 项目 的理解程度排序 对问题间的关联结构进行分析 通常是以图来表示问题的关联结构 第七章教育信息的结构分析 第五节测量数据的IRS分析 IRS基本原理 第七章教育信息的结构分析 第五节测量数据的IRS分析 顺序系数表示顺序程度的标度从问题i到问题j的顺序系数R ij 1 R ii 1 2 若c d 0 R ij 1a c 0 R ij 1 第七章教育信息的结构分析 第五节测量数据的IRS分析 IRS图的构成法1 作出S P表2 项目系数顺序表3 IRS矩阵 阕值 P171 1 若rij 0 5 顺序性i j成立 项目顺序系数表中对应的位置置为1 2 若rij j不成立 项目顺序系数表中对应的位置置为0 4 构成IRS图 第七章教育信息的结构分析 第五节测量数据的IRS分析 IRS图的构成法 第七章教育信息的结构分析 第五节测量数据的IRS分析 IRS图的性质1 单调性2 正相关性 第七章教育信息的结构分析 第六节测量的质量分析 信度效度区分度难度 第六章教育测量数据处理 第六节测量的质量分析 信度1 概念 测试的可信程度 是测试结果一致性和稳定性的度量信度系数 xx St2 Sx2 1 SE2 Sx2 1 0 1 2 0 95 0 99 高可靠 3 0 9 0 94 一般可得的最好值 4 0 8 0 9 较可靠 5 0 7 误差太大 数据不能使用 第六章教育测量数据处理 第六节测量的质量分析 信度2 信度系数的计算 1 再测试法 12 两次测试的相关系数r12 2 平行测试法 12 rab 3 折半法 12 2 rab 1 rab 12 2 1 Sa2 Sb2 St2 第六章教育测量数据处理 第六节测量的质量分析 信度3 评分者信度以肯德尔 Kendall 和谐系数表达 Ri2 Ri 2 N1 12 K2 N3 N 其中 K是评分人数N是试卷数Ri第i题的和例 第六章教育测量数据处理 第六节测量的质量分析 信度3 评分者信度例 6位教师评阅5道题的一份试卷 如表 W 0 93 第六章教育测量数据处理 第六节测量的质量分析 信度4 信度的应用一般学业测试的 0 90 1 个人测试分数的误差 2 两种考试分数的比较 第六章教育测量数据处理 第六节测量的质量分析 效度1 概念 测试的正确性 有效性 是测试准确性的度量2 效度的估算内容效度基准关联效度构想效度3 效度与信度的关系 第六章教育测量数据处理 第六节测量的质量分析 难度1 概念 测试的难易程度2 计算 难度指数P 1 客观题 P R NR 答对的人数 N 总人数 2 主观题 P X WX 平均分 W 满分 3 试卷 P 1 W PiWi或P X W3 难度的测前估计 第六章教育测量数据处理 第六节测量的质量分析 区分度1 概念 测试对被试者的区分程度2 计算 区分度D 1 客观题 D PH PLPH 高分组通过率 PL 低分组通过率 2 主观题 D XH XL N H L XH XL 高 低分组总分 H L 最高分 最低分N 被试总人数的25 3 相关法 得分与测试总分的相关系数 第六章教育测量数据处理 第六章教育测量数据处理 正态分布曲线 平均分X 标准差S决定了正态分布曲线的形状和位置 标准差S越大 曲线的单峰高度越低 宽度越大 显得越 胖 S越小 曲线的高度越高 宽度越小 显得越 瘦 平均分X对应于单峰位置 X越大 曲线越往右移动 正态分布曲线 第六章教育测量数据处理 正态曲线下各等分所包含面积比例图 标准Z分数 Z X X S 1 平均数为0 标准差为1 2 Z分数可比 可加 3 Z分数由原始分经线性变换得到 不改变原始分数的分布形状 位置次序 4 若原始数据是正态分布的 Z分数大约在 3与 3之间 第六章教育测量数据处理 Z检验统计量Z值 独立大样本 1 如果检验一个样本平均数X与一个已知的总体平均数 0的差异是否显著 其Z值计算 2 如果检验来自两个的两组样本平均数的差异性 从而判断它们各自代表的总体的差异是否显著 其Z值计算 第六章教育测量数据处理 t检验统计量t值 独立小样本 1 如果要评断一个总体中的小样本平均数与总体平均值u0之间的差异程度 其统计量t值计算 2 如果对同一受试对象处理前后的结果进行比较 配对设计 其统计量t值计算 3 如果要评断两组样本平均数之间的差异程度 其统计量t值计算 自由度df n 1或df n1 n2 2 查t值表 t df 0 01 t df 0 05 P 第六章教育测量数据处理 Df n 1 两样本各对数据之差的平均数Df n 1 Df n1 n2 2 卡方检验 2值 计数资料的差异检验 2值 自由度df n 1查 2值表 2 df 0 01 2 df 0 05P 第六章教育测量数据处理 f0是实得次数 观察次数 fe是理论次数 期望次数 nr nc n n是列数 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S P分析 曲线位置 形状 得分率 平均正答数 差异量 断层与幅 个别模式 学生 问题 差异系数 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S曲线和P曲线特性 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S曲线和P曲线特性S曲线的断层与幅 P曲线的断层与幅 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S P表 性质1 S曲线与P曲线的不一致性 S曲线与P曲线之间的偏离程度 S曲线与P曲线是不重合的 虽然它们与x y轴所包围的面积相等 称这种不重合为s曲线与P曲线的不一致性 这是由于 1 测试问题的非等质性 2 学生在测试时学习能力的不稳定性 如果S曲线与P曲线偏离过大 就说明其中可能存在问题 当偏离异常时 应当考虑其中是否存在问题 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S P表 性质2 S P表的类型 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S P表 性质3 S P表中0和1的分布一般情况下 S P表中1的分布应集中在表的左上侧 0的分布应集中在表的右下侧 这是由S P表的制作方法所决定的 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S P表 性质4 S曲线的形状S曲线表示了学生得分的分布 曲线越靠近右侧 表示学生的得分越多 反之亦然 S曲线通常是一种变化比较缓慢的S型的曲线 如果在S曲线的中间出现了水平部分 称之为S曲线的断层 断层上下学生的成绩有较大的落差 断层的出现表示学生对测试中的某些问题产生了错误的理解 或者是对问题中的解题条件还没有充分的理解和把握 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S P表 性质5 P曲线的形状P曲线表示学生们对每个问题应答时正答数的分布 P曲线的断层表现为P曲线中间出现的垂直部分 位于断层左右侧问题的难易程度具有明显的差异 P曲线的形状和断层可以由测试问题的选择进行控制 通过P曲线断层的观察可以分析出测试问题难易程度的情况 第七章教育信息的结构分析 第四节测量数据的S P结构分析 S P表 性质6 S P曲线的位置与平均