《教育测量数据处理》PPT课件.ppt

,第六章 教育测量数据处理,教学目标,理解基本概念 掌握测量数据的统计描述方法 掌握测量数据的统计检验方法 掌握测试数据的结构分析方法 掌握测量的质量分析方法 了解项目反映理论,第六章 教育测量数据处理,参考书目,“教育测量”相关 SPSS在教育统计中的应用 （杨晓明 高等教育出版社） 教育技术学研究方法基础 （谢幼如，李克东 高等教育出版社） 教育技术学研究方法 （李克东 北京师大出版社）,第六章 教育测量数据处理,第一节 基本概念-教育测量,教育测量 物理测量:对物质现象的测量 心理测量:对精神现象的测量 教育测量是依据一定的法则 （标准），用数值来描述与教育 活动直接相关的事物的属性。 教育测量是教育评价的基础。,第六章 教育测量数据处理,第一节 基本概念-教育测量,教育测量数据类别 1.名义尺度 2.序数尺度 3.距离尺度 4.比例尺度,第六章 教育测量数据处理,P17-18,第一节 基本概念-教育测量,教育测量的误差 1.误差:随机误差、系统误差 2.设，观察分数X,真分数T， 则 误差 E=X-T 相对误差= E/T 最大相对误差= E/X 3.误差来源 测量本身 实施过程 被试,第六章 教育测量数据处理,第一节 基本概念-教育测试,教育测试 测试是教育测量的主要工具. 指对学习者的学习信息进行有组织、有系统地收集，并通过对这些信息的处理作出确切判断和适当决定的科学手段和工具。 测试的目的是实现个人、集团 的技能、知识、能力、适应性的测定。,第六章 教育测量数据处理,第一节 基本概念-教育测试,测试分类 1.器具测试与纸笔测试: 2.客观测试与非客观测试: 3.综合测试与分析测试: 4.标准测试与非标准测试: 5.集团基准测试与达到基准测试:,第六章 教育测量数据处理,第一节 基本概念-教育测试,测试理论 1.经典的测试理论:基于统计 2.项目反应理论:基于参数,第六章 教育测量数据处理,第一节 基本概念-经典测试理论(CTT),经典测试理论基本假设 1.心理特质是可测的 2.CTT的误差模型 测试得分X与真分T之间是线性关系 即 X=T+E (1)若平行测试的次数足够多，则误差平均值趋于“0”，即(X)=T 或 (E)=0 (2) 测试得分与误差相关,真分与误差相互独立 (3)各平行测试上的误差相互独立,第六章 教育测量数据处理,第一节 基本概念-统计描述方法,数据检查 数据分类 数据排序 特征参数计算 数据统计表 数据图示法,第六章 教育测量数据处理,第二节 测量数据的统计描述,特征参数集中量: 平均数X： 中数：一组大小排列的数据中位置居中的数。 奇数个数： 偶数个数：最中间两数的平均 众数：一组数据中出现次数最多的数,第六章 教育测量数据处理,第二节 测量数据的统计描述,特征参数差异量: 全距：最大值-最小值 方差(分散)Sx2： -P109 标准差(标准偏差)Sx： -P110 差异系数： 标准差Sx 平均数X CV20%,分化严重,第六章 教育测量数据处理,第二节 测量数据的统计描述,特征参数频数分布 次数分布表 次数分布曲线: 峰的数量： 峰的高低：高峰态，低峰态 峰的对称性：正态分布、偏态分布,第六章 教育测量数据处理,第二节 测量数据的统计描述,X-S平面特征数据分析模型,第六章 教育测量数据处理,第二节 测量数据的统计描述,测试数据转换 原始分数与导出分数: 百分排位:=（累积频度/被试人数）*100 Z分数: Z=(X-X)/S T分数: T=10Z+50 GEEB分数: =100Z+50 TOEFL分数:=70Z+500 离差智商: =15Z+100 多级评定值:,第六章 教育测量数据处理,第二节 测量数据的统计描述,相关量: 两组数据间的关系 协方差(共分散)Sxy -P110 相关系数 rxy -P110,第六章 教育测量数据处理,相关强度：强(0.8)、中等(0.40.79)、弱(0.2 0.39)、极弱(0 正相关 0 负相关 确定系数：=r2*100%,第三节 测量数据的统计检验,是先对总体的分布规律作出某种假说，然后根据样本提供的数据，通过统计运算，根据运算结果，对假说作出肯定或否定的决策。,第六章 教育测量数据处理,第三节 测量数据的统计检验,基本原理： 概率论中的“小概率事件实际上的不可能性”原理。 一般方法： 如果现要检验实验组和对照组的平均数（1和2）有没有差异，其步骤为： 1.建立虚无假设，即先认为两者没有差异，用H0: 1=2 表示； 2.通过统计运算，确定假设H0成立的概率P； 3.根据P 的大小，判断假设H0是否成立。,第六章 教育测量数据处理,第三节 测量数据的统计检验,Z检验-大样本（样本容量大于30）平均数差异的显著性检验 1.建立虚无假设H0: 1=2 ，即先假定两 个平均数之间没有显著差异。 2.计算统计量Z值： 3.依据计算所得Z值、Z值与差异显著性关系表作出 判断。 4.结合以上分析和具体情况，作出结论。,第六章 教育测量数据处理,第三节 测量数据的统计检验,t检验-小样本（样本容量小于30）平均数差异的显著性检验 1.建立虚无假设H0: 1=2 ，即先假定两个总体平 均数之间没有显著差异; 2.计算统计量t值: 3.自由度df= n-1或df=n1+n2-2，在0.01级或 0.05级水平查t值表，找出规定的t理论值； 4.比较计算得到的t值和理论t值，推断发生的概率； 5.结合以上分析和具体情况，作出结论。,第六章 教育测量数据处理,第三节 测量数据的统计检验,2检验-计数资料的差异检验 比较两个及两个以上样本率( 构成比）以及 两个分类变量的关联性分析 , 1.建立虚无假设H0: f0=fe ; 2.计算统计量2 值: 3.按自由度df= n-1,查df（0.01）和df（0.05）的数值表,找出理论2 值。 4.比较计算得到的2值和理论2值，推断发生的概率；,第六章 教育测量数据处理,设统计数据是r行c列: f0是实得次数（观察次数） fe是理论次数（期望次数）=nr*nc/n,n=(行数-1）*(列数-1),研 究 方 法,第六章 教育测量数据处理,第三节 测量数据的统计检验,例题一： 某项教育技术实验，对实验组和控制组的前测和后测的数据分别如下表所示，比较两组在前测和后测中是否存在差异。,第六章 教育测量数据处理,第三节 测量数据的统计检验,例题二： 为检验某新的教学方法的效果，设计对比实验，实验组采用新教学方法，控制组采用传统讲授方法。实验后，实验组10名学生和控制组10名学生测试成绩如下，请分析判断实验组和控制组成绩是否有差异。,第六章 教育测量数据处理,第三节 测量数据的统计检验,例题三： 某班的教学中采用了新的教学方法，进行前测和后测试验，随机抽取8名学生作样本，如下表所示，分析两次测试是否有差异，从而判断实验结果。,第六章 教育测量数据处理,第三节 测量数据的统计检验,例题四： 某班共有50人，随机抽取20人利用多媒体教学软件进行语文教学试验。在期终考试结束后，得知全班语文考试成绩如下表所示，其中前20人分数为参加试验的学生成绩。试通过检验样本平均数与总体平均数之间的差异程度判断该试验的效果。,第六章 教育测量数据处理,第三节 测量数据的统计检验,例题五： 随机抽取某学校数学系和中文系学生各100名，对某一英语教学软件的效果进行评价，根据下表所示的评价结果测试两系学生的评价态度的差异。,第六章 教育测量数据处理,第三节 测量数据的统计检验,例题六： 某项关于物理实验的多媒体教材开发完成后，送给有关学校的物理教师征询意见并发出问卷，请根据以下数据分析44位物理教师对于A问题的回答是否存在显著差异?B问题呢？,第六章 教育测量数据处理,第四节 测量数据的S-P结构分析,项目反应模式 是测验中被试对项目所作反应的正误组合形式。 不同的项目反应模式对应着不同的能力水平，反映了不同被试对学习内容的掌握程度。特别是，在异常反应模式中，包含了很多重要的诊断、评价信息。 只有综合总分与项目反应模式的分析结果，才能达到诊断学生学习状况和调整教学计划的双重目的。,第七章 教育信息的结构分析,第四节 测量数据的S-P结构分析,项目反应模式 S-P 表分析法，则是一种把每一个学生的答对、答错模式与团体的反应模式进行对照分析，从而获得所需要的信息的方法。,第七章 教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表概念 是一种将测试、练习的得分数据排成一览表，并对学生和问题的特性以视觉化的图表进行结构分析的方法. 可为学习的诊断、教学的评价提供重要的信息.,第七章 教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表结构 以N个学生(Students)数据作为纵轴，n个问题(Problems)数据作为横轴作成一览表，该表取学生和问题的第一个字母，故称之为S-P表.,第七章 教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表制作 1.确定项目得分表中的元素 a.选择回答： b.记分回答： 2.基本统计,第七章 教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表制作 3.行列重排 分数相同的学生,两种方法: (1)计算协方差: (2)分别计算所答对的全部 项目的人数总和,累积项目 数大的排在前面. 对项目排序也同理.,第七章 教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表制作 4.S曲线 和P曲线,第七章 教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表,第七章 教育信息的结构分析,第四节 测量数据的S-P结构分析,差异系数与注意系数 1.差异系数 用于表示S曲线与P曲线不一致程度. S曲线和P曲线间所包围的面积 S-P表的总面积之比来表示 差异量与学生数、问题数和学生的正答率有关。 为了使衡量差异程度的量度标准化，引入: 0.7*差异量 正答率*(1-正答率),第七章 教育信息的结构分析,差异系数D*=,第四节 测量数据的S-P结构分析,差异系数与注意系数 2.注意系数 学生得分模式 问题得分模式 实际反应模式与标准变量的协方差 完全法反应模式与基准变量的协方差 其中,完全反应模式是指位于S曲线左测的全部为1，位于S曲线右侧的全部为0的学生得分模式.,第七章 教育信息的结构分析,第四节 测量数据的S-P结构分析,差异系数与注意系数 2.注意系数,第七章 教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P分析 曲线位置、形状： 得分率、平均正答数、差异量、断层与幅 个别模式： 学生、问题、差异系数,第七章 教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表分析法的特点及存在的问题 作为一种分析处理测验数据的方法，S-P表分析法与一般测验理论或因子分析法相比，在基本性质、分析方法以及适应范围等方面都有较大的差别。 S-P表分析法是最适合于分析形成性测验数据的方法。它的数学模型很简单，分析程序容易掌握，分析结果一目了然，量化指标的计算也十分方便。S-P表分析法存在的主要问题是其数学理论不完善。它的分析结果不具有普遍意义上的统计推断特性，各种量化指标的评判标准都是建立在经验的基础之上。因此，S-P表分析法未能发展成为一种具有一定普遍意义的测验理论。,第七章 教育信息的结构分析,第五节 测量数据的IRS分析,IRS (Item Relational Structure Analysis) 一种结构分析法,基于学生对各个问题(项目)的理解程度排序，对问题间的关联结构进行分析. 通常是以图来表示问题的关联结构.,第七章 教育信息的结构分析,第五节 测量数据的IRS分析,IRS基本原理,第七章 教育信息的结构分析,第五节 测量数据的IRS分析,顺序系数 表示顺序程度的标度 从问题i到问题j的顺序系数R*ij (1)R*ii=1 (2)若c+d=0, R*ij=1 a+c=0, R*ij=1,第七章 教育信息的结构分析,第五节 测量数据的IRS分析,IRS图的构成法 1.作出S-P表 2.项目系数顺序表 3.IRS矩阵：阕值(P171) (1)若rij*=0.5，顺序性ij成立,项目顺序系数表中对应的位置置为1; (2)若rij*j不成立,项目顺序系数表中对应的位置置为0; 4.构成IRS图,第七章 教育信息的结构分析,第五节 测量数据的IRS分析,IRS图的构成法,第七章 教育信息的结构分析,第五节 测量数据的IRS分析,IRS图的性质 1.单调性 2.正相关性,第七章 教育信息的结构分析,第六节 测量的质量分析,信度 效度 区分度 难度,第六章 教育测量数据处理,第六节 测量的质量分析,信度 1.概念:测试的可信程度,是测试结果一致性 和稳定性的度量 信度系数 xx=St2/Sx2=1-SE2/Sx2 (1)01 (2)0.950.99:高可靠 (3)0.90.94:一般可得的最好值 (4)0.80.9:较可靠 (5)0.7:误差太大,数据不能使用,第六章 教育测量数据处理,第六节 测量的质量分析,信度 2.信度系数的计算 (1)再测试法 12 =两次测试的相关系数r12 (2)平行测试法 12=rab (3)折半法 12 =2*rab/(1+rab) 12=2(1-(Sa2+Sb2)/St2),第六章 教育测量数据处理,第六节 测量的质量分析,信度 3.评分者信度 以肯德尔(Kendall)和谐系数表达 Ri2-(Ri)2/N 1/12*K2*(N3-N) 其中,K是评分人数 N是试卷数 Ri第i题的和 例:,第六章 教育测量数据处理,第六节 测量的质量分析,信度 3.评分者信度 例:6位教师评阅5道题的一份试卷,如表,W=0.93,第六章 教育测量数据处理,第六节 测量的质量分析,信度 4.信度的应用 一般学业测试的0.90 (1)个人测试分数的误差 (2)两种考试分数的比较,第六章 教育测量数据处理,第六节 测量的质量分析,效度 1.概念:测试的正确性、有效性,是测试准确性的度量 2.效度的估算 内容效度 基准关联效度 构想效度 3.效度与信度的关系,第六章 教育测量数据处理,第六节 测量的质量分析,难度 1.概念:测试的难易程度 2.计算:难度指数P (1)客观题: P=R/N R:答对的人数,N:总人数 (2)主观题: P=X/W X:平均分,W:满分 (3)试卷: P=1/W*PiWi 或 P=X/W 3.难度的测前估计,第六章 教育测量数据处理,第六节 测量的质量分析,区分度 1.概念:测试对被试者的区分程度 2.计算:区分度D (1)客观题: D=PH-PL PH:高分组通过率,PL:低分组通过率 (2)主观题: D=(XH-XL)/N(H-L) XH、XL :高、低分组总分, H、L:最高分、最低分 N：被试总人数的25% (3)相关法：得分与测试总分的相关系数,第六章 教育测量数据处理,第六章 教育测量数据处理,正态分布曲线,平均分X 、标准差S 决定了 正态分布曲线的形状和位置,标准差S越大，曲线的单峰高度越低，宽度越大，显得