考试评价区分度、信、效度等(综合).doc

A、试题和试卷分析一、 试题分析 对试题（考试）的性质、来源、内容范围、难度等进行概述。1、 测验内容的覆盖面如何。2、 各知识点所占的比例是否恰当。3、 试题内容的选择是否合理，是否有错题，超纲等题目。4、 各层次行为目标所占的分数比例是否恰当。如是自命题，列出试题的双向细目表。如是非自命题，要对试题分析列出考查知识细目表，或是直条图（各部分知识所占比例）。二、试卷分析（定量分析和定性分析）（一） 定量分析1、逐题统计分析（可用列表法、或统计图法）填空题，统计答对率。选择题，按选项统计，如：计算题按等级统计。如得零分人数，得满分人数，得部分分人数，计算出难度和平均分。2、 统计学生成绩频率分布情况（分数分布图）。3、 三率一分：优秀率、及格率、低分段率及平均分。要注明试卷的总分是多少，最高和最低分是多少。（二） 定性分析1、诊断：指出问题，分析原因。问题应分共性和个性，找共性问题及原因，教与学两方面都要分析。2、制定措施：改进、矫正。3、试卷的信度一方面是考试成绩期望值与实际成绩平均值的差异,考试成绩期望值一般应以平时成绩的平均值为依据确定.另一方面是考试成绩的预期及格率与实际及格率的差异.4、考试信度是考试结果的可信程度，是推测考试可信与否的最重要的量化指标。考试信度越高，说明考试分数的误差越小，考试成绩越能代表学生个体的真实水平。5、试卷的效度试卷的效度包括“内容效度+结构效度”两方面.内容效度Z1=试题所含知识点数 教学大纲中应试内容知识点数之比.结构效度Z2=试题考核学生的记忆,分析和运用的各种方法及各方面解决问题的能力点数 应试包含的各方面广泛与能力点数之比.比例高则效度高.B、考试成绩评价的区分度、信度、效度等概念试卷分析的四个度：难度、区分度、信度、效度一、难度难度：指试题的难易程度，即考生在一个试题或一份试卷中的失分程度。和区分度共同决定试卷的鉴别性。一般地：试题的难度指数在0.30.7之间比较合适，整份试卷的平均难度最好在0.5左右，高于0.7和低于0.3的试题不能太多。1、难度的两种定义： 基本公式法 ：P=1R/N R 为答对人数，N 为全体人数。如满分150分的试题，考生平均得分108分，平均失分42分，则难度系数为42/150=0.28。难度系数的计算公式为：L=1X/W其中，L为难度系数，X为样本平均得分，W为试卷总分（一般100分或150分）。定义法，难度值小时试题难，值大时试题易，最小值为0，最大值为1。2、难度的计算：（1）主观性试题的难度 极端分组法 P=1(XH+XL)2W XH：高分组的平均得分（前27%），XL：低分组的平均得分（后27%）。（2）客观性试题的难度 极端分组法： P=1（PH+PL）2 PH=RH/n 叫高分组通过率，RH：高分组答对人数，n：总人数的前27%。PL=RL/n 叫低分组通过率，RL：低分组答对人数。二、区分度 1、试卷的区分度：区分度高的考试，优秀、一般、差三个层次的学生都有一定比例，如果某一分数区间学生相对集中，高分太多或不及格太多的考试，区分度则低。区分度值 -1+1 0.40.30.390.20.29 0.19效果越一般情况很好较好较差需改很差淘汰同一试题的考试成绩采用不同方法所得的区分度的值是不同的。2、 区分度的计算方法：法一、基本公式法 ：D（HL）N（D代表区分度指数，H代表高分组答对题的人数，L代表低分组答对题的人数，N代表一个组的人数即高分组与低分组人数之和）。法二、极端分组法：先将分数排序，P1=27高分组的难度 ，P2= 27低分组的难度区分度D =P1 P2或区分度 D = （27高分组的平均分 27低分组的平均分）（1）主观性试题：D=SHSLn(WH-WL) SH:高分组得分总数，SL：低分组得分总数，WH：该题的最高得分，WL：该题的最低得分，n为高分组（或低分组）的人数，即总人数的27%。（2） 客观性试题：D= PHPL ,或D= RHRLn（3） 把成绩从高往低排序，前50%的考生为高分组，后50%为低分组，其计算公式为：D=2（XHXL）/W其中，D为区分度，XH为高分组平均分，XL为低分组平均分，W为试卷总分（一般为100或150分）。法三、利用积差系数r 计算区分度D当两个变量都是正态连续变量，而且两者之间呈线性关系，表示这两个变量之间的相关成为积差相关。积差相关的使用条件a、两个变量都是由测量获得的连续性数据。如百分制分数。b、两个变量的总体都呈正态分布，或接近正态分布，至少是单峰对称的分布。c、必须是成对的数据，而且每对数据之间是相互独立的。d 、两个变量之间呈线性关系。 积差相关系数r的计算在计算机上是很容易进行的。试题难度系数和区分度无直接联系，前者是反映样本总体的一个参数，后者是反映样本2个部分的参数。三、信度信度：测得结果的一致性或稳定性，稳定性越大，意味着测评结果越可靠。相反，如用某套试题对同一应试者先后两次测试，第一次80分，第二次50分，可靠性值得怀疑。信度常以两次测评结果的相关系数来表示。相关系数为1，表明测评工具如试卷完全可靠；相关系数为0，则表明该试卷完全不可靠。一般要求信度在0.7以上。1、评价信度的三种方法： 1） 重测法。用同一套试卷在两个不同时间内来测试同一批受试者，这样便获得两组分数，然后计算出两组分数的相关系数。两次测试中，学生第二次测试成绩应比第一次要高，但若该试题是比较可靠的，每个学生在两次测试中的排名次序应该基本不变。 2）交替形式法。对同一批受试者使用试题类型完全相同，难易程度相当，但具体题目不同的两套对等试卷先后进行两次测试，然后计算出两次得分的相关系数。 3）对半法。测试一次，但将整份试卷的题目按单、双数分成两组来分别计分，算出两组分数的相关系数，然后再用SpearmanBrown的公式计算整份试卷的信度系数。具体计算步骤是：将两组分数的相关系数乘以2，再除以1加两组分数的相关系数。2、 信度系数 xx=ST2SX2 ST2 叫真分数方差，SX2 为获得分数方差。信度系数的最大值为1，表示测验的可靠性高，最小值为0，表示测验的信度低。当xx0.70时，测验可用于团体间的比较。当xx0.85时，测验可用于个体之间的比较。四、测试效度：（卷面效度、内容效度、构想效度、预测效度、共时效度）测试的效度可分为以下几类：1）表面效度。指测试应达到的卷面标准，即一套测试题表面看来是否合适。例如，若一次阅读理解力的测试包括许多受试者没有学过的方言词汇，则可认为这次测试缺乏表面效度。表面效度是测试出受试者正常水平的一种保证因素。2）内容效度。指一套测试题是否测试了应该测试的内容或者说所测试的内容是否反映了测试的要求，即测试的代表性和覆盖面的程度。例如，如果某一套发音技能测试题仅仅考查发音所必须具备的某些技能，如只考单一音素的发音，而不考查重读、语调或音素在词语中的发音，那么，测试的内容效度就很低。3）编制效度。指一套测试题的诸项目对编制该测试所依据的理论的各个基本方面的反映程度。例如，以结构主义语言理论为基础，认为系统的语言习惯是通过句型而获得的，那么，强调词汇和语法环境的测试题目就失去了编制效度。4）经验效度。经验效度是一种衡量测试有效性的量度，通过把一次测试与一个或多个标准尺度相对照而得出。经验效度可分为两种：一是共时效度，即将一次测试的结果同另一次时间相近的有效测试的结果相比较，或同教师的鉴定相比较而得出的系数；二是预测效度，须采用计算相关系数的定量方法，即计算出本次试卷与另一份已被确定能正确反映受试者水平的试卷之间的相关系数。系数高则有效性大。课堂测试的效度应0.4-0.7之间，规模较大的测试其效度应在0.7以上。效度是一个相对概念，即效度只有高低之分，没有全部有效和全部无效之分。五、信度与效度的关系：1.信度低，效度不可能高。如果