03-2+测评的结果和质量分析.ppt

测评的结果和质量分析,本章内容,可靠性分析信度的含义、分类、估算影响信度的因素有效性分析效度的含义、分类、估算影响效度的因素质量分析适合度、区分度项目的独立性结果的转化标准分数、常模,测量的误差及其检验,误差是指在测量中与目的无关的因素所产生的不准确或不一致的结果。误差的种类随机误差、系统误差误差的原因测验自身、施测过程、被试,一、可靠性分析,1.1信度的含义：信度指测评与选拔结果的准确性或一致性程度。1.2信度的分类：再测信度复本信度内在一致性信度,（1）重测信度,含义：指同一测验在间隔一段时间先后两次测试同一组被试所得两次分数的一致性程度。估算方法：稳定系数,（2）复本信度,含义同一测验的不同版本（副本）对同一组被试测验结果的一致性程度。估算方法：等值系数,（3）内在一致性信度,含义指所测素质相同的各测评项目分数间的一致性。估算方法：内在一致性系数项目折半分析a系数,（4）评分者信度,含义多个测评者对同一组被测样组进行评分的一致性程度。估算方法：肯德尔和谐系数,一、可靠性分析,1.3影响信度的因素：测评者被测者测评工具测评环境,二、有效性分析,2.1效度的含义效度是测验有效测量测量目标的程度。2.2效度的分类内容效度结构效度关联效度,（1）内容效度,指测题选择的恰当性，也就是测验题目对整个测量内容的代表性。内容效度高指测题对整个测量内容的覆盖面广，测题是测量内容中的重点、要点和主要的实质性内容。内容效度一般由专家通过资料研究和逻辑分析而作出判断。,（2）结构效度,指测验结果与理论构想的一致性。测验内的方法：通过研究测验内部结构来评估测验的结构效度，如搜集内容效度资料、统治信度资料、项目相关资料等。测验间的方法：通过与其它测验的比较来评估新测验的结构效度。,（3）关联效度,含义：效标资料与测验结果的一致性。根据效标与测验分数是否可以同时获得，分为同时效度和预测效度。同时效度：效标资料与测验分数同时获得，预测后马上可以估计效度。预测效度：效标资料要在测验以后较长一段时间后才能获得。,二、有效性分析,2.3影响效度的因素：测评者被测者测评工具效标因素信度因素,三、质量分析,3.1项目的适合度指测验项目的难易程度3.2项目的区分度反映测评工具区分应试人心理特征差异性的指标。3.3项目的独立性指测验项目之间不相关或者低度相关。,3.1项目的适合度,影响项目适合度的因素内容本身的难易程度测验的编制技术被试的知识经验有关测验的适合度具有相对性。正因为如此，必须进行试测。,3.1项目的适合度,（1）是非题、选择题，用通过率来表示适合度P=R/NR试题答对或通过该项目的人数N全体考生人数,3.1项目的适合度,（2）多项选择CP=(KP-1)/(K-1)CP校正后的试题适合度P校正前的试题适合度K选择项的数量校正后的适合度值要低于校正前的适合度值。一般认为适合度在0.30.7比较合适，整份试卷的适合度指最好把握在0.5左右。,3.1项目的适合度,（3）论述题P=X/XmaxX全体被试在某一项目上的平均分Xmax该项目的满分,3.1项目的适合度,难度的大小是否合适还取决于测试目的；同时，与测试分数的分布有关。,分数,分数,人次,人次,3.2项目的区分度,P=(PH+PL)/2PH高分组的通过率PL低分组的通过率D=PHPLD区分度指数区分度指数高，区分能力越强,3.2项目的区分度,P,D,区分度与难度的关系,3.3项目的独立性,四、成绩的标准化,指测验的编制、实施、计分和解释程序的一致性。测验计分和解释的标准化，只要有详细同意的标准，并且测验分数只能与一个确定的参照标准相比较。参照标准有标准参照、常模参照。,标准参照,名次百分位法：PR=100-(100R-50)/NZ分数：Z=(X-X)/S.S为原始分数的标准差T分数：T=100Z+50标准九分：4%7%12%17%20%C量表分数：1%3%7%12%17%20%斯