信度与效度分析课件

1、二是信度和效度分析方法。第一，PPT学习与交流。根据调查目的设计的问卷是一种测量工具。其质量对调查结果的真实性和适用性起着决定性的作用。为了保证问卷的信度和效度。在形成正式问卷前，应对问卷进行测试，分析测试结果的信度和效度，筛选问卷项目，并根据分析结果调整问卷结构，从而提高问卷的信度和效度。问卷的信度和效度分析绝不是多余的，而是研究过程中必不可少的一环。信度和效度分析的方法包括逻辑分析和统计分析。2，PPT研究与交流，第一节可靠性分析方法，第一节可靠性的概念，可靠性(Re信度)是可靠性，它是指根据测量工具获得的测量结果的一致性或稳定性，反映客观事物被测量特征的真实程度。一般来说，两次或两次测量

2、的结果越一致，误差越小，可靠性越高。3、PPT学习交流，可靠性(信度)也叫稳定性或准确性。它用于反映同一客观事物在相同条件下多次测量的测量结果的相互一致或一致性，并解释数据的可靠性。当使用同一测量工具重复测量一个客观事物时，结果的一致性越高，测量工具的可靠性就越高。4、PPT学习交流中，误差(error)是指某一特征的测量值偏离真值的部分，即测量值与真值之间的差值，以及样本统计量与总体参数之间的差值。两个错误的分类，5，PPT学习与交流，1。抽样误差，两种误差的分类，抽样误差：抽样引起的样本指标与总体指标之间以及样本指标之间的差异。测量的优点和缺点之间没有必然的联系，所以在分析信度和效度时可以

3、忽略抽样误差。6，PPT学习与交流，2。系统误差是指由偏差引起的错误结果(使测量结果系统地偏离真实值，偏差)，它不同于随机误差，可以被纠正和消除。7，PPT学习和交流，3。随机测量误差(Random Measure Error)是指即使在测量过程中消除了系统误差，由于各种偶然因素的影响，同一个人的测量结果也会多次出现不一致，测量结果的偏差往往没有方向性。可靠性主要受随机测量误差的影响。8.PPT学习与交流中，问卷(量表)测量中的测量误差通常来自两个方面：第一，问卷(量表)测量过程中产生的误差称为测量误差，也称为随机误差；第二，由问卷(量表)的结构质量引起的误差称为系统误差。测量误差信度系统误差

4、效度，9，PPT学习与沟通，信度是用估计测量误差的尺度来解释测量误差在测量结果中所占的比例。可靠性可以定义为真实得分的方差与观察得分的方差之比。当观察分数的变化可以完全用真实分数的变化来解释时，测量误差为0，那么测量结果的可靠性为1。测量值，真值，系统误差，测量误差，10。PPT学习和交流。如果用方差来表示测量结果的可靠性，理论上，真实得分的方差应该用或公式来表示；表示实际得分的差异；表示误差的方差。PPT学习与交流的可靠性有两层含义：一是同一个人在不同时间用相同的测量工具、重复或在不同情况下测量时能否得到相同的结果，即测量结果是否随时间和地点而变化；二是能否降低随机误差对测试结果的影响，从而

5、反映测量工具的真实情况，即测量结果是否稳定、可靠和可预测。一个好的测量工具必须是稳定的，12，PPT学习与交流，可靠性指标大多用相关系数来表示，这可以大致分为三类：稳定系数(跨时间的一致性)，等效系数(跨形式的一致性)和内在一致性系数(跨项目的一致性)。第三章。可靠性的类型、计算方法和评估。可靠性主要指测量工具的准确性。可靠性分析涉及问卷测量结果的一致性和稳定性，其目的是如何控制和减少随机误差。13，PPT学习与交流，3，信度的类型与计算，信度可分为四类：重测信度，交替形式信度，内部一致性信度，评分者信度，和14。PPT学习和交流。重测信度是指使用相同的测量工具在一定的时间间隔内对同一组被调查

6、者重复进行的测试，以及两次测试结果之间的相关性。重测信度可以从两个方面来考察：1 .重测信度和1。计算两个测试结果的相关系数。如果在统计测试后相关性在统计上是显著的，则认为测量工具的可靠性高，否则可靠性低。也有人建议，测量工具的重测信度的可接受标准是两次测试之间的相关系数大于0.7。15，PPT学习与交流，重测信度的计算方法，16，PPT学习与交流，1。重测信度，(2)对两次重复测试结果的两个相关样本之间的差异进行统计检验，如果差异有统计学意义，则认为测量工具的信度较低，否则，信度较高。17、PPT研究和交流中，重测信度法特别适用于事实性问卷，如性别、出生日期等。这两种测试应该没有区别，大多数

7、被调查者的兴趣、爱好和习惯不会在短时间内发生明显变化。如果被调查者的态度和观点没有突然改变，这种方法也适用于态度和观点问卷。由于重测信度法需要对同一样本进行两次测试，受试者容易受到各种事件、活动等的影响，且间隔时间有限，因此难以实施。1.重测信度，18。PPT研究和交流，重复信度法是让同一组被调查者同时回答两份问卷并计算两份问卷的相关系数。重复信度法要求两个重复在内容、格式、难度和相应项目的提问方向等方面完全一致。在实际调查中，很难使问卷满足这一要求，所以很少有人使用这种方法。2。复制品可靠性，19。PPT学习与交流，2 .替代形式可靠性。副本通常是根据相同的设计说明独立编制的两份平行问卷，即

8、两份题目不同但内容相似的问卷。复制品的可靠性也称为等效系数。副本的可靠性是在一定时间间隔内或同时将两份副本应用于同一被调查者所获得的分数的相关系数。20，PPT学习与交流，缺点：如果抄写准备不容易，容易产生顺序效应，受练习影响；复本的可靠性只能反映问卷内容造成的错误，而不能反映回答者自身造成的错误。21，PPT学习与交流，3。当不可能进行重复调查时，通常使用半分离可靠性和半分离可靠性。计算方法是将调查项目分成两半，计算两半测量结果的相关系数R，也称为半信度系数，作为衡量整个量表信度的标准。22，PPT学习与交流，3。对半信度和半信度将调查项目分为两半，计算两半得分的相关系数，然后估计整个量表的

9、信度。对半信度属于内在一致性信度，它衡量两个半项得分之间的一致性。这种方法一般不适用于事实性问卷(如年龄和性别无法比较)，但常用于信度分析，23，PPT学习与交流，3。对半信度，在用半信度来评价信度时，我们应该注意：第一，问卷项目应该测量相同的特征；第二，如果量表包含反意项目，则反意项目的得分应该颠倒，以确保每个项目得分的一致性。第三，根据奇偶或前后，将所有项目分成尽可能相等的两半，计算相关系数(rhh，即半量表的信度系数)。最后，通过斯皮尔曼-布朗公式计算出整个量表的信度系数。24，PPT研究与交流是问卷总分的方差，pi表示正确回答问题的人数占被调查者总数的比例，pi可视为问题的难度，qi=

10、1-pi。其中n是调查问卷中包含的项目总数。4。库德里查德森信度、库德-理查森信度适用于计算同质性信度的“对或错”，即所有可能的对半信度的平均值。最具代表性的公式是库德-理查森公式：25，PPT研究与交流，克朗巴赫系数是由克朗巴赫于1951年创立的，用来评价问卷的内部一致性。系数在0和1之间。系数越高，问卷的信度越高，内部一致性越好。克朗巴赫系数不仅适用于两级评分问卷，也适用于多级评分问卷。克朗巴赫信度系数，26，PPT学习与交流，克朗巴赫信度系数是目前最常用的信度系数，其计算公式为：其中k为量表中项目总数，I项得分的项目内方差，所有项目总得分的方差。5。克朗巴赫的可靠性系数，27。PPT学习

11、和交流。从公式中可以看出，该系数评价量表中各项目得分之间的一致性，属于内在一致性X信度系数。该方法适用于态度和意见问卷的信度分析。克朗巴赫的信度系数，28，PPT学习与交流，该系数具有以下性质：(1)该系数是所有可能的对半信度的平均值；(2)系数是估计可靠性的最低限度；(3)当问卷得分为二元名义变量时，即答案为0或1，且系数与KR20相同，即库德-理查森信度公式是克朗巴赫系数的特例。29，PPT学习与交流，低可靠性：0.35，中等可靠性：0.350.70，高可靠性0.70。一般来说，只有当问卷的系数大于0.8时，问卷才有使用价值。Cronbachs值均在0.85以上，表明该问卷是可靠的。30，

12、PPT学习与交流，6。内部评分者可靠性。调查评分者信度的方法是随机抽取相当数量的问卷，根据评分规则给两个评分者打分；然后根据每个问卷的得分计算相关系数，得出评分者的信度。评分者的可信度也可以是一个评分者的两个评分的相关系数。如果多名评核人或一名评核人得分超过两次，可以使用肯德尔和谐系数和卡帕系数。肯德尔和谐系数用于等级数据，卡帕系数用于定性数据。31，PPT学习与交流；4、影响可靠性的因素、主测试中两次测试的时间间隔、测试场景和测量工具；32、PPT学习和交流可以提高可靠性。问卷的信度越高，来自人、时间、地点和事物的干扰越小，反映事实或使人相信的程度越高。因此，如何在问卷实施前有效提高信度是问

13、卷成败的关键。通常，提高问卷信度的方法有：33、PPT学习与交流，(1)适当延长问卷长度，问卷中存在很多问题，在一定程度上消除了偶然因素的影响，从而提高了问卷的信度。然而，问卷长度的增加并不总是与问卷信度的增加成正比。当可靠性系数较小时，系统的可靠性，35，PPT学习与交流，(3)问卷的内容尽可能同质，同质的问卷要求被调查者具有相同的能力、知识和技能。因此，为了提高问卷的可靠性，问卷的内容应尽可能保持一致。36，PPT学习与交流，(4)测试时间应充足，问卷应确保绝大多数被调查者能在规定时间内完成测试。当被调查者不能平静地回答所有的问题时，问卷的分数就不能反映被调查者的真实情况。37，PPT学习

14、与交流；(5)统一考试程序，统一问卷题目，统一指导语言、回答问题的方式、收集试卷的方法和问卷测试的时间，这是问卷高可靠性的基本保证。38，PPT研究和交流，例1世界卫生组织生活质量量表(WHOQOL-BREF)包含24个问题，从生理学、心理学、社会关系和环境等领域考察个人的生活质量。秤的结构见表1。用该量表对47例患者进行了调查，并对环境场的信度进行了分析。环境领域共有8个项目，每个项目的内容、平均得分和方差列于表2。39，PPT研究交换，表1，WHOQOL-BREF量表结构，40，PPT研究交换，表2，环境领域各项目得分与该领域总得分的相关分析，41，PPT研究交换，克朗巴赫信度系数3360

15、和半信度系数：上半年共分14个问题项。计算第14个问题项(h1)的分数总和；然后计算第58个问题项的得分总和(h2)。计算h1和h2的相关系数，然后折叠可靠性系数。注：*环境领域的总得分等于8个问题项目得分之和；*:42、PPT研究和交流，例2在一项关于社会支持的研究中，研究者用社会支持量表测试了30名受试者的社会支持。量表包括两项家庭内部支持和两项家庭外部支持，即父母支持、亲属支持、朋友支持和同学支持。每个项目都用1- 5分的评分标准来回答，以反映所获得的社会支持的数量。1表示从不，2表示较少，3表示中等，4表示较多，5表示最多。结果见下表。尝试计算量表的半信度和克朗巴赫系数。43，PPT学习和交流，44，PPT学习和交流，有效性是有效性，这意味着测量工具可以准确地测量待测量特性的程度，即，是否测量待测量特性。例如，如果知识水平测量的结果证明是逻辑能力，那么这个测量就没有任何有效性。对于标准测试，有效性比可靠性更重要。第二部分是效度分析，45。PPT学习和交流。首先，有效性的概念是指测量工具的准确性，即测量结果能够反映被测量特征的程度。它包括两层含义：第一，测量的目的(被测量的是什么)；第二，测量工具对测量目标的测量精度和真实性(测量程度)。有效性是一个具有相对性、连续