不错的调查问卷的信度与效度ppt课件

1、 调查技术是国际上通行的科学研讨的 主要方法之一；在我国采用调查技术进展科学研讨， 都是非常普遍的景象；，调查设计的资料相对容易得到， 样本量相对较大，从中可 以得到非常科学、有意的 结论。效度？信度？whats reliability? whats validity?调查询卷的效度、信度2021年5月24日Research Center of Epidemiology and Health Statistics, Capital University of Medical Science 郭秀花 教授题 目 一、 Questionnaire Validity 二、 Example of Va

2、lidity 三、 Questionnaire Reliability 四、 Example of Reliability 五、 The correlation between Reliability and ValidityMain ContentPreparative Knowledge1.误差公理 误差(error)是指对事物某一特征的度量值偏离真实值的部分，即测定值与真实值之差，样本统计量与总体参数之差。 没有一项研讨推论可以到达百分之百的真实。 No study is free of errors, the inferences are never perfectly valid.

3、误差公理：实验结果都会有误差，误差自始至终存在于一切科学实验的过程之中。 2.误差的种类(types of error) 1随机误差random error 随机误差是由不确定缘由引起的，不可防止和消除。 其偏离总体的方向不能确定。包括随机丈量误差和抽样误差。 随机丈量误差random measurement error ：没有固定的倾向，可使多次观测结果有大有小。 抽样误差sample error ：由于抽样呵斥的样本目的与总体目的之间的差别。2系统误差systematic error 是由于偏倚使研讨结果按照一个方向偏离总体， bias产生的错误结果，可校正和消除。 (3) 过失误差gro

4、ss error)是由于科研设计错误，或实验者的客观片面、大意大意引起的误差。必需防止和剔除！ 问卷检验中丈量误差通常来源于两个方面： 一是产生于问卷检验过程中的误差，称为丈量误差measurement Error，也称为随机误差random error； 二是由问卷的构造质量呵斥的误差，称为系统误差system Error。measurement Error reliabilitysystem Error validity 一、调查询卷的效度The validity of a questionnaireThe validity of measuresThe question of valid

5、ity is how far can we be sure that a measure really does reflect the concept to which it is supposed to be referring. 效度validity通常是指问卷的有效性和正确性，亦即问卷可以丈量出其所欲丈量特性的程度。 对于一个规范检验来说，效度比信度更为重要。1.效度分析的意义 效度是问卷调查研讨中最重要的特征，问卷调查的目的就是要获得高效度的丈量与结论，效度越高表示该问卷检验的结果所能代表要检验的行为的真实度越高，越可以到达问卷检验目的，该问卷才正确而有效。 问卷的准确性或称为有效性

6、是用问卷的效度加以刻划的，它反映了对问卷的系统误差的控制程度。 2、效度的定义 效度是指问卷检验的准确性，即检验可以反映所要丈量特性的程度. 其包括两个方面的含义：一是问卷检验的目的；二是问卷对丈量目的的丈量准确度和真实性。效度是一个具有相对性、延续性、间接性的概念。 在丈量实际中，效度被定义为在一系列丈量中，与丈量目的有关的真变异数 ( 即有效变异 ) 与总变异数之比：r2xy 表示丈量的效度系数，Sv2 代表有效变异数，Sx2 代表总变异数。 3.常用的效度目的 确定一个问卷效度的方法，通常是以答卷者的问卷得分和另一个效度规范求相关，以其相关系数的大小来表示效度。假设相关系数高，那么该问卷

7、的效度就高。 普通常用的效度目的有内容效度、构造效度。(1)内容效度 (content validity) 内容效度是指问卷内容的贴切性relevance和代表性representativeness,即问卷内容能否反响所要丈量的特质，能否到达检验目的，较好地代表所欲丈量的内容和引起预期反响的程度。内容效度常以标题分布的合理性来判别，属于命题的逻辑分析，所以，内容效度也称为“逻辑效度 (logical validity)、“内在效度intrinsic Validity、“循环效度circular validity。 内容效度的评价主要经过阅历判别进展，通常思索3方面的问题： 其一是工程所丈量的能

8、否真属于应丈量的领域； 其二是检验所包含的工程能否覆盖了应测领域的各个方面； 其三是检验标题的构成比例能否恰当。 常用的内容效度的评价方法有两种： 一是专家法，即请有关专家对问卷标题与原来的内容范围能否符合进展分析,作出判别，看问卷标题能否较好地代表了原来的内容。 二是统计分析法，即从同一内容总体中抽取两套问卷，分别对同一组答卷者进展检验, 两种问卷的相关系数就可用来估计问卷的内容效度。 计算某个问题与去掉此问题后总得分的相关性情况，分析能否需求被剔除敏感性分析。 (2)构造效度(ConstructValidity) 构造效度又称想象效度，是指问卷对某一实际概念或特质丈量的程度，即某问卷检验的

9、实践得分能解释某一特质的程度。假设我们根据实际的假设构造，经过问卷检验得到答卷者实践分数，经统计检验，结果阐明问卷能有效解释答卷者该项特质，那么说此问卷具有良好的构造效度。常用确实定构造效度的方法有：(1)根据文献、前人研讨结果、实践阅历等建 立假设性实际建构；(2)对问卷标题进展分析。主要是分析问卷的 内容，答卷者对标题所作的反响，问卷题 目的同质性以及分工程之间的关系来判别 问卷的构造效度；(3)根据建构的假设性实际编制适当的问卷；(4)计算与同类权威问卷的相关;(5)以统计检验的实证方法去调查问卷能否能 有效解释所欲建构的特质。 3效标效度Criterion Validity 效标效度也

10、称为准那么关联效度Criterion-Related Validity、阅历效度Empirical Validity、统计效度Statistical Validity。效标效度是阐明问卷得分与某种外部准那么效标间的关联程度，用问卷丈量得分与效度准那么之间的相关系数表示。 普通估计效标效度的主要方法有：1相关法，即求某问卷分数与效标间的相关，所得结果即效标效度。2区分法，即看问卷分数能否可以区分由效标所划分的团体。 可以运用t检验对先后两次问卷结果平均分数进展差别性检验。假设差别有统计学意义，阐明问卷是有效的；假设差别无统计学意义，阐明问卷是无效的。 (4)判别效度Discriminant Va

11、lidity 判别效标也称为区分效标，是指运用一样的问卷测定不同特质和内涵，丈量结果之间不应有太大的相关性。(5)聚合效度Convergent Validity 聚合效度也称为收敛效度，是指运用不同丈量方法测定同一特质所得结果的类似程度，即对同一特质的两种或多种测定方法间应有较高的相关性。6.效度的评价 Spitzer以为假设满足以下5个条件就可以以为问卷有效：.1问卷有内容效度和构造效度；2在问卷制定阶段该当请有关人员提出意见，供修正和提高内容效度；3问卷经过反复运用证明了其可靠性；4假设有金规范存在，应以金规范为准；5无金规范时可由判别效度替代。7.提高问卷效度的方法1实际正确，解释清楚。

12、问卷内容要适宜问卷检验的目的，标题要清楚明了，易于了解，问卷的陈列要由易到难，标题的难度和区分度要适宜；2操作规范以减少误差；3控制系统误差。它主要包括仪器不准，标题和指点语有暗示性，答案安排不当(被试可以猜测)等, 控制这些要素可以降低系统误差, 提高效度； 4样本适宜且要预防流失。注重问卷调查的回收率。样本容量普通不应低于30；5适当添加问卷的长度。添加问卷的长度既可提高问卷的信度，也可以提高问卷的效度，但添加问卷的长度对信度的影响大于对效度的影响；6排除无关要素干扰。认清并排除足以混淆或要挟结论的无关干扰变量。 二、效度分析实例(example) 例2 对例1中的问卷检验结果进展效度分析

13、 1问卷的敏感性可靠性分析1操作过程从菜单项选择择Analyze Scale Reliability Analysis Item输入问卷的各条目或各因子包含的条目 单击“Statistics按钮，弹出信度分析统计量对话框 Descriptives for: Scale if item deleted OK Scale if item deleted:去掉当前标题整个问卷的描画统计量，即敏感性分析，包括以下内容：Scale Mean if Item Deleted:去掉当前标题问卷合计分的均数；Scale Variance if Item Deleted: 去掉当前标题问卷合计分的方差；Corr

14、ected Item-Total Correlation: 当前标题得分与去掉当前标题问卷合计分的Pearson相关系数；Squared Multiple Correlation:以当前标题为因变量，其它一切标题为自变量求得的决议系数R2；Alpha if Item Deleted: 去掉当前标题后问卷的Cronbach 系数。 2输出结果SCL90各条目的敏感性分析结果:Item Scale Scale Corrected Mean Variance Item- Alpha if Item if Item Total if Item Deleted Deleted Correlation D

15、eletedA1 31.7250 1272.7173 0.6397 0.9736E2 31.7500 1253.6282 0.8027 0.9732B3 31.8250 1261.0712 0.7408 0.9734A4 31.7500 1259.7821 0.7557 0.9733D5 31.7000 1278.2667 0.3872 0.9740C6 31.8250 1300.0455 0.0596 0.9745I7 31.9000 1279.0667 0.5320 0.9737H8 31.5750 1255.1224 0.7590 0.9733B9 31.2750 1259.2301 0

16、.6572 0.9735.E86 31.1750 1272.8147 0.3764 0.9742I87 31.9250 1277.1481 0.6231 0.9736I88 32.0500 1282.9718 0.6057 0.9737J89 32.2000 1304.1641 0.0000 0.9741I90 32.1750 1302.7122 0.1250 0.9741 普通地，在做问卷的敏感性分析时，可以将“Alpha if Item Deleted值，作为调整标题的一个重要参考根据。 假设“Alpha if Item Deleted值越大，其相对应的标题越应是首先思索调整的标题。从本次

17、问卷结果敏感性分析可以看出，量表的各个标题的“Alpha if Item Deleted值均在0.97左右变化，且变化的幅度很小。所以，就 “Alpha if Item Deleted值这项目的看量表各标题均可以保管，无需调整。这个结果能够与研讨者所采用的SCL-90辆标是一个经典量表有关。摘 要 目的：讨论调查询卷的可靠性。方法：对武警十五支队201名战士，作心思卫生自评90项调查询卷资料，利用SAS软件编程，计算Alpha可靠性系数，进展可靠性分析。结果：有6项被剔除到达要求后，=0.973569，当运用规范化数据时，=0.974102。结论：利用可靠性分析，可以从调查询卷表的数据中，提取

18、真实的、可靠性的成分。2问卷的构造效度的分析 问卷的构造效度的评价较为复杂，可用各个标题与量表各银子的相关分析和因子分析方法来反映。1利用相关分析评价问卷的构造效度 从菜单项选择择Analyze Scale Reliability AnalysisItem(输入问卷的各条目或各因子包含的条目) Statistics弹出信度分析统计量对话框 Inter-Item Correlations OK2利用因子分析评价问卷的构造效度 因子分析不仅可以评价量表构造的相合性，还可以用共性变异共性方差与总变异之比作为构造效度的衡量目的。构造效度的分析最好运用证明性因子分析，它较探求性因子分析更能阐明问题。 执

19、行Analyze Data Reduction Factor ,弹出“Factor Analysis对话框: 单击Descriptives Statistics Initial Solution Correlation Matrix KMO and Bartletts test of sphericity Continue 三、调查询卷的信度 Questionnaire Reliability 1.信度分析的意义 信度主要是指问卷能否精准(precision)。信度分析涉及了问卷检验结果的一致性和稳定性，其目的是如何控制和减少随机误差。The reliability of measures T

20、he question of reliability is to what extent does an indicator measure the same thing consistently: i.e. will people answer the same question in the same way on different occasion? 调查询卷的信度包含两层含义： 一是一样的个体在不同时间，以一样的问卷检验，或以复本检验，或在不同的情景下检验，能否能得到一样的结果，即问卷检验结果能否随时间和地点等要素而变化； 二是能否减少随机误差对问卷检验结果的影响，从而可以反映问卷所

21、要丈量的真实情况，即问卷检验结果能否具有稳定性、可靠性和可预测性。一个好的问卷必需是稳定可靠的，且多次问卷检验结果应前后一致。2.信度的定义 信度是用估计丈量误差大小的尺度，来阐明问卷检验结果中丈量误差所占的比率。 信度可定义为真实分数(true score)的方差与检验实得分数(observed score) 的方差之比，当实得分数变异可以全部由真实分数的变异解释时，检验误差就是0，这时问卷检验的信度为1。 假设用表示问卷检验的信度，实际应有 或 式中 表示真实分数的方差； 表示实得分数的方差； 表示误差的方差。3.信度的分类 信度研讨的是问卷检验结果的可靠性与稳定性，可以从不同的角度来评价

22、：1在一样条件下所得问卷检验结果的一致程度；2不同研讨者用同一种问卷同时检验所得结果的一致程度；3同一研讨者用同一种问卷在不同时间内检验所得结果的一致程度。 4.常用的信度系数1重测信度(test-retest reliability) 假定短时间内一批对象的情况并没有改动，对每个对象用同一个问卷先后检验两次，两次检验得分的相关系数就称为重测信度。重测信度是用皮尔逊积差相关系数r公式计算的。 重测信度也存在着局限性： 间隔时间长，环境影响； 假设间隔时间短，记忆影响。(2)复本信度alternate form reliability 复本通常是根据一样的设计阐明分别独立编制的两个平行问卷，即标

23、题不同但是内容类似的两份问卷。复本信度也叫等值性系数coefficient of equivalence。两个复本间隔一定时间或同时施于同一答卷者所得分数的相关系数就是复本信度。 缺陷： 如复本编制不容易，易出现顺序效应，受练习的影响； 复本信度只能反响问卷内容所呵斥的误差，无法反响答卷者本身所呵斥的误差等。(3)分半信度(split-half reliability) 当检验没有复本且检验不可防止地遭到时间的影响，只适宜用于一次检验时，可用分半信度。 分半的方法很多，普通是将奇数题和偶数题各作为一半，而非前后分半，目的是防止顺序效应。分半信度也叫折半信度，其计算方法是将问卷的标题分成对等的两

24、半，分别求出两半标题的总分，再计算两部分总分的相关系数。 运用分半信度时要留意两个问题： 一是问卷标题所测的应是同一种特质； 二是两半标题应是等值的。对问卷标题进展分半会呵斥了对整个问卷信度的低估，为此需求对分半信度进展校正，其校正公式为斯皮尔曼-布朗(Spearman Brown)公式：为分半信度 表示两半标题各自得分和之相关系数，n为原问卷相对于变化后问卷长度的倍数，计算分半信度时n=2。Spearman Brown公式要求两个分半表的信度和方差均满足齐性； Guttman: Guttman分半信度，可不满 足上述要求(4)库得理查森信度 (Kuder Richardson)库德-理查森信

25、度适用于计算“对或错的是非题的同质性信度，其是计算一切能够的分半信度的平均数。 最有代表性的计算公式是库德-理查森公式: 式中n为问卷包含的标题数. 为问卷检验总得分的方差，pi表示答对该题的人数占总答卷人数的比例，pi可视为该题的难度，qi=1-pi 。 (5)克隆巴赫信度系数 (cronbachs ) Cronbachs 系数是Cronbach于1951年创建的，用于评价问卷的内部一致性。系数取值在0到1之间，系数越高，信度越高，问卷的内部一致性越好。Cronbachs 系数不仅适用于两级记分的问卷，还适用于多级计分的问卷。 Cronbachs 信度Cronbach, L. J. (195

26、1). Coefficient alpha and the internal structure of tests. Psychometrika. 16, 297-334. It is a measure of squared correlation between observed scores and true scores. Put another way, reliability is measured in terms of the ratio of true score variance to observed score variance.其计算公式为： 式中n为问卷包含的标题数

27、，为答卷者在第i题得分的方差，为答卷者问卷检验总得分的方差。 系数有以下性质：1系数是一切能够的分半信度的平均值；2系数是估计信度的最低限制；3当问卷计分为二分名义变量时，即答案为0或1，系数与KR20值一样，即库德-理查森信度公式是克隆巴赫的系数的一个特例。 低信度：0.35, 中信度： 0.350.70,高信度： 0.70 普通地，问卷的系数在0.8以上该问卷才具有运用价值。Cronbachs 值皆达0.85以上，阐明问卷信度良好。(6)评分者信度inter-scorer reliability* 调查评分者信度的方法为，随机抽取相当份数的问卷，由两位评分者按记分规那么分别给分；然后根据每

28、份问卷的分数计算相关系数，就得到评分者信度。评分者信度也可以是一位评分者两次评分的相关系数。假设是多个评分者或一位评分者两次以上的评分，可采用肯德尔调和系数和Kappa系数。肯德尔调和系数用于等级资料，Kappa系数用于定性资料。信度系数类型 ： 重测信度复本信度分半信度Spearman Brown； Guttman库德-理查森系数克隆巴赫系数评分者信度*5.提高信度的方法 问卷的信度越高，遭到人、时、地、物的干扰就越低，其所能反响现实或让人置信的程度越高，因此在问卷实施前如何有效提高信度是问卷检验成败的关键。通常提高问卷信度的方法为：1适当延伸问卷的长度 问卷标题较多，其在一定程度上排除了偶

29、尔要素的影响，从而提高了问卷的信度。 但是问卷长度的添加与问卷的信度的添加并不总是成正比的，当信度系数较小时，延伸问卷长度，问卷的信度系数添加较大；而当信度系数较大时，延伸问卷长度对信度系数的影响就较小。2问卷的难度适中 当问卷标题难度太大时，问卷得分普遍过低；当问卷标题难度太小时，问卷得分普遍较高。问卷标题太难或太易都会使问卷得分差别减小，使实得分数方差减小，从而降低了问卷的信度。 3问卷的内容尽量同质 内容同质的问卷，要求答卷者具有一样的才干、知识和技艺。因此为了提高问卷的信度，问卷的内容应尽量坚持同质。 4检验的时间要充分 一份问卷应保证绝大多数答卷者在规定的时间内能完成检验。当答卷者不

30、能从容地回答一切标题时，问卷的得分就不能反映答卷者的真实情况。 5检验的程序要一致 问卷标题要一致，指点语、回答以下问题的方式、分收试卷的方法和问卷检验的时间等都要一致，这些是问卷有较高信度的根本保证。 四、信度分析实例 example例1 某人在新入学的大学生中随机抽取40人，组织病症自评量表SCL-90检验，以了解新生心思安康的程度，及有针对性地进展心思教育和引导，防止不测事件的发生。试就量表检验结果，对此次检验的可靠性进展分析 SCL-90量表，包含90个标题，由受试者根据本人在最近一周以内的实践感受，在：没有、很轻、中等、偏重、严重各选项中选择一个答案，每个选项分别计为0，1，2，3，

31、4分。 SCL-90分为9个因子，分别为躯体化、强迫病症、人际关系敏感、忧郁、焦虑、敌对性、恐惧、偏执和精神病性。分析对象为答卷者所选的五项答案得分，计算各因子得分和问卷总分。求各因子的各种信度系数和问卷总的信度系数。表11-2 各因子描画统计量在“Model:选项中，SPSS提供5种信度分析模型:Alpha: Cronbach 系数Split-half: 分半信度，又称 Spearman-Brown系数,其运用的前提 条件是两个分半表的信度和方差均满 足齐性。Guttman: Guttman分半信度，可不满 足上述要求Parallel:平行模型Strict Parallel:严厉平行模型量表

32、的cronbach 系数 从菜单项选择择Analyze Scale Reliability AnalysisItem:a1/b2/c3/a4/j89/i90(共90个变量) Model: Alpha List item labels OK Reliability CoefficientsN of Cases = 40.0 N of Items = 90Alpha = 0.9740量表有90个标题，量表总的Cronbach 系数为0.9740，信度较高。各因子的Cronbach 系数操作过程从菜单项选择择Analyze Scale Reliability AnalysisItem: 输入各因子的

33、条目数a1/a4/a12/a27/a40/a42/a48/a49/a52/a53/a56/a58 (躯体化因子，共12个变量) Model: Alpha OK 量表的9个因子的Cronbach 系数分别为：躯体化0.8740；强迫0.8600；人际关系敏感0.7483；忧郁0.9445；焦虑0.8517；敌对性0.6009；恐惧0.9218；偏执0.7210；精神病性0.6461。忧郁、恐惧、躯体化、强迫、焦虑因子的信度较高；人际关系敏感和偏执因子的信度尚可；但是敌对性和精神病性的信度偏低。从结果中我们还可以看出各项因子的Cronbach 系数小于问卷总的Cronbach 系数。分半信度操作过程：从菜单项选择择Analyze Scale Reliability AnalysisModel：Split-halfok总量表的分半信度总量表分半信度计算结果:Reliability Coefficients 90 itemsCorrelation between forms = 0.9147 Equ