信度与效度分析PPT课件

-、1、第二种信赖度和有效性的分析方法，-、2、根据调查目的设计的问卷是测量工具。 其质量高低对调查结果的真实性、适用性等有着决定性的作用。 为了保证问卷的可靠性和有效性。 在形成正式问卷之前，必须对问卷进行测试，对测试结果进行可信度和有效性分析，根据分析结果筛选问卷项目，调整问卷结构，提高问卷的可信度和有效性。 分析问卷的可信度和有效性决不是疣蛇足，而是研究过程中不可或缺的重要环节。 可靠性和有效性的分析方法有逻辑分析和统计分析。- 3、第一节信赖度分析方法、第一、信赖度的概念、信赖度(Reliability )是指，基于用测定工具得到的测定结果的一贯性和稳定性，反映客观的东西被测定出的特征的真实性的测定指标。 一般地，两次或两次测量的结果越一致，误差越小，可靠性越高。- 4、可靠性也称为稳定性或精度。 在相同条件下，对相同的客观事物进行多次测定，反映测定结果的相互适合度和一致度，说明数据的可靠性。 使用相同的测量工具反复测量某个客观的东西时得到的结果的一致度越高，该测量工具的可靠性越高。- 5、误差(error )是对事物某一特征的测定值偏离真值的部分，即测定值与真值之差、样品统计量与整体参数之差。二误差分类、-、6、1 .采样误差、二误差分类、采样误差(sampleerror ) :采样指标与整体指标之间及各采样指标之间的差异。 测量的优劣没有必然关系，在进行可靠性和有效性分析时，采样误差可以忽略。- 7、2 .系统误差(systematicerror )、系统误差是指偏差(测量结果从真值、bias系统地偏离)引起的错误结果，与随机误差不同，可以进行校正和消除。- 8、3 .随机测量误差、随机测量误差(randommeasurementerror )是指即使在测量中消除了系统误差，由于各种偶然的影响，同一个体的多次测量结果也会产生不匹配，测量结果的偏差往往没有方向性。 可靠度主要受随机测量误差的影响，9，问卷测量中的测量误差通常来自两个方面：一个是问卷测量中产生的误差，也被称为测量误差(measurementError )，也称为随机误差(randomerror )。 第二是由问卷(尺度)的结构质量引起的误差，称为系统误差(systemError )。 测量误差占测量结果的比例作为估计测量误差大小的尺度的mentermenterrrrraliationsystemerrorality，-，10，可靠性。 可靠度可定义为真分数的方差和实测分数的方差之比，在真分数的变异都能够用真分数的变异来解释时，测定误差为0，在这种情况下，测定结果的可靠度为1。 如果用变异来表示、实测值、真值、系统误差、测量误差、-、11、和测量结果的可靠性，则理论上代表实际得分的方差的误差方差，其应代表真得分的方差。、12、可靠性有两个意义：相同的个体在不同的时间、使用相同的测量工具测量、复制测量、在不同的场合测量，是否能得到相同的结果，即测量结果是否因时间、场所等因素而变化。 随机误差是否能减少对测试结果的影响，测量工具能否反映想要测量的真相，即测量结果是否有稳定性、可靠性、可预测性。 好的测量工具稳定可靠，多次测量结果必须前后一致。13、可靠性指标多用相关系数表现，大致分为稳定系数(时间上的匹配性)、等值系数(形式上的匹配性)和内在匹配性系数(项目上的匹配性)三种。 三、可信度的种类和计算方法和评价，可信度主要指测量工具是否正确。可信度分析涉及问卷测量结果的一贯性和稳定性，其目的是如何控制和减少随机误差。14、3、可靠度的种类和计算、可靠度主要分为4个类别：再测定可靠度(Test-retestReliability )的拷贝可靠度(Alternate-formReliability )的内部完整性可靠度(internalc 的评价者可靠度(ScorerReliability) -、15、再测定可靠度是指，使用相同的测定工具，对同一组的被测试者以一定时间间隔重复测试，两次测试结果的相关度。 再测定可靠度为1 .再测定可靠度，(1)计算两次测定结果的相关系数，经过统计检查，当相关关系有统计学意义时，测定工具的可靠度高，否则被认为可靠度低。 同时，测量工具的再测量可靠性可接受的标准也提出了两次测量的相关系数在0.7以上。16、再测定可靠度的计算方法、-、17、1 .再测定可靠度，(2)对两次再测定结果进行两个相关样品的差异的统计检查，差异有统计意义则测定工具的可靠度低，否则认为可靠度高。18、再测定信赖度法特别适用于事实式问卷调查，性别、出生年月日等在两次实施中没有什么差异，很多被实验者的兴趣、兴趣、习惯等在短期内也没有明显变化。 如果没有突发事件，受试者的态度和意见发生骤变时，这种方法也适用于态度和意见式问卷。 再测可靠度法需要对同一样品进行两次测定，因此受试者容易受到各种事件、活动、他人的影响，而且间隔的长度也有一定的限制，所以实施上有一定的困难。 1 .可信度的再测量、-、19、可信度的再测量方法，让同一组的被实验者一次填写两个问卷的副本，计算两个副本的相关系数。 在复印可靠度法中，除了两个复印的表现方式不同之外，要求内容、形式、难易度、与问题项目对应的问题的方向等完全一致，但在实际的调查中，很难使问卷达到这种要求，所以采用这种方法的人很少。 2 .复印可靠性、-、20、2 .复印可靠性、复印通常是基于相同设计说明分别创建的两个并行调查表，即，主题不同但内容相似的两个调查表。 复制可靠性也被称为等值性系数。 两个复印的间隔为一定时间或同时给予相同回答者的分数的相关系数是复印的可靠度。21、缺点：复印不容易时，容易出现顺序效果，容易受练习影响的复印可靠性只是问卷内容的误差，对回答者自己的误差等没有反应。22、3 .半可靠度(split-halfreliability )、半可靠度经常用于不可重复调查的情况。 其计算方法将调查的项目分为两部分，通过计算这两个测定结果的相关系数r，也称为一半的可靠度系数，以此为基准测定尺度整体的可靠度。23、3 .一半可靠度、一半可靠度把调查项目分成一半，计算一半得分的相关系数，再估计尺度整体的可靠度。 半信半信度是内在匹配性的可靠度，测定了两个问题点的得分间的匹配性。 这种方法一般不适用于事实问卷(例如年龄和性别无法比较)，常用于态度和意见问卷的可信度分析。 在问卷调查中，态度测定最常见的形式是李克特量表。 使用、24、3 .半信赖度、半信赖度来评价信赖度时，一个要注意用问卷项目测定的是相同的特质。第二个是尺度包含反意问题项目时，首先要把反意问题项目的得分反转，保证各问题项目的得分方向的一致性。 第三，将所有问题分成奇偶校验或前后尽可能相等的两部分，计算两者的相关系数(rhh，即一半尺度的可信度系数)，最后采用斯皮尔曼-布朗公式求出整个尺度的可信度系数(ru )。25、问卷总分的方差，PS是回答该问题的人数占总回答人数的比例，PS可以看作该问题的难易度，PS=1- PS。公式中的n是问卷中包含的问题项目总数.4.库得- Richardson可靠度(KuderRichardson )，库德- Richardson可靠度是适合计算“正确还是错误”的非问题的同质性可靠度，计算所有可能的半可靠度最代表性的计算公式是库德-理查森公式：26，cronbachs系数是Cronbach在1951年建立的，用于评价问卷的内部完整性。 系数取0到1之间的值，系数越高，可靠性越高，问卷的内部一致性越好。 Cronbachs系数不仅适用于二级得分问卷，也适用于多级得分问卷。 5.Cronbachs可靠度系数、-、27、Cronbach可靠度系数是现在最常用的可靠度系数，其计算式如下。 5.Cronbachs可靠度系数，-、28，由式可知，系数是尺度各项目得分间的一致性，属于内部一致性x可靠度系数。 该方法适合态度、意见式问卷的信度分析。 5.Cronbachs可靠度系数，-，29，系数具有以下性质： (1)系数是所有可能的半可靠度的平均值；(2)系数是估计可靠度的最低限度、30、低可靠性：0.35、中可靠性：0.350.70、高可靠性： 0.70一般来说，问卷的系数在0.8以上。 Cronbachs值均达到0.85以上，表示问卷可信度良好。31、6 .评分者信赖度(inter-scorerreliability )、评分者信赖度的方法是随机提取相当数量的问卷，由2名评分者按评分规则得分，然后根据各问卷的分数计算相关系数，从而获得评分者的信赖度。 评价者的信赖度可以是评价者两次评价的相关系数。 如果多个评分者或1个评分者进行2次以上的评分，则可以采用肯德尔调和系数和Kappa系数。 肯德尔调和系数用于等级数据，Kappa系数用于定性数据。 影响、32、4、可靠性的要素是被试者侧的主试验侧的测定脚本侧的测定工具侧的2次测定的时间间隔、-、33、提高可靠性的方法，问卷的可靠性越高、人、时、地、物的干扰越低，其反应的事实和可靠性越高，因此进行调查通常，提高问卷可信度的方法有：34，(1)适当延长问卷长度，问卷主题多，在一定程度上消除了偶然的影响，提高了问卷的可信度。 然而，问卷长度的增加不一定与问卷的可信度的增加成比例，如果可信度系数小，就加长问卷的长度，问卷的可信度系数增加大，而如果可信度系数大，延长问卷的长度对可信度系数的影响就小。35、(2)问卷难易度适中，问卷问题难易度过高时，问卷得分一般过低，问卷主题难易度太小时，问卷得分普遍较高。 问卷的主题是难还是容易减少了问卷得分的差异，减少了得分的分散，降低了问卷的可信度。36、(3)问卷的内容尽量同质，内容是同质的问卷，要求回答者具有相同的能力、知识和技能。 所以，为了提高问卷的信赖度，问卷的内容必须尽可能同质。37、(4)测试时间足够，问卷调查必须保证大多数回答者都能在规定的时间内完成测试。 如果回答者不能从容地回答所有问题，问卷的得分并没有反映回答者的真实情况。38、(5)考试顺序要统一，问卷的主题要统一，指导语、回答问题的方式、评分答案的方法、问卷的时间等要统一。 这些是问卷可靠的基本保证。39，例1世界卫生组织的生存质量量表(WHOQOL-BREF )包含24个问题项目，从生理、心理、社会关系和环境领域考察个人的生存质量。 量表的结构如表1所示。使用量表调查了47名患者，尝试了环境领域的信赖度分析。 环境领域包括8个项目，各项目的内容、平均得分和方差等分别为表2 .40、表1WHOQOL-BREF尺度结构，-、41、表2环境领域各项得分情况和领域总分的相关分析，-、42、三叶草可信度：折扣率：以14项为前半，58项为后半计算第14个问题项目得分的总和(h1 )计算第58个问题项目得分的总和(h2 )。 计算h1和h2的相关系数。 因此，折扣率系数，注：环境领域总分等于8个问题项目得分的总和*:-，43，例2在关于社会支持的研究中，研究者用社会支持尺度测试了30名被实验者的社会支持情况。 尺度包括来自家庭内的两个支持和来自家庭外的两个支持，分别是“父母的支持”、“亲戚的支持”、“朋友的支持”、“同学的支持”，各自的回答反映了在15个等级的评价中获得社会支持的人数。 1表示否，2少，3表示中，4表示多，5表示大部分，结果如下表所示。 评价尺度的半可靠度和克伦巴系数.-，44，-，45，有效性(Validity )表示测量工具能正确测量想要测量的特性的程度，即是否测量了想要测量的特性。 例如，如果知识水平的测量结果是逻辑能力，则该测量完全无效。 在标准测试中，有效性比可靠度更重要。 第二节的有效性分析，-，46，一，有效性的概念，有效性意味着测量工具的正确性，即测量结果能反映期望的测量特性的程度，二是测量工具对测量目标的测量精度和真实性(测量的程度)。 有效性是具有相对性、连续性、间接性的概念。 比如，尺度是否测定了生命的质量，身体功能的尺度是否测定了身体功能，其程度如何？47、表示测定的有效度系数，表示有效变异数，表示总变异数。 在测量理论中，有效度被定义为一系列测量中与测量目的相关的真正变异数(即有效变异)和总变异数之比：-、48，有效度具有特殊性和相对性。 即，每个测量工具仅对于特定目的有效，只能对该特定项目进行正确的测量，或者测量的有效性始终针对要解决的问题，即，目标应用而建立。49、二、有效度分析的意义、有效度是问卷调查研究中最重要的特征，问卷调查的目的是测量有效度和得出结论，有效度越高，该问卷的结果所表示的行为的真实度越高，就越能达到问卷的目的问卷的正确性和有效性通过问卷的有效性来划线，反映了问卷系统误差的控制程度。50、收集大量资料和证据验证有效性的过程称为有效性分析(validati