第4讲 测量的信度与效度.ppt

第4讲测量的信度与效度 第1节信度分析 1 信度分析原理 2 在SPSS上实现信度分析第2节效度分析 1 效度分析原理 2 在SPSS上实现效度分析第3节信度与效度的关系 第1节信度分析一 信度分析原理1 信度的概念信度是指对测度一致性程度的估计 信度分析就是要探究调查的可靠性 就是指被调查者表达其意见的准确性 信度也称为可靠度 指的是一份量表所测得的分数的一致性 consistency 与稳定性 stability 2 信度的估计方法测量的误差总是难免的 真实值与测量值的关系可以表达为 式中 T为真实值 B为偏差即系统误差 E为测量误差即随机误差 由于系统误差很难分解 因而有时将系统误差包含在真实值中 上式可以简化为 对于测量误差E 一般假定它的期望值是0 与真实值相独立 在此假定下 可以证明 实得分数和真分数的总体均值相等 实得分数的方差等于真分数的方差与误差方差之和 调研人员应运用所掌握的统计知识 分析其是属于系统误差还是属于随机误差 系统误差会使调查结果有误 所以应尽量避免 随机误差可通过提高样本代表性 增大样本量来减少 信度一般规定是 真分数的方差在总体方差中所占的比重 即信度系数 信度系数越大 表明测量的可信程度越大 信度的估计方法有许多 比较易于使用的是相关系数的方法 一般采用同一问卷进行两次调查 再计算其相关系数 3 信度的类型 1 再测信度 RetestReliability 再测是指在不同时间的相同测验 使用同一测量量表 对同一受测群体 在不同的时间前后测试两次 再计算两次测试结果的相关系数 该系数即为再测信度 重复测量时 要注意时间间隔的合理控制 如果时间间隔太短 受测者可能还记忆犹新 容易造成信度偏高 如果时间间隔太久 可能环境条件的改变 或者受测者心智成长会影响再测结果 从而造成信度偏低 因而时间间隔应随测验的目的与性质而定 由于旅游者流动性太强 因而不适宜使用再测信度分析 2 复本信度 Alternative FormReliability 当某一套量表有两种以上版本时 可以替换使用 根据一组被调查者接受两个复本测量的数值来计算相关系数 以避免再测信度的缺陷 复本是指内容相似 难易度相当的两份量表 对同一受测群体 第一次使用A份测试 第二次使用B份测试 两次分数的相关系数即为复本信度 复本得分的差异是由量表的内容造成的 而非时间造成的 复本信度有两个优点 一是它不会受记忆效用的影响 二是对测量误差的相关性通常比再测法低 3 折半信度 Split HalfReliability 将同一量表施测后的题目分成两半 分别计算这两半的总分及其相关系数 此一相关系数即为折半信度 由于实际上折半信度系数会比全部题目放在一起计算获得的信度低 所以求得的折半信度需要进一步修正 折半信度的优点在于只需要施测一次 因而可以节省人力 物力和时间 但由于折半信度需将一份量表分成两半 分法不同 所获信度就会不同 如可以将测量结果按题目的单双号分成两部分 4 克朗巴哈 系数 Cronbach CronbachL J 于1951年提出了一种计算问卷或测验的测量工具的信度 称为Cronbach 系数 当一个研究任务项由很多题目组成 每个问项都与研究任务项相关 若以总分的方差与问项的方差作为测量信度的指标 即为 系数 如果每个题目都是测量相同的理论维度 则总和的方差会大于每个题目的方差之和 每个理论维度下 必须至少有两题以上才能计算信度 若只有一个题目 则信度值为1 设一份量表包括n个项目 x1 x2 xn 假设这n个项目的分数都与真实分数T有关 即每一个项目xi除与T有关外 也有独立的误差项Ei 即令量表总和为H x1 x2 xn 当题目间的相关系数越大时 系数也会越大 当题目数目n越多时 值越大 越接近于0 越接近于1 故 系数也会越接近于1 要做信度分析须先检查每个题目是否都是同方向的 即都是正面问法 反向问题需要做处理后才可以加入分析 在计算 系数时 应该注意有些调查量表测量的内容包含几个领域 这时宜分别计算各个领域的 系数 克朗巴哈 系数适用于项目多重计分的测验数据或问卷数据 可以用该系数测量Lickert量表的信度 在基础研究中 信度至少应达到0 8才可接受 在探索性研究中 信度只要达到0 7就可以接受 在旅游调查测量实践中 信度只要达到0 6即可接受 系数通常与量表题目数量有关 题目数量越多 系数就越大 系数的判断标准 二 克朗巴哈 系数的手工计算以一份有8个题项的量表为例 8个题项均为正向题 受试样本数有6位 采用Likert5点量表填答 获得调查结果如下表 计算获得描述性统计量如下表 可以利用Excel软件进行有关计算 第8行计算均值 第9行计算标准差 第10行计算方差 Cronbach 系数的计算公式为 已知 题项n 8 8题加总后量表总分的方差S2 3 467 8个题项的方差总和 1 533 三 在SPSS上实现克朗巴哈 系数的计算第一步 按Analyze Scale Reliability打开主对话框 第二步 在左侧的源变量框中选择变量进入Items框 作为分析变量 第三步 在源变量框的Model选项框中 选择Alpha 信度系数 第四步 在主对话框 单击OK按钮 提交运行 第五步 判断计算结果是否可以接受 第2节效度分析一 效度分析原理1 效度的概念效度就是正确性程度 即测量工具在多大程度上反映我们想要测量的概念的真实含义 效度越高 表示测量结果越能显示出所要测量的对象的真正特征 2 效度的估算方法与评价测量的效度通常以测量数值与其所要测量的特性之间的相关系数来表示 效度系数一般规定为与测量目的相关的分数方差在总体方差中所占的比重 式中 为个体在与属性有关的共同特征上所造成的变异量 为在某测量上所得数值的总变异量 3 影响效度的因素调查提纲的科学与否 调查程序选择是否得当 调查项目的设计是否合理 调查方法的选择是否得当 其中 调查项目的设计最为重要 4 效度的量化虽然效度可分为内容效度 准则效度和结构效度 但每一种效度都很难测量 没有方法可以真正保证研究者可以测量到要测量的理论构想 在学术研究中 经常只能通过强调量表设计程序的过程严谨 或经过专家的修正及经过预测 以此来强化其具有的效度 但这只是内容效度 准则效度和结构效度仍难测量 5 效度的类型 1 内容效度 ContentValidity 也称为表面效度 FaceValidity 逻辑效度 它是指问卷的内容是否具有代表性 即是否包括被测量构成所有层面的项目 若问卷内容是以理论为基础 并参考以往学者类似研究的问卷内容加以修订 并与实践或学术专家讨论过 且进行过预测 即可以认为具有相当的内容效度 内容效度的检验相当主观 并没有任何统计量可以测量 因此 仅能请专家来判断该量表是否具有可接受的内容效度 敏感性分析 考察内容效度旨在系统地检查测量内容的适当性 并根据我们对所研究概念的了解去鉴别测量内容是否反映了这一概念的基本内容 2 准则效度 CriterionValidity 准则效度又称为效标关联效度 criterion relatedvalidity 预测效度 predictivevalidity 它是指量表所得到的数据和其他被选择的变量 准则变量 的值相比是否有意义 被访问者的答案看起来是否在设计时所考虑的度量范围之内 调研人员对问卷一般都可以客观地判断它的表面有效性 因此 设计每一个问题时都应该有表面有效性的假定 符合这种标准的测量工具是可以作为测量某一特定现象或概念的效标 当我们对同一现象或概念进行测量时 我们可以使用多种测量工具 每种测量方式与效标的一致性就成为准则效度 评价准则效度的方法是相关分析或差异显著性检验 但选择一个合适的准则往往十分困难 3 结构效度 ConstructValidity 结构效度也称建构效度 它是指一个测验实际测到所要测量的理论结构和特质的程度 是指实验与理论之间的一致性 即实验是否真正测量到假设 构造 的理论 结构效度分析所采用的方法是因素分析 因子分析 在因素分析的结果中 用于评价结构效度的主要指标有累计贡献率 共同度和因子载荷 结构效度的体现首先必须作KMO和Bartlett球形检验 如果这两个检验合格的话 说明数据是适合做因素分析的 通常KMO的值小于0 5时较不适合做因素分析 一般以大于0 7为好 然后提取因子 主因子解释总变异一般若大于60 的和因子载荷大于0 6的话 说明结构效度很好 KMO统计量的判别标准 6 度量有效性的检验 1 表面有效性指被访者的答案看起来是否在设计时所考虑的度量范围之内 2 预示有效性指问卷中的某些答案与问卷中另一些答案的逻辑相关程度 如果你运用逻辑关系来判断 那么 你就对一些度量做了预示有效性检验 3 收敛有效性当调研人员用两种不同的方法或不同的数据来源比较同一个问题时 那么 他就运用了收敛有效性检验 4 区别有效性指不同的结构应产生不同的结果 换句话说 调查不同主题的问题应产生不同的答案 二 在SPSS上实现效度分析第一步 按Analyze DataReduction Factor打开主对话框FactorAnalysis 第二步 在左侧的源变量框中选择变量进入右侧Variable框中 作为分析变量 第三步 点击Descriptives按钮 进入描述选项对话框 第四步 在Statistics栏中选Initialsolution 在CorrelationMatrix栏中 选择KMOandBartlett stestofsphericity项 第五步 单击Continue按钮 第六步 点击Rotation按钮 进入转轴选项对话框 第七步 在Method栏选中Varimax Display栏选中Rotatedsolution 第八步 单击Continue按钮 再单击OK按钮 提交运行 案例分析1 张秋钤 杨建明 唐芳 福建白水洋景区游客满意度模糊综合评判 重庆师范大学学报 自然科学版 2011 28 4 69 73 由于问卷涉及Likert量表 其设计是否合理 调查结果是否可信 必须进行信度和效度检验 本文利用SPSS13 0软件的信度分析功能进行信度检验 计算获得克隆巴赫系数 Cronbach s 为0 955 表明问卷测验结果具有较高的内部一致性和稳定性 信度极高 另在SPSS13 0软件上采用因子分析法进行结构效度检验 获得23个问题调查结果的KMO系数为0 941 达到 极好 的水平 Barlett球形检验的F值等于0 000 达显著 表明被调查群体的相关矩阵间有共同因子存在 适合进行因子分析 因子分析结果表明 因子载荷大于0 6的累积解释变异数为68 235 因而结构效度达到较高水平 案例分析2 杨建明 旅游者旅游环境影响感知与环保意识 基于高校学生群体的社会学调查本问卷的第二部分涉及Likert量表 其设计是否合理 调查结果是否可信 必须进行效度和信度检验 本部分采用Likert5点量表 共设计19个问题 其中有关旅游环境负面影响的8个问题中有1个属于逆向题 旅游环境的负面影响是生态环境可以承受的 对该题项进行顺向处理后 计算获得克隆巴赫信度系数 Cronbach s 为0 653 另计算获得3个旅游环境正面影响题项的克隆巴赫信度系数为0 720 表明问卷的内部一致性和稳定性较好 问卷通过信度检验 利用因子分析方法计算获得19个问题的KMO系数为0 606 达到 中等 水平 因此可以认为被调查群体的相关矩阵间有共同因子存在 适合进行因子分析 进一步因子分析结果表明 因子载荷大于0 6的累积解释变异数为84 945 因而结构效度达到较高水平 第3节信度与效度的关系一 信度与效度的区别1 研究的对象不同信度 答卷者效度 组卷人2 研究的角度不同信度 测量的质量效度 问卷的质量3 涉及的误差不同信度仅考虑随机误差占测验总变异的比例效度则还包含与测验无关但稳定的测量误差4 数值大小不同效度不会大于信度 5 研究的内容不同信度关心的是对于一个问题 一个具体的技术每次是否会产生同样的结果 信度强调的是在不同研究情景下数据与结论的稳定性和一致性 效