管理定量分析信度分析与效度分析模板.ppt

信度效度分析 信度 一 信度的意義所謂信度是衡量沒有誤差的程度 也是測驗结果的一致性 consistency 程度 信度是以衡量的變異理論為基礎 二 衡量誤差的意義與来源 衡量誤差可分為系統性誤差及隨機性誤差 一般而言 大部份的誤差是系統性的 从偏差而来 所謂系統性誤差也被視成常數性 constant 誤差 而隨機性誤差 randomerror 則不是一種常數性誤差 其原因可能来自情境因素 或者被受測者一時的情緒而影響 衡量誤差可能的来源如下 1 由回應者 respondent 產生的誤差2 由情境因素產生的誤差3 由衡量者產生的誤差4 由衡量工具產生的誤差 三 以數字的觀點來解釋誤差四 衡量信度的方法1 再測信度 test retestmethod 再測信度是让同一組受測者 在前後两個時間内測驗两次 以其两次測驗的結果求其相关係數 而此係數稱為再測信度 test retestreliability 2 折半信度 split halfmethod 折半信度是將受測題目分成两半 然後再以前半段之題目與後半段之題目做相关 若相关程度很高就代表折半信度很高 是考驗衡量的同構性 3 複本信度 equivalent formsmethod 为了让不同程度的受测者能够明确了解问卷题目的意思 有时候同一个测验中有甲 乙卷两种以上的复本 由一组受试者先用甲卷进行测试 同组人或另外一个人再用乙卷进行测试 用这两种测验的结果求其相关系数即为复本信度 4 库李信度 Kuder Richardsonreliability 目的在于分析问项间的一致性 在估计信度上 最常用的是库李二十号公式 其中K 表示整份测验的题数 表整个测验中每题答对与答错百分比乘积之总合S2 表示测验总分的变异量 L J Cronbach另创 系数 其公式如下 其中 为估计的信度 测验的总题数 测验的总变异数 题目与另一题目之共变数 共变量矩阵 因素一 利用上述之公式 我们可以求得因素一之 值为 效度 一 效度的意義所謂效度是指衡量的工具是否能真正衡量到研究者想要衡量的問題 二 效度的種類 1 內容效度 contentvalidity 以研究者的專業知識來主觀判斷所選擇的尺度是否能正确的衡量研究所欲衡量的東西 2 效標關聯效度 criterion relatedvalidity 所謂效標準關聯效度是指使用中的衡量工具和其他的衡量工具來比較两者是否具有關聯性 3 建构效度 constructvalidity 如果研究者要了解某种衡量工具真正要衡量的是什么 那即是关心它的建构效度 4 学说效度 nomologicalvalidity 学说效度有时被称为 通则化的效度 lawlikevalidity 学说效度是基于对构念和从理论建构的正式假设而来的衡量项目的明确调查 一 信度和效度的关系 信度和效度及其影响因素之关系 情况一 弹痕分散于靶内各处 并无一致性可言 以衡量的术语来说即是无信度无效度 情况二 虽然弹痕很集中 即具有一致性 但是并没有在靶中心 以衡量的观点来看 则是有信度无效度 情况三 才是好的衡量 同时具有效度及信度 二 影响信度效度之因素 信度和效度及其影响因素之关系 量表之信度与效度 潜在变数的衡量 通常是以量表或问卷做为测量工具 评估量表优良与否的准则为信度与效度 壹 信度贰 效度 信度1 2 信度系指测验结果 受试者的回答 的稳定性及可靠性 可相信的程度 信度的衡量有三种类型 稳定性 等值性与内部一致性 稳定性 用同一种测验对同一群受试者 前后施测两次 然后依据两次测验分数计算相关系数 等值性 交替使用一套测验的多种复本 再根据一群受试者每个人在各种复本测验之得分 计算相关系数 内部一致性 指量表能否测量单一概念 同时反映组成量表题项之内部一致性程度 信度2 2 量表信度的考验方法为Cronbach 系数 判定 系数之准则如下 所有问卷题目一起执行计算Cronbach 系数 各题目单独逐题检查 每个因素构面针对其所属问卷题目 执行计算Cronbach 系数 范例一 范例一 某研究设计一份有关 商店服务属性 之问卷初稿 为慎重起见 选取30位受测者进行前测 结果如数据文件 服务属性前测 sav 请问这些题项在测试结果后 是否具备内部一致性 1 点选Analyze scale reliabilityanalysis2 程序操作3 分析结果 范例一 2 程序操作 分析结果1 2 系数 0 7984 代表十五道题目测量结果之内部一致性具高可信度 若是想要再提高信度 可由 CorrectedItem Totalcorrelation 及 CronbachAlphaifitemDeleted 两栏数字来判断删除那些题目可提高内部一致性 价格的 CorrectedItem Totalcorrelation 数字 0 0693表示 价格 与总分间的相关非常的低 如果将之删除 则可提高 系数至0 8156 分析结果2 2 效度1 2 量表的效度类型有三种 内容效度 效标关联效度与建构效度 内容效度内容效度是指测量内容的适切性 效标关联效度效标关联效度是指测量工具的内容具有预测或估计的能力 效度2 2 建构效度建构效度 或称构念效度 指问卷或量表能测量到理论上的构念或特质之程度 建构效度有两类 收敛效度与区别效度 而检测量表是否具备建构效度 最常使用之方法为因素分析法 同一因素构面中 若各题目之因素负荷量 factorloading 愈大 一般以大于0 5为准 则愈具备 收敛效度 若问卷题目在非所属因素构面中 其因素负荷量愈小 一般以低于0 5为准 则愈具备 区别效度 范例二范例三 范例二 某研究探讨有关大卖场 商店服务属性 所应包含的内容 该研究藉由文献回顾及专家学者的删选 设计十五道题目并以五等量表为衡量尺度的问卷 以衡量 商店服务属性 今抽取97位受访者 请其填写问卷 请问该测量结果对于 商店服务属性 的内容 是否具备建构效度 资料文件 商店服务属性 sav 1 点选Analyze DataReduction Factor2 程序操作3 分析结果 范例二 2 程序操作 分析结果 1 KMO 0 806 Bartlett stestChi sq 426 339 Sig 0 0001的原则萃取下 共萃取出五个因素 累积解释变异量达65 041 分析结果 2 因素一包含6个变量 但 商店印象 问项在因素一中之负荷量小于0 5 不具收敛效度 且其在因素二中之负荷量亦达0 457 也不具备区别效度 至于 质量 问项亦有相同问题 因此必须将此两变项删除 重新执行因素分析 分析结果 3 重新执行结果如下 十三个题项共萃取出四个因素构面 累积解释变异量为61 814 虽较先前降低些 但各题项在所属的因素构面中 其因素负荷量皆大于0 5 同时在其他因素构面中则皆小于0 5 所以此测量结果 在因素分析方法下 将 商店服务属性 分成四个构面 是具备建构效度的 范例三 回收的问卷在执行效度分析后 须对每一因素构面进行信度分析 由范例二中已找出各因素构面 现今检测各构面之信度 1 点选Analyze scale reliabilityanalysis2 程序操作3 分析结果 范例三 2 程序操作 分析结果 1 构面一 服务态度 整齐干净 气氛服务 内外装潢 结账速度 信赖度 得到因素一之 0 828 构面二 购物便利 取得便利 广告吸引 得到因素二之 0 588 构面三 售后服务 营业时间 得到因素三之 0 524 构面四 价格 种类多寡 得到因素四之 0 446 分析结果 2 将因素分析法所萃取之构面及其效度与信度整理如下表 因素一之 系数为0 828 已达高可信度 因素二与因素三之 系数值皆大于0 5 其信度为尚可接受 因素四之可靠度稍嫌不足 但亦未达拒绝的程度 10 3 2信度分析的SPSS操作详解 Step01 打开 ReliabilityAnalysis 可靠性分析 对话框选择菜单栏中的 Analyze 分析 Scale 度量 ReliabilityAnalysis 可靠性分析 命令 弹出 ReliabilityAnalysis 可靠性分析 对话框 Step02 选择信度分析变量在该对话框左侧的候选变量列表框中选择一个或几个变量 将其移入 items 项 列表框中 选择进入信度分析的变量 Scalelabel 度量标签 主要对信度分析的信度系数做一个标签 信度分析的SPSS操作详解 信度分析的SPSS操作详解 Step03 选择信度分析的方法在 Model 模型 下拉列表框中选择信度分析的信度系数 从而对变量进行信度分析 Alpha 克朗巴哈 Cronbach 信度系数法 Split half 折半信度系数 Guttmann Guttman最低下限真实信度法 Parallel 各题目变异数同质时的最大概率 maximum likelihood 信度 Strictparallel 各题目平均数与变异数均同质时的最大概率信度 信度分析的SPSS操作详解 信度分析的SPSS操作详解 Step04 其他选项设置 Statistics 统计量 包含Hotelling的检验 Friedman等级变异数分析 Tukey的可加性检验等统计分析 Descriptivesfor Item表示输出各评估项目的基本描述性统计 Scale表示输出各评估项目的总分的基本描述性统计 Scaleifitemdeleted表示输出剔除某评项目后的均值 方差 协方差等基本统计量 从而对评估项目进行逐个评估 信度分析的SPSS操作详解 信度分析的SPSS操作详解 Inter Item 选项组 Covariances Correlations分别表示输出各评估项目的协方差系数矩阵和相关系数矩阵 Summaries Means 选项组 输出评估项目总分的平均分的基本描述性统计 Variance表示评估项目总分的样本方差的描述性统计 Covariances Correlations分别输出评估项目总和的协方差矩阵 相关系数矩阵的描述性统计 ANOVATables 选项组 提供了多种方法进行检验同一评估对象在评估项目上的得分是否具有一致性 None表示什么检验都不做 FTest表示进行反复测试的方差分析 只适合于定距型的正态分布数据 Friedmanchi squared对配对样本的进行Friedman检验 适合于非正态分布或定序型数据 Cochranchi square表示进行多配对样本的Cochran检验 适合于二值型数据 Step05 单击 OK 按钮 结束操作 SPSS软件自动输出结果 10 3 3实例图文分析 员工素质评估的信度分析 1 实例内容为评估某个公司员工的素质设计一套评价表格 其中包括的评价项目有 科学素质 文化素质 经济素质 道德素质 每个评估项目的满分25分 四个项目评估的总分100分 分数越高素质越高 为了研究评价体系的可信性 随机对30名员工进行了测试 现利用这些数据进行信度分析 实例内容 注意 此表为部分数据 实例操作 Step01 打开对话框打开SPSS软件 选择菜单栏中的 Analyze 分析 Scale 度量 ReliabilityAnalysis 可靠性分析 命令 弹出 ReliabilityAnalysis 可靠性分析 对话框 实例操作 实例操作 Step02 在左侧的候选变量列表框中选择 科学素质 文化素质 经济素质 道德素质 进入 items 项 列表框 在 Model 模型 下拉列表框中选择 Alpha 选项 并单击 Statistics 统计量 按钮进入 Statistics 统计量 对话框 实例操作 实例操作 Step03 勾选 Scaleifitemdeleted 如果项已删除则进行度量 Correlations 相关性 以及 Summaries 摘要 复选框 然后单击 Continue 继续 按钮 进入信度分析分析对话框 实例操作 Step04 完成操作最后 单击 OK 确定 按钮 操作完成 此时 软件输出结果出现在结果浏览窗口中 实例操作 实例结果及分析 1 信度分析进行过程的摘要执行完上面操作后 在SPSS结果报告中首先给出的是信度分析进行过程的摘要 见下表所示 信度分析的有效数据为30个 排除在外的数据个数为0 整个信度分析是基于所有数据来进行的 实例结果及分析 实例结果及分析 2 信度分析的信度系数计算的结果在SPSS结果报告中给出克朗巴哈 Cronbach 信度系数的估计值为0 816 基于标准化评估项目 BasedonStandardizedItems 调整的克朗巴哈 Cronbach 信度系数为0 825 评估项目数为4个 由于信度系数在0 80 0 90之间 说明问卷调查中的题目具有较强的内在一致性 实例结果及分析 实例结果及分析 3 各个评估项目的相关系数矩阵从相关系数矩阵可以看出 科学素质与文化素质之间相关系数为0 734 具有较强的正相关性 道德素质与经济素质之间相关系数为0 691 正相关性较强 文化素质与道德素质之间的相关系数为0 343 是相关性性最低的两个项目 实例结果及分析 实例结果及分析 4 评估项目的描述性统计下表的第一行显示了30名员工在4个评估项目上总分的均值为21 992 最大值为23 067 最小值21 000 全距2 067 样本均值的方差为0 812 第二行显示30名员工在4个评估项目上总分的样本方差为0 585 最大值为0 754 最小值0 437 全距0 317 样本方差的方差为0 026 可见 各个项目的平均分基本相当 各项评分的差异性比较平衡 第三行显示4个评估项目协方差的均值为0 308 最大值为0 414 最小值0 202 全距0 211 样本方差的方差为0 006 第四行显示4个评估项目相关系数的均值为0 541 最大值为0 734 最小值0 343 全距0 391 可见 各个评项目的相关程度校稿 而且相关程度的差异较小 实例结果及分析 实例结果及分析 5 剔除某个评估项目以后的结果表10 12的第一列显示了剔除某个评估项目以后的剩余项目的总平均分 例如剔除了科学素质的剩余其他三项的总平均分为66 97 是第一列中最大的 这说明科学素质的得分影响比较大 第二列显示了剔除某个评估项目以后的剩余项目总分的样本方差 第三列是某评估项目与其余评估项目总分的简单相关系数 例如科学素质与剩余其他三项的总分之间的简单项系数为0 750 这再一次说明科学素质的地位比较重要 第四列是某评估与其余评估项目的复相关系数 反映了该评估项目与其余评估项目的总体相关程度 最后一列是剔除某个评估项目以后的剩余项目计算得到克朗巴哈 Cronbach 信度系数 實例結果及分析 实例进阶分析 折半信度系数的分析 如果在实例操作的第二步中