管理定量分析-信度分析与效度分析.ppt

信度效度分析,信度,一、信度的意義 所謂信度是衡量沒有誤差的程度，也是測驗结果的一致性(consistency)程度，信度是以衡量的變異理論為基礎。,二、衡量誤差的意義與来源,衡量誤差可分為系統性誤差及隨機性誤差。一般而言，大部份的誤差是系統性的(从偏差而来)。所謂系統性誤差也被視成常數性(constant)誤差。而隨機性誤差(random error)則不是一種常數性誤差，其原因可能来自情境因素，或者被受測者一時的情緒而影響。衡量誤差可能的来源如下： 1.由回應者(respondent)產生的誤差 2.由情境因素產生的誤差 3.由衡量者產生的誤差 4.由衡量工具產生的誤差,三、以數字的觀點來解釋誤差 四、衡量信度的方法 1.再測信度(test-retest method):再測信度是让同一組受測者，在前後两個時間内測驗两次，以其两次測驗的結果求其相关係數，而此係數稱為再測信度(test-retest reliability)。,2.折半信度(split-half method):折半信度是將受測題目分成两半，然後再以前半段之題目與後半段之題目做相关，若相关程度很高就代表折半信度很高，是考驗衡量的同構性。,3.複本信度(equivalent-forms method):为了让不同程度的受测者能够明确了解问卷题目的意思，有时候同一个测验中有甲、乙卷两种以上的复本，由一组受试者先用甲卷进行测试，同组人或另外一个人再用乙卷进行测试，用这两种测验的结果求其相关系数即为复本信度。,4.库李信度(kuder-richardson reliability) 目的在于分析问项间的一致性。在估计信度上，最常用的是库李二十号公式： 其中k：表示整份测验的题数 ：表整个测验中每题答对与答错百分比乘积之总合 s2：表示测验总分的变异量,l. j.cronbach另创系数，其公式如下： 其中， ：为估计的信度 ：测验的总题数 ：测验的总变异数 ：题目与另一题目之共变数,共变量矩阵（因素一）,利用上述之公式，我们可以求得因素一之值为：,效度,一、效度的意義 所謂效度是指衡量的工具是否能真正衡量到研究者想要衡量的問題。,二、效度的種類,1.內容效度(content validity)： 以研究者的專業知識來主觀判斷所選擇的尺度是否能正确的衡量研究所欲衡量的東西。 2.效標關聯效度(criterion-related validity)： 所謂效標準關聯效度是指使用中的衡量工具和其他的衡量工具來比較两者是否具有關聯性。,3.建构效度(construct validity)：如果研究者要了解某种衡量工具真正要衡量的是什么，那即是关心它的建构效度。 4.学说效度(nomological validity):学说效度有时被称为“通则化的效度(lawlike validity)”，学说效度是基于对构念和从理论建构的正式假设而来的衡量项目的明确调查。,一、信度和效度的关系,信度和效度及其影响因素 之关系,情况一，弹痕分散于靶内各处，并无一致性可言，以衡量 的术语来说即是无信度无效度。 情况二，虽然弹痕很集中，即具有一致性，但是并没有在 靶中心，以衡量的观点来看，则是有信度无效度。 情况三，才是好的衡量，同时具有效度及信度。,二、影响信度效度之因素,信度和效度及其影响因素 之关系,量表之信度与效度,潜在变数的衡量，通常是以量表或问卷做为测量工具，评估量表优良与否的准则为信度与效度。 壹、信度 贰、效度,信度1/2,信度系指测验结果(受试者的回答)的稳定性及可靠性(可相信的程度)。信度的衡量有三种类型：稳定性、等值性与内部一致性。 稳定性：用同一种测验对同一群受试者，前后施测两次，然后依据两次测验分数计算相关系数。 等值性：交替使用一套测验的多种复本，再根据一群受试者每个人在各种复本测验之得分，计算相关 系数。 内部一致性:指量表能否测量单一概念，同时反映组成量表题项之内部一致性程度。,信度2/2,量表信度的考验方法为cronbach系数，判定系数之准则如下： 所有问卷题目一起执行计算cronbach系数。 各题目单独逐题检查。 每个因素构面针对其所属问卷题目，执行计算cronbach系数。 范例一,范例一,某研究设计一份有关“商店服务属性”之问卷初稿，为慎重起见，选取30位受测者进行前测（结果如数据文件:服务属性前测.sav）。请问这些题项在测试结果后，是否具备内部一致性？ 1.点选analyze/scale/reliability analysis 2.程序操作 3.分析结果,范例一,2.程序操作,分析结果1/2,系数=0.7984，代表十五道题目测量结果之内部一致性具高可信度。若是想要再提高信度，可由”correcteditem-total correlation”及”cronbach alpha if item deleted”两栏数字来判断删除那些题目可提高内部一致性，价格的”correcteditem-total correlation”数字-0.0693表示价格与总分间的相关非常的低，如果将之删除，则可提高系数至0.8156。,分析结果2/2,效度1/2,量表的效度类型有三种：内容效度、效标关联效度与建构效度。 内容效度 内容效度是指测量内容的适切性。 效标关联效度 效标关联效度是指测量工具的内容具有预测或估计的能力。,效度2/2,建构效度 建构效度(或称构念效度)指问卷或量表能测量到理论上的构念或特质之程度。建构效度有两类：收敛效度与区别效度。而检测量表是否具备建构效度，最常使用之方法为因素分析法。同一因素构面中，若各题目之因素负荷量(factor loading)愈大(一般以大于0.5为准)，则愈具备收敛效度。若问卷题目在非所属因素构面中，其因素负荷量愈小(一般以低于0.5为准)，则愈具备区别效度。 范例二 范例三,范例二,某研究探讨有关大卖场”商店服务属性”所应包含的内容，该研究藉由文献回顾及专家学者的删选，设计十五道题目并以五等量表为衡量尺度的问卷，以衡量”商店服务属性”。今抽取97位受访者，请其填写问卷。请问该测量结果对于”商店服务属性”的内容，是否具备建构效度？(资料文件：商店服务属性.sav) 1.点选analyze/data reduction/factor 2.程序操作 3.分析结果,范例二,2.程序操作,分析结果-1,kmo=0.806，bartletts test chi-sq = 426.339 (sig=0.0001的原则萃取下，共萃取出五个因素，累积解释变异量达65.041%。,分析结果-2,因素一包含6个变量，但商店印象问项在因素一中之负荷量小于0.5，不具收敛效度，且其在因素二中之负荷量亦达0.457，也不具备区别效度。至于质量问项亦有相同问题，因此必须将此两变项删除，重新执行因素分析。,分析结果-3,重新执行结果如下，十三个题项共萃取出四个因素构面，累积解释变异量为61.814%，虽较先前降低些，但各题项在所属的因素构面中，其因素负荷量皆大于0.5，同时在其他因素构面中则皆小于0.5，所以此测量结果，在因素分析方法下，将”商店服务属性”分成四个构面，是具备建构效度的。,范例三,回收的问卷在执行效度分析后，须对每一因素构面进行信度分析，由范例二中已找出各因素构面，现今检测各构面之信度。 1.点选analyze/scale/reliability analysis 2.程序操作 3.分析结果,范例三,2.程序操作,分析结果-1,构面一： 服务态度、整齐干净、气氛服务、内外装潢、结账速度、信赖度，得到因素一之=0.828。 构面二： 购物便利、取得便利、广告吸引，得到因素二之=0.588。 构面三： 售后服务、营业时间，得到因素三之=0.524。 构面四： 价格、种类多寡，得到因素四之=0.446。,分析结果-2,将因素分析法所萃取之构面及其效度与信度整理如下表： 因素一之系数为0.828，已达高可信度；因素二与因素三之系数值皆大于0.5，其信度为尚可接受；因素四之可靠度稍嫌不足，但亦未达拒绝的程度。,10.3.2 信度分析的spss操作详解,step01 ：打开【reliability analysis(可靠性分析)】对话框 选择菜单栏中的【analyze(分析)】【scale(度量)】【reliability analysis(可靠性分析)】命令，弹出【reliability analysis(可靠性分析)】对话框。 step02 ：选择信度分析变量 在该对话框左侧的候选变量列表框中选择一个或几个变量，将其移入【items(项)】列表框中，选择进入信度分析的变量。 【scale label(度量标签)】主要对信度分析的信度系数做一个标签。,信度分析的spss操作详解,信度分析的spss操作详解,step03 ：选择信度分析的方法 在【model(模型)】下拉列表框中选择信度分析的信度系数，从而对变量进行信度分析。 alpha ：克朗巴哈（cronbach）信度系数法。 split-half：折半信度系数。 guttmann：guttman最低下限真实信度法。 parallel：各题目变异数同质时的最大概率（maximum-likelihood）信度。 strict parallel：各题目平均数与变异数均同质时的最大概率信度。,信度分析的spss操作详解,信度分析的spss操作详解,step04 ：其他选项设置 【statistics(统计量)】包含hotelling的检验，friedman等级变异数分析、tukey的可加性检验等统计分析。 descriptives for： item表示输出各评估项目的基本描述性统计，scale表示输出各评估项目的总分的基本描述性统计，scale if item deleted表示输出剔除某评项目后的均值、方差、协方差等基本统计量，从而对评估项目进行逐个评估。,信度分析的spss操作详解,信度分析的spss操作详解,【inter-item】选项组:covariances、correlations分别表示输出各评估项目的协方差系数矩阵和相关系数矩阵。 【summaries:means】选项组：输出评估项目总分的平均分的基本描述性统计,variance表示评估项目总分的样本方差的描述性统计, covariances、correlations分别输出评估项目总和的协方差矩阵、相关系数矩阵的描述性统计。 【anova tables】选项组：提供了多种方法进行检验同一评估对象在评估项目上的得分是否具有一致性。none表示什么检验都不做，f test表示进行反复测试的方差分析，只适合于定距型的正态分布数据；friedman chi-squared对配对样本的进行friedman检验，适合于非正态分布或定序型数据，cochran chi-square表示进行多配对样本的cochran检验，适合于二值型数据。 step05：单击【ok】按钮，结束操作，spss软件自动输出结果。,10.3.3 实例图文分析： 员工素质评估的信度分析,1. 实例内容 为评估某个公司员工的素质设计一套评价表格，其中包括的评价项目有：科学素质、文化素质、经济素质、道德素质，每个评估项目的满分25分，四个项目评估的总分100分，分数越高素质越高。为了研究评价体系的可信性，随机对30名员工进行了测试，现利用这些数据进行信度分析。,实例内容,注意：此表为部分数据,实例操作,step01：打开对话框 打开spss软件，选择菜单栏中的【analyze(分析)】【scale(度量)】【reliability analysis(可靠性分析)】命令，弹出【reliability analysis(可靠性分析)】对话框。,实例操作,实例操作,step02：在左侧的候选变量列表框中选择“科学素质”、“文化素质”、“经济素质”、“道德素质”进入【items(项)】列表框， 在【model(模型)】下拉列表框中选择【alpha()】选项，并单击【statistics(统计量)】按钮进入【statistics(统计量)】对话框。,实例操作,实例操作,step03：勾选【scale if item deleted(如果项已删除则进行度量)】、【correlations(相关性)】以及【summaries(摘要)】复选框，然后单击【continue(继续)】按钮，进入信度分析分析对话框。,实例操作,step04：完成操作 最后，单击【ok(确定)】按钮，操作完成。此时，软件输出结果出现在结果浏览窗口中。,实例操作,实例结果及分析,（1）信度分析进行过程的摘要 执行完上面操作后，在spss结果报告中首先给出的是信度分析进行过程的摘要，见下表所示。信度分析的有效数据为30个，排除在外的数据个数为0，整个信度分析是基于所有数据来进行的。,实例结果及分析,实例结果及分析,（2）信度分析的信度系数计算的结果 在spss结果报告中给出克朗巴哈（cronbach）信度系数的估计值为0.816，基于标准化评估项目(based on standardized items)调整的克朗巴哈（cronbach）信度系数为0.825，评估项目数为4个。由于信度系数在0.800.90之间，说明问卷调查中的题目具有较强的内在一致性 。,实例结果及分析,实例结果及分析,（3）各个评估项目的相关系数矩阵 从相关系数矩阵可以看出，科学素质与文化素质之间相关系数为0.734，具有较强的正相关性；道德素质与经济素质之间相关系数为0.691，正相关性较强，文化素质与道德素质之间的相关系数为0.343，是相关性性最低的两个项目。,实例结果及分析,实例结果及分析,（4）评估项目的描述性统计 下表的第一行显示了30名员工在4个评估项目上总分的均值为21.992，最大值为23.067，最小值21.000，全距2.067，样本均值的方差为0.812；第二行显示30名员工在4个评估项目上总分的样本方差为0.585，最大值为0.754，最小值0.437，全距0.317，样本方差的方差为0.026；可见，各个项目的平均分基本相当，各项评分的差异性比较平衡。 第三行显示4个评估项目协方差的均值为0.308，最大值为0.414，最小值0.202，全距0.211，样本方差的方差为0.006；第四行显示4个评估项目相关系数的均值为0.541，最大值为0.734，最小值0.343，全距0.391。可见，各个评项目的相关程度校稿，而且相关程度的差异较小。,实例结果及分析,实例结果及分析,（5）剔除某个评估项目以后的结果 表10-12的第一列显示了剔除某个评估项目以后的剩余项目的总平均分，例如剔除了科学素质的剩余其他三项的总平均分为66.97，是第一列中最大的，这说明科学素质的得分影响比较大；第二列显示了剔除某个评估项目以后的剩余项目总分的样本方差，第三列是某评估项目与其余评估项目总分的简单相关系数，例如科学素质与剩余其他三项的总分之间的简单项系数为0.750，这再一次说明科学素质的地位比较重要；第四列是某评估与其余评估项目的复相关系数，反映了该评估项目与其余评估项目的总体相关程度；最后一列是剔除某个评估项目以后的剩余项目计算得到克朗巴哈（cronbach）信度系数。,實例結果及分析,实例进阶分析：折半信度系数的分析,如果在实例操作的第二步