ly研究方法效度专题

评价管理研究的质量——效度报告人：黄达鑫指导老师：涂荣庭1管理研究中，效度（Validity）是被普遍接受的评价研究质量的指标。任何理论都是由对有关概念、概念间关系的描述组成，并有其特定的理论背景和应用范围。引言10/25/20242引言-研究效度的类别研究的效度构念效度内部效度外部效度操作变量在何种程度上体现了它想要体现的理论概念的真正含义。在多大程度上研究允许得出两个变量之间是因果关系的推断。在多大程度上可以将对特定研究样本和在特定研究环境下所得到的研究结果推广到理论假设中所明确的总体和环境中去。10/25/20243引言-三种效度的关系10/25/20244引言-研究效度的类别研究的效度构念效度内部效度外部效度操作变量在何种程度上体现了它想要体现的理论概念的真正含义。在多大程度上研究允许得出两个变量之间是因果关系的推断。在多大程度上可以将对特定研究样本和在特定研究环境下所得到的研究结果推广到理论假设中所明确的总体和环境中去。统计结论效度关于变量之间关系的统计推论在何种程度上得到证实10/25/20245属性效度：表面、内容、汇聚、差别效度基于预期的构念效度：维度、理论、效标一、构念效度构念效度，指的是一种操作化方案在何种程度上反映而且只反映希望度量的概念，而不受其他概念的影响。它反映了理论层次的抽象概念与度量抽象概念的操作变量之间的符合程度。目标：对概念的度量应该是能够量度绝大多数希望反映的概念，而最大程度地避免不希望反映的概念和随机误差的影响。10/25/20246构念效度-构念度量的误差在理论界定清楚的前提下，用操作变量对概念进行度量的结果一般由三部分组成：（1）希望反映的目标概念的内容（真实值）；（2）不希望反映的非目标概念的内容（系统误差）；（3）随机误差。

即：

X0＝XT＋XS＋XR

其中， X0为观测值；

XT为真实值；

XS为系统误差；

XR为随机误差。例如：多媒体教学与学习效果（学习成绩）10/25/20247构念效度-构念效度的层次按照理论在构念效度验证过程中的作用，可以将构念效度区分为：属性效度（界定概念）

指在构念效度验证过程中，理论只用于最初定义概念，在理论中考察概念与其度量变量之间是否一致。基于预期的构念效度（理论推演）

指对概念的度量是否与根据理论推演出的预期结果一致。10/25/20248构念效度-属性效度属性效度包括：表面效度（FaceValidity）内容效度（ContentValidity）会聚效度（ConvergentValidity）

差别效度（DiscriminantValidity）

10/25/20249构念效度-表面效度和内容效度表面效度是指由一组专家做出判断，确定一种度量方法是否确实度量了它名义上要度量的概念。表面效度评估是个主观过程，但它通常是效度评价的先决条件，观念度量多数情况下必须首先通过表面效度检验。例如：学生的创造力内容效度指度量是否包括了足够有代表性的项目集来度量基准概念。度量方案中的项目越充分地代表了待测概念的概念域，就越具有内容效度。

例如：变革型领导（愿景、关怀、鼓舞、支持）10/25/202410构念效度-会聚效度会聚效度（ConvergentValidity）表明用不同方法度量同一概念所得出的度量结果的相关程度。原理：不同度量方法有着互不相关的不同的误差来源（理想状态下，不同度量方法之间应不具有共同的干扰因素），但度量同一概念的不同变量应高度相关。例如：员工绩效（主观vs.客观）10/25/202411构念效度-差别效度差别效度（DiscriminantValidity）反映拟度量不同概念的变量之间不相关的程度。它表明了拟度量不同概念的变量在何种程度上度量了相异部分。原理：度量某个概念的变量不应与度量不同概念的其它变量相关，否则可能说明该变量和其他变量度量了共同的其他内容而非该变量希望度量的概念。例如：LearningOrientationvs.PerformanceOrientation10/25/202412多属性－多方法矩阵（MTMM）采用两种或两种以上方法来测量两种或两种以上的特质。矩阵元素表示分别用不同的方法对不同的属性进行度量的结果之间的相关系数。矩阵由4种元素分块组成，分别在分块左上角用数字标识： ①同属性－同方法对角； ③同属性－异方法对角； ②异属性－同方法三角形； ④异属性－异方法三角形。通过分析各分块中的数据可以对度量的可靠性、会聚效度和差别效度进行评价。多属性－多方法矩阵多属性-多方法矩阵举例多属性－多方法矩阵可靠性对角①中的数据反映了用方法1对三种态度分别度量的可靠性。它表示用同种方法对同一属性进行多次度量时，测度结果间的相关程度，也可以用显著性水平参数α代替。效度对角③描述了度量的会聚效度，即：使用不同方法度量同一概念所得出的度量结果之间的一致程度。相关系数显著地区别于零并且足够大表明度量有较高的会聚效度。图中的效度系数分别为0.450，0.395和0.464，显著性水平0.01。多属性－多方法矩阵多属性-多方法矩阵举例多属性－多方法矩阵评价差别效度需要进行三种比较：（1）效度对角③中的相关系数应该大于异方法三角形④中处于同行或同列的相关系数。它表明对同一属性用不同方法进行的度量结果间的相关关系应该高于属性和方法都不相同的两个度量之间的相关关系。这是最起码的要求，图中的数据满足了这个条件。（2）效度对角③中的相关系数应该高于异属性－同方法三角形②中的相关系数，这表明用不同方法对同一属性的度量间的相关程度必须高于用同种方法对不同属性的度量间的相关程度。这是一个更加严格的要求，图中数据满足这个要求。（3）所有的异属性－同方法三角形②和异方法三角形④中的相关关系模式应该相同。这可以通过在每个异属性三角形中对相关系数进行排序检查。图中的数据基本满足这个要求。每个异属性三角形中，相关系数的符号模式一致，相关系数的大小顺序也基本一致。构念效度-基于预期的构念效度基于预期的构念效度包括：

维度效度（DimensionValidity）

理论效度（NomologicalValidity）

相关标准效度（Criteria-RelatedValidity）10/25/202418构念效度-维度效度和理论效度维度效度，指度量结果显示的维度是否与理论对概念界定的维度认识一致。例如：变革型领导（愿景、关怀、鼓舞、支持）理论效度，是指用于度量的操作变量之间的关系是否与理论中描述的相应概念之间的相互关系符合。例如：个人满意度vs.组织公民行为vs.组织绩效10/25/202419构念效度-相关标准效度某些度量能够（或者其目的就是）对某些相关变量（称为标准变量）做出推断和预测。相关标准效度，指度量结果是否有助于推断或预测其它的相关变量。例如，对新员工考试是为了预测该员工未来的工作绩效。如果发现在考试成绩与工作绩效之间确实存在较高的相关关系，则该度量具有相关标准的效度。对应于相关标准变量发生时间在过去、现在和将来，相关标准效度又分别称为：历史效度（PostdictiveValidity）并行效度（ConcurrentValidity）预测效度（PredictiveValidity）10/25/202420构念效度-影响构念效度的因素影响构念效度的主要因素有：操作化前对概念的不适当界定（变革型vs.交易型领导）；操作化过程中操作变量选择的不适当（爱）；单一操作方法（或变量）的偏差（绩效）；单一度量项目的偏差；调查过程中被调查者对问题的错误理解；要提高概念建构效度，需要对整个研究进行过程控制，在每一个环节注意避免和减少系统误差和随机误差。10/25/202421提高概念建构有效性的过程控制方法构念效度-提高构念效度在操作化之前对概念的界定要清楚，这是进行有效研究的前提。采用多项目度量方法，即采用多个变量度量同一概念。重视统计口径的统一、数据的可比性、数据收集方法设计和具体实施过程的科学性和严格性，以保证获得高质量的信息。10/25/202423二、内部效度在多大程度上研究允许得出两个变量之间是因果关系的推断。因果关系

因果关系是指一个概念的变化引起另一个概念的变化，作为原因的变量称为自变量（independentvariable），作为结果的变量称为因变量（dependentvariable）。因果关系三条件10/25/202424内部效度–混淆10/25/202425无关变量（Extraneousvariable）anyvariableotherthanIVthatinfluencesDV混淆（Confounding）occurswhenanextraneousvariable

systematicallyvarieswithvariationinIV

theextraneousvariableaffectstheDV

plausiblealternativeexplanation游泳vs.心脏病控制CaneliminatesomeextraneousvariablesMostmustbecontrolledDifficultyliesinidentifyingthevariables内部效度-影响内部效度的因素要保证研究的内部效度，关键是在研究设计和分析中要尽可能排除其它可能因素的影响。影响内部效度的因素主要有：（1）选择偏差（2）研究对象的成熟过程（3）研究对象对研究本身的反应（4）研究对象状况的变化（4）历史事件（5）度量工具的变化（6）统计回归（7）研究者自身的原因10/25/202426内部效度-选择偏差选择偏差是指用以比较的研究对象在一开始可能就是有差别的，因而观测结果的差异并不一定是假设的原因导致的。例如：工作环境改变对工人的劳动生产率避开选择偏差的关键是使研究对象初始状态一致。

为达到这个目的，通常采用“随机化”的方法。10/25/202427内部效度-研究对象带来的影响研究对象的成熟过程

人在不断变化，研究对象会逐渐熟悉研究内容，这些变化会影响时段较长的研究的结果。研究对象对研究本身的反应

如：迎合研究者；刻意表现；相互模仿；竞争；放弃等。。10/25/202428内部效度-研究者带来的影响研究者自身的一些原因也会导致研究的内部效度降低。这些原因主要包括：观察不准确；以偏概全，把少数情况当成普遍模式；一旦人们认为某种模式存在，就会特别注意那些与此模式相符的事实而忽视不符的事实；信息推理，当科学观察与原先假设有出入时，人们往往寻找理由来解释；非逻辑推理，如“赌徒幻觉”，假定长时间输后必赢；在对现象的理解中自我介入；过早结束研究；将难以解释的因素神秘化等等。10/25/202429内部效度-研究过程中的变化历史事件

在研究前或研究过程中发生的其他事件可能影响研究结果。度量工具的变化

如果前后两次测验的度量方法或度量指标不同，也会影响研究结果。统计方法10/25/202430内部效度-提高内部效度要保证研究的内部效度，关键是在研究设计和分析中要尽可能排除其它可能因素的影响。从理论和逻辑推理出发

搜寻有哪些变量可能成为假设检验中的混淆变量从研究方法上加以控制

实验法&随机化10/25/202431三、外部效度管理研究的实践意义任何理论假设都有其一定的理论背景和前提假定，管理研究中对理论假设的经验研究又都是在一定的研究条件和背景下进行的。管理研究面临着是否可推广、可在多大范围推广的问题，即：能否将在特定研究环境下针对特定研究样本的研究结果推广到理论假设中所确定的主体和环境中去，研究结果所支持的理论可以在多大范围内应用。10/25/202432外部效度在多大程度上可以将对特定研究样本和在特定研究环境下所得到的研究结果推广到理论假设中所明确的总体和环境中去（ExternalValidity）。一般来说，研究者在进行研究时，总是希望研究最终的结果能够超越具体的研究背景，而能在更广泛的背景条件下成立，即具有最大的外部效度。外部效度直接影响到社会关系理论的普遍意义和应用范围。10/25/202433外部效度-主要的影响因素研究对象的因素（本科生） 所选取的研究样本人群与理论要推广到的整个人群相比所具有的特殊性。背景因素（实验室） 研究背景与理论假设中要推广到的环境之间的差别。时间因素（时代变迁） 研究时间段与理论要推广到的时间段之间的差别。 10/25/202434外部效度-并不总是坏事！有时也许是新研究的开始！例如：变革型领导（愿景、关怀、鼓舞、支持） 和谐的人际关系10/25/202