心理基础及其测量 13_第1页
心理基础及其测量 13_第2页
心理基础及其测量 13_第3页
心理基础及其测量 13_第4页
心理基础及其测量 13_第5页
已阅读5页,还剩159页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

心理测量第十一章项目分析Psychometrics李英武董妍中国人民大学心理学系第十一章学习导航第一节难度与区分度难度、区分度估计及项目筛选。第二节测验反应偏差反应定势、反应风格、常见偏差及控制。第三节共同方法偏差CMB的影响、来源、程序控制与统计检验。项目质量内容提要通过难度和区分度判断题目能否有效提供测量信息。反应质量识别非目标因素引起的系统性作答偏差。方法质量控制相同测量方法造成的共同方法变异与偏差。记忆学习目标(一)识别项目难度、项目区分度、反应偏差和共同方法偏差。理解解释难度与区分度对测验信度和效度的影响。应用计算项目指标并据此诊断、修改或筛选题目。分析学习目标(二)区分反应定势、反应风格与不同类型的异常作答。评价判断共同方法偏差控制方案的适用条件与局限。项目分析测验反应偏差共同方法偏差关键词项目分析既关注题目本身,也关注被试反应与测量方法带来的误差。典型场景人力资源测评中的评分者偏差面试、无领导小组讨论、评价中心与绩效评估。产生原因评分标准理解不同,个人经历、价值观和刻板印象介入判断。现实后果降低甄选与评价的科学性、公正性和决策质量。标准侧重同一表现为何得到不同评分有人关注发言频次,有人更看重建设性意见质量。个体滤镜学历、地区或过往经验可能形成先入为主的判断。测量问题观察到的评分混合了目标表现、评分者效应与随机误差。评分者偏差的项目分析视角诊断层次需要回答的问题可用证据项目某一评价维度是否过难、过易或缺乏区分均值、方差、难度与区分度被试反应作答是否受到迎合、默认或随机反应影响反应模式、反应时与效度指标评分者不同评分者是否系统性宽严不一评分者一致性与评分者模型方法同源测量是否夸大或压低变量关系程序分离与方法因子检验项目分析题目质量难度与区分度→反应质量偏差与异常作答→方法质量共同方法偏差→修订决策保留、修改或删除第一节难度与区分度难度项目分析的核心任务判断项目对目标被试而言有多难或多容易。区分度判断项目能否区分不同能力或特质水平的被试。综合筛选结合测验目的和多轮数据优化项目组合。被试正确回答某一项目的比例或概率项目难度二分项目通常使用通过率,多分项目通常使用平均得分率。通过率高难度指标的方向多数被试答对,题目实际较容易。通过率低少数被试答对,题目实际较困难。命名提醒经典测验理论中的“难度P”数值越大,题目反而越容易。二分项目与多分项目的难度指标项目类型常用指标解释方式二分计分答对人数占全部作答人数的比例0表示无人答对,1表示全部答对多分计分平均得分占项目满分的比例反映总体得分率典型作为测验项目通俗性或认可程度需结合构念和量表方向解释二分项目难度(11-1)R正确回答或通过该项目的人数。N回答该项目的全部被试人数。例1:二分项目通过率情境200名学生中有120人答对。解释通过率为0.60,即60%的被试能够正确回答。多分项目难度(11-2)平均得分所有被试在该项目上的平均分。满分T该项目允许获得的最高分。例2:多分项目得分率情境第七题满分15分,考生平均得分9.6分。解释总体得分率为0.64,仍需结合目标群体判断难度。分组两端分组法按照测验总分将被试分为高分组与低分组。计算分别计算两组在目标项目上的得分率。汇总以两组得分率的平均值表示项目难度。两端分组难度(11-3)高分组高分组被试在第i题上的得分率。低分组低分组被试在第i题上的得分率。正态分布高低组比例如何确定高分组和低分组通常各取27%。平坦分布两端比例可适当高于27%。一般范围实践中常在27%至33%之间选择。经典难度指标的使用边界判断问题正确理解常见误区数值方向P越大表示越容易把P直接理解为困难程度群体依赖同一题在不同群体中P会变化把P视为题目的固定属性用途依赖理想难度由掌握、选拔等目的决定机械追求所有项目P为0.50计分形式二分与多分项目公式不同混用答对率和平均得分率把项目难度分解为若干可解释任务特征的线性组合线性逻辑测验模型(LLTM)LLTM是项目反应理论的扩展,重点解释“题目为什么难”。传统难度参数与LLTM比较维度传统CTT难度传统IRT难度LLTM关注对象特定样本中的通过率项目的综合难度参数难度背后的任务特征解释重点题目难易水平能力与作答概率关系各认知因子的贡献主要用途筛选与修订项目测量与能力估计项目设计和认知诊断LLTM的线性逻辑表达(11-4)核心思想作答对数优势由被试能力减去项目特征的加权难度。解释目标估计不同认知或设计特征对项目难度的贡献。LLTM公式符号说明符号含义测量角色作答概率被试n正确回答项目i的概率因变量被试能力被试n的潜在能力水平个体参数特征负荷项目i在第k个认知因子上的需求强度设计矩阵难度权重第k个认知因子对项目难度的贡献待估参数解释来源LLTM的应用价值识别词汇量、推理步骤或表述长度等难度来源。优化设计通过调整任务特征控制整体难度分布。理论连接把认知过程假设与项目参数联系起来。同质假设LLTM的主要限制不同被试对任务特征的反应规律未必完全一致。数据要求大样本与高质量反应数据有助于稳定估计。特征识别认知因子的确定依赖专业知识和预实验。计算步骤数数学项目的三个难度特征步骤越多,认知操作和出错机会可能增加。概念复杂性涉及的概念越复杂,题目可能越难。陈述长度文字越长,理解负担可能增加。表11-3项目难度分析例题题目编号计算步骤概念复杂性陈述长度题目1212题目2423题目3534案例,使用SPSS估计LLTM的步骤整理数据作答结果与题目特征→设定模型二元逻辑回归→同时纳入Enter输入全部特征→解释参数比较难度贡献权重因变量步骤一:定义因变量与自变量作答结果,正确编码为1,错误编码为0。自变量计算步骤、概念复杂性和陈述长度等题目特征。数据结构每条记录对应某被试对某项目的一次作答。菜单路径步骤二:运行二元逻辑回归Analyze→Regression→BinaryLogistic。变量设置作答结果进入因变量框,题目特征进入自变量框。输入方法使用Enter方式,使全部特征同时进入模型。示例中的难度权重计算步骤每增加一步,难度贡献约增加0.5。概念复杂性示例中权重最大;陈述长度也有一定贡献。题目1的综合难度贡献特征组合2步计算、1个复杂概念、陈述长度等级2。结果线性组合难度指数为2.6。题目2的综合难度贡献特征组合4步计算、2个复杂概念、陈述长度等级3。结果线性组合难度指数为4.9。题目3的综合难度贡献特征组合5步计算、3个复杂概念、陈述长度等级4。结果线性组合难度指数为6.7。三道题目的LLTM分析结果题目步骤概念长度综合难度题目12122.6题目24234.9题目35346.7能力参数从综合难度到作答概率假设学生A的潜在能力水平为4.0。项目参数题目2的综合难度贡献为4.9。预测逻辑能力低于项目难度时,正确作答概率低于0.50。学生A回答题目2的logit代入能力4.0减去项目难度4.9。结果对数优势为负,表明正确作答概率较低。学生A回答题目2的概率概率转换将logit值通过逻辑函数转换为概率。解释学生A正确回答题目2的概率约为29%。题目层面LLTM示例的诊断结论题目2在步骤、概念和长度三个特征上需求较高。被试层面学生能力低于项目综合难度,正确率受到压低。设计层面可以针对高权重特征修改题目,而非只删除难题。原始P值为什么需要难度的等距变换通过率属于有序比例,差值不必具有相同心理意义。方向问题P越高越容易,而“难度”直觉上应随数值增大。转换目标建立具有相等单位且方向直观的难度指标。通过率到正态难度指标正态假设被试得分情况近似正态分布时可使用Z转换。方向解释通过率越低,转换后的难度值越大。全部答对难度影响项目方差平均得分率接近100%,项目几乎没有变异。全部答错平均得分率接近0%,项目同样缺乏变异。测量后果变异受限会削弱项目对个体差异的贡献。地板效应与天花板效应现象分数表现项目后果地板效应多数被试得分接近最低点难以区分低水平个体天花板效应多数被试得分接近最高点难以区分高水平个体合理分布不同难度项目覆盖目标能力范围增加变异和有效信息目标掌握测验如何确定难度判断重要知识或技能是否已经掌握。项目保留即使通过率极高或极低,只要内容重要仍可能保留。解释重点诊断学习准备和教学目标达成,而非最大化个体差异。目标选拔测验如何确定难度在候选人中形成有效排序并服务录取决策。匹配原则项目通过率应与目标选拔比例相协调。书稿示例选拔15%优秀者时,可增加通过率接近0.15的项目。速度测验速度测验与难度测验项目不宜过难,项目难度应相对接近。选择题项目通过率一般应高于纯猜测概率。难度测验需要形成合理难度梯度,并避免所有被试获得满分。一般测验的参考难度区间参考范围一般可让平均难度接近0.50,并在中等范围内变化。使用提醒测验目的优先于固定阈值,不能脱离用途机械套用。根据测验目的配置项目难度测验目的难度配置重点不宜机械删除的项目准备性诊断覆盖尚未掌握的重要内容低通过率但教学上重要的题目掌握测验检验目标是否达成高通过率且内容关键的题目选拔测验围绕录取边界形成区分接近目标录取比例的题目速度测验控制难度并突出完成速度难度相近但时间敏感的题目项目区分不同能力或特质水平被试的能力项目区分度高区分度项目使高水平被试更可能得高分、低水平被试更可能得低分。目标一致区分度回答三个问题题目是否有效测量目标心理特质。整体一致该题表现是否与被试的测验总水平一致。群体公平题目是否对某些高低分组或特定群体产生异常偏向。区分度D的取值解释D的方向含义诊断正值高分组得分率高于低分组积极区分零高低组得分率没有差异无区分负值低分组反而优于高分组需检查答案、表述或构念偏离排序项目鉴别指数法按照测验总分将被试从高到低排列。分组选取最高的一部分和最低的一部分被试。比较用高分组与低分组通过率之差表示鉴别力。极端组鉴别指数(11-5)高分组通过率高能力组在第i题上的正确比例。低分组通过率低能力组在第i题上的正确比例。极端组法的计算流程总分排序由高到低排列→划分两端通常各取27%→计算通过率分别得到PH与PL→求差解释得到项目D值例3:鉴别指数计算已知高分组通过率0.80,低分组通过率0.35。结论鉴别指数为0.45,项目具有较好的区分效果。数值越大鉴别指数的诊断意义高分组与低分组表现差异越清楚。数值偏低项目可能过难、过易、表述不清或偏离目标。数值为负应优先核对评分键、反向计分与项目内容。项目得分差异与测验总分差异的一致程度题—总相关高题—总相关通常表明该项目与测验整体方向一致。点双列题—总相关(11-6)适用条件项目采用0与1二分计分,总分为连续变量。核心比较答对者的总分均值与全体总分均值之间的差异。点双列相关符号说明符号含义解释题—总相关项目得分与总分的点双列相关越高表示一致性越强答对者均值答对该题被试的总分平均值与总体均值比较总分均值与标准差全体被试总分的位置与离散程度用于标准化均值差p与q答对和答错的比例共同影响项目变异能力代理题—总相关的基本假设总分较高者被视为目标能力或特质水平较高。项目一致理想项目应与整个测验呈现相同方向的个体差异。诊断结果低相关提示项目与整体测验不一致,需要进一步检查。根据数据类型选择题—总相关项目得分总分特征可考虑的方法0/1二分得分近似连续总分点双列相关人为二分类但潜在连续近似连续总分二列相关连续或多级得分连续总分积差相关任何类型总分包含本题优先报告校正题—总相关计算方法影响区分度的因素不同区分度指标的含义不同,不宜直接混合比较。样本容量过小样本得到的相关和组间差异不稳定。样本同质性能力范围过窄会压缩项目与总分的差异。项目难度过难或过易会形成地板或天花板效应。难度与区分度的关系难度表现区分度表现初步判断适中较高优先保留并继续验证稳定性过难或过易较低调整内容、选项或目标群体适中较低检查表述、评分键和构念匹配任何水平负值优先排查编码错误与项目方向难度适中优秀项目的三个特点书稿建议一般项目的P值处于0.30至0.70。区分度较高能够有效区分高、低水平被试。表现稳定跨样本、时间和施测条件保持相对一致且无明显偏向。先计算项目综合筛选的原则对每道题同时获得难度和区分度指标。再可视化以难度为横轴、区分度为纵轴检查项目分布。后判断结合测验蓝图、内容价值与公平性决定保留或修订。项目筛选与修订流程计算指标难度与区分度→定位问题散点图与异常值→内容复核表述、选项与评分→再次试测验证修订效果问题项目的修订策略问题表现可能原因修订方向过难知识超纲、步骤过多或语言复杂降低复杂性并核对目标群体过易线索明显、干扰项无效或内容过浅增强干扰项和认知要求低区分表述含糊、构念偏离或样本同质重写题目并扩大试测范围负区分答案键、反向计分或评分错误核对编码并进行内容审查难度第一节小结描述目标群体中项目的通过率或得分率。区分度描述项目区分高低水平被试的能力。决策指标只是证据,最终筛选还要考虑内容与测验用途。第二节测验反应偏差被试因非测量目标因素而系统性偏离真实特质或行为的作答反应偏差反应偏差属于系统性测量误差,会威胁测验分数的信度、效度和决策公平性。结果失真反应偏差为何值得关注分数不再准确反映目标构念。关系扭曲变量间相关可能被夸大、压低或方向改变。应用风险招聘、诊断和教育决策可能据此作出错误判断。反应偏差的四个特点特点具体含义示例系统性呈现稳定或重复的偏离模式持续选择同一类选项多样性包含社会赞许、默许、伪装等形式不同偏差机制并存普遍性实验、教育评估和问卷均可能出现并非只发生于人格测验可控性可通过设计、施测和统计方法降低但通常不能完全消除反应定势反应偏差的两类来源由当前测验情境或测验特征触发的临时作答策略。反应风格个体相对稳定、跨情境的作答倾向。共同作用模糊测验可能放大高社会赞许个体的迎合作答。反应定势与反应风格比较维度反应定势反应风格稳定性相对临时相对稳定主要来源格式、难度、时间与环境人格、动机与认知风格情境变化环境改变后可能减弱可能跨测验重复出现典型表现疲劳后随机作答长期偏好极端或迎合选项本章涉及的六类反应偏差类型核心表现主要风险社会赞许性选择社会认可的答案自我呈现替代真实报告默许偏差不依内容而同意或否定制造项目间虚假一致伪装行为有意夸大或虚构问题误诊和不公平获益猜测反应不确定时随机选择分数高估与难度低估趋中反应偏好中间或中性选项压缩个体差异随机作答不依据内容选择答案增加误差并扭曲关系按照社会规范和大众期待呈现自己,而非如实报告社会赞许性偏差求职、晋升、公众形象管理等高评价情境中尤其明显。规范识别社会赞许性偏差的形成机制被试判断哪些回答更符合社会认可。自我呈现主动选择更有利的态度或行为描述。分数后果测验得分混入印象管理和社会适应动机。虚假相关社会赞许性偏差的测量后果多个自陈变量可能因共同迎合倾向而同时升高。效度降低分数偏离真实心理状态或行为表现。结论误导研究者可能把自我呈现误解释为目标构念关系。社会赞许性偏差的高风险场景场景被试动机测量风险招聘测评呈现符合岗位要求的形象人格与价值观得分被美化晋升评价避免暴露弱点或冲突行为领导力与合作评价失真临床筛查担忧污名或后果症状被隐瞒组织调查担忧身份追踪和管理评价满意度与安全行为被高报不充分考虑项目内容,机械地同意或否定陈述默许偏差其核心是“非内容响应”,一致同意比一致否定更常见。同意倾向默许偏差的典型表现对大量正向陈述持续选择同意。否定倾向对不同内容项目持续选择不同意。模式化选项一致性看似很高,却缺乏内容依据。区分度下降默许偏差如何扭曲结果认真作答者与默认作答者混合,削弱项目鉴别。虚假相关同方向项目因共同同意倾向而表现出强相关。时间效应长问卷后期的疲劳可能逐渐增加默许反应。默许偏差的可能诱因来源具体诱因改进线索项目特征表述复杂、模糊或全部同向简化语言并合理平衡方向测验情境时间过长、环境嘈杂、指导语不清缩短测验并标准化施测被试因素注意不足、认知超载或服从权威增加质量检查和动机支持为获得外部利益而故意夸大或虚构心理、行为或认知问题伪装行为伪装具有明确动机和策略性,应与无意的反应偏差区分。伪装与其他偏差的区别偏差形式是否故意主要动机伪装行为通常是赔偿、免责、福利或其他外部利益社会赞许性可能有意或半自觉获得认可并维持正面形象默许偏差通常不是策略性行为省力、理解困难或反应习惯随机作答可能有意也可能无意低动机、疲劳或对抗健康问题伪装伪装行为的三种形式夸大身体或心理问题以获得赔偿或保护。认知问题伪装故意在记忆、注意等任务中表现不佳。情绪困扰伪装夸大焦虑、抑郁或创伤症状以获取利益。伤残鉴定伪装行为的高风险情境症状严重程度与经济补偿直接相关。司法听证精神或认知状态可能影响责任判断。保险索赔心理和身体损害与赔付金额相关。信效度损害伪装行为的测量后果测验分数偏离真实特征,诊断准确性下降。决策公平性不当获益可能挤压真正需要帮助者的资源。证据要求高风险评估需要多来源材料和专门效度指标。被试不确定正确答案时,通过随机或主观策略选择选项猜测反应有限选项的单选题和多选题中更容易出现猜测。分数高估猜测反应的三个影响猜对使观察分数高于被试真实能力。随机误差运气进入分数,降低结果稳定性和解释力。难度低估大量猜测抬高通过率,使困难项目看起来更容易。题目设计猜测反应为什么发生选项数量有限或干扰项缺乏吸引力。时间压力被试为完成全部题目而快速猜测。动机与能力不熟悉内容或缺少投入时更可能猜测。降低猜测影响的设计策略风险点设计策略检查证据干扰项无效依据错误类型设计有吸引力的干扰项选项选择率时间过紧通过预试设置合理时限未完成率与反应时纯随机获益增加题型信息或使用模型校正选项轨迹与猜测参数低作答动机说明用途并控制测验长度努力指标与异常反应作答时倾向选择中间选项或中性立场趋中反应趋中不一定代表真实中等水平,也可能是谨慎、模糊或疲劳的结果。避免极端表态趋中反应的成因敏感问题中被试不愿表达强烈立场。缺乏明确偏好项目模糊或态度尚未形成。疲劳效应长测验后使用中间选项快速完成。掩盖水平趋中反应的测量后果真实的高低特质可能被压缩到量表中部。区分度下降极端个体之间的差异难以被检测。关系低估构念变异缩小会削弱变量间关联。不依据项目内容或自身真实特征,以完全或部分随机方式选择答案随机作答书稿指出其发生率可能不高,但对研究结论的影响可能很大。随机作答的五类成因成因具体表现风险信号缺乏动机认为测验不重要努力指标偏低匿名性认为无需承担作答后果质量承诺较弱作答疲劳长测验后注意下降后半段反应时异常对抗心理用随机回答表达抗议明显矛盾或无规律设计不合理题目模糊、冗长或无关理解困难和漏答增加测量误差增加随机作答的统计影响分数不再稳定反映目标构念。真实效应被掩盖变量间相关被随机噪声削弱。假阳性风险偶然模式可能被误识别为统计关系。反应时异常作答的多指标识别识别明显过快、过慢或后程骤降。作答模式检查长串同选项、矛盾回答和随机一致性。注意题结合指示题、重复题或地雷题。模型证据使用混合模型或人员拟合指标识别潜在类别。情境控制反应偏差的控制思路改善指导语、匿名承诺、时间和施测环境。内容控制优化题目表述、选项设计和正反向配置。检测与校正使用效度量表、反应时和统计模型。任务形式强制选择法要求在多个描述中选出最符合与最不符合自己的选项。主要作用减少社会赞许和持续选择同类选项的机会。应用要求选项的社会赞许程度与构念负荷需要合理匹配。设计方式平衡量表同时设置正向和反向表述的项目。诊断逻辑正反向项目应在反向计分后呈现一致构念关系。主要作用帮助识别模式化同意或否定反应。测量对象期望测验与效度量表直接或间接评估社会期望和自我呈现倾向。分析用途作为协变量、修正指标或个案解释证据。使用边界不能把高社会赞许得分自动等同于无效作答。基本假设反应时阈值法极短作答时间可能意味着未充分加工题目。操作方法根据预试、题长和被试分布设定合理阈值。综合判断反应时应与正确率、模式指标和注意题联合使用。模型思想混合模型法把偏差或异常作答视为潜在反应类别。分析目标估计真实反应与偏差反应的相对贡献。主要优势允许不同被试或不同项目具有不同反应机制。反应偏差与控制方法匹配偏差优先控制辅助证据社会赞许性保密承诺、强制选择与效度量表多来源评价默许偏差清晰表述与合理平衡项目方向响应模式检查伪装行为高风险访谈、专门效度指标档案与行为证据猜测反应优化干扰项与合理时限选项分析和模型校正趋中反应改进锚点与减少模糊项目选项分布分析随机作答提高动机、缩短测验与反应时筛查注意题和混合模型反应质量控制闭环事前设计降低偏差诱因→过程记录反应时与行为日志→事后识别多指标质量筛查→敏感性分析比较保留与剔除结果偏差本质第二节小结非目标因素造成的系统性作答偏离。类型差异迎合、默认、伪装、猜测、趋中与随机反应机制不同。控制原则程序设计、过程数据和统计模型需要组合使用。第三节共同方法偏差由测量方法而非目标构念造成的系统变异方法变异同一测量来源、题目形式或情境都可能形成方法变异。MV、CMV与CMB的区别概念含义判断重点方法变异MV测量方法导致的系统误差方法是否贡献了项目方差共同方法变异CMV相同方法测量不同构念时产生的共享变异多个变量是否共享方法因素共同方法偏差CMBCMV使构念关系估计发生偏离关系参数是否被实质性扭曲同一被试为什么共同方法偏差常见预测变量和结果变量都由同一人自评。同一时间变量在一次问卷中连续测量。同一形式相同量尺、锚点、项目语气和呈现背景。同一动机社会赞许、默许和一致性需要同时影响多个变量。测量层面共同方法偏差的两类核心影响潜在变量的信度与效度估计出现系统性偏差。关系层面不同构念之间的相关和路径系数被错误估计。结论层面研究者可能接受并不存在的理论关系,或错过真实关系。机制共同方法偏差可能掩盖真实关系方法因素与构念关系方向不同或引入额外噪声。表现理论上存在的相关在观察数据中被削弱。风险研究者可能错误否定有意义的理论假设。机制共同方法偏差可能制造虚假相关相同评定者和相同反应风格同时影响多个变量。表现无关构念之间出现偏高相关。风险把方法共享误认为构念之间存在真实联系。构念代表性共同方法偏差影响信度与效度项目方差更多反映方法因素,构念解释比例下降。随机误差额外噪声进一步削弱测量稳定性。实际后果量表的整体测量效能和决策解释力下降。路径估计共同方法偏差干扰理论模型结构方程模型中的关系参数可能偏高或偏低。因果解释方法共性不能提供变量因果方向的证据。理论发展错误参数会误导机制解释与后续研究。项目方差的三类组成构念方差由目标特质解释的有效变异。方法方差由相同评定者、项目或情境造成的系统变异。随机误差无法由构念或稳定方法因素解释的变异。评价对象平均方差提取量(AVE)的意义潜在构念从其反映性项目中提取的平均方差。经验标准AVE大于0.50通常被视为较理想。解释要求不同项目的构念方差和方法方差可能并不相同。项目差异方法效应对项目并不均匀同一方法因素对不同项目的影响强度可能不同。构念差异同一方法对不同构念的影响也可能不同。分析含义假设单一、等强的方法效应可能过于严格。共同方法偏差的主要来源图11-2共同评定者、项目特征与测量情境共同形成方法效应共同方法偏差的三个来源来源具体表现可能造成的相关共同评定者效应默认作答、社会赞许和一致性动机同一人的多个变量同步偏移项目特征效应社会赞许性、模糊性和相同量表形式相似表述项目额外相关项目背景效应变量顺序、测量情境和邻近项目启动前后项目相互影响事前程序控制共同方法偏差的控制框架在研究设计和测量过程中减少共同来源。事后统计检验评估方法变异是否存在以及是否严重。核心原则统计检验不能替代良好的研究设计。多来源程序控制:测量来源分离预测变量由员工报告,结果变量由主管或系统记录。时间分离在不同时间点测量不同变量。空间与心理分离改变测量场景、任务说明或变量呈现关系。项目质量程序控制:优化项目与过程减少模糊、复杂和高社会赞许性表述。量尺设计适当改变量尺形式、锚点与题目顺序。质量检查可加入地雷题、测谎题或注意力检查。共同方法偏差的预防路径理论设计区分构念与来源→多源测量减少同一评定者→时空分离降低线索连接→统计验证评估残余方法效应三种常用事后检验方法方法核心思想书稿评价Harman单因子法未旋转EFA检查单因子解释比例操作简单但检验力低ULMC法所有项目同时加载特质因子与未测方法因子优于Harman但仍有限CFA标签变量法用理论无关但同方法测量的标签变量表征方法因素可检验CMV及其偏差程度分析方式Harman单因子法将不同构念的全部项目进行未旋转探索性因素分析。判断逻辑若一个因子解释了大部分变异,提示方法因素可能较强。经验阈值国际研究常使用50%,国内应用中也常见40%。经验标准为什么Harman法证据较弱40%或50%并非理论上的绝对界限。模型粗糙单一因子难以代表复杂且不均匀的方法效应。检验力低未发现单因子并不能证明不存在共同方法偏差。在特质因子之外,引入由全部项目共同加载的未测量潜在方法因子ULMC法方法因子没有独立测量项目,因此由实质变量的项目共同标定。局部因子ULMC法的模型逻辑各组项目加载到相应的实质特质因子。全局因子全部项目同时加载到共同方法因子。模型比较比较加入方法因子前后的模型拟合和参数变化。优势ULMC法的解释边界能显式估计方法因素,比Harman法更接近CMV模型。局限方法因子含义可能不清,模型识别与收敛也可能困难。书稿结论检验效果一般,但相较Harman法有所提升。使用与实质构念理论无关、但采用相同方法测量的变量估计方法效应CFA标签变量法标签变量与实质变量共享测量方法,因此可作为方法因素的观测入口。CFA标签变量法中的四个模型模型核心假设用途基准模型不显式纳入共同方法变异提供比较基线模型C存在CMV且方法效应对各项目相同检验等方法效应模型U存在CMV且方法效应可以不同放宽等负荷假设模型R即使存在CMV,实质负荷不发生重要变化检验CMB是否严重比较目的步骤一:基准模型与模型C初步检验是否存在共同方法变异。差异显著支持存在CMV,但尚不能判断CMB是否严重。差异不显著还需检验模型C的等方法效应假设是否过强。比较目的步骤二:模型C与模型U检验方法效应是否可以假设为各项目相同。差异显著等方法效应假设不成立,应采用模型U。差异不显著模型C的较强约束可以保留。比较对象步骤三:检验CMB是否严重将模型R与较优的模型C或模型U比较。差异显著方法变异已经实质性改变特质负荷,CMB不可忽视。差异不显著可能存在CMV,但其偏差程度不严重。继续比较基准模型与模型C不显著时不能直接宣称CMV不存在,应比较基准模型与模型U。仍不显著CMV很小或不存在,可以停止分析。显著存在不等强的CMV,需要进一步比较模型U与模型R。CFA标签变量法检验流程图11-3CFA标签变量法的模型比较与判断路径(汤丹丹和温忠麟,2020)CFA标签变量法的结论规则比较结果可以得出的结论下一步基准模型与U不显著CMV很小或不存在停止分析并报告证据基准模型与C或U显著存在CMV继续检验偏差是否严重R与较优的C或U显著

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论