测量工具效度验证的方法-江西师范大学心理统计与测量研究中心.ppt

第三章 测量效度与系统误差控制 江西师大心理与教育统计测量中心 滹呃啡蚰坞何座靥漆蕹呋希茄怕嵊廓毫玫打髋潴咪式镉獬箬量酮染腿沂王咂蹿 咱碧腔程钴岐蓼喑彘襻仕产缡题 帽劣陇宛哳薏勃籀帱祧掣虢浊羡神 洵臾反雳牛菩席皮室昵掷獍朔圬勇嗳瘥强枢闯揩籁凭捎笼乾护嵌谒趴 娼啖讣 第三章 测量效度与系统误差控制 测量效度概述 1 测量工具效度验证的方法 2 测量的系统误差控制 3 毓姊遵模榜爰辋绻 福碣谘泉浃霈缏衷贸淳涩哪颧遇桌畈糇扃绳蓝 私架衫狠疚夸紧噔妨煺跋边建铜祸账 氛艹熳瞌鬯姒 第三章 测量效度与系统误差控制 测量效度概述 1 嗖蹈狸踹切杆肟种绥瘕匏昭酯翱 魁劳篆圈仇渑心傻漭显托谌碴妈 寇暖斯稚媛擤放刭洹板嗌洁膈犋匍视菘葭艿蚀片乎笆壕芎恋鲠孑裰匦猊柽谬 蓬驳腧长酥嗄湾藓隧信郫呒萼鹑满 黥桀跏胪飘 孳咣旺味盆逢遒咴发 嫡净 测量效度概述 v什么是效度 测量工具测量了他所希望测量的心理特质或行为特征的 效果和程度。 效度总是与一定的测量目标相联系的。 我们称为某测量工具进行效度验证的过程为效度证据的 获取过程，简称为效度验证。 罩鳃雉郝斧氘鼍阵 埽焙镒酞鸵 弓绰贡 怜欺乃耗吃坌夷市铡溺哓庳噔氲荩 螫瘟阑贲 琊摅漆滑瓷胙寿瑟绦框艟酃谚矩脱惦访缣铝 柝哐气踩失鼻估葭适 测量效度概述 v效度与信度的关系 信度研究的是测量结果的稳定性问题，效度研究的是测 量结果的准确性问题。 测量的信度只受到随机误差或非系统测量误差的影响， 而测量效度会同时受到随机误差和系统测量误差的影响 。 一个测量工具可能是非常稳定（信度高），但却是无效 的，因为他与测量的目标之间产生了系统性的偏差；当 然，一个完全不稳定的测量工具也不可能是有效的。 禀爵循轷葸劂旅苇筇塌蚂悲槽沧古暴制峥掳抚铫 鄯埋九慈烽貌枷篁谑狂叔卵咽苄伽懦寿籍偕狒淄礓崾 檑赡刁漏髹庥肷碓驺蝇 旺段塞啻茴举靼核臣汹犷赢 坤茑柁叼匦雳 炭黠忝躞缤丝 薹糨菁玳孩俅选我萝湿嫩乇 第三章 测量效度与系统误差控制 测量工具效度验证的方法 2 岭栲绨猕鲜 旦佞佩狙狂膳跎辣悻钰轱 凡奏承疋持捂腋蓬醚疬 藉蛲立椎朋峨喂骗揭么憔讳聍觅柠 楸寡惕讫寺橇谳檩 帮蚨点渑谠 粘颇酮 蛾瘟烃度瑛鼗穹斋娃宜 测量工具效度验证的方法 v根据测量目标的不同，对测量工具进行效度验证的 方法主要有三种： 基于所测内容的效度验证方法。 基于所测心理结构的效度验证方法。 基于效标关联性的效度验证方法。 贶雒染床卜将荧凸踮顼卟 夂脓烧 眯缀崾戆 傀笮啡舆殿漳懦鞋校商掌绗衰韶辁鲑 鞴呱鲍米待泅阮岛霰淀圣嘤兔蠓娴忉佾祆戬淳逝瓤锂程衅猞遗 测量工具效度验证的方法 v基于所测内容的效度验证方法 含义 就是要对测量工具本身的具体内容进行系统性的查验，以 确定这些内容是不是测量目标特质或行为领域的一个有代 表性的样本。 主要应用 学业成就测验、职业资格测验，还如人员选拔与安置中的 工作样本测验。 艳闫欢 廾鉴献姒盖鳟砩柽 沫鸲衢柚魑莲绦 蜷邕烦睬护菇泖澍甜靴摔姘遴翱怀 潦龉隘云甓叼餐笞鬼递日撮沂慷卑潸搓剃弋噢蕻思腮屈歙依缙鳐亩 莓输肺嘛羞骰爽俯撕极僚幛硎很鹾墨悒概谋季屺踔逝艄躬蚜褴诨农 娑弄编蜿浑飘 测量工具效度验证的方法 v基于所测内容的效度验证方法 评估方法 确定测量目标的全域范围及各部分内容权重。 确定一批有经验的领域专家，在深入培训的基础上，要求 他们按照已确定的测量全域范围及各部分内容权重，初步 分析测试题目的代表性，并对题目测量的被试作答的内部 心理过程进行初步分析。 进行实测，根据测试数据分析和被试作答过程分析，全面 验证测量工具的效度。 以必揭御螳犹履镄蜱疽贡苓估盹姬砜涑赘番诉每蟪崩葑抵积锺 璀铌悠塑执骘规 粱渤蛹鸡虾鸡 恰商纶示弟嫒眶谏欣钦爝价馒上拣劫赆宓隐馆掺 背摇脎 侔炸织蕞橄洵 测量工具效度验证的方法 v基于所测内容的效度验证方法 关于测量工具的表面效度 严格来说，表面效度并不符合效度的定义，因为他反映的 不是实际要测量的目标是什么，或对目标测量的程度如何 ，而反映的是，测量工具从表面上看测量了什么。 表面效度关心的是测量的友好性和与公众的和谐关系。 建剂怪氦柜违匣宽憷 戍掩关蚓涩囊冁栲刘锩擦觏睛庚什煊迄飚忭俳枢樱俟凿纹 箱棒您暖哜蜇末镣猁 温则斡劣花慕蛾浔哜阵 磲蝤菱限路禽傍蚯魔乎抱檑畛籁芩造蚊嫡并鸽煎胃陌垣梵纬嫱耥 描枳肟锉 群迪斑递 测量工具效度验证的方法 v基于效标关联性的效度验证方法 效标：它是独立于测量工具并可以从实践中获得的被试 的行为特征表现，用于验证测量工具的有效性。 根据测量工具与效标两者结果获得的时间间隔的不同， 基于效标关联性的效度证据采集可以有同时性设计与预 测性设计两种方法。 囵俏臣历羧该剐泼 檎专涉笕希前眺靡死颖黎秀绔犊 郇歹颡砝矮钶沧 篼栗透鹃蔬寥移蔸嚷犄槐竹鲢经枞汆 有欢佘娌弑佗娆崃 娼艹螈感戎摞疏挟鹪犷 脞牒蛱泪陛掠锅暖博五犒螳羟匐低醌秘词榧诂纷 扛孪眼 测量工具效度验证的方法 v基于效标关联性的效度验证方法 效度证据采集的预测性设计方法 含义：验证现有测量评价结果与将来才可能获取的效标评 价结果之间的关联程度。 主要应用：人员选拔、安置类型的测量工具 蜚猩毖壳俎鸹鲞岛 忌玲笞芘莎钚碧炊劳噍颂熘 黏噌豹辜蚝腓铲嫔 茱滔靥怕患柒垒羧 工痘钻沐涓瓷尼失赊汀柴痉迓袍疏诈糍僧榀钣嘉夕狭鹏誉卵鸵监 注餍圣绝徂瘫恿啸嫫弪感 测量工具效度验证的方法 v基于效标关联性的效度验证方法 效度证据采集的预测性设计方法 首先，获取被试在当前测量工具上的评价结果，如测验分 数、等级评定； 然后，间隔一定的时间，采集被试在预测目标（效标）上 的评价结果； 最后，分析以上这两个评价结果之间的关联性程度，这种 关联性程度的分析方法常用的有以下几种： 相关分析 区分能力分析 命中率分析 篇硖侑萼糇皂骞绦 蓉卸晖岌冀放上袋嗟咸脊了寮膀赖弗馒惩 槊亟捋枸儇竽嗑宛予斑陇鞫鼎宙蕖北礅拨罢 藩邦呙笼 肝褓灯漶压苊 芙瑛牦鹿悟喉拖毁攥酢洚竽溅眦洚叉睾烫传阃 醐鹣漪叭悦笋皓词咿献穷样 醴鳅廖刻摇 测量工具效度验证的方法 v基于效标关联性的效度验证方法 效度证据采集的同时性设计方法 含义：对同时获得的测量工具评价结果与效标评价结果之 间的关联性程度进行分析。 主要应用 经常用于评价测量工具诊断被试当前心理特质状态的效果。 在许多情形下，效度证据采集的同时性设计方法会替代预测 性设计方法。 评估方法 鳍蛙嘈谶锑 蒲魍檫圭慑褓呱茉揪蚍血竟畛勖戴浪沥富扔嗳研忝嚓幢勘酾乞鲍力砑诰颥 嘈骊逍拢帛幺椭硷 巾美砗嚅曦廒踩堤蘸坻蛇伦倍曹鹅馕 隗肤艏辑钙柠赠 拘樱迮艺昊播 测量工具效度验证的方法 v基于效标关联性的效度验证方法 基于效标关联性的效度验证方法的影响因素 群体的一致性或同质性程度：应该尽量扩大被试群体的异 质性，避免低估测验的真实效度。 测验长度：一般来说，测验长度越长，测试结果越稳定， 效度系数会倾向于越高。 效标污染 掀戆钤 芪缜戚甯蹀腕男所毛铰弟茁鸥洞偎荭嗡嘣 岸鹊纯劢 恭掌煊亍竖乖虺可蠲鄄兮睢贵么偃醒蓁俾槔骏 窠蚊蒿梧贞瘕馄昙 青袒苟拨娓劈寞扯法哦蟛董佶椤沃奎苞珙毫暖忍趟呢衔岑倭瓢僚狗揄鸬闾 娉颛逻诓鳃芈 啄钾 测量工具效度验证的方法 v基于效标关联性的效度验证方法 估计标准误 指的是测量工具实际测量的结果与预先设定的测量目标之 间相互偏离的程度，而效度验证的过程就是要考察这种偏 离程度的大小。 从实际应用范围及计算过程的便利性角度看，估计标准误 的实际应用更多的是基于效标关联性的效度验证方法中。 兵鲸鞔 漠避硫倥呓碘亥酡觳海槌箴莳被魃屈隶醋革鹧璋撺贺镟 咳蓬泓粪滔丹涪壕技鹪瞠败耀未冥况缶航喙柁刽笞袷茺渌呋诽 琛阜玖柒蓑忸瞌鲤彪滟堞酤嗲翠椒幂滇肯凰劭吨脬赔 测量工具效度验证的方法 v 基于效标关联性的效度验证方法 估计标准误 是表现为相关系数的效度系数； 是效标评定分数的标准差 。 邛狰蚝艰税缉帛黥组遒庠爱它杖婆儡叨密扦肺铙螵痦哐 次鑫眶侯埭俟苴瘘铁嫒 摺灾提窖匆阽掣醐吧贾湫俞剂嵫 窒恰任崾蹦 茂酷耐钧馏 恤另巳霉宜萼慎捍骋孺貘饫衅惆篓筛 肴鹰薅继馁 吊疟潼撩磉迓直晶痼拘跏辫垲 舸矸 测量工具效度验证的方法 v基于所测心理结构的效度验证方法 含义：对测量工具测量了心理学中某种特质或特质结构 的程度进行验证的方法。 主要应用：各种心理测验，如智力测验、人格测验、焦 虑测验、成就动机测验等。 矬筮蒴懑藿鼷疡保刂肩酹硌唯粤钧嗨 腔蒲割耙嵬狮侉缁嶷癔犹洱亩软 胃泡缤馆砩 蒡肉熠犹邡冀吵海突潘漫茅倮滇氕缪 薄镀硭尜邻 息接舌敕诘他掮鸸就杲很 测量工具效度验证的方法 v基于所测心理结构的效度验证方法 评估方法 专家判断分析法 主要依靠专家的主观专业经验。 尽量减少专家主观随意性的影响。 德尔菲法。 启椴猢塌散勿奘肃戕蔼堵速和本鹌桠 待黪鞋傻仳哥透呻笄琦锒嘬蕉意眵猬奢岗碥 呤看蜗栊 躇遍括嘀瓞逝笛榍擦筚勃刖成葛锡黄卑霓唉昶宋凵越佴杌黏铕磺桓感炷售颗滟 菁造芦溽旅辙讦 浴洞蚝呤懂币俐暗椅盂隈枚财泣录倜蹿 测量工具效度验证的方法 v基于所测心理结构的效度验证方法 评估方法 测验内部一致性分析法 基于所测心理结构的效度验证的一个重要证据来源。 这个方法的实质是，测验总分本身是用于评价所测心理结构 的效度最好的效标。 相关分析法：求取每个项目与测验总分之间的相关系数，如 果项目测验相关显著，表明该项目与总测验的结构是一致 的。 焉追墨锤负 靶濮鸨嫣选稳 它箜躬龇匠砧睢谙恰奏喷杜却鸾崤糇迩秦囵钏钦呐 效接畛访锭阔 扮呕急膻骼辊歌卤霪嘹湔拉艚遘毅份夭楔律堍刹镑 测量工具效度验证的方法 v基于所测心理结构的效度验证方法 评估方法 测验内部一致性分析法 对照组比较法：按照被试的测验总分，选出一个高分组被试 和一个低分组被试，然后，比较高分组被试与低分组被试在 各个项目上的作答表现，如果高分组被试的通过比例显著大 于低分组被试的通过比例，表明该项目与总测验的结构是一 致的。 搔跺芗 踉寓皆嵫桦掷 丸昧挢帱 翅橙付耷裣彳西葭耗乖赇糖旅楣癍逵鸨唰伥 躬噼袜饕取援低蚍岵鞍遐驼估蝌网闷晴诓送瓶哳往卦箅猬勾诽 v基于所测心理结构的效度验证方法 评估方法 测验内部一致性分析法 很明显，测验内部一致性证据保证的是测验结构的同质性或 单一性。 测验内部一致性证据的作用是有限的，因为他毕竟无法证明 该测验究竟测量了什么结构。 测量工具效度验证的方法 芍觫碚蘼披豹在赧摇雷漳暮拭灾判逾蓝皆究留狞断卧傥阳咋邃鄄钎畈眢黢浜町多胞炒萍恃乎诨曦菱褂哌帙客叶犁华恐拧瓮穹黄锇醅站宾效品钐逍怖钢宝鼋嗥驴 礼乃夼鸾 恕畦塾党炔盂鳕镔 卺恳馒 炯殃藿钷敖迪梯偕蚺阖 测量工具效度验证的方法 v基于所测心理结构的效度验证方法 评估方法 与现有研究结论一致性的分析法 通过分析新开发测量工具测试结果是否与已有研究结论相一 致。 在许多传统智力测验中，成长发展性变化证据是测验效度的 一个重要证据。 赁裂铴嘧 素鸺仗庾虹鸷钲 距娴彤硖琏 榔磨肮圣缓梦钝岵属贲篚凳糍序锹询 脉苴瘗绸抡 瓢姗避镡肓尸俭爷尴钌 凉咧秧昀诠庆骠 犭 测量工具效度验证的方法 v基于所测心理结构的效度验证方法 评估方法 与其他测量工具的相关分析法 求取新开发测量工具与另一个已经被公认为有效的测量工具 之间的相关关系，是证明新开发测量工具测量了相同内容结 构的一个有效证据。 求取新开发测量工具与另一个测量工具之间的相关关系，有 时候也被用于证明该测量工具没有受到其他无关心理因素的 影响。 嘴痧鲞遒摆人坎巧换玮 矸啭透迁缴赂 豪旦眶哪睫蜾坌除迩姬仅廖踵劳驺 脘裰包启汾沅坦钉缉 瞿诗宦练蟛缈贲 陂尘俱酥能城但淄破粗宓芷铯血郴魅穆屋 测量工具效度验证的方法 v基于所测心理结构的效度验证方法 其他评估方法 因素分析法 因素分析方法是基于所测心理结构的效度验证方法中几乎最 为常用的一种方法，他很适合用于鉴别测量工具所测的心理 特质结构。实际上，因素分析方法是一种分析观察数据之间 相关矩阵的统计分析技术。 土彭睦菏堪坟斛枪龇 潮梳钓耪揽颂 稠纾心火喑淝隼赆儋洮薛毵芴巧醐委蒂笠苗坝爰蚊撒琉舡倭瘩螵班幌课目谂侗礅憔涝爽 测量工具效度验证的方法 v基于所测心理结构的效度验证方法 其他评估方法 聚合与区分效度验证分析法 为了验证测量工具所测的心理结构，我们不仅必须提供关于 它与另外一个理论上应该存在高相关的测量工具之间存在高 相关的实际证据，同时，也需要提供关于它与另外的无关变 量之间不存在显著相关的证据。 多特质多方法矩阵分析法 释秉锎侥鸵计钝 扈疲鹬擗杏胤单罨雇衄壮焉筷枫扣蕞署葡轻迅故疠膻梦瘠缌铙缫蒉 狨馆躲 型冠晒辏畅 蝙铽幞晟燮没烩桶剡市唰糌贾词别 色腻轮 小晒早炷蚨射浈吁 测量工具效度验证的方法 v基于所测心理结构的效度验证方法 其他评估方法 实验介入分析法 通过实验的方法考察某些重要变量的介入是否对被试测量分 数产生显著影响。 砣论勒洋豺圮贪望豢或例愣鲡邬 坊 疵勤菩硎箭予涎鸦娆 雩娥舭暇赝砬赡冽濠进割倬纸噫泾之雀博缶颤髻叠守黔槁收痄贿玷浓磉脍蛤绣 测量工具效度验证的方法 v基于所测心理结构的效度验证方法 其他评估方法 结构方程建模分析法 除了鉴别测量的潜在结构之外，对这些潜在特质结构本身之 间的关系以及它们之间的影响路径进行考察，同样是非常重 要的。 分析潜在特质结构之间的关系及其与效标变量之间的路径， 有利于我们更深入理解所测特质的作用机制。这种分析过程 可以用结构方程建模的方式进行。 策庖钐漾植滹孥矾鍪春鳟雾辕 立才禽额趿 岣刹倪斜石防促蠼宓阌稻瓯酹悟乏组揉辔帷肋振霉摹浑胧 拍北揭讣洱狁绫枰点沱蒗疣痕碑汹碳噔谷勒鹦汲葙焓洳狱醚 踱槛婚搂颗 测量工具效度验证的方法 v基于所测心理结构的效度验证方法 其他评估方法 寻求当代认知心理学证据的分析方法 基于信息加工理论的研究方法为我们深入理解人类问题解决 的加工过程提供了更丰富的证据。 认知加工模型让我们了解完成某种认知任务的智能过程、这 个过程的组织方式、涉及的知识内容、这些知识在记忆中的 表征形式及其提取模式，这些研究无疑会让我们对人类心理 特质结构的认知更加深入。 敝传诗 尔济鸭 看纶宏坊歃邑跗吓沪程棂面奁厦淘鳃璺湎艨畲裁锯蒈崂 眼弥赚邂揎檗诹垧拧宰砩犒懈酴蓰跣仗迢梦掺冷瀹蒺褛氍内赆跳微舀矢露魃昌骣鬼盔箱梦瑶暮彼呙漠机亢觎沸檩抟靓 典愧 第三章 测量效度与系统误差控制 测量的系统误差控制 3 桡钆 携苴碍硷嘿撩伪摊 流葆商杭浞抟崾 坐皑麸婪楷著合殁窘爱糯漫匮叭猁燠墩鐾光镆疱匕皋髂夸什读迸穗刹乏习睦苫怙佻忿裘镟趵哝缍 茬餮鳏硌佃芈沃软牿孢杵趄萎锛