心理基础及其测量 10

第四章心理测验编制心理测量Psychometrics李英武董妍中国人民大学心理学系第四章心理测验编制学习目标理解标准化测验的编制、实施与常模制作。基本框架心理测验的编制、心理测验的实施、测验常模的制作。学习要求能够审查测验方案，规范施测，并选择适当的分数参照。教育目标章节导入：教育测评的现实责任以全国教育大会为背景，强调教育服务人的全面发展。测评责任教育考试既要测量知识和能力，也要关注题目所传递的价值与实践要求。编制问题测验目标怎样落实到内容选择、题目设计和结果使用？案例思考：围绕立德树人设计应用题设计环节需要回答的问题测量目标题目要测量哪项知识、能力或心理品质？社会情境情境与学生生活及社会实际有什么联系？作答任务学生需要分析什么问题，提出什么方案？评分依据怎样区分知识运用、推理质量与价值判断？结果使用如何避免以单一题目给学生贴标签？第1节心理测验的编制心理测验的编制程序阶段主要任务形成的成果明确目的界定对象、用途和目标测验定位制定计划确定维度、题型、题量与评分测验蓝图编制题目写题、试测、项目分析与组卷测验初稿测验标准化统一编制、实施、评分与解释标准程序编写说明说明使用方法、证据与限制测验手册测验目的的三个要素要素核心问题对设计的影响测验对象为谁测，采用个别还是团体施测？决定语言、内容与施测方式测验用途全面评估还是测量某个领域？决定范围与深度测验目标用于选拔、筛查、诊断、预测或评估？决定题目特征与结果解释以内容领域和认知水平构成二维矩阵，规定各交叉位置的题目数量或比例。双向细目表双向细目表用于检查测验目标与题目分布是否匹配。双向细目表：教学示例内容领域记忆理解应用合计测验基础2题2题1题5题项目编制2题3题3题8题标准化施测1题2题3题6题常模解释1题2题3题6题合计6题9题10题25题教学示例：实际比例应由课程目标、内容权重和测验用途决定。科学性测验编制计划的质量要求目标、内容和方法符合心理学与心理测量学原理。详细性明确维度、题型、题量、评分规则和质量评价方法。可行性时间、人员、材料及施测条件能够支持方案实施。两项用途编题时控制内容覆盖，评分时确定各类题目的分值。理论先行从理论结构到量表维度先明确目标构念的维度结构。项目对应让题目覆盖学习、社会、人际与家庭希望感。结构检验通过数据分析检验项目与维度的关系。儿童青少年希望感问卷维度（张萍等，2022）题目编制正式编制阶段的主要任务依据测验目标形成足量候选题目。合成测验通过定性与定量项目分析筛选题目，并完成组卷。标准化与验证统一关键程序，收集信度和效度证据。使用说明把操作、评分、解释和使用边界写入手册。题目编制的五项原则原则核心要求常见风险科学性内容正确，表述规范知识错误或图文不一致目的性题型、难度和区分度服务测验目标题目与用途错位代表性覆盖目标构念的重要维度重要内容遗漏合理性评分清楚，减少无关因素干扰分值与重点不匹配经济性题量与信息量、时间和负担相称过短或过长科学与目的编题原则需要共同发挥作用内容正确只是起点，题目还要回答测验要解决的问题。代表与合理既要覆盖构念，也要减少阅读负担等无关因素。信息与成本题量增加可能扩大覆盖，但也会增加疲劳和施测成本。任何单项原则都不能单独保证题目质量。题目编制的具体要求方面编写要求审查重点内容围绕目的，具有代表性，项目相对独立重复、相互提示或无关内容语言简洁明了，避免生僻词和双重否定阅读难度是否偏离目标表达保持客观，避免暗示和情感倾向绝对化或诱导性用语理解题意清楚，答案或评分依据可靠难度与目标群体是否匹配题目语言与表达的常见问题问题不当表达修改方向绝对化措辞“某人是否总是懒散？”限定具体行为、时间或情境双重否定“你是否不同意不参加活动？”改为单一、直接的陈述生僻术语使用受试者难以理解的专业词采用目标群体熟悉的语言暗示答案题干或选项透露正确方向删除提示性线索客观题的类型与编写重点题型适合测量编写重点选择题知识记忆、理解与推理题干完整，干扰项合理，选项避免逻辑包含是非题快速判断陈述正误避免模糊、绝对或有争议的表述匹配题概念、事件或类别间的联系同组材料同质，选项数量适当填空题识记和理解留空位置与长度清楚，答案范围明确主观题的类型与编写重点题型主要用途编写与评分要求简答题考查基本知识与简要解释明确作答范围和评分点论述题考查分析、综合与评价结构清楚，评分标准覆盖关键论点应用题考查真实情境中的问题解决情境完整，问题明确，评分可操作作文题综合考查表达与逻辑开放程度适当，明确主题和评价维度先看构念题型选择取决于测量目标选择题、作业表现或自陈项目提供的信息不同。再看评分开放题能呈现思考过程，但需要明确评分量规与评分者训练。控制负担综合考虑作答时间、认知负荷、评分成本和数据质量。组合题型多种题型可以互补，但题型增加本身不会自动提高效度。应用题的编写练习组成部分示例设计情境学校计划开展社区垃圾分类调查，学生获得一组真实记录。任务解释主要问题，并提出一项可检验的改进方案。测量目标信息提取、证据推理和实际问题解决。评分要点问题识别、证据使用、方案可行性与表达清楚程度。教学示例：价值主题应落实为可观察、可评分的作答要求。项目分析的两类证据分析方式检查内容主要作用定性分析科学性、内容代表性、表述清晰度和答案正确性发现内容与表达问题定量分析难度、区分度及其他项目统计特征评价题目在试测样本中的表现综合判断理论要求、专家审查与试测数据决定保留、修改或删除预测施测项目预测与复核尽量模拟正式情境，并从目标群体中选择样本。项目筛选结合项目统计和内容审查筛选候选题目。复核测试在新的适当样本中检查题目表现是否稳定。形成题库保留达到预定技术标准并覆盖测验蓝图的题目。一次试测结果不足以证明题目在所有人群和场景中都适用。组卷与题目排列排列方式组织方法适用考虑并列直进式按题型或分测验分别排列，组内由易到难结构清楚，题型集中混合螺旋式不同类型题目交叉出现，难度逐步增加减少单一题型连续作答的影响共同要求按蓝图控制比例，并检查难度分布选择需符合测验目标测验标准化的四个方面方面标准化内容编制过程统一目标、蓝图、题目开发和质量检验规则实施过程统一指导语、时限、环境和操作步骤评分过程统一计分键、评分量规、缺失值和复核办法分数解释统一参照框架、转换方法与解释规则标准化减少无关差异，但不会自动保证测验具有充分信度和效度。评分客观性评分与分数解释的标准化明确参考答案、评分点、分值及特殊作答的处理规则。主观题控制培训评分者，使用评分量规，并检查评分一致性。标准参照把分数与预先规定的达标标准比较。常模参照把原始分数转换为百分等级或标准分数，解释群体中的相对位置。信度和效度证据质量问题常用证据回答的问题信度重测信度、内部一致性、评分者一致性等分数在有关条件下是否足够稳定内容效度内容覆盖与专家审查题目是否代表目标内容领域结构效度测验结构与理论模型的关系分数结构是否支持构念解释效标关联效度分数与有关外部标准的关系分数是否支持预期用途测验使用说明的主要内容内容类别应说明的事项测验概况目的、性质、适用对象与理论背景编制信息题目设计、编制方法与标准化过程操作程序材料、环境、指导语、时限与实施方式评分解释评分方法、分数转换、解释规则与报告方式质量与资格信效度证据、使用限制及对施测者的要求第2节心理测验的实施工具准备测验前的准备选择与目的、对象和结果用途匹配的测验。人员准备主试接受必要训练，熟悉职责、材料和操作流程。现场准备检查场地、设备、时间安排和突发情况预案。信息准备明确同意程序、数据用途、保密范围和后续安排。选择合适测验的审查框架审查维度关键问题目的匹配测量的心理品质和结果报告是否支持预定目标？人群适配年龄、语言、文化及其他特征是否与适用人群相符？质量证据信度和效度证据能否支持本次使用？实施条件人员资格、时间、材料、设备和环境是否满足要求？质量证据要匹配用途测验质量与实施条件同一测验用于研究、筛查或个体决策时，证据要求并不完全相同。专业资格要满足要求某些工具需要接受专门训练并具备相应资质。实际条件要可执行设备、场所或时限不满足时，应调整方案或选择其他工具。合适的测验需要同时满足目标、质量和条件要求。主试的职责贯穿全过程阶段主要职责施测前熟悉流程，准备材料，核对环境与人员安排施测中按指导语组织测验，控制时间，观察并记录异常伦理与法律尊重权益，保护隐私和测验材料，避免不当干预施测后回收材料，检查数据完整性，妥善保存并总结过程熟悉程序施测流程的规范控制主试应理解每一步骤及其时间要求，避免现场临时改变。表达清楚按规定传达指导语，并以统一方式处理允许回答的问题。关注现场观察受试者状态和环境变化，按预案处理特殊情况。记录偏离记录中断、设备故障或程序变化，供后续解释与复核。信息使用受试者权益与特殊反应获取和使用私人信息前，应履行适用的知情与授权程序。拒答与退出不得强迫受试者回答，按事前说明和适用规范处理。掩饰或伪装通过测验设计和专业判断识别可能的反应偏差，避免诱导。尊重与公正以一致、专业的方式对待不同受试者。测验材料保密与施测后整理控制题目、答案和评分规则的接触范围。个人数据限定访问者和用途，按要求保存、传输与销毁。材料回收核对答卷、记录表和设备，检查遗漏与损坏。过程总结整理异常情况和数据完整性信息，为评分解释提供依据。施测过程标准化的范围标准化对象主要控制内容受试者指导语目的概述、作答方法、示例与时间要求主试指导语环境、材料、计时、答疑与突发情况处理评分指导语评分步骤、标准、特殊作答与结果解释施测环境光线、温度、噪音、设备、隐私和安全评分计分统一流程、评分者训练、一致性检查与分数合成受试者指导语的内容内容作用测验目的与内容概述帮助受试者了解任务性质和基本安排作答指导说明记录方式、时间限制和完成要求示例题目示范复杂题型的作答方法保密与权益说明说明数据用途、保密范围和参与安排真实性要求鼓励按实际情况认真作答简洁明了受试者指导语的写作要求采用目标群体能够理解的词语和句式。语气友善减少不必要的紧张，同时保持中立。要求明确说明怎样作答、何时停止以及遇到问题如何处理。承诺准确关于保密与结果用途的说明必须与实际安排一致。主试指导语的核心内容环节指导内容环境布置光线、温度、座位、隐私与设备检查材料管理分发、回收、计时和答案记录方式提问处理哪些问题可以回答，怎样保持一致突发情况中断、身体不适、设备故障等处理办法偏差控制必要时通过盲法等设计减少主试预期影响时间与地点主试行为的一致性在不同场次保持相同的核心条件和操作步骤。言语与行为传达相同信息，避免根据个人理解随意解释题目。严格执行把指导语作为操作规范，偏离时及时记录。培训与演练通过模拟施测发现流程中的模糊点和高风险环节。评分指导语的内容方面具体要求流程与标准说明评分步骤、评分点、分值和特殊情况处理分数解释界定分数范围、参照方式及可支持的解释一致性保障安排评分培训、校准与一致性检查偏差控制提醒评分者识别并减少主观影响记录与审查保留关键评分信息并按计划复核共同理解标准评分者培训与校准用评分示例讨论边界情况，形成一致的评分规则。独立试评评分者先独立评分，再比较分歧及其原因。检查一致性采用适当指标评价评分者间的一致程度。持续复核正式评分期间抽查结果，防止标准逐渐漂移。一致性施测环境标准化尽量让受试者在相近的光线、温度、噪音和空间条件下作答。稳定性选择不易受干扰的场地，并监控现场变化。设备与材料测前完成测试，确保设备正常、材料齐全。隐私与安全安排合适的空间，保护个人信息并避免安全风险。评分计分标准化任务控制要求客观题评分按计分键逐项核对，可使用经过验证的自动化流程主观题评分由受训人员按量规评阅，必要时采用多次评分评分一致性检查评分者或不同场次的标准是否一致分数合成按手册合成题目和分量表得分，核对转换与录入原始分数有限分数解释需要参照框架单独的数字通常不能说明表现高低或实际意义。标准参照回答个体是否达到预先设定的目标或要求。常模参照回答个体在某个参照群体中的相对位置。解释需谨慎测量误差、测验目标和使用情境都会限制结论。分数本身原始分数案例：幸福感30分30分不能直接解释为“30单位的幸福感”。需要量表信息需要知道可能的分数范围、计分方向和测量内容。需要参照信息可与预设标准、常模分布或个人过去水平比较。需要误差信息分数差异未必都代表真实的心理差异。标准参照与常模参照比较维度标准参照常模参照核心问题是否达到规定目标或切分点在参照群体中处于什么位置主要依据课程标准、岗位要求或预定标准常模样本的分数分布常见用途资格认证、达标评估、教学诊断选拔、智力或其他个体差异评估主要限制不提供细致的群体相对位置依赖常模的代表性与时效性设定标准标准参照的解释逻辑切分点应依据测验内容、目标要求和适当的标准设定程序。判断达成解释个体是否达到目标，不以群体排名作为核心依据。支持行动结果可用于认证、补救教学或后续培训安排。注意边界切分点附近的决策应考虑测量误差和复核机制。选择常模常模参照的解释逻辑先确认常模团体与当前受试者及用途是否匹配。转换分数将原始分数转换为百分等级、标准分数等导出分数。解释位置说明个体在参照群体中的相对位置。检查时效常模过时或群体不匹配会改变分数含义。参照框架的选择使用目的优先参照原因资格认证标准参照需要判断是否达到明确要求课程诊断标准参照，可补充常模信息先识别目标掌握情况群体选拔常模参照，可结合最低标准需要区分相对位置个体发展跟踪个人纵向比较，可结合标准或常模关注变化及其实际意义分数解释的四项注意要求实践含义结合测验目标只解释测验实际测量并有证据支持的内容避免绝对化不把高低分直接等同于个体整体优劣采用发展视角关注变化可能和可提供的支持，避免消极标签结合多种证据综合观察、访谈、背景资料及其他适当评估说明结果含义从分数到有用的建议解释分数采用的参照、适用范围和不确定性。联系现实问题把结果与教育、职业或心理支持中的具体问题相联系。整合其他证据检查不同信息是否一致，并解释可能的差异。保护受试者反馈语言应准确、尊重，并避免超出测验支持范围。第3节测验常模的制作依据标准化样本的测验结果建立的分数参照系统。常模常模描述特定群体在特定时期的水平或分布，解释离不开适用边界。用于建立常模、并代表测验目标总体的样本群体。常模团体常模团体的构成决定了常模分数能够与谁进行比较。人群差异同一测验可以有多个常模团体年龄、教育、地区或职业背景不同，分数分布可能不同。用途差异学业成就、职业倾向和能力测验需要不同的参照群体。解释前提报告常模分数前，应说明采用了哪个群体及其建立时间。选择更具体的常模，并不自动意味着更准确，还要检查样本质量与用途匹配。常模团体的六项要求要求核心内容群体界定明确清楚描述目标总体及纳入范围样本具有代表性采用适当抽样反映总体特征样本量适当根据总体、异质性、精度与资源规划常模及时更新反映当前社会文化和目标群体取样过程透明说明样本规模、方法、地区与时间一般与特殊常模结合按用途提供适当层级的参照明确总体群体界定与代表性用年龄、地区、教育、语言或职业等变量界定目标群体。分析异质性总体内部差异明显时，可分层取样或分别建立常模。提高代表性抽样框、抽样方法和实际响应情况共同影响代表性。避免误用不得把一个群体的常模直接套用于明显不同的人群。总体规模常模样本量的规划总体很小时可扩大抽取比例，必要时覆盖全部成员。群体异质性群体越复杂，通常需要更充分的样本来覆盖差异。估计精度样本量应服务于预期的抽样误差和分组分析。实际条件在资源允许范围内保证关键群体得到适当覆盖。样本量没有适用于所有常模研究的固定数值，应结合抽样设计和精度要求论证。常模的更新与透明说明问题处理要求常模时效社会、教育和文化条件变化时重新评估常模适用性取样说明报告样本规模、抽样策略、取样时间及关键人口特征一般常模提供广泛参照，适合概括性解释特殊常模面向特定群体，提供更有针对性的参照使用判断根据受试者与用途选择常模，并说明不匹配的限制常模编制的三个步骤步骤主要任务质量控制确定常模团体界定总体，选择抽样方法，估计样本量并抽样代表性与抽样误差对常模团体施测按照统一指导语、时限和环境完成测验题目质量与施测标准化制作常模分数选择导出分数，建立转换表并编写解释指南转换准确与适用边界常用抽样方法方法基本做法适用考虑简单随机抽样总体成员具有已知且相等的入样机会需要较完整的抽样框系统抽样按随机起点和固定间隔抽取成员警惕名单中的周期性结构分层随机抽样先按重要特征分层，再在层内随机抽取保证关键亚群体覆盖整群抽样抽取学校、班级或机构等自然群体便利但需考虑群内相关施测标准化常模施测与分数制作统一指导语、测验时限、环境和记录方式。检查数据质量核对缺失、异常反应、样本构成及计分准确性。选择常模分数依据解释目的选择百分等级、标准分数或发展当量。形成说明提供转换表，并说明抽样方法、常模特征和解释规则。常模分数是同一测验分数的转换，不能扩展原测验未测量的内容。两类常模量表类型比较方向主要解释常见形式发展常模纵向比较不同年龄、年级或阶段相当于哪个发展水平年龄量表、年级量表发展顺序量表组内常模横向比较同一参照群体中的个体在群体中处于什么相对位置百分等级、Z分数其他标准分数参照变量发展常模的解释以年龄、年级或发展阶段作为解释标尺。主要问题个体表现相当于参照群体的哪个典型发展水平？适用特质用于具有较清楚发展顺序或随年龄变化规律的能力与行为。解释限制发展当量是描述性参照，不能替代全面诊断或教育安置决定。比较对象组内常模的解释把个体分数与同一常模团体的分布进行比较。相对位置百分等级说明排名位置，Z分数说明离平均数多少个标准差。应用条件常模团体、测验版本和施测条件需要适当匹配。比较边界不同构念或不同群体的标准分数不能仅凭数值机械比较。建立方式年龄量表与智力年龄将题目安排在大多数相应年龄儿童能够完成的年龄水平。智力年龄用最能代表个体测验表现的年龄水平解释分数。典型应用比奈和西蒙的早期智力量表采用了智力年龄概念。理解优势年龄单位直观，便于与同年龄群体的典型表现联系。单位不等距年龄量表的局限不同年龄阶段的发展速率不同，同样一岁不代表相同的发展差异。解释范围有限智力年龄主要描述发展水平，难以用于成人阶段。信息不完整年龄当量不能说明个体在各能力维度上的具体表现。使用要求结合实际年龄、测验内容及其他评估信息解释。年级量表年级量表与年级当量以学校年级为参照建立常模。年级当量说明个体在特定测验上的表现与某年级平均水平相当。课程限制不同年级的教学内容和知识结构并不相同。解释限制高年级当量不表示已经掌握高年级全部课程，也不能直接决定跳级。基本依据发展顺序量表用年龄与典型行为特征之间的对应关系建立参照。典型行为确定各发展阶段的关键行为，并收集代表性指标。阶段判断通过个体完成特定任务或表现典型行为的情况判断发展阶段。书稿示例格赛尔发育量表和皮亚杰认知发展量表。比率智商MA智力年龄，也称智龄。CA实际年龄。历史意义用发展水平与实际年龄之比表示儿童的相对发展。发展非线性比率智商的主要局限智力年龄的增长速度随年龄变化，年龄单位并不等距。成人解释困难进入成人期后，智力年龄不再适合按相同比率持续增长。跨年龄可比性有限同一比率分数在不同年龄阶段未必代表相同的群体位置。现代替代离差智商通过同年龄常模解释相对位置。教育商数与成就商数指标公式解释教育商数EQEQ=EA÷CA×100教育年龄相对于实际年龄的比率成就商数AQAQ=EA÷MA×100教育成就相对于智力年龄的比率EA为教育年龄，CA为实际年龄，MA为智力年龄。教育标准差异商数类指标的解释边界教育年龄依赖具体课程和标准，不同地区或系统间未必可直接比较。发展并非单一维度教育商数不能概括情绪、社会能力及其他发展方面。成就来源复杂学业表现受机会、动机、教学和环境等多种因素影响。测量误差叠加两个测量结果的比值可能放大不稳定性，需要谨慎使用。表示个体得分超过常模团体中多少百分比成员的相对位置分数。百分等级百分等级反映顺序位置，不表示相邻百分等级之间具有相等差距。百分等级的两种计算资料形式计算式符号说明未分组资料PR=100−[(R−0.5)÷N]×100R为由高到低的名次，N为人数分组资料PR=[Fᵦ+f(X−L)÷i]÷N×100Fᵦ为本组以下次数，f为本组次数，L为下限，i为组距百分等级的优点与局限方面说明容易理解直接描述在参照群体中的相对位置适用广泛常用于能力和学业测验的结果报告只有顺序性百分等级之间的间隔不相等，不宜直接进行普通加减运算差异会变形中部的原始分差异可能被放大，两端的差异可能被压缩依赖常模常模群体或时间变化会改变同一原始分的百分等级Z分数标准分数，也称为Z分数，是通过线性转换将原始分数与其所在群体的平均分数进行比较。具体而言，Z分数是原始分数与群体平均分数之差，再除以群体的标准差。它可以表示原始分数相对于平均数的偏离程度，单位为标准差。

已知信息Z分数的解释示例某测验原始分为80，常模平均数为70，标准差为10。计算结果Z=(80−70)÷10=1。相对位置该分数高于常模平均数1个标准差。解释限制只有常模和测验用途适当时，这个相对位置才具有目标情境中的意义。Z分数的优点与局限方面说明等距单位用标准差作为单位，便于统计分析线性转换保留原始分数的分布形态和排序相对可比在构念与参照适当时比较相对位置不表示绝对水平高于低水平群体平均数不等于达到外部标准解释不够直观负数和小数可能增加非专业读者的理解负担线性标准分数与正态化标准分数比较线性标准分数正态化标准分数转换方式依据平均数和标准差作线性转换先转百分等级，再映射到正态分布分布形态保留原始分布形态把等级位置转换为正态形态主要用途描述离平均数的标准差距离统一不同形态分布的等级位置解释注意相同Z值仍需构念和常模可比属于非线性转换，会改变原始分数间距第一步正态化转换示意计算各原始分数对应的累计百分等级。第二步在正态分布中找到相同累计比例的位置。第三步读取相应的标准分数，形成正态化分数。正态分布转换示意图常见导出标准分数分数转换或结构解释特点T分数T=50+10Z平均数50，标准差10，避免负数和小数标准九1至9级，中间等级为5按正态曲线面积转换为九个等级离差智商IQ=100+15Z与同年龄常模比较平均数100，标准差15CEEB分数CEEB=500+100Z在Z分数基础上进行线性转换九个等级标准九的解释最低为1，最高为9，中间等级为5。等级依据按正态分布中的累计比例把原始分数映射为九级。信息特点表达简洁，但等级化会减少分数的精细差异。使用条件解释仍需说明常模团体、测验版本和转换规则。常模转换表的主要要素要素应呈现的信息原始分数测验可能出现或报告范围内的原始得分导出分