高级心理测量(刘晓陵)

1、 刘晓陵刘晓陵l第一单元第一单元 实践（实践（15-18课时）课时）l第二单元第二单元 绪论（绪论（6课时）课时）l 心理测量的实质l心理测量的历史、现状和发展趋势l第三单元第三单元 测验理论（测验理论（30-36课时）课时）l信度（12-15课时）l效度（12-15课时） l项目分析（6课时）l测验评分解释l历史 l现状 l发展（含APA99教育与心理测量标准）l心理测量含义 l测验理论涉及的统计概念 l量表 返回l经典真分数模型及信度估计的方法（含速度测验） l概化理论 l标准参照测验的信度问题 l基本概念（三种效度 真分数的效度系数和估计误差） l效度与决策理论（预测和分类的统计手段）

2、l效度与测验偏差（选拔） l因素分析（收集结构效度证据的有效方法）返回l项目分析 l项目反应理论 l速度测验的项目分析 l项目偏差的检验 返回幻灯片 2l猜测矫正和其它评分方法 l标准的设置 l常模和标准分数 l标准参照测验的分数解释 l分数等值返回2l教学要点教学要点：以理论介绍和课堂练习为主，辅以实践应用l 以经典测量理论为主，兼顾现代理论；l考试方式考试方式：开卷+笔试l参考用书参考用书：l金瑜等译，经典与现代测验理论导论l金瑜主编：心理测量l漆书清、戴海崎、丁树良：现代教育与心理测量原理，1998l Linda Crocker，James Algina，Introduction To

3、Classical And Modern Test Theory，1986l Anne Anastasi，Susana Urbina，Psychological Testing，7th ed.，1997 l第一节第一节 心理测量的含义心理测量的含义l有关的重要概念有关的重要概念 测量（测量（measurement） 结构结构（construct） 心理测验心理测验（test）l心理测量的含义及所存问题心理测量的含义及所存问题 含义含义 与测验的区别与测验的区别 存在问题存在问题l测量测量（measurement）Stevens（1946）： 根据法则给客体或事件指派数字。Lord、Novick

4、（1948）： 给事物的属性、而非客体本身指派数字。种类：种类：直接测量、间接测量方法：方法：实验法、观察法、测验法l结构结构假设的概念 社会科学家为建立解释人类行为的理论、经过科学想象的产物返回lAnastasi 的定义 Linda的定义 从特殊领域获取行为样本的 标准化程序l 测验的要测验的要 素素 行为样本（最佳表现，典型表现） 标准化 客观性返回l根据一定法则给通过测验收集而来的行为样本指派数字。 Linda返回l测验方法的争议性l行为样本的有限性l误差的影响l量表单位难以清晰定义l对心理结构的实质意义不够重视返回l测验理论的内容和作用 内容 作用 l涉及的主要统计概念 常数、变量与参

5、数 频次分布表和直方图等 集中量与差异量 z分数 正态分布 相关与回归l评估上述问题在特定情景下对测量的影响程度l寻求解决问题或使问题最小化的方法 返回 1为编制测验工具提供了一般框架 2了解编制和使用测验的逻辑和数学模型基础，以及其理论假设和局限性，有助于形成更完善的测验标准，有助于更有效地利用测验信息进行决策 返回3 对教育和社会科学研究的影响：对教育和社会科学研究的影响：l 教育和社会科学研究步骤教育和社会科学研究步骤l 1 提出系统的研究假设或问题l 2* 说明假设变量的操作定义l 3* 选择或制作测量变量所需的工具和方法l 4* 检验工具和方法的准确性和灵敏性l 5 收集数据l 6

6、用数学方法汇总数据、并进行统计检验返回lA constant is a characteristic that is the same for everyone in the population. lA variable is a characteristic that can differ for individuals in the population.lBy convention, values computed for an entire population of observations are usually noted by Greek letters and are ca

7、lled parameters. 返回l均数均数的计算公式NXNii1返回l方差方差和标准差标准差的计算公式NXX22)(NxNXX22)(返回lZ分数分数Xz返回l正态分布公式22/)( 2/ 121XeY返回l概率公式：lXdxeXlp22/)( 2/ 121)(返回l散点图l皮尔逊积差相关系数l线性回归l偏相关l多元回归NZZYXXYYXXYNxy返回0369121503691215XY返回l原始分数的回归方程原始分数的回归方程cXbYYXXbYcbYXXYXYYX返回l标准分数的回归方程标准分数的回归方程)0(XYXYmZZmZZXYYXNZZm返回l估计的标准误)1(122XYYes

8、tXYYYXrss返回l等级相关等级相关Spearmans correlation coefficient for ranked dataKendall coefficient of concordance) 1(6122NNDrR(N30)(121)(322112NNKNRRWNiiNiil质与量的相关质与量的相关Point Biserial CorrelationBiserial Correlation CoefficientpqsXXrtqppbiYpqsXXrtqpbl品质相关品质相关Tetrachoric Correlation CoefficientPhi Coefficient)

9、180cos(BCADADrt)()()(DBDADCBAADBCr A BCDA 非AB非 BkXXYXXXYXXbXbcYkkk)1(1211 )1(1 kkXXYXb是k个变量时，Y对Xk与X1， ，Xk-1的偏回归系数l一、量表的水平一、量表的水平lStevens（1946）：四种测量水平的量表）：四种测量水平的量表l名称量表名称量表 l顺序（等级）量表顺序（等级）量表l等距量表等距量表 l比率量表比率量表l二、制定量表的方法二、制定量表的方法l被试中心法被试中心法 刺激中心刺激中心 法法 反应中心法反应中心法名称量表名称量表l对事物进行分类，每个事物或回答对应对事物进行分类，每个事物

10、或回答对应不同的数字，而数字或符号不具有意义不同的数字，而数字或符号不具有意义上的顺序性上的顺序性顺序量表顺序量表l给事物的属性划分等级，赋予的数字具给事物的属性划分等级，赋予的数字具有顺序性有顺序性 这两种量表没有等距性和原点这两种量表没有等距性和原点返回等距量表等距量表l单位是等值的，赋予的数字具有等距性，单位是等值的，赋予的数字具有等距性，但没有绝对零点，只能加减，不能乘除。但没有绝对零点，只能加减，不能乘除。做做Y=ax+b线形转换。线形转换。比率量表比率量表 l具有顺序性、等距、绝对零点。可做具有顺序性、等距、绝对零点。可做 y=cx的转换的转换 返回l被试中心法被试中心法 研究者的

11、兴趣在于把个体安置在连续体研究者的兴趣在于把个体安置在连续体的不同点上。的不同点上。 绝大多数的能力、成就、感情测验，都绝大多数的能力、成就、感情测验，都采用了被试中心法。采用了被试中心法。返回 我觉得自己一无是处 非常同意非常同意.同意同意.中性中性.不同意不同意.非常不同意非常不同意 绝大多数的能力、成就、感情测验，都采绝大多数的能力、成就、感情测验，都采用了被试中心法。用了被试中心法。评价：因为编制程序相对简单，量表是否评价：因为编制程序相对简单，量表是否等距难以预先控制，而且数据的检验工等距难以预先控制，而且数据的检验工作放置在研究后期进行，比较困难，需作放置在研究后期进行，比较困难，

12、需要做信度效度研究。如果效度信度检验要做信度效度研究。如果效度信度检验结果不好，结果的分析和解释就会出问结果不好，结果的分析和解释就会出问题。题。l刺激中心法刺激中心法 研究者的兴趣是在心理连续体上确定刺激研究者的兴趣是在心理连续体上确定刺激的位置的位置.源于源于1919世纪德国的实验心理学家创立的心世纪德国的实验心理学家创立的心理物理法理物理法 ，L. L.ThurstoneL. L.Thurstone把此方法运用把此方法运用于态度测量。于态度测量。 利用塞斯顿法编制对战争的态度量表（Peterson,1931）ThurstoneThurstone采用的感觉等距法采用的感觉等距法（1 1）编

13、制系列有关某一对象的态度）编制系列有关某一对象的态度( (例如，宗教例如，宗教) )的陈述句的陈述句（2 2）要求被试按照陈述句中提及教堂时的情感）要求被试按照陈述句中提及教堂时的情感强度的高低，以相等间距把每句陈述句设定在强度的高低，以相等间距把每句陈述句设定在连续体上（预先设定好量表值，比如从最赞成连续体上（预先设定好量表值，比如从最赞成道最不赞成分为道最不赞成分为1111组或组或1111等分）。等分）。（3 3）然后研究者根据被试对每一句陈述句（态）然后研究者根据被试对每一句陈述句（态度语）作一次数分布图和累计百分比表，把中度语）作一次数分布图和累计百分比表，把中位数对应的数值作为该陈述

14、句的量表值。还可位数对应的数值作为该陈述句的量表值。还可以计算差异量（四分位差），以确定对陈述句以计算差异量（四分位差），以确定对陈述句的判断是否一致的判断是否一致，并进行筛选并进行筛选我国上世纪我国上世纪30年代王徽葵利用此法编制了妇女在年代王徽葵利用此法编制了妇女在经济界的地位态度量表，参选的态度句原有经济界的地位态度量表，参选的态度句原有100句，最后确定句，最后确定25句句 。评价：信度高（评价：信度高（0.8-0.90.8-0.9）；制作程序繁琐；适）；制作程序繁琐；适用于主题明确、涉及面不广的态度问题。用于主题明确、涉及面不广的态度问题。l反应中心法反应中心法 根据项目受到赞同的程

15、度，在心理连续体上来根据项目受到赞同的程度，在心理连续体上来度量被试，同时又根据赞同这些项目的被试所度量被试，同时又根据赞同这些项目的被试所具有的心理特质的量或强度来度量这些项目具有的心理特质的量或强度来度量这些项目 Louis Guttman（1946，1950）提出量图分析法（scalogram）编制单向性量表。方方 法：法： (1)通常使用相当少的（同一性质）项目，且项目的排通常使用相当少的（同一性质）项目，且项目的排列上体现出语言表达强度逐步提高（单向有序），以列上体现出语言表达强度逐步提高（单向有序），以使被试一旦赞同某一陈述（态度语），就会赞同那些使被试一旦赞同某一陈述（态度语），

16、就会赞同那些强度较弱的陈述。强度较弱的陈述。 (2)然后用一个小样本对这些陈述进行检验。然后用一个小样本对这些陈述进行检验。 (3)将检验的结果，按最赞成的陈述到最不赞成的回答将检验的结果，按最赞成的陈述到最不赞成的回答者，从上到下排列者，从上到下排列 (4)然后从中去掉那些不能很好区分赞成的回答者与最然后从中去掉那些不能很好区分赞成的回答者与最不赞成的回答者的陈述。不赞成的回答者的陈述。（5）在制作量表时，可以利用被试回答的结果计算再生）在制作量表时，可以利用被试回答的结果计算再生系数（复制系数），衡量回答一致性的程度系数（复制系数），衡量回答一致性的程度 C=1误答数误答数/总反应数总反应

17、数（6）被试的测验分数：用其所有回答赞成的题目数之和）被试的测验分数：用其所有回答赞成的题目数之和表示表示评价：测验得分高低直接反映了态度的差异；评价：测验得分高低直接反映了态度的差异； 编制量表时挑选项目很困难；编制量表时挑选项目很困难； 容许的反应模式也可能与实际测试的被试不相符合。容许的反应模式也可能与实际测试的被试不相符合。A公共事业中的文书工作人员有权罢工公共事业中的文书工作人员有权罢工B公立学校教师有权罢工公立学校教师有权罢工C州立和城市医院的护士有权罢工州立和城市医院的护士有权罢工D城市消防队员有权罢工城市消防队员有权罢工 被试项 目 D C B A12345 0 0 0 0 0

18、 0 0 1 0 0 1 1 0 1 1 1 1 1 1 1 5名被试回答上述问题的假想资料矩阵名被试回答上述问题的假想资料矩阵实 例l第一节第一节 历史历史l一、一、中国古代的心理测量思想和实践中国古代的心理测量思想和实践l二、二、西方近代心理测量的探索西方近代心理测量的探索l第二节第二节 发展现状和趋势发展现状和趋势l一、一、测验实践发展的现状测验实践发展的现状 l二、二、测验理论发展的现状测验理论发展的现状 l三、三、未来的发展趋势未来的发展趋势l八阵图八阵图 l七巧板七巧板 l九连环九连环l博弈博弈l左右手同时分别画圆和方左右手同时分别画圆和方返回lE.L.Thorndike （194

19、0）第一本测验理论教材）第一本测验理论教材lBinghan，Gooddord等（等（1917）：团体智力测）：团体智力测验验lThurston，Chave（1926）态度量表化的技术）态度量表化的技术lThurston，Kelly等：新的因素分析方法等：新的因素分析方法 lAlfred Binet，Theophile Simon：1905量表，量表， 心理年龄心理年龄 返回l国内 种类和数量增多，开发队伍比较混乱，缺乏监管的体例l国外 数量大，种类多，应用广泛、组织成熟返返 回回l上世纪上世纪80年代以来，心理测验一直保持年代以来，心理测验一直保持高速发展的势头，编制测验和评价测验高速发展的势

20、头，编制测验和评价测验的新方法趋于成熟，包括的新方法趋于成熟，包括 IRT，CRM（标准参照测量），（标准参照测量），GT，斜方差结构分，斜方差结构分析，元分析（综分析），决策理论析，元分析（综分析），决策理论, DIF。 l元分析：元分析： meta-analysis, 又称综分析又称综分析, 整合分析、汇后分整合分析、汇后分析，分析之再分析等。析，分析之再分析等。 Glass（1976）认为是一种以综合已有的发现）认为是一种以综合已有的发现为目的，对多个的单个研究结果进行综合的统为目的，对多个的单个研究结果进行综合的统计学分析方法。计学分析方法。 元分析是应用特定的设计和统计方法对以往的元

21、分析是应用特定的设计和统计方法对以往的研究结果进行整体的和系统的定性、定量分析研究结果进行整体的和系统的定性、定量分析（陈本友，（陈本友，20052005）lIRT(IRT(项目反应理论项目反应理论) )： 又称项目特征曲线理论、潜在特质理论、强真分数理又称项目特征曲线理论、潜在特质理论、强真分数理论。论。 主要研究被试在测验项目的上的行为反应与所测的被主要研究被试在测验项目的上的行为反应与所测的被试的潜在特质之间的关系。测量模型通常用项目参数试的潜在特质之间的关系。测量模型通常用项目参数来描述潜在不同特质水平的学生正确回答对某一项目来描述潜在不同特质水平的学生正确回答对某一项目的概率来表示。

22、常用的概率来表示。常用LOGISTICLOGISTIC模型。模型。 较之较之CTTCTT，它能够更好地编制测验和解释分数。在题库，它能够更好地编制测验和解释分数。在题库建设、编制试卷、评价个体能力、试卷质量、计算机建设、编制试卷、评价个体能力、试卷质量、计算机自适应考试、探索认知结构等多方面有广大的应用价自适应考试、探索认知结构等多方面有广大的应用价值。值。lGT 概化理论概化理论 Cronbach等在上个世纪等在上个世纪70年代提出。主年代提出。主要检验的是观察的各个方面，比如不同要检验的是观察的各个方面，比如不同的评分者、不同类型的题目，或者不同的评分者、不同类型的题目，或者不同的测试场合

23、等，对测验分数可靠性的影的测试场合等，对测验分数可靠性的影响如何响如何l决策理论决策理论 测验分数的宗旨在于决策。录取新生、测验分数的宗旨在于决策。录取新生、职员、公务员或其他的人才选拔；教学职员、公务员或其他的人才选拔；教学课程或方案等的安排（分班、补课、合课程或方案等的安排（分班、补课、合格、毕业与否）；职业指导等。其关键格、毕业与否）；职业指导等。其关键在于如何确定最佳的截点分数（在于如何确定最佳的截点分数（cut-off cut-off scorescore）。）。回答1回答2结构结构观察观察单维连续结构单维连续结构回答3回答4回答5结构结构观察观察经典测验理论模型经典测验理论模型回答

24、之和结构结构观察观察概化理论模型概化理论模型回答之和回答之和评分者评分者测验类型测验类型回答1回答2结构结构观观 察察单维连续结构单维连续结构回答3回答4回答5回答1回答2结构结构观观 察察单维项目反应模型单维项目反应模型回答3回答4回答511111 Embreston，1997提出，有提出，有6个传统的原则实际个传统的原则实际上已经不再适用。分别涉及到：上已经不再适用。分别涉及到： 测量误差测量误差 测验长短对信度的影响测验长短对信度的影响 分数的可比性分数的可比性 样本的代表性样本的代表性 量表分依赖分数分布量表分依赖分数分布 挑选题目要考虑分数分布挑选题目要考虑分数分布返回 测量学要和实

25、质心理理论、计量模型要测量学要和实质心理理论、计量模型要和认知模型结合，将有助于推动测验的和认知模型结合，将有助于推动测验的度量（度量（scaling）和效度研究的发展。）和效度研究的发展。继续 STANDARDS FOR EDUCATIONAL AND PSYCHOLOGICAL TESTING AERA，APA，NCME 1999继续 introduction part 、 glossaryl测验的编制、评估和提供文件测验的编制、评估和提供文件（124条）条） l测试的公平性测试的公平性（48条）条） l测验的应用测验的应用 （93条）条） 特点特点：每个小方面（共每个小方面（共15 15

26、个）在陈述表标准之个）在陈述表标准之前均详细说明了制订标准的背景且每条标准均前均详细说明了制订标准的背景且每条标准均附有解释附有解释 效度（效度（24条）条） 信度与测量误差（信度与测量误差（20条）条） 测验的编制和修改（测验的编制和修改（27条）条） 测验实施、评分和报告（测验实施、评分和报告（16条）条） 量表、常模和分数的可比性（量表、常模和分数的可比性（21条）条） 为测验提供文件为测验提供文件*（15条）条） 注注*：documentation，the body of literature（eg.，test manuals，manual supplements，research r

27、eports，publications，users guides, etc.）made available by publishers and test authors to support test use. 测验和测验使用的公平（测验和测验使用的公平（12条）条） 受测者的权利和责任（受测者的权利和责任（13条）条） 测试语言背景不同的个体（测试语言背景不同的个体（11条）条） 测试有残疾的个体（测试有残疾的个体（12条）条） l测验使用者的责任（测验使用者的责任（24条）条）l心理测验与评价（心理测验与评价（20条）条）l教育测验和评价（教育测验和评价（19条）条）l雇佣和资格认证中的测

28、验（雇佣和资格认证中的测验（17条）条）l计划评估和公共政策中的测验（计划评估和公共政策中的测验（13条）条） 继续l Standard 1.8Standard 1.8（效度）（效度） If the rational for a test use or score interpretation depends on premises about the psychological processes or cognitive operations used by examinees，then theoretical or empirical evidence in support of tho

29、se premises should be provided. When statements or scores are part of the argument for validity，similar information should be provided. For each total score，subscore，or combination of scores that is to be interpreted，estimates of relevant reliabilities and standard errors of measurement or test info

30、rmation functions should be reported. The procedures used to interpret test scores，and，when appropriate，the normative or standardization samples or the criterion used should be documented Testing programs that attempt to maintain a common scale over time should conduct periodic checks of the stabili

31、ty of the scale on which scores are reported. Transmission of individually identified test scores to authorized individuals or institutions should be done in a manner that protects the confidential nature of the scores Standard 6.9 Standard 6.9（为测验提供文件）（为测验提供文件） Test documents should cite a represen

32、tative set of the available studies pertaining to general and specific uses of the test. lWhen a construct can be measured in different ways that are approximately equal in their degree of construct representation and freedom from construct-irrelevant variance，evidence of mean score differences acro

33、ss relevant subgroups of examinees should be considered in deciding which test to use. lPrior to the adoption and use of a published test，the test user should study and evaluate the materials provided by the test developer. Of particular importance are those that summarize the tests purpose, specify the procedures for test administration, define