德国comet评分量表在我国应用的多面rasch模型分析

-精选财经经济类资料- -最新财经经济资料-感谢阅读- 1 德国 COMET 评分量表在我国应用 的多面 Rasch 模型分析 摘 要 德国 COMET 评分量表是 职业能力测评的重要评价工具，其蕴含 着设计导向的职业教育思想和综合职业 能力的人才培养目标，对我国职业教育 评价及改革都具有重要借鉴意义。运用 项目反应理论之多面 Rasch 模型，对 COMET 评分量表在我国学生职业能力 测评中的适用性进行了分析。结果表明： COMET 评分量表总体区分度较高，能 够有效地区分我国职业教育背景下的学 生职业能力水平；我国学生对 COMET 评分量表部分项目存在着不适应现象， 部分学生答题行为内部一致性较差；我 国教师对 COMET 评分量表宽严尺度把 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 2 握内部一致性较好，但不同评分教师个 体之间的宽严程度还存在差异；评分教 师与评分项目交互作用也存在一些显著 偏差。 中国论文网 /9/view-12870137.htm 关键词 COMET 评分量表；多面 Rasch 模型；项目分析；职业能力测评； 职业院校 中图分类号 G719.516 文献标识 码 A 文章编号 1008-3219（2016）25- 0069-06 一、问题的提出 起源于德国的职业教育学生职业 能力测评国际研究项目（Competence Development and Assessment in TVET，COMET） ，对职业能力的理解 超越了行为主义和一般个性特征的能力 观，将其理解为专业能力、方法能力和 社会能力相统一，行动过程和行动结果 相统一的综合职业能力，其以设计导向 职业教育思想、行动导向教学、工作过 程知识等先进的职业教育理论为基础， -精选财经经济类资料- -最新财经经济资料-感谢阅读- 3 构建了跨职业领域的职业能力测评模型 1。COMET 项目于 2008 年对德国不 莱梅州和黑森州 9 所职业学校 700 名学 生进行了大规模标准化职业能力测评， 为职业院校学生职业能力测评提供了新 的视角和方法，被认为是职业教育领域 的“PISA”项目，得到了国际社会的广泛 关注2。2009 年以来，北京师范大学 在国际合作项目中引入 COMET 测评方 案，在北京、广州、重庆等地多次开展 学生职业能力测评实践，为我国职业院 校学生职业能力评估提供了新的方法， 也为我国职业教育质量保障提供了有效 的工具3。 COMET 评分量表是职业能力测 评的重要评价工具，其蕴含和体现了德 国设计导向的职业教育思想和综合职业 能力的人才培养目标。即培养的职业人 才不仅要具有技术适应能力，而且更重 要的是应对能力，本着对社会、经济和 环境负责的态度，参与设计和创造未来 的技术和劳动世界；具有专业能力、方 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 4 法能力和社会能力相统一的整体性综合 职业能力，即在复杂的职业情境中做出 判断并采取行动的职业能力。正是以此 思想为指导和目标，COMET 评分量表 建立了八个评价维度的评价体系，以评 估学生职业能力轮廓和职业能力水平。 一是“直观性与可展示性 ”，即通过语言 或文字描述，利用图纸条理清晰、结构 合理地向委托方展示解决方案以及完成 工作任务后的结果。二是“功能性” ，即 工具性的专业能力、与具体情境无关的 学科知识以及专业技能。三是“使用价 值导向”，即以职业为导向，除满足用 户直接使用要求外，还要考虑后期保养 和维修的便利性。四是“ 经济性 ”，即在 工作行动中，需要估算经济性并考虑各 种成本因素，并考虑未来可能产生的使 用成本。五是“ 生a 流程与工作过程导 向”，即考虑企业的上下级结构以及不 同生产部门之间的衔接，考虑跨越每个 人工作领域的部门间合作。六是“社会 接受度”，即人性化的工作设计与组织、 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 5 健康保护以及其他超越工作本身的社会 因素，例如委托方、客户和社会的不同 利益。七是“ 环保性” ，即不仅指一般的 环保意识，而且针对生产过程和生产结 果提出的特定要求，使用了对环境无害 的材料，以及完成工作的计划多大程度 上符合环保要求。八是“ 创造性 ”，即在 特定情境下为完成任务预留的高度设计 空间，解决方案在满足创造性要求的同 时要有助于目标的实现。COMET 评分 量表的八个评价维度充分体现了设计导 向的职业教育思想和综合职业能力目标， 并进一步细化为 39 个评分项目，见表 1，每个项目评分采用 03 分的李克特 四级计分，依次为“ 完全不符合 ”“基本 不符合”“基本符合”“ 完全符合”4 。 COMET 评分量表是在德国职业 教育文化中开发出来并得到实证检验， 引进 COMET 评分量表对我国开展学生 职业能力测评和教学改革都具有重要的 现实意义。然而，基于不同的职业教育 理念和文化背景，COMET 评分量表在 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 6 我国应用中的适应性还有待研究。本研 究将通过 COMET 测评方案下的我国职 业院校学生职业能力测评实践，探讨 COMET 评分量表在我国的适用性，具 体包括 COMET 评分量表的区分性、学 生答题行为一致性、评分教师之间的一 致性、评分教师内部一致性、评分教师 与评分项目的交互作用等问题。 二、研究方法 （一）数据来源 本次研究所使用的是重庆市 2014 年 6 月中等职业学校汽车运用与维修专 业学生职业能力监测数据。测评工作由 重庆市教育评估院统一组织实施，共抽 取 25 所学校的 786 名 2012 级在校学生 参与测评。选择 2012 级学生，原因在 于 2012 级学生经过两年的专业学习， 处于职业能力发展的关键时期，了解其 职业能力现状对检验教学效果及进一步 改进教学均具有重要的现实意义。 根据 COMET 测评方案，本次测 评开发并使用了基于该专业典型工作任 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 7 务的综合测评工具：“ 发动机水温高排 故”。共有 16 位教师参与评分，每份试 卷由随机 2 位教师评定。评分教师接受 了评分培训，根据 COMET 评分量表的 39 个项目进行评分。 （二）研究工具 多面 Rasch 模型（ Many-Faceted Rasch Model， MFRM）是项目反应理 论模型之一，可以将学生职业能力、评 分教师宽严程度、评分项目难度、评分 等级梯难度等放在同一等距水平的 Logit 标尺上进行精确度量，计算每个 度量值的估算误差、拟合程度以及各层 面的交互作用，为评分量表以及测验质 量分析提供了更加客观的视角。因此， 研究选取该模型进行参数估计，建立了 以下分析模型： 其中，Pnijk 是学生 n 由评分员 j 在项目 i 上评为 k 分的概率，Pnij（k- 1）为其他条件相同情况下该学生被评 为 k-1 分的概率。这一概率受到考生能 力 Bn、评分项目难度 Di、评分教师宽 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 8 严程度 Cj 和评分量表中各得分梯难度 Fk 的影响（由 K-1 到 K 的相对难度） 。 本研究采用 SPSS 22 对收集到的原始数 据进行管理，使用 Facets 3.70 软件，选 择多面 Rasch 模型（Many-Facet Rasch Model， MFRM）进行参数估计，结果 主要包括学生职业能力、测量误差、拟 合指数、项目难度、等级量表梯难度、 各面之间的交互作用等。 三、结果与讨论 （一）总体分析 图 1 显示了各层面的总体分布情 况。图左侧第一列为 Rasch 量尺，以 Logit 为单位。分析中将评分项目的平 均难度设定为 Rasch 量尺的零点。第二 列至第五列分别为学生面、评分项目面、 评分教师面和评分量表等级面。 从学生面来看，学生职业能力跨 度为 5.38 个 Logit 单位，职业能力最高 值为 1.02，最低值为-4.26。学生职业能 力集中在-1， 0区间内，占总人数的 71.5%。学生职业能力平均值为-1.13， -精选财经经济类资料- -最新财经经济资料-感谢阅读- 9 低于评分项目平均难度值 0。 从评分教师面来看，16 名评分教 师中评分最严格的是 5 号教师，评分最 宽松的是 11 号教师。教师评分的宽严 程度相差在 1.26 个 Logit 单位以内。 从评分项目面来看，评分项目难 度的跨度为 5.7 个 Logit 单位，评分项 目难度分布合理， “环保性 ”的评分项目 32（考虑到环境友好的工作设计）难度 值最高，这表明该项目的完成对学生职 业能力要求高，只有职业能力值达到该 项目难度（3.22）的学生才可能胜任该 项目。 “直观性与可展示性” 的评分项目 2（恰当表述解决方案） 、 “功能性” 的评 分项目 6（解决方案满足功能性要求） 难度值最低，这表明该项目的完成对学 生职业能力要求最低，只要职业能力达 到对应难度的学生就可以胜任该项目。 从评分量表等级面来看，在分值 使用方面，各分值与临近分值之间的界 限清楚，且相邻几个等级区间的宽度分 布比较均匀，见图 2，不存在等级倒置 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 10 （disorder5）的现象。 （二）分层面分析 1.学生面 Rasch 模型中以分隔系数 （Separation）和分隔信度 （Reliability）来衡量某一层面个体之间 的差异是否大于测量误差6。分隔系数 大于 2 时说明个体之间存在较大差异， 分隔系数越大则个体间差异越显著。学 生面分析结果显示，分隔系数为 3.06、 分隔信度为 0.90、卡方值为 7770.7（p2 时存在显著偏差，显著偏差占项目比例 在 5%以内为可接受范围。当 Z 值大于 2 时说明该教师对此学生打分显著严格； 相反，当 Z 值小于-2 时说明该教师对此 学生打分显著宽松。 教师与评分项目的交互分析表明， 实验偏差项目共有 624 个，其中显著偏 差项目 272 个，占 43.59%。其中，偏 差超过 10 个的评分项目有“直观性与可 展示性”的评分项目 1（方案表述适合与 委托方沟通） ， “功能性” 的评分项目 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 11 7（考虑到当前先进技术） 、项目 9（从 职业活动角度说明解决方案）和项目 10（所表述和解释的方案正确） ， “使用 价值导向性” 的评分项目 12（方案考虑 到使用的持久性和功能扩展的可能性） 。 这表明评分教师在评价这些项目时与其 他项目的尺度不一致，其原因一方面在 于教师自身偏好等因素，另一方面也在 于这些项目内涵难以把握，例如界定方 案表述的适合性，从职业活动的角度说 明方案，使用价值的持久性和功能的可 扩展性等。这也提示应增进和统一评分 教师对这些项目在我国职业教育背景下 内涵的理解，特别应进一步贯彻“职业 教育的学习内容是工作” 的职业教育理 念，增进教师对职业教育内容的“职业 性”理解，而不仅仅是从狭义的“ 技术” 角度理解学习内容。 四、结论 运用现代教育测量项目反应理论 的多面 Rasch 模型分析，对 COMET 评 分量表在中国的适用性研究有以下发现： -精选财经经济类资料- -最新财经经济资料-感谢阅读- 12 COMET 评分量表总体区分度较 高，能够有效地区分我国职业教育背景 下的学生职业能力水平。评分项目难度 差异显著，区分性强；评分等级设置合 理，不存在低分阈值高于高分阈值的等 级倒置现象。 我国职业院校学生对 COMET 评 分量表的个别项目还存在不适应现象， 部分学生答题行为存在内部一致性较差 现象，主要表现在“ 直观性与可展示性 ” 的评分项目 1（方案表述适合与委托方 沟通）和“环保性 ”的评分项目 31（考虑 到所用材料符合环境可持续发展的要求） 等方面。其原因在于我国职业教育实践 界多持行为主义职业能力观，重视技术 的功能性教学，而忽视了技术的环保性、 社会接受度和顾客导向等方面的培养， 学生对这些评分项目的敏感性不强。这 提示我国职业教育应进一步建立设计导 向的职业教育思想和综合职业能力目标， 不仅要培养学生对技术的功能性意识与 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 13 能力，还要培养学生对于技术的环保性、 社会授受度和顾客导向等的意识和能力， 也就是对技术的社会性设计的能力。 我国职业教育教师对 COMET 评 分量表宽严尺度把握内部一致性较好， 但不同评分教师个体之间的宽严程度还 存在着较大差异。交互作用分析发现， 教师个体之间的评分宽严程度差异突出 表现在“直观性与可展示性” 的评分项目 1（方案表述适合与委托方沟通） ， “功能 性”的评分项目 7（考虑到当前先进技术） 、项目 9（从职业活动角度说明解决方 案）和项目 10（所表述和解释的方案正 确） ， “使用价值导向性 ”的评分项目 12（方案考虑到使用的持久性和功能扩 展的可能性）等方面。这也表明，应加 强我国教师对职业教育本质内涵的理解： 职业教育的学习内容是工作，而不仅仅 是从狭义的无任何社会关联的“技术” ， 进一步增进和统一评分教师对项目评价 尺度的把握。 参 考 文 献 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 14 14Rauner F， Maurer L H A. Competence Development and Assessment in TVET （ COMET）M. Springer， 2013：47-50. 2Fischer M， Rauner F， Zhao Z. Kompetenzdiagnostik in der Beruflichen Bildung-Methoden zum Erfassen und Entwickeln beruflicher Kompetenz： COMET auf dem PrfstandM. Muenster： LIT， 2014：2. 3w 志群，庄榕霞.职业院校 学生职业能力测评研究J.职教论坛， 2013（3）：4-7. 5Linacre J M. Optimizing Rating Scale Category EffectivenessJ. J Appl Meas， 2002，3 （1）：85-106. 6Myford C M， Wolfe E W. Detecting and Measuring Rater Effects Using Many- facet Rasch Measurement： Part IJ. Journal of Applied Measurement， 2003， 4（4）： 386-422. -精选财经经济类资料- -最新财经经济资料-感谢阅读- 15 7Myford C M， Wolfe E W. Detecting and Measuring Rater Effects Using Many-facet Rasch Measurement： Part IIJ. Journal of Applied Measurement， 2004， 5（2）： 189- 227. 8晏子 .心理科W 领域内的客 观测量Rasch 模型之特点及发展趋 势J. 心理科学进展，2010（8）：1298- 1305. 9Mok M M C， Cheong C Y， Moore P J， et al. The Development and Validation of the Self-directed Learning Scales （SLS）.J. Journal of Applied Measurement， 2006，7（4）：418-449. 10张洁 . PETS 三级口语考试评 分误差研究结合定量统计和定性描 述的方法J. 外语测试与教学， 2012（2）：33-42. 11何壮，赵守盈 .技能评分项目 裁判员评分结果的多面 Rasch 模型分 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 16 析项目反应理论在体育运动领域的 应用J.成都体育学院学报，2014（3）： 43-48. 12Linacre J M. Investigating Rating Scale Category UtilityJ. Journal of Outcome Measurement， 1999，3（2）：103-122 Analysis of Application of German COMET Score Scale in China Context with the Many-Faceted Rasch Model He Xingguo， Zhao Zhiqun， He Zhuang Abstract German COMET score scale based the guideline of design orientation and comprehensive professional competence is an important evaluation tool for professional competence evaluation， and it is of great significance to the evaluation and reform of Vocational Education in our country. The applicability of German COMET score scale was analyzed in the context of -精选财经经济类资料- -最新财经经济资料-感谢阅读- 17 Chinese students professional competence evaluation with the