德国职业能力测评项目ASCOT述评.doc

德国职业能力测评项目ASCOT述评 摘 要：作为国际上最早的职业能力大规模测评项目之一，德国ASCOT能力测评在国际职业教育研究中具有重要的影响。它首次确定了共同的职业任务和资格要求，按照项目反应理论构建能力测评模型和开发测评题目，并利用虚拟工作情境进行测评。但从职业教育学理论角度看，ASCOT尚未满足职业能力大规模测评的全部要求，特别是职业教育目标和职业效度要求。本文对此提出了如采用开放式测试等的相关改进建议。 关键词：职业能力;大规模测评;能力建模;ASCOT 作者简介：周瑛仪（1988-），女，河南南阳人，北京师范大学职业与成人教育研究所博士研究生，研究方向为职业能力测评、教育技术;赵志群（1966-），男，山西阳泉人，北京师范大学职业与成人教育研究所所长，教授，博士，研究方向为职业教育课程与教学论、职业资格研究、国际比较职业教育。 基金项目：教育部哲学社会科学研究重大课题攻关项目“中国现代职业教育质量保障体系研究”（编号：13JZD04），主持人：赵志群。 中图分类号：G710 文献标识码：A 文章编号：1001-7518（2015）21-0010-05 2002年，欧盟委员会发表了哥本哈根宣言，决定通过建立统一的欧洲资格框架提高职业教育透明度和各成员国（职业）资格的可比性，从而消除各国间劳动市场壁垒，增强劳动者的流动性。欧洲资格框架用学习结果定义层级要求，引导国际职业教育质量控制范式从“投入”导向转变为“输出”或“结果”导向，促进了教育管理的科学化。基础教育领域的PISA和TIMSS等大规模测评项目对教育体系发展和教育政策制订带来的巨大影响，也促使职业教育界开始思考实施职业能力大规模测评的必要性和可行性。2008年，欧盟委员会报告指出“雇主强烈需要对特定行业或职业的能力进行测评”1，引发了学术界对职业教育能力测评的关注。 从2008年开始，德国联邦教育与研究部支持开展了“职业能力大规模测评的可行性研究”（Feasibility Study VET-LSA），对8个欧洲国家（奥地利、丹麦、芬兰、德国、挪威、斯洛文尼亚、瑞典和瑞士）的4个职业领域（汽车维修、电气、工商管理和护理）的职业资格进行对比分析，确立了共同的职业任务和资格要求。2011年，联邦教育与研究部在此基础上组织专家开始实施ASCOT（Technology-based Assessment of Skills and Competences in VET，即技术支持的职业技能和能力测评）项目，以期建立有效的职业能力模型和测评模型，开发科学的职业能力测评工具，通过对教育效果的监控，促进职业教育学生、教学、学校和体系的发展23。本文介绍ASCOT能力模型、测评模型和测评方案并分析其特点，并通过与PISA的对比，评价其作为大规模能力测评的有效性。 一、ASCOT职业能力测评模型 （一）ASCOT职业能力模型 职业能力模型是对职业能力的内容及其结构的系统化表述，说明学习者应具备什么认知条件，才能（在策略上）完成职业的代表性工作任务4。ASCOT将职业能力划分为“一般认知能力”、“跨职业的相关工作能力”和“职业专业能力”三种类型。这里的“一般认知能力”包括读、写、计算和问题解决能力;“跨职业的相关工作能力”包括理解组织结构和劳动市场结构，规划个人职业发展，与同事相处，安排个人日常工作等的能力;“职业专业能力”是完成特定职业工作所需的能力。在现阶段，ASCOT仅对“职业专业能力”进行测评。 图1 ASCOT职业能力模型5 按照ASCOT的定义，“职业专业能力”包含“概念能力”、“过程能力”和“解释能力”。“概念能力”指事实性知识、结构性知识以及能引导行动图式的知识网;“过程能力”指应用知识的能力;“解释能力”指能根据问题情境特征，反思或解释采取相应工作行动的原因。每一种能力又分为三个不同的维度，即“内容”、“认知”和“建模”维度。在此，“内容”维度指学习者的知识基础和经验基础、学习策略和问题解决策略;“认知”维度即心理学所指的认知过程;“建模”维度指学习者对学校和工作场所中特定任务情境的理解过程，即学习者对问题情境的自我建构过程，从而激发解决问题的策略（见图1）。 （二）ASCOT测评模型 图2 ASCOT测评模型6 ASCOT认为建模是对问题情境的理解方式，它的复杂性取决于对任务情境的熟悉程度、实践熟练程度和任务情境描述中的结构性暗示。前两个因素与被试学生有关：即被试越熟悉任务，实践经验越多，就越容易建构问题情境。建模维度分为四个等级：不正确建模、不完整建模、正确建模和高级建模。不正确的建模是指仅考虑到问题情境中的一些个别因素，但没有理解整个问题情境和其中的关联。高级建模是指对情境中的所有要素有系统的、创造性的理解。 参照经典学习目标分类理论，ASCOT将认知维度分为四个等级，即“再现”、“重组”、“迁移”和“问题解决”。其具体解释为：处于“再现”层级的被试在特定任务中只能就任务本身描述一些要点，还不能联想到有利于问题解决的相关要素;处于“重组”层级的被试能整合相关事实或概念，更全面地看问题;处于“迁移”层级的被试不仅能应用所有与任务相关的信息，而且能更系统的、有条不紊地组织相关信息并做出决策;处于“问题解决”层级的被试能自己组织解决问题的过程，包括选择最优的解决方法，并权衡不同方法可能产生的正、负面影响。 ASCOT测评模型的“内容维度”分为四级，即“孤立的知识和技能”、“系统关联”、“理论建构”和“科学化程序”。“孤立的知识和技能”包含专业领域涉及的基本概念，如经济领域中“股票”;“系统关联”是指概念联结形成的新理念和领域的基本规则;“理论建构”指对各种关联和理论的系统化认识;“科学化程序”是指能开发基本的、科学的工作技术和流程。 二、ASCOT职业能力测评方案开发与实施 （一）测评任务开发 为了能在欧盟多国同时开展职业能力的大规模测评，ASCOT确定了欧盟国家汽车维修、工商管理、护理和电气技术等四个职业的共同的代表性工作任务（如表1所示）和相关职业资格要求，这也为测评任务的开发奠定了基础。 依据职业能力模型，ASCOT的测评任务包括“领域专业任务”（domain-specific task）和领域关联任务（domain-linked task）两类。前者针对特定的职业要求，包括职业、工作和企业的特定要求;后者对应职业通用能力，完成这些任务需要应用一般的方法和策略。解决“领域关联任务”的前提是读写和计算能力8。 在开发“领域专业测试任务”的过程中，来自行业企业、职业学校和研究机构的专家依据测评模型讨论测试任务在建模、认知和内容三个维度上的覆盖情况。由于特定任务能够激发特定的工作活动，这些专家观察真实工作世界中完成特定工作任务的常见行为活动，根据出现的频率和耗时，对行为活动进行分类。之后专家再评审某行为活动是否是完成对应代表性工作任务的典型活动，然后利用信息技术模拟解决任务的活动过程。测评时，被试需要根据任务选择合适的行为活动，构建完整的工作过程，从而完成工作任务。“领域关联测试”通常通过对文件、记录和其他资料进行分析，从而获得信息并解答问题。例如在工商管理领域，典型的领域关联测试任务为阅读股票图，分析某支股票的收益，或根据情境描述分析某支股票的走势等。 （二）背景问卷 ASCOT开发的背景问卷用于分析职业教育机构的组织和教学特点，以及它们对职业能力发展的影响。问卷按照“背景”、“输入”、“过程”和“结果”四个方面设计，其中“背景”部分调查宏观层面职业教育体系运行的制度条件和要求;“输入”部分调查教育组织层面的背景因素和要求以及学习者的背景;“过程”部分调查与教学过程相关的资料、人力和物力资源;“结果”部分调查职业资格证书的获得情况及在劳动市场的使用情况。 （三）测评的实施 ASCOT项目的测评对象为处于国际教育标准分类第3级，即完成中等职业教育的学生9。测评任务中的“领域关联任务”采用纸笔测试形式，测试职业理解能力10。“领域专业任务”的测试应用信息技术模拟真实工作情境，建立虚拟测试情境。在大约4小时测试时间里，学生通过内容导航完成测试任务（如图3所示）。为减少测试时间并同时保证测试内容的覆盖面，测试任务的组织采用试题册（booklet）设计。 图3 领域专业任务测评导航界面（销售人员） （四）测试结果的评分 每个测试题目（Item）得分为0（错）或1（对）。被试的最终测试结果是经过项目反应理论处理后的分数。这样，对不同专业或不同测试任务的被试来说，他们的领域专业能力可以放在同一量尺下进行比较。 三、ASCOT项目的创新与局限 不同国家的职业活动的组织形式差别很大，职业教育体系也有很大不同。如有的国家采用以企业培训为主的职教体系，而另一些国家则完全依赖学校教育制度，这大大增加了开展国际间的职业能力大规模测评的难度。作为世界最早的职业能力大规模测评的尝试之一，ASCOT开展了一系列的开拓性工作，但同时也还有不少局限性。 （一）创新之处 1.建立了确定不同国家同一职业共同工作任务的方法。由于各国职业资格要求和职业教育体系的差异，ASCOT选择联合国教科文组织国际教育分类标准（ISCED 2006）中第3级职业教育的汽车维修等4个专业。根据各专业在国际劳工组织国际职业分类标准（ISCO 2008）中对应的职业编号，从美国O*NET职业信息网（US Occupational Information Network）中找到对应职业的工作任务和资格要求作为基准。各国根据自身情况，从任务的相关性、出现频率、资格要求相关性三个角度对工作任务进行评估，删除或添加必要的任务，形成初步的测试任务集。再从教育目标、任务的复杂性两个角度对这些任务进行评价，最终确定测试任务集。 2.开发了能力模型和测评模型。ASCOT建立了能力模型，并依据项目反应理论开发了相应的测评模型。从心理测评技术角度看，其形成的职业能力测评方案保证了测评的质量。通过复杂程度和难度不同的测试项目区分能力级别。它仅对一般认知能力建模，模型仅涉及学习者的知识和经验基础、学习和问题解决策略，而未涉及职业工作内容，因此具有跨职业领域的特性。 3.创造性地利用虚拟测试情境开展测评。ASCOT利用现代信息技术模拟真实工作情境开发测试环境，这不仅能节省测试成本，提高测试效度，也能提高被试学生参与测试的兴趣，从而保障测试数据的质量。 4.提供来自学生个体、学校乃至国家层面多种可能影响学生职业能力发展的数据。基于实证的研究与决策，是国际教育研究与教育决策的发展趋势。大规模测评项目通过设计对教育系统运行及生产率进行系统化监控的框架结构，从而科学地评估教育体系的有效性和绩效。ASCOT从宏观层面调查职业教育体系的制度条件和要求，从输入角度调查教育机构和学习者的背景，从过程维度调查教学过程，从结果维度调查职业资格证书的获得情况及其在劳动市场的认可度。提供了影响学生职业能力发展的多层面的参数，可以为科学的分析和决策提供依据。 （二）局限性 从职业能力测评的效度要求和项目目标看，ASCOT也存在以下值得商榷的地方： 1.职业能力模型突出认知特征，未充分反映职业的要求和特征。各国相同职业的工作任务和资格要求存在差异，不同职业之间的差别更是巨大，因此很难兼顾各国、各职业的实际而建立统一的能力模型和测评模型，这是职业能力大规模测评的难点，但是不能因此忽视职业教育中职业的本质，因为职业能力是建立在特定职业领域（domain）知识的基础之上的。职业教育能力测评既要考虑学生认知发展程度，又要考虑特定工作领域的能力特征。在职业能力建模时，需要综合考虑职业教育的指导思想和职业学习的基本规律（如完整的行动模式、职业成长的逻辑发展规律等），以及职业工作内容、教育目标与心理测评技术的关系。这些方面，ASCOT做得显然还有差距。 2.测试任务没有反映职业的发展性工作任务，能力要求“碎片化”和“行为化”倾向明显。ASCOT测试任务的“碎片化”体现在其仅针对具体岗位和职责的技能与绩效，没有关注能力间的联系和对职业的整体认识;“行为化”体现在测试任务的能力要求只关注外显的行为，忽视了职业能力中内隐成分。ASCOT的测评任务和资格要求来源于美国O*NET职业信息网。O*NET工作任务分析的主要方法是问卷调查，即依据重要性和使用程度确定工作任务，采用行为指标对工作任务进行描述，具有明显的“碎片化”和“行为化”特点。以此为基础开发的测评任务，很难对综合职业能力进行评价。职业教育要培养学生理解、反思、评估和完成职业任务，在承担社会、经济、和生态责任的前提下，共同参与设计技术与社会的发展，而不仅是简单按照具体命令完成常规性任务11。范式性的工作情境以及发展性任务是职业能力发展的基础，ASCOT测评任务对此的关注还很不够。 3.测试形式降低了能力测评的效度。虚拟的网络测试系统提供根据工作过程组织的导航，这同时也为被试学生提供了完成任务的线索，而真实的工作情境是没有这样的线索提示的，需要工作者自己搜集信息，获得完成任务的思路。因此，ASCOT的测试形式降低了职业能力测评的效度。如果能够采用开放性的测试任务，仅提供测试任务的情境描述和要求，会更符合真实工作情况的要求。 4.项目反应理论不完全适用于职业能力测评。ASCOT每个测试题目（Item）的得分为0（错）或1（对），并依据项目反应理论对得分进行量表化。对“个人能力”或“测评评分点”进行“对”或“错”的简单判断，在职业教育和职业活动中有很大的问题。因为事实上，在真实工作世界中对工作任务的解决方案进行评价时，很少能够简单地按照“对”或“错”标准进行判断，而是根据多种标准评判哪一个方案相对来说更加合理。若要有效检测职业能力的内容和能力水平高低，几乎不能采用标准化考试，因为标准化考试的难度和区分度不完全适用于职业工作的要求12。 四、总结 经合组织的PISA是以改善教育绩效为目标的跨国比较研究，它为各国政府提供了多维度的信息。与通常的技能竞赛和选拔性考试不同，PISA所确定的如学生个人的认知水平和学习参与度、办学效能以及政府投入水平和经费使用绩效等数据，为制定正确有效的教育政策和促进教育改革提供了重要的参考13。 作为职业教育领域大规模测评的尝试，ASCOT已经完全具备了PISA的“形”：从目的上看，ASCOT要建立有效的职业能力模型、测评模型和职业能力测评工具，通过对教育效果的监控，促进职业教育学生、教学、学校和体系的发展;从数据收集角度看，ASCOT通过职业能力测评结果和背景问卷调查提供了必要的信息。但是目前的ASCOT尚不完全具备PISA的“神”，其根本原因在于其内部效度，特别是职业效度较低，即很难完全测出在真实情境中解决复杂专业问题的职业能力，因此还难以起到大规模能力测评的诊断、监控和反馈作用。 注释： 根据Jan de Lange在“Large Scale Assessment and Mathematics Education”文中的定义，大规模测评是指针对数量很大的学生实施的测评，旨在诊断学生学习状况、评定学生个体成绩和评估教育项目。其测评内容可以基于课程，也可以是能力评估。 图片来源：http：//de/285.php. 2014-12-03. 参考文献： 1Baethge，M. & Arends，L. Feasibility Study VET-LSA. A comparative analysis of occupational profiles and VET programmes in eight European countries. International ReportR.Bonn：BMBF，2009：8-13. 2Winther，E. & Achtenhagen，F. Kompetenzdiagnostik im kaufm？nnischen Bereich-Ein UmsetzungsbeispielJ.Zeitschrift fr Berufs-und Wirtschaftsp？dagogik，2013（26）：203-224. 3BMBF.Berufliche Kompetenzen sichtbar machenEB/OL.http：/www.bmbf.de/pub/flyer_forschungsin itiative_ascot.pdf/.2012- 10-03. 411劳耐尔，赵志群，等.职业能力与职业能力测评KOMET理论基础与方案M.北京：清华大学出版社，2010：48，18. 5810Winther，E. & Achtenhagen，F. Measurement o