基于互联网完善职业技能等级认定评价的研究

基于互联网完善职业技能等级认定评价的研究摘要2019年，人力资源和社会保障部印发了《关于改革完善技能人才评价制度的意见》等多部职业技能等级认定工作指导性文件，为技能人才评价工作的有序开展提供了保证，对做好职业技能等级认定的国家职业技能标准和评价规范开发、试题试卷命制、考务管理等工作，提出了新的要求。本文结合职业技能等级认定发展现状，对职业技能等级认定体系进行了理论分析，并详细分析了职业技能等级认定过程中技能操作考核存在的技术问题。为有效解决技能操作考核无纸化的技术问题，本文以完善职业技能等级认定评价为目的，融合互联网技术创新，以智能评分表的三层基础架构、三级数据维度和四类评分要素为基础，推出“实作帮”智能评分管理系统，实现基于互联网+完善职业技能等级认定评价方式。最后以河北机车技师学院认定中心在装配钳工考试中进行了试点研究，在应用效果方面得到了积极的反馈，积累技能操作考核中无纸化升级的管理经验。本文的研究内容是一项技术应用的创新与实践，是我国目前融合互联网技术，技能操作考核向无纸化升级的唯一解决方案，对完善职业技能等级认定评价有着重大意义。关键词：职业技能等级认定；互联网+；技能操作考核；智能评分表；实作帮一、我国职业技能等级认定现状（一）研究背景1.职业技能等级认定的新形势2019年4月份，人社部再次印发文件，要求各地结合实际，选择本地区的优秀企业开展职业技能等级认定试点工作。经过备案的企业，可以根据企业的生产实践，自主确定评价职业（工种）和评价标准，也可以依据国家职业标准、行业企业的规范，或者是企业在生产实践中的一些真实生产环节来进行评价[1]。截止到2020年2月份，18家中央企业，30个省份和新疆生产建设兵团的900多家企业进行了试点，由企业发放的职业技能等级证书达到4万多本。职业技能等级认定工作进展顺利，效果良好，深受企业和广大职工的欢迎。2020年，河北省人力资源和社会保障厅发布《关于全面开展职业技能等级认定工作的通知》，决定进一步发挥企业、技工院校、行业组织在技能人才培养、评价方面的作用，全面开展职业技能等级认定工作，形成以市场为导向的技能人才培养、评价、使用新机制，促进全省技能人才成长，推动产业升级和企业转型发展。全省数百家企业、技工院校、社会培训评价机构积极申请设立了职业技能等级评价机构，使政府的人才评价职能向社会化转移。2.职业技能等级认定的新要求2020年人社部颁布了《职业技能等级认定工作规程》，为做好技能人才评价工作的有序开展提供了保证。其中，对做好职业技能等级认定的国家职业技能标准和评价规范开发、试题试卷命制、考务管理等工作，提出了新的要求[2]。本文通过研究职业技能等级认定的新要求，结合现阶段存在的技术问题，确定本文研究内容，即融合互联网技术，推进技能操作考核方式由纸质试卷向无纸化升级，不断完善职业技能等级认定评价。（二）问题提出和研究意义1.相关概念职业技能等级认定是人力资源和社会保障部门备案公布的用人单位和社会培训评价组织，按照国家职业技能标准和行业企业评价规范，对劳动者进行职业技能等级认定，对合格人员颁发职业技能等级证书。根据《职业技能等级认定工作规程（试行）》的相关规定，评价机构应根据国家职业标准确定评价内容和方式，综合运用理论知识考试、技能操作考核、工作业绩评审、过程考核、竞赛选拔等方式，对劳动者进行职业能力水平的科学客观公正评价。“互联网+”就是互联网与传统行业进行融合，发挥互联网技术优势，对传统行业进行优化升级转型，使传统行业能够适应当下新的发展要求，最终推动社会不断地向前发展。互联网+政务将原本留存在政府各个部门互不连通的数据归集在一张网络上，形成了统一的数据池，实现了对政务数据的统一管理。提升政府效率，增加行政透明度，助力政府更好的履行服务与管理职责。2.问题提出职业技能等级评价机构依据国家职业标准以及相关行业的规范，确保职业技能等级认定工作公平公正。当前在职业技能等级认定中的主要方式是理论知识考试和技能操作考核。理论知识考试广泛采用无纸化的考试方式，以客观题为主，评分时减轻了考评员的主观因素的影响；技能操作考核仍停留在纸质试卷的考试方式，在评分表中部分职业（工种）主观评分项目占比过高，评分时考评员需要对考件进行人工检测和和人工计分的人为差错难以控制等问题，评分质量和评分效率难以得到实质性保障。由于技能操作考核中考场、考卷、考具和考件的差异性，并采用纸质考试方式进行评分，不利于政府部门对职业技能评价机构的服务与监管，“走过场”的现象比较突出。融合互联网技术，开展技能操作考核向无纸化升级的研究，成为职业技能等级认定评价向高质量发展的核心问题。3.研究意义（1）有利于融合互联网技术创新，培育互联网+职业技能等级认定的新业态。在题库开发、考务管理、考件评分、检测设备集成等环节的应用中，不断发现新需求。提高试卷评分项目的量化水平，减少阅卷的人工干预，使评分结果更加精准公正。技工教育、企业培训、等级认定和技能大赛等管理系统均可调用智能评分表的数据接口进行工件（考件）的评分。（2）有利于完善职业技能等级认定评价体系，落实国家职业技能标准和行业企业评价规范。技能操作考核是技能人才评价体系中最重要的组成部分，对技能人才评价质量有着决定性的影响。（3）有利于强化政府部门对评价机构的服务与监督。技能操作考核的主要业务可以在线完成，政府部门可以对评价机构的事前服务与指导，事中管理与监督，事后追溯。（4）有利于落实国务院“放管服”改革要求，发挥市场、社会等多元评价主体作用，积极培育发展各类人才评价社会组织和专业机构，有序承接政府转移的人才评价职能。二、技术创新研究（一）职业技能等级认定的管理体系1.试题命题依据国家职业标准、国家职业资格命题技术规程以及职业技能等级认定相关政策文件要求。2.试题命制规范和评分方式职业技能等级认定中的主要方式：理论知识考试和技能操作考核。理论考试试卷广泛采用标准化题库，主要题型为判断、选择，采用上机考试的方式，可自动化阅卷和统分；实作考试试卷广泛采用纸质试卷，主要包括场地设备、工量具、坯料、工作图纸和评分表等，评分需要由考评员人工检测、计分和统分[3]。相比理论知识考试，技能操作考核的试卷命制、考件评分、统分等环节亟待向无纸化升级，提高技能操作考核的标准化程度和信息化应用水平。3.考务管理技能操作考核的每个职业（工种）的实作考场均需要相应的场地设备，并需要配备专用的设备，缺乏通用性；考生参加技能操作考核，需要携带完成工件的考具，考位占用面积大；因考位不够，采用依次进场考试的方式，考试时间长。4.服务与监管国家职业技能等级评价机构申报与评价平台正式上线(见图1)，标志着国家职业技能等级认定工作跨入新阶段，全面实现了职业技能等级认定管理的信息化，使职业技能等级认定的政策法规要求得以更好的落实[4]。该平台主要包括8大功能模块：基础数据、备案中心、考务中心、理论题库、技能题库、考试中心、考评中心和溯源中心。职业技能等级认定理论知识考试的考场建设、考务管理、题库资源具有通用性的特点，由最初的无纸化考试系统向智能化考场建设发展，使政府部门的过程管理真正做到事中监督、事后追溯，服务与监管工作得到保证。可以看到，由于技能操作考核一直以来使用纸质试卷，造成政府部门的过程监管相对薄弱，于是推进实作试题试卷命制、监考、阅卷向无纸化升级，成为完善职业技能等级认定评价的重点来研究突破。（二）智能评分表的基础架构智能评分表全称实习作业智能评分表（以下简称智能评分表），是融合互联网技术，以技能操作考核向无纸化升级为目的，用于技工教育、企业培训中的实习工件和技能大赛、等级认定中考试工件（考件）评分的开发基础框架。将原有纸质试卷评分表中，评分项目复杂的计分算法归纳为算法模型，从而形成自动计分、总分和统分的智能评分表。1.基本思路归纳考核项目的算法模型。通过深入研究技能操作考核的评分表中考核项目评分的算法，归纳梳理，形成算法模型，最终实现自动化的考核项目计分、试卷总分，考试统分。减少主观评分的影响。评分项目分为客观和主观两种评分方式，我们应针对客观评分的评分要素进行分析研究，创建算法模型。由于各种条件限制只能采用主观评分方式的评分项目，一是可采用多名考评员评分，计算平均分值的方式，减少人为因素的影响；二是主观评分项目尽量细化分解，以及利用新技术转化成客观评分项目。尤其在题库升级阶段要注重提高量化水量的研究。提高试卷保密等级。技能操作考核减少纸质试卷使用频率。无纸化考试时可在监考收件时粘贴二维码的方式提高保密等级，考评员身份阅卷时，扫码打开智能评分表，隐藏考生姓名和考号，统分表自动生成。定义软硬件接口。一是为了满足不同业务需要的管理系统开发接口，二是自动化检测设备的检测数据采集接口。2.基础架构为了便于智能评分表适应考件评分和教务管理的需求，将智能评分表定义为三层架构，分别为算法层、题库层、应用层。（1）算法层算法层即是智能评分表的数据结构，存储用户创建的算法模型，为题库层的实作题库的管理提供提供支撑。根据《国家职业(工种)技能标准》的技能考核部分的要求，将智能评分表的数据结构分为三级数据维度[5]。一级维度包括试卷名称[文本]、职业(工种)[文本]、等级[文本]、考核要求[图纸文件]、工量具清单[二维数组]、作业成绩[数值]等。二级维度按算法模型对评分项点分类，包括分类名称[文本]、小计[数值]等，小计之和为。三级维度为评分项目明细，包括参数要素[文本和数值]、关系要素[文本]、输入要素[数值]和输出要素[数值]，输出要素之和为小计。评分要素为客观评分方式的考核项点由四类要素组成，分别是参数要素、关系要素、输入要素、输出要素。一般情况下，参数要素包括加工要求、配分、扣分标准，由命题专家根据各专业的技能操作考核要求制定。输入要素中客观评分的检测结果一般由仪表、量具产生数据，自动检测设备将检测数据直接传递到智能评分表；主观评分的数据由考评员手动输入分值。输出要素即得分，是汇集数值要素和关系要素自动计算而产生的结果。关系要素即算法模型。算法模型是利用计算公式、函数和其它参数要素，建立输入要素和输出要素之间的数值关系。以下为装配钳工的按算法模型分类的智能评分表，在每个考核项目中包含了四类要素的示例（见表1、表2、表3、表4）。在题库开发时，命题专家需要制定智能评分表中的参数要素和关系要素；在技能操作考核的阅卷过程中，智能评分表中输入检测结果，便可自动计分，总分。算法模型一般由题库专家会同技术人员共同对各要素之间的关系进行梳理，反复测试。（2）题库层存储实作题库资源，供用户在应用层调用。可将现有各职业(工种)的实习作业进行分析整理，升级为数字化题库资源，为每个评分项目指定相应的算法模型是题库层的核心任务。需要注意确保评分项目进行编号与工件（考件）图纸的要求编号一一对应，避免评分项目混淆。（3）应用层技能操作考核管理系统的开发。与平台定义接口连接，存储和获取题库资源，编辑和查看用户的评分数据。比如，《实作帮》就是一款基于智能评分表的的管理系统，分别包括一体化教学的工件评分和技能操作考核的考件评分及其相关业务管理两个模块。集成自动化检测设备。定义数据采集接口标准，用于各职业（工种）考件检测设备的数据传输，收集检测数据，将检测结果直接收集到智能评分表评分项目对应的检测结果，减少人工干预检测结果。比如，尺寸测量可采用配有无线通讯模块的游标卡尺和千分尺进行数据采集。对于使用率高的检测项目研制专用的自动化检测设备，甚至采用图形测量技术同时进行多尺寸测量。（三）实作帮在技能操作考核中的应用实作帮是基于智能评分表的基础框架，面向面向技工教育、企业培训中学生生产的工件，及在等级认定、技能大赛中考生制作的考件进行自动计分、总分、统分，以及一体化教学和技能操作考核管理的管理系统。本文重点面向职业技能等级认定的考件评分和考务管理需求，对技能操作考核模块的功能与应用开展研究。河北机车技师学院在一体化教学改革工作中，组织装配钳工骨干教师进行本专业题库的无纸化升级，并在一体化教学活动中，使用实作帮进行实习作业的发布、评分和统分，得到良好的使用效果，并积累了丰富经验，在“实作帮”智能评分系统中增加操作技能考核管理模块，提高职业技能等级认定工作的管理水平，围绕智能评分表的系统架构、题库开发、考务管理等方面展开研究。1.题库升级实作帮的题库开发，虽然是纸质试卷向无纸化升级，但是需要要充分领会智能评分表内涵，一方面要符合评分项目的格式标准，另一方面要提高试卷的量化水平。在题库升级的困难面前，应同时看到对职业技能等级认定评价方式的升级发展产生的积极作用[6]。（1）需要评价机构提高服务意识，一方面组织对各职业（工种）命题专家的信息化应用能力培训，培养高素质的题库编审专家和考评员队伍；另一方面遇到的困难，主动联系技术服务支持。（2）成立命题编审专家库，聘请骨干教师加入命题编审专家库，对纸质题库资源进行收录整理，按无纸化题库格式标准进行升级改造，并按计划不断丰富、完善和更新题库资源。（3）强化题库资源开发的管理，依据国家职业标准、国家职业资格命题技术规程以及职业技能等级认定相关政策文件要求，明确题库的格式标准和管理流程，严格落实题库开发改编、审核、上传、校对和测试等环节的质量控制，建成高质量的题库资源，使评分质量与评分效率得到保证。2.管理流程题库升级完成后，利用实作帮实施技能操作考核的规范化管理，将会高质量高效率的完成考件评分和考务管理工作。（1）前期准备考评员信息化应用能力培训。考评人员是技能考核质量的决定因素，考评人员除具备职业素养、专业能力外，信息化应用能力也应纳入考评人员的培训与考核范围。机构注册和题库上传。评价机构应提前在实作帮注册，组织命题专家上传审核题库资源。考务准备。首先是考务人员创建职业技能等级认定考试，输入考试名称、导入考生信息表、生成考试码，发布考试时间、地点和注意事项等考试信息。然后是考评员扫描考试码，关注评价机构公众号，绑定手机号，指定技能操作考核试卷，打印每个考生的工件二维码；最后是组织考生扫描考试码，关注评价机构公众号，绑定手机号，查看考试相关信息。（2）工件评分考生可提前打印试卷，或使用智能终端在线查看试卷，考件制作完成后，贴上本人的考件二维码。考评员用手机（平板）微信扫码考件二维码，打开智能评分表，检测考件，输入检测结果；评分完成后，导出评分表和统分表，考评员打印签字。（3）成绩管理考务人员将技能操作考核成绩，录入国家职业技能等级评价机构申报与评价平台，将原始资料存档。三、技术成果应用多年来，河北机车技师学院鉴定中心严格落实国家职业技能鉴定工作的政策要求，有效探索职业技能鉴定工作的发展规律，积极组织开展企业、学校技能鉴定服务工作，目前已达2万5千人次以上。2020年6月我院申请建立了职业技能等级评价机构，现已认定考核800余人次，为唐山市职业技能等级认定工作的排头兵。通过积极探索互联网技术的应用，不断推动学院职业技能等级认定工作的高质量发展。（一）试点情况学院利用微信服务号的菜单接口，将《实作帮》的用户入口部署在院校微信服务号；利用的消息模板功能与学生（考生）进行沟通。实习指导教师可以创建和管理班级，将公共题库资源或个人题库资源在班级内发布实习作业；实习指导教师可以在手机微信端对工件进行扫码评分，同时可以进行班级统分和作业分析等节。在学院装配钳工一体化教学中，组织骨干教师开发了初、中、高级工实训作业题库，并上传到《实作帮》，进行作业发布，用于工件的评分和统分等。学院认定中心，利用实作帮装配钳工的题库资源，组织了装配钳工职业技能等级认定技能操作考核的无纸化考试。评分过程中，考评员扫描考件二维码进入评分表，匿名评分，只能在评分完成，生成统分表后，查看考生成绩，增强了保密性，使考核结果更加精准、公正。（二）发现新需求在《实作帮》技能操作考核的应用过程中，不断发现新的功能需求和算法模型。1.在评分开始前，需要为考评员指定检测评分项目，考评员应只查看到本人承担的评分项目，避免对其他考评员的检测结果进行修改或受到影响。2.在维修电工的题库开发中，需要新的算法模型。按考核内容分组，并对分组配分，按评分项目的评分标准扣分。3.在发布电维修工的技能操作考核试卷时，需要对四种试卷组合，并分配总成绩权重。（三）用户体验反馈考评员一致反映经历了满意的考件评分体验，在评分环节教务员需关注考件的检测，减轻了计分的脑力消耗，有效地提高了评分质量和效率。考务员反馈在智能评分表的应用，初期题库开发人力投入比较大，但高质量的题库成果，使得考务管理更加简单、规范，工件评分更加高效、精准。应当注意到题库开发是一项繁重的工作，同时对开发人员的能力和组织工作提出更高的能力要求。（四）存在问题在实作帮的应用过程