职业技能鉴定题库技术开发规程(试行)

职业技能鉴定题库技术开发规程(试行)1范围本规程规定了职业技能鉴定题库开发的总体原则、开发流程、技术要求、质量控制、更新维护、安全管理等内容，适用于各级人力资源社会保障部门、行业职业技能鉴定主管部门组织开展的国家职业资格鉴定题库、职业技能等级认定题库的开发、修订与更新工作，企业自主评价、社会培训评价组织的职业技能等级认定题库开发可参照本规程执行。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。《国家职业技能标准编制技术规程（2019年版）》《职业技能等级认定工作规程（试行）》《职业技能鉴定命题质量评价规范》GB/T26341教育测量学题库建设的开发与管理指南GB/T19001质量管理体系要求3术语和定义3.1职业技能鉴定题库按照国家职业技能标准要求，经规范开发流程编制，包含完整试题、评分标准、试题参数、组卷规则的结构化命题资源集合，是职业技能鉴定命题的核心依据。3.2鉴定要素细目表反映职业技能鉴定考核范围、内容结构、鉴定比重、能力要求的结构化明细表，是连接国家职业技能标准和试题命制的核心载体。3.3难度系数反映试题难易程度的量化指标，取值范围为[0,1]，数值越大表示试题难度越低。3.4区分度反映试题区分不同水平考生能力的量化指标，取值范围为[-1,1]，数值越大表示试题区分能力越强。3.5信度反映测验结果一致性、稳定性的量化指标，信度越高表示测验误差越小，结果越可靠。3.6效度反映测验实际测量内容与预定测量内容一致性程度的量化指标，效度越高表示测验越符合考核目标。4总体原则与开发依据4.1总体原则4.1.1标准对接原则：严格依据最新发布的国家职业技能标准开发，考核内容、能力要求与标准保持一致，不得随意降低或提高考核要求。4.1.2岗位适配原则：对接行业企业岗位实际技能需求，及时吸纳新技术、新工艺、新规范、新方法，体现职业技能的最新发展要求，避免题库内容脱离岗位实际。4.1.3科学测量原则：遵循教育测量学基本规律，保证题库的信度、效度、难度、区分度符合考核要求，能够准确测量考生的实际技能水平。4.1.4动态开放原则：建立常态化更新机制，根据职业发展和标准变化及时调整更新，保持题库内容的时效性和适用性。4.2开发依据4.2.1国家现行职业技能鉴定相关法律法规、政策文件，最新发布的《国家职业资格目录》；4.2.2对应职业的现行有效国家职业技能标准、行业企业岗位规范；4.2.3本规程及相关命题技术规范；4.2.4行业企业职业能力需求调研报告、近年职业技能鉴定质量分析报告。5开发流程与技术要求5.1前期准备5.1.1开发团队组建职业技能鉴定题库开发需组建结构完整的专属开发团队，团队构成及资质要求如下：（1）项目负责人：1名，要求具备5年以上职业技能鉴定管理或命题开发工作经验，负责项目整体统筹、进度管控、沟通协调，对项目整体质量负责；（2）命题技术专家：2-3名，要求系统掌握教育测量学、题库开发技术，具备3年以上职业技能命题技术指导经验，负责开发过程的技术指导、参数校准、质量审核；（3）职业专业专家：每个考核等级不少于5名，要求具备本职业10年以上从业经历，取得本职业高级及以上职业资格（或副高级及以上专业技术职称），其中一线企业生产、服务岗位专家占比不低于60%，负责细目表编制、试题命制初审，保证试题内容符合岗位实际；（4）终审专家：3名，由行业管理专家1名、命题技术专家1名、一线企业专家1名组成，要求与开发承担单位无隶属利益关系，实行回避制度，负责题库最终审核验收。所有参与开发的人员需签订保密承诺书，明确保密责任与义务。5.1.2基础资料收集整理开发团队需收集整理以下基础资料：对应职业现行有效国家职业技能标准、行业发展报告、岗位能力需求调研报告、现行题库使用及质量分析报告、近3年鉴定考生成绩统计数据、国家发布的行业新技术新标准新规范、安全生产与环境保护相关法律法规要求。所有收集的资料需进行有效性审核，剔除已废止的标准、过时的技术内容，保证所有资料为现行有效版本。5.2编制开发方案开发团队根据前期准备结果编制题库开发方案，方案需明确以下内容：（1）开发基本信息：明确开发职业名称、职业代码、适用考核等级、鉴定方式（理论知识、操作技能、综合评审）；（2）工作目标与进度安排：明确各开发阶段的完成时限，全新开发题库总周期不超过180天，修订更新题库总周期不超过90天；（3）团队分工与责任：明确各角色的具体工作内容与责任；（4）质量控制要求：明确各环节的质量审核标准；（5）验收标准：明确题库验收的量化指标；开发方案需报送组织开发单位审批，审批通过后方可启动下一阶段工作。5.3编制鉴定要素细目表5.3.1结构要求鉴定要素细目表分为理论知识细目表和操作技能细目表两个独立部分，采用三级结构化结构：一级模块对应国家职业技能标准中的“职业功能”，二级模块对应标准中的“工作内容”，三级模块为可独立考核的鉴定点，每个鉴定点需明确能力要求层级（了解、掌握、熟练掌握）、鉴定比重、适用题型。5.3.2内容要求（1）全覆盖要求：国家职业技能标准中明确要求考核的所有内容100%覆盖，不得遗漏，标准明确不考核的内容不得纳入细目表；（2）比重匹配要求：理论知识部分，基础知识占比不低于20%，专业知识占比60%-70%，相关知识占比10%-15%；操作技能部分，核心岗位技能占比不低于60%。不同等级比重动态调整：五级/初级工基础内容占比不低于30%，一级/高级技师综合应用、新技术新方法内容占比不低于40%，符合等级越高对综合能力要求越高的规律；（3）可测性要求：每个鉴定点必须为可独立测量的内容单元，不得出现模糊、宽泛、无法考核的鉴定点，需将“提升职业素养”这类泛化要求拆解为具体可考核的知识点；（4）细目表审核要求：细目表编制完成后，由全体职业专家进行审核，采用一致性评价法，90%以上专家同意的细目表方可通过，未通过的调整完善后重新审核。5.4试题命制与初审5.4.1题型适用要求理论知识考核采用客观题+主观题结合的方式，常用客观题型为单项选择题、多项选择题、判断题，适用于考核了解、掌握层级的鉴定点；常用主观题型为简答题、论述题、案例分析题，适用于考核综合应用层级的鉴定点。操作技能考核常用题型为现场操作题、虚拟仿练习题、技能计算题，综合评审常用题型为业绩评价、论文答辩、项目设计答辩。题量配置要求：理论知识考试中，五级/初级工至三级/高级工客观题占比不低于70%，一级/高级技师至二级/技师客观题占比不低于50%；操作技能考核评分点细化到具体操作步骤，评分规则清晰无歧义。5.4.2命题基本要求（1）对应性要求：每道试题必须唯一对应一个鉴定点，不得命制跨鉴定点、超纲试题，不得出现与考核内容无关的信息；（2）准确性要求：题干表述清晰准确，设问明确无歧义，客观题答案唯一正确，主观题评分要点清晰、可量化，不存在政治性、科学性、常识性错误，不涉及涉密内容、民族宗教敏感内容、隐私内容；（3）格式规范性要求：每道试题需标注对应职业、等级、鉴定点编码、难度预估值、题型、分值、命题人、审核人信息，格式统一符合规范；（4）题量要求：题库总题量满足每个鉴定点不少于3道同难度等级不同内容的试题，保证抽题不重复；理论知识题库每个等级总题量：五级不少于800道，一级不少于1200道；操作技能题库每个等级总题量不少于30道完整试题；综合评审题库每个等级不少于20道考核题目，满足连续10次不同组合命题知识点重复率不超过10%的要求；（5）难度预分布要求：命题人按照难度分级标准预先标注试题难度，难度分为5个等级：1级（极易，难度系数0.90-1.00）、2级（容易，0.75-0.89）、3级（中等，0.50-0.74）、4级（较难，0.30-0.49）、5级（很难，0.00-0.29）。题库整体难度要求呈正态分布，中等难度试题占比不低于50%，容易、较难试题占比各约20%，极易、很难试题占各不超过5%，符合鉴定考核60分合格的整体要求。5.4.3命题初审初审由命题组组长组织开展，初审内容包括：试题与鉴定点对应关系、内容准确性、答案正确性、格式合规性，初审淘汰率不低于10%，存在问题的试题要么修改完善后重审，要么直接淘汰，初审通过率达到90%以上方可进入下一环节。5.5试题试测与参数校准5.5.1试测组织开发单位选取不少于3家不同类型的试点鉴定机构（含企业评价机构、社会培训评价组织、院校鉴定点），每个等级试测考生样本量不少于200人，样本覆盖不同技能水平层级，试测样本中经过规范培训的考生占比不低于90%，保证样本具有代表性。试测采用统一考试时间、统一评分标准，独立施测，保证试测结果不受干扰。5.5.2量化参数计算试测完成后，由命题技术专家按照教育测量学公式计算所有试题的量化参数：（1）难度系数：P=X/Xmax，其中X为考生该题平均得分，Xmax为该题满分；（2）区分度：将考生总成绩按照从高到低排序，取前27%为高分组，后27%为低分组，D=PH-PL，其中PH为高分组该题平均得分率，PL为低分组该题平均得分率；区分度分级：D≥0.4为优良，0.3≤D<0.4为合格，D<0.3为不合格；（3）整卷信度：采用克朗巴赫α系数，整卷α系数不低于0.7为合格；（4）内容效度：采用专家评定法，平均效度得分不低于0.8（满分1分）为合格。5.5.3试题筛选与参数校准根据试测结果，淘汰区分度低于0.3、实际难度与预估值偏差超过0.3的试题，修改后重新试测仍不合格的直接剔除；补充命制的试题需重新试测校准，保证最终总题量符合要求。最终所有试题保留实际试测得到的参数，存入题库参数库。5.6题库终审验收终审由组织开发单位组织终审专家开展，验收内容包括：（1）开发流程合规性：所有开发环节符合本规程要求，全过程资料齐全，可追溯；（2）细目表合规性：100%覆盖国家职业技能标准考核内容，比重分配合理，符合能力层级要求；（3）试题质量：题量符合要求，内容无错误，参数准确，难度分布符合要求；（4）组卷规则合规性：组卷规则明确，能够按照细目表比重、难度要求自动组卷，每套试卷难度系数控制在0.6-0.7之间，同一套试卷知识点重复率不超过10%。验收采用专家独立评分法，满分100分，平均分80分以上为合格，低于80分的要求整改后重新验收，两次验收不合格的终止项目开发。验收合格后出具正式验收报告，所有开发资料归档留存。5.7题库封装上线验收合格的题库按照组织开发单位要求的统一数据格式封装，标注版本号、开发时间、适用等级，录入职业技能鉴定题库管理系统，同时制作2份以上加密离线备份，分别存储在不同地点，定期进行数据完整性检测，防止数据丢失损坏。6组卷技术要求6.1理论知识组卷每套理论知识试卷满分100分，考试时间为90-120分钟，客观题题量不少于80题，总分不低于70分，主观题题量不少于2题，总分不高于30分；每套试卷难度系数控制在0.6-0.7之间，同一鉴定点在同一套试卷中不得重复出现，连续两次考试的相同试卷知识点重复率不超过15%。6.2操作技能组卷每套操作技能试题满分100分，60分合格，考核时间根据等级确定：五级/初级工不少于90分钟，一级/高级技师不超过240分钟；每套试题必须覆盖不少于2个核心技能模块，试题明确标注考核要求、场地设备工具要求、环境要求、评分标准、扣分规则，评分点细化到每个操作步骤，评分误差控制在5分以内。6.3综合评审组卷综合评审针对一级/高级技师和二级/技师开展，采用业绩评审加答辩方式的，业绩评审指标明确量化，答辩题目围绕综合能力和新技术应用，每个考生答辩时间不少于15分钟；采用项目设计方式的，题目必须结合考生实际工作内容，能够考核考生综合解决问题的能力。7质量控制与安全管理7.1全过程质量控制建立环节签字确认制度，每个开发环节完成后，负责人签字确认，所有审核记录留存归档，实现开发全过程可追溯；建立三审制度，每道试题经过命题人自审、命题组初审、终审专家终审，三次审核通过后方可入库，存在质量问题的试题一律不得入库。7.2人员回避制度存在以下情况的开发人员必须回避：近1年内参与该职业社会培训授课的，近3年内参与该职业考试辅导教材编写的，有直系亲属拟参与3个月内该职业鉴定考核的，回避人员不得参与命题、审核工作。7.3安全保密管理题库开发全过程实行保密管理，所有开发人员签订保密协议，不得私自记录、复制、传播试题内容；开发过程的所有电子资料采用加密存储，开发完成后及时销毁过程草稿；题库上线后实行分级权限管理，只有授权人员才能接触题库内容，涉密职业题库按照国家保密规定进行管理。8题库更新维护8.1更新周期要求国家职业技能标准修订发布后，6个月内完成对应题库的全面修订；标准未修订的，题库每3年开展一次全面更新，每年开展一次动态更新，年度动态更新题量不低于总题量的10%。8.2更新内容要求更新内容主要包括：淘汰过时的技术内容、淘汰参数不合格的试题，补充新技术新工艺新规范相关内容，补充符合新岗位要求的试题，调整试