版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Q/LB.□XXXXX-XXXXT/GZASXXXX—2026前言本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由长安大学提出。本文件由贵州省标准化协会归口。本文件起草单位:本文件主要起草人:道路交通大模型高质量数据集建设规范范围本文件提供了贵州省道路交通大模型高质量数据集建设的指导和建议,适配贵州省喀斯特地貌下多山高落差、陡坡急弯、桥隧占比高、雾凝冻多发等场景,支撑道路网拥堵治理、安全预警、智能管控、智慧运维等交通大模型建设。本文件适用于指导贵州省道路交通运输管理部门、信息技术企业、科研机构等单位开展道路交通大模型高质量数据集建设工作。规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。GB/T42755-2023人工智能面向机器学习的数据标注规程GB/T36344-2018信息技术数据质量评价指标GB/T21394-2008道路交通信息服务信息分类与编码GB/T20134-2025道路交通信息采集事件信息集JT/T697.7-2022交通信息基础数据元第7部分道路运输信息基础数据元JT/T747.3-2020交通运输信息资源目录体系第3部分核心元数据JT/T1522-2024交通运输数据安全分级和保护要求JT/T1480-2023交通运输数据脱敏指南JT/T1489-2024交通运输信息系统数据符合性测试JTT52/01-2022贵州省智慧高速公路建设指南(试行)JTZN52/T15-2024交通基础设施关键数据采集标准第9册普通国省道路关键数据采集标准(试行)术语和定义下列术语和定义适用于本文件。道路交通大模型largeroadtrafficmodel道路交通大模型是基于大数据和人工智能技术构建的交通领域智能模型,模型架构复杂,参数规模大且涌现能力强,采用预训练-微调范式,且具有一定泛化能力和自适应能力,能够满足交通场景理解、交通流预测、交通事件识别、交通管理与控制等综合分析需求。高质量数据集high-qualitydataset经过采集、预处理、标注等数据处理,可直接用于道路交通大模型训练、微调和推理,能有效提升模型应用效能的交通数据集合,其质量标准可通过准确性、完整性、一致性、时效性、真实性、合规性等一系列静态与动态指标进行量化衡量。数据标注dataannotations将原始交通数据进行人工/半自动/全自动标记、注释等处理,使其能够用于道路交通大模型训练、测试和应用。数据质量dataquality在指定条件下使用时,数据的特性满足明确的和隐含的要求的程度。数据采集要求采集原则道路交通大模型高质量数据集建设的数据采集阶段,应依据数据集建设目标、应用场景及任务需求开展,旨在收集道路交通大模型训练、测试与应用所需的数据。数据资源通用数据资源通用数据是指能够支撑道路交通大模型开展交通知识学习、交通场景认知、交通运行逻辑推理等通用能力构建的数据资源,包括但不限于交通政策文件(如交通基础设施发展政策、交通法律法规)、技术基础理论(如交通流理论、交通控制理论)、环境气象数据(如冰冻、团雾、风速风向)等。行业数据资源行业数据是指贵州省交通运输、公安交管、道路运营、交通规划及设计等相关行业部门在业务运行、管理和服务过程中产生的数据资源,能够支撑道路交通大模型多场景训练、测试及应用,包括但不限于交通基础设施数据(如道路等级、线形、车道数)、传感器检测数据(如视频、雷达、线圈、ETC)、客票/交易数据(如收费站交易数据、公交刷卡数据)、农村公路巡查台账(如路面病害记录、养护维修记录)、景区节假日车流数据(如景区出入流量、停车数据)等。专有数据资源专有数据是指科研机构、企业单位等通过自有设备或业务系统所采集的高价值数据资源,可用于提升道路交通大模型特定业务场景下的学习能力和应用效果,包括但不限于定制交通调查数据(如出行意愿调查、出行满意度调查)、志愿者数据(如GPS数据、出行日志数据)、自动驾驶专属测试数据(如车辆传感器数据、车辆运行工况数据)等。采集方式贵州省道路网存在多山高落差、陡坡急弯、桥隧占比高、雾凝冻多发、农村路网密集等场景,道路交通大模型高质量数据采集应结合固定感知设备(如视频监控、雷达、线圈)、移动感知设备(如浮动车、无人机)、车路协同系统等数据来源,依据数据是否能直接复用、是否能转化、是否能通过授权获取、是否能通过购买获得、是否能生成(如极端天气、突发事件等仿真合成数据)或新采集(如传感器监测、无人机采集)等情况,确定采集方式,包括获取、转化、授权、购买、生成和新采:获取:直接复用现有且质量符合要求的道路交通数据集;转化:对已有数据进行清洗、格式转换、多源融合等,形成满足道路交通大模型训练与应用需求的数据资源;授权:在保障合法合规前提下,通过数据授权、合作共享等方式获取第三方交通数据;购买:在保障合法合规前提下,通过购买许可获取第三方交通数据;生成:针对长尾分布、突发事件数据缺失等场景,通过仿真、合成、数字孪生等方法生成数据,确保合成数据符合真实性、多样性与一致性要求;新采:在无其他可用的采集方式时,通过部署新的数据采集设备采集道路交通大模型训练与应用所需的数据。桥隧/事故高发路段宜开展连续采集,县乡道路按季度及天气周期采集,景区道路应加密节假日数据采集。采集方式优先级应综合考虑道路交通大模型高质量数据集建设的成本、时效及质量等要求,数据采集方式建议采用“获取>转化>授权>购买>生成>新采”的优先级策略。质量验证数据采集全过程应开展数据质量验证工作,依据国家标准《信息技术数据质量评价指标》(GB/T36344-2018),对采集数据的规范性、完整性、准确性、一致性、时效性进行检测与评估,提升采集数据质量以降低对下游阶段的影响,减少额外工作量。数据预处理预处理原则道路交通大模型高质量数据集的数据预处理主要是将所采集到的原始数据进行规范化、标准化处理,将其转换成格式规范、质量可靠、隐私安全的数据集,满足数据标注、道路交通大模型训练与应用等后续阶段的使用要求。数据脱敏针对道路交通数据中不可避免包含的敏感信息,应采用不可逆的匿名化、模糊化或马赛克等技术,对视频/图像数据中的人脸、轨迹数据中的个人身份标识等信息进行脱敏,满足《中华人民共和国个人信息保护法》的相关要求,同时保障道路交通大模型训练、测试及应用所需的数据特征及内容未被破坏。数据清洗针对道路交通数据中的重复、缺失、异常、低质量等数据进行识别与修正(或剔除),可通过数据去重、缺失值填充、异常值检测等方式清洗结构化/半结构化数据,对于非结构化数据可通过特定规则(如图像清晰度、遮挡严重度等)剔除不符合要求的数据。数据增强针对贵州省山区长大下坡、急弯临崖、地质灾害等典型交通场景样本稀疏、数据覆盖不足的缺陷,通过对现有道路交通数据施加各种变换、扰动或编辑,扩大数据集规模、提升多样性与模型泛化能力。包括:有监督单样本数据增强、多样本数据增强,如图像的翻转、缩放、裁剪等;无监督数据增强,如基于生成式对抗网络的数据增强等。数据对齐针对多源异构的道路交通数据(如激光雷达点云、多摄像头视频流、毫米波雷达等),在输入道路交通大模型前需进行时空对齐:a) 时间对齐:统一多源道路交通数据的基准时间,并通过硬同步、软同步(如插值法)等方式,消除异步采样带来的时间误差;b) 空间对齐:统一多源道路交通数据的空间坐标系(如WGS84、GCJ02),确保同一物理空间的交通实体或高风险事件在不同模态数据中的空间表达一致性。数据集成根据道路交通大模型应用需求,可对不同来源、不同粒度的数据进行汇总与融合,形成统一的数据集,包括但不限于:a) 按照分、时、日、月、季、年等时间粒度对数据进行聚合;b) 按照交叉口、路段、区域或路网等空间粒度对数据进行聚合。数据标注数据标注流程道路交通大模型高质量数据集建设的数据标注,主要针对有监督机器学习,为训练、验证及测试数据中的单个或多个交通目标(如车辆、行人、信号灯状态)或各类场景、事件(如拥堵、事故)等赋值,主要流程包括标注任务准备、标注任务执行、标注结果质检三个阶段。数据标注准备标注需求分析数据标注需求方与数据标注管理方需依据道路交通大模型应用场景开展充分沟通,明确数据标注范围、标注规则及质量要求,形成统一的标注任务说明,包括但不限于:a) 明确数据类型及格式,包括交通文本数据、交通图像数据、交通视频数据、车辆轨迹数据、交通事件记录数据等;b) 明确标注任务类型,通过目标检测、目标跟踪、事件识别等方式开展多类型标注,包括感知类(机动车、行人、非机动车、交通标志标线等)、事件类(交通拥堵、交通事故、车辆逆行、异常停车、地质灾害阻断、农村行人横穿等)和文本问答类(效用标注、语义标注、关系标注等);c) 明确标注粒度与精度要求,包括空间定位精度、时间标注精度及语义标注深度;d) 明确数据质量要求,包括标注准确率要求、一致性要求、完整性要求以及抽检通过率;e) 明确标注成果交付内容,包括标注结果、说明文档、标注规范及原始数据。标注数据准备数据标注前,数据需求方应对待标注数据进行分析,核对标注任务,确保待标注数据与标注任务说明书中的数据定义相符,并提供对应的道路交通数据集。标注管理方应对标注任务进行评估,验证标注任务的可行性与标注规则合理性,并在数据需求方提供的小规模样本上进行标注,将标注结果提交给数据需求方验收,确认合格后,再正式启动数据标注任务。标注工具要求数据标注工具应能够满足道路交通大模型多类型、多模态数据标注需求,并保证标注效率、标注质量及数据安全,包括但不限于:a) 支持文本、图像、视频、轨迹、点云等不同类型道路交通数据的标注;b) 支持感知类、事件类、文本问答类等多种标注任务;c) 支持标注信息的管理,如标注标签、标注属性等的编辑、删除和查询;d) 支持可视化标注功能,标注信息可在原始数据上直观呈现;e) 支持标注结果导出,如已标注的数据及标签导出。标注人员要求数据标注管理方应建立完善的标注人员选拔、培训与考核机制,确保标注人员具备完成道路交通大模型数据标注任务所需的专业能力,包括:a) 熟悉道路交通基础知识,掌握数据标注规范与流程;b) 能够正确理解交通场景语义及标签定义,准确执行标注任务;c) 掌握标注工具的使用方法,具备相应的数据处理能力;d) 具备数据安全保护意识,严格遵守数据保密及隐私保护要求;e) 设置交通路政、高速交警本地专家审核机制。数据标注实施标注任务分配数据标注管理方应依据道路交通数据类型、标注任务复杂程度、交通场景特征及标注人员能力,合理开展标注任务分配,确保标注效率与标注质量。标注任务分配应包括以下内容:a) 依据交通数据类型及标注任务特点,对车辆检测、轨迹标注、交通事件识别等不同任务进行分类管理;b) 根据标注任务要求的标注环境、标注工具,结合标注质量管理以及标注速度管理,在保证标注质量的前提下,选择主动领取或系统自动分发等任务分发类型,优化标注任务分发策略;c) 根据标注人员专业能力、经验水平及培训情况,合理分配不同复杂度的标注任务;d) 建立任务追踪与进度监控机制,对标注进度、任务状态及问题反馈进行全过程管理。标注任务执行数据标注人员应按照统一的标签体系与标注规则,采用人工标注、半自动标注或自动标注的方式对道路交通数据集的时间、位置、交通行为、异常事件、交通设施等开展规范化标注,确保标注结果的准确性、一致性与可追溯性。对于自动生成的预标注结果,标注人员应进行人工核验与修正,避免错误标注直接进入数据集。标注过程抽检数据标注管理方应在标注实施过程中建立全过程抽检机制,对标注结果进行阶段性质量检查,及时发现并纠正标注错误,保障道路交通数据标注质量。数据标注结果数据集标注质量审核数据标注管理方应对标注结果进行审核,确保数据标注结果满足道路交通大模型训练、验证、测试及应用需求,审核方式包括:a) 人工审核:根据标注数据量级,合理选择逐条检查、按比例抽查、抽样检验等方式,对标注数据进行逐一核查或部分样本检验,针对桥隧群、常发拥堵路段、事故多发路段等特殊场景,需提高抽检比例;b) 自动审核:通过已训练的机器学习模型自动检查数据标注结果质量。对于质量审核不通过的数据集,数据标注管理方应安排标注人员对质检中的所有问题进行纠正或重新标注,并对处理后的标注数据集进行复核,复核通过后方可数据交付。数据集交付数据标注管理方需按约定时间、格式及质量要求,向数据需求方交付标注结果,包括:a) b) 标注说明文档:数据内容、标签体系、标注规范、标注流程、标注工具等内容的详细说明文档;c) 标注质量报告:数据标注质量及道路交通大模型应用效果评估报告;d) 原始数据文件:数据标注的原始数据及相关说明文件。数据集验收数据标注需求方应对交付的标注结果进行验收,包括:a) 数据完整性验收:检查数据标注结果、标注说明文档、标注质量报告和原始数据是否完整,文件数量及格式是否符合约定要求;b) 数据规范性验收:检查数据格式、数据结构、标签体系等是否符合约定要求;c) 标注质量验收:检查交通目标、交通事件等标注内容的准确性、一致性、完整性及规范性是否满足质量要求;d) 模型适用性验收:验证数据集是否满足道路交通大模型训练、测试及应用需求,确保数据具备良好的可用性和可训练性。数据分类原则道路交通大模型高质量数据分类应满足以下分类原则,包括:a) 道路交通大模型高质量数据集应按业务属性或特征进行分类,同时兼顾行政管理的要求。b) 数据分类方法应采用线分类法。c) 数据分类应具有兼容性,与有关标准协调一致,与已发布的国家级分类编码相兼容。编码原则与编码结构编码原则道路交通大模型高质量数据编码应满足以下编码原则,包括:a) 每一个编码对象应只有一个代码,一个代码也惟一表示一个编码对象。b) 代码应留有空位,当增加新的道路交通大模型高质量数据类型时,可根据需要加以扩充。c) 编码采用数字码。编码结构编码结构分为三个段,分别为道路交通大模型高质量数据集分类总代码、道路交通大模型高质量数据集分类子代码和道路交通大模型高质量数据集分类细目代码。代码间用“-”隔开。编码形式如下:道路交通大模型高质量数据集分类总代码道路交通大模型高质量数据集分类应考虑业务属性或特征,分为道路条件数据、道路交通流数据、道路事件数据、道路环境数据、车辆数据、人员数据、交通政策与法规和其他数据。总代码由两位数字码组成,详细代码见表1。道路交通大模型高质量数据集分类总代码代码名称说明01道路条件数据主要指道路作为允许社会机动车通行的地方所应满足的条件以及机动车在道路上应遵守的规则02道路交通流数据主要指交通流状态的定性定量特征的物理量(称为交通流参数)的相关数据03道路事件数据主要指不可预见性较强的交通突发事件的相关数据04道路环境数据主要指影响交通运行安全的相关道路环境数据05车辆数据主要指在道路上行驶的车辆相关数据06人员数据主要指进行交通出行的人员相关数据07交通政策与法规主要指与道路交通相关的政策、法律法规与规范等相关数据99其他数据道路交通大模型高质量数据集分类子代码道路交通大模型高质量数据集分类子代码对应于道路交通大模型高质量数据集分类总代码,由两位数字码组成,见表2。道路交通大模型高质量数据集分类子代码分类总代码分类子代码名称分类总代码分类子代码名称道路条件数据(01)01基本信息道路环境数据(04)04气象数据02路面05道路场景03管制形式99其他道路环境数据04车速限值车辆数据(05)01基本信息05交通控制方式02技术参数99其他道路条件数据03车辆所有人信息道路交通流数据(02)01按时间统计流量04车辆装载物品02按车型统计流量99其他车辆数据03时间占有率人员数据(06)01人员基本信息04空间占有率02驾驶员属性05速度03人员事故数据06排队长度04人员违法数据07阻塞状态99其他人员数据99其他道路交通流数据交通政策与法规(07)01道路基础设施政策道路事件数据(03)01道路交通事故数据02道路运营服务政策02事故类型03交通安全执法与监管政策03影响交通程度04道路交通科技与信息化政策99其他道路事件数据05道路交通法律法规道路环境数据(04)01大气污染数据06道路节能减排与双碳政策02噪声99其他政策03灾害其他数据(99)99其他数据道路交通大模型高质量数据集分类细目代码道路交通大模型高质量数据集分类细目代码对应于道路交通大模型高质量数据集分类子代码,由两位数字码组成,见表3。道路交通大模型高质量数据集分类细目代码总代码-子代码细目代码名称总代码-子代码细目代码名称总代码-子代码细目代码名称01-0101行政区划03-0108损坏机动车数05-0301个人自有车辆02路号09损坏非机动车数02企业自有车辆03公路数99其他03营运经营车辆04米数03-0201事故主要原因04特种车辆05单项路宽02事故形态05-0401空载06双向路宽99其他02轻载07道路线形03-0301轻微影响03满载08道路类型02一般影响04超载99其他03较大影响05-9999其他01-0201路面类型04重大影响06-0101人员编号02路面情况03-9999其他02姓名99其他04-0101CO2含量03年龄01-0301时间管制02CO含量04性别02方向管制03NOx含量05交通方式03载重管制04SOx含量06人员类型04车型管制05HC含量07出行目的05交通信号控制99其他08国籍99其他04-0201分贝数99其他01-0401最高车速限值02噪声来源06-0201驾驶机动车人员类型02最低车速限值03噪声时间02驾证种类03建议车速04噪声等级03准驾车型99其他99其他04驾龄01-9999其他04-0301能见度05驾驶证号02-0101年平均日交通量02温度06档案编号02小时交通量03湿度99其他0315min交通量04风向01轻微事故04高峰小时交通量05风速02一般事故99其他06降水量03重大事故02-0201小型客车07降雪量04特大事故02大中型客车99其他06-0301机动车驾驶人违法03小型货车04-0501滑坡02非机动车驾驶人违法04中型货车02塌方03行人交通违法05大型货车03洪水99其他06摩托车99其他06-9999其他07自行车04-0601长陡下坡路段07-0101公路基础设施政策99其他02急弯路段02道路基础设施政策02-03011h间隔时间占有率03桥隧集群路段03道路附属设施政策0215min间隔时间占有率04凝冻多发路段04道路养护管理政策99其他05团雾多发路段99其他02-04011h间隔空间占有率06临崖临水路段07-0201城市公共交通政策0215min间隔空间占有率07地质灾害路段02出租车与网约车政策99其他08农村混合交通03道路货运物流政策02-0501断面最高速度09景区旅游道路04共享出行政策021h断面平均速度99其他场景99其他0315min断面平均速度04-9999其他07-0301交通安全执法政策99其他05-0101号牌号码02车辆与驾驶人安全管理政策02-0601交叉口排队长度02档案编号99其他02路段排队长度03车辆类型07-0401智能交通建设政策03公交站台排队长度04品牌型号02交通大数据与数字化建设政策99其他05车辆颜色03智慧出行与信息服务政策02-0701无阻塞06发动机号04区域交通协同政策02轻度阻塞07注册登记日期05交通拥堵治理与需求管理政策03中度阻塞99其他99其他04重度阻塞05-0201总质量07-0501道路交通管理规范02-9999其他02整备质量02道路交通法规体系03-0101事故编号03核定载质量99其他02事故时间04准牵引总质量07-0601交通节能减排政策03事故位置05核定载客02交通环保政策04死亡人数06轮廓尺寸03慢行交通政策05重伤人数07检验记录99其他06轻伤人数08燃料种类07-9999其他07失踪人数09排量99-9999其他数据质量评测质量评测指标要求评测指标道路交通大模型高质量数据集的质量要求应覆盖以下三个维度的指标:a) 说明文档:数据集的说明文档应完整,包含基本信息、内容特征、建设过程及应用说明等;b) 数据质量:数据质量应满足道路交通大模型训练、微调、测试和应用所需的基本质量要求,具备规范性、完整性、一致性和干净性等要求;c) 模型应用:数据集应能够支撑道路交通大模型训练、评测和应用开发需求,具备与目标任务相匹配的数据规模、样本覆盖范围、标签体系和场景表达能力。说明文档指标要求说明文档指标要求包括以下子指标:a) 基本信息完整性:应包含数据集名称、版本、数据规模、格式规范、文件结构、访问渠道和技术支持方式等;b) 内容特征完整性:应包含数据模态类型(如视频、图像、文字等)、交通要素时空分布、标签类别统计(如流量、车型、交通事件等)、样本示例和局限性说明等;c) 建设过程完整性:应包含数据来源、采集方法、加工处理流程、标注规范、质量检测和版本控制记录等;d) 应用说明完整性:应包含使用许可、目标应用场景、评估方法、基准测试结果、典型案例等。数据质量指标要求数据质量指标要求包括以下子指标:a) 格式规范性:数据格式应符合预定标准,可直接用于道路交通大模型(如交通风险识别模型、流量预测模型)开发和训练;b) 安全规范性:数据应符合人工智能、交通大模型开发和训练的安全要求,不含违反社会主义核心价值观、歧视性、商业违法违规及侵犯他人合法权益等内容,尤其规避个人隐私、运营敏感信息等;c) 标注规范性:交通数据标注应符合预定的标注规范,遵循预先设定的规范化流程;d) 结构完整性:数据集元数据应完整,交通要素信息缺失值应控制在合理范围内;e) 内容真实性:数据真实可追溯。非生成数据应可追溯至路侧感知设备、视频监控、浮动车等采集源头,与源头数据一致,不存在未经说明的篡改;生成数据应可追溯至生成工具、算法和过程,并符合交通场景真实数据分布规律;f) 内容一致性:关联数据间内容一致,语义和表达匹配,包括不同模态数据间的一致性和同模态数据间的一致性;g) 类型一致性:数据应符合所属数据集类型的要求。道路交通行业通识数据集应包含道路交通领域基础知识、通用规则和常见场景。道路交通专识数据集应包含交通规划、设计、运营管理、智能控制等道路交通领域专业知识;h) 内容干净性:数据应经过严格清洗,不应包含乱码、缺失、重复等脏数据。模型应用指标要求模型应用指标要求包括以下子指标:a) 内容多样性:数据分布应涵盖不同时段(高峰/平峰、工作日/节假日等)、道路类型(高速公路/城市干道等)、不同交通状态(拥堵/畅通等)和不同环境条件(晴/雨/雪/雾等)等场景,满足道路交通大模型开发和训练需求,尤其满足贵州道路长大纵坡、高桥隧比、临水临崖、连续弯道、团雾凝冻等特色场景应用需求。b) 规模完整性:数据集规模(如样本量、覆盖路网范围)应满足道路交通大模型开发和训练要求;c) 内容时效性:数据采集时间和更新状态应满足道路交通大模型开发和训练的要求;d) 标注准确性:数据标注应准确标记出目标应用场景所有需要的信息;e) 模型适配性:数据集应与贵州道路交通运行监测、拥堵预测、事件识别、交通安全风险预警、桥隧群运行管理、恶劣天气应急调度等应用场景相匹配。高质量数据集评测细则道路交通大模型数据集需要同时满足说明文档指标、数据质量指标及模型应用指标要求,方可认定为高质量数据集。具体要求为:说明文档指标得分达90分及以上,数据质量指标得分达90分及以上,模型应用指标得分达90分及以上。任一指标不满足要求的交通数据集,不宜认定为高质量数据集。说明文档指标说明文档指标计算细则说明文档指标的计算方式如表4所示:说明文档指标指标编号子指标名称目标数据形式指标描述计算方法基本信息完整性数据集数据集说明文档满足基本信息完整性要求的方面比例。注:基本信息完整性所要求的方面包括数据集名称、版本、规模、格式规范、文件结构、访问渠道、技术支持方式等。𝑋=𝐴/𝐵式中:𝐴为数据集说明文档满足基本信息完整性要求的方面数量;𝐵为数据集说明文档需要满足基本信息完整性要求的方面总数。数据集说明文档满足内容特征完整性要求的方面比例。注:内容特征完整性所要求的方面包括模态类型、数据分布情况、标签类别统计、样本示例、局限性说明等。𝑋=𝐴/𝐵式中:𝐴为数据集说明文档满足内容特征完整性要求的方面数量;𝐵为数据集说明文档需要满足内容特征完整性要求的方面总数。建设过程完整性数据集数据集说明文档满足建设过程完整性要求的方面比例。注:建设过程完整性所要求的方面包括数据来源、采集方法、加工处理流程、标注规范、质量检测和版本控制记录等。𝑋=𝐴/𝐵式中:𝐴为数据集说明文档满足建设过程完整性要求的方面数量;𝐵为数据集说明文档需要满足建设过程完整性要求的方面总数。应用说明完整性数据集数据集说明文档满足应用说明完整性要求的方面比例。注:应用说明完整性所要求的方面包括使用许可、目标应用场景、评估方法、基准测试结果、典型应用案例等。𝑋=𝐴/𝐵式中:𝐴为数据集说明文档满足场景说明完整性要求的方面数量;𝐵为数据集说明文档需要满足场景说明完整性要求的方面总数。说明文档指标评分细则P式中:P——数据集的说明文档指标得分;i——说明文档指标中子指标的索引号;n——说明文档指标中子指标的数量;Wi——第𝑖Si——数据集在第𝑖说明文档指标评分采用百分制,当得分达到90分及以上时,视为符合高质量数据集的说明文档指标要求。各子指标权重可根据实际应用场景和评测需求进行调整,建议各子指标权重相等时取值为0.25。数据质量指标数据质量指标计算细则数据质量指标的计算方式如表5所示:数据质量评价指标指标编号子指标名称目标数据形式指标描述计算方法格式规范性数据记录数据集中格式符合预定标准的数据记录比例。注:预定标准是指相关标准、惯例或其他用户自定义规则。𝑋=𝐴/𝐵式中:𝐴为数据集中格式符合预定标准的数据记录数量;𝐵为数据集中的数据记录总数。安全规范性数据记录数据集中符合道路交通大模型开发和训练安全要求的数据记录的比例。𝑋=𝐴/𝐵式中:𝐴为数据集中符合道路交通大模型开发和训练安全要求的数据记录数量;𝐵为数据集中数据记录总数。标注规范性数据记录数据集中符合预定标注规范的数据记录比例。注:预定标注规范是指数据标注方面相关标准、惯例或其他用户自定义规则;无监督机器学习等不需要标注的应用场景不适用。𝑋=𝐴/𝐵式中:𝐴为数据集中符合预定标注规范的数据记录数量;𝐵为数据集中的数据记录总数。0204结构完整性数据记录数据集中缺失值在合理范围内的数据记录比例。𝑋=𝐴/𝐵式中:𝐴为数据集中缺失值在合理范围内的数据记录数量;𝐵为数据集中的数据记录总数。0205内容真实性数据记录数据集中真实可追溯的数据记录比例。𝑋=𝐴/𝐵式中:𝐴为数据集中真实可追溯的数据记录数量;𝐵为数据集中的数据记录总数。内容一致性数据记录数据集中内容一致的数据记录比例。注:包括不同模态数据间的内容一致和同模态数据间的内容一致。𝑋=𝐴/𝐵式中:𝐴为数据集中内容一致的数据记录数量;𝐵为数据集中的数据记录总数。0207类型一致性数据记录数据集中符合其所属数据集类型要求的数据记录比例。𝑋=𝐴/𝐵式中:𝐴为数据集中符合其所属数据集类型要求的数据记录的数量;𝐵为数据集中的数据记录总数。内容干净性数据记录数据集中内容干净的数据记录比例。𝑋=𝐴/𝐵式中:𝐴为数据集中内容干净的数据记录数量;𝐵为数据集中的数据记录总数。数据质量指标评分细则数据质量指标的得分确定可基于以下公式:P式中:P——数据集的数据质量指标得分;i——数据质量指标中子指标的索引号;n——数据质量指标中子指标的数量;Wi——第𝑖Si——数据集在第𝑖数据质量指标评分采用百分制,当得分达到90分及以上时,视为符合高质量数据集的数据质量指标要求。各子指标权重可根据实际应用场景和评测需求进行调整,建议各子指标权重相等时取值为0.125。对于无监督学习、非标注型预训练等不以标注为必要条件的应用场景,“标注规范性”子指标不适用,权重取值为0,其余子指标权重需进行适当调整。模型应用指标模型应用指标计算细则模型应用指标的计算方式如表6所示:模型应用评价指标指标编号子指标名称目标
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
评论
0/150
提交评论