2025官方国标｜高质量数据集格式要求（TC609-5-2025-02 完整版）

2025官方国标｜高质量数据集格式要求（TC609-5-2025-02完整版）一、规范基础说明本规范依据全国数据标准化技术委员会TC609-5-2025-02《高质量数据集格式要求》（2025年8月29日发布实施）编写，为国内高质量数据集统一强制格式标准，适用于数据集采集、加工、归档、流通、AI模型训练、政务数据交付等全场景。核心定位：统一数据集元数据、内容格式、标注规范、溯源信息，解决数据碎片化、不可读、不可交换、不可复用问题。二、核心术语定义1.高质量数据集：经过采集、清洗、标准化加工，无脏数据、无冗余、可直接用于AI模型训练、数据分析、业务落地的数据集合，可有效提升模型精度与业务效果。2.元数据：用于定义、描述数据集本体的核心数据，是数据集合规、可溯源、可复用的核心依据。3.数据模态：分为文本（text）、图像（image）、视频（video）、音频（audio）四大主流类型。三、全局统一规则（强制必填）1.统一编码：所有文本、配置文件强制使用UTF-8编码，禁止GBK、GB2312等编码。2.统一存储格式：数据集主体标准格式为JSON/JSONL，结构化辅助数据可使用CSV，多媒体数据保留行业通用格式。3.时间格式：全部遵循GB/T7408.1-2023，统一为YYYY-MM-DD标准日期格式。4.数据标识：所有样本拥有全局唯一ID，遵循NDI-TR-2025-04标识规范。5.版本规范：采用语义化版本主版本.次版本.修订号（如1.0.0、1.1.0）。四、核心元数据清单（必填/可选严格区分）所有高质量数据集单条样本必须包含9项必填元数据、3项可选元数据，缺一不可。（一）必填元数据（100%必须填充）id（数据唯一标识）：字符串，全局唯一，不可重复original_time（原始时间）：数据首次生成/出现时间，非采集时间last_modified_time（最后修改时间）：末次加工、清洗、修改时间，无修改则与原始时间一致version（数据版本）：语义化版本号license（授权类型）：限定值域：开源/公共授权/商业授权/仅内部/其他source（来源类型）：限定值域：互联网/图书/论文/报告/标准/专利/官方文件/组织机构/其他source_details（来源详情）：精准溯源，URL、ISBN、发文号、机构名称等详细信息generated_data_indicator（生成数据标志）：布尔值，0=真实采集数据，1=AI生成数据data_content（数据内容）：数据主体，含模态类型+具体内容（二）可选元数据（按需填充）rid（关联数据标识）：数组，关联其他样本ID，无关联则空数组annotation（标注信息）：标注任务必填，无监督任务可空annotator/annotation_method：标注人员类型、标注方式（人工/自动/半自动）五、分模态数据格式规范1.文本数据集（text）存储格式：优先JSONL（逐行单样本）、JSON内容要求：无乱码、无重复、无空白样本，语句通顺、语义完整适配场景：SFT微调、问答、文案、教学数据集、指令数据集2.图像数据集（image）存储格式：JPG、JPEG、PNG，禁止模糊、破损、压缩失真图片内容存储：内容字段填写相对路径或Base64编码标注规范：支持bbox坐标、分类标签、场景标签，适配COCO/VOC标准3.音频/视频数据集（audio/video）内容字段统一填写文件相对存储路径，配套标注、时长、场景标签质量要求：无杂音、无黑屏、无卡顿，时长合规、画面清晰六、标注信息规范（AI训练数据集专用）1.label（标签）：数组格式，多标签可叠加，无监督任务可空2.annotation_method（标注方式）：人工标注/自动标注/半自动标注3.annotator（标注人员类型）：普通标注员/专业标注员/行业领域专家七、官方标准完整模板（可直接复用）PlainText

{

"id":"d6c9a4d5e57597df8fe30f09ae44c985",

"rid":[],

"original_time":"2025-01-01",

"last_modified_time":"2025-01-01",

"version":"1.0.0",

"license":"公共授权",

"source":"官方文件",

"source_details":"xx部门2025年度公开数据文件",

"generated_data_indicator":0,

"data_content":[

{

"media_type":"text",

"content":"此处填写标准化文本数据内容"

}

],

"annotation":{

"label":["教育","小学科学","教学设计"],

"annotation_method":"人工标注",

"annotator":"行业领域专家"

}

}八、高质量数据准入质量标准完整性：必填元数据100%齐全，无空值、无缺失字段唯一性：样本无重复、ID全局唯一、无冗余数据合规性：授权清晰、来源可溯源，无侵权、无敏感违规内容规范性：格式统一、编码统一、时间格式统一、标签规范有效性：数据真实可用，无脏数据、