《人形机器人数据集 第1部分：总则》

1本文件给出了人形机器人数据集全生命周期框架，规定了从数据集规划到退役的全生命周期流程的通用要求，规定了跨数据集全生命周期各阶段的质量、安全和隐私要求。本文件适用于人形机器人数据集的规划、建设、存储、发布、使用和退役。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本（包括所有的修改单）适用GB/T35273—2020信息安全技术个人信息安全规范GB/T37973—2019信息安全技术大数据安全管理指南GB/T42755—2023人工智能面向机器学习的数据标注规程3术语和定义下列术语和定义适用于本文件。3.1具有躯干、头和肢体，外观和动作与人类相似的机器人。[来源：GB/T12643—2025，4.15.5]3.2信息的可再解释的形式化表示，以适用于通信、解释或处理。[来源：GB/T5271.1—2000，01.01.02]3.3真实数据realworlddata在非虚拟场景和环境中获取的数据（3.2）。注：真实数据反映现实世界中系统或现象的实际表现和行为。[来源：ISO/TS21934-2:2024，3.21]3.4合成数据syntheticdata通过算法或模型生成的数据（3.2）。注1：合成数据根据一定的规则和参数生成，能够反映真实世界的统计特征或运行规律，包括但不限于仿真数据、模型生成数据、增强数据。2注2：合成数据可以在真实环境、虚拟环境、或者真实环境与虚拟环境结合的混合环境中生成。3.5数据集dataset具有一定主题，可以标识并可以被计算机化处理的数据集合。[来源：GB/T36344—2018，2.6]3.6包括两种及以上模态的数据集（3.5）。注：模态是指视觉模态（如摄像头）、听觉模态（如麦克风）、触觉模态（如触觉传感器）、运动模态（如光学和惯性测量单元）、生理模态（人体生理信号传感器）等。3.7用于人形机器人（3.1）的研发、测试、验证与评估的多模态数据集（3.6）。3.8人形机器人（3.1）通过其全身关节、末端执行器等协同控制与环境中的物体进行接触，以改变物体状态并完成特定任务的行为。3.9对人形机器人（3.1）各关节和执行机构的运动状态进行规划、跟踪和调节的过程。[来源：GB/TXXXXX.1—2026，3.5人形机器人技术要求系列标准]3.10人和人形机器人（3.1）通过用户接口交流信息和动作来执行任务。注：人机交互方式包括但不限于语音、视觉、接触、身体动作。[来源：GB/T12643—2025，3.15，有修改]3.11人形机器人（3.1）对环境、任务及自身状态等进行理解，并在此基础上进行决策的过程。注：认知决策包括但不限于感知理解、单任务决策、多任务调度、预测推理。3.12人形机器人数据集生命周期humanoidrobotdatasetlifecycle数据集生命周期humanoidrobotdatasetlifecycle人形机器人数据集（3.7）从规划、建设、存储、发布、使用到退役的演变全过程。3.13遥操作teleoperation由人远程实时控制机器人的运动。[来源：GB/T12643—2025，6.17]33.14不改变数据内容的情况下，为数据添加描述性信息的过程。注：描述性信息可以采用元数据、标签、锚点等形式。[来源：ISO/IEC22989:2022，3.2.1]3.15数据融合datafusion集成多个数据源以产生比任何单独的数据源更有价值信息的过程。[来源：GB/T36625.1—2018,3.1]3.16定义和描述其他数据的数据。[来源：GB/T18391.1—2026，3.2.26]3.17数据从来源获得并有待进行后续处理的原始直接形式。[来源：GB/T4894—2024，3.1.10.4]3.18通过数据清洗、排序、链接、验证和类似操作，将裸数据（3.17）或较早数据阶段转换为较精细[来源：GB/T4894—2024，3.1.10.5]3.19采用标签、标记、真实值及其他语义信息进行标注的数据。3.20在统一时间基准下，对应同一采样时刻（或经时间同步对齐到同一时刻）的，包含一个或多个传感器观测、机器人状态及控制量的数据单元。3.21每个数据帧（3.20）或传感器观测记录的时间标识。3.22在给定任务目标与环境条件下，人形机器人从任务初始化或触发时刻起，直至任务结束时刻（成功、失败或终止）所形成的连续时序数据段，由若干个数据帧（3.20）组成。3.23数据集安全datasetsecurity数据集在其全生命周期中保持保密性、完整性、可用性和可追溯性，防止未经授权的访问、篡改、泄露、损毁或滥用。3.244数据集隐私datasetprivacy个人和组织在个人信息收集、使用、存储、披露和删除等方面所享有的权利和承担的义务。注：使用包括销售以及提供出售。下列缩略语适用于本文件。IMU：惯性测量单元（InertialMeasurementUnit）JSON：JavaScript对象表示法（JavaScriptObjectNotation）PII：个人可识别信息（Personallyidentifiableinformation）RGB：红绿蓝（Red,GreenandBlue）ROS：机器人操作系统（RobotOperatingSystem）URDF：统一机器人描述格式（UnifiedRobotDescriptionFormat）VR︰虚拟现实（VirtualReality）5人形机器人数据集分类按照使用目的，人形机器人数据集可分为训练数据集、验证数据集和测试数据集。训练数据集用于训练模型或开发算法，验证数据集用于比较不同候选模型或算法的性能，测试数据集用于评估最终模型或算法的性能。按照数据来源，人形机器人数据集可分为真实数据和合成数据。按使用功能，人形机器人数据集可分为全身操作数据集、运动控制数据集、人机交互数据集、认知决策数据集，如下： 全身操作数据集：包括本体状态数据集、操作对象属性与姿态数据集、环境场景数据集、人体数据集，用于训练、验证和测试人形机器人识别物体与环境并在特定环境中与物体交互完成操作任务的能力，典型任务类型见附录A； 运动控制数据集：包括机器人本体及人类遥操作作业员全身协调运动数据（含机器人关节电机控制参数、机器人本体及人类遥操作作业员各关节与骨骼位置坐标和姿态角）、地形特征数据、运动控制目标数据、环境交互数据，用于训练、验证和测试人形机器人完成平衡控制、步态生成与切换、移动、单肢动作以及多肢协调动作等任务的能力，典型任务类型见附录B； 人机交互数据集：包括用户输入数据、机器人响应数据、交互上下文数据、用户状态数据、环境感知数据、机器人本体状态数据、异常交互数据，用于训练、验证和测试人形机器人理解人类语言意图、识别情绪状态、理解社会情境、执行交互指令、配置交互风格和生成自然响应行为等任务的能力，典型任务类型见附录C； 认知决策数据集：包括认知决策输入数据和结果数据。认知决策输入数据至少应包括任务指令数据和系统提示词数据，可选包括环境感知数据、本体状态数据、上下文数据；认知决策结果数据至少应包括高层次语义认知数据与层次化任务分解数据，可选包括思维链数据、代码生成数据、多模态预测数据。它们用于训练、验证和测试人形机器人完成感知理解、单任务决策、多任务调度、预测推理任务的能力，典型任务类型见附录D。5全身操作数据集、运动控制数据集、人机交互数据集、认知决策数据集均可独立用于相关模型或算法的训练、验证与测试，也可进行任意两类、三类或全部四类数据集的组合使用。6人形机器人数据集全生命周期框架人形机器人数据集全生命周期框架如图1所示，涵盖了数据集从规划到退役的全流程，如下：a）数据集规划：识别应用场景、模型和数据集需求，定义构建数据集的总体目标、数据集建设方案、数据集格式和数据采集合规评审规则，为数据集生命周期的后续阶段提供指导依据；b）数据集建设：采集原始数据并形成数据集的核心阶段，包括但不限于以下子流程：3）数据验证和确认。c）数据集存储：以安全且可扩展的方式存储经过验证与确认的数据集，以便长期访问和管理；d）数据集发布：遵循数据集治理和合规政策，以受控的方式发布数据集，供内部或外部使用。受控发布可支持组织开展数据集试点发布，并收集试点用户的初始反馈，以验证数据集是否e）数据集使用：将数据集应用于人形机器人的研发、验证与测试。在此过程中，应建立数据集使用至数据集规划阶段的反馈机制。反馈信息包括但不限于数据集在实际使用中的质量、实用性、错误、新需求，并作为后续版本迭代（例如更新、扩展与修订）的核心输入，以驱动数据集的持续改进；f）数据集退役：以安全、可追溯且不可逆的方式对数据集进行停用、归档或销毁，确保其不再被未经授权访问或使用。应建立从数据集退役阶段返回至数据集规划阶段的反馈环节。反馈信息包括但不限于退役原因、数据质量、安全性和适用性方面的经验。这些反馈信息应记录并用于指导未来新版本的数据集规划，确保数据集全生命周期的最佳实践得以持续采纳。贯穿数据集全生命周期各阶段的要求包括： 数据集质量要求：在数据集全生命周期各阶段，建立可测量、可监控的质量要求，确保数据集满足质量要求。若数据质量不满足要求，采取质量改进方法使其满足质量要求或进入数据 数据集安全要求：在数据集全生命周期各阶段，保证数据集安全，防止未经授权的访问、篡改、丢失或泄露。如发生非法访问、篡改等情况，及时检查数据集安全是否满足要求； 数据集隐私要求：当数据集涉及个人信息或敏感信息时，应在数据集生命周期全过程保护隐私。隐私保护方法包括但不限于去标识化、匿名化、数据最小化、访问控制及加密。6图1人形机器人数据集全生命周期框架7数据集全生命周期的通用要求7.1数据集规划7.1.1一般要求数据集规划阶段应明确以下内容： 目标与范围：明确人形机器人数据集的预期用途，如训练、测试或验证；界定应用场景，如工业装配、家庭服务；明确适用的人形机器人产品及可执行的任务； 数据集需求：根据预期用途明确待获取的数据类型；规划数据在不同应用场景、机器人配置、机器人数字化描述及环境条件中的分布，以确保对目标运行设计域的代表性；明确对长尾场景、罕见事件及失效模式的采样策略；定义数据集质量要求。数据集的边界、应用场景及长尾场景应同时源自危险分析结果，而不仅仅是基于人形机器人系统的预期用途。注1：人形机器人数字化描述是指采用结构化格式描述机器人运动学与动力学结构，通常包括连杆、关节、几何形状及其他物理属性的层级结构。 场景设计：设计面向特定应用的数据获取环境；明确人形机器人预期运行条件，如交互对象物理布局、障碍物、可操作物体等； 实施方案设计：基于预算与技术可行性，设计数据采集方法、软硬件部署、标定流程、数据处理方式、数据集存储方式；注2：软硬件部署指数据集创建过程中采用的传感器、硬件型号、固件版本、标定流程。软硬件部署指数据集创建过程中采用的传感器、硬件型号、固件版本、标定流程。 资源规划：应定义数据集全生命周期所涉及人员的必备能力、角色和职责； 数据集规划报告：应输出可追溯、可审计的正式规划报告，作为数据集全生命周期各阶段的参考依据。应规定数据集报告的最低必填字段清单，包括但不限于：数据集名称、版本、风险等级、预期用途、传感器配置、软硬件部署、最小规模以及质量验收标准； 版本管理：建立长期迭代与版本管控机制，支持增量更新、灰度发布与数据集版本全链路追7.1.2数据集格式要求7.1.2.1总体要求应识别并记录支持互操作性、可追溯性、可复现性、质量管理、数据完整性验证、版本控制以及安全与隐私保护所需的数据集格式要求。如适用，数据集规划报告应描述组织和表示该数据集的预期方法。数据集规划报告应明确支持数据集预期用途所需的数据和元数据类别。在适用情况下，这些信息应包括：数据模态、时间参考、同步机制、坐标系、数据标注、质量、安全性、隐私保护以及可追溯77.1.2.2数据集组织结构应根据数据集的预期用途、类型、数据模态、采集方法及存储方式，对数据集的物理或逻辑组织结构进行定义并记录形成文档。该组织结构应支持可追溯性、数据检索、数据解释、版本管理和质量评估，并应满足以下要求：a）具备可扩展性和可延伸性；b）避免过度嵌套和过度复杂；c）适应不同的数据集规模和应用场景。物理组织结构宜包含本文件7.3.3中规定的根目录、功能子目录、任务目录和样本目录。对于采用文件夹形式的数据集，可记录目录结构和索引机制。对于采用容器、数据库或混合架构形式的数据集，可提供等效的机器可读索引或元数据机制。逻辑组织结构可包含多个单元（unit例如数据集单元（datasetunit）、任务单元（taskunit）、任务片段（episode）、数据单元（包括样本（sample）、序列（sequence）、帧（frame）、步（step）或事件（event））。此类单元的使用可根据数据集的特征来确定，满足以下a）数据集单元（datasetunit）：数据集的顶层容器，宜包含元数据；b）任务单元：数据集单元可按任务类型划分形成任务单元。任务单元在适用时宜包含由多个子任务组成的数据子集。该单元宜包含任务类型标识符、任务描述、任务参数以及该任务下的样本列表索引，宜记录模态适配说明；示例：子任务包括搬运任务、抓取任务、爬楼梯任务等。c）任务片段如适用）宜包含具体数据文件。时间戳格式和周期应在任务片段的元数据中予以记录。若适用，可提供该任务片段的聚合数据质量统计信息（如总帧数、丢帧数、丢帧率、最大抖动等）；d）数据单元均应关联适当的时间参考，以支持可追溯性、同步、重放、分析和重用。根据数据集的类型和预期用途，该时间参考可包括时间戳、帧号、样本索引或事件标识符。数据集应提供机器可读的索引或编目机制，以支持高效的数据检索、可追溯性、完整性验证以及与下游工具的互操作性。注1：对于采用文件夹形式的数据集，这可通过索引文件或清单文件来实现。对于采用容器、数据库或混合架构形式的数据集，可在容器、数据库或关联元数据中提供等效的索引信息。真实世界数据与合成数据应通过机器可读的来源信息加以区分。在适用情况下，该来源信息应表明数据是真实数据、合成数据（如仿真数据、模型生成数据、增强数据）、混合数据，并应支持数据溯源、域差异评估、质量评估和可审计性。注2：对于采用文件夹形式的数据集，这可通过专用的子目录来实现。对于采用容器、数据库或混合架构形式的数据集，可通过元数据、清单文件、容器内部索引或数据库属性提供等效的来源信息。数据集组织结构示例、任务片段的层级化结构、列式结构以及层级和列式混合结构示例见附录7.1.2.3数据集存储格式数据存储格式要求在本文件7.3.2中规定。87.1.2.4数据格式要求7.1.2.4.1元数据应识别支持数据集标识、理解、可追溯性、质量评价、安全、隐私保护和复用所需的元数据类人形机器人数据集的最小元数据要求应符合附录F的规定。7.1.2.4.2数据内容应根据预期用途、目标任务、数据模态和数据获取方法，确定数据集中应包含的数据内容。若适用，数据内容可包括裸数据、处理数据和标注数据。不同类型数据集的具体数据内容可在本系列标准后续部分中规定。与数据压缩、同步存储架构及数据格式扩展等相关的要求，可在本系列标准后续部分中规定。7.2数据集建设7.2.1数据获取7.2.1.1数据获取方法7.2.1.1.1分类数据可有多种不同来源（例如图像、视频、声音、合成数据生成器等），并具有多种数据类型（例如字符串、文本、数值、图像）和数据格式（例如XML、JSON、JPEG、MPEG）。数据获取方法可分为真实数据采集和合成数据生成两类。7.2.1.1.2真实数据采集真实数据采集方法包括但不限于： 遥操作采集方法：适用于以遥操作对象为主体，在多样化或复杂环境中采集人类示教数据。应严格监控遥操作和实时数据传输过程中的响应延迟，以确保数据的准确性和完整性； 动作捕捉设备采集方法：通过在人体或人形机器人关键点粘贴反光标记，或采用光学动作捕捉、惯性传感器动作捕捉等传感器技术，采集人形机器人或人体演示者在示范动作时的关节姿态、位移和力学特征数据。应在动作捕捉区域内做好空间标定，保证捕捉精度。宜对遮挡、反射或信号干扰等因素制定应对预案，减少对数据的影响； 便携式末端采集方法：通过手持式末端采集设备（如手持夹爪）或穿戴式设备（如VR手柄、力反馈手套）采集操作数据； 视频示教数据采集方法：利用视频记录设备采集数据，以记录人形机器人或人类与环境及目标物体之间的交互过程，包括：第一视角视频采集：采用可穿戴摄像设备（例如头戴式摄像机、胸前摄像机）从示教者自身视角进行拍摄，记录示教者所见内容以及其手部或末端执行器与物体交互的过程；第三视角视频采集：采用布置于环境中的外部摄像设备（例如固定摄像机、三脚架摄像机、无人机摄像机）进行拍摄，记录包括示教者全身运动及周围环境上下文信息在内的97.2.1.1.3合成数据生成合成数据生成方法应通过物理一致性校验，应记录合成数据与真实物理引擎约束的偏差（如穿模率、重力违规率），且关键动力学参数（如关节扭矩）满足物理约束和物理规律，包括但不限于： 基于虚拟仿真的合成数据生成方法：通过虚拟仿真平台的数字资产模型（包括人形机器人与物品和环境的），按照一定自动化规则或虚拟遥操作技术合成数据； 基于生成模型的合成数据生成方法：通过生成模型（例如大语言模型、多模态大模型、生成式世界模型），按照一定规则合成数据，应提供物理合理性评估。7.2.1.2数据获取要求应记录数据获取的环境物理参数与设备状态信息。 应在数据获取前完成所有传感器外参标定，标定结果应存储于标定文件中。 数据获取过程中应包含传感器性能退化检测机制，对于因硬件性能退化产生伪影的数据（例如信号漂移超过规定阈值），应予以剔除或修正，数据采集方宜建立传感器校准计划和传感 数据获取过程应具备异常检测、告警和中断机制；坐标系要求：为避免不同人形机器人在协同场景或移动任务中引起世界坐标系基准漂移，应采用独立于单一人形机器人体系的参考坐标系。具体要求如下： 参考坐标系的原点应选择场景中稳定且与任务目标无关的点，例如任务区域中所有物体几何中心点的最小包围盒中心、实验场景中经标定的公共参考标靶中心或其他具有长期不变性的 参考坐标系的Z轴应垂直向上，X轴应指向预定义的全局前方方向，Y轴应遵循右手定则。所有主体（包括机器人各关节、摄像机、传感器、操作者与交互对象等）均应以参考坐标系为 当场景中存在多个移动主体时，应持续记录移动主体自身局部坐标系相对于参考坐标系的变 元数据中应提供完整的坐标系定义、命名规则、以及坐标系变换关系等信息，以支持数据的一致性解释和复用。多模态同步与时间对齐要求：应建立跨模态数据同步触发机制，确保所有传感器在同一时刻开始采集数据，实现毫秒级时间同步。同步触发机制可包括硬件同步、软件同步、混合同步和共享时钟同步。同一任务ID下，所有样本的时间戳应以统一设备（如人形机器人主控）时钟为基准,不同传感器间时间戳偏差均方根（RMS）不应超过主参考传感器单帧采样周期的一半。应在元数据中提供时间同步方案说明及实际达到的同步精度评估报告。注1：主参考传感器应根据实际数据集用途确定。例如，对于视觉—语言—动作（VLA）模型，主参考传感器通常可选择头部摄像机或腕部摄像机。空间对齐要求：不同测距传感器采集的空间数据应统一至参考坐标系中，完成空间对齐与数据融合后，最终空间偏差应不大于5mm。设备接口与可扩展性要求：应支持标准化接口协议，确保不同厂商设备之间的互联互通。应具备分布式架构扩展能力，并支持新设备的兼容接入。7.2.1.2.1通用要求应记录数据获取过程中的环境信息、任务信息、机器人状态、系统状态及其他影响数据获取的信息。数据获取过程应具备异常检测、记录、告警和中断机制。坐标系要求：为避免不同人形机器人在协同场景或移动任务中引起世界坐标系基准漂移，应采用独立于单一人形机器人体系的参考坐标系。具体要求如下： 参考坐标系的原点应选择场景中稳定且与任务目标无关的点，例如任务区域中所有物体几何中心点的最小包围盒中心、实验场景中经标定的公共参考标靶中心或其他具有长期不变性的 参考坐标系的Z轴应垂直向上，X轴应指向预定义的全局前方方向，Y轴应遵循右手定则。所有主体（包括机器人各关节、摄像机、传感器、操作者与交互对象等）均应以参考坐标系为 当场景中存在多个移动主体时，应持续记录移动主体自身局部坐标系相对于参考坐标系的变 元数据中应提供完整的坐标系定义、命名规则、以及坐标系变换关系等信息，以支持数据的一致性解释和复用。多模态同步与时间对齐要求：应建立统一的时间基准和跨模态数据同步机制，确保不同模态数据、机器人状态、控制数据及环境状态能够对应至同一物理时刻、仿真时刻或逻辑时刻。同一任务或ID下，所有数据的时间戳应采用统一的时间基准，或应提供不同时间基准之间的映射关系。空间对齐要求：不同空间感知设备或虚拟传感器产生的空间数据应统一至参考坐标系。接口与可扩展性要求：应支持标准化接口协议和数据通信机制，以支持不同厂商设备、仿真平台或生成工具之间的互联互通。应具备扩展和兼容接入能力，并支持新增设备、虚拟传感器、机器人模型、生成模型或数据模态的接入。7.2.1.2.2真实数据采集要求 应在数据采集前完成所有传感器内外参标定，标定结果应存储于标定文件中。 数据获取过程中应包含传感器性能退化检测机制，对于因硬件性能退化产生伪影的数据（例如信号漂移超过规定阈值），应予以剔除或修正； 数据采集方宜建立传感器校准计划和传感器健康监测机制。多模态同步与时间对齐要求：应确保所有传感器在同一时刻开始采集数据，实现毫秒级时间同步。同步触发机制可包括硬件同步、软件同步、混合同步和共享时钟同步。同一任务ID下，所有样本的时间戳应以统一设备（如人形机器人主控）时钟为基准,不同传感器间时间戳偏差均方根（RMS）不应超过主参考传感器单帧采样周期的一半。注：主参考传感器应根据实际数据集用途确定。例如，对于视觉—语言—动作（VLA）模型，主参考传感器通常可选择头部摄像机或腕部摄像机。空间对齐要求：完成空间对齐与数据融合后，最终空间偏差应不大于5mm。7.2.1.2.3合成数据生成要求合成数据在数据结构、数据字段及数据格式等方面，应与真实数据保持一致。合成数据应符合基本物理规律和人形机器人运动学、动力学约束，避免出现明显不符合实际物理规律和人形机器人本体配置的关节运动、接触关系或操作结果。7.2.2数据处理获取后的数据集应进行处理，以形成完整且有效的数据。使用的数据处理方法具体取决于所采集数据的质量和数据集用途，包括但不限于：a）数据清洗：若执行数据清洗操作，应保留处理前后数据之间的映射关系，并确保修改过程可追溯（即通过审计追踪记录相关修改信息）；b）数据对齐：应对多模态和多源数据进行对齐处理，以确保时间和空间上的一致性，应规定可接受的误差范围，并记录所有参数和方法，以保证结果的可复现性和可靠性；c）数据增强：于数据量不足或多样性有限的数据集，应采用数据增强方法丰富数据集，数据增强后应保持原始语义不变，并维持时间维度及跨模态的一致性；d）数据融合：多源数据按照一定的规则或算法组合起来，得到比单独用任何一个来源都要更好的结果。应根据任务需求和环境复杂度，合理确定真实数据和合成数据在整体数据集中的占比。数据融合应记录融合规则、权重、冲突处理方法和不确定性，并评估融合结果是否满足e）数据分帧：针对运动数据，宜按动作周期（例如步态周期、抓取动作）分帧，而非固定时间窗口，确保动作语义完整性。针对视觉数据，数据分帧宜与关键关节运动帧同步（例如膝关节最大屈曲时刻）。针对语音交互数据，分帧处理应结合头部运动轨迹与口型同步特征，满足人机自然交互需求；f）数据压缩：针对控制指令与高精度传感器数据（如IMU、力觉应采用无损压缩，保留微秒级运动细节。针对非关键感知数据（如环境背景点云）可采用有损压缩，但应保持人形机器人关键部位（头、手）的轮廓精度；g）数据格式转换：根据下游工具链、模型训练或长期归档需求，通过专用工具或脚本，将多源异构原始数据（如ROSbag、LAS点云、RAW图像等）转换为标准化格式（如HDF5、leRobot、RLDS）的操作，其核心目标是统一多模态数据接口、适配跨框架应用场景、优化存储与传输效率。数据格式转换过程中应保留时间戳、坐标系、标注信息在内的关键元数据，确保数据精度无损失；h）数据标注：数据标注流程、标注人员要求、标注环境及工具、质量控制应符合GB/T42755-2023的相关规定。对涉及主观判断、意图或安全状态的标注，应设置复核机制。数据标注内容及要求包括：4）表情与语音标注（如适用）：应标注面部表情、情绪状态、语音内容和语言类型；5）环境标注：应标注环境类型和环境条件；7）机器人元数据：应标注具体机器人类型或型号以及机器人名称；8）任务信息：应标注详细场景描述和任务描述；9）环境信息标注：应标注光照、温度、湿度、噪声、位置、时间戳、照度等信息。数据处理活动应可追溯。数据清洗、对齐、增强、融合、压缩、格式转换和标注等处理活动应记录处理工具、算法或脚本版本、参数、输入数据版本、输出数据版本、操作人、处理时间和处理结果。不应以无法复现的方式覆盖原始数据。7.2.3数据验证和确认数据验证是指提供客观证据，证明数据质量要求已得到满足。数据确认是指确定数据符合预期目应开展验证与确认工作，以确保仅有可用数据进入数据集生命周期的后续阶段，该过程可涉及多轮迭代循环，直至验证与确认结果均表明其符合第8章规定的要求数据获取后，应进行数据验证和确认，确保数据满足预期目标，如果符合要求，则进入数据处理阶段。如果不符合要求，则应按不合格数据管理流程进行处置，处置方式可包括修复、隔离、保留或删除，并补充进行数据获取，直到符合要求才能进入数据处理阶段。数据处理后，应再次进行数据验证和确认，以确保处理后的数据符合预期的质量要求。如果符合要求，则形成数据集并进入数据集存储阶段。如果不符合要求，应补充进行数据获取和/或数据处理，直到符合要求。7.3数据集存储7.3.1一般要求数据集存储指用于保存、组织、管理和提供数据集组成部分访问的设施、服务或基础设施。数据集存储应满足以下要求：a）完整性：数据集存储应保持裸数据、处理数据、标注数据、元数据及数据集说明文件之间的一致性与关联关系，应提供完整性校验机制，用以识别数据篡改、损坏或丢失情况；b）可访问性：数据集存储应为授权用户提供附有文档说明的访问方式与访问路径。若提供访问接口或查询机制，应对其进行文档化说明；c）可追溯性：数据集存储应留存可追溯记录，涵盖数据集版本、存储位置、数据转换过程、元数据关联关系及访问日志；d）存储架构：数据集存储宜支持预期的数据集规模、授权访问模式与长期保存需求，而不规定具体的存储架构。注：本地存储、分布式存储、云存储及混合存储架构均为可采用的实现方式。7.3.2数据集存储格式要求元数据存储可根据数据类型和运行效率，采用嵌入式方法、附属文件格式或两者混合的方式进行数据集存储架构应经过设计以优化内存和计算资源，支持大规模、多模态机器人数据的高效存储、检索和扩展。应采用公开可用的规范，不应依赖专有格式或存在实现限制的技术方案。应具有版本管理机制，支持数据集演进、迭代和修订过程的可追溯管理。数据存储格式应具有完整性保护机制，支持密码校验和完整性校验，用于检测元数据、裸数据和标注数据在存储、传输和归档过程中的修改、篡改和损坏。数据集应包含不可修改的完整性清单。发现完整性校验不符合要求时，应对相关数据进行隔离，且此类数据不应再用于人形机器人的模型训练、验证和部署。数据集存储文件组织和命名应满足以下要求：1）一致性：同一数据集内的文件命名应遵循统一的命名模板和规则。命名规则应在数据集说明文件中明确记录；2）唯一可标识性：每个文件应具有唯一的标识，不同文件不应使用相同的文件名；3）可扩展性：文件命名应支持新增数据模态、数据类别、传感器类型及版本信息等扩展需求，适应多样化且不断增长的数据类型。b）命名组成要素应包含能够标识文件内容和来源的关键信息，宜包括以下要素：1）任务标识：表示所属任务类型或任务编号；2）样本标识：表示所属样本的唯一编号；3）数据类型：表示数据的模态或数据类别。注：数据类别是指同一数据模态下数据是否经过处理，如裸数据、标注数据。a）传感器标识：表示数据来源的传感器名称或编号；b）时间戳或帧编号：表示数据采集的时刻或序列位置；c）版本标识：表示数据处理或标注的版本号（如适用）。e）文件名应使用英文字母、数字和下划线组成，不应使用空格和中文字符；f）命名组成部分宜采用下划线分隔；g）序号和编号宜使用固定位数并以零填充（例如episode_001、frame_000042h）文件扩展名应与文件实际格式一致，使用小写字母。7.3.3数据集存储目录结构数据集存储应按以下目录结构：a）根目录：应以数据集名称和版本号命名，根目录下应包含数据集说明文件（如README）、元数据文件和各功能子目录；b）功能子目录：可按功能模块划分子目录，包括但不限于：1）数据描述目录：存放元数据；2）裸数据目录：存放未经处理的裸数据；3）处理数据目录：存放经过清洗、对齐、增强等处理后的数据；4）标注数据目录：存放标注数据；5）文档目录：存放数据集使用说明、数据获取规范、标注指南。c）任务与样本目录：宜按任务类型建立任务目录，任务目录下宜按样本建立样本目录。样本目录应包含该样本的所有数据文件和标注文件。目录层级结构宜进行合理设计，以保证数据访问效率，并避免因目录路径过长而降低系统兼容性。目录设计宜遵循可扩展原则，支持新数据模态的增加和旧数据模态的删除。各级目录下宜包含索引文件，记录该目录下所有文件和子目录的清单、属性和关联关系，以支持快速检索和数据完整性校验。真实数据与合成数据应在目录结构层级可分离，无明确来源标记的混合数据会在领域差距评估或安全审计时产生数据溯源问题。应指定合成数据标记或采用专用子目录规定。7.4数据集发布数据集发布前应通过格式校验脚本（例如JSONSchema验证）与一致性检查工具（例如时间戳/坐标系对齐验证）进行校验和检查。校验和检查报告应作为数据集附件，记录总样本数、各模态数据量、时间同步误差统计、坐标转换误差统计。 对数据集进行风险评估，确保数据集发布后的风险可承受； 建立数据集说明文件，以描述数据集属性，包括但不限于数据集名称、预期用途、数据集提供方（责任组织）名称及联系方式、版本、创建时间、数据集格式、数据集规模、人形机器人型号、本体形态、场景、数据采集方式、控制频率、使用权限、隐私保护措施以及数据集注：数据集规模包括存储容量、样本规模（如动作序列数量、图像数量等）。7.5数据集使用数据集提供方宜收集数据集使用全过程信息，包括但不限于使用者、使用场景、使用时长、数据访问量以及数据集使用反馈信息。数据集提供方应提供唯一的数据集版本号并记录版本修订信息。每次修订记录应包含修订原因、修订范围、责任人员和修订时间。在数据集使用过程中，当新增应用需求或能力需求出现时，数据集提供方可对数据集进行扩展。数据集扩展应在不破坏已有数据集完整性与版本可追溯性的前提下，支持对多模态数据的动态增加。7.6数据集退役数据集退役是数据集生命周期的终止阶段。出现下列情形之一时，应将数据集退役： 数据集不再满足预期用途或质量要求； 数据集存在无法通过修订消除的安全、隐私或合规问题； 数据集已被新版本替代，且旧版本不再需要保留； 数据集授权期限届满、许可撤回或法律法规要求删除； 数据集保留期限届满。数据集退役结果应包括以下一种或多种方式，或由相关方协议明确约定的其他方式： 归档：为满足合规性或历史保存需求，对数据集进行安全保存，并限制其访问权限，不再用于人形机器人开发、训练、测试或评估等活动； 返还：将数据集返还至数据集提供方，或返还至相关方协议明确指定的授权接收方。 销毁：对数据集进行不可恢复的彻底删除；所有退役活动均应符合适用的法律法规（包括法定保存期限）及相关方协议的要求。相关组织应在实施退役前，明确并形成文件记录退役方式，以及负责实施退役的授权人员。当退役方式为归档时，相关组织应采取访问控制和安全保护措施，在保存期间保障数据集及数据主体隐私的安全。当退役方式为返还时，相关组织应验证数据集已成功完成交付，并在法律法规未要求本地保留的情况下，删除本地保存的全部数据集副本。当退役方式为销毁时，应满足以下要求： 应采用能够确保数据集不可恢复的销毁方法； 应依据预先规定的、可测量的准则对销毁结果进行验证，例如密码学擦除验证、零读取验证或经认证的物理销毁； 应保留可验证的销毁记录，包括销毁时间、采用的销毁方法以及授权证明。8数据集生命周期全过程通用要求8.1一般要求本文件的使用者可根据应用需求，对数据集的质量、安全和隐私等特性提出要求。相关要求应遵循与硬件相关参数解耦的原则，即不应依赖于特定硬件参数。注：人机交互数据可在人与机器人直接交互过程中，以透明的方式使用，并应遵循数据提供方在隐私、安全和合规方面的义务。8.2数据集质量要求数据集质量要求适用于数据集生命周期的各个阶段。数据集质量特性可包括但不限于准确性、完整性、一致性、可访问性、可追溯性、可用性、多样性、有效性和代表性（见ISO/IEC5259-2，其中给出了这些质量特性及其评价方法）。应根据数据集质量要求选择相应的质量特性和评价方法。数据集质量管理应在数据集生命周期的开始阶段建立并保持直至数据集退役阶段。数据集质量问题可能产生于数据集生命周期的任何阶段，因此宜尽可能在上游阶段发现并解决，以减少数据集使用方的工作量，并提高后续版本数据集的一致性。ISO/IEC5259-3:2024规定了数据质量管理过程的要求和指南。ISO/IEC5259-4:2024提供了实现上述要求的数据质量管理过程框架。数据集质量要求和相应的评价方法应符合本系列标准第6部分的规定。8.3数据集安全要求应在数据集生命周期的各个阶段采取安全保护措施，确保数据集的机密性和完整性。机密性是指数据集仅允许授权访问和使用，并防止未经授权的访问。完整性是指防止数据集被未经授权地修改，保证数据准确、完整。注1：本文件所述“机密性”具有广义含义，涉及商业秘密及其他机密信息保护的要求，遵循相关国家和地区法律法规的要求，不在本文件中规定。应针对数据集生命周期各阶段规定访问控制边界，至少包括访问范围、使用期限和允许的使用场景。应禁止未经授权的数据集传输、共享和使用。对于未经授权访问高风险数据的行为，应能够自动检测并触发告警。未经授权，不应修改或篡改数据集核心内容。注2：高风险数据是指泄露或滥用后可能造成严重危害的数据，包括涉及国家安全、公共利益、个人敏感信息（如生物特征数据、医疗数据）以及核心技术有关的相关数据。数据采集、存储、处理、分发、和删除环节的安全要求应符合GB/T37973—2019第8章的规定。对数据集执行的所有关键操作，包括访问、修改和删除，应记录审计日志。审计日志应采取保护措施，防止未经授权的修改或删除。8.4数据集隐私要求数据集隐私要求涉及PII保护，应防止其被未经授权地使用，并应符合适用的法律法规及国家有关PII保护的要求。用于机器学习模型的人形机器人数据集可能包含PII，可采用去标识化技术去除ISO/IECTR27550给出了面向生命周期工程的数据隐私保护过程，并提出了以下隐私保护目标：——不可关联性：确保PII主体能够多次使用资源或服务，而不会被他人将这些使用行为关联起——透明性：确保隐私相关数据处理过程具有充分的透明度，使信息的采集、处理和使用过程能——可干预性：确保PII主体、PII控制者、PII处理者及监管机构能够对涉及隐私的数据处理活动实施干预。ISO/IEC29100规定了隐私保护要求和隐私保护原则。涉及个人信息的数据集应符合GB/T35273中相关要求，不得非法提取、滥用数据中的敏感信息（如涉密场景数据），确保数据的去标识化和匿名化。生物特征数据（例如面部特征、步态模式、声纹）和情绪状态数据应通过加密和访问控制进行保敏感环境信息（例如私人设施、办公室布局或商业区域）应加密并限制访问，以防止未经授权的全身操作典型任务示例全身操作数据集涵盖的典型任务示例如表A.1所示。表A.1全身操作典型任务示例任务类别任务描述典型示例上肢操作人形机器人手臂及末端执行器直接与外部物体的交互，通过抓取、移动、操控等方式改变物体的状态、位置或功能拧螺丝、插拔电器插头、流水线电池分拣下肢操作人形机器人下肢，主要是腿部、脚部等部位，直接对外部物体进行如踩、踢、顶等操作，改变物体的位置、姿态或状态用膝盖抵住门、踢足球移动操作人形机器人在执行整体位置移动（如步行、转向）的过程中，协调全身（包括上肢和下肢）完成持续或间歇性任务的操作模式。搬箱子、拿快递上楼、移动扫落叶头部操作人形机器人头部(含颈部)通过转动、点头、摇头等动作，改变头部位姿或视线方向，以辅助感知、交互或执行特定操作用头部顶起轻质物体、用头部击飞篮球全身协同操作人形机器人在执行任务过程中，协调上肢、下肢、头部、腰部等多个身体部位通过多肢联动与重心配合，完成单一部位无法独立实现的复杂操作双手搬起重物并行走、弯腰后转身放置物体、攀爬梯子时手脚并用、蹲下捡拾地面物品后站立并传递运动控制数据集的任务类型运动控制数据集涵盖的任务类型如表B.1所示。表B.1运动控制数据集的任务类型任务类别任务描述子任务名称子任务描述典型示例姿态与平衡控制通过实时感知本体状态及地面接触信息，维持身体平衡并抵抗扰动静态平衡控制在无外力或轻微扰动下保持身体稳定姿态站立保持10秒不晃动动态平衡控制在行走、转向等动态运动中维持质心与支撑面的稳定关系边走边保持身体不倾倒扰动恢复控制在外部推拉等扰动下快速恢复平衡被轻推后2步内恢复稳定步态生成与切换生成适应不同地形与速度的足端轨迹和步态模式，保持连续稳定运动基本步态生成生成行走、跑步、踱步等基础步态以0.6m/s匀速行走地形适应步态生成适应斜坡、楼梯、不平地面的步态轨迹在10°斜坡上行走步态相位切换在不同步态模式间平滑切换并保持稳定过渡从走路切换为小跑轨迹跟踪与全身协调控制全身多关节协调运动，以实现目标轨迹的精确跟踪质心（CoM）轨迹跟踪控制质心位置、速度与加速度跟随规划轨迹按规划的Z字形CoM轨迹行走躯干与四肢协调控制保证上肢、躯干和下肢在运动中的协同稳定性走路时保持上身直立、手臂摆动自然足端轨迹跟踪控制足端空间轨迹的准确执行，包括摆动相和支撑相按指定足端轨迹跨过障碍物接触与力控调节基于地面反作用力（GRF）和力矩测量实现接触稳态控制与力分配接触状态估计判断足端是否接触、接触质量和支撑可靠性识别左脚是否完全着地步态力控调节根据接触力变化动态调整步态、支撑力和身体姿态遇到小坑时自动增加支撑力全身力矩调节控制关节力矩分布以实现稳定支撑与柔顺性踩到软垫时自动降低阻抗底层控制执行生成并执行关节级控制信号，实现精细、快速的运动响应关节位置/速度控制控制单关节或多关节按指令运动右膝屈曲20°保持1秒力矩级控制依据力矩参考值进行关节力矩输出以5Nm力矩抬腿阻抗控制在外界干扰下保持柔顺性和稳定性被拉动手臂时保持阻抗模式稳定表B.1运动控制数据集的任务类型（续）动态技能与反应动作根据环境变化或任务需求执行高动态动作快速转身在较短时间内完成安全快速转向0.5秒内完成90°转向急停与稳态过渡在突发情况立即制动并稳定身体姿态检测前方障碍后立即停下不跌倒跨越/跳跃初级技能跨越小型障碍、短距跳跃等基础动态技能学习跨过高度8cm的障碍物20人机交互数据集的典型任务类型本附录列举了人形机器人人机交互数据集的典型任务类型,按交互模态与功能维度划分为语言交互、视觉交互、情感交互、社交行为、多模态融合、对话管理、特殊场景七大类。每类任务均对应数据集输入-输出样本对中的特定数据要素,如表C.1。表C.1人机交互数据集典型任务任务类别任务描述子任务名称子任务描述典型示例语言交互任务从语音到语义理解、对话管理和自然语音输出的整体语言交互流程语音识别与转写将语音信号转换为文本，支持多语言、多口音、噪声环境在厨房油烟机运行的噪声中，用户说“帮我设个8分钟计时器”，系统准确转写自然语言理解解析语句语义，提取用户意图和情感倾向"理解'那个灯'的指代对象"意图识别判断用户交互目的，如请求、询问、确认、拒绝等用户说“把窗帘拉开”，系统识别为“请求-打开设备”。多轮对话管理维护对话上下文，处理指代消解、省略补全、话题切换用户先说“打开卧室灯”，后说“再关掉那个”，系统理解“那个”指“卧室语音生成与应答生成自然流畅的语音回复，支持情感化表达和个性化风格用柔和语气回应：“好的，我已为您打开卧室的灯。视觉交互任务通过视觉感知理解用户的面部表情、动作意图与视觉线索人脸识别与跟踪检测、识别和跟踪用户面部，支持多人和部分遮挡在家庭聚会中自动跟随正在说话的用户。表情识别识别基本情绪(高兴、悲伤、愤怒、惊讶等)和复合情绪,评估情绪强度"识别用户脸上的微笑表情"手势识别识别静态手势(如指向、OK手势)和动态手势(如挥手、招手),理解手势语义"识别用户指向水杯的手势"姿态理解识别身体姿态、身体朝向和动作意图"判断用户正在看哪个物体"目光跟踪估计视线方向,识别注视目标和注意力分配"判断用户正在看哪个物体"情感交互任务通过多模态方式识别用户情绪并生成具有情感温度的互动多模态情绪识别融合语音韵律、面部表情、生理信号(如心率、皮肤电导)识别用户情绪状态"综合判断用户当前处于沮丧状态"21表C.1人机交互数据集典型任务（续）任务类别任务描述子任务名称子任务描述典型示例情绪状态跟踪监测情绪演化过程,识别情绪转折点和持续时间"跟踪用户从焦虑到平静的情绪变化"情感表达通过语音语调、面部表情、肢体动作表达情感"用温和语调配合微笑表达关心"共情反应根据用户情绪生成适当的情感回应和安慰行为"检测到沮丧时给予安慰"情绪调节识别负面情绪并采取适当策略进行疏导"通过对话疏导用户的焦虑情绪"社交行为任务遵循人类社交规范，实现自然合作与礼仪行为社交距离管理识别个人空间并动态调整与用户距离系统在与老人交流时保持更近距离，在陌生客人面前保持较远身体朝向与注视调整身体朝向，维持目光接触"转身面向说话的用户"协同动作与用户同步动作节奏协作完成任务"配合用户节奏共同搬运物品"社交导航在人群中导航，保持礼貌避让与跟随在商场中自动绕开儿童并减速避免惊扰。礼仪行为执行问候、感谢、告别等社交礼仪动作客人离开时机器人说：“欢迎下次再来。”并挥手致意。多模态融合任务综合语音、视觉等多种感知形式进行高层理解与决策语音-手势联合理解融合语音指令和手势信息进行综合理解"理解'把那个拿过来'(语音)+指向动作视听觉融合感知结合视觉和听觉信息进行声源定位、说话人识别在多人会议中根据声源方向与面部匹配判断当前发言者。表情–语音情感一致性分析语音情感与表情是否一致"检测'不用了'的语音与微笑表情的矛盾"跨模态意图推理综合多模态线索推断隐含意图"通过表情、语调综合判断真实意图"对话管理任务管理对话流程、轮次与策略，保持自然、高效的人机沟通轮次管理识别对话轮次、打断、等待与继续用户突然插话“等一下！”系统立即暂停执行并等待下一指话题管理跟踪当前话题，处理切换与回溯"从天气话题自然切换到烹饪话题"澄清与确认处理模糊或不完整指令用户说“把灯调亮点”，系统询问：“是客厅灯还是卧室灯？”中断与恢复处理对话中断并自然恢复原任务"接电话后继续之前的话题"策略优化根据用户偏好与反馈动态调整回复方式"识别用户偏好简洁回答后调整风格"22表C.1人机交互数据集典型任务（续）任务类别任务描述子任务名称子任务描述典型示例特殊场景任务应对多人、弱势群体、紧急状况等复杂交互场景多人交互识别并区分多个交互对象，管理多人轮次"家庭聚会中识别不同成员并分别回应"弱势群体交互适配儿童、老人、残障人士需求"与老年人交互时语速放慢、音量增大"异常情况处理检测跌倒、危险场景并紧急响应"检测到跌倒立即询问并呼叫帮助"情境适配根据家庭、办公、公共场所调整交互风格在办公室中语气更正式，在家中语气更轻松自然。"在图书馆环境中降低语音音量"长期交互学习用户喜好并维护长期关系"记住用户的作息习惯和饮食偏好"23认知决策数据集的典型任务类型本附录列举了人形机器人认知决策数据集的典型任务类型，按认知决策层级与功能维度划分为感知理解、单任务决策、多任务调度、预测推理四大类，见表D.1。表D.1认知决策数据集典型任务类型任务类别任务描述子任务名称子任务描述典型示例感知理解基于多模态感知数据，对物理世界状态、语义关系及情境进行解析与描述主动目标识别在动态环境中主动选择感知焦点并识别关键目标及其属性“找到桌面上最