《人形机器人全身操作数据集》

1本文件规定了人形机器人全身操作数据集全生命周期流程的具体要求。本文件适用于人形机器人全身操作能力的训练、验证和测试数据集的规划、建设、存储、发布、使用和退役。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/TXXXX.1—XXXX人形机器人数据集第1部分：总则3术语和定义GB/TXXXX.1—XXXX界定的以及下列术语和定义适用于本文件。3.1人形机器人通过其全身关节、末端执行器等协同控制与环境中的物体进行接触，以改变物体状态并完成特定任务的行为。[来源：GB/TXXXX.1—XXXX，3.8]3.2对抗数据adversarialdata为主动识别、评估并提升模型的鲁棒性、泛化能力，而专门设计、构造或筛选的一类具有挑战性的特定数据。3.3在给定场景与任务定义下，体现任务失败、异常或不安全状态的数据，用于模型的风险识别、避错与鲁棒性训练。3.4依托人形机器人实体在真实物理场景中运行时所采集、记录的多模态时序数据集合。3.5在真实物理环境中，通过可穿戴设备、动作捕捉系统、第一人称视点摄像头等方式采集的，反映人类运动特征、操作行为及与环境交互过程的原始数据及其关联标注数据。23.6仿真采集simulatedcollection将算法、统计模型或真实世界数据导入仿真平台，并通过相关算法合成在统计学上与真实数据相似的新数据的过程。3.7触觉数据tactiledata由触觉传感器通过直接接触或接近感知，获取的触觉数据，反映了接触力/力矩、接近距离、形状、纹理、材质、滑动、振动、温度和位移等多维度类人触觉感知信息。下列缩略语适用于本文件：URDF：统一机器人描述格式（UnifiedRobotDescriptionFormat）5数据集规划5.1一般要求人形机器人全身操作数据集规划应符合GB/TXXXX.1-202X中7.1.1及下列要求：a)应考虑操作任务丰富度、操作场景丰富度；b)应合理规划真实数据与合成数据的比例，真实数据宜优先覆盖高精度力/触觉反馈、非结构化环境等场景，合成数据宜重点用于扩展操作姿态多样性，以及模拟极端工况、罕见接触事件等场景；c)应明确数据集对操作任务中物理约束的响应要求，包括操作空间受限、支撑面稳定性、动态环境中的实时接触调整，并界定任务难度等级及对应的物理约束参数标注；d)宜明确数据获取方法在捕捉全身力/力矩传递、多肢体时序协调、操作过程接触状态变化等方面的能力边界与补偿方案。5.2数据集格式要求5.2.1数据集格式数据集格式应符合GB/TXXXX.1—202X中7.1.2要求。5.2.2数据格式元数据格式应符合规范性附录A中要求，数据内容应符合规范性附录B中要求。6数据集建设6.1数据获取6.1.1真实数据采集6.1.1.1采集内容3真实数据采集内容见表1。表1真实数据采集内容真实数据分类描述真机数据本体状态数据描述人形机器人自身运动状态、驱动器、执行器、传感器及本体结构配置（如URDF)的数据环境数据操作对象属性与姿态数据用于描述目标操作对象物理属性（形状、尺寸、纹理、结构等）及其在环境中实时位姿的信息数据环境场景数据视觉、雷达、触觉等多模态传感器获取的机器人本体之外的关于其所处环境的数据人体数据人类操作员利用动作捕捉等方法执行一项或一系列任务过程中所采集的数据，包括第一人称或/和第三人称操作数据等6.1.1.2采集要求数据采集流程如图1所示，应符合下列要求：图1数据采集流程示意图a)应在采集前评估数据需求，明确单次采集任务的数据质量要求和评估细则，评估细则中应至少包含完整性、准确性和一致性指标；b)应在采集前评估采集场景、任务可行性和采集方式适配性，针对单次采集任务，选取合适的采集方式、采集设备，选取或改造采集场景，明确数据字段格式、采集周期；c)可对采集任务进行适当拆解、创建子任务并二次分派，拆解后的子任务应至少采集原任务的一个任务片段，每个任务片段内至少包含一个操作，每个操作可能由一个或多个原子技能支撑完成；d)采集范围宜包含对抗数据；e)采集范围宜包含负样本数据，典型负样本数据示例见资料性附录B；f)正式启动数据采集前应实施数据试采，根据试采结果确认数据采集各准备事项；g)采集过程中应动态检测数据断流、传感器失效等问题，用实时校验工具检测元数据字段是否缺h)数据采集频率要求如下：1)应根据任务动态特性、控制带宽及数据精度要求进行设置；2)对于高动态操作或精细控制任务，采集频率应满足系统响应需求并适当提高；3)视觉数据采集频率宜不低于30Hz，连续运动相关传感器采集频率宜不低于100Hz。i)应对数据采集过程中的丢帧情况进行监测与统计，丢帧检测应基于原始采集数据（组帧前）进行，并按传感器或数据模态分别统计，连续丢帧数不应超过对应传感器每秒采集帧数的1/6，总丢帧率不应超过5%；注：连续丢帧指相邻丢失帧之间无有效数据帧插入。j)数据采集系统应建立统一的时间基准，采用分级同步策略：41)对需高精度协同的传感器模块，优先采用硬件触发机制，确保模块内部同步误差不超过3ms；2)对跨总线通信的传感器系统（如本体关节与外部感知应建立基于网络时钟或系统时钟的同步机制，全局同步误差不得超过10ms，且不得超过系统最高采集周期20%。注：此处20%的约束旨在确保时间同步的精度（即时间戳的抖动）远小于系统产生新数据的间隔。其核心是防止在数据融合时，因时间误差过大而导致相邻采样周期的数据发生错配，从而保障数据时序逻辑的正确性。6.1.2合成数据生成6.1.2.1生成内容生成内容包括但不限于：a)仿真真机数据：通过仿真平台生成的人形机器人全身各部位关节角度、关节速度、关节力矩、质心轨迹及全身IMU仿真数据、全身各接触部位与物体的接触力等；b)仿真环境数据：仿真环境中操作对象的物理属性以及环境场景数据，例如质量、材质、摩擦系数、刚度、障碍物布局、支撑面属性、光照条件等；c)扩展姿态数据：通过生成模型合成的真实数据中较少出现的全身操作姿态，如极端关节构型、非常规肢体协同模式；d)罕见事件数据：真实环境中较难采集的罕见事件，如操作对象滑脱、碰撞后恢复、力控失稳、安全触发等；e)增强真机数据：基于真实全身操作数据，通过变换生成的增强数据，变换手段包括全局旋转、尺度缩放、添加噪声等。6.1.2.2生成要求合成数据生成应符合下列要求：a)仿真采集应还原真实场景，明确描述操作场景、操作对象及其状态变化、机器的指令控制方式等全身操作关键信息，语义层级应与真实数据保持一致，能够反映完整的操作过程、人形机器人与操作对象关键状态变化；b)仿真采集中涉及的人形机器人全身操作关键参数应具备明确的取值范围说明，例如关节角度/速度/加速度、力/力矩范围、接触状态等；c)仿真采集过程中，应支持自动记录任务完成、失败、中断等终止原因，仿真采集流程宜包括以下步骤：1)任务与场景建模：定义操作任务、终止条件及虚拟场景参数；2)仿真初始化：加载机器人模型、环境模型与控制策略；3)试运行与校验：对仿真过程的稳定性、数据完整性进行试采；4)正式采集：执行任务，任务可拆解为多个任务片段，每个任务片段内至少包含一个操作，每个操作可能由一个或多个原子技能支撑完成；5)数据校验与存储：检测数据缺失、异常并完成落盘。6.2数据处理应对获取的数据实施数据清洗、数据对齐、数据转换和数据标注，可根据实际数据需求实施其他数据处理操作，数据处理应符合GB/TXXXX.1—202X中7.2.2及下列要求：a)实施数据对齐时：51)对于时间数据，在精度上应保持一致性，各类传感器采集的数据最终应统一时间单位，如纳秒，微秒，毫秒等，对于同一个操作任务下的数据集，应确保各传感器时间对齐；2)对空间数据，应明确定义并转换各类坐标系或参考系，如世界坐标、相机坐标等。b)实施数据转换时：1)应支持常见格式之间的高质量转换；2)对采集到的数据进行标准化，并给出数据量纲；3)数据需要做归一化的，应给出归一化方法，并给出原始数据量纲；4)确保数据与标签的一致性和同步性，防止错配。c)实施数据标注时：1)应对单个任务进行标注，标注信息包括任务名称、任务时长、采集平台、数据采集方式等具体信息，宜标注起始帧和结束帧以支持时间序列模型训练；2)标签应具备可读性和可扩展性，并遵循统一的字段定义规则；3)针对单个数据片段，应明确标注数据类别为“真实数据”或“合成数据”；4)针对单个数据片段，应明确标注数据状态为原始数据或处理后数据，对于处理后数据，应注明数据处理方式；5)若全身操作数据集中包含对抗数据，应标注干扰类型及参数；6)若全身操作数据集中包含负样本数据，应标注失败原因、失败时刻及严重程度，若有对应恢复策略，则应标注恢复策略。注：恢复策略是指从失败状态或异常状态中恢复到正常任务执行流程的动作序列或控制逻辑，例如“重试抓取”“复位到初始位姿”“调整力控参数后继续”等。d)若实施数据压缩，则应记录采用的压缩技术并说明理由，对于精度关键型数据模态，如深度图、触觉阵列、激光雷达数据等，应避免使用会改变原始传感器数值的有损压缩格式，如MP4、JPEG等。6.3数据验证和确认应实施数据校验，包括数据完整性、格式验证与修正、自动规则过滤与信号处理、物理与语义合理性校验等。对于通过验证和确认的数据集，若利用数据集训练具身智能模型，则可根据真机部署模型效果评估数据集质量，根据评估结果分析数据集构建策略及数据采集、数据处理等过程各步骤，对可以改进的环节制定优化策略并执行。7数据集存储、发布、使用和退役7.1数据集存储人形机器人全身操作数据集的存储应符合GB/TXXX-202X中7.3要求，数据集存储格式应符合GB/TXXXX.1—202X中7.1.2.1及下列要求：a)相机传感器数据应按照摄像头名称命名，命名规范为“{部位}_{方位}”，多个摄像头则并列铺开，存储相机传感器参数的文件名应与对应的摄像头名字相同，每个摄像头应有对应的参数文件；b)视觉数据文件夹内文件宜以Unix时间戳命名，应支持文件以散图或视频流形式存储，若为散图形式，则应包含时间戳索引文件；6c)视觉数据文件夹内若包含深度图文件，需额外标明深度图存储时的位深度设置参数和深度值放缩参数；d)应存储硬件相关信息，例如硬件型号、内外参数、固件信息、版本信息等；e)应记录数据预处理方法及关键参数信息，并与对应数据建立关联，以支持数据的可追溯性和复现性。7.2数据集发布、使用和退役数据集的发布应符合GB/TXXX-202X中7.4要求。数据集的使用应符合GB/TXXX-202X中7.5要求，数据集的退役应符合GB/TXXX-202X中7.6要求。7元数据格式A.1元数据格式元数据格式见表B.1。表A.1元数据格式元数据类别元数据名称定义基础数据类型值域数据填写要求补充说明数据集标识数据集序列号数据集全局唯一识别编码字符串（string）数据集管理范围内唯一的非空字符串必填每个数据集对应一个唯一序列号数据集名称数据集的标准命名字符串（string）非空字符串必填例：人形机器人X数据集版本数据集迭代版本标识字符串（string）非空字符串必填例：V1.0创建人数据集制作负责人字符串（string）非空字符串可选例：Amy创建机构数据集产出单位字符串（string）非空字符串可选例：ABC人形机器人配置信息机器人型号数据采集所用人形机器人设备型号字符串（string）非空字符串必填/URDF机器人统一描述格式文件标识字符串（string）非空字符串必填/传感器规格数据采集所用传感器型号、内外参数字符串（string）非空字符串必填传感器ID、规格、内外参数数据获取场景信息场景编号数据采集场景唯一编号字符串（string）数据集管理范围内唯一的非空字符串选填/场景描述数据采集环境、任务场景等文字说明字符串（string）采用自然语言表述的非空字符串可选场景类型，如工业生产、生活服务、场景位置信息设备序列号数据采集设备硬件唯一识别编码字符串（string）数据集管理范围内唯一的非空字符串必填设备唯一序列号，用于追踪识别仿真引擎生成合成数据所用仿真软件字符串（string）非空字符串可选虚拟数据记录仿真引擎名称与版本操作系统数据采集设备运行系统字符串（string）非空字符串可选采集设备操作系统算法版本数据采集控制程序版本字符串（string）非空字符串可选采集设备控制算法及版本表A.1元数据格式（续）元数据元数据名称定义基础数据值域数据填补充说明8类别类型写要求数据获取场景信息数据格式原始数据存储文件格式字符串（string）mp4/jpg/png等必填数据格式数据模态数据模态类型数据所采用的交互模态字符串（string）非空字符串可选/时间参考及同步信息时间戳名称时间基准标准体系字符串（string）非空字符串必填例：UNIX、POSIX、UTC时间戳类型时间记录基准类型time）绝对时间、相对时间必填绝对时间/相对时间采集频率传感器每秒采样次数无符号整数型（intuint）Hz必填采集频率数据集时长完整采集任务总时长日期时间型（datetime）大于0的时间长度值，单位精确到毫秒必填/坐标系参考信息坐标系类型空间位姿参考坐标体系字符串（string）世界坐标系、机器人基坐标系、机械臂坐标系、末端执行器坐标系或其他必填含机器人坐标系、机械臂坐标系坐标系定义对数据采用的坐标原点、坐标轴方向和参考对象的说明字符串（string）非空字符串选填坐标变换关系不同坐标系之间的变换关系字符串（string）变换矩阵、四元数与平移向量或其他明确表示形式选填存在多个坐标系时必填标注信息任务片段数量数据集拆分的独立操作片段总数无符号整数型（intuint）正整数必填/任务类型机器人执行的操作任务类别字符串（string）非空字符串必填机器人执行的操作任务类别存储格式数据集整体封装存储格式字符串（string）hdf5/lerobot等必填数据集整体封装存储格式标注类型数据标注实现方式字符串（string）自动标注/人工标注/半自动标注必填数据标注实现方式事件标签任务运行终止状态标识字符串（string）完成/中断/失败可选任务运行终止状态标识表A.1元数据格式（续）元数据类别元数据名称定义基础数据类型值域数据填写要求补充说明9标注信息人员安全状态人机交互过程安全等级字符串（string）安全/无交互/协作安全交互/潜在危险/碰撞/安全违规可选人机交互过程安全等级版本及可追溯性信息许可协议数据集使用权限约束文本字符串（string）非空字符串必填使用许可（规范性）人形机器人全身操作数据集核心数据格式B.1全身操作数据集核心数据格式人形机器人全身操作数据集核心数据字段及格式见表A.1，其中：a)坐标系：全身操作过程中机器人基座位姿不变时，位姿数据可选择机器人基座坐标系或世界坐标系，若操作过程中机器人基座在物理世界中的位姿改变，则所有位姿数据应使用世界坐标系作为参考坐标系，位置单位为米，旋转表示用四元数[qx,qy,qz,qw]，符合Hamilton约定；b)关节：全身各部位关节数据维度由人形机器人具体的结构决定，旋转关节数据使用弧度制，直线关节数据单位为米，取值范围根据根据关节设计限制；c)触觉数据：触觉点云坐标使用传感器本地坐标系，合力单位根据传感器规格确定；d)时间戳：所有数据帧都包含隐式的时间戳信息，数据帧间间隔由fps配置决定。表B.1全身操作数据集核心字段及格式数据类别具体数据类型字段名（推荐）可选/必选描述整机数据系统时间戳timestamp必选精确到纳秒本体状态robot_state必选描述本体整体状态机器人名称robot_id必选机器人唯一身份标识信息，用于区分不同机器人实例世界坐标系orientation_drif/frame_id可选当前数据所参考的世界坐标系名称，如world、map本体位姿robot_pose可选记录人形机器人基座坐标系原点在世界坐标系中的位置和姿态本体速度robot_velocity可选记录机器人本体的速度信息本体加速度robot_acceleration可选记录机器人本体的加速度信息关节数据手臂数据手臂名称armname可选描述人形机器人任一手臂信息，如left_arm、right_arm手臂状态armstate可选描述手臂状态，失能/使能/断电/故障等末端执行器数据末端执行器名称end_name可选描述人形机器人任一末端执行器信息末端执行器状态end_state可选描述人形机器人任一末端执行器状态，是否处于工作状态末端执行器执行位置end_position可选记录末端执行器的执行位置，如夹爪开合量、滑台位移等末端执行器执行速度end_velocity可选记录末端执行器的执行速度末端执行器执行力end_force可选记录末端执行器的执行力、夹持力或输出作用力数据类别具体数据类型字段名（推荐）可选/必选描述关节数据末端执行器数据末端执行器控制类别end_category可选表示末端夹具的控制是张开/闭合二元状态；“continuous”表示末端夹具的控制是连续的末端执行器位姿end_pose可选记录末端执行器在机器人基座坐标系/世界坐标系中的位置和姿态腰部数据腰部关节名称waist_name必选描述关节在本体中的位置腰部状态waist_state可选描述腰部状态，是否处于工作状态腰部位姿waist_pose可选记录腰部在机器人基座坐标系/世界坐标系中的位置和姿态，姿态包括旋转/俯仰/倾侧等腰部执行力waist_force可选记录腰部执行操作的力颈部数据颈部关节名称neck_name必选描述关节在本体中的位置颈部位姿neck_pose可选描述颈部在机器人基座坐标系/世界坐标系中的位置及姿态，姿态包括俯仰角度等头部数据头部关节名称head_name必选描述关节在本体中的位置头部状态head_state可选描述头部状态，是否处于工作状态头部执行力head_force可选记录头部执行操作的力头部位姿head_pose可选描述头部在机器人基座坐标系/世界坐标系中的位置和姿态腿部数据腿部关节名称leg_name必选描述关节在本体中的位置腿部状态leg_state可选描述腿部状态，是否处于工作状态腿部执行力leg_force可选记录腿部执行操作的力腿部位姿leg_pose可选描述腿部在机器人坐标系/世界坐标系中的位置和姿态膝关节数据膝关节名称knee_name可选描述膝关节在本体中的位置膝关节位姿knee_pose可选描述膝关节在机器人坐标系/世界坐标系中的位置和姿态足部数据足部名称foot_name可选描述足关节在本体中的位置足部状态foot_state可选描述足部状态，是否处于工作状态足部接触力foot_force可选记录足执行操作时与物体的接触力足部速度foot_velocity可选记录足在全身操作中的速度触觉数据触觉阵列点数据/可选多维数组，数据格式表示为手部所有触觉阵列点的3D点云数据格式合力数据/可选多维数组，数据格式表示为手部所有触觉模块的合力向量数据格式，数据维度根据手部处决模块数量而定（资料性）典型负样本数据示例C.1典型负样本数据示例典型负样本数据及说明见表A.1。表C.1典型负样本数据采集示例名称描述采集场景示例安全中止数据位、力矩过载、碰撞预警等安全限制而导致任务强制中断的数据场景A：关节限位触发描述：机器人执行“从桌面拿起水瓶”的指令。在其规划路径中，需要将手臂伸展至某个特定角度以抓取目标。由于环境建模误差或路径规划偏差，机器人在伸展过程中，其肩部关节的实际运动角度超出了设定的安全限位值。系统立即触发安全保护，强制关节停止运动，导致任务在抓取动作前被强制中断。需采集中断前数秒的关节角度、规划路径、力矩及触发限位的具体关节标识等数据。场景B：力矩过载触发描述：机器人执行“搬运一个标称重量为5kg的箱子”的任务。在实际抓取并开始移动时，箱内装有未知的额外重物，实际负载可能超过7kg。当机器人尝试以预设的加速度抬起箱子时，其腕部或肘部关节的驱动电机输出力矩持续接近或超过额定峰值。力矩传感器检测到持续的过载状态，系统为防止硬件损坏，立即触发安全中止，松开或放下箱子。需采集过载发生前后关节的目标力矩、实际力矩、电机电流及负载估计值等数据。功能失效数据机器人未达成预定任务目标的数据