《人形机器人认知决策》

1本文件给出了人形机器人认知决策数据集全生命周期流程的具体要求。本文件适用于人形机器人认知决策能力的训练、验证和测试数据集的规划、建设、存储、发布、2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本（包括所有的修改单）适用GB/TXXXX.1人形机器人数据集第1部分：总则3术语和定义GB/TXXXX.1界定的术语和定义适用于本文件。3.1人形机器人对环境、任务及自身状态等进行理解，并在此基础上进行决策的过程。注：认知决策的典型任务类型包括但不限于感知理解、单任务决策、多任务调度、预测推理。[来源：GB/TXXXX.1，3.11]3.2将复杂的任务显式拆解为具有逻辑衔接关系的中间推理步骤的过程，通常包含任务定义、推理展开、推理自省及最终决策四个阶段。3.3层次化任务分解hierarchicaltaskdecomposition将高层抽象目标拆解为具有时序逻辑和依赖关系的子任务或可执行步骤的过程。3.4输入至人形机器人认知决策系统或模型，用于规范机器人角色定位、任务范围、功能实现及安全防护要求的指令或信息集合。4数据集规划4.1通用要求人形机器人认知决策数据集规划应符合GB/TXXXX.1中7.1及以下要求：2a）数据集中应明确覆盖的认知决策任务类型，至少应包括感知理解、单任务决策、多任务调度、预测推理中的一类，并在数据集规划文档中说明各类任务的样本分布比例；b）应明确认知决策输入数据与认知决策结果数据之间的映射关系类型（一对一、一对多、多对一），并在元数据中予以声明；c）涉及思维链数据的，应明确思维链各阶段（任务定义、推理展开、推理自省、最终决策）的数据采集方案和标注规范，确保推理过程的逻辑连贯性与可追溯性；d）应根据认知决策的复杂程度对数据集进行分层规划，宜覆盖单步决策、多步推理、多路径推理等不同复杂度层级，并在数据集规划文档中明确各层级的场景定义与数据规模要求；e）应明确安全防护提示词数据的覆盖范围（如物理安全边界、操作安全约束等），并规划涉及隐私保护的数据脱敏与匿名化处理方案。4.2数据集格式要求认知决策数据集的格式要求应满足GB/TXXXX.1-XXXX中的7.1.2数据集格式要求。认知决策数据集的元数据应满足附录A的要求。认知决策数据集的数据内容详细要求见附录B。5数据集建设5.1数据获取5.1.1数据获取方法人形机器人认知决策数据获取方法应符合GB/TXXXX.1-XXXX中7.2.1.1规定的要求。5.1.2数据获取内容人形机器人认知决策数据获取内容包括认知决策输入数据和结果数据，满足以下要求：a）认知决策输入数据：指进行认知决策所需的数据。该类数据至少应包括任务指令数据和系统提示词数据；可选包括环境感知数据、本体状态数据、上下文数据。是否获取可选数据应依据数据集目的确定，并在元数据中声明。1）任务指令数据：指人形机器人需要遵守的任务指令数据，可以是一次性输入，也可以是在人机交互中产生，可包括描述类任务指令、执行类任务指令、预测类任务指令；2）系统提示词数据：指用于规范人形机器人认知、操作、交互及功能实现的指令或信息的数据。可包括角色定义提示词数据、任务执行提示词数据、安全防护提示词数据；3）环境感知数据（可选指人形机器人通过视觉、触觉、听觉、温度、湿度等方式获取的对外部环境的感知信息的数据；4）本体状态数据（可选指人形机器人本体的状态数据，可包括硬件状态数据、任务状态数据、认知状态数据；5）上下文数据（可选指对人形机器人理解当前环境或任务具有辅助作用的历史信息或外部知识的数据。可包括历史交互数据和先验知识数据。b）认知决策结果数据：指与认知决策先验数据对应的认知决策结果数据。该类数据至少应包括高层次语义认知数据与层次化任务分解数据；可选包括思维链数据、代码生成数据、多模态预测数据。是否获取可选数据应依据数据集目的确定，并在元数据中声明。1）高层次语义认知数据：指用于训练人形机器人对自我以及物理世界认知能力的数据。根据人形机器人接收到的任务指令的类型可分为描述类认知数据和预测类认知数据；32）层次化任务分解数据：指用于训练人形机器人层次化任务分解能力的数据；3）思维链数据（可选）：指用于训练人形机器人思维链能力的数据；4）代码生成数据（可选）：指用于训练人形机器人可执行代码生成能力的数据,可包括技能函数数据、任务代码数据、安全约束逻辑数据；5）多模态预测数据（可选指用于训练人形机器人对与物理世界交互时产生的变化的预测能力的多模态数据，可包括物体状态变化预测数据、环境感知变化预测数据、本体状态变化预测数据。人形机器人认知决策数据获取内容详细分类与说明见附录C。5.1.3获取要求人形机器人认知决策数据获取要求应符合GB/TXXXX.1-XXXX中7.2.1.2规定的要求，并应满足附5.2数据处理人形机器人认知决策数据的处理应符合GB/TXXXX.1-XXXX中7.2.2规定的要求，并满足以下要a）样本结构化：认知决策先验数据与对应的认知决策结果数据应当建立映射关系，形成具有唯一标识和统一格式的结构化样本。映射关系支持一对一、一对多、多对一的映射模式，并明b）数据标注：可包括但不限于标注任务类型标签、物体可供性标签、运动轨迹标签、目标状态5.3数据验证和确认认知决策数据的验证和确认应符合GB/TXXXX.1-XXXX中7.2.3规定的要求。6数据集存储、发布、使用和退役6.1数据集存储认知决策数据集的存储应符合GB/TXXXX.1-XXXX中7.3规定的要求。6.2数据集发布认知决策数据集的发布应符合GB/TXXXX.1-XXXX中7.4规定的要求。6.3数据集使用认知决策数据集的使用应符合GB/TXXXX.1-XXXX中7.5规定的要求。认知决策数据集可独立使用，也可与全身操作数据集、运动控制数据集和人机交互数据集组合使用。当组合使用时，通过以下键值进行跨数据集级联： 任务全局唯一标识符：用于关联跨子集的同一高层任务； 时间基准戳：采用UTC时间格式（符合ISO8601规范）并记录毫秒级（ms）Unix时间戳。 机器人本体坐标系：应遵循GB/T16977中定义的机器人本体坐标系（如机座坐标系、机械接口坐标系等），其原点、坐标轴方向及刻度单位应在数据集元数据中明确声明，以确保跨数据集的空间表达一致；4 机器人标识符或型号标识符：用于标识数据对应的机器人型号、配置版本等； 传感器标识符：用于标识数据来源传感器、安装位置、标定参数和数据采样频率等。6.4数据集退役认知决策数据集的退役应符合GB/TXXXX.1-XXXX中7.6规定的要求。6.4.1退役触发条件评估应定期评估认知决策数据集的时效性与安全性。出现以下情况之一时，数据集宜进入退役流程：a）安全性风险：经仿真或实机验证发现，数据集包含的决策逻辑（如任务分解路径、安全约束代码）存在系统性缺陷，可能导致机器人发生物理碰撞或造成人身伤害；b）技术陈旧性：数据集所采用的推理格式（如特定的思维链结构、系统提示词框架）已不适配主流具身智能大模型的需求，且无法通过重构修复；c）知识时效性：数据集依赖的长时域环境先验知识（如行业操作标准、地图先验、用户交互习惯）发生重大变更，可能误导机器人产生错误认知。6.4.2退役处理操作退役处理操作应符合下列要求：a）级联关系清理：认知决策数据集退役时，应同步注销6.3定义的跨数据集级联键值，包括任务全局唯一标识符、时间基准戳和机器人本体坐标系等关联信息。退役数据集涉及的跨数据集关联关系应标记为退役状态或解除对外引用，防止与仍在役的数据集产生逻辑冲突；b）语义敏感数据处理：对于包含用户特定偏好、语音交互记录等涉及隐私的高层语义数据，退役时应执行不可逆的物理擦除或永久匿名化处理。5人形机器人认知决策数据集元数据要求A.1人形机器人认知决策数据集元数据要求人形机器人认知决策数据集元数据要求如表A.1所示。表A.1人形机器人认知决策数据集元数据要求元数据类别元数据名称定义基础数据类型值域数据填写要求补充说明数据集标识数据集类型数据集所属的功能类别字符串（string）认知决策数据集M本文件规定的数据集类型固定为“认知决策数据集”数据集序列号用于唯一标识人形机器人人机交互数据集的编码字符串（string）数据集管理范围内唯一的非空字符串M数据集序列号确定后，不宜因数据集内容更新而变更数据集名称认知决策数据集的名称字符串（string）非空字符串M名称应能够反映数据集的主要内容数据集存储格式数据集采用的主要存储格式字符串（string）HDF5、LeRobot、Parquet、JSON或其他公开格式M采用其他格式时应提供格式说明数据集描述对数据集的主要内容和特征概括性说明字符串（string）采用自然语言表述的非空字符串M宜包括任务类型、适用场景、数据模态和数据规模等内容预期用途预期用途数据集拟用于的主要活动string训练、验证、测试或其他M存在多种用途时应分别记录用途类型数据集所支持的认知决策任务类别string感知理解、单任务决策、多任务调度、预测推理或其他M采用其他类型时应给出定义数据来源及溯源信息数据来源类型数据的来源类别字符串（string）真实数据、合成数据、融合数据M不同来源的数据应能够区分数据获取方式获取或者生成数据的方法字符串（string）遥操作采集、动作捕捉设备采集、音视频设备采集、穿戴式设备采集、触觉与力觉设备采集、界面与系统日志采集、虚拟仿真生成、生成模型生成或其他M第三方导入时宜记录来源数据集人形机器人描述机器人型号获取数据所使用的人形机器人型号字符串（string）非空字符串M数据涉及多种机器人型号时应分别记录机器人编码按照规定的编码规则赋予机器人型号及其配置的机器可读编码字符串（string）符合数据集或相关规定的机器人编码规则M真机需要填写，仿真合成来源填写null6表A.1人形机器人认知决策数据集元数据要求（续）机器人描述文件描述机器人运动学结构、动力学结构和几何属性的数字化文件字符串（string）有效文件名、路径、URI或者文件摘要O可采用URDF等格式；不提供文件时宜说明机器人结构版本传感器标识唯一标识数据采集所使用的传感器字符串（string）非空字符串O每个传感器应分别记录传感器参数传感器的规格、内参数和外参数字符串（string）数据集规定的参数表示形式O使用传感器获取数据时填写设备序列号标识机器人或者数据采集设备的序列号字符串（string）非空字符串O不宜包含与数据使用无关的设备信息固件版本数据获取时机器人或传感器使用的固件版本字符串（string）非空字符串O固件可能影响数据时填写数据获取场景信息场景标识唯一标识数据获取场景string数据集内唯一的非空字符串M应与场景描述建立关联场景描述对数据获取场景和环境条件的说明string非空字符串O可包括地点类型、光照、噪声和空间布局等数据集时长数据集中各任务片段的累计时长float大于或等于0，单位为sM不适用时应说明数据规模的其他表示方式任务片段数量数据集中任务片段的总数uint大于或等于1M不适用时应说明数据规模的其他表示方式数据模态数据模态类型数据所采用的模态string语音、文本、图像、视频、力与触觉、关节数据或其他M不同模态应能够通过标识符区分模态组合方式数据集中数据模态的组合形式string单模态、多模态M多模态数据应记录所包含的模态时间参考及同步信息时间戳名称数据采用的时间参考名称stringUTC、UNIX、POSIX或数据集规定的其他时间参考M自定义时间参考应给出定义时间戳类型数据时间戳的表示类型string绝对时间、相对时间M相对时间应明确时间原点数据采集频率连续数据的采样频率或者帧率float大于0，单位为Hz或帧/sO连续采集的音频、视频和传感器数据应填写坐标系及空间参考信息坐标系类型按照坐标系所依附对象划分的类别string世界坐标系、机器人基座坐标系、机器人关节坐标系、传感器坐标系、图像坐标系、人体坐标系、局部坐标系或其他M—坐标系定义对数据采用的坐标原点、坐标轴方向和参考对象的说明string非空字符串M应明确坐标系采用左手系或右手系7表A.1人形机器人认知决策数据集元数据要求（续）坐标变换关系不同坐标系之间的变换关系string变换矩阵、四元数与平移向量或其他明确表示形式O存在多个相关坐标系时填写标注信息标注类型标注数据的生成方式string人工标注、自动标注、半自动标注O存在标注数据时填写数据质量信息校验结果数据集的数据质量人工校验结果string合格、不合格等质量判定结果O存在数据质量人工校验的情况下填写安全与隐私信息脱敏方式对个人信息采取的脱敏处理方式string不适用、匿名化、去标识化、遮挡、变声或其他O涉及个人信息时填写访问权限数据集允许的访问范围string公开、受限、仅授权人员访问或其他M应与数据集许可协议一致版本及可追溯性信息许可协议数据集发布和使用所依据的许可协议string标准许可协议名称或者自定义许可协议标识M自定义协议应提供完整文本数据集版本标识数据集当前版本string数据集规定的版本编号M版本编号应具有唯一性创建人创建或者维护数据集的责任人员string非空字符串O可使用人员编号代替姓名创建机构创建或者维护数据集的责任组织string非空字符串O宜使用机构规范名称创建时间数据集当前版本的创建时间datetime符合规定的日期时间格式O应明确所采用的时区修订记录数据集历次修订情况的记录string非空字符串O宜包括修订原因、修订范围和修订时间认知决策输入数据信息认知决策输入数据包含类型认知决策输入数据包含的数据类型字符串（string）任务指令数据、系统提示词数据、环境感知数据、本体状态数据、上下文数据M环境感知数据、本体状态数据、上下文数据为可选包含类型任务指令数据类型任务指令的功能分类标识字符串（string）描述类、执行类、预测类之一，或它们的组合O—系统提示词数据类型系统提示词的功能分类标识字符串（string）角色定义、任务执行、安全防护等，或它们的组合O—环境感知数据类型环境感知数据包含的数据类型字符串（string）视觉、触觉、听觉、温度、湿度等，或它们的组合O—本体状态数据类型本体状态数据的数据类型字符串（string）硬件状态、任务状态、认知状态等，或它们的组合O—8表A.1人形机器人认知决策数据集元数据要求（续）上下文数据类型上下文数据类型的数据类型字符串（string）历史交互、先验知识等，或它们的组合O—上下文数据窗口上下文有效范围的时间窗口或事件窗口字符串（string）符合ISO8601时长格式（如"PT10M"）或事件计数（如"5次交互"）M如最近10min、最近5次交互认知决策结果数据信息认知决策结果数据包含类型认知决策结果数据包含的数据类型字符串（string）高层次语义认知数据、层次化任务分解数据、思维链数据、代码生成数据、多模态预测数据M思维链数据、代码生成数据、多模态预测数据为可选包含类型高层次语义认知数据信息高层次语义认知数据的数据类型字符串（string）描述类、预测类之一或它们的组合O—高层次语义认知数据来源高层次语义认知数据的生成方式字符串（string）人工、机器人系统、第三方模型之一或它们的组合M—层次化任务分解数据来源层次化任务分解数据的生成方式字符串（string）人工、机器人系统、第三方模型之一或它们的组合M—思维链数据来源思维链数据的生成方式字符串（string）人工、机器人系统、第三方模型之一或它们的组合M—思维链数据类型思维链数据的数据类型字符串（string）文本、多模态等，或它们的组合O—代码生成数据类型代码生成数据的数据类型字符串（string）技能函数、任务代码、安全约束等，或它们的组合O—多模态预测数据类型多模态预测数据的数据类型字符串（string）物体状态变化预测、环境感知变化预测、本体状态变化预测等，或它们的组合O—9人形机器人认知决策数据集数据内容要求B.1人形机器人认知决策数据集数据内容要求人形机器人认知决策数据集数据内容要求如表B.1所示。表B.1人形机器人认知决策数据集数据内容要求数据层级模态类型数据内容描述数据格式/编码建议说明裸数据文本原始任务指令文本、系统提示词文本、上下文文本、思维链文本等UTF-8编码的纯文本或JSON格式保留采集时的原始文本，未经任何清洗或变换可见光图像、深度图像、红外图像等原始图像帧常见无损或有损压缩格式（如PNG、JPEG），深度图建议16-bitPNG或PFM保留传感器输出的原始图像数据视频连续图像帧序列，含时间戳对齐信息常见视频封装格式（如MP4、AVI）或图像序列文件夹保留原始帧率及画质音频环境声音、语音指令等原始音频信号常见无损或有损音频格式（如WAV、FLAC、MP3）保留原始采样率和位深度力与触觉原始力/力矩传感器输出的六维力数据、触觉阵列原始读数二进制数据流或CSV/JSON数值序列保留传感器未经滤波的原始数据关节数据关节位置、速度、加速度、力矩/力等原始状态数据CSV/JSON数值序列或Protobuf等二进制格式保留与控制周期同步的原始状态值处理数据文本经基础清洗、编码统一及格式规范化后的结构化文本，或保持原始文本未做加工；建立与认知决策结果数据的映射关系，明确记录映射类型UTF-8编码的纯文本、JSON、YAML或XML格式仅做基本加工或不加工，保留原始语义信息；映射关系支持一对一、一对多、多对一经基础去噪、白平衡校正、分辨率统一或格式转换后的图像，或保持原始图像未做加工PNG、JPEG、TIFF或HDF5格式仅做基本加工或不加工，保留原始传感器特征视频经帧提取、时间戳对齐、码率调整或封装格式转换后的视频序列，或保持原始视频未做加工MP4、AVI、MKV或图像序列文件夹仅做基本加工或不加工，保留原始时序特征音频经采样率统一、声道转换或基础降噪后的音频信号，或保持原始音频未做加工WAV、FLAC、MP3或OGG格式仅做基本加工或不加工，保留原始声学特征力与触觉经滤波、单位统一或时间戳对齐后的力/触觉数据，或保持原始数据未做加工CSV、JSON、HDF5、parquet或Protobuf格式仅做基本加工或不加工，保留原始物理量特征关节数据经坐标系转换、滤波或时间戳对齐后的关节状态数据，或保持原始数据未做加工CSV、JSON、HDF5、parquet或Protobuf格式仅做基本加工或不加工，保留原始运动状态特征表B.1人形机器人认知决策数据集数据内容要求（续）标注数据文本任务类型标签；高层次语义认知类型标注（描述类/预测类）；思维链阶段标注（任务定义、推理展开、推理自省、最终决策）；层次化任务分解结构标注；代码功能与类型标注（技能函数/任务代码/安全约束逻辑）；上下文语义角色标注JSON、XML、YAML或自定义标注格式包含认知决策结果数据所需的完整标注及任务类型标签物体可供性标签；目标状态标签（物体位姿、状态、属性）；语义分割标注；实例分割标注；检测框标注；环境感知语义标注；多模态预测空间标注PNG掩膜、COCO格式、YOLO格式或自定义JSON格式包含认知决策结果数据所需的标注及物体可供性标签、目标状态标签视频运动轨迹标签（物体、机器人、人体）；时序动作与事件阶段标注；多模态预测时序标注（秒级/分钟级）；状态变化过程标注JSON、CSV、MOT、parquet格式或自定义时序标注格式包含认知决策结果数据所需的标注及运动轨迹标签音频语音指令转写与类型标注（描述类/执行类/预测类）；声源定位标注；环境事件类型标注；情感类型标注TextGrid、JSON、CSV、parquet或XML格式包含认知决策结果数据所需的标注力与触觉接触事件与模式标注；力阈值范围标注；触觉可供性标签；目标接触状态标签；力/力矩模式分类标注JSON、CSV、parquet或HDF5格式包含认知决策结果数据所需的标注及物体可供性标签、目标状态标签关节数据运动轨迹标签（关节空间/笛卡尔空间）；目标状态标签（目标位姿、速度、加速度）；任务阶段标注；运动模式分类标注；本体状态变化预测标注JSON、CSV、HDF5或parquet格式包含认知决策结果数据所需的标注及运动轨迹标签、目标状态标签人形机器人认知决策数据获取内容详细分类与说明C.1人形机器人认知决策数据获取内容详细分类与说明人形机器人认知决策数据获取内容详细分类与说明如表C.1所示。表C.1人形机器人认知决策数据获取内容详细分类与说明获取内容子类子类说明示例或要求任务指令数据描述类任务指令数据对感知的内容、或包含的情境、或逻辑关系的描述的指令数据。“描述你看到的物品”“电视在茶几的左边还是右边？”执行类任务指令数据执行某项具体的或抽象的任务的指令数据。“拿起杯子”“打扫卫生”“保护环境”预测类任务指令数据预测后续的行为、或某种行为造成的结果、或环境的后续变化的指令数据。“下一步的动作应该是什么？”“向左转会看到什么？”“对面的人会往哪个方向走？”系统提示词数据角色定义提示词数据对人形机器人功能性角色和个性化角色进行规范的提示词数据。“你是一个移动底盘人形机器人，身高1.7m，末端执行器为夹爪”“你叫小Y，性格活泼，喜欢说俏皮话”任务执行提示词数据对人形机器人任务范围和任务性质进行规范的提示词数“你的岗位是货物搬运”“你需要协助人类员工完成搬运任务”安全防护提示词数据对人形机器人自身防护和外部防护进行规范的提示词数“避免长时间靠近锅炉”“搬运货物时离人距离不能小于3米”环境感知数据--视觉图像、点云、环境语义标签、物体属性等本体状态数据硬件状态数据对人形机器人身体状态和运动情况的描述数据。关节角度、位置信息、加速度、角速度、温度以及力矩等任务状态数据对人形机器人正在执行的任务的状态的描述数据。任务执行的步骤阶段、成功失败判定、中断原因等认知状态数据对人形机器人认知状态的描述数据。认知阶段标识、当前意图、待办事项等上下文数据历史交互数据人形机器人与外界进行交互的历史记录数据。过去5轮人机对话、近期成功/失败任务日志先验知识数据与人形机器人所在场景或任务相关的规则、惯例等先验知识数据。房间物品默认摆放规则、工具使用惯例思维链数据--宜包含以下内容：1.任务定义：对任务指令进行重新表述，明确需要解决的问题；2.推理展开：在任务定义的基础上，将任务拆解为若干子问题，并尝试生成一个中间结果；表C.1人形机器人认知决策数据获取内容详细分类与说明（续）获取内容子类子类说明示例或要求3.推理自省：推敲核验中间结果并给出新结果，这个过程可能会4.最终决策：得出最终结论。高层次语义认知数据描述类认知数据对感知的内容、或包含的情境、或逻辑关系的描述的数“画面内有一只猫”“当前正在执行做饭任务”“电视在茶几的左边”预测类认知数据预测后续的行为、或某种行为造成的结果、或环境的后续变化的数据。“下一步的动作应该松手”“向左转会看到汽车”“对面的人会往右边走”层次化任务分解数据--“整理桌面：抓取杯子→放置到托盘→抓取抹布→擦拭桌面”……”代码生成数据技能函数数据可复用的基础技能（原子动作）函数。技能函数宜包含输入参数（目标位姿、力度阈值）、输出状态（成功/失败标志）、硬件接口（关节控制指令），并有明确的功能注释（如“抓取”“按压擦拭”）任务代码数据复杂任务执行的代码块。通过调用技能函数并管理执行顺序与参数传递以实现复杂任务的执行安全约束逻辑数据界定人形机器人物理行为边界的逻辑代码。机器人运动空间范围、关节力矩安全阈值等多模态预测数据物体状态变化预测数据当前人形机器人操作下的被操作物体的动态变化预测数当机器人击打圆球时对圆球的运动趋势的预测环境感知变化预测数据当前人形机器人行为或环境变化导致的感知变化的预测机器人左转过程中对观察到的环境的预测和前方行人行进路线的预测本体状态变化预测数据当前人形机器人行为或环境变化导致的本体状态变化的预测数据。当人形机器人搬运过重物体导致摔倒的预测和遭到其它机器人碰撞的后果的预测人形机器人认知决策数据获取要求D.1人形机器人认知决策数据获取要求人形机器人认知决策数据获取要求如表D.1所示。表D.1人形机器人认知决策数据获取要求获取内容要求类别获取要求任务指令数据时间对齐对于时序相关的任务指令，应确保其与环境感知数据和本体状态数据实现时间同步，以保证执行