《人形机器人人机交互》

1本文件规定了人形机器人人机交互数据集全生命周期流程的具体要求。本文件适用于人形机器人人机交互能力的训练、验证和测试数据集的规划、建设、存储、发布、2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本（包括所有的修改单）适用GB/TXXXX.1-XXXX人形机器人数据集第1部分：总则3术语和定义GB/TXXXX.1界定的以及下列术语和定义适用于本文件。3.1人和人形机器人通过用户接口交流信息和动作来执行任务。注：人机交互方式包括但不限于语音、视觉、接触、身体动作。[来源：GB/TXXXX.1，3.10]3.2用于人形机器人的研发、测试、验证与评估的多模态数据集。[来源：GB/TXXXX.1-XXXX，3.7]下列缩略语适用于本文件。JSON：JavaScript对象表示法（JavaScriptObjectNotation）VR︰虚拟现实（VirtualReality）HDF5:层次数据格式第5版（HierarchicalDataFormatVersion5）URDF：统一机器人描述格式（UnifiedRobotDescriptionFormat）25数据集规划5.1一般要求人形机器人人机交互数据集的规划应符合GB/TXXXX.1—XXXX中7.1.1的规定，并应针对人机交互数据集的特点明确下列内容：a）明确数据集所覆盖的人机交互任务类型，以及每类任务的交互参与者、交互目标、起止条件b）交互模态的类型、组合关系和覆盖策略，以及各模态数据的规模、比例和分布；涉及多模态交互的，明确不同模态数据之间的关联关系、时间同步要求和空间对齐要求；c）交互对象和目标用户群体的覆盖范围，以及与预期用途相关的群体特征和分布；涉及需要特别保护的群体时，明确相应的数据获取条件、授权方式和权益保护措施；d）人机交互情境的覆盖范围，包括交互发起方、参与者数量、交互轮次、交互距离、交互姿态、角色关系及交互连续性等，并明确不同交互情境的数据分布；e）人机交互数据的标注对象、标注内容、标注粒度和标注规则，以及交互有效性、自然性、连贯性、安全性等评价维度；涉及主观性标注的，明确标注人员要求、一致性评价方法、分歧处理规则和复核机制；f）异常交互、交互中断、意图误解、指令冲突、无响应、错误响应、不安全物理接触等交互失效情形，以及相应负样本的类型、比例和覆盖策略；相关规划应与危险分析结果保持一致；g）人机交互过程中可能采集的语音、图像、视频、生物识别信息及其他个人信息的范围和必要性，并明确数据最小化、去标识化或者匿名化、访问控制及保存期限等要求；h）交互过程中非目标参与者或者环境中其他人员可能被采集的情形，以及相应的数据排除、授权或者保护措施。5.2数据集格式要求5.2.1总体要求人形机器人人机交互数据集的格式应符合GB/TXXXX.1—XXXX中7.1.2.1的规定。5.2.2数据集组织结构人形机器人人机交互数据集的组织结构应符合GB/TXXXX.1—XXXX中7.1.2.2的规定，并满足下a）数据集的逻辑组织结构宜包括数据集单元、任务单元、交互片段和数据单元；b）任务单元宜按照人机交互任务类型进行划分，并应包含所属交互片段的索引；c）交互片段应具有唯一标识，用于记录一次完整的人机交互过程，并应记录交互参与者、开始时间、结束时间和交互结果；d）交互片段内的数据单元可根据交互任务的特点，按照交互轮次、交互事件、时间步、序列、帧或者样本进行组织；e）人类交互数据、机器人状态与响应数据、环境与接触数据及标注数据，应通过机器可读的标识符或者索引与所属交互片段建立关联。35.2.3数据集存储格式人形机器人人机交互数据集存储格式应符合GB/TXXXX.1-XXXX中7.1.2.3的规定，并满足以下要a）音频数据宜采用无损存储格式；采用有损存储格式时，应记录音频编码格式和码率；b）图像和视频数据应采用公开可用、机器可读的存储格式，并记录图像编码格式、视频封装格式、视频编码格式及相应的格式版本；c）文本数据和标注数据应采用机器可读的结构化格式，并明确字符编码、字段定义、基础数据d）骨骼关键点、面部动作单元、对话状态、触觉和力觉等序列数据应采用机器可读的结构化格式，并明确数据结构、字段顺序、计量单位、缺失值表示方式和时间参考；e）同一交互片段内采用不同存储格式的多模态数据，应通过机器可读的标识符或者索引建立关f）应在数据集说明文件或者元数据中记录各类数据所采用的存储格式、格式版本、编码方式及解析所需的必要信息。注：音频存储格式可包括WAV、FLAC等；图像存储格式可包括PNG、JPEG等；视频封装格式可包括MP4、MKV等；文本、标注和序列数据存储格式可包括JSON、JSONL、Parquet、HDF5等。5.2.4数据格式要求5.2.4.1元数据人形机器人人机交互数据集元数据要求应符合表1的规定。表1人形机器人人机交互数据集元数据要求元数据类别元数据名称定义数据类型值域填写要求补充说明数据集标识数据集类型数据集所属的功能类别string人机交互数据集M本文件规定的数据集类型固定为“人机交互数据集”数据集序列号用于唯一标识人形机器人人机交互数据集的编码string数据集管理范围内唯一的非空字符串M数据集序列号确定后，不宜因数据集内容更新而变更数据集名称人机交互数据集的名称string非空字符串M名称应能够反映数据集的主要内容数据集存储格式数据集采用的主要存储格式stringHDF5、LeRobot、Parquet、JSON或其他公开格式M采用其他格式时应提供格式说明数据集描述对数据集的主要内容和特征概括性说明string采用自然语言表述的非空字符串O宜包括主要交互任务、适用场景、数据模态和数据规模等内容预期用途预期用途数据集拟用于的主要活动string训练、验证、测试或其他M存在多种用途时应分别记录4表1人形机器人人机交互数据集元数据要求（续）元数据类别元数据名称定义数据类型值域填写要求补充说明交互任务类型数据集所支持的人机交互任务类别string语言交互、视觉交互、情感交互、社交行为、多模态融合、对话管理、特殊场景或其他M采用其他类型时应给出定义数据来源及溯源信息数据来源类型数据的来源类别string真实数据、合成数据、融合数据M不同来源的数据应能够区分数据获取方式获取或者生成数据的方法string遥操作采集、动作捕捉设备采集、音视频设备采集、穿戴式设备采集、触觉与力觉设备采集、界面与系统日志采集、虚拟仿真生成、生成模型生成或其他M第三方导入时宜记录来源数据集人形机器人描述机器人型号获取数据所使用的人形机器人型号string非空字符串M数据涉及多种机器人型号时应分别记录机器人编码按照规定的编码规则赋予机器人型号及其配置的机器可读编码string符合数据集或相关规定的机器人编码规则M真机需要填写，仿真合成来源填写null机器人描述文件描述机器人运动学结构、动力学结构和几何属性的数字化文件string有效文件名、路径、URI或者文件摘要O可采用URDF等格式；不提供文件时宜说明机器人结构版本传感器标识唯一标识数据采集所使用的传感器string非空字符串O每个传感器应分别记录传感器参数传感器的规格、内参数和外参数string数据集规定的参数表示形式O使用传感器获取数据时填写设备序列号标识机器人或者数据采集设备的序列号string非空字符串O不宜包含与数据使用无关的设备信息固件版本数据获取时机器人或传感器使用的固件版本string非空字符串O固件可能影响数据时填写数据模态数据模态类型数据所采用的交互模态string语音、文本、图像、视频、表情、手势、姿态、触觉、力觉、界面交互、机器人状态、机器人响应或其他M不同模态应能够通过标识符区分模态组合方式数据集中交互模态的组合形式string单模态、多模态M多模态数据应记录所包含的模态数据获取上下文场景标识唯一标识数据获取场景string数据集内唯一的非空字符串M应与场景描述建立关联场景描述对数据获取场景和环境条件的说明string非空字符串O可包括地点类型、光照、噪声和空间布局等5表1人形机器人人机交互数据集元数据要求（续）元数据类别元数据名称定义数据类型值域填写要求补充说明数据集时长数据集中各交互片段的累计时长float大于或等于0，单位为sM不适用时应说明数据规模的其他表示方式交互片段数量数据集中交互片段的总数uint大于或等于1M应与交互片段索引一致交互参与者标识唯一标识参与交互的人员或者机器人string数据集内唯一的非空字符串M自然人宜采用不能直接识别个人身份的标识参与方角色参与者在人机交互过程中的角色string用户、操作人员、示教人员、观察人员、机器人或其他O同一参与者具有多个角色时应分别记录时间参考及同步信息时间戳名称数据采用的时间参考名称stringUTC、UNIX、POSIX或数据集规定的其他时间参考M自定义时间参考应给出定义时间戳类型数据时间戳的表示类型string绝对时间、相对时间M相对时间应明确时间原点交互开始时间交互片段开始时对应的时间值float与时间参考和时间单位一致M应与交互片段标识关联交互结束时间交互片段结束时对应的时间值float大于或等于交互开始时间M应与交互片段标识关联数据采集频率连续数据的采样频率或者帧率float大于0，单位为Hz或帧/sO连续采集的音频、视频和传感器数据应填写同步方式不同模态数据采用的同步方法string硬件同步、软件同步、后处理同步、无需同步或其他O多模态数据应填写同步误差不同模态数据对齐后的最大时间偏差float大于或等于0，单位为msO对同步精度有要求时填写坐标系及空间参考信息坐标系类型按照坐标系所依附对象划分的类别string世界坐标系、机器人基座坐标系、机器人关节坐标系、传感器坐标系、图像坐标系、人体坐标系、局部坐标系或其他M-坐标系定义对数据采用的坐标原点、坐标轴方向和参考对象的说明string非空字符串M应明确坐标系采用左手系或右手系坐标变换关系不同坐标系之间的变换关系string变换矩阵、四元数与平移向量或其他明确表示形式O存在多个相关坐标系时填写标注信息标注类型标注数据的生成方式string人工标注、自动标注、半自动标注O存在标注数据时填写标注对象标注所描述的人机交互内容string意图、情绪、表情、手势、姿态、行为、交互事件、交互结果、交互质量或其他O存在标注数据时填写6表1人形机器人人机交互数据集元数据要求（续）元数据类别元数据名称定义数据类型值域填写要求补充说明标注粒度标注所对应的数据层级string交互片段、交互轮次、交互事件、时间步、序列、帧或样本O存在标注数据时填写事件标签标识交互事件或者交互状态的标签string完成、失败、中断、取消、冲突、无响应或其他O存在事件标注时填写安全与隐私信息个人信息类型数据中涉及的个人信息类别string不涉及、音频、图像、视频、生物识别信息、交互文本或其他M涉及多种类型时应分别记录脱敏方式对个人信息采取的脱敏处理方式string不适用、匿名化、去标识化、遮挡、变声或其他O涉及个人信息时填写访问权限数据集允许的访问范围string公开、受限、仅授权人员访问或其他M应与数据集许可协议一致版本及可追溯性信息许可协议数据集发布和使用所依据的许可协议string标准许可协议名称或者自定义许可协议标识M自定义协议应提供完整文本数据集版本标识数据集当前版本string数据集规定的版本编号M版本编号应具有唯一性创建人创建或者维护数据集的责任人员string非空字符串O可使用人员编号代替姓名创建机构创建或者维护数据集的责任组织string非空字符串O宜使用机构规范名称创建时间数据集当前版本的创建时间datetime符合规定的日期时间格式M应明确所采用的时区修订记录数据集历次修订情况的记录string非空字符串O宜包括修订原因、修订范围和修订时间5.2.4.2数据内容人形机器人人机交互数据集应根据预期用途、交互任务和数据获取方法确定所包含的数据模态。数据模态可包括文本、图像、视频、音频、力与触觉以及关节数据等，多模态数据格式要求见表2。表2人形机器人人机交互数据集多模态数据格式要求数据模态属性名称推荐字段名数据类型可选/必选说明文本数据文本名称text_namestring必选-文本标识text_id必选文本数据的唯一标识文本内容text_contentstring必选-时间戳timestampdatetime可选应与视频等时间序列的关键帧或区间对齐图像数据图像名image_namestring必选-图像类型image_typestring必选jpg、png或深度图等格式图像位深image_bit_depthstring可选uint8、float32等7表2人形机器人人机交互数据集多模态数据格式要求（续）分辨率resolution可选按照“宽度、高度”的顺序记录图像像素数，如[1920,1080]通道数image_channels可选图像包含的通道数量，如灰度图像为1，RGB图像为3视频数据数据序列号video_sequint必选-时间戳timestampdatetime可选同步与追踪视频时长video_timedouble64可选视频持续时间，单位为秒（s）帧长度frames可选-采集频率collect_frequint可选-音频数据数据序列号data_sequint可选-声道数audio_channelsuint必选音频数据的声道数量时间戳timestampdatetime可选同步与追踪采集频率collect_fequint可选音频采样率，单位为Hz音频时长audio_timedouble64可选音频持续时间，单位为s量化位数audio_bit_depthuint可选音频量化位数，单位为bit；适用于PCM等音频数据力与触觉数据数据序列号data_sequint可选-时间戳timestampdatetime可选同步与追踪接触力contact_forcefloat[]可选包含力觉数据时填写，宜按照[Fx,Fy,Fz]记录，单位为N，并关联相应坐标系接触力矩contact_torquefloat[]可选宜按照[Tx,Ty,Tz]记录，单位为N·m，并关联相应坐标系接触位置contact_positionfloat[]可选接触点的位置，应说明坐标系和计量单位接触状态contact_statebool可选表示是否发生接触采样频率tactile_sample_ratefloat64可选力与触觉数据的采样频率，单位为Hz关节数据时间戳timestampdatetime必选数据同步与追踪关节IDjoint_id必选关节名称列表，宜与机器人描述文件一致关节位置joint_positionfloat64必选旋转关节单位为rad，移动关节单位为m关节速度joint_velocityfloat64可选单位为rad/s或m/s关节加速度joint_acceleratfloat64可选单位为rad/s²或m/s²关节指令值joint_commandfloat64可选机器人控制系统下发的关节位置、速度或作用量指令；应说明指令类型关节运行状态joint_statestring可选可记录正常、限位、过载、故障或其他状态关节温度joint_temperaturefloat[]可选关节或电机温度，单位为℃采集频率collect_fequint必选单位为Hz86数据集建设6.1数据获取6.1.1获取方式人形机器人人机交互数据获取方法应符合GB/TXXXX.1-XXXX中7.2.1.1规定的要求。6.1.2获取内容数据集建设方应根据数据集用途、交互任务类型、交互模态和应用场景确定具体获取内容，并在元数据中声明数据来源和获取方式。数据获取内容应覆盖人机交互过程中用户输入、机器人响应、交互上下文、用户状态、环境感知、机器人本体状态以及异常交互等数据，如下：a）用户输入数据：指用户在人机交互过程中通过语言、动作、表情、接触或外部设备等方式向人形机器人传递意图、状态或任务要求的数据；b）机器人响应数据：指人形机器人针对用户输入、交互上下文或任务状态产生的反馈、回复或c）交互上下文数据：指支持理解当前交互含义、任务目标和交互状态的背景信息；d）用户状态数据：指反映用户在人机交互过程中的认知、情绪、行为、生理和反馈状态的数e）环境感知数据：指人形机器人或外部采集设备在交互过程中获取的环境及交互对象相关数f）机器人本体状态数据：指人形机器人在交互过程中的自身状态和任务执行相关数据；g）异常交互数据：指人机交互过程中出现的识别、理解、响应、执行、安全或协同异常数据。人形机器人人机交互数据获取内容分类与说明见附录A。6.1.3数据获取要求6.1.3.1真实数据获取要求人形机器人人机交互真实数据的获取应符合GB/TXXXX.1—XXXX中7.2.1.2的规定。不同类别真实数据的获取应符合附录B的规定，并满足下列要求：a）应以交互会话、交互轮次或者交互事件为基本单元组织数据，建立用户输入、机器人响应、交互上下文、任务状态和交互结果之间的关联关系，保证相关数据可关联、可追溯；b）涉及连续交互或者多主体交互时，应记录交互主体标识、主体角色和交互顺序，并保证同一交互会话内的主体标识保持一致；c）涉及用户状态数据时，应记录状态类别、数据来源和获取方式；用户状态数据通过识别或者标注形成时，还应记录相应的识别方法或者标注方法；d）涉及异常交互或者人工干预时，应记录相应事件，并建立异常交互或者人工干预事件与交互单元、机器人状态和处置结果之间的关联关系；e）涉及个人信息或者敏感个人信息时，应按照最小必要原则进行采集，并记录授权范围、去标识化或者匿名化处理方式和访问控制要求；f）使用公开数据集或者第三方真实数据时，应记录数据来源、授权范围、使用限制、整理方法和质量验证结果。96.1.3.2合成数据生成要求人形机器人人机交互数据集的合成数据生成应符合GB/TXXXX.1—XXXX中7.2.1.2的规定以及附6.2数据处理6.2.1数据标注内容人形机器人人机交互数据的标注内容应根据数据集预期用途、交互任务类型和数据模态确定。涉及相应的数据时，应按照下列要求进一步标注： 动作识别标注：对于人类与机器人在人机交互过程中产生的非语言动作应进行结构化标注，动作类型与语义：标注手势、姿态、身体动作、机器人动作等的类型及其交互语义；动作主体与对象：标注动作的发生主体、作用对象以及相关的交互对象；动作时间信息：标注动作的开始时间、结束时间或对应的时间区间；情境动作标注：标注动作发生是的交互场景、任务阶段和上下文信息；交互行为序列：标注动作之间的先后关系、触发关系和响应关系；对于机器人动作，应标注其行为执行的语义目的及响应触发事件。 空间定位标注：对于包含交互参与者、机器人或关键对象空间信息的数据，应结合相应模态数据进行空间定位标注，包括：相对位置关系：标注交互参与者、机器人及关键对象之间的相对位置、距离和方向，并注视信息：标注交互参与者的注视方向、注视目标及对应的时间区间；涉及注意状态标注的，应说明判定依据和标注方法；交互位移轨迹：标注交互参与者、机器人或关键对象在交互过程中的位置变化、运动方向及对应的时间信息。 语言与语义标注：人机交互高度依赖语言沟通，应对交互语言行为进行精细化标注，包括如语音转写与角色标注：应标注语音内容、时间戳、说话人身份；意图识别标注：应标注语句中的语义意图类型，如请求、询问、确认、拒绝；对话轮次标注：应标注每轮发言所处的对话序列位置，形成“多轮对话结构”；对话行为标签：应标注对话功能，如“提问”、“应答”、“补充说明”、“中断”。 情感与状态标注：交互数据中如包含人类情绪反应，应标注情感状态，包括如下内容：情绪类别标注：标注典型情绪及其显著性；情绪演化标注：标注情绪随时间的变化过程，捕捉关键转折点；生理与感受反馈标注：如有心率、GSR、语调等数据，应标注其与交互事件的对应关系。 任务与交互状态标注：交互过程中涉及的任务目标与状态应进行过程性标注，包括如下内任务阶段标注：标注任务启动、进行、完成等状态；交互成效标注：根据结果或用户反馈标注任务是否成功、用户满意程度；交互焦点标注：标注交互中被关注的对象或信息点。 多人交互与特殊场景标注（如有）：在人机群体交互、特殊情境下，应标注以下内容：多说话人区分：多人语音同时存在时，标注说话者ID；安全事件与异常标注：标注跌倒、冲突、误操作等潜在风险事件；交互意图转移标注：标注交互主导权是否发生转移。6.2.2数据标注要求数据标注要求应符合GB/TXXXX.1中7.2.2的规定及以下要求：a）时间标注的精度应与对应模态数据的采样精度匹配，视频标注精度应不低于帧级（即标注的时间误差应控制在单帧采样周期内；对于需要子帧精度的任务，应采用插值或高帧率视频），语音标注精度宜不大于10ms，触觉等高频数据标注精度宜不大于传感器采样间隔。各模态标注应基于统一时间基准，确保可在同一时间线上还原完整交互过程；b）输出的标注结果宜包含起止时间、空间位置、标注人员ID、模态来源等字段，格式统一为JSON或XML等标准结构化格式；c）对于由多人标注的数据，设置一致性评估阈值，对不一致片段组织人工复核，并记录修改意见和修订版本，以确保标注结果可追踪和可解释；d）当同一数据片段中包含真实世界采集数据、合成数据时，宜在元数据中明确标注每段数据的来源类型，以支持后续模型训练中进行差异化处理；e）参与人机交互数据标注的人员应经过专项培训，熟悉人机交互场景及标注规范；涉及情感、意图等主观标注的任务，宜由具备相关领域知识的专业人员参与。6.3数据验证和确认人机交互数据的验证和确认应符合GB/TXXXX.1-XXXX中7.2.3的规定。7数据集存储、发布、使用和退役人形机器人人机交互数据集的存储、发布、使用和退役应符合GB/TXXXX.1中7.3、7.4、7.5人形机器人人机交互数据获取内容详细分类与说明人形机器人人机交互数据获取内容可按用户输入数据、机器人响应数据、交互上下文数据、用户状态数据、环境感知数据、机器人本体状态数据和异常交互数据等类别划分。数据获取内容分类与说明见表A.1。表A.1人形机器人人机交互数据获取内容分类与说明数据类别子类获取内容说明用户输入数据语言输入语音数据、语音转写文本、文本输入等用于记录用户通过语音或文本表达的指令、问题、请求、确认、拒绝、反馈、偏好等信非语言输入手势数据、表情数据、视线数据、人体动作、触摸数据等用于记录用户通过动作、表情、视线、接触等方式表达的意图、状态、反馈或指代信设备输入屏幕交互、按钮、遥控器、操纵杆、VR手柄、力反馈手套、操作指令等用于记录用户通过外部设备、交互界面或控制终端输入的操作命令和交互行为。机器人响应数据语言响应语音回复、文本回复等用于记录机器人在人机交互过程中输出的语音或文本回复、提示、确认、警告、解释说界面反馈屏幕反馈、灯光反馈、图标提示、界面状态等用于记录机器人通过屏幕、灯光、投影、应用界面等方式呈现的交互反馈信息。非语言响应表情反馈、头部姿态、拟人化表达等用于记录机器人通过表情、头部动作或其他非语言方式输出的反馈信息。动作响应点头、摇头、挥手、转身、靠近、避让、指向、递送等用于记录机器人针对用户输入或交互状态作出的动作反馈。主动交互主动问询、主动提醒、主动告警、主动建议、澄清确认、任务请求等用于记录机器人在非用户直接触发情况下主动发起的交互行为，支持主动服务、风险提示和连续交互建模。任务状态反馈已接收指令、执行中、暂停、完成、失败、中止、拒绝执行等用于记录机器人在响应用户输入或执行交互任务过程中的进展和结果。交互上下文数据对话上下文历史对话、交互轮次、说话人角色、时间信息等用于记录人机多轮对话过程，支持理解省略、指代、修正和上下文依赖关系。任务上下文任务目标、任务类型、任务约束、任务状态、任务进度等用于描述当前交互所关联的任务背景、执行阶段和任务进展。场景上下文场景类型、空间布局、用户位置、对象状态、人员活动情境等用于描述交互发生时的场景条件，支持理解空间指代、交互对象和任务条件。反馈上下文前序机器人响应、用户反馈、确认/否认、修正、取消、重复请求等用于记录用户反馈与机器人前序响应之间的关系，支持交互纠错和连续交互建模。用户上下文用户角色、用户类型、交互权限、用户偏好、历史交互习惯等用于描述用户在交互中的角色和个性化背景，支持差异化交互策略和权限判断。用户状态数据情绪状态情绪类别、情绪强度、情绪变化、语音情绪、面部表情情绪等用于表征用户在人机交互过程中的情绪状态及其变化，支持情绪识别和情感交互建模。表A.1人形机器人人机交互数据获取内容分类与说明（续）数据类别子类获取内容说明注意状态注意力集中程度、关注对象、视线停留、注意力转移等用于表征用户在交互过程中的注意分配和视觉关注情况，支持交互意图理解和响应策略意图状态请求、询问、确认、拒绝、取消、纠正、求助、等待等用于表征用户当前交互目标、需求或行为倾向，支持意图识别和对话管理。反馈状态满意度、确认/否认、纠正、重复请求、中断行为、再次请求等用于表征用户对机器人响应、动作或任务执行结果的显式或隐式反馈，支持交互质量评估和响应优化。生理状态心率、呼吸、皮肤电导、肌电、皮温等用于表征用户在交互过程中的生理变化，支持情绪唤醒度、应激反应和身心状态分析。环境感知数据视觉感知图像、视频、深度图像、RGB-D图像、多视角画面等用于表征交互环境、用户、物体及事件的视觉信息。听觉感知环境音频、背景噪声、多人语音混合、声源方位等用于表征交互环境中的声音信息，支持语音交互、环境声音识别和声源定位。触觉感知接触力、压力分布、接触位置、接触方向、接触时长等用于表征机器人与用户、物体或环境之间的接触信息，支持触碰识别、接触式交互和安全交互分析。空间感知点云、距离、位姿、空间布局、障碍物分布、可通行区域等用于表征交互环境、用户、机器人及物体之间的空间结构和几何关系。语义感知环境语义、场景类型、物体类别、物体属性、物体位置、空间关系等用于表征交互场景中人、物体、区域及其关系的语义信息。异常交互数据识别异常语音误识别、文本误识别、手势误识别、表情误识别、对象误识别等用于记录感知或识别环节出现的错误，支持分析交互理解失败的原因。理解异常歧义指令、指代不明、冲突指令、上下文断裂、意图误理解等用于记录语义理解和上下文理解中的异常情况，支持澄清确认和纠错能力训练。执行异常任务失败、任务中止、拒绝执行、执行对象错误、人工接管等用于记录机器人执行交互任务过程中出现的异常情况，支持任务失败分析和人工干预分安全异常危险指令、越权请求、隐私请求、碰撞风险、用户进入危险区域等用于记录涉及安全、权限、隐私或物理风险的异常交互情况，支持安全交互和合规审协同异常打断、多人同时说话、抢话、用户与机器人动作冲突、多人指令冲突等用于记录多人、多轮或人机协作过程中出现的协同异常，支持复杂交互场景下的鲁棒性机器人本体状态数据姿态状态机器人位姿、头部朝向、身体姿态、末端位姿等用于表征机器人在交互过程中的空间姿态和面向关系，支持分析机器人是否处于合适交互姿态。运动状态速度、加速度、移动状态、运动轨迹、避障状态等用于表征机器人在交互过程中的移动和运动行为，支持分析交互过程中的运动安全性和连续性。执行器状态关节状态、关节角度、关节速度、关节力/力矩、末端执行器状态、抓取状态等用于表征机器人执行机构的运行状态，支持分析动作响应和任务执行过程。控制状态控制模式、任务阶段、任务进度、控制指令、执行结果等用于表征机器人在交互任务中的控制模式、执行阶段和任务完成情况。不同数据类别的数据获取要求表B.1不同数据类别的数据获取要求数据类别技术内容技术要求视觉数据分辨率图像分辨率宜不低于640×480像素；用于面部表情识别、手势识别、视线识别、行为分析等精细识别任务时，宜不低于1280×720像素。帧率视频帧率宜不低于30fps；用于微表情识别、快速手势识别、快速动作识别等任务时，宜采用60fps及以上帧率。清晰度图像和视频数据应清晰显示交互主体、交互对象、关键动作、面部区域、手部区域和机器人行为区域，避免明显模糊、遮挡、过曝或欠曝。采集参数应记录颜色空间、编码格式、采集设备、镜头参数、采集视角、采集距离、时间戳和标定状态。视线记录获取视线数据时，应记录视线方向、注视点位置或视线追踪结果，并与对应交互事件建立时间关联。音频数据采样率语音识别任务的音频采样率宜不低于16kHz；用于情感分析、声纹识别或环境声分析等任务时，可根据任务需要提高采样率。量化精度语音识别任务的音频量化精度宜不低于16bit；用于高保真语音分析任务时，可根据任务需要提高量化精度。语音清晰度音频数据应满足目标任务对语音完整性、清晰度和可识别性的要求。说话人区分涉及多人交互时，应记录说话人标识、语音归属、交互轮次和空间方位信息，并保证不同说话人的语音可区分。噪声记录噪声环境下，应记录噪声类型、噪声强度和发生时间。采集参数应记录声道数、编码格式、采集设备、采集距离、时间戳和噪声条件。运动数据采集频率运动数据采集频率应满足目标任务对动作连续性、时序精度和动作还原的要求；涉及快速手势、精细动作或接触交互等任务时，宜采用较高采集频率。坐标系应记录运动数据采用的坐标系、坐标转换关系、位姿表示方法和空间标定结果。关键点涉及人体姿态或机器人运动数据时，应记录关键点定义、关节编号和关键点位置数据。轨迹完整性应记录动作起止时刻、运动轨迹、人员位置轨迹、人机相对位置和空间方位关系。机器人行为输出机器人行为输出数据宜记录目标关节角、目标速度、目标力矩、控制模式、轨迹规划结果和控制频率等信息。机器人本体状态数据字段定义应记录状态字段、字段含义、物理量单位、关节编号和数据接口。采集频率应记录本体状态数据采集频率和控制周期，采集频率应满足交互过程还原和异常分析需要。状态内容本体状态数据宜包括关节位置、速度、力矩、电流、电压、温度、执行器状态、控制模式、通信状态和安全状态等信息。时间关联机器人本体状态数据应与用户输入、机器人响应、机器人行为、任务状态、任务结果和异常事件建立时间关联。表B.1不同数据类别的数据获取要求（续）数据类别技术内容技术要求空间关系数据定位方式应记录定位方式、定位频率、定位精度、坐标系、坐标转换关系、空间标定结果和时间戳。定位精度空间定位精度应满足目标任务对交互对象定位、人体动作还原、机器人行为分析和人机空间关系分析的要求。相对关系涉及指代、指向、递送、避让、跟随、协作操作等任务时，应记录人、机器人和交互对象之间的相对位置、空间方位关系和对象位置变化。指代对象涉及“这个”“那里”“他”等指代信息时，应记录候选对象、对象位置和最终确认对象。触觉与力觉数据采样频率触觉、力觉或压力数据的采样频率应满足接触交互任务要求；涉