CN119514672A 基于知识图谱的驾驶舱人机交互方法、系统及电子设备 （海乂知信息科技(南京)有限公司）

本发明公开了基于知识图谱的驾驶舱人机2获取驾驶舱人机交互的典型任务场景，以及所述典型任务根据所述飞行员的行动信息和环境态势信息的变化，将所述任务网络转换为任务清将所述基本任务集合中的多模态数据进行统一将所述任务计划中的文本内容进行解析和结其中，所述实体抽取包括对关键实体的抽取，所述关系抽取包括将所述知识抽取结果、知识匹配结果和知识解析结果进行关联，生根据分解所述任务计划为任务网络的过程中获得的事件抽取结果，确定所述任务根据所述飞行员的行动信息和环境态势信息的变化与各项子任务的时间节点之间的若根据分解所述任务计划为任务网络的过程中获得的事件抽取结3将所述无顺序关系的任务整理至任务清单中，区分于包含时间节通过监测设备获取飞行员的负荷数据，所述负荷数据包括生理负根据所述不同模态的负荷数据，通过预设的自动化心理负荷评按照所述任务清单中的当前任务清单，将所述心理负荷评估结果和多结合所述任务清单的任务变化与负荷评估结果，根所述多维度的意图识别算法包括：基于卷积神经网络的意图识9.一种基于知识图谱的驾驶舱人机交互系统，其特征在于所述获取模块，用于获取驾驶舱人机交互的典型任务场景，以及所述典所述任务模型建立模块，用于分析所述典型任务场景并解析任务计划，所述任务网络生成模块，用于结合所述知识图谱，通过所述任务模型所述任务清单生成模块，用于根据所述飞行员的行动信息所述负荷评估及意图识别模块，用于根据所述负荷数据和任务45[0001]本发明涉及人机交互领域，具体涉及一种基于知识图谱的驾驶舱人机交互方法、行员作为该系统中的关键主体，其状态会直接影响飞行任务实施过程中的安全性和高效信以及紧急情况的应对策略等。这种对飞行员的高强度认知需求容易导致信息处理失误，分析所述典型任务场景并解析任务计划，根据分析结果和解析结果建立任务模6将所述基本任务集合中的多模态数据进行统一将所述任务计划中的文本内容进行解析和结根据所述统一的知识表示后的多模态数据，以及解析和结构化处理后的文本内根据所述飞行员的行动信息和环境态势信息的变化与各项子任务的时间节点之将所述无顺序关系的任务整理至任务清单中，区分于包含时间节点的任务清单，7所述任务清单生成模块，用于根据所述飞行员的行动信息和环境态势信息的变8[0021]图1为本发明实施例提供的基于知识图谱的驾驶舱人机交互方法的流程示意图，9实施例提供的S1022中，还需要将所述多模态数据与驾驶舱人机交互场景中其他维度的数所述任务计划中的文本内容进行解析和结构[0028]所述S1032中的知识匹配包括：将通过知识抽取结果与预先构建的知识图谱进行所述S1033中的知识解析包括对任务计划中的文本内容进行解析和结构化处理；将上级下达至飞行员的复杂任务计划分解为可执行的任务网络；精准理解任务指令的意S1052，根据所述飞行员的行动信息和环境态势信息的变化与各项子任务的时间以及在某一时间节点至另一时间节点的时间段内发生了飞行员的行动信息和环境态势信S1062，所述监测设备包括不同模态的特征提取器，用于接收不同模态的负荷数表，如NASA_TLX量表、SWAT量表、WP量表、多资源问卷量表（multipleresource现根据心理负荷数据自动计算得到心理负荷[0044]在S1074的具体实现方式中，可采用多维度数据融合的方法实现对飞行员的意图[0053]结合以上实施例内容