CN119202587B 一种用于飞行员情景意识评估的Ti-SA模型的构建方法 （中国人民解放军空军特色医学中心）

心一种用于飞行员情景意识评估的Ti-SA模型本发明涉及一种用于飞行员情景意识评估的Ti_SA模型的构建方法，属于航空安全和情景适配复杂环境而导致有效性差的技术问题。包眼动踪迹时序数据和AOI注视时序数据作为样本景意识评估的Ti_SA模型；利用所述训练数据集训练所述Ti_SA模型，直至损失函数收敛时获得21.一种用于飞行员情景意识评估的Ti_SA模型的构建方法，其特征在于，包括如下步步骤S1、获取多个飞行员模拟飞行过程中的眼动踪迹时序数据和AOI注视时序数据作步骤S2、构建用于飞行员情景意识评估的Ti_SA模型；利用所述训练数据集训练所述将评估结果对应的等级，作为该飞行模拟过程中获取的眼动踪迹时序数据和AOI注视所述AOI注视时序数据包括飞行员飞行过程中基于时间顺序，依次注视的A基于所述飞行实验视频检测得到所述飞行实验视频中的所有以时间顺序的AOI细分区基于所述眼动踪迹时序数据中的注视焦点的二维和三维坐标，判4.根据权利要求1所述方法，其特征在于，所述用于飞行员情景包括眼动踪迹多维注意力增强模块、AOI多尺度综合特征模块、融合模块及SA水平输出模所述眼动踪迹多维注意力增强模块，用于接收所述眼动踪迹时序数据3第一随机失活层，用于对映射后的高维时序数据进行随机失依次连接的第一、第二和第三多层注意力结构，用于获取所述眼动踪Bi_LSTM，利用LSTM的双向能力增强对经过三个多层注意力结构后输出的编码表示的所述第一至第六启发式模块，用于对所述AOI注视时序数据进行多尺度特征提取；其8.根据权利要求6所述方法，其特征在于，所述第一至第六启发式模块均包括第一组第一组件为第一瓶颈层，使用长度为1的滤波器对所述三个并行卷积，用于将所述第一瓶颈层的输出进行三种长度的卷积所述输出层，用于将三个并行卷积捕捉的不同尺度的时序特征和最45飞行员在高空密闭的驾驶舱环境中对时间、空间和方向位置的姿态感知和动作感知能力，[0003]现有技术构建的飞行员情景意识评估模型通常依赖于传统的数据分析方法和主[0004]鉴于上述的分析，本发明实施例旨在提供一种用于飞行员情景意识评估的Ti_SA[0006]本发明提供了一种用于飞行员情景意识评估的Ti_SA模型的构建方法，包括如下[0007]步骤S1、获取多个飞行员模拟飞行过程中的眼动踪迹时序数据和AOI注视时序数6[0011]进一步地，获取飞行员模拟飞行过程中的眼动踪迹时序数据和AOI注视时序数据[0013]基于所述飞行实验视频检测得到所述飞行实验视频中的所有以时间顺序的AOI细[0018]其中，n为SA评估项目的总指标数，Di为飞行员改出结果与预定结果之间的偏差[0019]将评估结果对应的等级，作为该飞行模拟过程中获取的眼动踪迹时序数据和AOI[0020]进一步地，所述用于飞行员情景意识评估的Ti_SA模型包括眼动踪迹多维注意力[0029]Bi_LSTM(Bi_directionalLongShort_TermMemory，双向长短期记忆)，利用LSTM的双向能力增强对经过三个多层注意力结构后输出的编码表示的7发式模块的输出通过第二残差连接至所述第五输出多维时间序列。程中同时学习眼动踪迹时序数据中的长时依赖关系和AOI注视序列数据中的局部短时间依8[0056]图1为本发明实施例中一种用于飞行员情景意识评估的Ti_SA模型的构建方法流[0059]图4为本发明实施例中空间定向飞行模拟状态飞行员眼动踪迹示意图_飞行员注[0060]图5为本发明实施例中空间定向飞行模拟状态飞行员眼动踪迹示意图_飞行员注9[0065]本发明的一个具体实施例，公开了一种用于飞行员情景意识评估的Ti_SA模型的[0066]步骤S1、获取多个飞行员模拟飞行过程中的眼动踪迹时序数据和AOI注视时序数以直观体验人体定向器官在面对三维空间异常环境时的运动中产生的各[0076]获取飞行员模拟飞行过程中的眼动踪迹时序数据和AOI注视时序数据作为样本数[0078]基于所述飞行实验视频检测得到所述飞行实验视频中的所有以时间顺序的AOI细[0081]通过空间定向飞行模拟器和可穿戴眼动仪获取飞行员的眼动踪迹时序数据和飞[0083]图4展示了两帧画面之间飞行员的视觉注视情况。白色圆形轮廓区域是飞行员视[0089]AOI是飞行员获取和维持情景意识的重要信息源。飞行员通过观察和分析飞机仪[0091]AOI细分区域划分主要依据是仪表种类。在不同阶段飞行员会使用并关注不同的[0103]如果直接将图6显示的飞行模拟器的仪表盘视为一个区域模板，然后与飞行员的注视的AOI的编号，它可以反映飞行员的视觉注意和认知过程，以及飞行员的情境意识水[0114]每个SA评估项目对应的指标的改出结果与预期结果完全一致，则可以得到满分[0118]其中，n为SA评估项目的总指标数，Di为飞行员改出结果与预定结果之间的偏差[0119]将评估结果对应的等级，作为该飞行模拟过程中获取的眼动踪迹时序数据和AOI[0128]打分结果对应的等级作为该飞行模拟过程中获取的眼动踪迹时序数据和AOI注视[0131]如图2中Ti_SA模型的整体结构图所示，所述用于飞行员情景意识评估的Ti_SA模[0136]本发明将飞行员SA评估问题转化为多维时序数据分类问题。由于试验数据量庞[0141]Bi_LSTM，利用LSTM的双向能力增强对经过三个多层注意力结构后输出的编码表[0153]注意力机制的核心思想是使用查询向量(Query)、键向量(Key)和值向量(Value)[0154]注意力机制模仿人类的注意力原理，让模型能够集中处理输入数据中的关键信LSTM模块可以利用LSTM中的隐含状态来缓解过去序列中的错误或噪声，提高模型的鲁棒发式模块的输出通过第二残差连接至所述第五输出多维时间序列；[0171]对于眼动踪迹多维注意力增强模块输出的眼动踪迹数据类别概率值，以及AOI多[0172]所述融合模块将所述眼动踪迹时序数据对应的三个类别概率值，以及所述AOI融[0176]对于输入Ti_SA模型的训练特征数据(包括眼动踪迹时序数据和AOI注视时序数[0180]本发明中获取的眼动踪迹时序数据和AOI注视时序数据的飞行员资料，特选取专表示实际为正例样本但被Ti_SA模型错误地预83.2784.4490.4687.3583.3685.2489.9087.5188.3689.1093.5891.2889.0990.4393.4191.8992.1892.9595.4994.20[0194]对训练数据集在不同模型的指标表现如表4所示。Ti_SA[0197]本发明中的Ti_SA模型融合了多头注意力机制和启发式模块，提取和学习眼动踪[0198]Ti_SA模型利用多头注意力机制捕捉眼动踪迹时序数据中的长时间依赖关系，并通过Bi_LSTM模型减轻过去序列中的错误[0200]表5的结果说明提出的融合眼动踪迹时序数据和AOI注视序列的情景意识评估方[0201]综上所述，本发明实施例的一种用于飞行员情景意识评估的Ti_SA模型的构建方踪迹时序数据中的长时依赖关系和AOI注视序列数据中的局部短时间依赖特征，与现有的