CN118506421B 时空特征集成和全局-局部特征融合的抑郁强度识别方法 （西安理工大学）

12.时空特征集成和全局-局部特征融合的抑郁含一个神经元的全连接层相连输出抑郁强度分空特征集成和全局局部特征融合的抑郁强度识2所述LSTIA_PLEGDF全局特征学习分支模型由短时信息聚合模块、全局所述LSTIA_PLEGDF全局特征学习分支模型的具体构建过人脸全局图像序列连续的短时特征{X1,X2,...,Xi}，沿着通道维度将每个短时特征X片段的输出相加，再通过时空卷积层进行特征学习得到输出特征具体计3x1x1(3x3x3(1x3x3(3*特征权重加权后的特征，表示对进行时间维度和空间维度特征权重加权后的特征，表示和进行通道拼接后的短时特征；i通道拼接后的短时特征T45再次翻倍的全局特征局部感知力增强模块、一个通道数翻倍的3维卷积残差块以及一个通步骤1.2.1、将初始全局特征XG1在空间维度平均分割为4个不重叠的区域XL=度转化为局部特征向量X,该计算过程为：6的信息与局部区域的相关度，Rk代表局部特征向量中第k个元素与局部特征向量区域XL中每个局部区域和其他3个局部区域的相关系数矩阵RR;表示局部特征相关系数向量R转化的局部步骤1.2.4、通过相关系数矩阵R;计算局部相关性感知的局部特征Xoutj进行拼步骤3.1、将人脸全局图像序列的全局特征Xglobal，以及步骤2中获取的局部区域特征global为人脸全局图像序列的全局特7gl表示全局和局部区域相关性特征；g和Fl表示线性映射后的全局特征和局部区域特征，Fgl表示全局和局部区域相图像序列通过对从抑郁症视频数据集AVEC2013和AVEC2014中获得的视频数据中的每个图8深度模型从面部表情有效学习到抑郁强度相关的全局上下文信息；(2)如何充分利抑郁强对时域信息建模主要存在两个挑战：(1)如何有效的建模短时抑郁特征的帧间时空关系；(2)如何有效的建模长时抑郁特征的时间上下文关系。以上挑战直接影响到目[0005]本发明的目的是提供时空特征集成和全局一局部特征融9[0012]步骤1中LSTIA_PLEGDF全局特征学习分支模型由短时信息聚合模块、全局抑郁特通过分层堆叠的方式对全局特征的时空信息进行有效[0015]步骤1.2、将初始全局特征获取人脸全局图像序列连续的短时特征{X1,X2,...,Xi}，沿着通道维度将每一个片段的输出相加，再通过时空卷积层进行特征学习得到输出特征具id(FC,(SP(X⃞:))(9)S表示的空间注意力权重；特征X",X",…,X"},得到完整的初始全局特征XG1：[0041]步骤1.2.1、将初始全局特征XG1在空间维度平均分割为4个不重叠的区域XL=度转化为局部特征向量X,该计算过程为：部区域的信息与局部区域的相关度，Rk代表局部特征向量中第k个元素与局部特k＝{1,2,...,N}表示局部特征相关系数向量集得到区域XL中每个局部区域和其他3个局部区域的相关系数矩阵R;,计算过程为：[0051]其中，—→表示在空间维度将局部特征相关系数向量R按照位置信息进行排W1间维度下采样的时间子特征，Xt1”表示Xt1'经过时间注意力权重W1加权后的时间子特征，道数再次翻倍的全局特征局部感知力增强模块、一个通道数翻倍的3维卷积残差块以及一再与另一个仅包含一个神经元的全连接层相连输出抑郁强度分数，从而进行抑郁强度识[0103]步骤1中的抑郁症患者人脸全局图像序列及步骤2中的抑郁症患者眼睛区域图像序列通过对从抑郁症视频数据集AVEC2013和AVEC2014中获得的视频数据中的每个图像样[0105](1)本发明中设计短时信息聚合模块，用来增强模型提取固定时间范围内持续时[0106](2)本发明中设计全局抑郁特征局部感知力增强模块，提取面部局部区域之间的的利用局部区域之间的相关性信息来增强全局特征的[0107](3)本发明中设计了长时信息聚合模块，利用改进的注意力机制来感知输入特征[0108](4)本发明中设计了全局和局部语义相关性特征融合模块，捕捉全局和局部语义[0111]图2为本发明时空特征集成和全局_局部特征融合的抑郁强度识别方法中LSTIA_PLEGDF_FGLSCF模型中的短时信息聚合[0112]图3为本发明时空特征集成和全局_局部特征融合的抑郁强度识别方法中LSTIA_PLEGDF_FGLSCF模型中的全局抑郁特征局部感知力增强[0113]图4为本发明时空特征集成和全局_局部特征融合的抑郁强度识别方法中LSTIA_PLEGDF_FGLSCF模型中长时信息聚合[0114]图5为本发明时空特征集成和全局_局部特征融合的抑郁强度识别方法中LSTIA_PLEGDF_FGLSCF模型中全局和局部语义相关性特征融合[0117]本发明时空特征集成和全局_局部特征融合的抑郁强度识别方法中，抑郁症患者人脸全局图像序列及抑郁症患者眼睛区域图像序列从抑郁症数据集AVEC2013和AVEC2014的图像数量满足所有实验的需求。输入到网络的全局人脸图像序列可以表示为获取人脸全局图像序列连续的短时特征{X1,X2,...,Xi}，沿着通道维度将每一个片段的输出相加，再通过时空卷积层进行特征学习得到输出特征具(9)S表示的空间注意力权重；[0146]步骤1.2.1、将初始全局特征XG1在空间维度平均分割为4个不重叠的区域XL=度转化为局部特征向量X,该计算过程为：部区域x!的信息与局部区域的相关度，Rk代表局部特征向量中第k个元素与局部特k＝{1,2,...,N}表示局部特征相关系数向量集得到区域XL中每个局部区域和其他3个局部区域的相关系数矩阵R;,计算过程为：W1道数再次翻倍的全局特征局部感知力增强模块、一个通道数翻倍的3维卷积残差块以及一[0188]该实施例中构建的LSTIA_PLEGDF全局特征学习分支模型的网络参数结构如表1所[0199]其中，linear1(·)和linear2(·)表示线性层，Xglobal步骤1学习的全局特征，Xlocal'表示步骤2中通过50层的3维残差卷积网络学习的局部区域特征，Fg和Fl表示线性映[0218]步骤A、将通过多任务级联卷积网路裁剪好的人脸序列图像以及对应的眼睛区域[0219]步骤B、搭建LSTIA_PLEGDF全局特征学习分支学习面部全局的时空抑郁特征签取值范围为0至63分的贝克抑郁分数，标签值在实数域是连续的，此外，AVEC2013和AVEC2014数据集给出的基线模型使用的是均方根误差(RMSE)平均绝对误差(MAE)作为模型来评估基于全局和局部通道注意力融合网络的模[0227]在AVEC2013数据集上不同网络模型的性能对比结果如表2所示，在AVEC2014数据8.869.557.479.207.225.827.656.067.756.008.396.218.236.158.566.658.786.868.306.517.846.087.475.90[0233]由表2和表3可以看出，本发明时空特征集成和全局_局部特征融合的抑郁强度识别方法，在均方根误差(RMSE)和平均绝对误差(MAE)指标上的值分别7