CN119495115A 一种身体异常状况发作检测方法 （复旦大学）

本发明涉及一种基于自适应权重特征融合和双流卷积神经网络的身体异常状况发作检测提取整体身体姿态特征和局部面部表情特征双流卷积神经网络模块和对提取到的特征进行自测的身体状况标签、面部表情标签及其对应概21.一种基于自适应权重特征融合和双流卷积神经网络的身体异常状况发作检测方法，基于DeepFace网络框架对身体异常状况发作检测图像数据集中的人物进行表情分析，获取摄像头拍摄的待检测图像，并将待检测图像输入训练完2.根据权利要求1所述的一种基于自适应权重特征融合和双流卷积神经网络的身体异3.根据权利要求2所述的一种基于自适应权重特征融合和双流卷积神经网络的身体异头痛类别身体状况标签对应图像中的人物至少摔倒类别身体状况标签对应图像中的人物呈现多个角4.根据权利要求1所述的一种基于自适应权重特征融合和双流卷积神经网络的身体异5.根据权利要求1所述的一种基于自适应权重特征融合和双流卷积神经网络的身体异6.根据权利要求1所述的一种基于自适应权重特征融合和双流卷积神经网络的身体异部面部表情特征，包括基于MTCNN的人脸提取及对齐模块和基于DenseNet的面部表情特征提取模块，其中，DenseNet的网络结构包括DenseBlock模块和Transition模块，每两个7.根据权利要求1所述的一种基于自适应权重特征融合和双流卷积神经网络的身体异体身体姿态特征，包括尺寸调整模块和基于DenseNet的身体姿态特征提取模块，其中，3个随机失活Dropout层和两个ReLU激8.根据权利要求6或7所述的一种基于自适应权重特征融合和双流卷积神经网络的身9.根据权利要求6或7所述的一种基于自适应权重特征融合和双流卷积神经网络的身体异常状况发作检测方法，其特征在于，所述Transition模块用于连接两个相邻的10.根据权利要求1所述的一种基于自适应权重特征融合和双流卷积神经网络的身体对每个分支分别提取的特征向量和查询变量进行矩阵乘法将可学习注意力参数拼接后通过softmax函将每个分支网络对应的可学习注意力参数乘以相应的特征向4加速度)来分析个体的状态从而进行日常行为识别，或根据特定维度的数据峰值的突然变[0004]借助传感器的侵入式方法需要被观测者持续穿戴相应的设备，这会造成诸多不别和跌倒检测的技术得到了广泛而深入的研究。基于相机阵列的三维方法也得到广泛应的误差。随着OpenPose、AlphaPose和其他使用骨架点进行人体姿势估计的算法的公开发利用被检测者姿态特征以及面部表情特征的身体异常状况发作检测方法成为了本研究领[0008]本发明的目的是为了提供一种基于自适应权重特征融合和双流卷积神经网络的5进行数据增广；将双流卷积神经网络在增广后的数据集上进行训练，训练过程中应用[0010]一种基于自适应权重特征融合和双流卷积神经网络的身体异常状况发作检测方[0012]基于DeepFace网络框架对身体异常状况发作检测图像数据集中的人物进行表情[0017]所述胸痛类别身体状况标签对应图像中的人物至少同时包括以下姿态迹象中的[0021]所述对身体异常状况发作检测图像数据集进行数据增广具体为：利用Keras库中网络结构包括DenseBlock模块和Transition模块，每两个DenseBlock模块之间通过机失活Dropout层和两个ReLU激活函数的全链接调整模块和基于DenseNet的身体姿态特征提取模块，其中，DenseNet的网络结构包括DenseBlock模块和Transition模块，每两个DenseBlock模块之间通过Transition模块连6[0025]所述Transition模块用于连接两个相邻的DenseBlock模块，整合上一个[0030]将每个分支网络对应的可学习注意力参数乘以相应的特征向量并求和得到融合[0032](1)不受限于应用场景：传统的医学鉴定方法需要专业的医学检测设备和专业的[0033](2)被检测者活动自由不受限制：传统的医学鉴定方法需要被观测者在指定的空7[0046]本实施例提供一种基于自适应权重特征融合和双流卷积神经网络的身体异常状在一些会危及生命的心脑血管疾病的发作初期最显著的症状确定的：胸痛和胸闷(84％)，[0049]①胸痛类别身体状况标签对应图像中的人物至少同时包括以下姿态迹象中的两[0052]④无异常类别身体状况标签对应图像中的人们大多在家里进行[0054]步骤2)基于DeepFace网络框架对身体异常状况发作检测图像数据集中的人物进[0055]DeepFace是一个由Facebook发布的建立在Python平台上的轻量化人脸属性分析8情的特征向量。本实施例采用深度级联的多任务卷积神经网络框架Multi_TaskCascadedConvolutionalNeuralNetwork(MTCNN)实现人脸图像提取和人脸对齐。该框架克服了由[0063]在通过基于MTCNN的人脸提取及对齐模块获得人脸图像之后，采用基于卷积神经接(concatenation)来自不同层的特征图，这可以实现特征重用，提升效率，这也是由Transition模块链接，最后一个DenseBlock模块之后是一个全局平均池化层Global所属分数。本发明将DenseNet网络结构前面的DenseBlock模块与Transition模块结构保链接一个全局平均池化层GlobalAveragePoolingLayer；3.再链接一个随机失活9[0068]定义一个查询变量查询变量的维度与双流卷积神经网络模块的每个[0071]将每个分支网络对应的可学习注意力参数乘以相应的特征向量并求和得到融合[0076]步骤5)获取摄像头拍摄的待检测图像，并将待检测图像输入训练完成的检测模[0078]图6展示了对测试集中部分图像的检测结果，图像中的字体为输出的检测结果标端部署上述检测模