CN117462146B 人脑异常放电检测方法、装置、存储介质及电子设备 （网易传媒科技（北京）有限公司）

本公开实施方式涉及一种人脑异常放电检用于对所述受测对象的动作进行表征的感兴趣2从所述视频监测数据中提取用于对所述受测对象的动作进行表征的感兴趣图像序列；其中，在所述利用预先训练的异常放电检测模型对所述从所述生物医学特征数据中检测一个或多个疑似异常放电的生物医学特征数据以及从所述动作信息中检测一个或多个疑似异常放电的动作数据以及对应的一个或多个确定所述疑似异常放电的生物医学特征数据与其他所述生物医学特征数据之间的第基于所述第一时间点与所述第二时间点之间的对应关系，确定时间校准所述时间校准参数将所述动作信息与所述生物医学特征数据进行获取由生物医学监测设备采集的所述受测对象的生物根据预处理后的生物医学监测数据得到所述生物医将预处理后的多通道脑电监测数据计算每个通道与参考电极的电位根据所述脑电信号初始特征数据提取所述生物医对所述脑电信号初始特征数据进行时频变换，得到所述脑电信号36.根据权利要求2所述的方法，其特征在于，所述对所述生物医学监测数据进行预处7.根据权利要求1所述的方法，其特征在于，所述视频监测数据包括人脸视频监测数根据所述人脸关键点数据得到所述受测对象所述从所述视频监测数据中提取用于对所述受测对象的动作进行表征的感兴趣图像序列，根据所述人脸关键点数据，从所述人脸视频监测数据的多帧中裁剪出人脸区域图像，得到人脸图像序列。根据所述人脸关键点数据，确定发生运动的人脸关键点及其位移信根据所述身体关键点数据得到所述受测对象11.根据权利要求10所述的方法，其特征在于，所述感兴趣图像序列包括身体图像序根据所述身体关键点数据，从所述身体视频监测数据的多帧中裁剪出身体区域图像，得到身体图像序列。根据所述身体关键点数据，确定发生运动的身体关键点及其位移信将所述生物医学特征数据、所述动作信息、所述感兴趣图像序列输4进行表征的感兴趣图像序列；模型处理模块，被配置为利用预先训练的异常放电检测模型对所述生物医学特征数在所述利用预先训练的异常放电检测模型对所述生物医学特征数据、所述动作信息、放电的生物医学特征数据以及对应的一个或多个第从所述动作信息中检测一个或多个疑似异常放电的动作数据以及对应的一个或多个确定所述疑似异常放电的生物医学特征数据与其他所述生物医学特征数据之间的第基于所述第一时间点与所述第二时间点之间的对应关系，确定时间校准所述时间校准参数将所述动作信息与所述生物医学特征数据进行15.根据权利要求14所述的装置，其特征在于，所述获取受测对象的生物医学特征数医学监测数据进行预处理；根据预处理后的生物医学监测数据得到所述生物医学特征数5数据中检测人脸关键点数据；根据所述人脸关键点数据得到所述受测对象的人脸动作信21.根据权利要求20所述的装置，其特征在于，所述感兴趣图像序列包括人脸图像序数据中检测身体关键点数据；根据所述身体关键点数据得到所述受测对象的身体动作信24.根据权利要求23所述的装置，其特征在于，所述感兴趣图像序列包括身体图像序26.根据权利要求14所述的装置，其特征在于，所述异常放电检测模型包括特征处理被处理器执行时实现权利要求1至13任一其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至13任一项所述678列。理层从所述动作信息中提取动作特征数据，从所述感兴趣图像序列中提取图像特征数据，9[0023]在一种实施方式中，所述将所述动作信息和所述感兴趣到所述疑似异常放电的生物医学特征数据与所述疑似异常放电的动作数据之间的匹配结列。理层从所述动作信息中提取动作特征数据，从所述感兴趣图像序列中提取图像特征数据，[0039]在一种实施方式中，所述将所述动作信息和所述感兴趣到所述疑似异常放电的生物医学特征数据与所述疑似异常放电的动作数据之间的匹配结所述计算机程序被处理器执行时实现上述第一方面的人脑异常放电检测方法及其可能的第一方面的人脑异常放电检测方法及其可能据进行处理以得到受测对象的动作信息和感兴趣图像序列，通过结合生物医学特征数据、[0052]图8示出本示例性实施方式中利用异常放电检测模型得到异常放电检测结果的流[0065]在介绍了本公开的基本原理之后，下面具体介绍本公开的各种非限制性实施方人脑异常放电检测时，可以针对受测对象101设置生物医学监测设备102，视频采集设备[0071]视频采集设备103用于采集受测对象101的视频监测数据，如可以是监控摄像头、视频采集设备103可以集成在生物医学监测设备102或处理设备104中，如生物医学监测设置固定支架，固定支架的另一端固定放置视频采集设备103(如可以通过夹具固定放置手具体需求在受测对象101的其他关键部分绑定动作捕捉设备的传感器，以采集相应的身体(Electroencephalogram，EEG)是通过精密的仪器从头皮上将脑补的大脑皮层的自发性生[0083]肌电信号(Electromyography，EMG)是众多肌纤维中运动单元动作电位在时间和[0084]眼电信号(Electrooculogram，EOG)是一种由眼睛的角膜与视网膜之间的电势差数据包括每个通道相对于无关电极的电位差，将其预处理后得到脑电信号初始特征数据。预处理和/或基于参考电极计算电位差的脑电信号图提取图像特征，如可以将脑电信号图后的多通道脑电监测数据计算每个通道与参考电极的电位差，得到脑电信号初始特征数据。接下来，一方面，将脑电信号初始特征数据入至预先训练的波形特征提取模型，如视频监测数据中分离出人脸视频监测数据和身体视频监表征的感兴趣图像序列。[0127]图6示出了人脸关键点和身体关键点的示意图。可以对人脸与身体的33个关键点像形成人脸图像序列。该时间长度与生物医学监测数据分片的时间长度可以相同)对人脸视频监测数据进行分后续以片段为单位，将人脸动作信息和人脸图像序列与其他信息输入异常放电检测模型，[0140]根据人脸关键点数据，从人脸视频监测数据的多帧中裁得到人脸部位图像序列。包围框(可以是同时包含眼、鼻的一个包围框，据异常放电检测模型所能处理的图像数量确定时长)的人脸视频监测数据，根据每一帧的点的位置。可以通过预先训练的身体检测模型或采用肢体检测算法来检测身体关键点数像形成身体图像序列。该时间长度与生物医学监测数据分片的时间长度可以相同)对身体视频监测数据进行分后续以片段为单位，将身体动作信息和身体图像序列与其他信息输入异常放电检测模型，[0163]根据身体关键点数据，从身体监测视频数据的多帧中裁得到身体部位图像序列。不同帧的身体部位区域图像形成身体部位图像序列。包围框(可以是同时包含眼、鼻的一个包围框，据异常放电检测模型所能处理的图像数量确定时长)的身体视频监测数据，根据每一帧的脸视频监测数据和身体视频监测数据。将人脸视频监测数据输入预先训练的人脸检测模从身体视频监测数据中裁剪出身体图像序列。特征处理层可以包括LSTM(LongShort_TermMemory，长短时记忆网络)、GRU(Gated[0185]在一种实施方式中，在利用预先训练的异常放电检测模型对生物医学特征数据、[0186]将动作信息和感兴趣图像序列中的至少一者，与生物医学特征数据进行时间对[0190]从生物医学特征数据中检测一个或多个疑似异常放电的生物医学特征数据以及[0191]从动作信息中检测一个或多个疑似异常放电的动作数据以及对应的一个或多个校准参数将动作信息与生物医学特征数据进[0197]确定疑似异常放电的生物医学特征数据与其他生物医学特征数据之间的第一相的动作数据与正常状态下的动作数据之间的相对差异大小。可以将最为接近的第一相对[0202]图11示出了人脑异常放电检测的示意图。由脑电图机采集多通道的脑电监测数理后的生物医学监测数据得到生物医学特征校准参数将动作信息与生物医学特征数据进行[0220]此外，本公开实施方式的其他具体细节在上述方法的实[0226]可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序[0228]本公开的示例性实施方式还提供一种电子设备，可以是图1A或图1B中的任意设[0229]参考图13对本公开示例性实施方式的电子设备进行说明。图13显示的电子设备括存储单元1320和处理单元1310)的总线元1310执行本说明书上述"示例性方法"部分中描述的根据本公开各种示例性实施方式的[0233]存储单元1320还可以包括具有一组(至少一个)程序模块1325的程序/实用工具