CN120199283A 一种多睡眠行为活动识别方法与系统

(19)国家知识产权局(71)申请人南京信息工程大学地址211899江苏省南京市江北新区华富路1号数智溪谷4号楼(72)发明人韩飞宇汤昕恺杨盘隆(74)专利代理机构南京纵横知识产权代理有限公司32224专利代理师周宠(54)发明名称一种多睡眠行为活动识别方法与系统本发明公开了声学传感技术领域的一种多睡眠行为活动识别方法与系统，旨在解决现有多睡眠行为活动识别技术的优化问题。方法包括：对采集到的用户耳道内的双声道声学信号进行预处理，得到处理后双声道声学信号；根据处理后双声道声学信号，基于动态阈值的自适应检测与分割算法进行睡眠行为事件检测与分割，得到睡眠事件集合；根据睡眠事件集合，基于累计频谱功率进行睡眠行为事件分类，得到睡眠身体活动事件集合和睡眠声学活动事件集合；根据睡眠身体活动事件集合，基于声学衰减和累计频谱功率，进行身体活动事件的细粒度识别；根据睡眠声学活动事件集合，进行多维度特征提取，并利2根据所述处理后双声道声学信号，基于动态阈值的自适应检测与分割算法进行睡眠行根据所述睡眠事件集合，基于累计频谱功率进行睡眠行为事根据所述睡眠身体活动事件集合，基于声学衰减和累计频谱功率，进行身体活动事件根据所述睡眠声学活动事件集合，进行多维度特征提取，并利用提取到的多维度特征利用最小最大归一化方法对采集到的用户耳道内的双声道声学信号进行归一化处理，通过汉佩尔滤波器将所述初步预处理信号中的异常值替换为局部中值，并通过高通滤计算信号帧序列中每一帧的短时能量STE,并基于均方根函数RMS计算短时能量STE的将所述信号帧序列中[0,t]时间段的所有帧加入到非事件帧集Sn,并初始化事件阈值k帧的包络重构值。3表示缩放阈值，α表示调节因子，,若该事件的累计频谱功率Engcm小于预设累计功率阈值Tcum,则判定该事件为声学活动基于微运动与宏运动的持续时长差异，将所述睡眠身体活动事件集合划分为微运动事遍历微运动事件集合中的每个微运动事件：将微运动事件划分为遍历宏运动事件集合中的每个宏运动事件：计算宏运动事件位于Delay(k)=argmax{xcorr(Sm(k)4计算该声学活动事件中[Tsa-△T,Tena+△T]时间段的信号的RMS包络，并利用自相关函数计算RMS包络的自相关序列，选取自相关序列的第一个峰值位置t作为周期性特征；其的包络；计算该声学活动事件中预设频率范围内的累计频谱功率，选取累计频谱功率中前五个峰值作为谐波特征频率集合,将谐波特征频率集合Fham的标准差与平均值作为谐波结构特征；其中，Fpeak₁表示累计频谱功率中第1个峰值，计频谱功率中第4个峰值，Fpeak₅表示累计频谱功率中第5个峰值；将该声学活动事件中设定频率范围内的频带划分为多个不重叠子带，将每个子带的能量和多个不重叠子带的总能量的比值作为能量分布特征，将每个子带频率成分的偏度和分度作为频谱统计特征；提取该声学活动事件的梅尔频率倒谱系数作为共振峰特征；将所述周期性特征、谐波结构特征、能量分布特征、频谱统计特征和共振峰特征输入分信号采集与处理模块，用于：对采集到的用户耳道内的双声道声学信号进行预处理，得到处理后双声道声学信号；睡眠行为事件检测与分割模块，用于：根据所述处理后双声道声学信号，基于动态阈值的自适应检测与分割算法进行睡眠行为事件检测与分割，得到睡眠事件集合；睡眠行为事件分类模块，用于：根据所述睡眠事件集合，基于累计频谱功率进行睡眠行为事件分类，得到睡眠身体活动事件集合和睡眠声学活动事件集合；身体活动事件细粒度识别模块，用于：根据所述睡眠身体活动事件集合，基于声学衰减和累计频谱功率，进行身体活动事件的细粒度识别；声学活动事件细粒度识别模块，用于：根据所述睡眠声学活动事件集合，进行多维度特征提取，并利用提取到的多维度特征进行声学活动事件的细粒度识别。5技术领域[0001]本发明涉及声学传感技术领域，特别涉及一种多睡眠行为活动识别方法与系统。背景技术[0002]人类的睡眠常常伴随着一系列行为活动，如身体翻转、肢体运动、打呼噜等等，这些行为活动可能会打断睡眠周期并引起部分脑部觉醒，从而影响睡眠质量。因此，对睡眠行为活动的检测在理解与评估睡眠健康方面发挥着重要的作用。现有的工作大多基于移动手机或者腕戴设备上的多个传感器来进行睡眠行为活动识别。然而，这些工作能够识别的睡眠事件较为有限，不足以支撑对睡眠健康的多方位评估。[0003]近年来，睡眠耳塞作为隔绝外界噪声、保障睡眠质量的辅助工具，逐常生活中不可或缺的一部分。基于其佩戴位置的特殊性，越来越多的传感器被集成到睡眠耳塞上，为睡眠行为活动的识别提供了新的可能性。现有的工作大多在睡眠耳塞上部署多个模态的传感器，用于检测人体脑电波信号进而识别睡眠中发生的行为活动，但此类方法常伴随着能耗高与集成复杂的问题，不仅成本高昂，且难以支持长时间连续监测与识别的实际需求。发明内容[0004]本发明的目的在于克服现有技术中的不足，提供一种多睡眠行为活动识别方法与系统，通过睡眠耳塞内置麦克风采集耳道体传导声学信号，实现在低功耗的基础上对用户多睡眠行为活动的精准检测，突破了现有基于睡眠耳塞的识别方法能耗高与成本高昂的限[0005]为解决上述技术问题，本发明是采用下述技术方案实现的：[0007]对采集到的用户耳道内的双声道声学信号进行预处理，得到处理后双声道声学信[0008]根据所述处理后双声道声学信号，基于动态阈值的自适应检测与分割算法进行睡眠行为事件检测与分割，得到睡眠事件集合；[0009]根据所述睡眠事件集合，基于累计频谱功率进行睡眠行为事件分类，得到睡眠身体活动事件集合和睡眠声学活动事件集合；[0010]根据所述睡眠身体活动事件集合，基于声学衰减和累计频谱功率，进行身体活动事件的细粒度识别；[0011]根据所述睡眠声学活动事件集合，进行多维度特征提取，并利用提取到的多维度特征进行声学活动事件的细粒度识别。[0013]利用最小最大归一化方法对采集到的用户耳道内的双声道声学信号进行归一化处理，并将每个归一化信号减去所有归一化信号的平均值，得到初步预处理信号；6[0017]计算信号帧序列中每一帧的短时能量STE,并基于均方根函数RMS计算短时能量并为一个事件，若该事件大于等于最小持续时间，则将该事件加入到睡眠事件集合5;示第k帧的包络重构值。其中，Envms(k)表示第k帧的包络值，Tscale表示缩放阈值，α表示调节因子，其设定频率以上频带的累计频谱功率Engcm,若该事件的累计频谱功率Engcm小于预设累7基于微运动与宏运动的持续时长差异，将所述睡眠身体活动事件集合划分为微运动事件集合和宏运动事件集合；遍历微运动事件集合中的每个微运动事件：将微运动事件划分为多个帧，测量该微运动事件的零交叉率，得到声学衰减系数；根据所述声学衰减系数，基于互相关函数计算该微运动事件的左右声道间延迟；将所述零交叉率、声学衰减系数、左右声道间延迟的均值与标准差输入到分类器，得到输出结果为头部转动或身体颤抖；[0029]遍历宏运动事件集合中的每个宏运动事件：计算宏运动事件位于多个预设分位点的累计频谱功率，将其输入到分类器，得到输出结果为肢体运动或身体翻滚。[0031]Delay(k)=largmax{[0032]其中，Delay(k)表示第k帧的左右声道间延迟，argmax{}表示求最大值函数，xcorr表示互相关函数，SnR(k)表示第k帧的右声道信号，Sm(k)表示第k帧的左声道信[0033]可选的，所述多维度特征包括周期性特征、谐波结构特征、能量分布特征、频谱统计特征和共振峰特征；[0034]所述声学活动事件的细粒度识别[0035]遍历所述睡眠声学活动事件集合中的每个声学活动事件，执行以下步骤：计算该声学活动事件中[Tsa-△T,Tena+△T]时间段的信号的RMS包络，并利用自相关函数计算RMS包络的自相关序列，选取自相关序列的第一个峰值位置T作为周期性特征；算的包络；计算该声学活动事件中预设频率范围内的累计频谱功率，选取累计频谱功率中前五个峰值作为谐波特征频率集合,将谐波特征频率集计频谱功率中第4个峰值，Fpeak₅表示累计频谱功率中第5个峰值；[0036]将该声学活动事件中设定频率范围内的频带划分为多个不重叠子带，将每个子带的能量和多个不重叠子带的总能量的比值作为能量分布特征，将每个子带频率成分的偏度和分度作为频谱统计特征；[0037]提取该声学活动事件的梅尔频率倒谱系数作为共振峰特征；[0038]将所述周期性特征、谐波结构特征、能量分布特征、频谱统计特征和共振峰特征输[0039]第二方面，本发明提供一种多睡眠行为活动识别[0040]信号采集与处理模块，用于：对采集到的用户耳道内的双声道声学信号进行预处8[0041]睡眠行为事件检测与分割模块，用于：根据所述处理后双声道声学信号，基于动态阈值的自适应检测与分割算法进行睡眠行为事件检测与分割，得到睡眠事件集合；[0042]睡眠行为事件分类模块，用于：根据所述睡眠事件集合，基于累计频谱功率进行睡眠行为事件分类，得到睡眠身体活动事件集合和睡眠声学活动事件集合；[0043]身体活动事件细粒度识别模块，用于：根据所述睡眠身体活动事件集合，基于声学衰减和累计频谱功率，进行身体活动事件的细粒度识别；[0044]声学活动事件细粒度识别模块，用于：根据所述睡眠声学活动事件集合，进行多维度特征提取，并利用提取到的多维度特征进行声学活动事件的细粒度识别。通过对捕获到的信号实施预处理，基于动态阈值的自适应检测与分割算法进行睡眠行为事件检测与分割，基于累计频谱功率进行睡眠行为事件分类，最终依据声学衰减、累计频谱功率以及信号多维度特征实现多种睡眠行为活动的细粒度识别；较于其它基于睡眠耳塞的睡眠活动识别方法，能够仅凭借单一模态传感器，在高精度的基础上识别多种睡眠为睡眠健康评估提供充分的依据；解决了传统方案能耗高与成本高昂的问题，能够实现对睡眠行为活动长时间连续的监测与识别；仅依靠麦克风实现睡眠行为活动识别，集成简单且硬件成本低。附图说明[0046]图1为根据本发明实施例提供的多睡眠行为活动识别方法流程图；[0047]图2为根据本发明实施例提供的预处理流程图；[0048]图3为根据本发明实施例提供的基于动态阈值的自适应检测与分割算法流程图；[0049]图4为根据本发明实施例提供的身体活动事件的细粒度识别流程图；[0050]图5为根据本发明实施例提供的声学活动事件的细粒度识别流程图。具体实施方式[0051]下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本专利实施例以及实施例中的具体特征是对本专利技术方案的详细的说明，而不是对本专利技术方案的限定，在不冲突的情况下，本专利实施例以及实施例中的技术特征可以相互组合。[0052]需要说明的是，本文中术语“和/或”,仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B,可以表示：单独存在A,同时存在A和B,单独存在B这三种[0053]实施例一：[0054]本发明实施例公开一种多睡眠行为活动识别方法，参考图1所示，具体包括如下步[0055]S1,对采集到的用户耳道内的双声道声学信号进行预处理，得到处理后双声道声学信号；[0056]S2,根据所述处理后双声道声学信号，基于动态阈值的自适应检测与分割算法进9[0063]计算信号帧序列中每一帧的短时能量STE,并基于均方根函数RMS计算短时能量[0067]将所述信号帧序列中[0,t]时间段的所有帧加入到非事件帧集S,并初始化事件[0069]若Envm.(k-1)<Tnm且mean(Sn)<ReEnv.m.(k)(使用前一帧的值，避免瞬时噪声干扰),则认为第k帧为非事件，将其加入到非事件帧集SE,并通过如下公式更新事件阈入到睡眠事件集合SE。[0075]遍历所述睡眠事件集合中每个事件，计算其200Hz以上频带的累计频谱功率Engcum,若该事件的累计频谱功率Engcm小于预设累计功率阈值Tcum,则判定该事件为声[0079]遍历宏运动事件集合中的每个宏运动事件：计算宏运动事件位于0%、25%、50%、Delay(k)=arem{xcorr(Sme(k其中，Delay(k)表示第k帧的左右声道间延迟，argmax{}表示求最大值函数，xcorr表示互相关函数，SnR(k)表示第k帧的右声道信号，Sm(k)表示第k帧的左声道信[0086]计算该声学活动事件中[Tstan-△T,Tena+△T]时间段的信号的RMS包络，并利用自相关函数计算RMS包络的自相关序列，选取自相关序列的第一个峰值位置T作为周期性特征；算的包络；[0087]计算该声学活动事件中[50,500]Hz内的累计频谱功率，选取累计频谱功率中前五均值作为谐波结构特征；其中，Fpeak₁表示累计频谱功率中第1个峰值，Fpeak2表示累计频谱功率中第2个峰值，Fpeak3表示累计频谱功率中第3个峰值，Fpeak4表示累计频谱功率中第4个[0088]将该声学活动事件中[0,2000]Hz的频带划分为4个不重叠子带，将每个子带的能量和4个不重叠子带的总能量的比值作为能量分布特征，将每个子带频率成分的偏度和分度作为频谱统计特征；[0089]提取该声学活动事件的梅尔频率倒谱系数作为共振峰特征；[0090]将所述周期性特征、谐波结构特征、能量分布特征、频谱统计特征和共振峰特征输[0091]综上所述，本实施例提出的多睡眠行为活动识别方法，使用睡眠耳塞内置麦克风捕获耳内睡眠行为所引发的声学信号，对捕获到的信号实施预处理，进而使用基于动态阈值的方法对睡眠事件进行分割并分类，最终依据信号多维度特征实现多种睡眠行为活动识别；在该过程中，包括以下步骤：(1)基于动态阈值的自适应检测与分割算法进行睡眠行为事件检测与分割；(2)基于累计频谱功率的睡眠行为事件分类算法；(3)基于声学衰减和累计频谱功率的身体活动事件细粒度识别；(4)基于多维度特征的声学活动事件细粒度识别；较于其它基于睡眠耳塞的睡眠活动识别方法，仅使用单一模态便可识别多种睡眠行为活动，解决了能耗高与成本高昂的问题，并表现出更高的识别精度。[0093]与实施例一基于相同的发明构思，本发明实施例公开一种多睡眠行为活动识别系统，多睡眠行为活动识别系统适用于实施例一所述的多睡眠行为活动识别方法，包括：[0094]信号采集与处理模块，用于：对采集到的用户耳道内的双声道声学信号进行预处[0095]睡眠行为事件检测与分割模块，用于：根据所述处理后双声道声学信号，基于动态阈值的自适应检测与分割算法进行睡眠行为事件检测与分割，得到睡眠事件集合；[0096]睡眠行为事件分类模块，用于：根据所述睡眠事件集合，基于累计频谱功率进行睡眠行为事件分类，得到睡眠身体活动事件集合和睡眠声学活动事件集合；[0097]身体活动事件细粒度识别模块，用于：根据所述睡眠身体活动事件集合，基于声学衰减和累计频谱功率，进行身体活动事件的细粒度识别；[0098]声学活动事件细粒度识别模块，用于：根据所述睡眠声学活动事件集合，进行多维度特征提取，并利用提取到的多维度特征进行声学活动事件的细粒度识别。[0099]上述各模块的具体功能实现参考实施例一方法中的相关内容，不予赘述。[0100]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。[0101]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、