CN119454026A 一种多模态情绪分析方法及系统 （广州市霆晖科技有限公司）

本发明公开了一种多模态情绪分析方法及所述功率谱及所述功率谱熵提取所述脑电信号征及所述皮电特征分别输入预训练的情绪识别2对所述生命体征信号进行心率变异性分析，以提取分析后获得的心计算所述脑电信号对应的功率谱及功率谱熵，以根据所述将所述心率变异性特征、所述脑电特征及所述皮电特征分别输入预训获取与每一个所述情绪分析结果匹配的情绪调节方案，以根据所从所述心率变异性信号中截取位于RR间期序列的若干个信号构成心率变异性时间序计算所述心率变异性时间序列片段的均值，以根据所计算所述心率变异性时间序列片段中相邻RR间期差值的均方根及所有相邻RR间期之获取所述心率变异性时间序列片段中相邻RR间期的差值大于预设的时间阈值对应的整合所述总体标准差、所述相邻RR间期差值均方根、所述总相邻将所述心率变异性时间序列片段输入预设的自回归模型，通过所通过Burg递推法计算所述自回归模型的参数值，以根据所述参数根据所述功谱率密度计算所述心率变异性信号对应的频域特征对所述心率变异性时间序列片段进行庞加莱散点图分析，获得所述心根据所述庞加莱散点图计算所述心率变异性时间序列片段对应的非线性参数；其中，所述非线性参数包括所述庞加莱散点图对应的第一尺度变化值和第二尺3通过支持向量机SVM构建用于情绪分类的初始情绪将不同情绪状态下对应的不同的特征输入所述初始情绪识别模型，通过PSO优化算法将所述心率变异性特征输入所述情绪识别模型，通过所述情绪识将所述脑电特征输入所述情绪识别模型，通过所将所述皮电特征输入所述情绪识别模型，通过所述情绪识别模型得出心理状态指数；将所述情绪指数、脑状态指数和心理状态指数分别与预设的阈值所述多模态信号采集组件与所述信号监测模块信号连接，用于获取在对所述生命体征信号进行心率变异性分析，以提取分析后获得的心计算所述脑电信号对应的功率谱及功率谱熵，以根据所述4所述信号监测模块与所述情绪识别模块信号连接，用于将所述心所述情绪识别模块与所述反馈调节模块信号连接，用于将所述情绪分所述血氧脉搏传感器与所述信号监测模块信号连接，用于在预定时所述额温传感器与所述信号监测模块信号连接，用于在预定时间段内采集并发所述脑电传感器与所述信号监测模块信号连接，用于在预定时间段内采集并发所述皮肤电传感器与所述信号监测模块信号连接，用于在预定时间段内采集所述时域分析单元用于从所述心率变异性信号中截取位于RR间期序列的若干个信号所述频域分析单元用于将所述心率变异性时间序列片段输入预设的所述自回归模型及预设的Z变化传递函数获得所述心率变异性时间序列片段对应的功谱通过Burg递推法计算所述自回归模型的参数值，以根据所述参数根据所述功谱率密度计算所述心率变异性信号对应的频域特征5所述非线性单元用于对所述心率变异性时间序列片段进行庞加莱散点根据所述庞加莱散点图计算所述心率变异性时间序列片段对应的非线性参数；其中，所述非线性参数包括所述庞加莱散点图对应的第一尺度变化值和第二尺67[0016]从所述心率变异性信号中截取位于RR间期序列的若干个信号构成心率变异性时[0018]计算所述心率变异性时间序列片段中相邻RR间期差值的均方根及所有相邻RR间[0019]获取所述心率变异性时间序列片段中相邻RR间期的差值大于预设的时间阈值对预设的Z变化传递函数获得所述心率变异性时间序列片段8[0034]将不同情绪状态下对应的不同的特征输入所述初始情绪识别模型，通过PSO优化[0039]将所述脑电特征输入所述情绪识别模型，通过所述情绪识别模型得出脑状态指9[0052]所述信号监测模块与所述情绪识别模块信号连接，用于将所述心率变异性特征、[0063]所述时域分析单元用于从所述心率变异性信号中截取位于RR间期序列的若干个个数与所述心率变异性时间序列片段中总的RR间期的个数的比值；整合所述总体标准差、[0066]所述频域分析单元用于将所述心率变异性时间序列片段通过所述自回归模型及预设的Z变化传递函数获得所述心率变异性时间序列片段对应的功模型及预设的Z变化传递函数获得所述心率变异性时间序列片段[0099]通过支持向量机SVM构建用于情绪分类的初始情绪识别模型；采集用于训练的脑初始情绪识别模型，通过PSO优化算法不断地更新所述初始情绪识别模型的惩罚参数和核[0101]在本实施例中，该步骤中利用PSO优化算法和SVM算法来203将所述心率变异性特征、所述脑电特征及所述皮电特征分别输入预训练的情绪识别模[0118]所述时域分析单元用于从所述心率变异性信号中截取位于RR间期序列的若干个个数与所述心率变异性时间序列片段中总的RR间期的个数的比值；整合所述总体标准差、[0120]所述频域分析单元用于将所述心率变异性时间序列片段通过所述自回归模型及预设的Z变化传递函数获得所述心率变异性时间序列片段对应的功[0128]步骤301：根据预设的多模态生理信号采集头环获取预设时间段内的生命体征信[0131]进一步地，所述401血氧脉搏传感器采用反射式脉搏血氧传感器，发光波长由[0132]所述402额温传感器采用非接触式红外温度传感器，测量温度范围0_100℃,精度提取所述生命体征信号对应的HRV特征参数，同时计算所述脑电信号对应的功率谱及功率邻RR间期的差值大于预设的时间阈值对应的个数占总的RR间期个数的比值作为HRV时域特中的峰值R与R点的间期来计算的)序列的统计指标来分析心率变异性。均值(MEAN)反映RR[0150]PNN50表示相邻的RR间期的差值大于预设时间间隔(设置为50ms)的个数占总的RR归模型及预设的Z变化传递函数获得所述心率变异性时间序列片段对应的功谱率；通过2.7[0164]其中，所述功率谱密度曲线的量化指标包括VLF(极低频功率)、LF(低频功率)0.6_1.5时说明交感神经和迷走神经处于平衡状态，当小于0.6时说明迷走神经占主导地[0165]进一步的，计算所述量化指标作为HRV频域特征参数时将不同尺度的单一分量的波动或趋势分解出来，得到一组数据具有线性的和稳态的特性。[0177]Step1.通过零点位置的时间尺度公式x(t[0182](i)-x(()-m()为人体情绪的不同状态息息相关。进一步，参照图5为在不同压力状态下的特征数据统计结于低压状态。相应地，对比两种状态下的PNN50，低压状态下为0.2563，而高[0213]采用时域、频域和非线性三种方法提取的HRV特征参数，脑电EEG特征和皮肤电从高压样本中抽出40组数据作为训练数据训练、10组数据作为测试数据来测试分类能力。PS0算法优化SVM的压力识别算法流程如图到Step5:[0232]则称m为2R上定义基本概率赋值函数(BasicProbabilityAssignment传感器j对目标基本概率分布的乘积，而矩阵中的其他所有元素的和构成证据的不确定因[0253]根据D_S证据理论合成算法规则对三种特征进行合成算出多模态融合情绪压力指[0266]更进一步的，将标准化处理后的特征向量输入到已经训练好的SVM模型中进行情第二情绪调节方案。的同时以曲线的形式实时反馈用户的情绪状态，然后音乐反馈情绪调节实时监测干预效[0274]若脑疲劳度指数不在预设的区间范围内，则采用白噪声、Alpha波脑波音乐、[0276]本实施例公开的一种情