CN120219903A 一种基于多模态行为模式视频监控预警方法和系统

(19)国家知识产权局(10)申请公布号CN120219903A(21)申请号202510696985.4(22)申请日2025.05.28(71)申请人深圳市乔安科技有限公司地址518000广东省深圳市龙华区观澜街道桂香社区广场路8号厂房101-3楼、5楼和6楼(74)专利代理机构深圳市沃赢专利代理事务所(普通合伙)44909专利代理师杨茵GO6V20/40(2022.0GO6V(54)发明名称一种基于多模态行为模式视频监控预警方法和系统(57)摘要本发明提供一种基于多模态行为模式视频监控预警方法，包括以下步骤：根据视频流，提取多模态数据，进行预处理，并将预处理后的多模态数据进行对齐和融合，所述多模态数据包括RGB帧、光流场、人体骨骼关键点、场景语义分割图；将融合的多模态数据进行短时行为模式特征，建立行为模式库以及场景行为基线构建；基于在线学习更新动态行为模式库，结合时间衰减因子降低历史数据权重，并根据当前场景复杂度调整异常判定阈值；根据异常判定阈值进行多级预警，并反馈优化；本发明方法提供一种能够自动学习场景行为模式、动态调整预警阈值，并融模式库以及场景行为基线构建定阈值21.一种基于多模态行为模式视频监控预警方法，其特征在于，包括以下步骤：根据视频流，提取多模态数据，进行预处理，并将预处理后的多模态数据进行对齐和融将融合的多模态数据进行短时行为模式特征，建立行为模式库以及场景行为基线构基于在线学习更新动态行为模式库，结合时间衰减因子降低历史数据权重，并根据当前场景复杂度调整异常判定阈值；根据异常判定阈值进行多级预警，并反馈优化。2.根据权利要求1所述的一种基于多模态行为模式视频监控预警方法，其特征在于，所述将预处理后的多模态数据进行对齐和融合，具体包括：通过硬件时间戳将多模态数据严格对齐；对低帧率模态采用线性插值补全中间帧；将光流场叠加至RGB帧通道得到第一融合数据，以及人体骨骼关键点轨迹与语义分割图结果通过注意力机制加权得到第二融合数据。3.根据权利要求2所述的一种基于多模态行为模式视频监控预警方法，其特征在于，所述将融合的多模态数据进行短时行为模式特征，建立行为模式库以及场景行为基线构建；具体为：利用3DCNN架构提取第一融合数据和第二融合数据的时空特征，即为短时行为模式特征并构建行为模式库；将行为模式库的短时行为模式特征按时间窗拼接，总跨度为M个向量输入双向LSTM,输出场景行为基线向量。4.根据权利要求2所述的一种基于多模态行为模式视频监控预警方法，其特征在于，基于在线学习动态更新行为模式库，结合时间衰减因子降低历史数据权重，具体为：实时获取短时行为模式特征，将行为模式库进行滑窗式增量更新；并将行为模式库中的历史数据根据生成时间进行权重设置，权重设置具体为：时间的间隔。5.根据权利要求2所述的一种基于多模态行为模式视频监控预警方法，其特征在于，并根据当前场景复杂度调整异常判定阈值，具体为：提取当前场景中的参数，包括人群密度、光照强度以及运动活跃度，并进行归一化处动态异常判定阈值T(t):阈值越大。6.根据权利要求5所述的一种基于多模态行为模式视频监控预警方法，其特征在于，根3获取当前行为特征与基线的相似度得分S(t);若S(t)≥T(t)但管理员标记为异常：进行反馈优化，触发模型增量学习。7.一种基于多模态行为模式视频监控预警系统，其特征在于，包括：数据处理单元：根据视频流，提取多模态数据，进行预处理，并将预处理后的多模态数据进行对齐和融合，所述多模态数据包括RGB帧、光流场、人体骨骼关键点、场景语义分割行为基线构建单元：将融合的多模态数据进行短时行为模式特征，建立行为模式库以及场景行为基线构建；更新调整单元：基于在线学习更新动态行为模式库，结合时间衰减因子降低历史数据权重，并根据当前场景复杂度调整异常判定阈值；预警单元：根据异常判定阈值进行多级预警，并反馈优化。8.一种电子设备，其特征在于，包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现权利要求1-6之一所述的方法步骤。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6之一所述的方法步骤。4一种基于多模态行为模式视频监控预警方法和系统技术领域[0001]本发明涉及智能视频监控技术领域，特别是指一种基于多模态行为模式视频监控预警方法和系统。背景技术[0002]当前视频监控系统多基于静态规则(如区域入侵、物品遗留检测)或单一行为识别差：无法动态学习场景中的行为模式，难以应对人群密度变化或新行为类型；缺乏关联性分发明内容[0003]本发明的主要目的在于克服现有技术中的上述缺陷，提供一种基于多模态行为模式视频监控预警方法及系统，该方法提供一种能够自动学习场景行为模式、动态调整预警阈值，并融合多维度特征分析的智能视频监控预警方案，解决现有技术误报率高、适应性差的问题。[0004]本发明采用如下技术方案：一种基于多模态行为模式视频监控预警方法，包括以下步骤：根据视频流，提取多模态数据，进行预处理，并将预处理后的多模态数据进行对齐将融合的多模态数据进行短时行为模式特征，建立行为模式库以及场景行为基线基于在线学习更新动态行为模式库，结合时间衰减因子降低历史数据权重，并根据当前场景复杂度调整异常判定阈值；根据异常判定阈值进行多级预警，并反馈优化。[0005]具体地，所述将预处理后的多模态数据进行对齐和融合，通过硬件时间戳将多模态数据严格对齐；对低帧率模态采用线性插值补全中间帧；将光流场叠加至RGB帧通道得到第一融合数据，以及人体骨骼关键点轨迹与语义分割图结果通过注意力机制加权得到第二融合数据。[0006]具体地，所述将融合的多模态数据进行短时行为模式特征，建立行为模式库以及利用3DCNN架构提取第一融合数据和第二融合数据的时空特征，即为短时行为模式特征构建行为模式库；将行为模式库的短时行为模式特征按时间窗拼接，总跨度为M个向量输入双向LSTM,输出场景行为基线向量。[0007]具体地，基于在线学习动态更新行为模式库，结合时间衰减因子降低历史数据权5实时获取短时行为模式特征，将行为模式库进行滑窗式增量更新；并将行为模式库中的历史数据根据生成时间进行权重设置，权重设置具体为：生成时间的间隔。[0008]具体地，并根据当前场景提取当前场景中的参数，包括人群密度、光照强度以及运动活跃度，并进行归一化动态异常判定阈值T(t):判定阈值越大。获取当前行为特征与基线的相似度得分S(t);若S(t)<T(t):判定为异常，进入若S(t)≥T(t)但管理员标记为异常：进行反馈优化，触发模型增量学习。[0010]本发明另一方面还提供一种基于多模态行为模式视频监控预警系统，包括：数据处理单元：根据视频流，提取多模态数据，进行预处理，并将预处理后的多模态数据进行对齐和融合，所述多模态数据包括RGB帧、光流场、人体割图；行为基线构建单元：将融合的多模态数据进行短时行为模式特征，建立行为模式库以及场景行为基线构建；更新调整单元：基于在线学习更新动态行为模式库，结合时间衰减因子降低历史数据权重，并根据当前场景复杂度调整异常判定阈值；预警单元：根据异常判定阈值进行多级预警，[0011]本发明再一方面提供一种电子设备，包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现一种基于多模态行为模式视频监控预警方法步骤。[0012]本发明又一方面一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现一种基于多模态行为模式视频监控预警方法步骤。[0013]由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：本发明提出了一种基于多模态行为模式视频监控预警方法，包括以下步骤：根据视频流，提取多模态数据，进行预处理，并将预处理后的多模态数据进行对齐和融合，所述行短时行为模式特征，建立行为模式库以及场景行为基线构建；基于在线学习更新动态行为模式库，结合时间衰减因子降低历史数据权重，并根据当前场景复杂度调整异常判定阈6值；根据异常判定阈值进行多级预警，并反馈优化；本发明方法提供一种能够自动学习场景行为模式、动态调整预警阈值，并融合多维度特征分析的智能视频监控预警方案，解决现有技术误报率高、适应性差的问题。附图说明[0014]图1为本发明实施例提供的一种基于多模态行为模式视频监控预警方法流程图；图2为本发明实施例提供的一种基于多模态行为模式视频监控预警系统结构图；图3为本发明实施例提供的一种电子设备的实施例示意图；图4为本发明实施例提供的一种计算机可读存储介质的实施例示意图。具体实施方式[0015]以下通过具体实施方式对本发明作进一步的描述。[0016]本发明提出一种基于多模态行为模式视频监控预警方法，该方法提供一种能够自动学习场景行为模式、动态调整预警阈值，并融合多维度特征分析的智能视频监控预警方[0017]如图1为本发明方案一种基于多模态行为模式视频监控预警方法；具体包括如下步骤：S101:根据视频流，提取多模态数据，进行预处理，并将预处理后的多模态数据进通过融合多维度视觉信息与动态环境参数，解决传统视频监控中因单一数据源导致的误检率高、环境适应性差等问题。具体实现如下：实施例中实时视频流(支持可见光/红外双模输入，分辨率≥1080P,帧率≥25fps)。[0018]提取模态：[0019]光流场，目的是量化像素级运动矢量，捕捉短时行为动态(如快速移动、肢体摆矢量场(水平/垂直位移矩阵),分辨率与原始帧一致。[0020]人体骨骼关键点，目的是识别人体18MobileNetV3作为OpenPose的骨干网络，实现边缘端实时推理(<30ms/帧)。[0021]场景语义分割图(MaskR-CNN),目的是分割场景中的静态元素(如墙壁、栏杆)与动态物体(如包裹、车辆),辅助行为上下文分析。利用光照归一化CLAHE算法解决光照突变(如逆光、阴影)导致目标检测失效的问[0023]利用背景建模ViBe算法，解决静态物体(如固定设施)误判为前景目标的问题；具体包括动态背景更新：每个像素维护包含20个样本的背景模型，随机替换历史样本(替换概率1/16),前景检测：若当前像素值与背景模型中至少2个样本的差值小于阈值(设定为20),7判定为背景。通过硬件时间戳将多模态数据严格对齐；对低帧率模态采用线性插值补全中间帧；将光流场叠加至RGB帧通道形成5通道输入，得到第一融合数据，(R/G/B/Flow_X/Flow_Y),供3DCNN处理，以及人体骨骼关键点轨迹与语义分割图结果通过注意力机制加权得到第二融合数据。Fusion_Weight=σ(W1*Pose_Feature+W2*Seman[0026]S102:将融合的多模态数据进行短时行为模式特征，建立行为模式库以及场景行为基线构建；具体地，所述将融合的多模态数据进行短时行为模式特征，建立行为模式库以及[0028]微调：使用目标场景数据(如银行监控视频)优化分类边界。[0029]将行为模式库的短时行为模式特征按时间窗拼接，总跨度为M个向量输入双向[0030]实施例中，短时行为模式特征(4096维)按时间窗(每5秒一个向量)拼接，总跨度30[0031]S103:基于在线学习更新动态行为模式库，结合时间衰减因子降低历史数据权重，并根据当前场景复杂度调整异常判定阈值；具体地，基于在线学习动态更新行为模式库，结合时间衰减因子降低历史数据权实时获取短时行为模式特征，将行为模式库进行滑窗式增量更新；并将行为模式库中的历史数据根据生成时间进行权重设置，权重设置具体为：生成时间的间隔。提取当前场景中的参数，包括人群密度、光照强度以及运动活跃度，并进行归一化人群密度D(t):通过MaskR-CNN分割结果统计动态目标数量/区域面积。8[0033]光照强度L(t):从RGB帧提取亮度通道(LAB色彩空间L值)的均值。[0034]动态异常判定阈值T(t):判定阈值越大。[0035]S104:根据异常判定阈值进行多级预警，并反馈优化。获取当前行为特征与基线的相似度得分S(t);相似度为计算当前行为特征与基线的余弦相似度；若S(t)<T(t):判定为异常，进入预警；若S(t)≥T(t)但管理员标记为异常：进行反馈优化，触发模型增量学习。[0037]如图2,本发明实施例还提供一种基于多模态行为模式视频监控预警系统，包括：数据处理单元201:根据视频流，提取多模态数据，进行预处理，并将预处理后的多模态数据进行对齐和融合，所述多模态数据包括RGB帧、光分割图；通过融合多维度视觉信息与动态环境参数，解决传统视频监控中因单一数据源导致的误检率高、环境适应性差等问题。具体实现如下：实施例中实时视频流(支持可见光/红外双模输入，分辨率≥1080P,帧率≥25fps)。[0038]提取模态：[0039]光流场，目的是量化像素级运动矢量，捕捉短时行为动态(如快速移动、肢体摆矢量场(水平/垂直位移矩阵),分辨率与原始帧一致。[0040]人体骨骼关键点，目的是识别人体18个关键点(头、肩、肘、腕等),构建姿态时MobileNetV3作为OpenPose的骨干网络，实现边缘端实时推理(<30ms/帧)。[0041]场景语义分割图(MaskR-CNN),目的是分割场景中的静态元素(如墙壁、栏杆)与动态物体(如包裹、车辆),辅助行为上下文分析。利用光照归一化CLAHE算法解决光照突变(如逆光、阴影)导致目标检测失效的问[0043]利用背景建模ViBe算法，解决静态物体(如固定设施)误判为前景目标的问题；具体包括动态背景更新：每个像素维护包含20个样本的背景模型，随机替换历史样本(替换概率1/16),前景检测：若当前像素值与背景模型中至少2个样本的差值小于阈值(设定为20),判定为背景。通过硬件时间戳将多模态数据严格对齐；对低帧率模态采用线性插值补全中间帧；9将光流场叠加至RGB帧通道形成5通道输入，得到第一融合数据，(R/G/B/Flow_X/Flow_Y),供3DCNN处理，以及人体骨骼关键点轨迹与语义分割图结果通过注意力机制加权得到第二融合数据。Fusion_Weight=σ(W1*Pose_Feature+W2*Seman[0046]行为基线构建单元202:将融合的多模态数据进行短时行为模式特征，建立行为模式库以及场景行为基线构建；具体地，所述将融合的多模态数据进行短时行为模式特征，建立行为模式库以及利用3DCNN架构提取第一融合数据和第二融合数据的时空特征，如突然加速、肢体[0048]微调：使用目标场景数据(如银行监控视频)优化分类边界。[0049]将行为模式库的短时行为模式特征按时间窗拼接，总跨度为M个向量输入双向[0050]实施例中，短时行为模式特征(4096维)按时间窗(每5秒一个向量)拼接，总跨度30[0051]更新调整单元203:基于在线学习更新动态行为模式库，结合时间衰减因子降低历史数据权重，并根据当前场景复杂度调整异常判定阈值；具体地，基于在线学习动态更新行为模式库，结合时间衰减因子降低历史数据权实时获取短时行为模式特征，将行为模式库进行滑窗式增量更新；并将行为模式库中的历史数据根据生成时间进行权重设置，权重设置具体为：生成时间的间隔。提取当前场景中的参数，包括人群密度、光照强度以及运动活跃度，并进行归一化人群密度D(t):通过MaskR-CNN分割结果统计动态目标数量/区域面积。[0053]光照强度L(t):从RGB帧提取亮度通道(LAB色彩空间L值)的均值。[0054]动态异常判定阈值T(t):判定阈值越大。[0055]预警单元204:根据异常判定阈值进行多级预警，并反馈优化。获取当前行为特征与基线的相似度得分S(t);相似度为计算当前行为特征与基线的余弦相似度；若S(t)<T(t):判定为异常，进入预警；若S(t)≥T(t)但管理员标记为异常：进行反馈优化，触发模型增量学习。[0057]如图3所示，本发明实施例提供了一种电子设备300,包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机程序311,处理器320执行计算机程序311时实现本发明实施例提供的一种基于多模态行为模式视频监控预警方法。[0058]在具体实施过程中，处理器320执行计算机程序311时，可以实现图1对应的实施例中任一实施方式。[0059]由于本实施例所介绍的电子设备为实施本发明实施例中一种数据处理装置所采用的设备，故而基于本发明实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍，只要本领域所属技术人员实施本发明实施例中的方法所采用的设备，都属于本发明所欲保护的范围。[0060]请参阅图4,图4为本发明实施例提供的一种计算机可读存储介质的实施例示意[0061]如图4所示，本实施例提供了一种计算机可读存储介质400,其上存储有计算机程序411,该计算机程序411被处理器执行时实现本发明实施例提供的一种基于多模态行为模式视频监控预警方法；在具体实施过程中，该计算机程序411被处理器执行时可以实现图1对应的实施例中任一实施方式。[0062]需要说明的是，在上述实施例中，对各