CN119479075A 基于云边协同和x-clip模型的地铁摔倒检测方法和系统 （济南轨道交通集团有限公司）

基于云边协同和X-CLIP模型的地铁摔倒检本公开提供了基于云边协同和X_CLIP模型检测框通过BoT_SORT目标追踪算法进行识别检识别，根据摔倒概率大于设定阈值确定摔倒行2将所述帧图像数据输入至YOLOv8n_c3xghost神经网络模型中，得到将所述异常行为的候选图像输入至X_CLIP模型，输出候选图其中，将YOLOv8n_c3xghost神经网络模型主干网络的c3xghos包括Ghostnet、C3Ghost以及c3xghost模块，所述c3xghost模块的上通道为Bottleneck模所述YOLOv8n_c3xghost神经网络模型还包括颈部网络和检测头，所检测头采用Detect_3行为判断模块，用于将所述异常行为的候选图像输入至X_CLIP模型其中，将YOLOv8n_c3xghost神经网络模型主干网络的c3xghos9.一种非暂态计算机可读存储介质，其特征在于，所述非器存储的计算机程序，以使电子设备执行实现如权利要求1_7任一项所述的基于云边协同4[0002]本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技法和系统，提出X_CLIP_YOLO_BoT_SORT架构的摔倒检测方法，应用X_CLIP模型实现视频分法实现行人追踪，并应用剪枝_蒸馏_量化法进行模型压缩，提出云边协同工作架构，设计5[0015]目标检测模块，用于将所述帧图像数据输入至YOLOv8n_c3xghost神经网络模型经网络模型中的Ghosntnet和深度卷积(dwconv)都具备降低网络参数的功能，适合部署在署需求，Detect_LSCD类是一个高度模块化和可配置的目标检测组件，它利用了共享卷积6[0039]本公开的一种实施例中提供了一种基于云边协同和X_CLIP模型的地铁摔倒检测输出摔倒行为发生的位置坐标以及对应的原7[0049]1)当系统在一段时间内检测到边端的误报率不超过阈值存储功能，经过h265或者h264等压缩方式将数据存在固定的位置处，实现数据的节约处[0052]作为一种实施例，本公开的一种基于云边协同和X_CLIP模型的地铁摔倒检测方法，提出X_CLIP_YOLO_BoT_SORT架构的摔倒检测方法，提出基于YOLO改进的YOLOv8n_8[0056]然后将预处理之后的帧图像数据送入帧队列等待YOLOv8n_c3xghost神经网络模[0059]对YOLOv8n_c3xghost权重微调，得到适合地铁的网络权重，进而实现检测息，dwconv获得局部特征信息，实现多种类特征信息的融合，加强网络特征提取能力9[0065]1.**Bottleneck**:这通常指的是[0066]2.**G3xGhost**:这指的是一种特殊的卷积操作，"Ghost"可能是指Ghost并进行通过BoT_SORT目标追踪算法赋予唯一ID，对每32帧图像进行轮询检测，通过fall_[0083]iuc-1=Ftit-c-1+Biu,pir-1=Ft[0091]3)相机运动补偿：BoT_SORT算法使用图像配准技术估计相机运动，通过RANSAC[0093]皮尔逊相关系数是衡量两个变量之间线性相关程度的统计量，其值介于_1与1之然后将该人头区域和上一帧的人头区域求解皮尔逊损失函数，如果皮尔逊相关系数大于[0114]将匹配成功的人头目标对应的人体目标与摔倒行为发生的位置坐标以及对应的原始图倒概率大于设定阈值的区域id添加至fall_ids列表中，逐个遍历检测目标ID和其对应的boxes坐标，将在fallDetect中添加至fall_ids列表中目标ID对应的boxes坐标添加至[0144]1.首先进行xclip对制作的地文本编码**：视频通过视频编码器(包括PatchEmbedding、CroTransformer和Multi_frameIntegrationTransformer)得到视频特征向量v，同时文本[0145]2.视频特定提示(Video_specificPrompting)：将[0151]其中如果发生摔倒，会将推理后的数据根据统一接口规范整理成相应的json格[0155]3)针对步骤2)得到的视频序列，对该视频序列分别进行按照每隔2帧抽取得到视制通过在视频编码器中加入Cross_frameCommunicationTransformer(CCT)和Multi_将对应的视频输入到步骤4得到的网络模型中测试结果，其中测试时候去掉训练时候的+[0197]本公开的基于云边协同和X_CLIP模型的地铁摔倒检方法中，实时对数据进行存[0199]将图像和视频采取压缩存储的方法存储在磁盘中，其中存储可以采取h254或者[0201]压缩后图像和视频的智能分析。采取压缩后图像和视频[0208]本公开的一种实施例中提供了一种基于云边协同和X_CLIP模型的地铁摔倒检测[0210]目标检测模块，用于将所述帧图像数据输入至YOLOv8n_c3xghost神经网络模型[0218]1.边缘服务器和云服务器：系统可能同时使用边缘服务器和云服务器来处理数[0228]11.手持终端和工作站：工作人现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定其他可编程设备上执行的指令提供用