CN115103157B 基于边云协同的视频分析方法、装置、电子设备及介质 （中科弘云科技（北京）有限公司）

尤其是涉及基于边云协同的视频分析方法、装像头对应的算法配置信息对监控视频流进行抽2基于获取到的所述目标摄像头对应的算法配置信息对所述监控视频将每个所述当前帧分别与已获取到的误预警图片集进行相似度对比将各个相似度值分别与误预警阈值进行比较，将相似度值大于将所述非相似帧输入至所述算法配置信息对应的智能算法模型，生若所述识别结果表征异常，则将异常识别结果发送至云端服若所述异常识别结果的个数大于等于一，则搜寻待通信终端，若在设定的感应范围内检测到待通信终端，则将所述异常若获取到所述待通信终端发出的基于任一所述异常识别结果的回将所述处理标识发送至所述云端服务器，根据所述处理标识对所述云将任一当前帧分别与每个所述图片组进行相似度对比，生成各值最大的所述第一相似度值作为所述任一当前帧对应若所述图片组中包含与核心误报图片相关的关联图片，则根据将所述推理图片组与所述任一图片组进行相似度对比，生成所述任一根据每个关联图片的时间戳以及所述时间差，确定每个关联图根据每个所述采集时间点在所述监控视频流中抽取各个图片作为各个3确定所述任一当前帧与所述核心误报图片之间确定每个所述关联图片与每个所述关联图片各自对应的衍生图片之间根据所述第一相似度以及各个所述第二相似度，生成所述任一当前对所述监控视频流进行解码得到RGB颜色空间或者YUV颜色空间抽帧模块，用于基于获取到的所述目标摄像头对应比对模块，用于将每个所述当前帧分别与已获取到的误预警图片集进行相似度对比，筛选模块，用于将各个相似度值分别与误预警阈值进行比识别模块，用于将所述非相似帧输入至所述算法配置信息对应的待通信终端为能够与边缘设备进行通信的终端；若在设定的感应范围内检测到待通信终所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方处理器执行时实现权利要求1至5中任一项所述的方4[0006]为了提高预警管理系统的预警准确度，本申请提供基于边云协同的视频分析方[0010]基于获取到的所述目标摄像头对应的算法配置信息对所5[0013]将所述非相似帧输入至所述算法配置信息对应的智能算[0017]将任一当前帧分别与每个所述图片组进行相似度对比，将数值最大的所述第一相似度值作为所述任一当前帧对应[0030]确定每个所述关联图片与每个所述关联图片各自对应的衍生图片之间的第二相6[0051]识别模块，用于将所述非相似帧输入至所述算法配置信[0054]将任一当前帧分别与每个所述图片组进行相似度对比，将数值最大的所述第一相似度值作为所述任一当前帧对应7[0058]在一种可能的实现方式中，比对模块在根据所述任一当[0067]确定每个所述关联图片与每个所述关联图片各自对应的衍生图片之间的第二相8络入口点的设备，用于根据预警管理系统的算法配置到不同的摄像头去采集不同的图片，9端服务器展示预警信息。由于无需使用大型的GPU服务器等设备，所以平台的适用场景更算法模型名称算法说明人脸识别可用于侦测场景中出现的人脸信息，当检测到不是白名单中的人脸时会触发报警;当检测到黑名单中出现的人脸时会触发报警；安全帽可用于侦测场景中人员是否佩戴安全帽；吸烟可用于侦测场景中人员是否吸烟；烟雾可用于侦测场景中是否出现烟雾；离岗可用于侦测场景中是否离开工作岗位；火焰可用于侦测场景中是否出现火焰；滞留可用于侦测场景中是否有滞留；闯入可用于侦测场景中是否有人员闯入；人员聚集可用于侦测场景中是否有人员聚集；拨打电话可用于侦测场景中是否有接打电话参数说明算法选择关联的边缘设备中已经启动的模型算法进行配置启动时间段设置边缘设备分析的时间段，可配置多段时间预警间隔预警间隔时间置信度阈值判断检测结果是否为预警事件，以自适应调整具体环境下的最佳预警阈值分析区域设置以多边型标注的方式标注用户关注的分析区域[0120]（2）边缘设备上的采集服务运行后每隔一段时间请求智能分析系统上摄像头的[0131]（i）采集服务为负责采集网络摄像头的视频流的软件服务，并负责管理图片推[0132]抽帧模块基于获取到的目标摄像头对应的算法配置信息对监控视频流进行抽帧，然后对视频流进行解码得到RGB颜色空间或者YUV颜色空间的每秒25~30帧的图片帧信息，[0134]边缘设备的厂家/型号不同时，抽帧模块的配置流程可根据需求进行调试，具体h265图片数据，然后使用NVDEC硬件对压缩的当前帧数据进行解码以得到NV12格式的图片[0136]基于atlas编译设备，使用ffmpeg对视频流进行解封装以得到一帧帧的h264或者h265图片数据，然后使用dvvp硬件视频解码模块对压缩的当前帧数据进行解码以得到[0137]抽帧模块会将所有jpeg图片信息以更新的方式存储在内存中，并使用map映射到[0145]基于Atlas200的边缘设备模型提供ATC工具将其它框架模型转为om离线格式模型，同时利用aipp工具将模型输入修改为yuv格式，以便对图片进行预处理阶段可以使用[0148]所有服务都利用libcurl库作为HTTP客户端，以POST方式周期性向预警系统层提证边缘设备的数据安全及隐私问题，边缘设备不提供主动访问方式。所有服务都基于聚类、图片检索以及基于图片的个性化推荐等；可以利用pHash算法分别获得两幅图片的[0157]当异常事件与静态目标相关联时，可选择利用单帧图片进行识别的智能算法模是否在场所内违规吸烟，是否存在场所内违规不佩戴安全帽，是否在场所内违规接打电话[0158]对静态目标进行识别能够满足大多数监控场景的需求，但是在某些复杂的场景[0159]以场景2进行举例说明误预警情况出现的具体过程：在场景2下选取其中一组被目标人物与目标食物同时存在于同一张图片中；目标人物与目标食物之间的距离小于第一距离值；目标人物与目标食物同时存在于同一张图片中；目标人物与目标食物之间的距离小于第一距离值；[0165]参照表4和表5，图片集a中图片a3与图片集b中图片b3之模型未对核心误报图片的前/后几帧图片进行综合分析而导致的，则可以按照时间段抽取[0184]若任一当前帧的时间为XX+1日00:10：00（XX+1日零点10分5秒则时间差=XX+1间差。动态目标且图片组中包含核心图片和关联图片，则识别图片组中动态对象的第一移动速每个第二相似度的计算均遵循：相似度=图片对应的第一权重值*对应的核心相似度值+对提升在将推理图片组与图片组进行相似度对比时重点关注核心值=第一权重值*核心相似度值+第二权重值*非核下述实施例从虚拟模块或者虚拟单元的角度介绍了一种基于边云协同的视频分析装置值最大的第一相似度值作为任一当前帧对应[0219]在一种可能的实现方式中，比对模块1003在根据任一当[0238]若在设定的感应范围内检测到待通信终端，则将异常识别结果发送至待通信终DSP（DigitalSignalProcessor，数据信号处理器ASIC（ApplicationSpecific实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器[0245]总线1102可包括一通路，在上述组件之间传送信息。总线1102可以是PCI（PeripheralComponentInterconnect，外设部件互连标准）总线或EISA（Extended线或一种类型的总线。信息和指令的其他类型的动态存储设备，也可以是EEPROM（ElectricallyErasableProgrammableReadOnlyM