CN119152445B 一种基于多模态的机场围界检测方法及系统 （青岛民航凯亚系统集成有限公司）_第1页
CN119152445B 一种基于多模态的机场围界检测方法及系统 （青岛民航凯亚系统集成有限公司）_第2页
CN119152445B 一种基于多模态的机场围界检测方法及系统 （青岛民航凯亚系统集成有限公司）_第3页
CN119152445B 一种基于多模态的机场围界检测方法及系统 （青岛民航凯亚系统集成有限公司）_第4页
CN119152445B 一种基于多模态的机场围界检测方法及系统 （青岛民航凯亚系统集成有限公司）_第5页
已阅读5页，还剩21页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

街道春阳路西端动车小镇科技馆230室一种基于多模态的机场围界检测方法及系统方法通过视频人员检测模块对围界周围的环境示词与图像的内容是否违法，若违法则不予处2S2，检测到靠近围界的人员信息后，将图像与预S4，将多模态图像分析模块的结果传输给意图识在步骤S2中，当图像与提示词通过验证时，将图像与提示词传输;意图识别模块共有三个子模块包括nlp入侵意图分类模型，关键词检索模块以及向量相似度匹配模块，nlp入侵意图分类模型是一个基于trasnformer结构的分类模型用以判3合法性分析模块（2由两个深度学习算法模型组成，包含一个基于trasnformer结构nlp入侵意图分类模型负责判断文本提示词是否违规，一个神经网算法负责对多模态视觉大模型输出的描述内容通过预先设置的行为场45视频分析的方法去检测人员入侵不能很好的解决多样性场678合法性分析中的nlp模型和视觉分类模型以及向量库检索的方式对文本和图像进行判定是否违，根据三种方式的结果进行投票规若有其中一项结果显示违规则报警内容存在违规。9越强。对这三个模块的输出数据进行投票若存在两票判断存在入侵意图则返回存在破坏、[0056]视频人员检测模块1，负责检测是否有人靠近围界，通过传统的视觉目标检测算[0066]意图识别共有三个子模块包括nlp入侵意图分类模型，关[0069]通过爬虫在互联网中搜索围界相关的图像数据与在机场采集的围界图像以及通多模态多模型的多模态融合层，将不同模态数据的特征融合到同一维度并通过LLM进行分判断图像中存在哪些行为与物体与存在哪些行为。以此为标注对每幅图像按照例1的形式[0072]{"id":id,"imagePath":"图像路径","dialogues":[{"from":"user",value":"<img>\n问题内容"},{"from":"assistant","value工编写和通过现有成熟的LLM进行语料的生成，通过提示词prompt与大语言模型生成语料过大语言模型对输入的语料判别其具体属于哪个意图，将多模态大模型返回的文本信息，工纠错，通过LLM生成训练数据语料，需要人工检查这些语料是否正确对不正确的予以修[0081]该例子前半部为训练数据输入数据，1为标注的结果1表示存在入侵意图0表示没

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论