CN112766061B 一种多模态无监督的行人像素级语义标注方法和系统 （罗普特科技集团股份有限公司）

一种多模态无监督的行人像素级语义标注本发明给出了一种多模态无监督的行人像景进行三维重建，获取监控场景的初始点云信息；利用Tof图像采集设备获取监控场景中的第信息集合，利用已经标定的相机之间的位置关系，投影到RGB图像采集设备的图像平面空间中2S4：分别将所述人员点云信息集合和所述连通区利用所述第二变换矩阵将所述人员点云信息根据相机成像原理投影到所述RGB图像采利用所述第三变换矩阵将所述连通区域信息投影到所述RGB图像采集设备的图像平面对所述第一投影区与集合与所述第二投影区与集合的像素进在x轴和z轴方向上间隔设置m*n个点位作为RGB图像采集设备的利用Structurefrommotion的三维重建算法对M张图像进行所述监控场景的三维重迭代最近点算法将第一点云信息和初始点云信息于同一个圆形区域所对应的点云信息纳入所述人员点3利用Tof图像采集设备获取所述监控场景的深度图像，结合初始点云信息利用迭代最近点算法获取所述Tof图像采集设备在所述监控场景中利用红外图像采集设备和RGB图像采集设备获取所述监控场景的彩色图像，利用SIFT描述子和Bagofwords词袋特征描述算法，根据采集的图像和所述初始点云信息，基于个计算机程序被计算机处理器执行时实施权利要求1至8中任一初始点云信息获取单元：配置用于对无人的监控场人员点云信息集合获取单元：配置用于利用Tof图像采集设备获取所述监控场景中的连通区域信息集合获取单元：配置用于对红外图像采集设备获取的人体区域集合获取单元：配置用于分别将所述人员点云信利用所述第二变换矩阵将所述人员点云信息根据相机成像原理投影到所述RGB图像采利用所述第三变换矩阵将所述连通区域信息投影到所述RGB图像采集设备的图像平面对所述第一投影区与集合与所述第二投影区与集合的像素进4[0004]为了解决现有技术中需要耗费大量的人力物力和财力标注出行人在图片中的位[0005]根据本发明的一个方面，提出了一种多模态无监督的行[0008]S3：对红外图像采集设备获取的场景信息阈值化后的二值化图像进行膨胀和腐[0013]利用Structurefrommotion的三维重建算法对M张图像进行监控场景的三维重5[0017]在一些具体的实施例中，第一阈值取自20*40-80*160的范围内，第二阈值取自备和RGB图像采集设备的位置关系以及姿态信息。利用三种模态的图像采集设备的位置关[0020]利用Tof图像采集设备获取监控场景的深度图像，结合初始点云信息利用迭代最近点算法获取Tof图像采集设备在监控场景中[0021]利用红外图像采集设备和RGB图像采集设备获取监控场景的彩色图像，利用SIFTAdjustment光束法平差算法，获取红外图像采集设备和RGB图像采集设备的位置和姿态信Tof图像采集设备与红外图像采集设备的第一变换矩阵、Tof图像采集设备与RGB图像采集[0024]利用第二变换矩阵将人员点云信息根据相机成像原理投影到RGB图像采集设备的[0025]利用第三变换矩阵将连通区域信息投影到RGB图像采集设备的图像平面空间获得[0028]根据本发明的第三方面，提出了一种多模态无监督的行[0030]人员点云信息集合获取单元：配置用于利用Tof图像采集设备获取监控场景中的6[0032]人体区域集合获取单元：配置用于分别将人员点云信息集合和连通区域信息集[0033]本发明提出了一种多模态无监督的行人像素级语义标注方法和系统，融合了Tof学习算法使用。[0034]包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本[0037]图3是本申请的一个实施例的多模态无监督的行人像素级语义标注系统的框架[0041]图1示出了可以应用本申请实施例的多模态无监督的行人像素级语义标注方法的7[0047]根据本申请的一个实施例的多模态无监督的行人像素级语义标注方法，图2示出监控场景下利用Structurefrommotion的三维重建算法对M张图像进行监控场景的三维获得人员点云信息集合。利用迭代最近点算法将第一点云信息和初始点云信息进行配准。[0053]利用Tof图像采集设备获取监控场景的深度图像，结合初始点云信息利用迭代最近点算法获取Tof图像采集设备在监控场景中[0054]利用红外图像采集设备和RGB图像采集设备获取监控场景的彩色图像，利用SIFTAdjustment光束法平差算法，获取红外图像采集设备和RGB图像采集设备的位置和姿态信图像采集设备与RGB图像采集设备的第三变换矩阵。利用第二变换矩阵将人员点云信息根8据相机成像原理投影到RGB图像采集设备的图像平面空间获得第一投影区域集合；利用第三变换矩阵将连通区域信息投影到RGB图像采集设备的图像平面空间获得第二投影区域集体可以通过以下步骤来实现行人检测并实现自动标注，该方法中需使用采集设备有三种：度选择一个拍摄角度。相机C在不同的位置、不同的角度上共采集M＝m*n*(180/k)*(180/Scene_Point_Cloud_BG作为输入，利用迭代最近点算法(ICP)求解出相机A在场景中的6个[0062]4b)安装好相机B和C后，获取场景的彩色图片信息，分别记为Color_Image_B和9[0069]在具体的实施例中，初始点云信息获取单元301配置用于对无人的监控场景进行三维重建，获取监控场景的初始点云信息；人员点云信息集合获取单元302配置用于利用Tof图像采集设备获取监控场景中的第一点云信息，将其与初始点云信息配准后进行集合集合；连通区域信息集合获取单元303配置用于对红外图像采集设备获取的场景信息阈值置用于分别将人员点云信息集合和连通区域信息集合投影到RGB图像采集设备的图像平面存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以[0074]可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算