CN115035162B 基于视觉slam的监控视频人员定位跟踪方法及系统 （北京邮电大学）

基于视觉slam的监控视频人员定位跟踪方本发明公开了一种基于视觉slam的监控视踪，利用深度神经网络识别出监控图像中的人变换的原理依据监控中出现的行人在地面上的2S141、对传入的每一帧深度摄像头的位姿信息和RGB位置开始慢慢向棋盘格标定板方向移动，在这个过程中使用ORB_SLAM3实时对监控摄像头3取待定位人物的目标框的下底边中点M(u,v)，依据投影方程计算M点在归一化平面上(xm一xow,ymn一yow,zm一zw),t为参数t∈[0,∞)，P(t)=pw+tti(25)i(pw+t-p)=0(26)gg4三维重建模块，用于构建场景的三维点云地图和记录外参标定所需的数据建场景的三维点云地图并保存至文件中供可视化展示模块展示使用；在三维重建过程中，拍摄棋盘格标定板和并记录此时相机的位置姿态供标定模块使标定模块，用于测量每一个监控摄像头在三维点云地图中的位置和姿态，的标定数据计算出监控摄像头在三维点云地图中的位置与姿态位置计算模块，用于依据标定模块得出的位置姿态数据可视化展示模块，用于将场景的三维点云地图和人物在三维5的标定方法均需要移动摄像头，然而实际环境中大多数监控摄像头已经被固定到某一位6从原点位置开始慢慢向棋盘格标定板方向移动，在这个过程中使用ORB_SLAM3实时对监控7m7=(0,0,1)#(24)⃞=(xm-xow,ym-yowzm-zow),t为参数t∈[0038]P(t)=pw+tii#(25)[0040]i(pw+t-p0)=0#(26)g[0045]由此解出交点交点P的坐标即为行人在世界坐标系下的三维坐g视化展示：将步骤S1场景的三维点云地图和步骤S3人物在三维点云地图中的位置展示出8[0054]1.本发明提出了一种基于视觉SLAM和惯性里程计的三维地图构建方法，通过跟的基于Three.JS图形库的3D展示界面，使得监控人员能够简单易懂且清晰地理解输出结9[0066]图4为本发明实施例提供的RGBD摄像头、监控摄像头拍摄的标定板图像与提取出[0074]图12为本发明实施例的基于三维视觉的可视化的视频监控系统轨迹相关功能展间偏移以及IMU和深度摄像头坐标系之间的位流程图如图2所示。点云地图处理线程的功能是接受传入的每一帧深度摄像头的位姿信息[0097]将深度相机得到的RGBD图像帧转化成点云块并拼接到世界坐标系的详细过程如[0108]使用PCL库中基于RANSAC的平面检测方法，求出地面的平面方程ax[0121]对于待校准点云地图中的所有点都应用该公式，则可实[0126]标定板的作用是为相机提供相对位置关系固定的多个三维点，从而计算所需参[0127]修改ORB_SLAM3框架代码，实现运行某一时刻保存当前相机拍摄的相片以及相机[0131]位姿的计算是根据目标特征点的实际三维位置信息以及目标特征点在图像中的机坐标系与目标坐标系之间的变换。选取至少6对已知三维空间点坐标与二维像素点坐标[0164]依据欧式变换定义(13)中TmbTcb-1代表了从RGBD相机坐标系到监控相机坐标系的以计算出偏航角的变化量δyaw和俯仰角的变化量δpitch如式(15)(Tmw#(19)[0204]基于SORT(SimpleOnlineAndRealtimeTracking)算法对视频流中的多个目标轴方向与重力方向相反。世界坐标系到监控相机坐标系的变换矩阵Tmw由3×3的旋转矩阵Rm元=(0,0,1)#(24)⃞=(xn-xow,ymn-yw,zm-zow),t为参数t∈[0，∞)。[0220]i(pw+tii-p0)=0#(26)g[0225]由此可解出交点交点P的坐g[0230]本发明能够加载位于服务端的多个三维点云PCD文件并正确显示在3D展示界面[0233](3)将点云的颜色集色域重映射至Thre[0235](4)结合JavaScript的类型化数组与Three[0250](2)若操作类型为轨迹更新：先在已有轨迹库中寻找对应ID，未找到则新建[0251](3)若操作类型为轨迹删除，则在已有轨迹库中寻找对应ID，将该ID对应的够确保在选择展示某一点云时，其他点云及对应的摄像头、轨迹隐藏。本专利采用了[0256]此外，本发明的3D展示界面基于Web与JavaScript的事件监听器机制实现了视角[0264]本系统后端使用Mysql数据库实现数据持久化，能够提供高效的数据读写；使用标，一方面将行人轨迹坐标持久化存储至MySql数据库，另一方面将行人轨迹坐标通过[0267](3)前端每当接收到一次后端推送的行人轨迹坐标，即根据该坐标在3D点云图中本申请的保护范围应所述以权利要求的保护范