CN119515982A 一种动态跟踪光学扫描系统及方法 （上海模高信息科技有限公司）

本发明公开了一种动态跟踪光学扫描系统统控制跟踪设备和扫描设备以完成三维模型重基于变换拼接算法拼接所有双目校正图像序列和语义分割标注法生成物体视差图和标靶视差现了扫描过程中对于被检物体和扫描设备位姿2所述帧同步模块设置时间帧并在每一个时间帧广播帧所述标定校正模块发送初始化指令，通过双目标定校正法反馈校正所述图像拼接模块接收单一时间帧的所有双目校正图像序列，基于变换左目全局图像和右目全局图像并发送至三维所述三维重建模块存储主固定参数表，结合立体匹配算法和语义所述显示模块基于位姿检测更新显示策略显示单一时间帧的稀疏三维模型和所有局建立坐标统一等式，通过消元法推导得出坐标变换等式，基于坐标将自旋转矩阵划分为半正旋转矩阵和半逆旋转矩阵，将单一跟踪结合半正旋转矩阵、半逆旋转矩阵和视觉线变换矩阵分于变换拼接算法生成左目全局图像和右目全局图像获取前k-1次拼接生成的第k-1次全局图像，采用哈里斯角点检测算法配对第k-1次全采用随机抽样迭代算法处理第k次配对角点集生成第k次单应性矩阵，并依据第k次单获取所有从属跟踪设备的辅助校正图像，采用戴帽加权平3确认第k-1次全局图像与第个从属跟踪设备对应的辅助校正图像的重叠区域和重叠对于单一重叠像素点，将单一重叠像素点的第k-1次全局图像权值占所有重叠像素点的第k-1次全局图像权值总和的比例作为第k-1次全局图像权重，将单一重叠像素点的辅助校正图像权值占所有重叠像素点的辅助校正图像权值总和的比例作为辅助校正图像权视差获取单元基于立体匹配算法比较左目全局图像和右目全局图像以生成全局视差语义分割单元采用语义分割标注法分析处理左目全局图像和全稀疏重建单元采用重投影变换法获取单一时间帧的稀疏三维模型并发送位姿估计单元采用双重特征位姿估计网络处理左目全局图像稠密重建单元采用坐标转换法结合单一时间帧的扫描外参矩阵和局采用兴趣区域对齐法将左目全局图像的像素点与全局特征图的特征点以及候选框进4将保留的候选框连同全局特征图中的特征点分别输入分类器和掩码用全连接层和Softmax函数的组合归类候选框中的特征点，掩码标记器通过两个卷积神经结合分类器和掩码标记器，为左目全局图像的每一个像素点添加物体标记和标靶标调用主固定参数表并提取相机焦距和基线距离，基于通过点云网络将标靶深度图转化为几何点数据，通卷积特征融合模块对视觉特征图和标靶几何特征图进行卷积和点乘以实现融合变换，采用结合平均池化的通道注意力机制处理第一融合特征图，采用结将双重融合特征图进一步输入最大池化层和多个全连接层进行回归，姿检测更新显示策略显示单一时间帧的稀疏三维模型和所有局部稠密三维模型包括以下接收单一时间帧的稀疏三维模型和局部稠密三维模型，判断是否若存在则调用最近帧稀疏三维模型，通过尺度不变特征变换法和若小于或等于，将单一时间帧的稀疏三维模型替换最近帧稀疏若大于，构建6个关键点对并通过最小二乘法计算上一个时间帧至单一时间帧的物体将已存储的所有历史局部稠密三维模型依据物体旋转矩阵和物体平移向量进行对应S1、接收启动指令并向跟踪设备发送初始化5S3、获取当前时间帧的所有双目校正图像序S4、采用立体匹配算法分析左目全局图像和右目S5、通过双重特征位姿估计网络获取当前时间S6、基于位姿检测更新显示策略显示当前时间帧6[0003]现有公开号为CN117870543A的发明专利提出一种跟踪扫描系统以及跟踪扫描处7三维重建模块接收并存储主固定参数表，基于立体匹配算法分析左目全局图像和右目全局图像生成全局视差图，采用语义分割标注法生成物体视差图显示模块基于位姿检测更新显示策略显示单一时间帧的稀疏三维模型和所有局转矩阵和左目平移向量，右目相机外参包括右目旋转矩阵和右目平移向量结合左目相机外参和右目相机外参分别建立表征世界坐标p"与左目相机坐标将自旋转矩阵划分为半正旋转矩阵(e""和半逆旋转矩阵，将第8结合校正指令、左目平移向量和右目平移向量获取校正自平依序选择未拼接且跟踪设备编号最小的从属跟踪设备，假设为第个从属跟踪设获取前k-1次拼接生成的第k-1次全局图像e;(e-1)，采用哈里斯角点检测算法采用随机抽样迭代算法处理第k次配对角点集生成第k次单应性矩阵n(e)，并依据第k次单应性矩阵n(e)将校正图像变换为辅助校正图像；[0011]更进一步的，采用随机抽样迭代算法处理第次配对角点集生成第次单应性矩阵H(t)包括以下具体步骤：采用第k次单应性矩阵去测试第k次配对角点集中剩余的配对角点，计算所若小于或等于，将本轮迭代生成的第次内点集中的所有配对角点放回第次配。包括以下具体步骤：9确认第k-1次全局图像与辅助校正图像的重叠区域和所有的重叠占所有重叠像素点的第k-1次全局图像权值总和的比例作为第k-1次全局图像权重,将第个重叠像素点的辅助校正图像权值占所有重叠像素点的辅助校正图像权值总和的比例作为辅助校正图像权重为重叠像素点次全局图像;(e即为全局图像；视差获取单元基于立体匹配算法比较左目全局图像和右目全局图像中相同大小的图像块以生成全局视差图，将左目全局图像和全局视差图发送至语义分割单元采用语义分割标注法分析处理左目全局图像和全局视差图稀疏重建单元采用重投影变换法结合左目全局图像和物体视差图获取单位姿估计单元采用双重特征位姿估计网络处理左目全局图像和标靶视差图稠密重建单元采用坐标转换法结合单一时间帧的扫描外参矩阵cs和局部点云数存储单元接收并存储主固定参数表，并响应稀疏重建单元和位姿估计单元的调为全局特征图中的每一个特征点生成候选框，通过区域选取网络进行二值分采用兴趣区域对齐法将左目全局图像的像素点与全局特征图的特征点以将保留的候选框连同全局特征图中的特征点分别输入分类器和掩码标记器，分类器采用全连接层和Softmax函数的组合归类候选框中的特征点属于被检物体或跟踪标结合分类器和掩码标记器，为左目全局图像的每一个像素点视差图D"。基于参考相机位姿e;建立左目全局图像中每一个像素点的像素坐标与世界坐标piw之间的重投影方程；基于重投影方程推导获取左目全局图像中所有像素点对应的世界坐标，采用调用主固定参数表并提取相机焦距af和基线距离d"，基于三角测量原理将标靶通过卷积核大小为7×7、卷积步长为2和填充为3的卷通过点云网络将标靶深度图转化为几何点数据，通过多层感知机进行非线性卷积特征融合模块对视觉特征图和标靶几何特征图进行3×3的卷积和点采用结合平均池化的通道注意力机制处理第一融合特征图，采用结合最大池基于单一时间帧的扫描外参矩阵建立坐标转换方程以关联局部点云数据中每一个点云的扫描设备坐标p"e与对应的世界坐标p"；基于坐标转换方程推导获取局部点云数据中所有点云对基于贪婪三角剖分法重建生成单一时间帧的局部稠若大于，构建6个关键点对并通过最小二乘法计算上一个时间帧至单一时间帧的将已存储的所有历史局部稠密三维模型依据物体旋转矩阵和物体平移向量进行[0020]更进一步的，单一跟踪设备基于指令驱动策略选择执行标定校正和图像采集包以第k个跟踪设备为例K为跟踪设备总数，拍摄获取双目标定图接收第个跟踪设备的校正指令，校正单一跟踪设备的左目相机图，采用语义分割标注法进一步处理全局视差图生成物体视差图和标靶视差接算法将所有从属跟踪设备采集的双目校正图像序列转变至与主跟踪设备同视角的辅助图像和右目全局图像以获取全局视差图，采用语义分割标注法为左目全局图像添加标记，指令后等间隔广播帧同步指令，控制所有跟踪设备进行图像采集和控制扫描设备进行扫换拼接算法生成左目全局图像和右目全局图像并发基于第个跟踪设备的双目标定图像序列中的左目标定图像括右目旋转矩阵和右目平移向量，左目旋转矩阵和右目旋转矩阵分别平移向量和右目平移向量分别表示在世界坐标系下左目相机坐标系原点和右目目像素坐标系下的像素坐标，张正友标定法为现有单目标定方法，为跟踪设备编号，k=1,--,k，为跟踪设备总数；世界坐标系下的世界坐标p"在第k个跟踪设备的左目相机坐标系下的左目相,,,基于坐标变换等式可获取第个跟踪设备的自旋转矩阵和自平移向量,即自旋转矩阵和自平移向量分别表示在世界坐标系下左目相机坐标系关于右目相机坐标系的旋转为实现左目相机和右目相机在世界坐标系下的图像平面统一，将自旋转矩阵统一的实现方式由左目相机的完整正向旋转替换为左目相机的正向半旋转和右目相机的为实现左目相机和右目相机的水平校准，将第个跟踪设备的极点平移至世,,,,临时存储主跟踪设备equ通过张正友标定法获取的左目光心像素坐标、左目,选择左目相机作为参考相机，基于左目光心像素坐标、右目光心像素坐标和校正自平移向量r计算参考相机位姿，具体公式如下：,于将左目像素坐标系中的二维像素坐标转换至世界坐标打包主跟踪设备equ"的参考相机位姿Q;、相机焦距和基线距离df"，生成主跟[0032]更进一步的，图像拼接模块基于变换拼接算依据跟踪设备顺序选择未拼接且跟踪设备编号最个从属跟踪设备对应的校正图像作为待拼接图像校正图像在获取前k-1次拼接生成的第k-1次全局图像，采用哈里采用随机抽样迭代算法处理第k次配对角点集生成第k次单应性矩阵H(t)，并依据第k次单应性矩阵H(t)生成校正图像在主跟踪设备equ"的参考相机位姿Q;下对应的加权平均融合算法将单一从属跟踪设备的辅助校正图像依次与主跟踪设备equ"对应的校正图像进行拼接，生成全局图像全局图像在时和踪设备equ"对应的校正图像相同，后续处理分析时可直接结合主跟踪设备equ"的主固,第i个配对角点在第k-1次全局图像;(k-1)的实际像素坐标的u轴值和v轴值，和分别表示第个配对角点在校正图像中的实际像素坐标的轴值和轴jeflefi,right)；采用第k次单应性矩阵去测试第k次配对角点集的剩余的配余的配对角点在校正图像中的实际像素坐标通过第k次单应性矩阵H(t)转化为第k-1次全局图像中的估算像素坐标，并与第k-1次全局图像中的实际像素坐若迭代轮数小于或等于迭代轮数阈值则将本轮迭代生[0034]更进一步的，采用戴帽加权平均融合包括以下具体步骤：定义主跟踪设备对应的校正图像为第1次全局图像，假设已将第2个从属跟踪设备至第k-1个从属跟踪设备的辅助校正图像全部拼接至校正图像，获取第k-1次,,其中，和分别为第n个重叠像素点在第k-1次全局图像次全局图像的图像宽度和图像高度，和分别为辅助校正图像的计算重叠区域第n个重叠像素点的第k-1次全局图像权重,,依据重叠像素点顺序分别组合个重叠像素点的第k-1次全局图像权重和辅助校正图像权重ox,le)，生成第k-1次全局图像权重向量ot,lt-1)和辅助校将第k-1次全局图像与辅助校正图像进行拼接，生成第k次全局图;k-1次全局图像与辅助校正图像的非重叠区域和重叠区域中重叠像素点的加权和，jeflefi,righr}；判断第k次全局图像的视野等级k是否等于跟踪设备总数k，若视野等级k较左目全局图像和右目全局图像中相同大小的图像块以语义分割单元采用语义分割标注法为左目全局图像附加物体标记和标靶标稀疏重建单元接收左目全局图像和物体视差图，采用重投影变换法获取被检物体单一时间帧内在世界坐标系下的稀疏三维模型并发送位姿估计单元接收左目全局图像和标靶视差图，采用双重特征位姿估计稠密重建单元接收单一时间帧对应的扫描外参矩阵和扫描设备传输的局部点云数据，采用坐标转换法生成局部点云数据对应的局部被检物体的局部稠密三维模型差神经网络作为一种经典的卷积神经网络模型，可以有效挖掘将保留的候选框连同全局特征图中特征点分别输入分类器和掩码标记器，分类器为全连接层和Softmax函数的组合，用于归类候选框中的特征点属于被检物体或跟踪从全局视差图中找出所有与存在标靶标记的像素点对应的从物体视差图中获取左目全局图像中每一个像素点对应的物体视差，将将左目全局图像中每一个像素点在世界坐标系下对应的世界坐标统一用基于参考相机位姿Q;可建立每一个像素点的像素坐标与世界坐标Diw之间,的世界坐标pn；调用主固定参数表并提取相机焦距和基线距离，基于三角测量原理将标靶卷积特征融合模块分别利用3×3的卷积处理视觉特征图和标靶几何特征图,其中，conv,()、conv,()和conv,()分别为卷积特征融合模块中涉及的3次3×3采用结合平均池化的通道注意力机制处理第一融合特征图，平滑关注完整的双重融合特征图X"中兼顾了跟踪标靶的视觉和几何两方面的特征，将双重融合特征图X"进一步输入1个最大池化层和4个全连接层进行回归，获取6维的标靶位姿序列,表示，其中，扫描设备坐标是指每一个点云在扫描设备坐标系下的三维坐基于扫描外参矩阵c可建立每一个点云的扫描设备坐标p"与对应的世界坐标p"",基于坐标转换方程便可计算每一个点云对应的世界坐标p"；通过尺度不变特征变换法分别提取单一时间帧的稀疏三维模型和最近帧稀疏三